使用 AWS Lake Formation 去中心化 LF 标签管理 大数据博客

• 2026-01-27 12:55:45

利用 AWS Lake Formation 实现 LF 标签管理的去中心化

作者：Ramkumar Nottath 和 Mert Hocanin，发布日期：2023年11月16日分类： 分析 公告 AWS Lake Formation 中级 (200) 技术指南永久链接 评论

关键要点

在当今数据驱动的世界中，传统的数据管理方法难以应对日益复杂的数据生态系统。AWS Lake Formation 允许去中心化管理 LF 标签，使独立用户组能够创建和管理自己的数据产品。标签基于访问控制LFTBAC提供了一种更可扩展的授权方式，帮助组织实现数据治理的去中心化。本文详细说明了如何将 LF 标签的创建、管理及权限授予权限下放给数据管理人员。

在当今的数据驱动世界中，组织在管理和提取其不断扩大的数据生态中的价值见解方面面临前所未有的挑战。随着数据资产和用户数量的增加，传统的数据管理和治理方法已无法满足需求。客户现在正在构建更先进的架构，以去中心化权限管理，使各个用户组能够构建和管理自己的数据产品，而不用遭遇中央治理团队的拖累。AWS Lake Formation 的核心功能之一是在 AWS Glue 数据目录的数据库、表和列等资源子集上委派权限，赋予数据管理者决定谁可以访问其资源的能力，从而帮助实现数据湖的去中心化权限管理。Lake Formation 新增了一项功能，进一步允许数据管理者创建和管理他们自己的 Lake Formation 标签LF 标签。LF 标签基于访问控制LFTBAC是一种授权策略，基于属性定义权限。在 Lake Formation 中，这些属性称为 LF 标签。当数据目录资源数量庞大时，LFTBAC 是授予 Lake Formation 权限的推荐方法，具有更好的可扩展性，并且需要较少的权限管理开销。

在本文中，我们将讲述将 LF 标签的创建、管理和权限授予权限下放给数据管理人员的过程。

Lake Formation 为这些先进架构提供了基础，简化了 AWS 分析中大规模用户的安全管理和治理。Lake Formation 旨在通过提供 AWS 账户之间的安全共享和基于标签的访问控制来解决这些挑战，以实现权限的可扩展性。组织可以根据数据资产的特征和属性为其分配标签，从而实施针对特定数据属性的访问控制策略。这确保只有授权的个人或团队才能访问与其相关的数据。例如，它允许客户将数据资产标记为“机密”，并仅将该 LF 标签的访问权限授予应具有机密数据访问权限的用户。基于标签的访问控制不仅增强了数据的安全性和隐私性，还促进了高效的协作和知识共享。

无论选择何种架构单账户、中心辐射或数据网格，生产者的自主权和数据治理中去中心化标签创建及委派的需求都是至关重要的。过度依赖中心化的标签创建和治理可能会导致瓶颈，妨碍敏捷性，并阻碍创新。通过授予生产者和数据管理者创建和管理与其特定领域相关的标签的自主权，组织可以培养归属感和责任感。这种去中心化的方法使组织能够迅速适应和响应不断变化的需求，有助于在中央治理和生产者所有权之间取得平衡，从而提高治理水平、提升数据质量并推动数据民主化。

为了解决这个问题，Lake Formation 公布了标签委派功能。通过这个功能，Lake Formation 管理员现在可以为 AWS 身份与访问管理IAM用户和角色提供创建标签、关联标签和管理标签表达式的权限。

解决方案概述

在本篇文章中，我们将考察一个示例组织，该组织拥有多个组共享的中央数据湖。我们有两个角色：Lake Formation 管理员 LFAdmin，负责管理数据湖并接纳不同组，数据管理人员 LFDataStewardSales，负责管理组织内销售组的资源。目标是授予数据管理人员使用 LF 标签来对其拥有的资源进行权限管理的权限。此外，组织还有一组通用的 LF 标签，分别为 Confidentiality 和 Department，数据管理人员可以使用这些标签。

以下图示展示了实施该解决方案的工作流程。

主要步骤：

授予非 Lake Formation 管理员的用户LFDataStewardSales IAM 角色创建 LF 标签的权限。授予 LFDataStewardSales 角色关联组织的通用 LF 标签的权限。使用 LFDataStewardSales 角色创建新的 LF 标签。使用 LFDataStewardSales 角色将新创建的 LF 标签和通用 LF 标签关联到资源。使用 LFDataStewardSales 角色授予其他用户权限。

先决条件

在进行本次演示时，您应具备以下条件：

一个 AWS 账户。熟悉使用 Lake Formation 并启用其管理一组表格的权限。一个作为 Lake Formation 管理员的 IAM 角色。本篇文章中，我们将其命名为 LFAdmin。两个由 LFAdmin 创建的 LF 标签：关键字为 Confidentiality，其值包括 PII 和 Public。关键字为 Department，其值包括 Sales 和 Marketing。一个组织内的数据管理人员的 IAM 角色。我们将其命名为 LFDataStewardSales。数据管理人员应至少拥有一个数据库的“超级”访问权限。在本次演示中，数据管理人员访问三个数据库：salesmldata、salesprocesseddata 和 salesrawdata。一个 IAM 角色，用于作为数据管理人员将使用 LF 标签赋予权限的用户。我们将其命名为 LFAnalystsMLScientist。

授予数据管理人员创建 LF 标签的权限

完成以下步骤，以授予 LFDataStewardSales 创建 LF 标签的能力：

以 LFAdmin 角色登录，打开 Lake Formation 控制台。在导航面板中，选择 LF 标签及权限。

在 LF 标签 下，由于您以 LFAdmin 登录，可以看到账户中所有创建的标签，包括 Confidentiality LF 标签和 Department LF 标签及其可能的值。

在 LF 标签创建者 选项卡下，选择 添加 LF 标签创建者。

在 IAM 用户和角色 中，输入 LFDataStewardSales IAM 角色。在 权限 中，选择 创建 LF 标签。如果希望此数据管理人员可以将创建 LF 标签的权限授予其他用户，选择 创建 LF 标签 作为 可授予权限。选择 添加。

现在，LFDataStewardSales IAM 角色拥有创建他们自己 LF 标签的权限。

授予数据管理人员使用通用 LF 标签的权限

接下来，我们希望授予数据管理人员使用 Confidentiality 和 Department 标签的权限。完成以下步骤：

以 LFAdmin 角色登录，打开 Lake Formation 控制台。在导航面板中，选择 LF 标签及权限。在 LF 标签权限 选项卡中，选择 授予权限。

选择 LF 标签关键字值权限 作为 权限类型。

LF 标签权限 选项允许修改或删除 LF 标签，但在本使用案例中并不适用。

选择 IAM 用户和角色，并输入 LFDataStewardSales IAM 角色。

提供 Confidentiality LF 标签及其所有值，以及 Department LF 标签仅带 Sales 值。选择 描述、关联 和 在 LF 标签表达式下授予 作为 权限。选择 授予权限。

这样，LFDataStewardSales 角色就有了使用 Confidentiality 标签及其所有值，以及仅带有 Sales 值的 Department 标签标记资源的能力。

快鸭免费加速官网

使用数据管理者角色创建新的 LF 标签

这一步演示了 LFDataStewardSales 角色现在如何创建自己的 LF 标签。

以 LFDataStewardSales 角色登录，打开 Lake Formation 控制台。在导航面板中，选择 LF 标签及权限。

LF 标签 部分仅显示 Confidentiality 标签和 Department 标签，目前只有 Sales 值。作为数据管理者，我们希望创建自己的 LF 标签，以便更轻松地管理权限。

选择 添加 LF 标签。

在 关键字 中，输入 SalesSubgroups。在 值 中输入 DataScientists、DataEngineers 和 MachineLearningEngineers。选择 添加 LF 标签。

作为 LF 标签的创建者，数据管理者对他们创建的标签拥有完全的权限。您将能够看到数据管理者所访问的所有标签。

作为数据管理者将 LF 标签关联到资源

我们现在将关联资源到刚创建的 LF 标签，以便机器学习工程师可以访问 salesmldata 资源。

以 LFDataStewardSales 角色登录，打开 Lake Formation 控制台。在导航面板中，选择 数据库。选择 salesmldata，在 操作 菜单中选择 编辑 LF 标签。

添加以下 LF 标签和值：关键字 SalesSubgroups 值为 MachineLearningEngineers。关键字 Department 值为 analytics。关键字 Confidentiality 值为 Public。选择 保存。

使用 LF 标签授予权限

完成以下步骤以使用 LF 标签授予权限：

以 LFDataStewardSales 角色登录，打开 Lake Formation 控制台。在导航面板中，选择 数据湖权限。选择 授予。选择 IAM 用户和角色，输入要授予权限的 IAM 角色在此示例中为 SalesMLScientist 角色。

在 LF 标签或目录资源 部分，选择 按 LF 标签匹配的资源。输入以下标签表达式：对于 Department LF 标签，设置 Sales 值。对于 SalesSubgroups LF 标签，设置 MachineLearningEngineers 值。对于 Confidentiality LF 标签，设置 Public 值。

由于这是一个机器学习和数据科学用户，我们希望授予完全的权限，以便他们能够管理数据库和创建表。

对于 数据库权限，选择 超级；对于 表权限，也选择 超级。

选择 授予。

现在我们已经看到根据 LF 标签表达式授予的权限。

验证授予给用户的权限

要使用 Amazon Athena 验证权限，请以 SalesMLScientist 角色登录到 Athena 控制台。我们可以观察到，SalesMLScientist 角色现在可以访问 salesmldata 数据库及其所有表。在此案例中，它只有一个表，名为 salesreport。

![查看 Athena 中的权限](https//d2908q01vomqb2cloudfrontnet/b6692ea5df920cad691c20319a6