BigQuery 针对生成式 AI 应用场景的控制措施

本文档包含在 Google Cloud上运行生成式 AI 工作负载时 BigQuery 的最佳实践和准则。将 BigQuery 与 Vertex AI 搭配使用来存储数据。将 BigQuery 与 Vertex AI 搭配使用可显著增强您的机器学习工作流，因为您可以简化数据访问、实现规模化分析，并使用其机器学习功能。

请考虑将 BigQuery 与 Vertex AI 搭配使用的以下应用场景：

  • 无缝集成：BigQuery 和 Vertex AI 紧密集成，让您可以直接在 Vertex AI 平台中访问和分析数据。此集成无需移动数据，可简化机器学习工作流程并减少摩擦。
  • 规模化数据分析：BigQuery 提供 PB 级数据仓库，让您能够分析海量数据集，而无需担心基础设施限制。这种规模化对于训练和部署需要大量数据的机器学习模型至关重要。
  • 基于 SQL 的机器学习：借助 BigQuery ML，您可以使用熟悉的 SQL 命令直接在 BigQuery 中训练和部署模型。此功能可让数据分析师和 SQL 从业人员无需具备高级编码技能即可使用机器学习功能。
  • 在线��测和批量预测：BigQuery ML 支持在线预测和批量预测。您可以对单个行运行实时预测，也可以在批处理模式下为大型数据集生成预测结果。这种灵活性可满足各种延迟要求的不同应用场景。
  • 减少数据移动：借助 BigQuery ML，您无需将数据移动到单独的存储或计算资源，即可进行模型训练和部署。这种减少的数据移动简化了您的工作流，缩短了延迟时间，并最大限度地降低了与数据传输相关的费用。
  • 模型监控：Vertex AI 提供全面的模型监控功能，可让您跟踪 BigQuery ML 模型的性能、公平性和可解释性。模型监控有助于确保模型按预期运行并解决潜在问题。
  • 预训练模型：Vertex AI 提供对预训练模型的访问权限，包括用于自然语言处理和计算机视觉的模型。您可以在 BigQuery 中使用这些模型来增强分析能力，并从数据中提取更深入的分析洞见。
  • 经济实惠的解决方案：BigQuery ML 提供了一种经济实惠且灵活的方式来训练和部署机器学习模型。您只需为所使用的资源付费，因此���于各种规模的组织而言，这都是一种经济实惠的选择。
  • 高级分析功能：BigQuery 提供用于高级分析（包括地理空间分析和预测）的工具。借助这些工具，您可以将机器学习与其他分析技术相结合，以便更深入地探索数据并获得更丰富的分析洞见。
  • 增强协作：通过将 BigQuery 与 Vertex AI 搭配使用，数据科学家、机器学习工程师和分析师可以无缝协作处理机器学习项目。这种协作有助于打造更集成、更高效的方法来解决复杂的数据问题。

必需的 BigQuery 控制措施

使用 BigQuery 时，强烈建议采取以下控制措施。

确保 BigQuery 数据集不可公开读取或未设置为 allAuthenticatedUsers

Google 控制 ID BQ-CO-6.1
类别 必需
说明

仅限特定用户可以访问 BigQuery 数据集中的信息。如需配置此保护，您必须设置详细的角色。
适用的产品
  • 组织政策服务
  • BigQuery
  • Identity and Access Management (IAM)
路径 cloudasset.assets/assetType
运算符 ==
值
  • bigquery.googleapis.com/Dataset
类型 字符串
相关 NIST-800-53 控制
  • AC-3
  • AC-12
  • AC-17
  • AC-20
相关 CRI 配置文件控制
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.AC-7.1
  • PR.AC-7.2
  • PR.PT-3.1
  • PR-PT-4.1
相关信息

确保 BigQuery 表不可公开读取或未设置为 allAuthenticatedUsers

Google 控制 ID BQ-CO-6.2
类别 必需
说明

仅限特定用户可以访问 BigQuery 数据集中的信息。如需配置此保护，您必须设置详细的角色。
适用的产品
  • Identity and Access Management (IAM)
  • BigQuery
路径 cloudasset.assets/iamPolicy.bindings.members
运算符 anyof
值
  • allUsers
  • allAuthenticatedUsers
类型 字符串
相关 NIST-800-53 控制
  • AC-3
  • AC-12
  • AC-17
  • AC-20
相关 CRI 配置文件控制
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.AC-7.1
  • PR.AC-7.2
  • PR.PT-3.1
  • PR-PT-4.1
相关信息

可选的 BigQuery 控制措施

这些控制措施是可选的。如果这些控制措施适用于您的特定应用场景，请考虑强制执行。

对 BigQuery 表中的个别值进行加密

Google 控制 ID BQ-CO-6.3
类别 可选
说明

如果您的组织要求您对 BigQuery 表中的个别值进行加密，请使用带有关联数据的身份验证加密 (AEAD) 加密功能。
适用的产品
  • BigQuery
相关 NIST-800-53 控制
  • SC-13
相关 CRI 配置文件控制
  • PR.DS-5.1
相关信息

为 BigQuery 数据集使用授权视图

Google 控制 ID BQ-CO-6.4
类别 可选
说明

借助授权视图，您可以将数据集中的部分数据共享给特定用户。例如，授权视图可让您与特定用户和群组共享查询结果，而无需为其授予底层源数据的访问权限。
适用的产品
  • BigQuery
相关 NIST-800-53 控制
  • AC-3
  • AC-12
  • AC-17
  • AC-20
相关 CRI 配置文件控制
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.AC-7.1
  • PR.AC-7.2
  • PR.PT-3.1
  • PR-PT-4.1
相关信息

使用 BigQuery 列级安全性

Google 控制 ID BQ-CO-6.5
类别 可选
说明

使用 BigQuery 列级安全性创建政策，以便在查询时检查用户是否拥有适当的访问权限。BigQuery 通过政策标记或基于类型的数据分类，提供对敏感列的精细访问权限。
适用的产品
  • BigQuery
相关 NIST-800-53 控制
  • AC-3
  • AC-12
  • AC-17
  • AC-20
相关 CRI 配置文件控制
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.AC-7.1
  • PR.AC-7.2
  • PR.PT-3.1
  • PR-PT-4.1
相关信息

使用 BigQuery 行级安全性

Google 控制 ID BQ-CO-6.6
类别 可选
说明

使用行级安全性和访问权限政策，对 BigQuery 表中的部分数据启用精细访问权限控制。
适用的产品
  • BigQuery
相关 NIST-800-53 控制
  • AC-3
  • AC-12
  • AC-17
  • AC-20
相关 CRI 配置文件控制
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.AC-7.1
  • PR.AC-7.2
  • PR.PT-3.1
  • PR-PT-4.1
相关信息

使用 BigQuery 资源图表

Google 控制 ID BQ-CO-7.1
类别 可选
说明

BigQuery 资源图表可让 BigQuery 管理员观察他们的组织、文件夹或预留如何使用 BigQuery 槽以及其查询性能。
适用的产品
  • BigQuery
相关 NIST-800-53 控制
  • AC-3
  • AC-12
  • AC-17
  • AC-20
相关 CRI 配置文件控制
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.AC-7.1
  • PR.AC-7.2
  • PR.PT-3.1
  • PR-PT-4.1
相关信息

后续步骤