排查常见的无边界 Lakehouse 问题

本页面介绍了如何解决无边界数据湖仓及其关联资源的常见问题。

无法查询元数据表

当您使用五部分名称标识符查询 BigQuery 中由 Lakehouse 运行时目录支持的 Apache Iceberg 表的元数据表(例如 .snapshots 或 .files)时,会发生此问题。

如需解决此问题,请使用 Apache Spark 查询这些表。

metadata.json 文件大小限制

Apache Iceberg metadata.json 文件大小上限为 1 MB。此限制适用于跟踪表快照、架构和分区规范的元数据文件。如果元数据文件超出此大小,您在通过 Apache Iceberg REST 目录端点执行表操作时可能会遇到错误。

如需解决此问题,请与您的 Google 客户支持团队联系,申请提高限制。

查询多区域目录时出现 NOT_FOUND 错误

如果您在 Lakehouse 运行时目录中使用多区域 Cloud Storage 存储桶创建目录,但未指定主要位置,然后尝试通过指定 BigQuery 虚拟区域(例如 US 或 EU)查询该目录,则会发生此问题。

如果使用多区域存储桶创建目录,则其元数据会存储在多区域地理范围内的特定区域位置,而不是存储在相应的 BigQuery 虚拟区域中。如果您强制查询在没有元数据的虚拟区域中运行,则查询会失败并显示 NOT_FOUND 错误。

如需解决此问题,请在创建目录时指定主要位置(例如 US 或 EU)。如需了解详情,请参阅为美国和欧盟多区域指定主要区域。