排查 Cloud SQL 问题

运行 gcloud sql operations list 命令以列出给定 Cloud SQL 实例的所有操作。

查看日志并按文本进行过滤以查找用户。您可能需要对私密信息使用审核日志。相关日志文件包括：

• 如果启用了 Cloud Audit Logs，并且您具有查看这些日志的必要权限，那么 cloudaudit.googleapis.com/activity 也可以使用。

如果您删除实例而没有对数据进行最终备份，则无法恢复数据。但是，如果您恢复实例，Cloud SQL 也会恢复备份。如需详细了解如何恢复已删除的实例，请参阅在删除实例后保留备份。

如果您已完成导出操作，请创建新实例，然后执���导入操作以重新创建数据库。导出数据将写入 Cloud Storage，导入数据从此处进行读取。

如果您确实需要取消该操作，可以要求客户服务对实例执行 force restart。

在恢复 SQL 转储之前，先创建数据库用户。

如需无限期地保留备份，您可以创建按需备份，因为它们的删除方式与自动备份不同。按需备份会无限期保留。也就是说，按需备份会一直保留，直到被删除或它们所属的实例被删除为止。由于该类型的备份不会自动删除，因此可能会影响结算。

• 打开的连接可能过多。造成连接过多的原因可能是由于在连接过程中发生错误，而没有用于清除无效连接的 autovacuum 设置。
• 如果任何自定义代码使用的重试逻辑不会在几次失败后停止，则可能会发生循环。
• 流量可能过多。使用连接池和其他最佳连接做法。

可以尝试的操作：

1. 验证数据库是否是为 autovacuum 设置的。
2. 检查是否在自定义代码中设置了任何连接重试逻辑。
3. 关停流量，直到数据库恢复，然后缓慢恢复流量。

CREATE UNLOGGED TABLE ...。

从备份中还原时不包含这些表：

• 在高可用性实例上，未记录的表的内容无法进行故障切换。
• 未记录的表在 postgres 崩溃后无法继续存在。
• 未记录的表不会被复制到读取副本。
• 在备份还原期间，系统会自动擦除未记录的表。

解决方法是，如果您想要通过备份恢复这些表，请避免使用未记录的表。如果您要从包含未记录的表的数据库进行恢复，则可以将数据库转储到一个文件，并在将转储文件修改为 ALTER TABLE 后将数据重新加载到这些表上的 SET LOGGED。

• 将最终备份值设置为与实例的现有备份配置一致。
• 删除实例时，将“最终备份”字段留空。如果您将此字段留空，Cloud SQL 会采用实例设置中设置的最终备份配置来执行最终备份并定义其保留期限。

如果可以，请移除 Cloud SQL 实例中的所有 Authorized Networks 条目。否则，请创建副本（不包含 Authorized Networks 条目）。

您正尝试使用 Google Cloud 控制台克隆具有专用 IP 地址的实例，但您未指定要使用的已分配 IP 范围，并且未创建具有指定范围的来源实例。因此，克隆的实例是在随机范围内创建的。

使用 gcloud 克隆实例，并为
--allocated-ip-range-name 参数提供值。如需了解详情，请参阅克隆具有专用 IP 的实例。

• 网络不稳定。
• 没有对 TCP keep-alive 命令的响应（客户端或服务器无响应，可能超载）。
• 超出了数据库引擎的连接生命周期，服务器终止了该连接。

应用必须能够容忍网络故障并遵循最佳做法，例如连接池和重试。大多数连接池程序会尽可能捕获这些错误。否则，应用必须正常重试或失败。

对于连接重试，我们建议使用以下方法：

1. 指数退避算法。以指数方式增加每次重试之间的时间间隔。
2. ���外，���加随机退避时间。

结合使用这些方法有助于减少限制。

• 创建 Microsoft Entra ID 登录名的操作缓慢
• 无法创建 Microsoft Entra ID 登录名
• 无法使用 Microsoft Entra ID 身份验证连接到实例

如需详细了解如何帮助解决这些问题，请参阅排查 Microsoft Entra ID 集成问题。

使用默认用户进行连接，然后更改用户。

在发出实例创建请求时，所选可用区缺少所请求资源或虚拟机类型的容量。 在请求时，该特定区域位置可能同时存在较高的运营需求。

如需解决此问题，请在其他可用区中重新尝试创建实例，或在一天中的其他时间在收到错误的同一可用区中重新尝试创建实例。

• 专用服务连接所分配 IP 地址范围的大小小于 /24。
• 专用服务连接所分配 IP 地址范围的大小对于 Cloud SQL 实例数量而��太小。
• 如果在多个区域中创建实例，则分配的 IP 地址范围大小要求将更大。请参阅分配的范围大小。

如需解决此问题，您可以扩展现有已分配的 IP 范围，也可以为专用服务连接分配其他 IP 范围。如需了解详情，请参阅分配 IP 地址范围。

如果您在创建 Cloud SQL 实例时使用 --allocated-ip-range-name 标志，则只能扩大指定的 IP 地址范围。

如果您要分配新范围，请注意分配的范围不会与任何现有的分配范围重叠。

创建新的 IP 地址范围后，使用以下命令更新 VPC 对等互连：

gcloud services vpc-peerings update \
--service=servicenetworking.googleapis.com \
--ranges=OLD_RESERVED_RANGE_NAME,NEW_RESERVED_RANGE_NAME \
--network=VPC_NETWORK \
--project=PROJECT_ID \
--force
    

如果要扩大现有的分配范围，请注意只能扩大分配范围，不能缩减分配范围。例如，如果原始分配范围是 10.0.10.0/24，则新分配范围至少为 10.0.10.0/23。

一般来说，如果从 /24 分配范围开始，对于每个条件（额外的实例类型组、额外的区域），将“/子网掩码位数”递减 1 是一种较好的做法。例如，如果尝试在同一分配范围中创建两个实例类型组，则从 /24 递减到 /23 就足够了。

扩大现有 IP 地址范围后，使用以下命令更新 VPC 对等互连：

gcloud services vpc-peerings update \
--service=servicenetworking.googleapis.com \
--ranges=RESERVED_RANGE_NAME \
--network=VPC_NETWORK \
--project=PROJECT_ID
    

使用以下命令启用 Service Networking API，然后尝试再次创建 Cloud SQL 实例。

gcloud services enable servicenetworking.googleapis.com \
--project=PROJECT_ID
    

验证您要添加到 Cloud SQL 实例的服务器证书的 DNS 名称是否符合以下条件：

• 不包含通配符。
• 不包含尾随点。
• DNS 名称符合 RFC 1034 规范。

使用 CSV 导出以仅导出您需要的文件。

使用导出分流。概括来讲，在进行导出分流时，Cloud SQL 会启动一个分流实例来执行导出，而不是在源实例上发起导出。导出分流具有多项优势，包括可提高源实例的性能，以及在导出操作期间取消屏蔽管理操作。使用导出分流时，总延迟时间会增加，因为启动分流实例需要时间。通常，对于规模合理的导出，延迟时间并不明显。但是，如果导出作业足够小，那么您可能会注意到延迟时间有所增加。

修改转储文件以移除引用。

使用 pg_dump 工具执行手动导出。

您可以使用 Cloud Scheduler、Pub/Sub 和 Cloud Run functions 等 Google Cloud产品构建自己的自动导出系统，类似自动备份一文所述。

确保外部主实例可供连接。您还可以修改源实例上的 net_read_timeout 和 net_write_timeout 标志的值，以停止出现此错误。如需详细了解这些标志的允许值，请参阅配置数据库标志。

如需详细了解如何使用 mysqldump 标志进行托管式导入迁移，请参阅允许和默认的初始同步标志

确保没有以冲突的方式设置 binlog-do-db、binlog-ignore-db、replicate-do-db 或 replicate-ignore-db 等复制标志。

在主实例上运行 show master status 命令以查看当前设置。

• 在 Google Cloud 控制台的 Cloud Monitoring 部分中查看副本实例的复制指标。
• MySQL IO 线程或 SQL 线程中的错误可以在 mysql.err log 文件的 Cloud Logging 中找到。
• 在连接到副本实例时，也可能会发现此错误。 运行 SHOW SLAVE STATUS 命令，并在输出中检查以下字段：
  • Slave_IO_Running
  • Slave_SQL_Running
  • Last_IO_Error
  • Last_SQL_Error

增加副本实例的磁盘大小。 您可以手动增加磁盘大小或启用存储空间自动扩容功能。

使用正确的标志设置创建一个新的转储文件，并使用该文件配置外部副本

1. 通过 Compute Engine 实例连接到您的 mysql 客户端。
2. 运行 mysqldump 并使用 --master-data=1 和 --flush-privileges 标志。

   重要提示：请勿添加 --set-gtid-purged=OFF 标志。

   了解详情。

3. 确保刚创建的转储文件包含 SET @@GLOBAL.GTID_PURGED='...' 行。
4. 将转储文件上传到 Cloud Storage 存储桶，然后使用转储文件配置副本。

对实例进行修改以升级为更大的机器，从而获得更多 CPU 和内存。

关闭未使用的操作。检查 Cloud SQL 实例的 CPU 和内存用量，以确保有大量的可用资源。确保将最多资源用于导入操作的最佳方法是在开始执行操作之前重启实例。

重启后，系统会执行以下操作：

• 关闭所有连接。
• 结束任何可能正在消耗资源的任务。

在导入之前，先创建数据库用户。

可以尝试的操作：

在转储文件的开头添加以下行：

SET FOREIGN_KEY_CHECKS=0;
  

此外，请在转储文件的末尾添加以下行：

SET FOREIGN_KEY_CHECKS=1;
  

这些设置会在导入操作执行期间停用数据完整性检查，并在加载数据后重新激活数据完整性检查。这不会影响数据库中数据的完整性，因为数据在创建转储文件期间已经过验证。

EXEC sp_serveroption
    @server='LINKED_SERVER_NAME',
    @optname='data access',
    @optvalue='TRUE'

将 LINKED_SERVER_NAME 替换为关联服务器的名称。

EXEC master.dbo.sp_addlinkedserver
   @server = N'LINKED_SERVER_NAME',
   @srvproduct= N'',
   @provider= N'SQLNCLI',
   @datasrc= N'TARGET_SERVER_ID',
   @provstr= N'Encrypt=yes;TrustServerCertificate=yes;User ID=USER_ID'

替换以下内容：

• 将 LINKED_SERVER_NAME 替换为关联服务器的名称。
• 将 TARGET_SERVER_ID 替换为目标服务器的名称，或目标服务器的 IP 地址和端口号。
• 将 USER_ID 替换为登录用户。

例如，用户已被删除，但您找不到谁执行了此操作。日志显示操作已开始，但未提供任何更多信息。您必须为要记录的详细个人身份信息 (PII) 等启用审核日志记录。

连接到数据库并运行以下命令以获取每种类型的详细信息：

SHOW VARIABLES LIKE 'innodb_log_file%';

SELECT ROUND(SUM(LENGTH(argument)/POW(1024,2),2)
AS GB from mysql.general_log;

SHOW BINARY LOGS;
    

如需将日志下载为 JSON，请执行以下操作：

gcloud logging read \
"resource.type=cloudsql_database \
AND logName=projects/PROJECT_ID \
/logs/cloudsql.googleapis.com%2FLOG_NAME" \
--format json \
--project=PROJECT_ID \
--freshness="1d" \
> downloaded-log.json
    

如需将日志下载为 TEXT，请执行以下操作：

gcloud logging read \
"resource.type=cloudsql_database \
AND logName=projects/PROJECT_ID \
/logs/cloudsql.googleapis.com%2FLOG_NAME" \
--format json \
--project=PROJECT_ID \
--freshness="1d"| jq -rnc --stream 'fromstream(1|truncate_stream(inputs)) \
| .textPayload' \
--order=asc
> downloaded-log.txt
   

1. 从终端连接到您的数据库：

   gcloud sql connect INSTANCE_NAME
         

2. 运行以下命令以创建扩展程序：

   CREATE EXTENSION pgaudit;
         

3. 退出数据库，然后从终端运行以下命令：

   gcloud sql instances patch INSTANCE_NAME \
   --database-flags=cloudsql.enable_pgaudit=on,pgaudit.log=all
        

您可以通过连接到数据库并运行以下查询来了解常规日志的大小：

可以尝试的操作：

• 您可以在 MySQL 命令行界面中使用以下命令检查二进制日志占用的存储空间： SHOW BINARY LOGS;
• 临时表可能还占用了大量存储空间。要检查临时空间用量，请使用以下命令：SELECT * FROM INFORMATION_SCHEMA.FILES WHERE TABLESPACE_NAME='innodb_temporary'\G。
• 使用以下命令可检查重做日志大小：SHOW VARIABLES LIKE 'innodb_log_file%';
• 您可以借助以下命令检查 general_log（如果已启用）的大小：SELECT ROUND(SUM(LENGTH(argument)/POW(1024,2)),2) AS GB from mysql.general_log;
• 如果需要，您可使用 API 截断日志表。如需了解详情，请参阅 instances.truncateLog 参考页面。
• 详细了解如何设置和配置慢查询日志。

连接到数据库并执行以下查询：

SHOW PROCESSLIST。

列表中的第一项可能是占用锁的项，后续项正在等待获取该锁。

SHOW INNODB STATUS 查询可能也会有帮助。

SELECT * FROM INFORMATION_SCHEMA.FILES WHERE TABLESPACE_NAME='innodb_temporary'\G

连接到数据库并执行以下查询：

SELECT TABLE_SCHEMA, TABLE_NAME, sum(DATA_LENGTH+INDEX_LENGTH)/pow(1024,2) FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA NOT IN ('PERFORMANCE_SCHEMA','INFORMATION_SCHEMA','SYS','MYSQL') GROUP BY TABLE_SCHEMA, TABLE_NAME;

如有可能，对实例进行分片。使用多个较小的 Cloud SQL 实例要优于使用一个大型实例。

SELECT datname, username, application_name as appname, client_addr, state, now() - backend_start as conn_age, now() - xact_start as xact_age, now() - query_start as query_age, now() - state_change as last_activity_age, wait_event_type, wait_event, query FROM pg_stat_activity WHERE state <> 'idle' ORDER BY 8 DESC LIMIT 20;

SELECT name, setting, unit FROM pg_settings WHERE name = 'FIELD_NAME'。

SHOW SETTING_NAME;

运行 SHOW ALL; 以查看所有设置。

运行以下命令：

1.       GRANT pg_signal_backend TO USERNAME;
         

2. 找到被封锁或卡住的进程 ID：

         SELECT pid, username, state, query FROM pg_stat_activity;
         

3. 使用以下命令停止正在运行的进程或空闲进程：

         SELECT pg_cancel_backend(pid)
               FROM pg_stat_activity
               WHERE username = 'USERNAME';
         
         

         SELECT pg_terminate_backend(pid)
               FROM pg_stat_activity
               WHERE username = 'USERNAME';
         
         

Autovacuum 作业可能会被屏蔽，或者无法及时回收事务 ID 以跟上工作负载。

为避免因事务封装问题而导致服务中断，您可以查看这些自服务的提示以了解如何处理 TXID 封装。

如需了解常规调整建议，请参阅对 PostgreSQL 的 Vacuum 操作进行优化、监控和问题排查。

重启会删除临时文件，但不会减少存储空间。只有客户服务才能重置实例大小。

查看删除时间点前后的日志，看看是否有在信息中心或其他自动化进程中运行的恶意脚本。

以下是一些可能的原因：

• 另一项操作正在进行中。 Cloud SQL 操作不会并发运行。等待其他操作完成。
• 只要使用至少一个 beta 标志，就会触发 INSTANCE_RISKY_FLAG_CONFIG 警告。移除存在风险的标志设置并重启实例。

遗憾的是，除了重启该服务，没有其他任何方法能缩小 ibtmp1 文件。

一种缓解方法是使用 ROW_FORMAT=COMPRESSED 标志创建临时表，这会将临时表存储在临时文件目录下的单表文件表空间中。但是，这样做的缺点是为每个临时表创建和移除单表文件表空间会降低性能。

如果实例的存储空间不足，并且未启用存储空间自动扩容功能，则实例将进入离线状态。为避免此问题，您可以对实例进行修改，以启用存储空间自动扩容功能。

通过使用持续时间少于 60 秒的连接，可以避免大多数异常关停，包括来自数据库命令提示符的连接。如果您将这些连接保持打开状态数小时或数天，则关停可能会出现异常情况。

确定哪些对象依赖于该用户，然后删除这些对象或将其重新分配给其他用户。

请参阅一般性能提示，具体而言：

对于缓慢的数据库插入、更新或删除操作，请考虑以下事项：

• 检查写入者和数据库的位置；长距离发送数据会导致延迟。
• 检查读取者和数据库的位置；相对于写入性能，延迟对读取性能的影响更大。

为了缩短延迟时间，建议您在同一区域中查找来源资源和目的地资源。

除了工作负载以外，其他因素（例如活跃连接和内部开销进程的数量）可能也会影响内存使用量。这些指标不一定会反映在监控图表中。

确保该实例的开销足以满足您的工作负载和一些额外开销。

如需保留数据，请在删除实例之前将数据导出到 Cloud Storage。

Cloud SQL Admin 角色具有删除实例的权限。为防止意外删除，请仅在需要时授予此角色。

可采用其他方法通过创建新实例来实现此目标。

• 您可以克隆要重命名的实例，并为克隆的实例设置新名称。这样一来，您无需手动导入数据即可创建新实例。与创建新实例时一样，克隆的实例具有新的 IP 地址。
• 您可以将实例中的数据导出到 Cloud Storage 存储桶，使用所需的新名称创建一个新实例，然后将数据导入到新实例。

在这两种情况下，您都可以在操作完成后删除旧实例。建议您使用克隆路由，因为它不会影响性能，并且您无需重新进行任何实例配置设置（例如标志、机器类型、存储空间大小和内存）。

1. 检查端点的状态。

   gcloud

   如需检查状态，请使用
   gcloud compute forwarding-rules describe 命令。

   gcloud compute forwarding-rules describe ENDPOINT_NAME \
   --project=PROJECT_ID \
   --region=REGION_NAME \
   | grep pscConnectionStatus

   进行以下替换：

   • ENDPOINT_NAME：端点的名称
   • PROJECT_ID：包含端点的 Google Cloud 项目的 ID 或编号。
   • REGION_NAME：端点的区域名称

   REST

   在使用任何请求数据之前，请先进行以下替换：

   • PROJECT_ID：包含 Private Service Connect 端点的 Google Cloud 项目的 ID 或编号
   • REGION_NAME：区域的名称
   • ENDPOINT_NAME：端点的名称

   HTTP 方法和网址：

   GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION_NAME/forwardingRules/ENDPOINT_NAME

   如需发送您的请求，请展开以下选项之一：

   curl（Linux、macOS 或 Cloud Shell）

   执行以下命令：

   curl -X GET \
        -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION_NAME/forwardingRules/ENDPOINT_NAME"

   PowerShell (Windows)

   执行以下命令：

   $cred = gcloud auth print-access-token
   $headers = @{ "Authorization" = "Bearer $cred" }
   
   Invoke-WebRequest `
       -Method GET `
       -Headers $headers `
       -Uri "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION_NAME/forwardingRules/ENDPOINT_NAME" | Select-Object -Expand Content

   您应该收到类似以下内容的 JSON 响应：

   {
     "kind": "compute#forwardingRule",
     "id": "ENDPOINT_ID",
     "creationTimestamp": "2024-05-09T12:03:21.383-07:00",
     "name": "ENDPOINT_NAME",
     "region": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION_NAME",
     "IPAddress": "IP_ADDRESS",
     "target": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION_NAME/serviceAttachments/SERVICE_ATTACHMENT_NAME",
     "selfLink": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION_NAME/forwardingRules/ENDPOINT_NAME",
     "network": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/global/networks/default",
     "serviceDirectoryRegistrations": [
       {
         "namespace": "goog-psc-default"
       }
     ],
     "networkTier": "PREMIUM",
     "labelFingerprint": "LABEL_FINGERPRINT_ID",
     "fingerprint": "FINGERPRINT_ID",
     "pscConnectionId": "CONNECTION_ID",
     "pscConnectionStatus": "ACCEPTED",
     "allowPscGlobalAccess": true
   }
   

2. 验证端点状态是否为 ACCEPTED。如果状态为 PENDING，则表示实例不允许包含该端点的 Google Cloud 项目。确保允许在其中创建端点的网络项目。如需了解详情，请参阅修改启用了 Private Service Connect 的实例。

使用方网络未正确配置或根本未配置，因此没有可连接的端点。如需连接到端点，您需要检查端点的状态，并先修复错误，然后再次���试连接。
如需检查端点的状态，请参阅检索端点。 端点的状态可以是以下其中一种：

• CONNECTION_POLICY_MISSING：使用方网络上没有匹配的服务连接政策。服务连接政策按网络和区域进行配置。如需重新配置网络，请参阅更新服务连接政策。
• CONSUMER_INSTANCE_PROJECT_NOT_ALLOWLISTED：存在匹配的服务连接政策，但服务实例未配置为允许连接到此实例。如需重新配置服务连接政策，请参阅更新服务连接政策。
• POLICY_LIMIT_REACHED：服务连接政策已达到其端点限制。如需解决此问题，您需要更新服务连接政策，以提高端点限制。

您没有创建服务连接政策所需的权限。如需创建服务连接政策，您需要 Compute Network Admin IAM 角色。如需了解详情，请参阅角色和权限。

如果您的外部网络无法接受来自 Private Service Connect 接口的连接，则可能是您的网络连接上的连接政策未正确配置。

网络连接需要配置为自动接受所有连接，或者使用接受的连接列表手动配置。 如需了解详情，请参阅连接政策。

使用以下命令验证网络连接中接受的连接：

      gcloud compute network-attachments describe default
      --region=REGION_ID

首先，检查 max_connections 标志的值是否大于或等于主实例上的值。

如果 max_connections 标志设置正确，请在 Cloud Logging 中检查日志以找出实际错误。

如果错误为 set Service Networking service account as servicenetworking.serviceAgent role on consumer project，则停用 Service Networking API，然后重新启用。此操作会���建继续执行该过程所需的服务账号。

重启副本实例以收回临时内存空间。

修改实例以启用 automatic storage increase。

• 对副本的查询速度较慢。找到这些查询并进行修复。
• 所有表都必须具有唯一键/主键。每次更新此类没有唯一键/主键的表都会导致对副本进行全表扫描。
• 由于大量更新堆积在副本上，因此 DELETE ... WHERE field < 50000000 等查询会导致基于行的复制出现复制延迟。

以下是一些可行的解决方案：

• 修改实例以增加副本的大小。
• 减少数据库的负载。
• 将读取流量发送到只读副本。
• 将表编入索引。
• 识别并修复速度缓慢的写入查询。
• 重新创建副本。

停止所有正在运行的查询后重新创建副本。