Perguntas frequentes: Cloud TPU

Este documento contém uma lista de perguntas frequentes sobre os Cloud TPUs. Ele é dividido em seções:

Perguntas frequentes independentes de framework: perguntas sobre o uso de Cloud TPUs independentemente do framework de ML que está sendo usado.
Perguntas frequentes sobre o JAX: dúvidas sobre o uso de Cloud TPUs com o JAX.
Perguntas frequentes sobre o PyTorch: dúvidas sobre o uso de Cloud TPUs com o PyTorch.

Perguntas frequentes independentes de framework

Como verificar qual processo está usando a TPU em uma VM do Cloud TPU?

Execute tpu-info na VM do Cloud TPU para imprimir o ID do processo e outras informações sobre ele usando a TPU. Consulte as métricas disponíveis e as definições correspondentes.

   tpu-info

A saída de tpu-info é parecida com esta:

   TPU Chips
   ┏━━━━━━━━━━━━━┳━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━┓
   ┃ Chip        ┃ Type        ┃ Devices ┃ PID    ┃
   ┡━━━━━━━━━━━━━╇━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━┩
   │ /dev/accel0 │ TPU v4 chip │ 1       │ 130007 │
   │ /dev/accel1 │ TPU v4 chip │ 1       │ 130007 │
   │ /dev/accel2 │ TPU v4 chip │ 1       │ 130007 │
   │ /dev/accel3 │ TPU v4 chip │ 1       │ 130007 │
   └─────────────┴─────────────┴─────────┴────────┘

   TPU Runtime Utilization
   ┏━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━┓
   ┃ Device ┃ Memory usage         ┃ Duty cycle ┃
   ┡━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━┩
   │ 0      │ 0.00 GiB / 31.75 GiB │      0.00% │
   │ 1      │ 0.00 GiB / 31.75 GiB │      0.00% │
   │ 2      │ 0.00 GiB / 31.75 GiB │      0.00% │
   │ 3      │ 0.00 GiB / 31.75 GiB │      0.00% │
   └────────┴──────────────────────┴────────────┘

   TensorCore Utilization
   ┏━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┓
   ┃ Chip ID ┃ TensorCore Utilization ┃
   ┡━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━┩
   │ 0       │                  0.00% │
   │ 1       │                  0.00% │
   │ 3       │                  0.00% │
   │ 2       │                  0.00% |
   └─────────┴────────────────────────┘

   Buffer Transfer Latency
   ┏━━━━━━━━━━━━━┳━━━━━┳━━━━━┳━━━━━┳━━━━━━┓
   ┃ Buffer Size ┃ P50 ┃ P90 ┃ P95 ┃ P999 ┃
   ┡━━━━━━━━━━━━━╇━━━━━╇━━━━━╇━━━━━╇━━━━━━┩
   │       8MB+  | 0us │ 0us │ 0us │  0us |
   └─────────────┴─────┴─────┴─────┴──────┘

Como adicionar um volume de disco permanente a uma VM do Cloud TPU?

Para mais informações, consulte Adicionar um disco permanente a uma VM de TPU.

Quais opções de armazenamento são aceitas ou recomendadas para o treinamento com VMs de TPU?

Para mais informações, consulte Opções de armazenamento do Cloud TPU.

Perguntas frequentes sobre o JAX

Como saber se a TPU está sendo usada pelo meu programa?

Há algumas maneiras de verificar se o JAX está usando a TPU:

Use a função jax.devices(). Por exemplo:

assert jax.devices()[0].platform == 'tpu'

Crie o perfil do programa e verifique se ele contém operações de TPU. Para mais informações, consulte Como criar perfis de programas JAX.

Para mais informações, consulte as Perguntas frequentes sobre o JAX.

Perguntas frequentes sobre o Pytorch

Como saber se a TPU está sendo usada pelo meu programa?

Você pode executar os seguintes comandos do Python:

>>> import torch_xla.core.xla_model as xm
>>> xm.get_xla_supported_devices(devkind="TPU")

Verifique se é possível encontrar dispositivos de TPU.