Quota condivisa dinamica (DSQ)

La quota condivisa dinamica (DSQ) è stata introdotta per soddisfare le richieste con pagamento a consumo (PayGo) con maggiore flessibilità per adattarsi alle esigenze del tuo carico di lavoro senza dover gestire le quote e le richieste di aumento della quota (QIR). Con DSQ, non esistono limiti predefiniti per le quote di utilizzo. Al contrario, DSQ fornisce l'accesso a un ampio pool condiviso di risorse, allocate dinamicamente in base alla disponibilità in tempo reale delle risorse e alla domanda in tempo reale di tutti i clienti di quel modello. Quando sono attivi più clienti, ciascuno riceve una quantità inferiore di throughput. Analogamente, se i clienti sono meno, ciascuno potrebbe ottenere una maggiore velocità effettiva.

Modelli supportati

I seguenti modelli Gemini e i relativi modelli ottimizzati con supervisione supportano DSQ:

I seguenti modelli Gemini precedenti supportano DSQ:

  • Gemini 1.5 Pro
  • Gemini 1.5 Flash

Come funziona il DSQ

La quota condivisa dinamica (DSQ) si adatta ai tuoi pattern di traffico e alle tue esigenze e minimizza le difficoltà di utilizzo. L'accesso del tuo progetto alle risorse nel DSQ non è limitato da un numero arbitrario impostato da noi. ma dalla capacità complessiva del pool condiviso e dalla domanda collettiva attuale di tutti i clienti. Questo modello è progettato per offrire una flessibilità significativa, consentendo ai carichi di lavoro di aumentare e consumare più risorse, se disponibili. Al contrario, consente anche a tutti i clienti del pool condiviso di avere la possibilità di accedere alle risorse quando sono disponibili senza dover configurare la quota per cliente.

Per garantire un'esperienza equa e stabile per tutti gli utenti nell'ambiente delle risorse condivise, la quota condivisa dinamica gestisce in modo intelligente la modalità di gestione delle richieste, soprattutto durante i periodi di domanda molto elevata da origini isolate. Anziché un limite fisso, DSQ utilizza un approccio di definizione delle priorità dinamico. Ciò significa che, anche se il sistema è progettato per gestire picchi, picchi insolitamente grandi e rapidi nel traffico proveniente da una singola sorgente potrebbero essere gestiti con una priorità diversa rispetto al traffico più costante e regolare. Questa gestione sofisticata garantisce che l'attività degli utenti e i carichi di lavoro regolari siano protetti da picchi estremi e temporanei, promuovendo la stabilità complessiva del sistema e l'accesso equo.

Le richieste Gemini con input multimodali sono soggette ai limiti di frequenza del sistema corrispondenti che includono immagini, audio, video e documenti.

Per contribuire a garantire un'alta disponibilità per la tua applicazione e ottenere livelli di servizio prevedibili per i tuoi carichi di lavoro di produzione, consulta Throughput pianificato.

Informazioni sugli errori 429 relativi all'esaurimento delle risorse in DSQ

Ci rendiamo conto che l'errore 429 "Risorsa esaurita" può essere frustrante e farti pensare di aver raggiunto un qualche tipo di limite di quota. Tuttavia, con DSQ non è così. Questi errori indicano che il pool di risorse condivise complessivo per quel tipo specifico (ad es. un determinato modello in una regione specifica) in un momento specifico sta registrando una domanda estremamente elevata da parte di molti utenti contemporaneamente. È come provare a salire su un treno molto affollato durante l'ora di punta. Non esiste un "limite di biglietti" specifico per te, ma il treno potrebbe essere temporaneamente pieno. Si tratta di uno stato temporaneo di contesa per le risorse, non di un limite fisso imposto al progetto.

DSQ lavora costantemente per gestire e distribuire la capacità disponibile in modo equo e efficiente. Quando ricevi questo tipo di errore, significa che la domanda istantanea ha superato l'offerta disponibile nel pool condiviso. A differenza di una quota obbligatoria in cui l'accesso viene bloccato anche se le risorse sono inutilizzate altrove, la DSQ mira a darti l'accesso ogni volta che le risorse sono disponibili. L'errore di esaurimento riflette il carico corrente dell'intero sistema, non un limite del tuo account.

Ti consigliamo di implementare meccanismi di ripetizione, poiché la disponibilità in questo ambiente dinamico può cambiare rapidamente. Per altre tattiche per gestire gli errori di esaurimento delle risorse, consulta la guida alla gestione degli errori 429 o l'articolo Codice di errore 429.

Passaggi successivi