Pillola: quanta memoria resta davvero al modello

La memoria unificata è una riserva fisica condivisa da CPU e GPU. Aiuta a evitare alcune copie di dati, ma il numero sulla scheda tecnica non è lo spazio disponibile per i pesi di un modello. Sistema operativo, applicazioni, ambiente di esecuzione e cache dei token usano la stessa riserva. La cache cresce con il contesto: un agente che legge molti file può consumare più memoria durante il compito. Per scegliere un dispositivo bisogna misurare il lavoro completo, comprese interruzioni e applicazioni aperte. “Il modello entra” è un primo controllo; latenza sostenuta e stabilità richiedono una prova distinta.

Fonti: Microsoft