FP8, NVFP4, GGUF, TurboQuant: come non saturare la VRAM della GPU!

Scaricare un modello di intelligenza artificiale open source da usare in locale può diventare un vero e proprio percorso a ostacoli. Apri la pagina del repository su Hugging Face e, invece di un semplice tasto “download”, ti ritrovi davanti a un muro di file e acronimi incomprensibili: FP16, GGUF, FP8, NVFP4…

Spesso si finisce per scaricare un file a caso sperando sia quello giusto, per poi veder saturare istantaneamente la VRAM della nostra GPU, ricevendo il temuto errore di “Out of Memory” o assistendo a tempi di generazione biblici.

In questo video cerchiamo di mettere un po’ di ordine tra le varie precisioni di calcolo. Vediamo cosa cambia a livello pratico, come funziona la quantizzazione (il metodo migliore per mettere letteralmente “a dieta” i modelli più pesanti) e perché appoggiarsi troppo all’offloading sulla RAM di sistema non è quasi mai una buona idea.

L’obiettivo è capire come scegliere il formato perfetto per incastrare modelli enormi all’interno di schede video normali, ottimizzando le risorse del PC per avere calcoli veloci e fluidi senza sacrificare la qualità.