Multi-GPU e AI: perché due schede video non raddoppiano la VRAM?

Stavate per svuotare il portafoglio su Amazon per affiancare due schede video e raddoppiare la VRAM del vostro sistema? Vi fermo subito 😁

Oggi cerchiamo di fare un po’ di chiarezza su uno dei falsi miti più costosi per chi fa AI in locale con software come ComfyUI. L’idea di unire due GPU più economiche per ottenere la memoria di una top di gamma è allettante, ma la realtà tecnica (e commerciale) è molto diversa 🤔

Tra i limiti fisici dell’hardware attuale e le scelte decisamente mirate di NVIDIA per tutelare il mercato professionale, il sogno del VRAM pooling sui nostri PC di casa si scontra con un muro invalicabile. In questo video vediamo esattamente perché 12GB + 12GB in inferenza pura restano sempre e solo 12GB, e ragioniamo su come potrebbe (o dovrebbe) evolversi l’hardware nei prossimi anni per tirarci fuori da questa situazione. Forse la soluzione è tornare al passato?

EDIT postumo al montaggio video: si sta parlando molto di TurboQuant di Google e di come potrà cambiare il mondo AI, con richieste minori di memoria. Al momento ci sono solo alcuni dettagli tecnici e poche applicazioni, si spera possa essere adattato a tutto e stravolgere completamente tutto, ma sicuramente avere tanta VRAM o comunque sia tanta memoria rimarrà quasi sicuramente una necessità anche in futuro, per diverse applicazioni.