Il modello non ci sta: le leve per usarlo lo stesso

Community talk di cinque minuti. Un Mixture of Experts da 400 miliardi di parametri pesa circa 200 GB anche a 4 bit: non sta né su un MacBook da 128 GB né su una H100. Eppure negli ultimi mesi c'è chi ha fatto girare modelli da 744 miliardi su un portatile con 25 GB di RAM. I progetti cambiano ogni settimana, le leve sono sempre le stesse, e ognuna ha un prezzo: la quantizzazione riduce i byte ma sotto i 4 bit rompe JSON e tool calling; gli esperti restano su SSD e salgono in RAM solo quando il router li sceglie, pagando in latenza; caricarli in anticipo nasconde l'attesa, ma si paga quando la previsione sbaglia.

Galleria