Indice dei contenuti
Far girare un modello AI sul proprio computer è diventato molto più accessibile. Puoi chattare, riassumere documenti, scrivere codice o sperimentare con agenti senza inviare ogni prompt a un servizio cloud. Ma appena apri una lista di modelli, arriva il dubbio: quale scegliere tra 7B, 13B, 32B, quantizzazioni, GGUF, VRAM e benchmark?
La risposta onesta è che non esiste “il modello migliore” in assoluto. Esiste il modello più adatto al tuo hardware, al tuo caso d’uso e al livello di qualità che ti serve. In questa guida ti spiego come scegliere con criterio, evitando sia l’entusiasmo eccessivo sia la frustrazione di scaricare un modello che il PC non riesce nemmeno a caricare.
Prima di scegliere il modello, guarda l’hardware 🖥️
Il primo fattore non è il nome del modello, ma la memoria disponibile. Un modello non gira “perché è open source”: ha bisogno di spazio per i pesi, per il contesto della conversazione e per le operazioni di inferenza.
Le risorse che contano di più sono:
- VRAM: la memoria della scheda grafica, fondamentale se vuoi velocità;
- RAM: necessaria se il modello viene eseguito sulla CPU o se parte dei pesi viene spostata fuori dalla GPU;
- spazio su disco: i modelli quantizzati possono occupare da pochi GB a decine di GB;
- GPU: una scheda NVIDIA con CUDA semplifica molto il setup, ma esistono anche soluzioni per CPU, Apple Silicon e altre GPU;
- raffreddamento e alimentazione: l’inferenza prolungata può far salire temperature e consumi.
Una regola pratica: se il modello, la quantizzazione e il contesto richiesto non entrano comodamente nella VRAM, le prestazioni calano. Puoi comunque usare CPU o una combinazione CPU/GPU, ma non aspettarti la stessa reattività.
Cosa significano 7B, 13B e 32B? 🔢
La sigla “B” indica i miliardi di parametri del modello. In generale, più parametri significa maggiore potenziale di ragionamento e conoscenza, ma anche maggiore consumo di memoria e tempi di risposta più lunghi.
Modelli piccoli: 3B-8B
Sono una buona scelta per iniziare, per PC con risorse contenute o per task semplici: riassunti, domande e risposte, traduzioni, correzione di testi e assistenza al codice di base.
Vantaggi:
- caricamento rapido;
- risposte generalmente più immediate;
- minore consumo di memoria;
- adatti anche a laptop o mini PC.
Limiti:
- possono sbagliare di più su ragionamenti complessi;
- hanno meno conoscenza e meno capacità di seguire istruzioni articolate;
- possono faticare con progetti di codice molto lunghi.
Modelli medi: 12B-32B
Rappresentano spesso il miglior compromesso per uso personale. Se hai una GPU con VRAM adeguata o una buona quantità di RAM, puoi ottenere risposte più solide senza passare subito a modelli enormi.
Sono indicati per:
- scrittura e revisione di testi;
- analisi di documenti;
- programmazione assistita;
- domande tecniche con un po’ più di contesto;
- agenti semplici e prototipi.
Modelli grandi: 70B e oltre
Possono offrire risultati più interessanti, ma richiedono hardware serio o quantizzazioni molto aggressive. Non sono la scelta migliore per iniziare: prima di investire in un modello enorme, è utile capire se il tuo caso d’uso ne trae davvero beneficio.
Sono sensati per:
- ragionamento complesso;
- analisi di codice articolato;
- lavori lunghi e strutturati;
- test locali di agenti più evoluti.
Quantizzazione: il compromesso tra qualità e memoria 📦
La quantizzazione riduce la precisione con cui vengono memorizzati i pesi del modello. In pratica, comprime il modello per farlo entrare in meno memoria, con una perdita di qualità che dipende dal livello scelto.
Non serve memorizzare tutte le sigle, ma è utile capire la logica:
- Q8: alta fedeltà, ma occupa più spazio;
- Q6: buon equilibrio tra qualità e dimensione;
- Q5: spesso un buon compromesso per uso quotidiano;
- Q4: molto diffuso, permette di usare modelli più grandi con hardware contenuto;
- Q3 o Q2: compressione elevata, utile per modelli molto grandi ma con possibili cali di qualità.
Se inizi oggi, un modello quantizzato intorno a Q4 o Q5 è spesso un punto di partenza ragionevole. Poi puoi confrontare versioni diverse sul tuo stesso hardware e valutare se la differenza è percepibile per il tuo lavoro.
Scegli in base al task, non al benchmark 🎯
I benchmark sono utili, ma non raccontano tutta la storia. Un modello può ottenere ottimi risultati in matematica e risultare deludente nella scrittura in italiano, oppure essere bravo a generare codice ma poco affidabile nel seguire istruzioni lunghe.
Prima di scegliere, definisci l’uso principale:
Per chattare e scrivere testi
Cerca modelli con buona qualità nella lingua che usi, capacità di seguire istruzioni e risposte non troppo prolisse. Prova con documenti reali, email, bozze e richieste di revisione.
Per programmare
Valuta modelli specializzati o ottimizzati per il codice, ma ricorda che la qualità dipende anche dal contesto. Un modello piccolo può aiutarti su una funzione isolata; per capire un progetto complesso serve più contesto e, spesso, più capacità.
Per analizzare documenti
Controlla la lunghezza massima del contesto, la capacità di seguire istruzioni e il comportamento con PDF, testo lungo o tabelle. Non tutti i modelli gestiscono allo stesso modo documenti articolati.
Per sperimentare con agenti
Un agente ha bisogno non solo di generare testo, ma di decidere quali strumenti usare, rispettare formati e gestire errori. Qui i modelli più piccoli possono deludere rapidamente: inizia con task semplici e ben delimitati.
Tool per iniziare senza complicarsi la vita 🧰
Non devi compilare nulla da zero. Esistono strumenti che semplificano download, gestione e utilizzo dei modelli.
- Ollama: ottimo per iniziare da terminale, con comandi semplici per scaricare ed eseguire modelli;
- LM Studio: interfaccia grafica comoda per cercare, scaricare e testare modelli;
- llama.cpp: base tecnica molto diffusa per modelli in formato GGUF, con molte opzioni di configurazione;
- Open WebUI: interfaccia web utile se vuoi un’esperienza simile a una chat AI self-hosted;
- Jan: alternativa desktop per gestire modelli locali.
Per il primo test, scegli uno strumento semplice, scarica un modello piccolo e prova con tre o quattro task reali. Solo dopo valuta modelli più grandi.
Un metodo di test che funziona davvero 🧪
Non scegliere un modello leggendo solo recensioni. Provalo sul tuo lavoro. Crea una piccola lista di task rappresentativi e usa gli stessi prompt per confrontare i modelli.
Per esempio:
- Chiedi un riassunto di un documento tecnico.
- Fai correggere un testo in italiano.
- Chiedi una funzione semplice in un linguaggio che conosci.
- Fai spiegare un errore reale che hai incontrato.
- Prova una richiesta articolata, con più vincoli.
Valuta non solo la qualità della risposta, ma anche:
- tempo per la prima parola;
- velocità di generazione;
- uso di memoria;
- capacità di restare nel formato richiesto;
- tendenza a inventare dettagli;
- utilità concreta per il tuo flusso di lavoro.
Privacy e dati: il vantaggio del locale, con attenzione 🔐
Uno dei motivi per cui scelgo spesso modelli locali è il controllo sui dati. Il prompt non viene inviato a un provider esterno e puoi lavorare su materiale sensibile senza dipendere da servizi cloud.
Attenzione però a non confondere “modello locale” con “sicurezza totale”. Se usi un agente con accesso a file, token o strumenti di sistema, i permessi restano importanti. Anche in locale, non dare all’AI accesso indiscriminato a tutto il computer.
Un punto di partenza realistico ✅
Se hai un PC moderno con una GPU di fascia media, inizia con un modello quantizzato nella fascia 7B-14B. Se hai molta VRAM o RAM, puoi provare modelli nella fascia 20B-32B. Se il computer è modesto, non disperare: un modello piccolo ben scelto può essere sorprendentemente utile per task mirati.
Il mio consiglio è di non inseguire il modello più grande, ma di costruire un piccolo set di test personale. Dopo qualche giorno d’uso capirai molto più di quanto possa dirti qualsiasi classifica.
La scelta giusta è quella che usi davvero 🚀
Un modello AI locale non deve essere perfetto per essere utile. Deve risolvere un problema concreto: scrivere meglio, capire un documento, velocizzare una parte del lavoro o permetterti di sperimentare senza costi ricorrenti.
Parti piccolo, misura i risultati e cresci solo quando ne vale la pena. L’AI locale è più interessante quando smette di essere un esperimento tecnico e diventa uno strumento quotidiano. E per arrivare lì, la scelta del modello conta, ma conta ancora di più sapere che cosa vuoi farci. ✨