Small Language Models e edge AI: la rivoluzione silenziosa dei prossimi 24 mesi

Il pendolo torna verso il device

Per due anni la narrazione è stata univoca: i foundation model crescono, i benchmark salgono, il cloud vince. Vero a metà. Sotto al rumore mediatico è successa un'altra cosa: i modelli piccoli sono migliorati molto più velocemente dei grandi.

Llama 3, Phi-3, Gemma, Mistral Small, Qwen 2.5: famiglie da 1B a 8B parametri che oggi producono output utilizzabili in produzione su task verticali. Girano su una GPU consumer, su un MacBook, e — sempre più spesso — direttamente sul telefono o su un mini-PC industriale.

Perché ora, e perché nei prossimi 24 mesi

Tre forze convergono:

• Costo del cloud AI in aumento, non in diminuzione, sui carichi reali di produzione
• Hardware edge (Apple Silicon, NPU Snapdragon, Intel Core Ultra, Jetson Orin) che porta inferenza decente sotto i 50W
• Pressione normativa europea (AI Act, GDPR, NIS2, Data Act) che premia architetture in cui i dati sensibili non lasciano l'infrastruttura del cliente

Nei prossimi 24 mesi vedremo SLM specializzati su domini — diritto italiano, fatturazione elettronica, codici sanitari, manualistica industriale — che batteranno i generalisti su quel singolo dominio, a una frazione del costo.

Implicazioni concrete per chi sviluppa

1. Architetture ibride diventano lo standard. Routing intelligente: query banali al modello locale, query complesse al cloud, escalation tracciata.
2. Fine-tuning torna rilevante. Su un 7B specializzato sui tuoi dati hai performance migliori di un GPT generalista, e il modello è tuo.
3. Il vendor lock-in si riduce. I pesi sono open weight, l'infrastruttura è la tua. Cambia il rapporto di forza con i fornitori.

Dove non funzionerà ancora

Reasoning multi-step complesso, generazione di codice di alto livello, sintesi cross-documento su contesti molto lunghi: qui i grandi vincono ancora, e probabilmente continueranno a farlo nei prossimi 24 mesi. Non tutto deve girare in locale.

La domanda strategica

Se stai progettando un prodotto AI oggi, la domanda non è più "quale API uso". È: quale parte del workflow può girare on-prem o on-device, e quale deve restare nel cloud? Chi risponde bene a questa domanda costruisce prodotti più difensibili e più vendibili in Europa.