Come eseguire un modello linguistico locale di grandi dimensioni sul tuo telefono: e perché potresti volerlo fare
Scopri come eseguire un Large Language Model (LLM) in locale sul tuo telefono cellulare e quali vantaggi potrai trarre da questa esperienza.
Le cose più importanti che devi sapere
- L'esecuzione di modelli linguistici complessi in locale sul telefono garantisce completa privacy e accesso offline, riducendo la dipendenza dai servizi cloud.
- Per eseguire i modelli LLM in locale in modo efficiente, il telefono necessita di almeno 6 GB di RAM, preferibilmente 8 GB o più per i modelli più complessi, mentre i modelli con 1-2 miliardi di parametri rappresentano la scelta migliore per i telefoni con meno memoria.
- Applicazioni come Atomic Chat o PocketPal AI possono essere utilizzate per eseguire modelli linguistici di piccole dimensioni (SLM) come Gemma, Llama o Phi-4, concentrandosi su modelli con un numero ridotto di parametri per ottenere una migliore compatibilità e prestazioni sul telefono.
Sono ora disponibili modelli linguistici di grandi dimensioni (LLM) che sono sufficientemente gratuiti da rendere comune, e per certi versi persino preferibile, la loro esecuzione in locale su un computer: sono più rispettosi della privacy, poiché non è necessario inviare nulla al cloud, e funzionano offline.
Eseguire questi modelli di intelligenza artificiale avanzati sui telefoni non è sempre stato facile (motivo per cui le funzionalità più avanzate di Siri richiedono uno degli iPhone più recenti), ma ora abbiamo raggiunto un punto in cui la maggior parte degli smartphone è sufficientemente potente, e alcuni modelli sono abbastanza piccoli ed efficienti, da rendere la cosa praticamente possibile. Per maggiori dettagli, potete consultare il nostro articolo sull'esecuzione di un modello di intelligenza artificiale locale su un iPhone.
I vantaggi sono simili a quelli di un computer desktop: si dispone di un modello linguistico (LLM) personale, ampio, sempre disponibile e privato, senza dover inviare dati a Google, OpenAI, Anthropic o terze parti. Gli svantaggi sono che le prestazioni dell'IA saranno più lente e limitate, poiché si lavora con modelli più piccoli e meno potenti, e si potrebbe notare un impatto sulla durata della batteria (queste conversazioni con l'IA possono essere molto dispendiose in termini di risorse).
Anche con questi compromessi, l'IA nativa che potrai eseguire sul tuo telefono sarà comunque in grado di svolgere attività e conversazioni quotidiane con elevata efficienza, il che significa che puoi mettere a riposo Gemini o Siri (e possibilmente anche i tuoi altri abbonamenti all'IA).
Il telefono necessario per eseguire un Local Large Language Model (LLM)
Qualsiasi iPhone o telefono Android rilasciato negli ultimi due anni dovrebbe essere in grado di eseguire correttamente un Local Large Language Model (LLM); l'avvento dell'intelligenza artificiale ha spinto i produttori a progettare i propri dispositivi tenendo conto di questo tipo di utilizzo. Anche i telefoni più vecchi possono funzionare, ma potrebbero essere necessari modelli più piccoli e le prestazioni potrebbero risultare inferiori.
La memoria ad accesso casuale (RAM) è in realtà un fattore più importante delle prestazioni del processore (chipset) quando si tratta di eseguire un modello di intelligenza artificiale. Sono necessari almeno 6 GB per ottenere prestazioni soddisfacenti, mentre per i modelli più complessi è consigliabile avere almeno 8 GB. Se la RAM disponibile è inferiore a 8 GB, è preferibile utilizzare modelli con 1-2 miliardi di parametri (B), dove B sta per miliardo e indica il numero di parametri del modello (che ne riflette essenzialmente l'intelligenza e la versatilità).
Per quanto riguarda lo spazio di archiviazione, non c'è bisogno di preoccuparsi troppo. Anche i modelli più complessi, che utilizzano 7-8 miliardi di parametri, non occuperanno più di 5 GB sul telefono, quindi potreste voler tenere diversi modelli di intelligenza artificiale sul vostro dispositivo e passare da uno all'altro a seconda delle necessità.
Se oggi acquisti un nuovo iPhone o uno smartphone Android di punta, troverai preinstallati modelli di intelligenza artificiale nativi per attività rapide che possono essere eseguite offline (senza connessione a Internet). Tuttavia, questi modelli, creati da Apple e Google, non sono direttamente disponibili per l'utente; vengono utilizzati quando Siri AI e Gemini li ritengono l'opzione migliore.
Applicazioni e modelli necessari per eseguire un Local Large Language Model (LLM)
Sono disponibili diverse app che consentono di portare e utilizzare modelli di intelligenza artificiale sul proprio telefono. Tra le più popolari ci sono Atomic Chat ( per Android o iOS ) e PocketPal AI ( per Android o iOS ). Esistono alcune differenze tra le due; ad esempio, Atomic Chat è più facile da scalare per includere modelli LLM su computer desktop, mentre PocketPal AI è leggermente più leggero, ma entrambe sono ottime per iniziare a utilizzare l'intelligenza artificiale nativa sul proprio telefono.
Per quanto riguarda i modelli stessi, a volte chiamati SLM o Small Language Models perché progettati per funzionare in ambienti limitati, anche in questo caso le opzioni non mancano. Ad esempio, Gemma è il termine generico che indica i modelli open source che Google offre gratuitamente, e alcuni di questi sono specificamente progettati per funzionare in spazi ristretti e con risorse limitate (come il tuo telefono).
Meta offre i propri modelli di intelligenza artificiale open-source chiamati Llama, mentre Microsoft ha i modelli Phi-4, anch'essi molto apprezzati per la loro efficienza. Basta cercare le versioni con il minor numero di parametri prima della lettera "B" (o quelle con la parola "mini" nel nome) per trovare i pacchetti più adatti al proprio telefono.
Attualmente, questi piccoli modelli linguistici (SLM) sono principalmente basati sul testo, sebbene alcuni modelli più recenti, più grandi e più avanzati siano in grado di analizzare immagini e file. Se si desidera creare immagini e video, sarà necessario utilizzare i tradizionali modelli di intelligenza artificiale basati sul cloud, almeno fino al prossimo salto tecnologico.
Sperimentare con un modello linguistico locale di grandi dimensioni (LLM) sul tuo telefono
Per capire quanto potesse essere utile uno di questi modelli di intelligenza artificiale nativi su uno smartphone, ho installato PocketPal AI e uno dei modelli Gemma di Google sul mio Pixel 9 Pro, che non è più un top di gamma, ma non è nemmeno troppo vecchio. Sono rimasto colpito dalla piccola procedura guidata di selezione che PocketPal AI sblocca, che ti indirizza direttamente a un modello di intelligenza artificiale adatto al tuo telefono.
Una volta scaricati e installati alcuni modelli, è stato facile caricarli e iniziare a usarli. PocketPal AI offre anche l'accesso a "compagni" opzionali (da cui il nome dell'app) che possono personalizzare i modelli di intelligenza artificiale in base alle tue esigenze: l'opzione predefinita Pip sembra un'alternativa valida a ciò a cui potresti essere abituato con le app di intelligenza artificiale standard come Gemini o Siri . Le funzioni di guida e follow-up funzionano perfettamente, con la cronologia delle chat salvata di default.
Si nota (ed è prevedibile) un certo rallentamento nelle risposte quando si eseguono i modelli LLM sul telefono, e una netta differenza nelle dimensioni dei modelli di intelligenza artificiale: scegliendo un modello più piccolo si otterranno risposte molto più rapide, anche se meno intelligenti o complete. Vale la pena sperimentare con alcuni modelli per trovare il giusto equilibrio tra prestazioni e velocità.
Data la mancanza di funzionalità di ricerca sul web o di informazioni aggiornate, questa opzione è ideale per il brainstorming, l'analisi e il perfezionamento di testi esistenti, la creazione di nuovi testi, la raccolta rapida di informazioni o il confronto (ad esempio, "Suggerisci un film simile a..."). Come sempre, bisogna fare attenzione alle "allucinazioni" che questi modelli possono produrre e le informazioni fornite dall'IA non devono mai essere considerate necessariamente accurate.
I commenti sono chiusi.