Come installare localmente gli ultimi Large Language Model (LLM) su un Mac

Negli ultimi anni, i Large Language Model (LLM) sono diventati sempre più popolari grazie alla loro capacità di generare testo simile a quello umano e di supportare diverse attività. Non tutti i modelli sono open source, ma quasi tutte le principali aziende tecnologiche ne hanno una versione scaricabile ed eseguibile dagli utenti.

Eseguire questi moduli localmente sul Mac può essere vantaggioso sia per motivi di privacy che di costi. In questo articolo, esploreremo come installare ed eseguire i moduli LLM utilizzando Ollama , un potente strumento per sviluppatori e utenti principianti, e discuteremo alcuni strumenti con interfaccia grafica che possono semplificare il processo per coloro che preferiscono non utilizzare il Terminale di macOS.

In questo modo, puoi accedere ai più recenti modelli di testo basati sull'intelligenza artificiale di [Google], [Microsoft], [Meta] e altre aziende di intelligenza artificiale come [Mistral] e [DeepSeek].

Capire gli LLM: cosa significano i parametri?

Prima di addentrarci nel processo di installazione, chiariamo cosa significano numeri come " 7 miliardi " o " 14 miliardi " quando ci si riferisce ai modelli lineari generalizzati (LLM). Questi numeri rappresentano la dimensione del modello in termini di parametri (in miliardi), essenzialmente le "manopole e gli interruttori" che vengono regolati durante l'addestramento.

Un numero maggiore di parametri consente al modello di catturare pattern e relazioni più complessi nel linguaggio, con il potenziale vantaggio di migliorare le prestazioni. Tuttavia, è importante notare che avere più parametri non garantisce sempre risultati migliori; anche la qualità dei dati di training e le risorse computazionali a disposizione del modello giocano un ruolo significativo.

Requisiti di sistema

Dovrai assicurarti che il tuo [Mac] abbia almeno le seguenti specifiche:

• macOS 10.15 o successivo (consigliato macOS 13 o successivo)
• Almeno 8 GB di RAM (consigliati 16 GB o più)
• 10 GB di spazio di archiviazione libero (il minimo richiesto per i modelli più piccoli; i modelli più avanzati con un numero massimo di parametri richiedono circa 700 GB)
• Processore multi-core [Intel] o processore [Apple Silicon] (preferibilmente M2 o superiore)

Installa Ollama

Ollama è uno strumento open-source che permette di eseguire i LLM direttamente sul proprio computer locale. Ecco come iniziare:

1. Scarica Ollama: Visita il sito web Ollama Scarica la versione per macOS. Puoi anche usare [Homebrew] per installarla eseguendo brew install ollama Nel tuo Terminale.

1. Installa OllamaSe hai scaricato il programma di installazione, fai doppio clic su di esso e segui la procedura guidata. Se utilizzi Homebrew, vai al passaggio 4.

1. Il passo successivo per l'installatore è semplicemente cliccare sul pulsante. InstallazioniTi verrà richiesta la password di amministratore.

1. Corri OllamaApri una finestra del terminale e avvia Ollama come servizio utilizzando il comando brew services start ollamaQuesto renderà Ollama disponibile all'indirizzo http://localhost:11434/.
2. Scarica ed esegui il modelloUtilizzare il comando ollama pull <model-name> Per scaricare un modello, quindi il comando ollama run <model-name> Per eseguirlo. Ad esempio, per eseguire un modello DeepSeek-R1, usa il comando ollama pull deepseek-r1 Seguito dall'ordine ollama run deepseek-r1.
3. Per scaricare una versione più grande del modello, basta aggiungere due punti verticali seguiti dalla dimensione. Ad esempio, per scaricare un modello 14B DeepSeekUtilizzerai il comando ollama esegue deepseek-r1:14bSul sito web di Ollama puoi cliccare su uno qualsiasi dei moduli e ti verranno mostrati tutti i diversi comandi per ogni versione.

Qui puoi trovare l'elenco completo dei moduli Ollama . Puoi anche utilizzare il secondo comando come descritto sopra; se non è già installato, scaricherà prima il modulo e poi lo eseguirà.

Ora che vedi le tre frecce ad angolo retto (>>>), puoi iniziare a digitare i comandi nel modulo.

Ecco fatto! Ora puoi interagire localmente con il tuo LLM in intelligenza artificiale senza preoccuparti di costi, sovrautilizzo o che altri possano leggere ciò che scrivi. Questa è la soluzione ideale se hai argomenti delicati o personali che vorresti discutere con un LLM in intelligenza artificiale, ma non vuoi che una grande azienda tecnologica legga i tuoi pensieri.

Utilizzo di strumenti di interfaccia utente grafica con Ollama

Sebbene Ollama sia potente ed efficiente per gli sviluppatori, alcuni utenti potrebbero preferire un'interfaccia utente grafica (GUI) per interagire con gli LLM. Ecco alcuni strumenti che possono fornire un'interfaccia utente grafica per Ollama:

• • • Interfaccia grafica utente di OllamaSi tratta di un'applicazione gratuita e open source per utenti macOS, sviluppata utilizzando SwiftUI. Offre un'interfaccia accattivante ed è un'ottima opzione per chi desidera accedere ai moduli LLM in locale senza utilizzare un terminale.
    • Interfaccia utente di OllamaUn'interfaccia utente web semplice, basata su HTML, che consente di definire e interagire con i moduli direttamente nel browser. Include anche un'estensione per Chrome per un facile accesso.
    • Chatbox AIQuesta è l'opzione più semplice per i principianti e spiegherò come utilizzarla di seguito. Nota che non è necessario sottoscrivere il servizio Chatbox AI, che è un abbonamento offerto da loro, così puoi accedere a tutti i modelli LLM senza dover installare Ollama.

Per utilizzare la migliore interfaccia Chatbox AI, vai alla pagina di download e scarica la versione per il tuo Mac.

Quindi, apri il programma di installazione ed eseguilo. Nella prima schermata, apparirà una finestra pop-up che ti chiederà come utilizzare Chatbox AI.

Dovrai fare clic sul pulsante " Usa la mia chiave API / modello locale".

Successivamente, seleziona Ollama API come fornitore del modello di intelligenza artificiale.

Chatbox AI dovrebbe rilevare automaticamente che Ollama è in esecuzione e impostare l'host API sul suo valore predefinito, ovvero l'indirizzo IP di loopback e il numero di porta 11434. Non è necessario modificare nulla. All'interno del modulo, dovresti visualizzare i moduli che hai installato in precedenza tramite Terminale. Nel mio caso, si tratta del modulo di Ollama 3.2.

Tornando alla schermata principale dell'app, tocca "Just chat" o "Nuova chat" e assicurati che il modello corretto sia selezionato in basso a destra. Puoi cambiare il modello in qualsiasi momento, ma ti consiglio di creare una nuova chat per ogni modello che utilizzi, così potrai vedere facilmente le differenze.

Strumenti alternativi per l'esecuzione locale di modelli LLM

Se stai cercando alternative a Ollama o preferisci un'esperienza più intuitiva fin da subito, LM Studio è un'altra ottima opzione. Offre un'interfaccia facile da usare per esplorare e utilizzare diversi modelli di intelligenza artificiale, consentendoti di scaricarli ed eseguirli con facilità. LM Studio è disponibile per Linux, Mac e Windows e offre funzionalità come la personalizzazione dei parametri del modello e della cronologia delle chat. Attualmente è gratuito, motivo per cui lo consiglio rispetto al servizio in abbonamento Chatbox AI.

Conclusione

Eseguire modelli linguistici di grandi dimensioni (LLM) in locale sul tuo Mac sarà importante per chiunque desideri ottenere un maggiore controllo sulle proprie applicazioni di intelligenza artificiale e dare priorità alla privacy dei dati. Con strumenti come Ollama e le interfacce grafiche sopra menzionate, che semplificano l'integrazione degli LLM nel tuo flusso di lavoro, puoi sbloccare in modo sicuro un nuovo potenziale di produttività e creatività.

Tuttavia, avviare una distribuzione LLM locale richiede una certa comprensione dei parametri e di come questi influenzano le prestazioni di questi modelli sulla macchina specifica. Il modo migliore per apprendere questo concetto è sperimentare diversi modelli per vedere quali offrono i risultati migliori. Una volta compreso questo concetto, sarai in grado di prendere decisioni migliori su quali modelli utilizzare e su come ottimizzarne le prestazioni in base alle tue esigenze specifiche.