Perplexity: un'intelligenza artificiale locale che richiede l'autorizzazione prima di accedere al cloud.
Perplexity sta lanciando una nuova intelligenza artificiale che funziona localmente sul tuo computer e richiede l'autorizzazione prima di utilizzare il cloud. Discover Plus.
Le cose più importanti che devi sapere
- Il sistema Portable Computer combina componenti di intelligenza artificiale locali (modelli, motore di inferenza, strumenti proxy, connettori, ambiente isolato) per consentire di lavorare con file locali, leggere PDF, eseguire comandi shell, effettuare ricerche sul web e collegarsi a servizi come Google Drive e Gmail.
- Il computer portatile si basa su un routing ibrido in cui il modello locale gestisce le attività semplici e richiede l'autorizzazione dell'utente per inviare le operazioni più complesse ai modelli cloud, garantendo il controllo della privacy e riducendo il consumo di crediti di fatturazione per il lavoro svolto localmente.
- Il funzionamento del computer portatile richiede hardware specializzato, come una scheda grafica Nvidia con almeno 24 GB di VRAM, il che rende il suo lancio iniziale rivolto ad appassionati di intelligenza artificiale, sviluppatori e aziende con sistemi Nvidia ad alte prestazioni.
La maggior parte degli assistenti basati sull'intelligenza artificiale richiede l'invio di domande, file e altri dati a server di terze parti. Ma il nuovo Portable Computer di Perplexity ribalta questo concetto, eseguendo l'intero sistema di intelligenza artificiale sui propri dispositivi.
Martedì è stato annunciato il Portable Computer, che porta la piattaforma smart computer di Perplexity su Nvidia DGX Spark e altri dispositivi Linux con schede grafiche Nvidia compatibili.
L'azienda precisa che ogni operazione inizia sul dispositivo dell'utente. Se il modello locale raggiunge una fase che richiede un ragionamento più complesso, Portable Computer richiede l'autorizzazione prima di inviare tale fase a un modello avanzato nel cloud. La risposta viene quindi inviata nuovamente al flusso di lavoro locale, mentre i file e altre informazioni sensibili possono rimanere sul dispositivo.
Questo potrebbe renderlo attraente per chiunque desideri un agente di intelligenza artificiale facile da usare senza dover automaticamente affidare ogni sua gestione a un fornitore di servizi cloud.
Tuttavia, c'è un lato negativo, che è piuttosto costoso.
Molto più di un semplice chatbot installato localmente
È già possibile scaricare ed eseguire modelli open source sul proprio computer. La parte più complessa, però, consiste nel trasformare uno di questi modelli in un agente di intelligenza artificiale capace di lavorare con i file, utilizzare strumenti e completare un'attività composta da più fasi.
Questo in genere implica la ricerca e la configurazione di un motore di inferenza, nonché il collegamento dell'infrastruttura dell'agente, di un ambiente di test (sandbox) e di tutti i connettori necessari per accedere ad applicazioni esterne. È inoltre responsabilità dello studente assicurarsi che tutti questi componenti funzionino correttamente insieme.
Il computer portatile combina questi componenti in un unico sistema. Include il modello locale, il motore di inferenza, gli strumenti proxy, i connettori applicativi e un ambiente isolato (sandbox) in cui può eseguire codice e utilizzare strumenti.
L'intelligenza artificiale può interagire con i file memorizzati sul computer, leggere file PDF, eseguire comandi di shell, ricevere dettati e effettuare ricerche sul web. Gli utenti possono anche integrare servizi come Google Drive, Gmail, Slack e GitHub.
Secondo Perplexity, il codice e gli strumenti vengono utilizzati all'interno di un ambiente sandbox locale. Questo garantisce una certa separazione tra l'agente di intelligenza artificiale e il resto del sistema, anche se vorrei maggiori dettagli su cosa esattamente può accedere e su come vengono controllate tali autorizzazioni.
Sa quando chiedere aiuto.
Il routing ibrido è forse l'aspetto più interessante di un computer portatile.
Un modello locale di dimensioni ridotte potrebbe essere sufficiente per individuare un file, estrarre informazioni da un PDF o eseguire una serie di semplici passaggi. Tuttavia, è meno probabile che raggiunga le capacità di inferenza dei modelli più grandi di OpenAI , Anthropic o Google.
La soluzione di Perplexity consiste nel lasciare l'attività in locale finché il modello non incontra qualcosa che non è in grado di gestire in modo affidabile. A quel punto, il computer portatile può chiedere se è possibile inviare quel passaggio a un modello basato sul cloud.
Gli utenti non devono definire impostazioni sulla privacy o creare regole di routing personalizzate. Il sistema prende la decisione durante l'esecuzione, ma l'utente deve comunque approvare il passaggio di consegne. Un sistema di intelligenza artificiale che si presume locale diventa molto meno rispettoso della privacy se ritorna silenziosamente al cloud ogni volta che il compito diventa complesso. Per saperne di più su come proteggere le tue informazioni personali, puoi consultare il nostro confronto tra le politiche sulla privacy di ChatGPT, Gemini, Cloud e Perplexity.
Perplexity precisa inoltre che il lavoro svolto localmente non inciderà sul saldo delle fatture. Solo la parte inviata al cloud verrà conteggiata ai fini dell'utilizzo del cloud.
Al momento del lancio, gli utenti potranno scegliere tra il modello Qwen con 27 miliardi di parametri o una versione proprietaria di Perplexity, addestrata successivamente e denominata PPLX 27B. Si prevede che in seguito verrà introdotto il modello Lightning Nemotron 3.5 di Nvidia. Gli utenti potranno anche utilizzare il proprio modello e server di inferenza.
L'ostacolo risiede nell'attrezzatura.
Il computer portatile potrebbe funzionare sul tuo computer, ma non su qualsiasi computer.
Il software viene lanciato inizialmente su Linux e richiede hardware Nvidia con almeno 24 GB di VRAM. Supporta schede grafiche Nvidia DGX Spark di dimensioni desktop, nonché computer compatibili con DGX OS o Ubuntu su hardware ARM o x64.
Il supporto per Windows è previsto per settembre. Perplexity non ha ancora annunciato il supporto per macOS.
I computer portatili saranno disponibili per gli abbonati a Perplexity Pro, Max, Enterprise Pro e Enterprise Max. Anche con un abbonamento compatibile, la maggior parte delle persone non disporrà dell'hardware necessario sotto la propria scrivania.
Questo rende questa versione iniziale più interessante per gli appassionati di intelligenza artificiale, gli sviluppatori e le aziende che già possiedono sistemi Nvidia ad alte prestazioni, rispetto a chi deve scegliere tra ChatGPT e Perplexity su un normale laptop.
Tuttavia, l'idea di base potrebbe raggiungere un pubblico molto più ampio. Gli assistenti virtuali basati sull'intelligenza artificiale stanno ottenendo accesso a una quantità sempre maggiore di informazioni personali, tra cui e-mail, documenti di lavoro e file memorizzati sui nostri dispositivi. Eseguire Plus localmente offre agli utenti un ulteriore modo per controllare cosa esce dai loro dispositivi e quando.
Il Portable Computer non è ancora pronto a sostituire un chatbot basato sul cloud per la maggior parte delle persone. Tuttavia, offre un'anteprima di come potrebbe essere un assistente AI più personalizzato, una volta che l'hardware necessario per farlo funzionare diventerà accessibile.
I commenti sono chiusi.