App AI HuggingSnap: guarda il mondo attraverso la fotocamera del tuo telefono

Riepilogo:

• Hugging Face ha lanciato HuggingSnap, un'app iOS in grado di analizzare e descrivere ciò che vede la fotocamera del tuo iPhone.
• L'app funziona offline e non invia mai dati al cloud.
• HuggingSnap non è perfetto, ma mostra cosa si può fare sul dispositivo.

Fornire all'intelligenza artificiale la capacità di "vedere" sta diventando sempre più comune con l'emergere di strumenti come ChatGPT, Microsoft Copilot e Google Gemini che potenziano le capacità dell'intelligenza artificiale. Hugging Face ha lanciato la sua app iOS chiamata HuggingSnap, che consente di vedere il mondo attraverso la fotocamera del tuo iPhone e descrivere ciò che vede, anche senza connessione internet. L'app funziona offline, il che la rende ideale per l'uso in aree con scarsa connettività internet.

Immagina di avere una guida turistica personale che sa come rimanere in silenzio. HuggingSnap funziona completamente offline utilizzando il modello di visione interno di Hugging Face, smolVLM2, per consentire il riconoscimento istantaneo di oggetti, descrizioni di scene, lettura di testi e osservazioni generali sull'ambiente circostante, senza inviare alcun dato nel vuoto di Internet.

Questa funzionalità offline rende HuggingSnap particolarmente utile in situazioni in cui la connettività è scarsa. Se stai facendo un'escursione nella natura selvaggia, viaggiando all'estero senza una connessione internet affidabile o semplicemente sei in un reparto del supermercato dove il segnale cellulare scompare misteriosamente, avere questa funzionalità sul tuo telefono è una vera manna. Inoltre, l'app si vanta di essere ultra-efficiente, il che significa che non consumerà la batteria come fanno i modelli di intelligenza artificiale basati su cloud.

HuggingSnap guarda il mio mondo

Ho deciso di provare l'app HuggingSnap. Per prima cosa, l'ho puntata sullo schermo del mio portatile mentre il browser era aperto sulla mia biografia su TechRadar. Inizialmente, l'app ha fatto un buon lavoro nel trascrivere il testo e spiegare ciò che vedeva. Tuttavia, ha perso il filo quando ha visto i titoli e altri dettagli sulla mia biografia. HuggingSnap ha pensato che i riferimenti ai nuovi chip per computer in un titolo indicassero il dispositivo che stava alimentando il mio portatile, e sembrava pensare che alcuni dei nomi nei titoli si riferissero ad altre persone che lo utilizzavano.

Poi ho puntato la telecamera verso la stanza dei giochi di mio figlio, piena di giocattoli che non avevo ancora riordinato. Anche in questo caso, l'IA ha fatto un ottimo lavoro nel descrivere in generale l'area di gioco e i giocattoli al suo interno. Ha identificato correttamente i colori e persino le texture quando ha distinto i peluche dai mattoncini. Ma ha anche sbagliato alcuni dettagli. Ad esempio, ha descritto un orsacchiotto come un cane e ha scambiato un anello per una palla. Nel complesso, considererei HuggingSnap un buon strumento per descrivere una scena a un amico, ma non abbastanza per un rapporto della polizia.

Guarda al futuro

L'approccio on-device di HuggingSnap lo distingue dalle funzionalità integrate dell'iPhone. Sebbene il dispositivo possa identificare specie vegetali, trascrivere testo da foto e dirti se quel ragno sul muro è il tipo che dovrebbe farti muovere, invia sempre alcune informazioni al cloud.

HuggingSnap si distingue in un mondo in cui la maggior parte delle app cerca di tracciare quasi ogni dettaglio di te. Tuttavia, Apple sta investendo molto nelle tecnologie di intelligenza artificiale integrate nei dispositivi per i futuri iPhone. Per ora, se desideri la privacy con visibilità tramite intelligenza artificiale, HuggingSnap potrebbe essere la soluzione perfetta per te.