La mia esperienza con Copilot Vision: una sensazione strana, ma in qualche modo utile - ecco la mia opinione

Gli utenti negli Stati Uniti possono ora utilizzare Copilot Vision su Windows 11 (e 10), un assistente basato su intelligenza artificiale che ti aiuta praticamente in qualsiasi cosa tu faccia sul tuo PC. Vuoi sapere se funziona davvero? Beh, l'ho provato e in questa guida spiegherò in dettaglio cosa offre questa funzionalità, come ottenerla e condividerò la mia esperienza personale.

Nell'app Copilot, la funzionalità è: "Visione" Una funzionalità che ti consente di condividere lo schermo con un chatbot, permettendogli di vedere e interpretare ciò che vedi sullo schermo. Agisce come un secondo paio di occhi, fornendo aiuto, risposte e approfondimenti in tempo reale in base al contenuto visualizzato nelle tue app o nel browser.

Questa è una funzionalità opzionale, quindi è necessario abilitarla manualmente nella versione 1.25061.104.0 e successive di Copilot. Se si utilizza un browser Microsoft EdgePuoi accedere alla funzionalità anche tramite l'integrazione Copilot.

È importante notare che l'intelligenza artificiale può visualizzare quasi tutti i contenuti, purché non si tratti di materiale protetto da DRM o di qualche altro tipo di contenuto limitato.

Questa funzionalità è disponibile per chiunque non abbia un abbonamento. Copilota professionista Su Windows 10 e 11. Puoi accedere a Copilot Vision anche su iOS e Android, ma per utilizzarlo su questi dispositivi mobili è necessario un abbonamento.

In questa guida descriverò nel dettaglio i passaggi necessari per iniziare a utilizzare questa funzionalità e condividerò la mia esperienza.

Come ottenere e attivare Copilot Vision su Windows 11

Copilot Vision è attualmente disponibile negli Stati Uniti, a partire dalla versione 1.25061.104.0 dell'app Copilot e successive. Pertanto, il primo passo è aprire l'app Microsoft Store, andare alla sezione "Download e aggiornamenti" e cliccare sul pulsante "Scarica aggiornamenti" per assicurarsi che la versione più recente dell'app sia installata sul computer. Questo passaggio è necessario per garantire che il dispositivo sia compatibile con le nuove funzionalità e migliorare le prestazioni generali di Copilot.

Puoi scaricare l'app dal Microsoft Store se l'hai già disinstallata. Cerca Copilot nello Store e installala per usufruire di tutte le sue funzionalità.

Microsoft spiega che Vision è una funzionalità opzionale, il che è tecnicamente vero perché è necessario concederle l'autorizzazione per condividere lo schermo. Tuttavia, è disponibile per impostazione predefinita perché non è possibile disattivarla completamente nella pagina delle impostazioni. Questo significa che una volta aggiornata l'app, Vision sarà pronta all'uso, ma richiederà il consenso esplicito dell'utente prima di poter accedere ai contenuti dello schermo.

Nella pagina delle impostazioni di Copilot, troverai solo un'opzione per attivare e disattivare gli "Evidenziatori", ma questa funzione controlla solo la capacità dell'IA di indicare visivamente le azioni sullo schermo. Non controlla la disponibilità della funzione nell'app. In altre parole, anche disattivando gli "Evidenziatori", la funzione Visione sarà comunque disponibile, ma non evidenzierà gli elementi visivi sullo schermo.

Se non ti senti a tuo agio con l'idea di utilizzare Copilot in generale, ti consigliamo di disinstallarlo da Impostazioni > App > App installate e toccare l'opzione "Disinstalla" per accedere a "Copilot". Questo rimuoverà completamente l'app dal tuo dispositivo, impedendogli di accedere ai tuoi dati o alle risorse di sistema.

La mia esperienza con Copilot Vision su Windows 11: una prima occhiata

La mia prima interazione con Copilot Vision su Windows 11 mi è sembrata un po' strana, perché rappresentava un cambio di paradigma mai sperimentato prima. Invece di dover formulare comandi testuali o vocali dettagliati per determinare il contesto, l'assistente intelligente di Copilot sembrava comprenderlo automaticamente, consentendogli di fornire assistenza immediata ed efficace. Questa capacità di comprendere il contesto senza richiedere istruzioni specifiche rappresenta un cambiamento significativo nel modo in cui interagiamo con i computer.

Sebbene la precisione di Copilot Vision sia ancora in fase di sviluppo, offre un'anteprima del futuro dell'informatica. Rappresenta un passo promettente verso un'esperienza informatica più fluida e integrata, in cui il computer diventa un partner intelligente che comprende e anticipa le nostre esigenze, piuttosto che un semplice strumento a cui eseguiamo comandi specifici. Questa tecnologia ha il potenziale per cambiare radicalmente il nostro modo di lavorare, creare e imparare.

Introduzione a Copilot Vision

Dopo aver confermato che Copilot Vision era disponibile sul mio computer, ho iniziato a testarlo. Ho aperto alcune applicazioni, quindi ho lanciato Secondo pilota Dal menu Start. Quindi, fai clic sul pulsante "Visione" (Occhiali), quindi seleziona l'app che desideri condividere con Copilot e abilita l'opzione "Condividere".

Domanda di verifica sull'applicazione

Mentre utilizzavo il Blocco note, ho chiesto a Copilot di mostrarmi come modificare il font predefinito per l'applicazione, ma la risposta è stata errata.

Il copilota ha suggerito di cercare nell'elenco. "Visualizza" (Visualizza), ma questa opzione non era presente in questa posizione. Il motivo, secondo l'attuale design di Blocco note, è che le impostazioni per la modifica del carattere si trovano nella pagina Impostazioni, accessibile dal menu. "Modificare" (Modifica) oppure cliccando sul pulsante "Ingranaggio" (ingranaggio) situato nell'angolo in alto a destra dell'applicazione.

Alla fine, Copilot è arrivato alla risposta corretta attraverso un processo di eliminazione graduale. È interessante notare che il chatbot ha indicato di aver commesso un errore perché aveva confuso diverse versioni di Blocco Note. Tuttavia, non ricordo che nessuna versione di Blocco Note avesse impostazioni per i caratteri nel menu. "Visualizza" (Mostra) affatto. Ciò suggerisce che Copilot potrebbe essersi basato su informazioni obsolete o inaccurate.

Impostazioni delle domande del test

Come parte del processo di test, ho avviato l'app Impostazioni in Windows 11 e poi ho chiesto a Copilot di aggiornare il mio PC con gli ultimi aggiornamenti di sistema.

In questo caso è stato possibile Copilota Microsoft Con Vision, ho identificato correttamente che mi trovavo all'interno dell'app Impostazioni. Mi ha indirizzato esattamente alla sezione "Aggiornamento Windows" E ha evidenziato il pulsante "Controlla gli aggiornamenti".

Poi, gli ho presentato un prompt meno comune (ma comunque pertinente). Ho chiesto come impedire al mio computer di scaricare aggiornamenti su altri dispositivi durante il processo di aggiornamento. Sebbene non si trattasse di una richiesta particolarmente complessa, metteva alla prova la capacità dell'assistente di interpretare le intenzioni più sottili dell'utente.

Al primo tentativo, Vision ha frainteso la domanda e ha visualizzato le istruzioni generali per l'aggiornamento del dispositivo. Al secondo tentativo, dopo aver riformulato la mia domanda, l'ha riconosciuta correttamente.

Tuttavia, le sue indicazioni non erano coerenti con quanto visualizzato sullo schermo. Ad esempio, indicava che avevo disabilitato correttamente la funzionalità di condivisione degli aggiornamenti, anche se non avevo intrapreso alcuna azione. Questo suggerisce che l'assistente stesse facendo ipotesi basate sul comportamento previsto anziché analizzare effettivamente lo stato del sistema in tempo reale. Ciò evidenzia la necessità di migliorare la capacità di Microsoft Copilot di comprendere con maggiore precisione il contesto dell'utente e fornire risposte più accurate e affidabili, in particolare per quanto riguarda le impostazioni e le opzioni di aggiornamento di Windows 11.

Test di riconoscimento degli elementi: Fase 3

Nel test successivo, volevo testare la capacità di Copilot di riconoscere gli elementi visivi sullo schermo. Per farlo, ho aperto un'immagine specifica e ho chiesto a Copilot di identificare con precisione l'elemento al suo interno.

In questo caso, a Copilot è stata mostrata l'immagine di una giacca rossa. Il chatbot è stato in grado di identificare e descrivere accuratamente il prodotto e persino di fornire ulteriori informazioni pertinenti su richiesta. Ciò dimostra la capacità di Copilot Vision di analizzare le immagini e fornire informazioni dettagliate sul loro contenuto.

Tuttavia, sebbene il chatbot abbia riconosciuto che la giacca era in vendita su Amazon, anche con l'immagine aperta in una scheda separata, non è riuscito a determinare che non stessi navigando sulla pagina prodotto effettiva. Di conseguenza, non è stato in grado di fornirmi informazioni sulla pagina prodotto attiva su Amazon. Questo suggerisce limitazioni nella capacità di Copilot di correlare le informazioni visive al contesto di navigazione attuale dell'utente.

Test di estrazione del testo

Un'altra funzionalità offerta da Copilot Vision è l'estrazione di testo dalle immagini. In precedenza, i sistemi operativi non erano in grado di rilevare ed estrarre il testo dalle immagini, ma ora sono disponibili diversi metodi per svolgere questa attività in modo efficiente.

Ad esempio, ora hai a disposizione strumenti specializzati per l'estrazione di testo come la funzione Text Extractor disponibile tramite PowerToys, lo Snipping Tool, nonché Fare clic per fareOra puoi affidarti anche a Copilot Vision per questo processo.

Per testare questa funzionalità, ho aperto l'app Impostazioni alla pagina Modalità Gioco e ho chiesto a Copilot se poteva estrarre il testo esistente. Il bot intelligente ha letto ad alta voce tutto il testo presente nella pagina.

L'unico inconveniente che ho riscontrato è stata l'impossibilità di copiare il testo estratto negli appunti o di selezionarlo direttamente, come è possibile in "Click to Do". Tuttavia, il bot ha copiato tutto nell'app Copilot come parte della cronologia delle conversazioni.

Test di scrittura di testo: capacità dell'intelligenza artificiale nell'analisi e nell'ottimizzazione dei contenuti

Tecnicamente, puoi porre qualsiasi domanda su qualsiasi elemento presente sullo schermo. Ad esempio, se stai lavorando su un file specifico, puoi chiedere all'IA di analizzare un grafico o qualsiasi altro tipo di dato visualizzato.

Questa tecnologia consente anche di richiedere la descrizione di una scena o di un'immagine specifica, identificare un punto di riferimento o un luogo geografico, o qualsiasi altra cosa si possa immaginare. Le possibilità sono infinite.

Se stai lavorando a un testo scritto, puoi chiedere all'IA di leggerlo e suggerire idee per migliorarlo. Questa funzione è particolarmente utile per autori, blogger e studenti che desiderano migliorare la qualità dei propri scritti.

Nel mio ultimo test, ho caricato un testo semplice nel Blocco Note e ho chiesto al chatbot di allungarlo. Il chatbot ha suggerito con successo una versione alternativa migliorata del testo originale.

Sebbene la capacità dell'assistente intelligente di comprendere il testo visualizzato sullo schermo e di suggerire una versione alternativa fosse impressionante, non era molto preciso nel comprendere le azioni successive richieste.

Sebbene sapessi che non era possibile copiare e sostituire direttamente il testo con il suggerimento, ho chiesto se fosse possibile copiare e incollare la versione sostitutiva del testo, ma lui mi ha indicato una sezione del file da inserire al suo posto.

La soluzione in questo caso è aprire e chiudere Copilot Vision, quindi, dall'interfaccia di Copilot, selezionare e copiare il testo dalla cronologia chat. Questo permette di sfruttare facilmente ed efficacemente i suggerimenti dell'IA.

La linea di fondo

Dal punto di vista di uno che scrive guide da molti anni, trovo questa tecnologia davvero straordinaria nel comprendere il contenuto dello schermo e nel fornire l'assistenza necessaria.

Tuttavia, bisogna riconoscere che commette molti errori e potrebbe non essere molto utile se non si ha già una conoscenza di base della procedura che si desidera eseguire. In altre parole, la conoscenza pregressa dell'argomento è essenziale per trarne il massimo vantaggio.

Inoltre, sembra agire con piena consapevolezza, ma in realtà è semplicemente un'intelligenza artificiale che replica contenuti già disponibili online. Questo ne riduce il valore come strumento innovativo.

A volte, usare Copilot Vision sembra quasi di parlare con l'assistenza tecnica al telefono. Sebbene il chatbot possa vedere lo schermo, ti guida come farebbe un operatore dell'assistenza tecnica e spesso non capisce se hai completato l'attività. Questa mancanza di consapevolezza contestuale rappresenta una sfida significativa.

Inoltre, nella maggior parte dei casi, è necessario essere estremamente specifici nelle istruzioni, spesso specificando persino l'azione esatta che si desidera eseguire. Questo contraddice fondamentalmente lo scopo di un'IA che dovrebbe comprendere naturalmente le intenzioni dell'utente. È importante ricordare che questa funzionalità è progettata principalmente per utenti non tecnici, poiché è improbabile che individui con competenze tecniche vi facciano affidamento.

Nel complesso, sebbene Vision si dimostri promettente come assistente personale, la sua più profonda consapevolezza contestuale e la sua accuratezza necessitano ancora di miglioramenti. Sembra più che "indovini" in base ai comandi, piuttosto che monitorare e rispondere attivamente allo stato attuale del contenuto sullo schermo. Questo lo rende meno affidabile in scenari complessi.

Infine, è importante sottolineare che non menzionerò le domande specifiche che ho usato per questa guida perché sono irrilevanti. L'idea di un chatbot è di condurre una conversazione normale come se si stesse parlando con un altro essere umano. L'attenzione dovrebbe essere rivolta alla fluidità dell'interazione.

Inoltre, questa funzione non può intervenire per conto tuo. Può solo analizzare il contenuto sullo schermo. Per intervenire, l'IA deve essere un agente, ma attualmente solo i PC Copilot+ dispongono di questa funzionalità, con un'opzione limitata nell'app Impostazioni.

Infine, sebbene la funzionalità sia gratuita, presenta delle limitazioni. Ad esempio, nonostante abbia un abbonamento a Microsoft 365, dopo alcune interazioni l'app mi chiede di passare a Copilot Pro.

Quindi, se stai cercando di risolvere un problema e sei a metà del processo, potresti dover pagare l'assistente AI per completare la riparazione. Questo approccio potrebbe irritare gli utenti che si affidano all'assistenza gratuita.