Astra sa usare il computer, ma nessuno l’ha ancora provato con chi non vede

La promessa del computer use per chi non vede l’ha scritta Jakob Nielsen il 21 febbraio 2025 su UX Tigers, in «Hello AI Agents: Goodbye UI Design, RIP Accessibility»: l’agente naviga il web al posto dell’utente e vede le pagine come sono progettate per essere viste, anche se chi lo comanda è cieco. Se il pulsante lo preme l’agente, l’etichetta di quel pulsante smette di servire.

Le misurazioni finora dicono un’altra cosa.

Che cosa fa Astra, e che cosa nessuno ha ancora misurato

GPT-6 Astra è il modello che OpenAI ha presentato il 3 settembre 2026 e distribuito dal 4. Va tenuto separato da Project Astra di Google DeepMind, prodotto diverso con una storia sua sull’accessibilità. Quello di OpenAI apre applicazioni e compila moduli.

La guida ufficiale allo strumento computer use, su developers.openai.com, descrive un ciclo chiuso sugli screenshot: il modello emette azioni, l’applicazione le esegue e gli rimanda una nuova immagine dello schermo perché ne controlli l’esito. In tutta la pagina non compare nessun riferimento all’albero di accessibilità. La voce contraria nasce da un articolo del 5 settembre 2026 sul Substack AI & Analytics Diaries, firmato Analyst Uttam, che nello schema del ciclo scrive «screenshot / accessibility tree» senza citare fonti OpenAI e premette di non avere avuto accesso alle API.

Sui benchmark dichiarati da OpenAI, Astra sale: 92,7 per cento su ScreenSpot-Pro contro il 76,9 del modello precedente. Nessuno di quei numeri riguarda utenti ciechi o ipovedenti, e a oggi non esiste nessuna misurazione indipendente di Astra con persone cieche. Il primo dato di questo articolo è quel vuoto.

I numeri cambiano quando cambia la condizione

A11y-CUA, di Ananya Gubbi Mohanbabu, Amy Pavel e colleghi fra Berkeley e Università del Michigan, arXiv 2602.09310, presentato a CHI 2026 in aprile, ha fatto svolgere gli stessi 60 compiti allo stesso agente, Claude Sonnet 4.5, in tre configurazioni. In condizioni ordinarie riesce nel 78,33 per cento dei casi. Costretto alla sola tastiera scende a 41,67. Con un ingrandimento minimo, il 150 per cento, si ferma a 28,33. Il crollo si ripete su un altro modello: Qwen3-VL passa dal 20 per cento a zero in entrambe le configurazioni assistive. Il dataset raccoglie 16 partecipanti, 8 ciechi o ipovedenti e 8 vedenti, e 158.325 eventi.

Are We There Yet?, di Satwik Ram Kodandaram e colleghi della Stony Brook University con Vikas Ashok della Old Dominion University, arXiv 2609.00524, primo settembre 2026, ha seguito per tre settimane otto utenti ciechi: 1.258 comandi su 12 applicazioni desktop. GPT-5 arriva al 52,5 per cento, gli altri quattro provati stanno fra il 48,5 di Claude Sonnet e il 37,9 di Qwen3-VL. I quattro punti di vantaggio di GPT-5 sul secondo non sono statisticamente significativi, scrivono gli autori, con p uguale a 0,071. E i tassi valgono solo per i compiti che i partecipanti hanno scelto di affidare all’agente: alcuni evitavano banca e password, e dopo fallimenti ripetuti smettevano di tentare intere categorie.

Nessuno dei due lavori ha provato Astra, che sull’uso del computer dichiara numeri più alti di tutti i modelli lì misurati.

Le tre lacune, e perché un modello più bravo non le chiude

Gli autori di A11y-CUA raggruppano i fallimenti in tre lacune. Quella di percezione nasce quando l’agente non accede agli stessi segnali che l’utente percepisce, e loro elencano gli annunci dello screen reader, i cambi di stato ARIA e il contenuto fuori dalla finestra visibile sotto ingrandimento. Quella cognitiva si manifesta come tracciamento debole dello stato del compito quando i passaggi si allungano o si cambia applicazione. Quella di azione si manifesta come sottoutilizzo dei metodi di input affidabili: l’agente predefinito non usa nessuna scorciatoia con Ctrl e quasi mai ricorre al trascinamento.

Nel lavoro di Stony Brook le lacune prendono la forma di comandi d’ufficio. Per proteggere un documento con una password l’agente cerca sotto la scheda Home, mentre il percorso corretto passa da Revisione: il 24,6 per cento delle tracce non riuscite di GPT-5, 147 su 597. Nel 17,6 per cento dei tentativi completati a metà arriva alla fine senza chiudere: per salvare in PDF apre l’esportazione, seleziona PDF, e non preme il pulsante che completa.

Qui sta il punto che riguarda Astra. Un modello più bravo a riconoscere i pixel alza i benchmark e non tocca nessuna delle tre lacune, perché sono lacune di collegamento. Nella condizione con lo screen reader, scrivono gli autori, l’agente aveva NVDA acceso e vedeva le zone di fuoco, ma non poteva usare il riscontro dello screen reader né l’albero di accessibilità ricco con cui lavorano gli utenti ciechi e ipovedenti. Gli agenti, si legge nell’abstract, rispecchiano le interazioni degli utenti vedenti, che possono quindi sorvegliarli e condividerne il controllo.

Quando decide da solo

Laura Colazzo e Giuseppe Anzillotti del Politecnico di Milano, arXiv 2606.24870, 23 giugno 2026, hanno osservato a fine maggio un ingegnere informatico ipovedente di 31 anni comandare a voce Perplexity Comet. Il partecipante ha apprezzato la fluidità della conversazione. Poi, in un modulo su un portale della pubblica amministrazione, Comet ha inserito da solo dati inventati nei campi senza chiedere conferma, e in un altro scenario ha scelto una configurazione al posto dell’utente, senza dirgli che l’opzione esisteva. Gli autori annotano anche l’assenza di riscontri non visivi mentre il sistema lavora: il partecipante capiva che stava elaborando da un’animazione colorata, vista col residuo visivo. Scrivono che è un caso singolo e che non si può generalizzare.

Cosa servirebbe, secondo chi ha misurato

Le indicazioni di A11y-CUA sono tutte sul collegamento: dare all’agente l’output dello screen reader insieme all’albero di accessibilità, fargli preservare modalità dello screen reader e livello di zoom, e riportare in ogni valutazione futura la configurazione assistiva accanto al tasso di successo.

Nello studio di Stony Brook lo dicono i partecipanti. P6 spiega che potrebbe non volere che l’agente faccia l’intero compito al posto suo. P7 vuole che l’agente chieda prima di cliccare qualcosa di importante. Cosa succede alle tre lacune quando a comandare Astra è chi non vede si saprà quando qualcuno lo misurerà in quelle condizioni.

Iscriviti e ricevi il libro in regalo

Iscrivendoti alla newsletter ricevi subito «AI e disabilità visiva 2026», il nostro libro di 67 pagine sugli strumenti che funzionano davvero, in EPUB e in PDF accessibile.

Poi, ogni venerdì mattina, le notizie della settimana e un consiglio pratico su VoiceOver, NVDA o TalkBack che pubblichiamo solo lì. È gratis e ci si disiscrive con un clic.