Chi è cieco o ipovedente e usa oggi un assistente basato sull’intelligenza artificiale come Be My AI o Aira dipende da due cose: una connessione dati stabile e, spesso, un abbonamento. Nessuna delle due è scontata quando servono davvero, per strada, in un parcheggio sotterraneo, in un paese dove il roaming costa. Un gruppo di ricercatori propone un percorso diverso con VisionAId, un’app Android sperimentale che fa girare i modelli di riconoscimento direttamente sul telefono, senza cloud per le funzioni che contano di più. Il lavoro è descritto in un paper pubblicato su arXiv il 2 luglio 2026 (arXiv:2607.02371) e firmato da Cristian-Gabriel Florea e Stelian Spînu.
Cosa propone lo studio
L’idea alla base è quella che gli autori chiamano architettura offline-first. Un comune smartphone Android diventa un assistente visivo in tempo reale grazie a sei modelli di deep learning che vengono eseguiti in locale tramite ONNX Runtime, il motore di inferenza che permette di far girare reti neurali sul dispositivo senza passare da un server remoto. Le funzioni critiche, dice il paper, restano operative anche a telefono scollegato dalla rete. Il modello linguistico di Google, Gemini Flash, viene chiamato in causa solo per le descrizioni più discorsive di una scena o per l’etichettatura di un oggetto, quando l’utente lo richiede e la connessione c’è. Il resto lavora offline, a costo zero, sull’hardware che la persona ha già in tasca.
Le funzioni per l’utente
VisionAId mette a disposizione sei funzioni pensate per la vita di ogni giorno. La prima è l’evitamento degli ostacoli, basato sulla stima della distanza degli oggetti intorno a chi cammina. La seconda è la descrizione della scena, che riassume a parole quel che la fotocamera inquadra. La terza è il ritrovamento di un oggetto personale: l’utente fotografa il proprio oggetto (le chiavi, il portafoglio, il telecomando) da più angolazioni, e in un secondo momento l’app aiuta a ritrovare quello specifico oggetto guidando la mano con marcatori in realtà aumentata e suono spaziale. La quarta è l’identificazione dei colori. La quinta è il riconoscimento dei volti, per capire chi si ha davanti. La sesta è il riconoscimento delle banconote, addestrato nel paper sulle banconote rumene, quindi da riaddestrare sull’euro prima di poter essere utile in Italia. Il ritorno di informazione verso la persona è multimodale: voce sintetica (nel prototipo in lingua rumena), audio spaziale che indica la direzione, e vibrazione.
I sei modelli sotto il cofano
Nel dettaglio tecnico riportato dagli autori, i sei modelli hanno ciascuno un ruolo. Depth Anything V2, in versione quantizzata INT8, si occupa della stima metrica della profondità per rilevare gli ostacoli. YOLO11n-Seg fa segmentazione e rilevamento degli oggetti. MobileCLIP2-S2 genera gli embedding visivi che servono a riconoscere l’oggetto personale registrato dall’utente. YuNet gestisce il rilevamento dei volti, mentre MobileFaceNet produce gli embedding facciali per l’identificazione. Un sesto modello, una versione personalizzata di YOLO26n, è dedicato alle banconote. La scelta di modelli leggeri e quantizzati serve a un obiettivo pratico: farli stare, e farli girare a velocità utile, su un telefono e non su un server.
I numeri dichiarati
Il paper riporta alcune misure. La calibrazione della profondità metrica ha un errore medio dichiarato sotto 1 centimetro, misurato a punti di calibrazione fino a 3 metri, la fascia di distanza che conta per muoversi in sicurezza. Il rilevatore di banconote raggiunge un mAP@50 di 0,986: è una metrica standard nel rilevamento di oggetti che misura la precisione delle individuazioni corrette, e un valore così alto indica un riconoscimento molto affidabile sul dataset usato. La latenza della stima di profondità è di circa 491 millisecondi, ridotta dai circa 1200 millisecondi di partenza grazie alla quantizzazione INT8, che rende i calcoli più snelli a scapito di una perdita minima di precisione. Gli autori indicano prestazioni intorno ai 7-8 fotogrammi al secondo per la stima della prossimità e circa 5 al secondo per la ricerca dell’oggetto in realtà aumentata.
Perché la notizia va letta con cautela
Qui serve chiarezza per chi legge. VisionAId è un progetto di ricerca, non un prodotto scaricabile oggi da uno store. Il paper su arXiv è un preprint, quindi un documento non ancora sottoposto a revisione tra pari, e gli stessi Florea e Spînu scrivono che il sistema non è ancora stato valutato in uno studio formale con partecipanti ciechi o ipovedenti. I numeri vengono dagli autori e si riferiscono ai loro dati di test. Nessun soggetto terzo li ha confermati e nessuno li ha misurati sul campo con persone cieche o ipovedenti reali. Il codice è dichiarato open source su GitHub, il che permette ad altri di esaminarlo e provarlo, e la direzione tecnica è chiara: portare in locale funzioni che finora richiedevano il cloud significa abbattere il costo e la dipendenza dalla rete, due barriere pesanti. Ma tra un prototipo che funziona in laboratorio e uno strumento che regge il rumore, la luce cattiva e la fretta di una giornata vera c’è una distanza che solo la validazione sul campo potrà misurare.
Fonte: arXiv, VisionAId: An Offline-First Multimodal Android Assistant for People with Visual Impairment, Featuring Personalized Object Retrieval, di Cristian-Gabriel Florea e Stelian Spînu (arXiv:2607.02371).