Une IA conversationnelle pour simplifier l’usage du smartphone des personnes déficientes visuelles
Des chercheurs de l’Université d’État de l’Arizona ont présenté Insight, un nouvel assistant d’accessibilité pour smartphone destiné aux personnes aveugles ou malvoyantes. Son objectif : permettre une interaction plus naturelle avec les applications mobiles grâce à l’intelligence artificielle.
Aujourd’hui, les utilisateurs déficients visuels s’appuient principalement sur des lecteurs d’écran comme TalkBack sur Android ou VoiceOver sur iPhone. Ces outils décrivent vocalement les éléments affichés à l’écran, mais nécessitent souvent de nombreux gestes et une navigation séquentielle parfois complexe.
Avec Insight, l’approche est différente. L’utilisateur peut dialoguer avec son téléphone en langage naturel et poser des questions comme :
« Que contient cet écran ? »
« Augmente le volume de la musique »
« Quel article est dans mon panier ? »
L’IA analyse alors le contenu affiché et fournit un résumé vocal ou réalise l’action demandée.
Une utilisation plus fluide
Lors des tests réalisés par les chercheurs, les participants ont effectué différentes tâches sur smartphone avec Insight puis avec un lecteur d’écran classique.
Les résultats montrent une réduction du temps nécessaire pour accomplir certaines actions ainsi qu’une diminution de l’effort mental ressenti par les utilisateurs. Plusieurs participants ont également indiqué préférer l’interface conversationnelle proposée par Insight.
Selon les auteurs, cette approche permettrait de mieux comprendre le contexte global d’un écran plutôt que de devoir parcourir chaque élément un par un.
Une tendance plus large dans les aides techniques
Insight s’inscrit dans une évolution plus générale des aides techniques basées sur l’intelligence artificielle.
Ces dernières années, plusieurs applications ont déjà démontré l’intérêt de l’IA pour décrire des scènes, lire des documents ou reconnaître des objets. Des solutions comme Seeing AI, Be My Eyes ou Lookout utilisent déjà ces technologies pour améliorer l’autonomie des personnes déficientes visuelles.
La nouveauté d’Insight réside dans son fonctionnement davantage centré sur la conversation et la compréhension globale des interfaces mobiles.
Des questions qui restent ouvertes
Les chercheurs soulignent toutefois plusieurs défis avant une utilisation à grande échelle.
Comme d’autres systèmes basés sur l’IA générative, ces assistants doivent encore progresser en matière de fiabilité et éviter certaines erreurs d’interprétation. Les questions liées à la confidentialité des données affichées à l’écran restent également importantes.
Malgré ces limites, Insight illustre une tendance de fond : l’intelligence artificielle pourrait devenir, dans les prochaines années, une véritable aide technique du quotidien pour faciliter l’accès au numérique et renforcer l’autonomie des personnes en situation de handicap visuel.
Au-delà du handicap visuel, ce type d’assistant conversationnel pourrait également intéresser certaines personnes âgées peu à l’aise avec les smartphones ou des personnes présentant des difficultés cognitives légères. Demander simplement « ouvre mes messages » ou « trouve la photo que mon petit-fils m’a envoyée » pourrait devenir plus simple qu’apprendre les gestes complexes d’une interface tactile.
Yann BERTEL
