WOWWW - Nouvelles

Les données d'origine proviennent de deux études. La première a utilisé l'imagerie par résonance magnétique fonctionnelle (IRMf) pour enregistrer l'activité cérébrale de trois volontaires pendant qu'ils regardaient une série de photos. Dans la seconde, il s'agissait d'un macaque avec des électrodes implantées dans le cerveau, une opération réalisée pour une autre étude. Cette fois, l'animal regardait des images générées par IA.

 

LES RÉSULTATS POUR LE MACAQUE QUI A VU LES IMAGES GÉNÉRÉES PAR IA (BG2) ET LES VOLONTAIRES QUI ONT VU LES PHOTOS (GOD). LA PREMIÈRE LIGNE MONTRE LES IMAGES VUES PAR LES SUJETS. LA SECONDE LIGNE MONTRE LES IMAGES RECONSTRUITES PAR L’IA DANS LA NOUVELLE ÉTUDE, GRÂCE AUX PAM. LA TROISIÈME LIGNE CORRESPOND AUX RÉSULTATS DES ÉTUDES INITIALES, AVANT L’INTÉGRATION DES PAM. © UNIVERSITÉ RADBOUD

Dans cette nouvelle étude, les chercheurs ont intégré dans l'IA des mécanismes d'attention prédictifs (PAM). Les données d'activité cérébrale ont été transformées en vecteurs latents et traités par un réseau antagoniste génératif. Les PAM ont permis à l'IA de cibler les signaux les plus pertinents pour tenter de reconstruire les images vues par les sujets.

Grâce à l'intégration des PAM, certaines images sont très ressemblantes aux originales. Les images reconstruites à partir de l'activité cérébrale du macaque étaient plus ressemblantes, et c'est en partie dû à la méthode d'enregistrement, l'IRMf produisant beaucoup plus de bruit que les électrodes. Toutefois, l'animal a vu des images générées par IA, plutôt que des photos. Ceci faciliterait la reconstruction, puisque l'IA peut comprendre comment ces images ont été assemblées. Le but ultime des chercheurs est de créer des implants pour restaurer la vue, en stimulant la partie du cerveau qui correspond aux objets