«Diálogo interactivo» entre Stable Diffusion y la actividad cerebral

Escrito por A. Patricia Llaque

La investigación sobre la codificación y la decodificación cerebral cuenta ya con una larga trayectoria. En los últimos años los intentos por entender y describir ambos procesos cerebrales han contado con un gran aliado: el Deep Learning. Hablamos de modelos de Inteligencia Artificial que nos acercan a la  comprensión del cerebro gracias a una interacción bidireccional con el corpus de conocimiento neurocientífico, que revierte a su vez en la mejora de los modelos artificiales.

Como no podía ser de otra manera, gracias a los avances en IA generativa, cada vez son más los investigadores interesados en conocer cómo estos modelos de IA pueden favorecer la exploración y el conocimiento cerebral. Como ejemplo, ya se han empezado a utilizar modelos generativos en la reconstrucción de experiencias visuales a partir de la actividad cerebral. Con ello, además de intentar comprender mejor cómo el cerebro representa el mundo, se obtiene información relevante sobre la relación de los modelos de visión por computadora con nuestro sistema visual.

Aunque, en este contexto, aún son pocas las investigaciones realizadas hasta el momento que combinan explícitamente características visuales derivadas de imágenes con características semánticas descritas en texto para decodificar contenido visual a partir de la actividad cerebral. Siendo conocedores de los retos en la reconstrucción de imágenes realistas con alta fidelidad semántica los Profesores Yu Takagi y Shinji Nishimoto, de la Universidad de Osaka, llevaron a cabo una investigación utilizando modelos de difusión (DM) que les ha permitido analizar la relación entre el contenido percibido –sensorial– y la actividad cerebral registrada mediante resonancia magnética funcional (fMRI). 

Bajo el titular «A new artificial intelligence system can reconstruct images a person saw based on their brain activity» ha sido presentado el paper “High-resolution image reconstruction with latent diffusion models from human brain activity”, donde se describe cuantitativamente la relación entre la actividad cerebral y un tipo de IA generativa de imágenes denominada Stable Diffusion, un modelo de difusión latente (LDM). En él ambos investigadores proponen un novedoso método de reconstrucción visual con LDM que ofrece alta resolución con alta fidelidad semántica a partir de la actividad del cerebro humano. 

Para dicho fin se modela la relación entre la actividad cerebral y las representaciones internas del LDM utilizando tanto las imágenes como la información de texto asociada. Cada imagen está marcada con un descriptivo de su contenido y no sólo con una etiqueta de su categoría. Este modelo reduce el coste computacional de los DM garantizando, a su vez, su alto rendimiento generativo.

Ello ha sido posible gracias al modelo de código abierto de Stable Diffusion que permite el análisis de su representación interna y no solo la generación de imágenes. Aunque los DM están en continua evolución, sus procesos internos siguen siendo poco conocidos. Este estudio es el primero en proponer una interpretación cuantitativa desde una perspectiva biológica.

Este «diálogo interactivo» entre Stable Diffusion y la actividad cerebral ha facilitado la caracterización de los mecanismos internos del LDM, al analizar cómo sus diferentes componentes se relacionan con distintas funciones cerebrales. Asímismo, se presenta un nuevo marco para la comprensión de los LDMs a través de un análisis cuantitativo de los diferentes componentes del LDM desde un enfoque neurocientífico.

En próximas acciones trataremos los problemas éticos y de privacidad que plantea la descodificación cerebral. También abordaremos cómo interpretar el recurrente titular «Brain-reading» o «Mind-reading».