El workshop está enfocado a los modelos multimodales de una y varias tareas, atendiendo en primer lugar a algunas ideas interesantes de Google Research, como el modelo Perceiver, un transformador agnóstico a la modalidad que maneja datos sin procesar y expresa la capacidad de reducción de la dimensionalidad, y la arquitectura Attention Bottleneck, que modela explícitamente neuronas multimodales entre las específicas de la modalidad, procesando la semántica compartida en una capa de cuello de botella.

Por lo tanto, se han analizado varios submódulos de arquitectura de los modelos transformadores de 3 modalidades para estudiar los principales bloques de construcción del procesamiento de la información multimodal. En particular, el modelo Audio-Visual Dual-Stream Retrieval propuso una recuperación de vídeo tipo CLIP con supervisión de texto, combinando, de hecho, las modalidades de vídeo, audio y texto, mientras que el modelo Video-Audio-Text Transformer (VATT) introdujo el módulo DropToken para reducir la complejidad computacional al tratar estímulos combinados de audio-vídeo-texto de alta dimensión.

Por último, se consideraron ejemplos de modelos multimodales multitarea procedentes de la investigación de Facebook y DeepMind, entre otros. En particular, el modelo Unified Transformer (UniT) propuso un modelo codificador-decodificador para procesar conjuntamente una concatenación de representaciones uni-modales codificadas junto con una representación codificada latente de una tarea específica a resolver, el modelo One For All (OFA), se basó en un vocabulario unificado de texto-imagen-objeto y un codificador-decodificador simple para aprender a resolver hasta 8 tareas, tanto cross-modales como uni-modales, el modelo Uni-Perceiver propuso un modelo de codificador compartido para aprender representaciones latentes tanto de la entrada como del objetivo de una cantidad impresionante de tareas diferentes, aprendiendo a aproximar su probabilidad conjunta, y el más reciente modelo Flamingo introdujo los conceptos de texto de entrada estructurado intercalado por imágenes, y decodificadores condicionales, dejando fluir la información en una arquitectura combinada de módulos aprendibles y congelados.

 Los modelos de aprendizaje multimodal (Multimodal learning) son altamente modulares, y conceptos como la fusión de modalidades y la reducción de la dimensionalidad pueden ser fácilmente manejados por bloques de construcción específicos que participan en el procesamiento de la información.

Tanto los modelos de sólo codificador como los de codificador-decodificador pueden alcanzar objetivos impresionantes en el aprendizaje multitarea, al dejar a los investigadores espacio para opciones arquitectónicas flexibles cuando entran en juego las limitaciones de hardware o de tiempo.

Más información relacionada con el artículo: 

– Marco D’Alessandro, especialista en neurociencia cognitiva, nuevo miembro del equipo de Neuraptic Labs.

– ¿Qué es la IA multimodal? Descubre todo su potencial.