Nueva herramienta de generación de imágenes por IA tiene un futuro prometedor en radiología

Entrenada en miles de millones de pares de texto e imágenes disponibles en Internet, DALL-E 2 cuenta con poderosas capacidades generativas. Ahora, una nueva investigación indica que el modelo de aprendizaje profundo DALL-E 2 para la generación de texto a imagen podría tener un futuro brillante en el cuidado de la salud, particularmente para la generación, ampliación y manipulación de imágenes.

Investigadores de la Universidad Charité de Berlín (Berlín, Alemania) se propusieron examinar si los modelos generativos tienen suficiente conocimiento del dominio médico para proporcionar resultados precisos y útiles y comprender si las capacidades de DALL-E 2 se pueden transferir al dominio médico para crear o aumentar los datos. Analizaron el conocimiento radiológico de DALL-E 2 en la creación y manipulación de imágenes de rayos X, tomografía computarizada (TC), imágenes de resonancia magnética (IRM) y ultrasonido. El equipo de investigación encontró que DALL-E 2 ha aprendido representaciones relevantes de imágenes de rayos X y tiene el potencial para la generación de texto a imagen. En particular, DALL-E 2 logró crear imágenes de rayos X realistas basadas en breves indicaciones de texto, aunque tuvo un desempeño deficiente cuando se presentó con indicaciones específicas de imágenes de tomografía computarizada, resonancia magnética o ultrasonido. Además, aunque pudo reconstruir razonablemente los elementos faltantes en las imágenes radiológicas, su capacidad para generar imágenes con anomalías patológicas era limitada. Además, DALL-E 2 podría hacer mucho más, como generar una radiografía de cuerpo completo usando solo una imagen de rodilla.

Los datos sintéticos generados por DALL-E 2 pueden acelerar significativamente el desarrollo de nuevas herramientas de aprendizaje profundo para radiología al tiempo que resuelven las preocupaciones de privacidad sobre el intercambio de datos entre instituciones. Los investigadores sugieren que las imágenes generadas deben someterse a un control de calidad por parte de expertos en el dominio para minimizar el riesgo de que se integre información incorrecta en un conjunto de datos generado. Según los investigadores, también es necesario realizar más investigaciones para ajustar estos modelos a los datos médicos e integrar la terminología médica a fin de crear modelos poderosos para la generación y la ampliación de datos en la investigación radiológica. DALL-E 2 no está disponible para el público para realizar ajustes, aunque el público puede modificar otros modelos generativos, como Stable Diffusion, y adaptarlos para generar una variedad de imágenes médicas. El estudio indica que la generación de imágenes por IA en radiología tiene un futuro prometedor y una mayor investigación y desarrollo podría allanar el camino para nuevas herramientas interesantes para radiólogos y profesionales médicos.

Enlaces relacionados:
Universidad Charité de Berlín