Nuevos sistemas de puntuación aumentan precisión de informes de radiología generados por IA

Estos informes de IA van más allá de la simple identificación de anomalías y, en cambio, proporcionan información de diagnóstico compleja, descripciones detalladas, hallazgos matizados y grados apropiados de incertidumbre, de manera similar a cómo los radiólogos humanos describen los resultados de las exploraciones. Si bien han surgido varios modelos de IA capaces de generar informes de imágenes médicas tan detallados, según un nuevo estudio, los sistemas de puntuación automatizados destinados a evaluar estas herramientas están demostrando ser menos efectivos para medir su rendimiento.

En el estudio, los investigadores de la Facultad de Medicina de Harvard (Boston, MA, EUA) probaron varias métricas de puntuación en informes narrativos generados por IA y seis radiólogos humanos leyeron estos informes. El análisis reveló que los sistemas de puntuación automatizados se desempeñaron de manera deficiente en comparación con los radiólogos humanos cuando se trataba de evaluar los informes generados por IA. Estos sistemas malinterpretaron e incluso pasaron por alto errores clínicos significativos cometidos por la herramienta de IA. Garantizar la confiabilidad de los sistemas de puntuación es crucial para que las herramientas de IA continúen mejorando y ganando la confianza de los médicos. Sin embargo, las métricas probadas en el estudio no lograron identificar de manera confiable los errores clínicos en los informes de IA, lo que destaca una necesidad urgente de mejora y el desarrollo de sistemas de puntuación de alta fidelidad que controlen con precisión el desempeño de la herramienta.

Para crear mejores métricas de puntuación, el equipo de investigación diseñó un nuevo método llamado RadGraph F1 para evaluar el desempeño de las herramientas de IA que generan informes radiológicos a partir de imágenes médicas. Además, crearon una herramienta de evaluación compuesta llamada RadCliQ, que combina múltiples métricas para producir una puntuación única que está mas alineada con la forma en que un radiólogo humano evaluaría el desempeño de un modelo de IA. Usando estas nuevas herramientas de puntuación, los investigadores evaluaron varios modelos de IA de última generación y encontraron una brecha notable entre sus puntuaciones reales y las puntuaciones más altas posibles.

En el futuro, los investigadores prevén construir modelos de IA médicos generalistas capaces de realizar varias tareas complejas, incluida la resolución de problemas novedosos. Dichos sistemas de IA podrían comunicarse de manera efectiva con radiólogos y médicos sobre imágenes médicas, ayudando en las decisiones de diagnóstico y tratamiento. El equipo también tiene como objetivo desarrollar asistentes de IA que puedan explicar los hallazgos de imágenes directamente a los pacientes utilizando un lenguaje cotidiano, mejorando la comprensión y el compromiso del paciente. En última instancia, estos avances podrían revolucionar las prácticas de imágenes médicas, mejorando la eficiencia, la precisión y la atención al paciente.

“Evaluar con precisión los sistemas de IA es el primer paso crítico para generar informes de radiología que sean clínicamente útiles y confiables”, dijo el autor principal del estudio, Pranav Rajpurkar, profesor asistente de informática biomédica en el Instituto Blavatnik en HMS. “Al alinearse mejor con los radiólogos, nuestras nuevas métricas acelerarán el desarrollo de la IA que se integra a la perfección en el flujo de trabajo clínico para mejorar la atención al paciente”.

Enlaces relacionados:
Facultad de Medicina de Harvard