ChatGPT aprobó el examen estándar de oro requerido para ejercer la medicina en los EE. UU., en medio de las crecientes preocupaciones de que la IA podría dejar sin trabajo a los trabajadores administrativos.
El programa de inteligencia artificial obtuvo entre 52,4 y 75 por ciento en el Examen de licencia médica (USMLE) de tres partes. El umbral de aprobación de cada año es de alrededor del 60 por ciento.
Los investigadores de la empresa de tecnología AnsibleHealth que realizaron el estudio dijeron: «Alcanzar el puntaje de aprobación para este examen experto notoriamente difícil, y hacerlo sin ningún refuerzo humano, marca un hito notable en la maduración clínica de la IA».
Se produce después de que DailyMail.com revelara las cinco profesiones con mayor riesgo de la revolución de la IA, según los expertos.
ChatGPT, un nuevo sistema de inteligencia artificial (IA), obtuvo una puntuación igual o cercana al umbral de aprobación en el Examen de Licencia Médica de los Estados Unidos (USMLE) requerido para ejercer la medicina en los EE. UU.
Los hallazgos completos, que estuvieron disponibles como preimpresión hace unas semanas, ahora han sido revisados por pares y publicados en la revista. PLOS Salud Digital.
Desarrollado por OpenAI, ChatGPT (abreviatura de ‘Chat Generative Pre-trained Transformer’) es un bot basado en lenguaje que puede generar respuestas similares a las humanas.
La tecnología ya ha sido puesta a prueba y aprobado exámenes en escuelas de negocios (Escuela de Negocios Wharton de la Universidad de Pensilvania) y facultades de derecho (Universidad de Minnesota).
En el último estudio, los investigadores probaron el software en 350 preguntas del USMLE de junio de 2022.
Dos médicos evaluaron los resultados y las discrepancias fueron revisadas por un tercer experto.
La prueba evalúa el conocimiento de la mayoría de las disciplinas médicas de los estudiantes de medicina y los médicos en formación y se ha utilizado desde 1992.
El Paso 1 de USMLE generalmente se toma al final del segundo año de la escuela de medicina, el Paso 2 se toma en el cuarto año y el Paso 3 se toma después de completar la escuela de medicina y el primer año de residencia.
Más de 100.000 estudiantes y estudiantes de posgrado toman el examen anualmente.
ChatGPT también produjo «al menos una idea significativa» que era «nueva, no obvia y clínicamente válida» para el 88,9 por ciento de sus respuestas.
Los resultados superaron el rendimiento de PubMedGPT, un modelo homólogo formado exclusivamente en la literatura del dominio biomédico, que obtuvo una puntuación del 50,8 % en un conjunto de datos más antiguo de preguntas de estilo USMLE.
Los autores creen que sus hallazgos sugieren que ChatGPT puede convertirse en una herramienta valiosa en la educación médica.
El bot de IA «posee la capacidad parcial de enseñar medicina al sacar a la superficie conceptos novedosos y no obvios que pueden no estar en la esfera de conciencia de los alumnos», escribieron los autores.
El estudio agrega que «las IA ahora están posicionadas para convertirse pronto en omnipresentes en la práctica clínica, con diversas aplicaciones en todos los sectores de atención médica».
El equipo de AnsibleHealth tiene tanta confianza en ChatGPT que los médicos de la empresa han comenzado a experimentar con su uso como parte de sus flujos de trabajo para reescribir informes llenos de jerga.
Incluso el equipo del estudio usó ChatGPT para escribir sus hallazgos.
‘ChatGPT contribuyó sustancialmente a la redacción de [our] manuscrito», dijo la autora, la Dra. Tiffany Kung. «Interactuamos con ChatGPT como un colega, pidiéndole que sintetice, simplifique y ofrezca contrapuntos a los borradores en curso… Todos los coautores valoraron el aporte de ChatGPT».
Aún así, algunos expertos destacan las limitaciones de los resultados del estudio y el uso de la IA.
El profesor Nello Cristianini, profesor de Inteligencia Artificial en la Universidad de Bath, dijo: «Esto no sugiere remotamente que ChatGPT tenga un conocimiento comparable al de un humano… estamos en presencia de un mecanismo estadístico entrenado para generar texto (nuevo pero ‘similar ‘ al que se entrenó), en el contexto y la forma correctos, por lo que no debemos hablar de comprensión o conceptos relacionados.’
Incluso OpenAI reconoce la tendencia de la herramienta a responder con ‘respuestas que suenan plausibles pero incorrectas o sin sentido’, un problema que considera difícil de solucionar.
La tecnología de IA también puede perpetuar sesgos sociales como los relacionados con la raza, el género y la cultura.
Los gigantes tecnológicos, incluidos Google y Amazon, han reconocido previamente que algunos de sus proyectos que experimentaron con IA eran «éticamente arriesgados» y tenían limitaciones. En varias empresas, los humanos tuvieron que intervenir y abordar estos problemas.
No obstante, el Dr. Stuart Armstrong, cofundador e investigador principal de Aligned AI, cree que «este es un desempeño impresionante y deberíamos esperar ver más éxitos de este tipo en la IA en el futuro».
‘Hay muchas áreas en las que los humanos son mucho más efectivos que las IA… Sin embargo, esta superioridad humana no durará para siempre. Un día, las IA serán mejores que nosotros en casi todas las tareas.’
Andrew Karolyi, decano de la Facultad de Negocios SC Johnson de la Universidad de Cornell, dijo recientemente al Financial Times: ‘Una cosa que todos sabemos con certeza es que ChatGPT no va a desaparecer. En todo caso, estas técnicas de IA seguirán mejorando cada vez más. Los administradores de facultades y universidades necesitan invertir para educarse a sí mismos.’