Toxicology questions in Spanish medical licensing exams (MIR): accuracy of AI vs a group of clinical toxicology experts

Abstract

OBJETIVO. Valorar la capacidad de varios sistemas de inteligencia artificial (IA) para acertar la respuesta correcta a preguntas de toxicología que se han formulado en las convocatorias del Ministerio de Sanidad para obtener plaza de médico-interno-residente (MIR), y compararla con los aciertos que a las mismas preguntas ha ofrecido un grupo de expertos en toxicología clínica. MATERIAL Y MÉTODOS. Se revisaron los cuestionarios de los exámenes MIR de las cinco últimas convocatorias (2019-2023) y se seleccionaron las preguntas de toxicología. Estas preguntas se pasaron a siete chatbots de IA (ChatGPT, Gemini, Copilot, Luzia, Claude, Deepseek y Le Chat), solicitando las respuestas correctas. Las mismas preguntas se formularon también a un grupo de toxicólogos. RESULTADOS. Se incluyeron 44 preguntas. El tiempo cronometrado para completar este examen por las IA fue de 1,01 (0,82-1,52) minutos, mientras que el tiempo estimado que precisaron los toxicólogos fue de 42 (28,5-53,5) minutos (p < 0,001). Las IA acertaron una mediana de 41 (39-42) respuestas, mientras que la mediana de respuestas acertadas por el grupo de toxicólogos fue de 32 (26- 36) (p < 0,001). En el grupo de toxicólogos no se encontraron diferencias en los aciertos en función de su edad, sexo o especialidad médica. Tampoco se han encontrado diferencias en los aciertos entre preguntas teóricas y casos clínicos. CONCLUSIONES. Los chatbots de inteligencia artificial contestan las preguntas de toxicología de los exámenes MIR más rápidamente y obtienen mejores resultados que un grupo de toxicólogos.

Ähnliche Arbeiten