Success of ChatGPT, an AI language model, in taking the French language version of the European Board of Ophthalmology examination: A novel approach to medical knowledge assessment

Abstract

The purpose of this study was to evaluate the performance of ChatGPT, a cutting-edge artificial intelligence (AI) language model developed by OpenAI, in successfully completing the French language version of the European Board of Ophthalmology (EBO) examination and to assess its potential role in medical education and knowledge assessment. ChatGPT, based on the GPT-4 architecture, was exposed to a series of EBO examination questions in French, covering various aspects of ophthalmology. The AI's performance was evaluated by comparing its responses with the correct answers provided by ophthalmology experts. Additionally, the study assessed the time taken by ChatGPT to answer each question as a measure of efficiency. ChatGPT achieved a 91% success rate on the EBO examination, demonstrating a high level of competency in ophthalmology knowledge and application. The AI provided correct answers across all question categories, indicating a strong understanding of basic sciences, clinical knowledge, and clinical management. The AI model also answered the questions rapidly, taking only a fraction of the time needed by human test-takers. ChatGPT's performance on the French language version of the EBO examination demonstrates its potential to be a valuable tool in medical education and knowledge assessment. Further research is needed to explore optimal ways to implement AI language models in medical education and to address the associated ethical and practical concerns. L’objectif de cette étude était d’évaluer la performance de ChatGPT, un modèle de langage d’intelligence artificielle (IA) développée par OpenAI, dans la réussite des annales françaises de l’examen de l’European Board of Ophthalmology (EBO) et d’évaluer son rôle potentiel dans l’éducation médicale et l’évaluation des connaissances. ChatGPT, basé sur l’architecture GPT-4, a été exposé à une série de questions d’examen de l’EBO en français qui couvraient divers aspects de l’ophtalmologie. La performance de l’IA a été évaluée en comparant ses réponses avec les réponses correctes fournies par des experts en ophtalmologie. En outre, l’étude a évalué le temps pris par ChatGPT pour répondre à chaque question en tant que mesure de l’efficacité. ChatGPT a obtenu un taux de réussite de 91 % à l’examen EBO, démontrant un haut niveau de compétence en matière de connaissances et d’applications ophtalmologiques. L’IA a fourni des réponses correctes dans toutes les catégories de questions, ce qui indique une bonne compréhension des sciences fondamentales, des connaissances cliniques et de la gestion clinique. Le modèle d’IA a également répondu rapidement aux questions, ne prenant qu’une fraction du temps nécessaire aux examinateurs humains. La performance de ChatGPT dans l’examen EBO démontre son potentiel en tant qu’outil dans l’éducation médicale et l’évaluation des connaissances. Des recherches supplémentaires sont nécessaires pour explorer les meilleures façons de mettre en œuvre les modèles de langage de l’IA dans l’enseignement médical et pour répondre aux préoccupations éthiques et pratiques qui y sont associées.

Ähnliche Arbeiten