ChatGPT 4.0 de OpenAI respondió correctamente el 85% de las preguntas en un examen de neurología clínica, superando la puntuación humana promedio del 73,8%. Este logro en un estudio de prueba de concepto indica el potencial de la IA en neurología clínica. El estudio, realizado por investigadores del Hospital Universitario de Heidelberg y el Centro Alemán de Investigación del Cáncer, incluyó ChatGPT 3.5 y ChatGPT 4.0.
Comparación con versiones anteriores y desempeño humano.
Mientras que ChatGPT 4.0 logró una tasa de éxito del 85%, ChatGPT 3.5 obtuvo un 66,8%. Ambas versiones de ChatGPT utilizaron constantemente un lenguaje seguro, incluso cuando era incorrecto. Los hallazgos sugieren que, si bien ChatGPT puede responder con precisión preguntas de opción múltiple, no equivale a la capacidad de practicar la medicina clínica o tomar decisiones clínicas.
Aún más débil en el pensamiento de orden superior
La investigación involucró un banco de preguntas de la Junta Estadounidense de Psiquiatría y Neurología (ABPN) y la Junta Europea de Neurología. El desempeño de ChatGPT destacó su fortaleza en categorías conductuales, cognitivas y psicológicas, pero mostró un desempeño más débil en tareas que requieren pensamiento de orden superior en comparación con tareas de pensamiento de orden inferior. El estudio utilizó preguntas que evaluaron tanto la comprensión básica como la capacidad de aplicar, analizar o evaluar información.
Investigadores: tengan cuidado
Los resultados sugieren que modelos de lenguaje grandes como ChatGPT podrían tener aplicaciones importantes en neurología clínica, con mayores mejoras. Sin embargo, los investigadores advierten contra la dependencia excesiva de estos modelos para tareas cognitivas de alto orden. También es importante señalar que los modelos fueron entrenados con datos de texto extensos pero no tenían capacidades de búsqueda en Internet. Los expertos enfatizan que cualquier aplicación de la tecnología de transformadores en entornos clínicos o educativos requiere una cuidadosa validación y verificación de hechos por parte de humanos.
Source: ChatGPT demuestra competencia en examen de neurología