En un experimento realizado por el gobierno australiano, se comparó la inteligencia artificial (IA) con la inteligencia humana a la hora de resumir documentos complejos, y los humanos demostraron ser más eficaces en todos los aspectos.
La investigación, llevada a cabo por el organismo australiano de regulación corporativa, la Comisión de Valores e Inversiones (ASIC), buscó evaluar la eficiencia de la inteligencia artificial en tareas que suelen exigir un análisis y concentración minuciosos. Según los resultados, la IA podría estar generando más trabajo en lugar de reducirlo.
La IA no está a la altura de los revisores humanos
A principios de este año, Amazon probó varios modelos de IA de distintos fabricantes para ayudar al gobierno australiano en este experimento. Finalmente, eligió el Llama2-70B de Meta para la tarea. La IA tenía la tarea de resumir cinco presentaciones de una investigación parlamentaria, centrándose en las menciones a la ASIC, las recomendaciones, las referencias a la regulación y otros detalles clave. Al mismo tiempo, diez humanos de distinta antigüedad (personal de la ASIC) recibieron la misma tarea. Este grupo de revisores, que desconocían la participación de la IA, evaluó los resúmenes en cuanto a coherencia, extensión, relevancia y precisión de las referencias a la regulación.
Los participantes humanos superaron decisivamente a la IA, obteniendo una puntuación impresionante. 81% en la rúbrica de evaluación, en comparación con 47% para la IA. Los humanos se destacaron en la identificación de citas de documentos de ASIC, una tarea que se sabe que supone un desafío para la IA. Además, los resúmenes humanos fueron elogiados por conservar el énfasis, los matices y el contexto, mientras que la IA con frecuencia pasó por alto estos elementos críticos. Los revisores también señalaron que los resúmenes de IA a veces contenían información irrelevante o pasaban por alto detalles importantes, lo que los hacía menos confiables.
Las implicaciones del desempeño de la IA en la síntesis
Los resultados del experimento indican que la tecnología actual de IA podría no ser tan eficiente como se cree comúnmente en términos de ahorro de tiempo. Por otro lado, el hábito de la IA de pasar por alto detalles clave y cometer errores podría generar tareas adicionales para los humanos, que tendrían que verificar y editar el material creado por IA. Los revisores estaban preocupados de que depender de la IA para realizar resúmenes podría no ser beneficioso, ya que con frecuencia no comunicaba los puntos principales de los documentos tan bien como los revisores humanos.
Aunque el informe reconoció ciertas limitaciones, como el modelo de IA obsoleto utilizado, concluyó finalmente que las habilidades humanas para interpretar y evaluar la información siguen siendo superiores a las de la IA. El ensayo destacó la importancia de considerar la IA como una herramienta para ayudar, en lugar de reemplazar, el trabajo humano en tareas que exigen un conocimiento profundo del contexto y la sutileza.
La transparencia gubernamental y la IA
Los resultados del informe no sorprendieron al senador David Shoebridge, del Partido Verde, que dirigió la investigación que dio lugar a su publicación. Shoebridge mencionó que, aunque la IA puede ayudar a evaluar las solicitudes, siempre debe estar supervisada por humanos. El experimento subraya la idea de que, en la actualidad, la IA es más beneficiosa cuando asiste a las capacidades humanas en lugar de sustituirlas.
El juicio también plantea inquietudes más generales sobre la transparencia de la IA cuando se utiliza en procedimientos gubernamentales. El senador Shoebridge destacó la importancia de que los departamentos gubernamentales tomen la iniciativa de revelar su uso de la IA, en lugar de esperar a que la información se descubra durante las audiencias de los comités del Senado.
Crédito de la imagen destacada: Furkan Demirkaya / Midjourney
Source: El toque humano supera a la IA en un ensayo del gobierno
