Una investigación demostró que el modelo de lenguaje de inteligencia artificial GPT-3 resuelve problemas de razonamiento como los que suelen aparecer en las pruebas de inteligencia y las pruebas estandarizadas, tan bien o hasta mejor que los estudiantes universitarios.
Sin embargo, el equipo del departamento de psicología de la Universidad de California en Los Ángeles (UCLA) que hizo la investigación no puede saber si GPT-3 está imitando el razonamiento humano, que se habría generado como un subproducto de su enorme conjunto de datos de entrenamiento de idiomas, o está utilizando un tipo de proceso cognitivo fundamentalmente nuevo.
Esta duda no se puede resolver, al menos en este momento, pues el equipo de la UCLA no tiene acceso al funcionamiento interno de GPT-3, que está protegido por OpenAI, la compañía que lo creó. Sin embargo, el equipo de la UCLA, que tiene su propia IA inspirada en la cognición humana, que hasta la última actualización de GPT-3, era mejor que la comercial.
Algoritmo misterioso. El equipo desconoce los mecanismos de “razonamiento” de la herramienta, ya que están protegidos.
De manera sorprendente, “GPT-3 no solo funcionó tan bien como los humanos, sino que también cometió errores similares”, dijo en un comunicado de prensa Hongjing Lu, autor principal del estudio publicado ayer en la revista Nature Human Behaviour.
En las pruebas GPT-3 resolvió correctamente el 80 % de los problemas, una puntuación que está por encima de la media de 40 estudiantes de la UCLA que también hicieron las pruebas, la cual es un poco menor al 60 %, aunque las puntuaciones humanas más altas también son de alrededor de 80 %.
A pesar de su éxito en algunas tareas de razonamiento analógico, la popular herramienta de IA falla espectacularmente en otras. Taylor Webb, primera autora del estudio, señala que GPT-3
“no puede hacer cosas que son muy fáciles para las personas, como usar herramientas para resolver una tarea física. Cuando le dimos ese tipo de problemas, algunos de los cuales los niños pueden resolver rápidamente, las cosas que sugirió no tenían sentido”.
SIGUE LEYENDO:
ANDI: robot que suda y muestra el impacto del golpe de calor en humanos
