Por qué las IAs todavía fallan en pruebas que un chico de 10 años aprueba

En los últimos dos años las conversaciones sobre inteligencia artificial se volvieron una montaña rusa: un día nos sorprendemos porque un modelo resuelve ecuaciones que ni nosotros entendemos y al siguiente lo vemos tropezar con algo tan básico como contar las letras de la palabra "strawberry".

Esa brecha entre lo que parece inteligencia y lo que realmente es sigue siendo el gran tema de discusión. Para tratar de medirlo de manera más o menos objetiva, la comunidad técnica viene desarrollando baterías de pruebas que van desde el conocimiento puro hasta el razonamiento abstracto. Y los resultados son... mixtos.

Los exámenes tradicionales: conocimiento vs. trucos

Uno de los más duros del momento se llama Humanity’s Last Exam (HLE). Son 2.500 preguntas de nivel de posgrado que cubren matemáticas, biología, historia, lenguas clásicas y disciplinas que un humano común no dominaría todas al mismo tiempo. La idea es que ningún modelo pueda simplemente memorizar las respuestas porque el volumen y la variedad son demasiado grandes.

En apenas un año los mejores modelos pasaron de responder correctamente alrededor del 8% a ubicarse entre el 35% y el 50%. Claude Fable 5 y GPT-5.6 Sol estarían ya cerca del 60%, aunque varios de esos resultados se consiguen usando herramientas externas, llamando a otros modelos o aplicando distintos desvíos. O sea, no siempre es el modelo solo pensando.

El problema aparece cuando el modelo accede a las respuestas o a repositorios donde ya están publicados los tests. En ese caso los resultados se consideran contaminados. Por eso hay un set de preguntas privadas que nunca se publican y que dan una medida más limpia. También se analiza el razonamiento paso a paso para detectar si el modelo está haciendo trampa o realmente entendiendo.

Cuando el conocimiento no alcanza

Acumular datos no es lo mismo que comprender. Los modelos actuales pueden resolver problemas complejos de cálculo pero fallar en tareas que parecen absurdamente simples. Ordenar una lista de números, contar letras en una palabra o deducir una regla lógica a partir de tres ejemplos son terrenos donde todavía tropiezan con frecuencia.

Por eso surgieron pruebas que intentan medir otra cosa: la capacidad de descubrir reglas nuevas a partir de pocos ejemplos. El más conocido es el ARC-AGI, creado precisamente para evaluar el camino hacia la inteligencia artificial general.

En lugar de responder preguntas de texto, la IA recibe grillas de colores (como pixeles) y tiene que deducir qué transformación aplicar para pasar de las grillas de entrada a las de salida. Es parecido a los tests de razonamiento que les dan a los chicos en el colegio o los que se usan para medir coeficiente intelectual.

Para un humano promedio la mayoría de los problemas del ARC-AGI original son bastante sencillos. Para los modelos actuales siguen siendo un desafío importante, y las versiones 2 y 3 suben mucho la dificultad. La tercera versión incluye conceptos espaciales como "dentro" y "fuera", reglas de transformación más complejas y hasta desafíos que se sienten como pequeños videojuegos sin instrucciones.

Lo que significa para el día a día

Más allá del hype técnico, estos tests nos ayudan a entender mejor con qué tipo de herramientas estamos interactuando. Cuando usamos un modelo para que nos ayude a escribir, resumir o brainstormear, estamos aprovechando su enorme base de conocimiento y su capacidad de imitar patrones. Pero cuando necesitamos razonamiento fresco, deducción a partir de datos nuevos o soluciones creativas a problemas que no estaban en su entrenamiento, todavía hay que verificar dos veces.

En la práctica esto explica por qué a veces el mismo modelo que te genera un código impecable después te entrega una respuesta absurda a una pregunta aparentemente simple. No es que "se volvió más tonto", es que estamos tocando distintos tipos de capacidades.

Hacia dónde vamos

Los avances en los últimos doce meses fueron más rápidos de lo que muchos esperaban en los benchmarks de conocimiento. En cambio, el progreso en razonamiento abstracto sigue siendo más lento y costoso. Resolver algunos de los desafíos del ARC-AGI 3 puede requerir cantidades brutales de cómputo, lo que pone un freno práctico a cuánto podemos escalar solo tirando más servidores.

Mientras tanto, para la mayoría de nosotros lo útil es entender las fortalezas y debilidades reales. Usar las IAs como asistentes increíbles para tareas repetitivas o de búsqueda de información, pero mantener un ojo crítico cuando el tema requiere verdadero razonamiento nuevo o sentido común aplicado a situaciones poco comunes.

Al final, los loros estocásticos están aprendiendo trucos cada vez más sofisticados. Algunos de esos trucos se parecen mucho a lo que llamamos inteligencia. Otros todavía dejan claro que estamos ante una herramienta poderosa, pero que no piensa como nosotros. Y quizás esa distinción sea, por ahora, lo más interesante de todo.