La inteligencia artificial (IA) se ha convertido en una herramienta indispensable para el resumen de datos masivos, el análisis complejo, la resolución de problemas multivariables y la investigación. Sin embargo, surge una pregunta crucial: ¿qué implicaciones tendría para la confianza en sus resultados si, como demostró una prueba de Apple, la precisión de los modelos LLM y LRM cayera por debajo del 5% en escenarios de alta complejidad?
Cuando hablamos de inteligencia cognitiva, nos referimos a algo más que almacenar datos o reconocer patrones. En su esencia, la cognición implica razonamiento: la capacidad de planificar pasos, extraer inferencias lógicas, evaluar alternativas y adaptarse cuando surge algo inesperado. Para los humanos, el razonamiento nos permite descifrar acertijos, contar historias convincentes y desenvolverse en situaciones sociales complejas. Cuando se refiere a la inteligencia artificial (IA), el razonamiento se ha mantenido como la frontera a donde llegar; sin esto, incluso el chatbot más avanzado solo está repitiendo texto aprendido.
La inesperada evaluación de Apple
En junio de 2025, investigadores de Apple publicaron “The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity”. El líder del equipo de investigación fue Samy Bengio — director senior de IA y Machine Learning Research en Apple y excientífico de Google con PhD. en Computer Science por la Université de Montréal — el estudio evalúa comparativamente Large Reasoning Models (LRMs) —sistemas entrenados para generar trazas explícitas de Cadenas de pensamiento (Chain of thoughts) — contra versiones básicas de Large Language Models (LLMs) tradicionales, cuyo enfoque consiste en generar respuestas directamente, sin pasos intermedios explícitos.. El objetivo del estudio era examinar no solo qué responden estas IAs, sino cómo llegan a esas respuestas.
Cuáles fueron los modelos de IA evaluados
Apple sometió a prueba varios sistemas bajo idénticos límites de cómputo y contexto:
- OpenAI o3-mini (Razonamiento)
- Anthropic Claude 3.7 Sonnet (+ Razonamiento)
- Google Gemini Flash (Razonamiento)
- DeepSeek R1**, un prototipo de LRM de investigación
LLM vs. LRM: ¿Cuál es la Diferencia?
- LLMs aprenden patrones estadísticos para predecir la siguiente palabra. Impulsan herramientas cotidianas como el autocompletar de Google Search, sugerencias de borrado de spam en los correos electrónicos y chatbots para atención al cliente.
- LRMs añaden un proceso de Cadena de pensamiento antes de responder, generan pasos de razonamiento interno. Este “pensamiento” extra está diseñado para tareas complejas y de varios pasos: redactar un argumento legal, planificar la hoja de ruta de un lanzamiento de producto o depurar un código complejo.
Cómo Apple evaluó el “Pensamiento”
Para evitar filtraciones de datos como en los benchmarks convencionales, Apple creó entornos de acertijos controlables, cada uno con complejidad ajustable:
- Torre de Hanoi: mover discos apilados siguiendo dos reglas—un disco a la vez y nunca colocar uno mayor sobre uno más pequeño.
- Acertijos de cruce: cruzar personajes (zorro, gallina, grano) sin romper restricciones de seguridad.
- Desafíos de juego de damas: intercambiar dos grupos de fichas moviéndose o saltando, probando planificación espacial.
- Problemas de apilamiento de bloques: reorganizar bloques en configuraciones objetivo, evaluando razonamiento relacional en 3D.
Al escalar la dificultad e inspeccionar tanto las respuestas finales como cada traza de Cadena de pensamiento, los investigadores delinearon tres regímenes de desempeño.
Tres Regímenes de Desempeño y sus resultados
- Baja Complejidad: los LLMs sencillos a menudo igualan o superan a los LRMs; el overhead de razonamiento a veces confunde a estos últimos.
- Complejidad Media: los LRMs ganan ventaja, usando cadenas de pensamiento para enlazar lógica de varios pasos.
- Alta Complejidad: ambos tipos de modelos colapsan a casi cero de exactitud una vez pasado un umbral crítico.
Tokens, escalar y el “Darse por vencido”
Un indicador clave fueron los tokens de razonamiento — estos son las palabras, juegos de caracteres o combinaciones de palabras y puntuación que los LRMs usan en su monólogo interno. A medida que los acertijos se hacían más complejos, los LRMs aumentaban inicialmente sus tokens de razonamiento. Pero al alcanzar su techo de complejidad, reducían drásticamente su uso de tokens—literalmente “dándose por vencidos” en lugar de esforzarse, pese a tener capacidad de cómputo y longitud de prompt disponibles.
En este punto es importante mencionar el impacto económico de este resultado; la mayoría de los servicios de IA monetizan por tokens procesados. Picos impredecibles de cadena de pensamiento inflan costos, mientras que el colapso prematuro de tokens desperdicia capacidad pagada y no aporta valor—minando el Retorno sobre la inversión (ROI) de cualquier empresa que apueste a modelos de razonamiento de la IA.
Por qué es importante el debate sobre Benchmarks para evaluar modelos de IA
Apple sostiene que las pruebas matemáticas y de programación tradicionales sufren contaminación de datos, ya que muchos problemas aparecen en los datos de entrenamiento, de modo que los modelos memorizan respuestas en lugar de razonar. Los acertijos controlables mitigan este riesgo al crear desafíos frescos y que se pueden regular.
Pero hasta esos acertijos pueden fallar, en un reporte titulado – The Illusion of the Illusion of Thinking — publicado originalmente en arxiv.org — señala que la configuración del acertijo de cruce, en este caso de cruce de rio, Apple incluyó casos matemáticamente imposibles (por ejemplo, seis personajes y un bote demasiado pequeño para cruzarlos). Modelos que correctamente se negaron a resolver estos casos insolubles fueron marcados como “fallidos”, sobredimensionando el colapso de razonamiento. Esto demuestra que incluso fallos sutiles de diseño — y no solo límites fundamentales de la IA — pueden distorsionar los resultados.
Qué significan los resultados de Apple y más importante que sigue
Los hallazgos de Apple subrayan tres imperativos urgentes:
- Incluir Supervisión Humana, No Solo Miedo al Desplazamiento: Las conversaciones sobre IA suelen centrarse en el desplazamiento laboral—y por supuesto que es un tema vital. Pero igual de crucial es nuestro rol como vigilantes. La IA aprende de nuestros inputs; nuestra capacidad para probar, cuestionar y refinar estos sistemas es el motor de un progreso confiable. No podemos asumir que la IA “simplemente funcione”—la evaluación humana continua es innegociable.
- Evolucionar Benchmarks Centrados en los humanos: El verdadero razonamiento exige pruebas a medida, diseñados por expertos. La supervisión humana en el bucle detecta modos de falla ocultos y asegura que los modelos resuelvan, en lugar de simular, problemas complejos.
- Equilibrar Grandes Saltos con Límites Realistas: Hemos avanzado a pasos agigantados en todo lo relacionado a IA generativa — creación de imágenes, comprensión de lenguaje, reconocimiento de patrones — pero la Inteligencia Artificial General (AGI) sigue siendo un horizonte lejano. Este documento de Apple ayuda a moderar el “hype”, alinear expectativas con la realidad y hace una invitación clara a desarrollar avances incrementales, pero con una evaluación real que valide sus logros.
En conclusión; La ilusión de pensar es tanto un llamado de atención, así como un alto en medio de todo el ruido alrededor de la inteligencia artificial y su alcance. Al centrar la visión humana en la evaluación, el diseño de benchmarks y la planificación estratégica, podremos trascender las ilusiones y construir sistemas de AI que de verdad aporten valor a las infinitas necesidades que tenemos.
¿Qué otras implicaciones creen que serían relevantes añadir al debate sobre la Inteligencia Artificial y el artículo de Apple? Comparte tus ideas en la cuenta de X (twitter): @danielcuicar
También puedes leer en Punto de Corte:
Danos tu opinión sobre el tema en nuestro foro de DEBATES de Telegram:
Por
Por
Por
Por
