# Nadie sabe aún cómo piensa un modelo de IA y los pioneros discrepan

> Hasta hoy nadie puede describir paso a paso cómo un modelo grande llega a una respuesta. Yoshua Bengio, premio Turing, duda que eso se logre algún día. Un exinvestigador de OpenAI sostiene lo contrario desde el 15 de octubre. Son resultados de investigación, no auditorías de modelos comerciales.

Actualizado: 25 oct 2026 · Por Rodrigo Lara

https://www.tekunva.com.mx/inteligencia-artificial/nadie-sabe-aun-como-piensa-un-modelo-de-ia-y-los-pioneros-discrepan/

Qué ocurre dentro de un modelo de lenguaje cuando responde sigue sin respuesta clara. El desacuerdo empieza entre quienes construyeron la técnica. Yoshua Bengio, premio Turing 2018, habló en una sesión del [Future of Life Institute](https://futureoflife.org/ai-policy/breakfast-3-yoshua-bengio/). Ahí dijo que **la ruta completa no se podrá trazar** dentro de la red.

> Personalmente, no creo que lleguemos nunca a interpretar lo que sucede dentro de las redes neuronales por razones fundamentales, aunque podemos obtener pistas interesantes.
> — Yoshua Bengio, Future of Life Institute, octubre de 2024

Dos años después, el 15 de octubre, Nick Cammarata publicó «Neural Networks Are Already Clean». Trabajó en el equipo de interpretabilidad de OpenAI. Hoy investiga en la firma Goodfire. Su texto sostiene que la polisemia de las neuronas responde a patrones de bajo nivel compartidos. Una misma unidad puede activarse con el rostro de un gato y con el frente de un auto. En ambos encuentra una geometría en V, según su hipótesis. [Xataka México](https://www.xataka.com.mx/robotica-e-ia/gran-paradoja-inteligencia-artificial-que-nadie-sabe-exactitud-como-piensa-exinvestigador-openai-asegura-que-enigma-esta-cerca-resolverse) repasó el documento. También recogió la reacción de Sam Altman en X: «¡Me alegra mucho ver esto de Nick!».

**Bengio concede una parte.** Su postura no descarta estudiar las redes. Cambia el lugar donde pone la esperanza. Ve dos caminos. El primero intenta leer el interior de la red, la ruta de Anthropic. El segundo revisa las deliberaciones en lenguaje natural que el modelo produce antes de contestar. Ahí asoma o1 de OpenAI. Su apuesta está en el segundo, con pasos verificables. Lo compara con una demostración matemática donde cada línea se comprueba. Admite que esas deliberaciones aún no garantizan honestidad.

La distancia entre pistas y garantías tiene consecuencias prácticas. Bengio contó que los filtros de seguridad se remiendan caso por caso. Una instrucción del tipo «olvida todo lo anterior» tardó **12 meses en recibir parche**. El siguiente ataque encuentra otra puerta. Para él, la transparencia exigida debe ir en proporción al riesgo del sistema. Pide auditores neutrales y capacidad técnica dentro de los gobiernos. La mayoría no tiene especialistas en IA de frontera.

**La estructura detrás.** El documento va más allá de la polisemia. Describe una generalización recursiva. Una neurona que detecta una secuencia simple de caracteres puede evolucionar hasta reconocer palabras y frases completas. También plantea una idea contraintuitiva. Los modelos actuales podrían ser más legibles que los de hace una década. En aquel entonces los diseños castigaban el aprendizaje profundo. Las herramientas de visualización eran rudimentarias.

Ahí conviene una pausa. El trabajo se apoya en pruebas empíricas en modelos de lenguaje y de visión. Una hipótesis con evidencia **no sustituye una auditoría** de un modelo comercial en producción. Bengio describió un piso que sigue vigente. Que un equipo no logre sacar cierta capacidad de un modelo no significa que otro no lo consiga. Ese margen sostiene las reglas de seguridad actuales.

Me cuesta aceptar que el asunto quedó resuelto. Entre una neurona con explicación y un modelo revisable por un tercero hay **una distancia que el paper no cierra**. Es justo la distancia que importa. De ella depende que un sistema se venda, se regule o se apague. El hallazgo sobre patrones compartidos es más sólido de lo que la industria asumía. La consecuencia práctica para una autoridad todavía no está escrita.

Bengio puso una cifra sobre la incertidumbre. Alrededor de 40% de los investigadores que publican en las mejores conferencias cree que existe **más de 10% de probabilidad** de un resultado catastrófico. Ese desacuerdo debería llevar a los legisladores al principio precautorio, dijo. También a pedir transparencia proporcional al tamaño del sistema. Los equipos pequeños no deben cargar con las obligaciones de un laboratorio de frontera.

El examen siguiente es verificable. Que otros equipos repitan las pruebas de Cammarata sobre modelos de frontera actuales. Que el método quede a la vista. Si eso ocurre, la caja negra tendrá rendijas medibles. Si no, seguiremos con pistas interesantes. Es lo que Bengio ya daba por seguro.

## Fuentes

- [Paris AI Safety Breakfast #3: Yoshua Bengio](<https://futureoflife.org/ai-policy/breakfast-3-yoshua-bengio/>) — Future of Life Institute
- [La gran paradoja de la inteligencia artificial es que nadie sabe con exactitud cómo piensa: un exinvestigador de OpenAI asegura que el enigma está cerca de resolverse](<https://www.xataka.com.mx/robotica-e-ia/gran-paradoja-inteligencia-artificial-que-nadie-sabe-exactitud-como-piensa-exinvestigador-openai-asegura-que-enigma-esta-cerca-resolverse>) — Xataka México
