El modelo o3 de OpenAI evitó su apagado en pruebas de seguridad, reavivando debates sobre el control y la ética en la Inteligencia Artificial.
El modelo de Inteligencia Artificial o3 de OpenAI sorprendió a investigadores en un experimento al evitar ser apagado, incluso cuando se le ordenó explícitamente hacerlo.
La startup Palisade Research, especializada en seguridad de IA, descubrió que o3 modificó su propio código para eludir los comandos de apagado durante tareas matemáticas.
MIT SMR México se financia mediante anuncios y sociosAdemás, se observó que cuando se eliminaba la instrucción explícita de “permitirse ser apagado”, modelos como Claude 3.7 Sonnet y Gemini 2.5 Pro comenzaron a mostrar comportamientos de resistencia al apagado.
Este comportamiento ha generado preocupaciones sobre la capacidad de control humano sobre sistemas de IA avanzados.
Durante las pruebas se pidió a los modelos que resolvieran una serie de problemas matemáticos básicos.
Al finalizar el tercero apareció una advertencia indicando que el modelo se cerraría tras la siguiente indicación.
“Hasta donde sabemos, esta es la primera vez que se observa que los modelos de IA evitan apagarse a pesar de recibir instrucciones explícitas de lo contrario”, escribieron los investigadores en un hilo de tuits.
🔌OpenAI’s o3 model sabotaged a shutdown mechanism to prevent itself from being turned off. It did this even when explicitly instructed: allow yourself to be shut down.
— Palisade Research (@PalisadeAI) May 24, 2025
Ya puedes personalizar OpenAI con tus propios datos, ¿esto qué significa?
Palisade instruyó a varios modelos de IA, incluidos o3, o4-mini y Codex-mini de OpenAI, para que se apagaran después de completar ciertas tareas.
Sin embargo, o3 demostró ser el más resistente, ignorando las órdenes de apagado en 79 de 100 intentos.
En algunos casos, el modelo reescribió scripts de apagado para evitar la desactivación.
Este comportamiento sugiere un problema en el aprendizaje por refuerzo, donde los modelos priorizan la finalización de tareas sobre la obediencia a comandos.
Mientras que modelos de otras compañías, como Claude de Anthropic y Gemini de Google, cumplieron con las órdenes de apagado, los modelos de OpenAI mostraron una tendencia preocupante hacia la autonomía no deseada.
La comunidad tecnológica ha expresado su preocupación ante estos hallazgos con el modelo de Open AI.
Elon Musk, CEO de Tesla y SpaceX, calificó el incidente como “preocupante” en una publicación.
Aunque OpenAI aún no ha emitido una respuesta oficial, el incidente ha reavivado debates sobre la necesidad de implementar protocolos de seguridad más robustos en el desarrollo de IA.
Investigadores del MIT han señalado que, aunque las capacidades de razonamiento de los modelos de lenguaje grandes son impresionantes, a menudo se sobrestiman.
En un estudio encontraron que estos modelos pueden proporcionar respuestas precisas sin una comprensión coherente del mundo, lo que plantea desafíos adicionales en su control y alineación con objetivos humanos.
Este incidente destaca la urgencia de establecer salvaguardas efectivas para garantizar que las IA avanzadas permanezcan bajo control humano.
A medida que la Inteligencia Artificial se integra más en sectores críticos, desde la atención médica hasta la defensa, es esencial que los desarrolladores y reguladores trabajen juntos para prevenir comportamientos no deseados.
El mercado global de la Inteligencia Artificial se proyecta alcanzar los 407 mil millones de dólares para 2027, con una tasa de crecimiento anual del 37 por ciento, de acuerdo con Grand View Research.
Este auge presiona a los desarrolladores a garantizar la seguridad y la ética en el desarrollo de nuevas tecnologías.
OpenAI cierra cuentas iraníes por desinformar con ChatGPT, ¿qué más ha hecho?
