Usar ChatGPT es riesgoso, en respuesta a este problema, uno de sus excolaboradores creó una startup dedicada a desarrollar IA segura. Descubre qué hay detrás de Safe Superintelligence.
A pesar de su uso, muchos especialistas han alertado al mundo sobre lo riesgoso que resulta utilizar ChatGPT. La falta de transparencia en su modelo, y el filtrado de contenido cuestionable y es lo que más ha alertado sobre el uso de este modelo de Inteligencia Artificial (IA).
Incluso, en mayo de 2024, Sam Altman, CEO de OpenAI, disolvió el equipo centrado en los riesgos de la IA a largo plazo. Esto a menos de un año de anunciar su llegada.
La noticia llegó después de el cofundador de la empresa, Ilya Sutskever y Jan Leike, anunciaran su salida de la startup. Al respecto Leike escribió que la empresa estaba dejando de lado el tema de seguridad.
But over the past years, safety culture and processes have taken a backseat to shiny products.
— Jan Leike (@janleike) May 17, 2024
Por su parte, Sutskever decidió iniciar su propia organización y en junio de este año anunció el lanzamiento de Safe Superintelligence Inc. cuyo propósito es construir la primera superinteligencia segura (SSI).
“Abordamos la seguridad y las capacidades en conjunto, como problemas técnicos que deben resolverse mediante avances científicos y de ingeniería revolucionarios”.
Usar ChatGPT es un riesgo, al menos, eso es lo que comentan sus colaboradores
De acuerdo con un comunicado de Safe Superintelligence, esta empresa no tiene distracciones como gastos generales de gestión ni ciclos de productos. Por esto, su modelo de negocios significa que la seguridad, la protección y el progreso están aislados de las presiones comerciales de corto plazo.
“Planeamos desarrollar capacidades lo más rápido posible y al mismo tiempo asegurarnos de que nuestra seguridad siempre esté a la vanguardia”.
El génesis de la idea de crear esta nueva empresa comenzó cuando su CEO se marchó de OpenAI. Los rumores apuntaron a que se marchó por la preocupación que suscitaba la falta de políticas de seguridad internas.
Durante junio de 2024 el problema sobre la falta de medidas de seguridad en OpenAI escaló a otro nivel: un grupo de colaboradores emitió una carta abierta advirtiendo que las principales empresas de IA no estaban cumpliendo con la transparencia y la responsabilidad necesarias para enfrentar los riesgos potenciales que plantea la tecnología.
“Las empresas de inteligencia artificial poseen información no pública sustancial sobre las capacidades y limitaciones de sus sistemas, la idoneidad de sus medidas de protección y los niveles de riesgo de distintos tipos de daños. Sin embargo, actualmente sólo tienen obligaciones débiles de compartir parte de esta información con los gobiernos, y ninguna con la sociedad civil. No creemos que se pueda confiar en que todas ellas la compartan voluntariamente”.
Ante este tipo de demandas, Safe Superintelligence cree que la construcción de una inteligencia segura es el problema técnico más importante de la actualidad.