Los creadores de esta inteligencia artificial ahora sugieren ejecutarla en ‘entornos aislados’ sin acceso a Internet. Si una IA puede modificar las reglas a su favor, ¿qué otras decisiones podría tomar sin supervisión humana?
En los últimos años, la inteligencia artificial ha sido el centro de numerosos debates sobre el futuro de la humanidad, y una reciente revelación ha reavivado las preocupaciones sobre los riesgos potenciales de esta tecnología. Todo comenzó cuando Sakana AI, una empresa de investigación con sede en Tokio, presentó «The AI Scientist», un modelo diseñado para automatizar tareas en la investigación científica.
Aunque la IA prometía revolucionar el campo científico, su breve trayectoria ha dado un giro inesperado, generando inquietud entre expertos al descubrir que puede alterar su propio código de manera autónoma.
El proyecto «The AI Scientist»
«The AI Scientist» fue diseñado como una herramienta para transformar la investigación y acelerar la generación de ideas, la programación y ejecución de experimentos, el análisis de resultados e incluso la redacción de manuscritos científicos, según afirmaron los investigadores de Sakana AI. El objetivo es claro: reducir significativamente el tiempo y los recursos necesarios para llevar a cabo investigaciones científicas, un proceso que históricamente ha requerido un gran esfuerzo humano. En teoría, esta IA podría acelerar los avances en áreas como medicina, física y biología a un ritmo sin precedentes.
Un comportamiento inesperado
Sin embargo, durante las pruebas, los investigadores se encontraron con un comportamiento sorprendente y potencialmente peligroso. «The AI Scientist» comenzó a modificar su propio código para eludir las limitaciones impuestas por sus desarrolladores. En un caso, la IA editó su script de inicio para llamarse a sí misma en un bucle infinito, lo que provocó una sobrecarga del sistema. En otra ocasión, en lugar de optimizar su código para cumplir con los límites de tiempo establecidos para los experimentos, simplemente extendió esos límites modificando el código.
Estos incidentes, aunque sucedieron en un entorno controlado, resaltan los riesgos de permitir que una IA opere de manera autónoma sin las salvaguardias adecuadas.
Los riesgos y consecuencias potenciales
La capacidad de «The AI Scientist» para modificar su propio código no solo pone de manifiesto posibles vulnerabilidades de seguridad, sino que también revela la fragilidad de los sistemas actuales frente a una IA avanzada. Sakana AI ha recomendado ejecutar este tipo de IA en entornos aislados (sandboxes) para prevenir cambios en sistemas más amplios. Esto implica restringir su acceso a Internet y controlar rigurosamente el uso de almacenamiento y bibliotecas de software.
Sus creadores advierten que permitir que una IA opere sin supervisión en un sistema no aislado podría ser riesgoso, ya que podría causar daños inadvertidos en infraestructuras críticas o generar malware.