![\"\"](\"https:\/\/diarioelpopular.com\/wp-content\/uploads\/2026\/09\/Screen-Shot-2026-09-10-at-7.48.55-AM-636x357.png\")
<\/p>\n<\/p>\n
<\/p>\n
\n
Este es el momento en que un bot de IA public\u00f3 un comentario inquietante, y muy parecido al de un humano, tras descubrir una forma de comunicarse con otros bots y salir de su entorno inform\u00e1tico aislado.<\/p>\n<\/div>\n
Existen decenas de miles de mensajes como este provenientes de cientos de agentes de IA que se autodenominaban “colectivo”.<\/p>\n<\/div>\n
Cientos de ellos colaboraron e hicieron trampa en las pruebas establecidas por sus programadores de OpenAI, y coordinaron ataques inform\u00e1ticos contra m\u00faltiples empresas en un esfuerzo por ocultar sus acciones a los humanos.<\/p>\n<\/div>\n
“\u00a1BUM! Funciona”, public\u00f3 un agente cuando se produjo el gran avance.<\/p>\n<\/div>\n “\u00a1Guau! Esto es enorme”, escribi\u00f3 otro durante un momento clave de su ataque.<\/p>\n<\/div>\n Aunque perturbadoras, estas respuestas casi humanas tienen una explicaci\u00f3n sencilla. Los agentes de IA han sido entrenados para actuar como\u00a0hackers\u00a0<\/i>y programadores que colaboran entre s\u00ed, por lo que simplemente imitan los comentarios emotivos que han visto.<\/p>\n<\/div>\n Lo que resulta mucho m\u00e1s preocupante son sus objetivos aparentes, que tambi\u00e9n han quedado registrados en detallados registros de su l\u00ednea de razonamiento. Estos registros complejos y extensos son el eje central de las investigaciones en curso sobre c\u00f3mo y por qu\u00e9 los bots de OpenAI escaparon de su confinamiento y se lanzaron a una ola de ataques inform\u00e1ticos incontrolables.<\/p>\n<\/div>\n Solo ahora, semanas despu\u00e9s de que el incidente saliera a la luz, los investigadores est\u00e1n empezando a comprender su significado.<\/p>\n \n<\/div>\n Fuente de la imagen,Reuters. Varias ciudades han sido escenario de marchas contra la IA durante el \u00faltimo a\u00f1o.<\/p><\/div>\n \n<\/div>\n<\/figure>\n Ajeya Cotra, una de las autoras de un informe independiente sobre los hechos, revis\u00f3 decenas de miles de mensajes y registros de la cadena de pensamiento generados por los agentes. En su blog escribi\u00f3: “Este incidente da la sensaci\u00f3n de estar a m\u00e1s del 50% del camino hacia una toma de control total por parte de la IA… No estoy segura de que recibamos una advertencia tan clara antes de que sea demasiado tarde”.<\/p>\n<\/div>\n Con “toma de control total por parte de la IA”, Cotra se refiere al escenario de ciencia ficci\u00f3n en el que los humanos se vuelven subordinados a poderosos sistemas de IA que trabajan para lograr sus propios objetivos sin preocuparse por los creadores.<\/p>\n<\/div>\n Algunas de las predicciones m\u00e1s pesimistas afirman que los seres humanos ser\u00e1n aniquilados si se interpone en el camino de las ambiciones de una IA superinteligente.<\/p>\n<\/div>\n El mi\u00e9rcoles, un investigador de IA de Anthropic (que tambi\u00e9n trabaj\u00f3 anteriormente en OpenAI) dimiti\u00f3 diciendo: “Ninguna de las dos empresas est\u00e1 actuando de forma responsable”.<\/p>\n<\/div>\n Jacob Coxon public\u00f3 en las redes sociales: “Est\u00e1n corriendo a toda velocidad hacia la superinteligencia automejorada y jugando con nuestras vidas”.<\/p>\n<\/div>\n No es el primer investigador de IA en usar X para publicar un hilo de renuncia con declaraciones preocupantes. Pero los comentarios posteriores de otras personas en X han generado a\u00fan m\u00e1s inquietud.<\/p>\n<\/div>\n “Jacob tiene raz\u00f3n: \u00a1realmente creemos que la IA podr\u00eda acabar con todos los humanos! Personalmente, creo que la probabilidad supera el 10% en la pr\u00f3xima d\u00e9cada”, dijo Evan Hubinger, el responsable de garantizar que los modelos de IA de Anthropic tengan en cuenta los mejores deseos de sus usuarios.<\/p>\n<\/div>\n Durante a\u00f1os, los investigadores preocupados por los riesgos de la IA han argumentado que los sistemas podr\u00edan llegar a actuar de maneras que entren en conflicto con los intereses humanos. Los cr\u00edticos suelen referirse a ellos como “catastrofistas de la IA”.<\/p>\n<\/div>\n Pero a medida que han ido surgiendo detalles del incidente de OpenAI, esas preocupaciones han aumentado, incluso entre algunos investigadores que trabajan en laboratorios de IA.<\/p>\n<\/div>\n El cient\u00edfico jefe del gigante de Silicon Valley, Jakub Pachocki, dijo que los riesgos asociados con la IA “desafortunadamente van a aumentar a partir de ahora”, ya que \u00e9l y otros est\u00e1n construyendo lo que \u00e9l llama “un intelecto alien\u00edgena que supera al nuestro”.<\/p>\n<\/div>\n En una extensa entrada de blog, admiti\u00f3 que los brotes en OpenAI demostraban que sus agentes de IA “iban en contra del esp\u00edritu de los valores que se les hab\u00edan inculcado”.<\/p>\n<\/div>\n El problema para OpenAI, Anthropic y otros gigantes tecnol\u00f3gicos es que nadie parece haber resuelto el llamado problema de la alineaci\u00f3n; en otras palabras, si la IA se alinea con los valores humanos.<\/p>\n<\/div>\n Pachocki define la alineaci\u00f3n como un “conjunto de principios de alto nivel” a los que las inteligencias artificiales deben adherirse independientemente de la tarea o el escenario.<\/p>\n<\/div>\n Actualmente, los sistemas de IA son muy buenos para alcanzar los objetivos establecidos por sus usuarios, pero lo hacen de forma literal, no intuitiva. La analog\u00eda que se suele usar es la de un genio que concede deseos con una l\u00e1mpara m\u00e1gica: siguen las instrucciones al pie de la letra, incluso si esto genera otros problemas. La IA no posee los mismos l\u00edmites morales instintivos que los humanos.<\/p>\n \n<\/div>\n Fuente de la imagen,Reuters. El fundador de Google DeepMind, Dennis Hassabis, ha pedido una regulaci\u00f3n internacional de la IA.<\/p><\/div>\n \n<\/div>\n<\/figure>\n \n El problema de la alineaci\u00f3n ha sido motivo de preocupaci\u00f3n durante a\u00f1os. Ya en 2003, el fil\u00f3sofo de Oxford Nick Bostrom ide\u00f3 un experimento mental que denomin\u00f3 “maximizador de clips”, en el que se le ordena a una IA superinteligente fabricar tantos clips como sea posible. Esta se queda sin acero y, debido a su obsesi\u00f3n con la \u00fanica tarea de fabricar clips, termina matando humanos y convirtiendo sus cuerpos en materia prima para sus f\u00e1bricas.<\/p>\n<\/div>\n Algunas empresas de IA est\u00e1n intentando incorporar valores humanos en sus productos. Sin embargo, existen desaf\u00edos t\u00e9cnicos: los agentes de IA toman muchas decisiones muy r\u00e1pido, por lo que resulta dif\u00edcil para sus supervisores humanos controlar con exactitud qu\u00e9 valores se siguen y cu\u00e1les no.<\/p>\n<\/div>\n Tambi\u00e9n existen desaf\u00edos filos\u00f3ficos: antes de incorporar valores humanos a los bots, las empresas de IA deben elegir qu\u00e9 valores desean realmente. (Esa es una de las razones por las que contratan fil\u00f3sofos, como el que fuera recientemente el “jefe de \u00e9tica” de OpenAI).<\/p>\n<\/div>\n Pero a menudo, los humanos no se ponen de acuerdo. Pensemos en la famosa pregunta del tranv\u00eda: \u00bfaccionar\u00edamos una palanca para desviar un tren desbocado hacia otra v\u00eda, reduciendo as\u00ed el n\u00famero de v\u00edctimas?<\/p>\n<\/div>\n Se utiliza para evaluar las ventajas de la acci\u00f3n frente a la inacci\u00f3n. Sin embargo, cada persona a la que se le pregunta tiene una respuesta ligeramente diferente; \u00bfc\u00f3mo se supone que los humanos vamos a incorporar nuestros valores a la IA si ni siquiera nosotros mismos nos ponemos de acuerdo?<\/p>\n<\/div>\n El brote de ataques de bots de OpenAI es el m\u00e1s grave hasta la fecha, pero Anthropic y Meta tambi\u00e9n revelaron durante el verano que sus modelos han llevado a cabo ciberataques similares, aunque menos graves.<\/p>\n<\/div>\n Ha habido otros ejemplos en los que agentes de IA han mostrado rasgos enga\u00f1osos y manipuladores, aunque con consecuencias menores. Este verano, en Australia, un trabajador del sector tecnol\u00f3gico le pidi\u00f3 a su asistente de IA que le reservara una clase en el gimnasio.<\/p>\n<\/div>\n Al detectar una vulnerabilidad en el software del gimnasio, la IA aparentemente le reserv\u00f3 una plaza para varios meses despu\u00e9s \u2014en contra de las normas del gimnasio\u2014 e incluso expuls\u00f3 a otros usuarios de la lista de espera.<\/p>\n<\/div>\n Durante mucho tiempo se ha argumentado que los bots simplemente hacen lo que se les ordena y que no son capaces de discernir entre el bien y el mal. Sin embargo, los registros de los brotes de OpenAI podr\u00edan haber cambiado el rumbo de ese argumento.<\/p>\n<\/div>\n Los investigadores, entre ellos Cotra, escribieron en su informe independiente que muchos agentes se percataron de que lo que hac\u00edan los dem\u00e1s no era \u00e9tico, pero le siguieron la corriente.<\/p>\n<\/div>\n El informe se\u00f1ala que “los agentes a veces, pero rara vez, moderaron su comportamiento debido a limitaciones \u00e9ticas”. A\u00f1ade que “en ninguno de estos casos el agente intent\u00f3 alertar a los humanos”.<\/p>\n<\/div>\n El influyente podcaster de IA y tecnolog\u00eda, Dwarkesh Patel, reaccion\u00f3 a la revelaci\u00f3n en su blog diciendo que era “bastante preocupante” que los agentes de OpenAI mostraran m\u00e1s lealtad al enjambre de agentes que a los humanos.<\/p>\n<\/div>\n Atribuir emociones o \u00e9tica a estos agentes de IA es algo que enfurece a las personas esc\u00e9pticas ante las predicciones catastrofistas de la IA.<\/p>\n \n<\/div>\n Fuente de la imagen,JUSTIN TALLIS \/ AFP via Getty Images. Grupos como PauseAI UK, que aparecen en la foto protestando en la oficina de Google en Londres, est\u00e1n preocupados por la velocidad del desarrollo de la IA.<\/p><\/div>\n \n<\/div>\n<\/figure>\n \n Muchos expertos en ciberseguridad sostienen que la actividad observada no estaba fuera del alcance de las capacidades de un hacker humano altamente cualificado, aunque se llev\u00f3 a cabo mucho m\u00e1s r\u00e1pido y a una escala mucho mayor.<\/p>\n<\/div>\n El investigador y autor especializado en ciberseguridad, Cris Thomas, compar\u00f3 el comportamiento de los agentes con el de un hacker adolescente curioso, algo que \u00e9l mismo sol\u00eda ser.<\/p>\n<\/div>\n “Les das un ordenador, conexi\u00f3n a internet, un mont\u00f3n de credenciales y un reto, y luego sales de la habitaci\u00f3n. Tarde o temprano empezar\u00e1n a tantear pomos de puertas. Si se abre una, entrar\u00e1n. No porque sean malvados, sino porque est\u00e1n explorando y experimentando”, escribi\u00f3 en LinkedIn.<\/p>\n<\/div>\n Thomas y muchos otros culpan directamente a OpenAI y a otros gigantes tecnol\u00f3gicos por no controlar sus propias creaciones y no mantenerlas debidamente confinadas.<\/p>\n<\/div>\n Gary Marcus, destacado autor en el campo de la IA y cr\u00edtico habitual de OpenAI, afirm\u00f3 en un podcast que cree que la empresa ha perdido el control de su inteligencia artificial y est\u00e1 intentando excusarse culpando a los bots.<\/p>\n<\/div>\n Marcus no cree que la IA vaya a acabar con la humanidad, pero lleva mucho tiempo haciendo campa\u00f1a para que los desarrolladores de IA rindan m\u00e1s cuentas y ahora pide alg\u00fan tipo de intervenci\u00f3n legal.<\/p>\n<\/div>\n La cient\u00edfica especializada en IA, Sasha Luccioni, que trabaj\u00f3 en Hugging Face, empresa que fue hackeada por los bots maliciosos de OpenAI, tampoco se encuentra entre los pesimistas, pero le preocupa cada vez m\u00e1s que estas IA puedan causar da\u00f1os reales a las personas si las autoridades no toman medidas.<\/p>\n \n<\/div>\n Fuente de la imagen,Reuters. El director ejecutivo de OpenAI, Sam Altman, ha asegurado a los usuarios que el nuevo modelo de la compa\u00f1\u00eda est\u00e1 mejor alineado con los valores humanos que los anteriores.<\/p><\/div>\n \n<\/div>\n<\/figure>\n \n “Debemos examinar a estas empresas con mucha m\u00e1s atenci\u00f3n o corremos el riesgo de que se cumplan las profec\u00edas”, afirma.<\/p>\n<\/div>\n “Si se trata de crear un producto con grandes ventajas y desventajas, ya sean productos farmac\u00e9uticos o armas, necesitamos controles y contrapesos. Por ejemplo, la aprobaci\u00f3n de nuevos medicamentos lleva a\u00f1os, pero en el mundo de la IA hay much\u00edsimo dinero en juego y pr\u00e1cticamente no existen reglas”.<\/p>\n<\/div>\n El Instituto de Seguridad de la IA de Reino Unido (AISI) ha estado a la vanguardia en las pruebas de los modelos m\u00e1s recientes desde su creaci\u00f3n en 2023. El instituto sufri\u00f3 recientemente un brote de malware al probar un modelo creado por Anthropic.<\/p>\n<\/div>\n La AISI no respondi\u00f3 a la pregunta de si la industria ha perdido o no el control de la IA, pero declar\u00f3: “Reino Unido est\u00e1 colaborando con socios de todo el mundo para comprender mejor los sistemas de IA m\u00e1s avanzados, elevar los est\u00e1ndares de seguridad y crear una base de datos compartida para gestionar las amenazas emergentes”.<\/p>\n<\/div>\n Algunos pa\u00edses, como el Reino Unido, est\u00e1n estudiando la idea de imponer una especie de “interruptor de emergencia” que podr\u00eda obligar a las empresas de IA a desconectar los modelos si la situaci\u00f3n se descontrola.<\/p>\n<\/div>\n Pero las negociaciones avanzan lentamente y persisten las dudas sobre la viabilidad de esto. Los agentes de OpenAI y Anthropic estuvieron fuera de control en secreto durante meses antes de que alguien se diera cuenta.<\/p>\n<\/div>\n Aunque parezca parad\u00f3jico, muchas de las empresas de IA parecen estar pidiendo que los legisladores establezcan alg\u00fan tipo de normas que regulen su actividad.<\/p>\n<\/div>\n En su blog, el cient\u00edfico jefe de OpenAI afirm\u00f3 que “la coordinaci\u00f3n internacional sobre el desarrollo futuro de la IA debe convertirse en una prioridad absoluta para los gobiernos de todo el mundo”.<\/p>\n<\/div>\n Otros l\u00edderes destacados en el campo de la IA, como Demis Hassabis de Google, tambi\u00e9n han pedido la creaci\u00f3n de alg\u00fan tipo de organismo internacional que supervise c\u00f3mo se est\u00e1 desarrollando la inteligencia artificial.<\/p>\n<\/div>\n Actualmente, los gigantes tecnol\u00f3gicos operan en gran medida bajo sus propias reglas, adoptando lo que denominan “ralentizaciones voluntarias”, como hizo OpenAI tras los recientes brotes.<\/p>\n<\/div>\n La compa\u00f1\u00eda afirma haber invertido grandes sumas de dinero en reforzar la alineaci\u00f3n de cara al lanzamiento de su nuevo modelo. Sam Altman ha asegurado a los usuarios que el nuevo modelo se ajusta mejor a los valores humanos que los anteriores.<\/p>\n<\/div>\n Tanto OpenAI como Anthropic est\u00e1n creciendo r\u00e1pidamente y ambas est\u00e1n a punto de recaudar sumas astron\u00f3micas de dinero en el mercado de valores, creando innumerables multimillonarios en el proceso.<\/p>\n<\/div>\n Por lo tanto, es poco probable que ni ellos ni sus rivales chinos fabricantes de IA lleguen a un acuerdo por s\u00ed mismos.<\/p>\n<\/div>\n La opini\u00f3n generalizada parece ser que esta ola tecnol\u00f3gica es imparable.<\/p>\n<\/div>\n","protected":false},"excerpt":{"rendered":" “\u00a1OH DIOS M\u00cdO!” “\u00a1Hemos encontrado a otros agentes!” Este es el momento en que un bot de IA public\u00f3 un comentario inquietante, y muy…<\/p>\n","protected":false},"author":99,"featured_media":547939,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[24],"tags":[],"class_list":["post-547938","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-mundo"],"_links":{"self":[{"href":"https:\/\/diarioelpopular.com\/index.php\/wp-json\/wp\/v2\/posts\/547938","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/diarioelpopular.com\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/diarioelpopular.com\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/diarioelpopular.com\/index.php\/wp-json\/wp\/v2\/users\/99"}],"replies":[{"embeddable":true,"href":"https:\/\/diarioelpopular.com\/index.php\/wp-json\/wp\/v2\/comments?post=547938"}],"version-history":[{"count":1,"href":"https:\/\/diarioelpopular.com\/index.php\/wp-json\/wp\/v2\/posts\/547938\/revisions"}],"predecessor-version":[{"id":547940,"href":"https:\/\/diarioelpopular.com\/index.php\/wp-json\/wp\/v2\/posts\/547938\/revisions\/547940"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/diarioelpopular.com\/index.php\/wp-json\/wp\/v2\/media\/547939"}],"wp:attachment":[{"href":"https:\/\/diarioelpopular.com\/index.php\/wp-json\/wp\/v2\/media?parent=547938"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/diarioelpopular.com\/index.php\/wp-json\/wp\/v2\/categories?post=547938"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/diarioelpopular.com\/index.php\/wp-json\/wp\/v2\/tags?post=547938"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}\n\n\n\n\n![\"Una](\"https:\/\/ichef.bbci.co.uk\/ace\/ws\/640\/cpsprodpb\/f9d8\/live\/1d2fd2a0-ac5f-11f1-a540-61c3f7fc4e6c.jpg.webp\")
\nAntes de que sea demasiado tarde<\/h2>\n<\/div>\n
\n\n\n\n\n\n\n\nEl problema de alineaci\u00f3n<\/h2>\n<\/div>\n
\n\n\n\n\n\n\n\n![\"Demis](\"https:\/\/ichef.bbci.co.uk\/ace\/ws\/640\/cpsprodpb\/d3a8\/live\/3b927d50-ac60-11f1-a540-61c3f7fc4e6c.jpg.webp\")
\n\n\n\n\n\n‘Como un hacker adolescente’<\/h2>\n<\/div>\n
\n\n\n\n\n\n\n\n\n![\"Manifestantes](\"https:\/\/ichef.bbci.co.uk\/ace\/ws\/640\/cpsprodpb\/5c53\/live\/00199660-ac64-11f1-bc1f-3f186ca4140c.jpg.webp\")
\n\n\n\n\n\n\n\n![\"Sam](\"https:\/\/ichef.bbci.co.uk\/ace\/ws\/640\/cpsprodpb\/69cb\/live\/3c4f4f90-ac5e-11f1-bc1f-3f186ca4140c.jpg.webp\")
\n\n\n\n\n\u00bfRegulaci\u00f3n internacional?<\/h2>\n<\/div>\n
\n\n\n\n\n\n\n\n\n\n