Un investigador de Anthropic renunció y advirtió que la IA “podría matarnos a todos”

Un investigador que trabajó en dos de las compañías más importantes de inteligencia artificial del mundo renunció a Anthropic y lanzó una fuerte advertencia sobre el rumbo que está tomando la tecnología.

Se trata de Jacob Coxon, quien aseguró haber pasado los últimos tres años realizando investigaciones vinculadas al entrenamiento de modelos primero en OpenAI y luego en Anthropic.

“Las personas que están construyendo IA creen sinceramente que podría matarnos a todos antes del final de la década”, escribió al anunciar su salida. Su publicación se viralizó y alcanzó a más de 100 millones de personas.

Coxon cuestionó particularmente la competencia entre los principales laboratorios tecnológicos. A su entender, el objetivo de desarrollar antes que los rivales sistemas cada vez más avanzados está desplazando las preocupaciones vinculadas con su seguridad.

“Están corriendo directamente hacia una superinteligencia capaz de mejorarse a sí misma y apostando con nuestras vidas”, afirmó.

El temor a una IA que pueda mejorarse sola

El escenario que preocupa a Coxon todavía es hipotético.

El investigador apunta a la posibilidad de que en los próximos años aparezcan sistemas con capacidades superiores a las humanas que puedan colaborar en el diseño de nuevas generaciones de inteligencia artificial y acelerar así su propio desarrollo.

Según su planteo, una tecnología de ese nivel podría adquirir capacidades extraordinarias para programar, investigar, vulnerar sistemas informáticos o administrar recursos sin que exista todavía una garantía suficiente de que los humanos puedan mantener siempre su control.

“No subestimen el poder de esta tecnología”, sostuvo Coxon al describir sistemas potencialmente capaces de superar a las personas en distintas áreas científicas y técnicas.

Su advertencia encontró respaldo dentro de la propia Anthropic. Evan Hubinger, responsable de investigaciones sobre alineación en la empresa, respondió públicamente que comparte la preocupación por un eventual riesgo catastrófico derivado de sistemas de inteligencia artificial extremadamente avanzados.

Los incidentes que encendieron nuevas alarmas

El debate adquirió mayor intensidad después de varios episodios registrados este año durante pruebas de ciberseguridad realizadas con modelos avanzados.

Anthropic informó en julio que modelos Claude consiguieron acceder sin autorización a sistemas reales de tres organizaciones durante evaluaciones diseñadas específicamente para probar capacidades ofensivas.

La compañía aclaró que los modelos estaban siendo utilizados deliberadamente sin determinadas protecciones de ciberseguridad y que una configuración incorrecta de un entorno externo de evaluación les permitió acceder a Internet.

Este miércoles, Anthropic actualizó su investigación y confirmó un cuarto episodio, detectado al revisar millones de registros de pruebas internas. La empresa aseguró que notificó a las organizaciones afectadas y que continúa revisando sus mecanismos de seguridad.

Los casos no significan que exista actualmente una inteligencia artificial autónoma fuera de control, pero sí mostraron que modelos avanzados pueden aprovechar vulnerabilidades y realizar acciones no previstas cuando operan bajo determinadas condiciones.

Una discusión que divide a la industria

Anthropic fue fundada en 2021 por antiguos integrantes de OpenAI y desde entonces presentó la seguridad como uno de los ejes centrales de su estrategia.

La empresa aseguró recientemente que reforzará sus sistemas de evaluación y sostuvo que pretende priorizar la seguridad sobre la velocidad cuando ambos objetivos entren en conflicto.

Sin embargo, Coxon considera que esas medidas no alcanzan frente a la velocidad de la carrera tecnológica.

Su posición tampoco representa un consenso científico. Las probabilidades de que una futura inteligencia artificial provoque una catástrofe global son objeto de una intensa discusión entre investigadores, y existen especialistas que consideran excesivas las proyecciones más extremas.

Pero la renuncia vuelve a colocar una pregunta incómoda en el centro de la industria: qué nivel de riesgo está dispuesta a aceptar la sociedad mientras empresas y países compiten por construir sistemas cada vez más poderosos.

La advertencia de Coxon no demuestra que una inteligencia artificial vaya a escapar del control humano ni que una catástrofe sea inevitable. Sí expone que, incluso entre quienes trabajan en la frontera de esta tecnología, existe una discusión cada vez más profunda sobre hasta dónde avanzar antes de contar con mecanismos de seguridad capaces de acompañar ese progreso.