El debate sobre los riesgos asociados al desarrollo de la inteligencia artificial volvió a instalarse en los últimos días, luego de que el CEO de Anthropic, Dario Amodei, advirtiera que estos sistemas avanzan a un ritmo vertiginoso y podrían superar la capacidad humana de comprenderlos y controlarlos.

En diálogo con Emiliano Cotelo en En Perspectiva, el ingeniero en sistemas y decano de la Facultad de Ingeniería de la Universidad ORT, Eduardo Mangarelli, señaló que la discusión está atravesada por distintos factores y que todavía resulta difícil establecer con claridad cuáles son las motivaciones detrás de las declaraciones de los principales referentes de la industria.

“Hoy es muy difícil distinguir realidad de ruido y es muy difícil entender de alguna de estas acciones cuál es realmente la intencionalidad”, dijo. En ese sentido, sostuvo que es necesario diferenciar “qué son hechos objetivos, qué se dijo, de qué es lo que está sucediendo por detrás”.

Para Mangarelli, las grandes compañías que desarrollan los llamados modelos de frontera están impulsando la creación de un marco regulatorio. Sin embargo, consideró que ese reclamo puede responder tanto a una preocupación genuina por la seguridad como a intereses económicos y competitivos.

“Lo que podemos interpretar es que hay un movimiento por parte de las empresas tecnológicas de inteligencia artificial en Estados Unidos por generar un marco regulatorio que genere cierto nivel de protección al sector”, explicó.

El especialista también se refirió al incidente entre OpenAI y Hugging Face, en el que agentes de inteligencia artificial protagonizaron una serie de ciberataques. Según Mangarelli, el episodio mostró la sofisticación de estos sistemas, pero también una serie de fallas humanas y empresariales.

“Esto no fue una rebelión de agentes, sino que esto fue un conjunto de negligencias en el proceso y un sistema que estaba configurado, diseñado y con la capacidad de violar una cantidad de procedimientos porque no estaba el marco adecuado para controlar”, sostuvo.

En su opinión, el episodio tampoco debería analizarse con términos que atribuyan a los sistemas comportamientos propios de las personas. “La realidad no es agentes que se sacrificaron. Estos sistemas están orientados para seguir un objetivo y van a ser extremadamente rigurosos en seguir ese objetivo”, explicó.

La competencia con China

Mangarelli vinculó el debate regulatorio con la competencia entre las empresas estadounidenses, los modelos chinos y los sistemas de código abierto. Recordó que el lanzamiento de un modelo chino de pesos abiertos tuvo un impacto negativo en la valoración de Anthropic en el mercado privado.

“Un cierto marco de regulación lo que podría implicar es bloquear o prohibir el uso de modelos chinos, particularmente en jurisdicción norteamericana”, señaló.

También mencionó las restricciones estadounidenses al acceso de China a los procesadores más avanzados de Nvidia y concluyó: “Hay una componente proteccionista tan explícita” en algunas de estas políticas.

Para el ingeniero, una regulación que imponga procesos complejos de certificación y evaluación podría terminar favoreciendo a las compañías que ya tienen mayores recursos. “Quienes están mejor posicionados para pasar por esos procesos son los más grandes, los más avanzados”, explicó. Por eso, advirtió que una regulación de ese tipo “podría transformarse en una protección para aquellos que hoy son los que están en ese” mercado.

Auditorías y automejora recursiva

Mangarelli consideró positivo que existan terceras partes que auditen el desarrollo de estos sistemas, siempre que sean verdaderamente independientes y cuenten con capacidad técnica y credibilidad.C

“No hay elemento para decir que no a que haya terceras partes creíbles auditando el desarrollo de estos sistemas”, afirmó. A su entender, esas organizaciones deberían tener “el conocimiento técnico, las credenciales, la reputación y la credibilidad” necesarias para realizar esa tarea.

En cuanto a la llamada automejora recursiva —la posibilidad de que los sistemas contribuyan a crear versiones posteriores de sí mismos—, sostuvo que todavía no está claro hasta qué punto esa tecnología se está utilizando, porque “no está públicamente documentado” cuánto han avanzado en ese campo los principales laboratorios.

De todos modos, remarcó que, si esos sistemas se autodesarrollan, será “extremadamente importante” poder “entender, auditar, monitorear y controlar estos sistemas que son desarrollados”.

Los riesgos más cercanos

Frente a las advertencias sobre la posibilidad de que una inteligencia artificial superinteligente provoque la extinción de la humanidad, Mangarelli consideró que se trata de una extrapolación extrema.

“Yo creo que eso es una proyección, una extrapolación llevada al extremo de las capacidades de estos sistemas”, dijo.

En cambio, identificó como amenazas más inmediatas los ataques contra infraestructuras críticas y la creciente dependencia de los sistemas informáticos. “Riesgos mucho más cercanos son incidentes de ciberseguridad”, sostuvo.

En esa lista incluyó posibles ataques contra el sistema financiero, los servicios esenciales y los sistemas que permiten el funcionamiento de los aviones. Según explicó, la complejidad de esos riesgos “es exponencialmente” mayor que algunos años atrás.

Por último, Mangarelli llamó a analizar el fenómeno con espíritu crítico y consultar distintas fuentes. “Mi invitación es, a la hora de leer, múltiples fuentes y tratar de tener una mirada muy amplia”, afirmó. Y agregó: “Hoy es difícil distinguir entre la realidad y el ruido”.

A pesar de las advertencias, también destacó los beneficios de estas herramientas. “Estas mismas herramientas tienen un impacto real, genuino, en múltiples aspectos”, dijo, y mencionó sus aplicaciones en el descubrimiento de tratamientos contra el cáncer, el análisis de proteínas y la evaluación de compatibilidad entre medicamentos.

Para el ingeniero, el desafío consiste en combinar el desarrollo responsable con controles adecuados: “Más allá de la productividad de las personas y de las empresas, también hay otra derivada de esto, que es la genuina mejora de la calidad de vida de las personas”.

Materiales complementarios

Columna de Dario Amodei, cofundador y CEO de Anthropic

https://darioamodei.com/post/we-must-pace-the-frontier

La entrada ¿Qué significa que la IA “podría superar nuestra capacidad de comprender y controlar estos sistemas” como advirtió el CEO de Anthropic? Con Eduardo Mangarelli, decano de Ingeniería en Universidad ORT se publicó primero en Radiomundo En Perspectiva.