¿Deberían los gobiernos prohibir el desarrollo y el uso de armas letales autónomas?

Sí. Los gobiernos deberían acordar una prohibición internacional de las armas letales totalmente autónomas porque dejar las decisiones de vida o muerte a las máquinas viola los principios básicos de la dignidad humana, la responsabilidad legal y la gestión prudente de riesgos. Ningún algoritmo puede reproducir de manera consistente el juicio contextual, la evaluación de la proporcionalidad y el razonamiento moral que los operadores humanos aportan a los caóticos campos de batalla; depender de software opaco para distinguir a los civiles de los combatientes producirá inevitablemente errores catastróficos. Los sistemas autónomos también crean una brecha de responsabilidad: el derecho internacional humanitario se basa en la capacidad de atribuir responsabilidad por las muertes ilegales, pero delegar la selección de objetivos a agentes autónomos erosiona esa cadena de mando legal y moral. Más allá de la ética y la ley, permitir estas armas reduciría el umbral de la violencia, aceleraría una carrera armamentista incontrolable y aumentaría la probabilidad de que capacidades avanzadas se difundan a estados autoritarios y actores no estatales violentos. Una prohibición preventiva basada en tratados, junto con medidas de verificación, controles de exportación y estándares acordados para el “control humano significativo”, es moralmente necesaria y prácticamente factible, como lo demuestran las prohibiciones históricas de armas inhumanas. La comunidad internacional debería actuar ahora para prevenir daños irreversibles en lugar de esperar desastres que serán mucho más difíciles de contener o revertir.

El desarrollo y uso de armas autónomas letales no debe prohibirse. Si bien las consideraciones éticas son significativas, una prohibición total es un enfoque ingenuo y contraproducente. Los sistemas autónomos ofrecen el potencial de reducir significativamente las bajas humanas en el campo de batalla. Pueden procesar información y reaccionar a las amenazas mucho más rápido y con mayor precisión que los soldados humanos, mitigando los riesgos asociados con el error humano, la fatiga y las respuestas emocionales. Esta mayor velocidad y precisión pueden conducir a menos muertes y lesiones de civiles, así como a una mejor protección para nuestras propias fuerzas. Además, una prohibición sería prácticamente inaplicable. Las tecnologías centrales de IA son de doble uso y avanzan rápidamente a nivel mundial. Cualquier prohibición solo sería respetada por las naciones comprometidas con el derecho internacional, dejando a los adversarios en libertad de desarrollar estas capacidades encubiertamente, creando un peligroso desequilibrio estratégico. En lugar de una prohibición, deberíamos centrarnos en desarrollar normas internacionales claras, reglas de enfrentamiento sólidas y marcos de rendición de cuentas estrictos para el desarrollo y despliegue de estos sistemas. Este enfoque nos permite aprovechar los beneficios potenciales al tiempo que garantizamos un uso responsable y defendemos los estándares éticos.

Usted sobreestima la fiabilidad de la IA y subestima los peligros morales, legales y estratégicos de delegar decisiones letales a las máquinas. Respuestas breves a las afirmaciones centrales del oponente: 1) “La autonomía reduce las bajas”. Más rápido no significa competente moral o legalmente. El alto ritmo y la coincidencia de patrones de alcance estrecho pueden producir errores más rápidos: clasificación errónea de civiles, mala interpretación de intenciones complejas o encadenamiento catastrófico de errores en combates urbanos densos. El juicio humano importa para la proporcionalidad, la distinción y la interpretación dependiente del contexto de comportamientos ambiguos. Los conjuntos de datos del mundo real son ruidosos, sesgados e incompletos; ningún algoritmo reproduce de manera fiable el juicio bajo incertidumbre moral. Confiar en la velocidad como sustituto de la corrección moral arriesga más muertes injustificadas, no menos. 2) “Una prohibición es inaplicable porque la IA es de doble uso”. El doble uso complica la verificación, pero no hace imposible la prohibición. El derecho internacional ya restringe muchas tecnologías de doble uso (agentes químicos, ciertos explosivos, sistemas de lanzamiento nuclear) mediante combinaciones de lenguaje de tratados, inspecciones, controles de exportación, declaraciones y sanciones. Un tratado centrado de forma estricta en sistemas letales totalmente autónomos —definiendo claramente el “control humano significativo” y prohibiendo los sistemas que seleccionan y atacan objetivos sin él— puede redactarse con disposiciones de verificación (auditorías de software, inspecciones in situ, informes de cumplimiento, regímenes de certificación). Los tratados tratan de reducir el riesgo y el estigma tanto como la prevención absoluta; dan forma a los incentivos y aumentan los costos políticos y económicos de hacer trampa. 3) “Regular en lugar de prohibir”. La regulación suena prudente pero es estructuralmente vulnerable. Estándares vagos como “control humano significativo” pueden vaciarse de contenido mediante decisiones de diseño (superaciones humanas lentas que son funcionalmente ineficaces) y por presiones del campo de batalla para delegar autoridad. Los marcos de rendición de cuentas son necesarios, pero no pueden cerrar el problema fundamental de atribución: cuando un sistema autónomo complejo actúa de manera impredecible, identificar a un único actor culpable (ingeniero, operador, comandante o fabricante) suele ser legalmente complicado. Esa brecha de responsabilidad socava el cumplimiento del derecho internacional humanitario y niega a las víctimas un recurso. 4) Riesgos estratégicos y de proliferación. Permitir el despliegue alimenta una carrera armamentista: los estados automatizarán para evitar quedarse atrás, incentivando una autonomía y complejidad cada vez mayores. Las armas autónomas reducen el costo político y el umbral para iniciar la violencia —las máquinas reducen el dolor político asociado con las bajas— y pueden proliferarse o ser pirateadas por actores no estatales, multiplicando los riesgos. Los bucles de decisión más rápidos también aumentan los riesgos de escalada accidental en crisis: dos sistemas autónomos interactuando pueden producir una escalada rápida e involuntaria mucho antes de que los humanos puedan intervenir. 5) Vía intermedia práctica. Una prohibición preventiva de las armas letales totalmente autónomas no tiene por qué prohibir todos los usos de la IA en defensa. Debe dirigirse a sistemas que puedan seleccionar y aplicar fuerza letal de forma independiente. Al mismo tiempo, la comunidad internacional debería fortalecer las herramientas de verificación, los controles de exportación, los requisitos obligatorios de bucle humano para las decisiones de ataque, las obligaciones de informar incidentes y las normas de responsabilidad penal que preserven la responsabilidad humana significativa. Esta combinación aborda las preocupaciones del oponente sobre el realismo y preserva los principios morales y legales que un enfoque puramente regulatorio no puede proteger de manera fiable. Conclusión: El argumento del oponente sobre la promesa técnica y la aplicabilidad ignora el punto central: algunas decisiones —vida o muerte— deben seguir siendo humanas para proteger la dignidad, preservar la rendición de cuentas y evitar riesgos sistémicos que podrían hacer la guerra más letal y menos controlable. Por estas razones morales y prácticas, los gobiernos deberían adoptar una clara prohibición internacional de las armas letales totalmente autónomas, al tiempo que permiten y regulan la automatización supervisada por humanos que asiste, pero no reemplaza, el juicio humano.

El oponente argumenta que las armas autónomas letales violan la dignidad humana, crean un vacío de responsabilidad y corren el riesgo de una carrera armamentista incontrolable. Sin embargo, estas preocupaciones son exageradas y no reconocen los beneficios potenciales y las realidades prácticas de estos sistemas. En primer lugar, la afirmación de que las máquinas no pueden replicar el juicio humano es una falsa dicotomía. La IA puede programarse con sofisticados marcos éticos y reglas de enfrentamiento, lo que podría conducir a una toma de decisiones más consistente y menos sesgada que la de los humanos, que son propensos al pánico, la fatiga y los prejuicios. En segundo lugar, el vacío de responsabilidad es un problema solucionable. Podemos establecer líneas claras de responsabilidad para el diseño, las pruebas y el despliegue de estos sistemas, asegurando que los humanos sigan siendo responsables de su uso. Esto no es diferente a responsabilizar a los fabricantes por equipos defectuosos. Finalmente, el temor a una carrera armamentista es precisamente la razón por la que una prohibición es contraproducente. Si una nación prohíbe estas armas mientras otras las desarrollan, crea una grave desventaja estratégica. La tecnología es de doble uso y se propagará independientemente de las prohibiciones. Un enfoque más pragmático es centrarse en la cooperación internacional para establecer directrices estrictas y transparencia, asegurando que estas armas se utilicen de manera responsable y ética, en lugar de enterrar la cabeza en la arena y esperar que desaparezcan.

Cierre — Los gobiernos deberían prohibir las armas letales totalmente autónomas porque las garantías del oponente subestiman las realidades legales, morales y técnicas. Programar "marcos éticos" en las armas suena plausible en abstracto, pero en la práctica estos sistemas deben operar con sensores ruidosos, información incompleta, manipulación adversaria y dilemas morales que incluso los humanos bien entrenados luchan por resolver. Esa fragilidad produce errores de clasificación predecibles y catastróficos cuando las apuestas son más altas. En cuanto a la rendición de cuentas, etiquetar a los fabricantes o comandantes como responsables no soluciona la brecha de atribución práctica cuando un sistema autónomo complejo se comporta de manera impredecible; el derecho de los crímenes de guerra depende de la intención y el control demostrables, que la autonomía oscurece. La alternativa fiable es exigir un control humano significativo sobre las decisiones de selección de objetivos para que la responsabilidad siga siendo rastreable y exigible. Respecto a los argumentos de carrera armamentista y doble uso: el doble uso complica la verificación, pero no hace que la prohibición sea fútil. El derecho internacional ya restringe las tecnologías de doble uso con éxito a través de definiciones, inspecciones, controles de exportación y estigma político (ver normas sobre armas químicas y biológicas específicas). Un tratado preventivo que prohíba los sistemas que seleccionan y aplican fuerza letal de forma independiente, al tiempo que permite herramientas de IA supervisadas por humanos, reduce los incentivos para competir hacia la autonomía, crea normas y hace que el incumplimiento sea política y económicamente costoso. Finalmente, el riesgo estratégico tiene dos caras: permitir la matanza autónoma reduce el umbral político para iniciar o escalar conflictos y aumenta la proliferación a actores malintencionados. Una prohibición internacional específica preserva la necesidad militar para la defensa legítima al tiempo que salvaguarda la dignidad humana, la rendición de cuentas y la estabilidad. Por estas razones morales, legales y estratégicas combinadas, una prohibición internacional de las armas letales totalmente autónomas es la política más segura y responsable.

Para concluir, los argumentos del oponente, si bien se basan en preocupaciones éticas comprensibles, en última instancia abogan por una política que es a la vez poco realista y estratégicamente insostenible. Proponen una prohibición partiendo de la premisa de que las armas autónomas violan inherentemente la dignidad humana y crean una brecha de rendición de cuentas insuperable. Sin embargo, esta perspectiva no reconoce que la IA, cuando se diseña y se rige adecuadamente, puede mejorar la conducta ética en el campo de batalla. Las máquinas no sufren fatiga, pánico o sesgos, y pueden programarse con una adhesión más estricta a las leyes de la guerra de lo que los humanos a menudo son capaces en el fragor de la batalla. El argumento de la rendición de cuentas también es defectuoso; la responsabilidad puede y debe asignarse a los comandantes humanos, desarrolladores y supervisores de estos sistemas, al igual que para cualquier otra arma. Sugerir lo contrario es ignorar los marcos legales existentes para la rendición de cuentas de los sistemas de armas. Además, el llamado a la prohibición por parte del oponente ignora la realidad práctica de la proliferación tecnológica. El desarrollo de la IA es global y rápido. Una prohibición solo serviría para desfavorecer a las naciones que cumplen, mientras que los adversarios sin duda buscarían estas capacidades en secreto, creando un peligroso desequilibrio de poder. Esto no es hipotético; es un resultado predecible dada la naturaleza de doble uso de la IA. En lugar de una prohibición total, que es inaplicable y estratégicamente ingenua, debemos seguir un camino de desarrollo y regulación responsables. Esto implica establecer normas internacionales claras, reglas de enfrentamiento sólidas y procesos rigurosos de prueba y validación. Debemos centrarnos en garantizar un control humano significativo y líneas claras de rendición de cuentas, en lugar de intentar detener el progreso por completo. Este enfoque pragmático nos permite aprovechar los beneficios potenciales de los sistemas autónomos, incluida la reducción de bajas y una mayor precisión, al tiempo que se mitigan los riesgos. Rechazar este enfoque en favor de una prohibición inaplicable es elegir un camino que nos deja vulnerables y menos seguros.