En un mundo donde la inteligencia artificial (IA) evoluciona rápidamente, la gestión de riesgos asociados a estas tecnologías se convierte en una prioridad crítica. El Instituto Nacional de Estándares y Tecnología (NIST, por sus siglas en inglés) ha desarrollado el Marco de Gestión de Riesgos de IA (AI RMF 1.0), con un enfoque específico en la Inteligencia Artificial Generativa (GAI). Este artículo se basa en el documento «Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile» publicado por NIST, proporcionando una visión detallada de los riesgos únicos y exacerbados por GAI y las acciones sugeridas para su gestión.

Panorama de los riesgos unicos o exacerbados por GAI

Dimensiones de los riesgos

Los riesgos asociados a la GAI pueden manifestarse en diferentes etapas del ciclo de vida de la IA: diseño, desarrollo, despliegue, operación y desmantelamiento. Además, estos riesgos pueden surgir a nivel individual de modelo o sistema, en aplicaciones específicas, o a nivel de ecosistema. Las fuentes de riesgo pueden ser variadas, desde problemas en el diseño y entrenamiento del modelo hasta comportamientos humanos adversos y la interacción entre humanos y sistemas de IA. Finalmente, los riesgos pueden materializarse abruptamente o desarrollarse a lo largo del tiempo, con efectos inmediatos o a largo plazo.

Tipos de riesgos identificados

1. Información o capacidades CBRN

Uno de los riesgos más preocupantes asociados a la IA generativa es su potencial para facilitar el acceso a información o tecnologías peligrosas relacionadas con armas químicas, biológicas, radiológicas o nucleares (CBRN). La GAI puede generar documentos técnicos, guías de fabricación o incluso fórmulas químicas que pueden ser mal utilizadas por actores malintencionados. La disponibilidad de esta información podría aumentar significativamente las amenazas globales de seguridad, permitiendo la creación de armas de destrucción masiva con relativa facilidad.

2. Confabulación

La confabulación, también conocida como alucinación en el contexto de la IA, se refiere a la producción de contenido falso o erróneo que puede engañar a los usuarios. Los modelos de IA generativa, al no tener una comprensión verdadera del mundo, pueden generar respuestas o información incorrecta que parece plausible. Este riesgo es particularmente crítico en aplicaciones donde la precisión de la información es vital, como en la atención médica, asesoría financiera o la seguridad pública.

3. Contenido peligroso, violento o de odio

La capacidad de la GAI para generar contenido textual o visual ha llevado a preocupaciones sobre la creación y difusión de material que incita a la violencia, el odio o actividades ilegales. Además, la GAI puede ser utilizada para generar recomendaciones sobre autolesiones o suicidio. Este tipo de contenido puede tener un impacto devastador en individuos y comunidades, amplificando mensajes perjudiciales y facilitando la radicalización.

4. Privacidad de datos

La generación de datos sintéticos por parte de la GAI puede implicar riesgos significativos para la privacidad. Los modelos pueden inadvertidamente revelar información personal sensible o permitir la desanonimización de datos. Además, existe el riesgo de que la GAI se utilice para generar perfiles detallados de individuos sin su consentimiento, lo que plantea serias preocupaciones éticas y legales.

5. Impactos ambientales

El entrenamiento y la operación de modelos de GAI requieren una cantidad significativa de recursos computacionales, lo que puede tener impactos ambientales considerables. El consumo de energía y los recursos necesarios para desarrollar y mantener estos modelos pueden contribuir al cambio climático y la degradación ambiental. Además, la gestión de la infraestructura necesaria para estos sistemas puede tener efectos adversos en los ecosistemas locales.

6. Homogeneización nociva

Los modelos de GAI pueden amplificar sesgos históricos y sociales presentes en los datos de entrenamiento, resultando en resultados injustos o discriminatorios. Además, la tendencia de la GAI a generar resultados homogéneos puede llevar a decisiones erróneas y reforzar estereotipos perjudiciales. Este riesgo es particularmente preocupante en aplicaciones que afectan a grupos vulnerables o históricamente marginados.

7. Configuración Humano-IA

La interacción entre humanos y sistemas de IA puede resultar en una antropomorfización inapropiada de la tecnología, donde los usuarios atribuyen características humanas a los sistemas de IA. Esto puede llevar a una sobre-reliancia en estos sistemas y a un sesgo de automatización, donde las decisiones de la IA son aceptadas sin una evaluación crítica. Además, la falta de transparencia en cómo los sistemas de IA llegan a sus decisiones puede dificultar la supervisión humana efectiva.

8. Integridad de la información

La capacidad de la GAI para generar contenido convincente pero falso puede facilitar la creación y difusión de desinformación a gran escala. Esto no solo afecta la confianza pública en la información, sino que también puede ser explotado para influir en procesos democráticos, manipular opiniones públicas y socavar la estabilidad social.

9. Seguridad de la información

La GAI también puede aumentar las capacidades ofensivas en el ciberespacio. Los actores malintencionados pueden utilizar GAI para desarrollar malware más sofisticado, realizar ataques de phishing más convincentes o automatizar ataques a gran escala. Además, la complejidad añadida por la GAI amplía la superficie de ataque, proporcionando más oportunidades para que los atacantes exploten vulnerabilidades.

10. Propiedad intelectual

La GAI tiene el potencial de generar o replicar contenido protegido por derechos de autor, secretos comerciales o cometer plagio sin el debido reconocimiento. Este riesgo plantea serias preocupaciones para la industria creativa y la protección de la propiedad intelectual, ya que puede erosionar los incentivos para la innovación y la creación de contenido original.

11. Contenido obsceno, degradante y/o abusivo

La capacidad de la GAI para crear imágenes y videos realistas plantea el riesgo de generar contenido dañino, como material de abuso sexual infantil sintético o imágenes íntimas no consensuadas. Este tipo de contenido puede causar daño significativo a las víctimas, además de ser difícil de detectar y eliminar debido a la naturaleza sintética de las creaciones.

12. Cadena de valor e integración de componentes

La falta de transparencia en la integración de componentes de terceros y problemas en la limpieza y procesamiento de datos pueden introducir riesgos adicionales en los sistemas de GAI. La utilización de modelos pre-entrenados o datos de fuentes desconocidas puede comprometer la seguridad y la integridad del sistema, además de dificultar la trazabilidad y la responsabilidad en caso de fallos.

Acciones sugeridas para la gestión de riesgos

Gobernanza y transparencia

Para mitigar estos riesgos, NIST sugiere acciones específicas enfocadas en la gobernanza y la transparencia. Es esencial que las organizaciones implementen estructuras de gobernanza robustas que incluyan políticas claras sobre el uso de GAI, auditorías regulares y la participación de diversas partes interesadas. La transparencia en el desarrollo y operación de modelos de GAI también es crucial para mantener la confianza y asegurar la responsabilidad.

Pruebas previas al despliegue

Antes de implementar modelos de GAI, es fundamental realizar pruebas exhaustivas que evalúen su rendimiento, sesgos y posibles impactos negativos. Estas pruebas deben incluir la verificación de la precisión del modelo, la identificación de sesgos inherentes y la evaluación de su impacto en diferentes subgrupos. Además, deben establecerse protocolos de pruebas continuas para monitorear el rendimiento del modelo a lo largo del tiempo y adaptar las estrategias de mitigación según sea necesario.

Divulgación de incidentes

En caso de incidentes relacionados con el uso de GAI, las organizaciones deben tener procedimientos claros para la divulgación rápida y efectiva de estos eventos. Esto incluye la identificación y notificación de incidentes, la evaluación de su impacto y la implementación de medidas correctivas para prevenir futuros problemas. La transparencia en la divulgación de incidentes también ayuda a mantener la confianza del público y a mejorar las prácticas de la industria.

Proveedores y terceros

La gestión de la cadena de suministro y la evaluación de proveedores y componentes de terceros son vitales para asegurar la integridad y seguridad de los sistemas de GAI. Las organizaciones deben llevar a cabo evaluaciones exhaustivas de los proveedores y asegurarse de que cumplan con los estándares de seguridad y privacidad. Además, es crucial mantener una trazabilidad clara de todos los componentes utilizados en el desarrollo y operación de los sistemas de GAI.

La inteligencia artificial generativa presenta tanto oportunidades como desafíos significativos. La gestión efectiva de los riesgos asociados con GAI es crucial para maximizar sus beneficios y minimizar sus potenciales daños. El marco de NIST proporciona una guía valiosa para las organizaciones que buscan navegar este complejo panorama, ofreciendo acciones concretas para abordar los riesgos y asegurar un desarrollo y uso responsable de la IA generativa.

Fuente: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf