¿Qué riesgos tiene la IA?
Los riesgos de la IA son las posibles consecuencias negativas derivadas del modelo, los datos, la arquitectura, el uso humano y el contexto en el que se despliega el sistema.
No se reducen a una respuesta incorrecta. Incluyen pérdida de privacidad, sesgos, acciones indebidas, ataques, dependencia de proveedores, interrupciones y decisiones empresariales basadas en una medición pobre.
El riesgo depende de la probabilidad y del impacto, pero también de la capacidad para detectar, detener y corregir el fallo. La misma tasa de error puede ser aceptable en un borrador y peligrosa en una acción irreversible.
Gobernar: asignar responsabilidad
NIST sitúa la gobernanza alrededor de todo el ciclo de riesgo. La organización necesita saber quién aprueba el caso, quién mantiene datos y controles, quién responde ante incidentes y quién puede detener el sistema.
También hay que inventariar modelos, proveedores, fuentes, integraciones y versiones. No se puede gestionar un componente cuya existencia o propietario se desconoce.
Mapear: comprender el contexto
Se describe quién utiliza el sistema, qué decisiones influye, qué datos procesa, qué terceros intervienen y qué ocurre si se equivoca. NIST recomienda mapear riesgos y beneficios de todos los componentes, incluidos datos y software externo.
El riesgo real aparece en el proceso completo. Un modelo puede generar una respuesta imperfecta sin daño, o desencadenar una modificación automática con consecuencias.
Medir: probar comportamiento y exposición
Las pruebas cubren exactitud, alucinaciones, seguridad, privacidad, sesgo, herramientas, recuperación y fallos operativos. Deben incluir uso normal, casos límite y comportamiento adversarial.
La medición no termina antes del lanzamiento. En producción cambian usuarios, datos, modelos y ataques, por lo que hacen falta indicadores, registros y revisión de incidentes.
Gestionar: reducir, transferir o aceptar
Un riesgo puede reducirse con mejores datos, permisos, validación, revisión o menor autonomía. También puede transferirse mediante contratos o seguros, evitarse retirando una capacidad o aceptarse explícitamente cuando el beneficio lo justifica.
La aceptación necesita propietario, justificación y umbral de revisión. No documentarlo equivale a aceptar el riesgo por omisión.
Riesgos propios de la IA generativa
El perfil de NIST para IA generativa destaca riesgos como confabulación, privacidad, propiedad intelectual, integridad de la información, seguridad, contenido dañino y dependencia excesiva de las respuestas.
Los agentes añaden riesgo de acción: prompt injection, selección incorrecta de herramientas, propagación de errores y aumento del radio de impacto. La contención debe diseñarse alrededor del modelo.
Riesgos operativos y de proveedor
Cambios de modelo, precios, límites, disponibilidad o políticas pueden afectar al servicio. Conviene conocer qué piezas pueden sustituirse, qué datos permanecen en cada proveedor y qué degradación admite el proceso.
Una ruta de fallback no tiene que replicar toda la capacidad. Puede limitarse a transferir, conservar la solicitud o mantener una función básica hasta recuperar el servicio.
Cuándo no desplegar
No debería desplegarse cuando el daño potencial es alto, no existe una forma razonable de detectar errores, faltan datos representativos o nadie puede asumir la responsabilidad operativa.
También conviene detener un piloto que no demuestra beneficio suficiente para justificar su exposición. La gestión del riesgo y el ROI forman parte de la misma decisión.
Gobernanza de la IA
Barreras de seguridad en IA
Sesgos en la IA
Métricas de IA
Cómo implementar IA en tu empresa
Si quieres aplicar IA en tu negocio,
Te explico qué hago y cómo trabajo: Aquí