Los riesgos de la inteligencia artificial ya no dependen únicamente de lo que un modelo pueda responder. A medida que la IA gana capacidad para investigar, programar, utilizar herramientas y ejecutar tareas, aparecen nuevas preguntas sobre seguridad, supervisión y responsabilidad.
Hay una pregunta que aparece una y otra vez cuando hablamos de inteligencia artificial:
¿hasta dónde puede llegar?
Es comprensible. Cada nueva generación de modelos programa mejor, razona durante más tiempo, utiliza herramientas, investiga información y ejecuta tareas que hace pocos años parecían reservadas a especialistas.
Pero después de ver un reciente vídeo de Platzi sobre los riesgos de la inteligencia artificial me quedé pensando que quizá estamos formulando mal la pregunta.
La cuestión realmente importante para una empresa probablemente no sea si algún día tendremos una inteligencia artificial consciente que decida enfrentarse a nosotros.
La cuestión es bastante más inmediata:
¿qué sucede cuando damos cada vez más capacidad de actuación a sistemas que pueden ser utilizados por personas, empresas u organizaciones con objetivos muy diferentes?
El propio vídeo desplaza el debate desde el escenario cinematográfico de una IA que “despierta” hacia algo mucho más tangible: el uso que los humanos hacemos de herramientas cada vez más poderosas.
Y esta distinción es importante porque cambia por completo la conversación empresarial.
El problema no necesita una IA consciente
Durante años hemos representado el riesgo de la inteligencia artificial mediante imágenes muy reconocibles: robots autónomos, máquinas fuera de control o sistemas que adquieren conciencia.
Son buenas historias.
Pero no necesitamos llegar tan lejos para encontrar riesgos reales.
Un modelo de inteligencia artificial no necesita tener intenciones propias para generar problemas. Basta con combinar tres elementos:
capacidad + acceso + un objetivo mal definido o malicioso.
OpenAI, por ejemplo, lleva publicando informes sobre intentos de utilización malintencionada de sus modelos. Una de las conclusiones de su informe de febrero de 2026 es especialmente interesante: los actores que intentan abusar de la IA normalmente no trabajan exclusivamente con un modelo. Combinan diferentes herramientas, páginas web, redes sociales y servicios dentro de un flujo de trabajo más amplio.
Es una diferencia fundamental.
La IA no sustituye necesariamente todo el proceso.
Lo amplifica.
Y eso funciona en ambas direcciones.
Puede amplificar la capacidad de una pequeña empresa para investigar mercados, desarrollar software o atender clientes.
Pero también puede amplificar actividades que preferiríamos limitar.
Por eso el debate empieza a parecerse menos a “¿es peligrosa la inteligencia artificial?” y más a una pregunta habitual en ingeniería:
¿qué permisos tiene este sistema y qué puede hacer con ellos?
Cuando aumenta la capacidad, también cambia el riesgo
La evolución reciente de los modelos hace que esta pregunta sea especialmente relevante.
OpenAI publicó en septiembre de 2026 que GPT-6 Astra había alcanzado el nivel denominado Critical en capacidad de ciberseguridad dentro de su Preparedness Framework. La compañía explicó al mismo tiempo que había reforzado los mecanismos de protección asociados al despliegue del modelo.
Esto no significa que estemos ante una catástrofe inevitable.
Significa algo probablemente más importante para quienes diseñamos sistemas tecnológicos:
cuando cambia la capacidad de una herramienta, también debe cambiar la arquitectura de seguridad que la rodea.
Anthropic sigue una filosofía parecida en su Responsible Scaling Policy. Su versión 3.0, publicada en febrero de 2026, plantea precisamente adaptar las salvaguardas al nivel de riesgo que van adquiriendo los modelos.
OpenAI ha formalizado también parte de este enfoque mediante su Frontier Governance Framework, que contempla evaluación de riesgos, mitigaciones, seguridad, respuesta a incidentes y supervisión para modelos avanzados.
La idea que comparten estos marcos es bastante sencilla:
más capacidad requiere mejores controles.
De los copilotos a los agentes
Aquí aparece, en mi opinión, uno de los cambios tecnológicos más importantes que estamos viviendo.
Durante la primera fase de la IA generativa el usuario preguntaba y el modelo respondía.
Era esencialmente un copiloto.
Ahora estamos evolucionando hacia agentes de IA capaces de encadenar acciones.
Un agente puede recibir un objetivo, investigar información, consultar una base de datos, analizar documentos, preparar una respuesta, llamar a una API o iniciar otro proceso.
La diferencia parece pequeña, pero arquitectónicamente es enorme.
Un chatbot produce información.
Un agente puede producir consecuencias.
Si un modelo únicamente redacta un correo, el usuario puede leerlo antes de enviarlo.
Pero si permitimos que un agente envíe directamente el correo, modifique información del CRM, acceda a documentación, genere una factura o interactúe con un proveedor, el sistema necesita otro nivel de diseño.
Ya no basta con preguntar si el modelo “responde bien”.
Hay que preguntar:
- ¿A qué información puede acceder?
- ¿Qué acciones puede ejecutar?
- ¿Qué necesita autorización humana?
- ¿Qué operaciones son reversibles?
- ¿Cómo queda registrada cada acción?
- ¿Qué ocurre cuando el modelo interpreta incorrectamente una instrucción?
- ¿Cómo revocamos inmediatamente sus permisos?
- ¿Quién tiene la responsabilidad final?
Estas preguntas van a formar parte cada vez más del diseño normal de software.
Más IA no significa necesariamente menos profesionales
Hay otra idea del vídeo que merece atención.
Se plantea que una mayor capacidad de programación de los modelos no elimina automáticamente la necesidad de profesionales capaces de entender los sistemas y llevar aplicaciones reales a producción.
Creo que aquí hay una distinción importante.
Programar y construir un sistema de software nunca han sido exactamente lo mismo.
El código es una parte.
También están la arquitectura, los datos, los permisos, la seguridad, las integraciones, los procesos empresariales, las pruebas, el mantenimiento y las decisiones sobre qué debe construirse.
La IA puede reducir espectacularmente el coste de producir determinadas partes del código.
Pero precisamente por eso puede aumentar el número de cosas que somos capaces de intentar construir.
El cuello de botella puede desplazarse.
De escribir cada línea manualmente a saber:
qué construir, cómo integrarlo, cómo validarlo y por qué merece la pena construirlo.
Para pequeñas empresas y emprendedores esto puede representar una transformación considerable.
Una persona con conocimiento sectorial, capacidad tecnológica e IA puede empezar a abordar proyectos que anteriormente necesitaban estructuras mucho mayores.
Ese cambio probablemente sea mucho más interesante que la discusión simplificada sobre si “la IA sustituirá a los programadores”.
El caso de los agentes empresariales
Pensemos en un ejemplo menos espectacular y mucho más cercano.
Una empresa introduce un agente comercial conectado con su CRM.
El agente puede:
analizar nuevos leads, investigar empresas, preparar mensajes, resumir conversaciones, sugerir oportunidades y recordar seguimientos.
Hasta aquí el riesgo es relativamente contenido.
Ahora añadimos más autonomía.
Le permitimos actualizar el CRM, enviar correos, crear tareas y comunicarse con clientes.
Después le conectamos facturación.
Después pedidos.
Después proveedores.
El mismo agente que inicialmente era simplemente un asistente empieza a participar en procesos reales de la empresa.
Y con cada integración aparece una nueva superficie de riesgo.
Por eso una buena arquitectura de IA empresarial debería aplicar algo parecido al principio tradicional de mínimo privilegio:
dar a cada agente únicamente los permisos imprescindibles para completar su función.
No porque esperemos que el sistema tenga malas intenciones.
Sino porque todos los sistemas fallan.
También los humanos.
Seguridad por diseño, no como parche posterior
Este enfoque coincide bastante bien con el AI Risk Management Framework de NIST.
NIST plantea la gestión del riesgo de IA como un proceso que acompaña todo el ciclo de vida del sistema, no como una revisión que se añade cuando el producto ya está terminado. Su perfil específico para IA generativa busca precisamente ayudar a las organizaciones a identificar y gestionar riesgos asociados a este tipo de sistemas.
Aplicado a una empresa, esto puede traducirse en algunas reglas bastante prácticas:
1. Definir exactamente el objetivo del agente
Cuanto más abierta sea la misión, más difícil resulta controlar su comportamiento.
2. Limitar herramientas y permisos
Un agente de prospección comercial probablemente no necesita acceso al sistema financiero de la empresa.
3. Introducir autorización humana donde existe impacto real
Pagos, contratos, eliminación de información, comunicaciones sensibles o modificaciones irreversibles deberían disponer de controles adecuados al riesgo.
4. Registrar las acciones
Si un agente toma una decisión o ejecuta una operación, debemos poder reconstruir posteriormente qué ocurrió.
5. Separar generación de ejecución
Siempre que sea razonable, una cosa es proponer una acción y otra ejecutarla.
6. Probar comportamientos inesperados
No basta con comprobar que funciona el caso feliz.
Hay que comprobar también qué sucede con información incompleta, contradictoria o incorrecta.
7. Diseñar la retirada de permisos
Un sistema autónomo debe poder detenerse o quedar aislado rápidamente si detectamos un comportamiento inesperado.
Nada de esto impide innovar.
Al contrario.
Hace posible innovar con mayor confianza.
Europa ya ha convertido parte del debate en regulación
La discusión tampoco es únicamente técnica.
Desde el 2 de agosto de 2026 ha comenzado una nueva fase de aplicación y supervisión del Reglamento Europeo de Inteligencia Artificial.
La Comisión Europea señala que determinadas obligaciones de transparencia son ya aplicables y que la Oficina de IA y las autoridades nacionales han comenzado a hacer cumplir diferentes disposiciones del Reglamento.
Para los proveedores de modelos de propósito general existen además obligaciones relacionadas con documentación técnica, información sobre capacidades y limitaciones, copyright y transparencia sobre los contenidos utilizados en entrenamiento.
El mensaje empresarial es importante:
la gobernanza de IA está pasando de ser una conversación teórica a convertirse en una cuestión operativa.
Y probablemente veremos cómo esta tendencia continúa.
Regular tampoco significa bloquear
También debemos evitar el extremo contrario.
Una regulación mal diseñada puede dificultar la innovación, aumentar costes de entrada y favorecer indirectamente a las organizaciones que ya poseen suficientes recursos para cumplir estructuras regulatorias complejas.
El propio vídeo plantea esta tensión al hablar de los posibles efectos secundarios de la regulación.
Por eso el objetivo no debería ser elegir entre dos opciones:
innovación o seguridad.
El reto interesante consiste precisamente en conseguir ambas.
Crear sistemas donde la autonomía sea proporcional a la confianza.
Donde el acceso sea proporcional a la necesidad.
Y donde los controles aumenten cuando aumenta el impacto potencial de una acción.
La confianza puede convertirse en ventaja competitiva
Durante los próximos años veremos miles de aplicaciones que incorporarán inteligencia artificial.
Muchas podrán hacer cosas parecidas.
La diferencia probablemente no estará únicamente en quién utiliza el modelo más potente.
Estará también en quién construye el sistema más fiable alrededor de ese modelo.
Para un cliente empresarial, saber que un agente dispone de permisos controlados, trazabilidad, supervisión y límites claros puede convertirse en un argumento de compra.
Especialmente cuando la IA deja de ser simplemente una interfaz de conversación y empieza a intervenir en procesos críticos.
Es posible que estemos entrando en una etapa en la que la arquitectura de confianza sea tan importante como la propia inteligencia del modelo.
La pregunta que deberíamos empezar a hacer
El vídeo que originó esta reflexión termina llevando el debate hacia la responsabilidad: quién debe responder por lo que ocurre cuando sistemas cada vez más potentes son utilizados en el mundo real.
Creo que esa pregunta va a acompañarnos durante mucho tiempo.
Pero para empresas y desarrolladores podemos empezar por una versión mucho más práctica.
Cada vez que añadamos inteligencia artificial a un proceso deberíamos preguntar:
¿qué puede saber esta IA?
¿qué puede hacer?
¿qué no debería poder hacer?
¿y quién mantiene finalmente el control?
Porque quizá el verdadero riesgo de la inteligencia artificial no sea que algún día piense como nosotros.
Puede ser mucho más sencillo:
que le demos capacidad para actuar antes de haber decidido correctamente dónde están sus límites.
Fuentes y lecturas recomendadas
Vídeo de Platzi que originó esta reflexión
NIST — AI Risk Management Framework
OpenAI — Frontier Governance Framework
OpenAI — Disrupting malicious uses of AI
Anthropic — Responsible Scaling Policy 3.0
Comisión Europea — aplicación del AI Act desde agosto de 2026
¿Quieres incorporar agentes de IA a tu empresa?
¿Estás pensando en incorporar agentes de IA a un SaaS o a un proceso empresarial?
El reto ya no consiste únicamente en conectar un modelo.
Hay que diseñar el flujo, los datos, los permisos, la supervisión y los puntos en los que debe mantenerse el control humano.
En Desumvila Consulting analizamos tecnología desde esa perspectiva: primero el problema empresarial, después la arquitectura y finalmente la herramienta.
Hablemos si estás estudiando cómo incorporar IA o automatización a un producto, proceso o nuevo SaaS.
