En resumen
- Un agente de IA en servicio puede desviarse: el modelo de IA evoluciona, su software cambia y sus datos también. La supervisión sirve para detectar estas desviaciones a tiempo.
- El agente, sus herramientas y sus conectores tendrán una versión fija. Una actualización pasará siempre por una prueba de aceptación breve, es decir, un ensayo antes de la puesta en servicio.
- El agente señalará él mismo los problemas que detecte: abrirá un ticket, recibiremos la alerta y usted lo seguirá todo en su futuro espacio de cliente.
Nuestro método se resume en una regla: el agente prepara, su equipo valida en las etapas previstas y el agente se detiene en lugar de adivinar en los casos escritos de antemano.
Sin embargo, pronto surge una pregunta: una vez instalado el agente, ¿quién lo vigila? ¿Y qué pasa si se equivoca? La respuesta está en la suscripción de supervisión, en preparación. Esto es lo que incluirá y por qué.
Lo que puede desviarse una vez que el agente está en servicio
Un agente de IA no se instala para olvidarlo. Tres cosas pueden cambiar a su alrededor sin que nadie toque sus ajustes.
El modelo de IA evoluciona. El modelo es el motor del agente: el programa que lee un correo o una factura y redacta una propuesta. Su proveedor publica nuevas versiones y retira las antiguas. Anthropic, que desarrolla los modelos Claude, lo escribe en su documentación: retira con regularidad sus modelos antiguos. En el caso de los modelos de acceso público, avisa a los clientes afectados al menos 60 días antes de la retirada. Una solicitud enviada a un modelo retirado falla. Por ejemplo, el 30 de septiembre de 2026, Anthropic avisó a los desarrolladores que usan Claude Sonnet 4.5 de que este modelo se retiraría de su API el 30 de noviembre de 2026. Los modelos Claude también los ofrecen Amazon (servicio Amazon Bedrock) y Google (Google Cloud). Estas dos plataformas fijan su propio calendario de retirada. Hay que seguir, por tanto, cada calendario que afecte al agente.
Un software conectado cambia. El agente se conecta a sus herramientas (correo, facturación, banco) mediante sus interfaces oficiales (API): las puertas de entrada que estos programas abren a otros programas. El pequeño programa que hace ese enlace se llama conector. Esas puertas evolucionan. El software de contabilidad Pennylane anunció que la primera versión (V1) de su API quedaría totalmente obsoleta a finales de 2025, al haberse convertido la V2 en su versión estable oficial. El software de gestión Odoo prevé, según su documentación para desarrolladores, retirar dos API antiguas (llamadas XML-RPC y JSON-RPC) en su versión 22, prevista para el otoño de 2028.
Sus datos cambian. Un nuevo tipo de cliente, un nuevo modelo de factura, un pico estacional: el agente se encuentra con casos que nadie había previsto en la puesta en marcha.
Versiones fijas para el agente, sus herramientas y sus conectores
Ante estos cambios, nuestra regla es sencilla: por nuestra parte, nada se mueve sin una decisión.
Cada agente desplegado en su empresa llevará un número de versión. Sus herramientas y sus conectores también. El modelo de IA se designará con un identificador preciso: en Anthropic, cada identificador de modelo corresponde a una versión fija. El agente que haya superado la prueba de aceptación en su empresa será, por tanto, el que funcione al día siguiente: misma versión, mismas herramientas, mismos conectores, mismo modelo.
¿Por qué empeñarse en ello? Fijar las versiones no hace infalible al agente. Pero el agente no cambia sin que usted lo sepa. Si un resultado empeora, se busca en sus datos o en un software conectado, no en una actualización que haya pasado inadvertida.
A veces una actualización resulta necesaria: un modelo anunciado como retirado, una API que evoluciona, una corrección. Pasará entonces por una prueba de aceptación breve. Haremos funcionar la nueva versión con los conjuntos de prueba del agente, casos extraídos de su actividad y anonimizados, y compararemos sus propuestas con las de la versión vigente. Si los resultados se sostienen, la nueva versión sustituirá a la anterior. Si no, la corregiremos antes de ponerla en servicio.
Cuando se anuncia la retirada de un modelo, no se puede esperar indefinidamente: pasada la fecha de retirada, el modelo antiguo deja de responder. Por eso lanzaremos la prueba de aceptación mucho antes de esa fecha. Es también lo que recomienda Anthropic: probar las aplicaciones con los nuevos modelos mucho antes de la fecha de retirada del antiguo.
La señalización automática: el agente abrirá él mismo un ticket
Su equipo no tendrá que estar pendiente de las averías. El agente señalará él mismo los problemas que detecte.
Abrirá un ticket, es decir, una ficha de seguimiento en nuestra herramienta de soporte, en preparación, cuando:
- se repita un mismo error;
- se encuentre con un bug, es decir, un fallo de funcionamiento;
- un cambio afecte al modelo de IA que utiliza.
El ticket se vinculará a su empresa y a su proyecto. Contendrá el detalle técnico que necesitamos para entender el problema y recibiremos una alerta. Si el mismo problema vuelve varias veces, seguirá siendo un único ticket: nada de lluvia de mensajes.
¿Y si el agente se equivoca sin darse cuenta? Entonces entran en juego dos salvaguardas.
En primer lugar, cada agente tiene casos de parada escritos en su ficha de funciones: un cliente en litigio, un importe fuera de las reglas, un dato que falta, una duda sobre el remitente de un correo. En esos casos no adivina. Se detiene y cede el paso a una persona.
En segundo lugar, cada agente avanza por niveles de autonomía, del 0 al 3:
- nivel 0: propone y su equipo hace el trabajo por sí mismo;
- nivel 1: su equipo valida, corrige o rechaza cada acción antes de que salga;
- nivel 2: actúa solo en los casos seguros, definidos por reglas escritas, y su equipo valida los demás y controla una muestra;
- nivel 3: actúa solo, y su equipo lee el informe y recibe las alertas.
En los niveles 0 y 1, cada propuesta pasa ante los ojos de una persona antes de surtir efecto. Tras una alerta grave, el agente bajará automáticamente un nivel. Algunas acciones nunca pasan del nivel 1: un pago, el envío a un tercero de un documento que le compromete, la eliminación de datos.
El cuadro de mando y el esquema visual de cada agente
Por nuestra parte, cada agente aparecerá en un cuadro de mando de supervisión, en preparación. En él seguiremos:
- el estado del agente y sus alertas;
- la tasa de acuerdo, es decir, la proporción de propuestas que su equipo valida;
- los errores y los tickets abiertos;
- los indicadores escritos en la ficha de funciones del agente, por ejemplo el tiempo que gana su equipo;
- el coste de la IA.
Este coste se cuenta en tokens. Un token es un pequeño fragmento de texto: una palabra, parte de una palabra o unos pocos caracteres. Es la unidad con la que Anthropic factura el uso de sus modelos, con un precio para el texto enviado al modelo y otro para el texto que produce. Cada agente aportará sus propias cifras: así seguiremos el coste de la IA de su proyecto, mes a mes.
Cada acción quedará también anotada en un registro: lo que el agente ha leído, lo que ha propuesto, lo que la persona ha decidido, quién, cuándo y con qué versión del agente.
El agente funcionará donde usted haya elegido: en su cuenta de nube (servidores alquilados a un gran proveedor, en una región europea), en sus propios servidores o en un servidor dedicado en nuestra infraestructura. Solo los indicadores, las alertas y los tickets llegarán a nuestro cuadro de mando, no sus expedientes. El detalle técnico de un ticket se filtrará para eliminar los datos personales.
Una precisión: para hacer su trabajo, el agente enviará al modelo de IA el texto que debe tratar. Los datos personales enviados se limitan a lo que figura en la ficha de funciones del agente, que usted valida antes de la construcción. La ruta hacia el modelo, y por tanto el lugar donde se trata ese texto, depende del despliegue elegido. Según el proveedor, el modelo puede operarse fuera de la UE, con las garantías del RGPD.
Por último, cada agente tendrá su esquema visual: un dibujo de su recorrido, paso a paso, con los puntos en los que una persona valida. Se podrá leer sin conocimientos técnicos. Lo mantendremos actualizado. Como el agente, llevará un número de versión: si el recorrido cambia, una nueva versión del esquema lo mostrará.
Informe mensual y revisión trimestral de los niveles de autonomía
Cada mes recibirá un informe. Recogerá los indicadores de cada agente: volumen tratado, tasa de acuerdo, errores, tickets abiertos y resueltos. Anunciará también lo que se avecina: un modelo que pronto se retirará, una actualización que hay que prever.
Cada trimestre haremos una revisión más amplia, sobre dos temas.
- Los niveles de autonomía. ¿Puede un agente con buenas mediciones pasar al nivel siguiente? Solo sube según las mediciones (tasa de acuerdo, errores) y con su acuerdo por escrito. Si las mediciones no acompañan, se queda en su nivel.
- Las versiones. ¿Qué modelos, herramientas y conectores van a cambiar en los próximos meses? ¿Qué pruebas de aceptación hay que prever y cuándo?
Lo que verá en su futuro espacio de cliente
Su espacio de cliente, en preparación, reunirá todo lo que concierne a sus agentes:
- los tickets, incluidos los que sus agentes hayan abierto por sí mismos, con su estado de avance;
- sus propias solicitudes de soporte o de evolución;
- sus facturas.
La vigilancia técnica es nuestro trabajo. Usted conserva la decisión y verá en qué punto está cada agente.
La suscripción es con presupuesto. El plazo de atención de los tickets se especifica en su presupuesto.
Para ir más allá
- Supervisión y soporte: lo que incluirá la suscripción y el plazo de atención.
- Nuestro método: de la auditoría a la puesta en servicio, con los niveles de autonomía.
- Datos y seguridad: dónde funcionan sus agentes y lo que llega hasta nosotros.
- Solicitar una auditoría: una auditoría de 490 € sin IVA; su precio se deduce del presupuesto si lo firma en un plazo de 30 días.