LLM como juez y MCP: cómo se ayudan y sus límites
Dónde poner un LLM como juez con MCP: antes y después de llamar a una tool, al evaluar tus tools y como servidor MCP. Con el caso de Nortia, datos y límites.
Datos a 10 de noviembre de 2026 · especificación MCP 2026-07-28
¿Empiezas con MCP? La lección 1 del curso se lee gratis, sin registro.
Un LLM como juez es un modelo que puntúa o clasifica lo que hace otro con criterios fijados de antemano. Con MCP sirve para decidir si una llamada a una tool necesita confirmación o si su resultado es de fiar, y el propio juez puede ser un servidor MCP al que llama cualquier cliente.
Lo que devuelve un juez es una señal para subir la cautela. No prueba que un caso concreto esté bien, así que no sustituye a la confirmación de una persona.
MCP (Model Context Protocol) es el protocolo con el que un modelo de IA usa programas externos. El servidor MCP ofrece tools, que son funciones que el modelo puede llamar, como buscar_factura. El host es la aplicación donde chatea la persona, como ChatGPT o Claude, y el cliente es la parte del host que habla con cada servidor.
Verás dónde encaja un juez y dónde sobra, con ejemplos de Nortia Logística, la empresa ficticia del curso. Para seguirlo basta saber qué es una tool y qué son sus anotaciones, que explicamos en la lección de herramientas. Los demás términos de MCP los tienes en el glosario.
¿Qué es un modelo de juicio y en qué se diferencia de un LLM normal?
Un modelo de juicio responde a una pregunta cerrada sobre algo que ya existe, en lugar de escribir texto nuevo. Puede ser un LLM normal con instrucciones de juez o un modelo hecho solo para decidir.
La técnica más conocida es LLM-as-a-judge. Le das a un modelo la respuesta de otro y una rúbrica, una lista de criterios con su escala, como «¿la respuesta usa el importe real de la factura? Sí o no». El juez devuelve una puntuación o una etiqueta.
Otros modelos no escriben texto. TypeSafe llama System One a esa categoría, y su modelo Jev salió el 15 de septiembre de 2026. Según el proveedor, responde preguntas con forma fija y da una probabilidad. Esa probabilidad está calibrada si, de cada cien veces que dice «80 % sí», acierta unas ochenta. El propio TypeSafe avisa de que eso se mide sobre grupos y no garantiza que una respuesta concreta sea correcta.
¿Puede un juez decidir si una tool de escritura necesita confirmación?
Puede ayudar, pero solo en la zona gris y solo para subir la cautela. Lo básico de «leer sin preguntar, escribir con aprobación» ya lo resuelven reglas fijas por tool, y así lo hacen hoy ChatGPT y Claude.
La especificación 2026-07-28 recomienda pedir confirmación al usuario en operaciones sensibles. Las anotaciones de una tool, como readOnlyHint (solo lee) o destructiveHint (puede destruir datos), son pistas que el cliente no debe creer salvo que el servidor sea de confianza. Según su documentación, ChatGPT y Claude lo resuelven así:
- En el modo desarrollador de ChatGPT, las acciones de escritura piden confirmación por defecto. ChatGPT respeta
readOnlyHinty trata como escritura toda tool que no lo declare. Algunas acciones muy arriesgadas pueden quedar bloqueadas en lugar de pedir aprobación. - En Claude, cada conector agrupa sus tools en lectura y en escritura o borrado, con tres estados: Always allow, Needs approval y Blocked.
Ninguno de los dos documenta un juez. Lo que las reglas no cubren es que la misma tool puede ser inocua o grave según sus argumentos.
El caso de Nortia: emitir_abono
En nortia-facturacion, emitir_abono declara destructiveHint: true, así que el host (ChatGPT o Claude) pide aprobación a la agente de soporte antes de cada abono. El servidor comprueba con código el rol, el límite de importe y el saldo.
Un abono de 184,50 EUR sobre la factura F-2026-0142 puede pasar todas las reglas con un ticket TCK-88213 ambiguo, o con un motivo copiado de un correo reenviado. Ahí entra un juez rápido con una pregunta de sí o no: «¿el ticket pide de forma inequívoca este abono?». Si Nortia añadiera un cancelar_pedido, que no existe en el curso, el esquema sería el mismo.
flowchart TD
A["El modelo propone una tool de nortia-facturacion"] --> B{"¿readOnlyHint: true?"}
B -- "Sí" --> L["buscar_factura: se ejecuta sin preguntar"]
B -- "No" --> C["emitir_abono: el host pide aprobación"]
C --> D{"Reglas del servidor: rol, importe y saldo"}
D -- "No cumple" --> X["Error que el modelo puede leer"]
D -- "Cumple" --> E{"Zona gris: juez rápido"}
E -- "Confianza alta" --> OK["Emite el abono"]
E -- "Media, error o sin respuesta" --> M["Pide confirmación explícita (elicitation)"]
E -- "Baja" --> P["No ejecuta: pasa a la controller financiera"] La regla que más nos importa funciona como un trinquete, que solo gira en un sentido. El juez puede subir la exigencia, de confirmar a escalar a una persona, pero nunca bajarla. Si falla o tarda, el servidor pide confirmación. La documentación de Jev propone algo parecido con tres tramos de confianza (actuar, confirmar o pasar a una persona), con umbrales que dependen de lo que esté en juego.
Fíjate en que hay dos confirmaciones. La del host es la ventana de aprobación de ChatGPT o Claude. La del servidor va por elicitation, el mecanismo con el que un servidor pide datos al usuario a través del cliente. En 2026-07-28 el servidor responde con un InputRequiredResult y el cliente reintenta la petición con la respuesta, como contamos en el artículo sobre el protocolo sin estado.
¿Cómo elige un agente entre cientos de tools MCP (y dónde falla)?
Cuando hay cientos de tools, el fallo más frecuente es elegir mal, y un juez rápido que ordene las candidatas puede ayudar. Con pocas tools, unos buenos nombres y descripciones bastan.
LiveMCPBench montó 70 servidores con 527 tools y les dio 95 tareas reales a 12 modelos. El mejor, Claude-Sonnet-4, resolvió el 78,95 %. La mayoría se quedó entre el 30 y el 50 %. Casi la mitad de los fallos fueron errores al recuperar la tool adecuada, aunque los autores lo presentan como diagnóstico y no como medida definitiva.
Un juez puede puntuar las candidatas según la intención. El servidor de terceros jev-mcp tiene tools así, como jev_find y jev_rerank. Cuesta una llamada más por turno, así que compensa con cientos de tools y no con una docena.
¿Se puede detectar una inyección en lo que devuelve una tool?
Sí, como cribado barato, pero nunca como única defensa. Lo dicen los propios proveedores, como Invariant Labs, que llama heurística a su detector basado en clasificador.
Una inyección en la salida de una tool es texto que intenta dar órdenes al modelo, escondido en un ticket, una web o un resultado. La especificación pide al servidor que sanee sus salidas y al cliente que valide los resultados. La guía de OWASP, un documento vivo, añade que la detección debe activar un trato más estricto o una revisión humana.
Las cifras publicadas van en la misma línea:
- ShieldMCP, un proxy que revisa llamadas y respuestas, baja el éxito de la inyección por respuesta de tool del 47 % a menos del 6 %. Lo miden sus propios autores, sin réplica independiente.
- Un estudio de la USTC (arXiv 2609.34862) usó Jev como juez sobre 5.219 trazas guardadas. Sacó un F1 medio (una nota que combina aciertos y falsas alarmas) de 77,8 frente a 74,1 del mejor juez generativo, pero perdió en dos de las cuatro colecciones. Los autores lo ven como «señal de cribado económica».
- Bulwark-MCP reconoce que una inyección disfrazada de «nota del equipo de seguridad» se le escapa incluso a su clasificador.
Nuestra recomendación es pasar el juez por cada respuesta como filtro y, si salta, aislar ese contenido y no encadenarlo con una tool que envíe datos fuera. El resto de defensas las repasamos en lo que enseñan dos meses de avisos de seguridad.
¿Cómo sé si el modelo usa bien mis tools?
Primero con comprobaciones deterministas, y con un juez con rúbrica solo para lo que no se puede comprobar con código. «¿Llamó a buscar_factura con F-2026-0142?» se comprueba con una regla. «¿La respuesta final le sirve a la agente?» necesita un juez.
MCP-Bench hace esa mezcla con 20 modelos, 28 servidores reales y 250 tools. Comprueba con reglas el esquema y la ejecución, y lo demás con un juez y una rúbrica. Su repositorio fija o4-mini como juez. Para reducir el sesgo de orden, el paper baraja cinco veces el prompt de la rúbrica y promedia las notas.
Cómo medir la elección, los argumentos y el coste de tus tools lo enseñamos en Evaluar si el modelo usa bien tus tools, del nivel Avanzado. Los tests que van antes están en Testing y depuración. Si lo que falla es el servidor y no el modelo, empieza por cómo depurar un servidor MCP.
¿Cómo se monta un juez como servidor MCP?
Expones el juez como una tool más, y así cualquier cliente MCP lo usa sin integración propia. Hemos encontrado pocos servidores así, y varios han cambiado de estado en el último año.
El juez se actualiza sin tocar el cliente y sirve a varios agentes. A cambio, añade una tool al contexto y una ida y vuelta por la red. El README de use-jev añade que los datos que pasas a la tool viajan por el contexto dos veces, al entrar y en el veredicto. Si la decisión ocurre dentro de tu código, gastan menos un SDK (la librería oficial para programar con MCP) o un hook (código que se ejecuta justo antes o después de cada llamada).
Esto encontramos a 10 de noviembre de 2026:
| Servidor | Qué hace | Estado |
|---|---|---|
| Scorable (antes Root Signals) | Servidor remoto con 14 tools para crear y ejecutar jueces, sin tools de borrado | Comercial, con clave de API. Su repositorio antiguo está deprecado |
| mcp-as-a-judge | Juzga el plan, el código y las pruebas de un asistente de programación | Versión 0.5.0 en PyPI, MIT. Usa sampling si el cliente lo ofrece; si no, necesita una clave de API |
| jev-mcp y otros sobre Jev | 12 tools, de jev_verify a jev_gate |
De terceros, con clave de TypeSafe. No hemos encontrado uno oficial |
| Atla MCP | Evaluaba respuestas de un LLM | Archivado el 21 de julio de 2025, con la API ya inactiva |
Si quieres ver qué tools anuncia un servidor remoto antes de conectarlo a tu cliente, puedes abrirlo en /probar.
¿Qué es un juez con herramientas (agent-as-a-judge)?
Es un juez que consulta datos reales con tools antes de dar su veredicto. En MCP, el propio juez es cliente de otros servidores.
La idea viene del paper Agent-as-a-Judge (Zhuge et al., octubre de 2024). Probaron 55 tareas de desarrollo de código, sin MCP. Un agente que evaluaba todo el proceso superó a LLM-as-a-judge y alcanzó una fiabilidad parecida a la de su evaluación humana de referencia.
En Nortia, antes de decir si un abono por un pedido dañado tiene sentido, el juez llamaría a buscar_pedido en nortia-pedidos, de solo lectura, para ver el estado real de PED-2026-004812.
sequenceDiagram participant C as Cliente MCP participant J as Servidor juez participant P as nortia-pedidos participant M as API del modelo C->>J: tools/call evaluar (petición y respuesta) J->>P: tools/call buscar_pedido (solo lectura) P-->>J: estado real del pedido J->>M: rúbrica, datos y pregunta M-->>J: veredicto y probabilidad J-->>C: resultado de la tool Note over J,M: clave de API propia, sin sampling
Más herramientas significan más latencia y más coste. También hay un riesgo menos obvio: un juez que lee la salida de una tool también puede caer en una inyección escondida en ella.
¿Y el sampling? Por qué ya no es la vía recomendada
Sampling permitía que el servidor pidiera el juicio al modelo del cliente, sin clave de API propia. Está deprecado en la especificación 2026-07-28 mediante el SEP-2577 (SEP significa propuesta de mejora de la especificación), así que no lo uses en un servidor nuevo.
mcp-as-a-judge muestra el problema. Según su tabla de compatibilidad, que no se toca desde septiembre de 2025, funciona con sampling completo en GitHub Copilot sobre VS Code. En Cursor o Claude Code el soporte es parcial, y ahí necesita una LLM_API_KEY para evaluar.
Límites: sesgos, coste, latencia y cuándo no compensa
Un juez acierta mucho, pero no siempre, y sus errores siguen patrones. Antes de añadir uno, comprueba si una regla resuelve el mismo problema.
En el trabajo de Zheng et al. (NeurIPS 2023), GPT-4 como juez coincidía con personas en más del 80 % de los casos, tanto como dos personas entre sí. También tendía a preferir la primera respuesta que leía, la más larga y la suya propia.
En LiveMCPBench, los jueces coincidieron con las personas alrededor del 79–81 % con Deepseek-V3 (el paper da 78,95 % en un sitio y 81,05 % en otro). Con modelos que se perdían en trayectorias largas, la coincidencia bajó a entre un 60 y un 70 %. Esa concordancia y el éxito de Sonnet-4 de antes son medidas distintas. Dos estudios recientes añaden matices:
- En un agente de pedidos de comida en producción (arXiv 2606.10315), el juez integrado encontró menos de una cuarta parte de los problemas sistemáticos que halló la revisión humana. Es un solo caso, y los autores lo ven como un suelo de regresión que no sustituye a las personas.
- La evaluación de Jev de la Universidad de Bonn y Fraunhofer (arXiv 2609.37647) le da buena calibración en general, y cuando falla suele ser por exceso de confianza. Todos los modelos probados empeoran con rúbricas, y las probabilidades de sí o no necesitan umbrales ajustados.
En coste y latencia, el estudio de la USTC calcula unos 0,000195 USD y una mediana de 0,99 s por juicio con Jev. No repetimos las cifras de velocidad y precio de TypeSafe porque, que sepamos, nadie las ha medido de forma independiente.
A nosotros no nos compensa un juez si una comprobación determinista hace lo mismo, si hay pocas tools o si una anotación ya decide. Esas preguntas van antes del código, como contamos en qué construir y cuándo no.
Aprende esto en el curso
- Básico Gratis Herramientas · Acciones que el modelo puede invocar, con esquemas y errores
- Avanzado 10 € Evaluar si el modelo usa bien tus tools · Medir elección, argumentos, secuencia y coste, y decidir qué cambiar
- Avanzado 10 € Testing y depuración · Inspector, tests de conformidad, evaluación y CI
- Básico Gratis Qué construir y cuándo no · La decisión antes del código: qué exponer, cómo y qué descartar
«Herramientas» es gratis con una cuenta, igual que el resto del Básico. Sin tarjeta. Si prefieres mirar antes, la lección 1 se lee sin registro.
Crear cuenta y leerla Ir a la lecciónFuentes
- Especificación MCP 2026-07-28: Tools
- Especificación MCP 2026-07-28: Sampling
- Especificación MCP 2026-07-28: Deprecated features
- OpenAI: developer mode
- OpenAI Help Center: developer mode and custom apps in ChatGPT
- Claude Help Center: use connectors to extend Claude's capabilities
- Zheng et al.: Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023) (2023)
- Zhuge et al.: Agent-as-a-Judge (arXiv 2410.10934) (2024-10)
- LiveMCPBench (arXiv 2508.01780) (2026-02-26)
- MCP-Bench (arXiv 2508.20453) (2025-08-28)
- MCP-Bench (repositorio de Accenture)
- Catching One in Five (arXiv 2606.10315) (2026-06)
- Evaluación independiente de Jev (arXiv 2609.37647) (2026-09)
- Jev como juez de seguridad de trazas (arXiv 2609.34862) (2026-09)
- TypeSafe: System One
- TypeSafe: confidence
- OWASP MCP Security Testing Guide: Secure MCP Development
- Invariant Labs: MCP-Scan guardrails reference
- ShieldMCP (ACL 2026, industry track) (2026)
- Scorable: MCP server
- mcp-as-a-judge en PyPI
- mcp-as-a-judge (repositorio)
- jev-mcp (jkudish, servidor de terceros)
- use-jev (silkyland, servidor de terceros)
- Atla MCP server (archivado)
- Bulwark-MCP