La verificación es el nuevo cuello de botella

Últimamente he notado cuánto está hablando Claude Code sobre verificación. Quizá sea un efecto de cámara de eco (cuando estás construyendo en este espacio, de repente parece que todo el mundo está trabajando en lo mismo que tú).

La verificación es el verdadero cuello de botella.

El problema en la IA ya no es generar información. Es saber si esa información es realmente correcta.

Por eso tanto OpenAI como Anthropic están sacando servicios y funciones de verificación a toda velocidad. Claude Code ahora ejecuta revisión de código basada en agentes en cada pull request, con varios revisores de IA cruzando hallazgos para reducir los falsos positivos. OpenAI está empujando Codex hacia bucles de ejecución iterativos donde el agente ejecuta tests, lee el resultado y se autocorrige. Ambos son buenos movimientos. Necesarios, incluso.

Pero merece la pena pararse un segundo a pensar qué tipo de verificación estamos obteniendo realmente, porque no toda verificación es igual.

En este mundo de la IA hay dos tipos: probabilística y determinista.

Verificación probabilística (lo que están haciendo los laboratorios de IA)

Este es el tipo de verificación que los motores de IA están aplicando ahora mismo. Llamémosla verificación cognitiva. Imagínatelo como un pequeño ejército de minions, cada uno comprobando si un dato parece correcto.

¿El problema? Depende por completo de contra qué estén comprobando. Puedes tener mil minions verificando un hecho, pero si su fuente de referencia está mal, la respuesta sigue estando mal.

Y aquí está el problema más grande: no hay determinismo. Estamos jugando con probabilidades. A veces esa verificación tiene un 99,9% de probabilidad de ser correcta. A veces (especialmente en áreas donde el motor no fue bien entrenado), ese porcentaje baja.

Ahí es cuando aparecen las alucinaciones, porque un motor de IA casi nunca te dice "no estoy seguro de si esto es cierto". Simplemente te entrega la respuesta más plausible con la misma confianza que todas las demás.

Para muchos casos de uso, esto está bien. Honestamente, es lo único que escala a problemas difusos, humanos y ambiguos. Pero para algunas cosas específicas, es un desastre precioso esperando a ocurrir.

Verificación determinista (lo que hacemos en Predictable Machines)

El otro tipo de verificación es aquel por el que estamos apostando la empresa. Verificación determinista.

¿Qué significa esto realmente? Verificamos usando métodos matemáticos para obtener resultados binarios. ¿Es correcto? Sí o no.

No puedes aplicar esto a todo. Haz una pregunta filosófica, y la verificación determinista no tiene ningún valor, porque el resultado es ambiguo por naturaleza. Pero para aquello a lo que la aplicamos, tiene todo el sentido. Código.

¿Contra qué lo comprobamos? Contra las especificaciones de lo que quieres que haga ese código. La especificación es la fuente de verdad. ¿El código hace lo que querías? Sí o no.

El cómo, resumido: generamos especificaciones y requisitos (piénsalo como documentación muy detallada de lo que quieres construir), lo traducimos a un lenguaje matemático llamado Lean, y aplicamos una metodología llamada Verificación Formal para formular cada teorema posible sobre el comportamiento esperado. Luego verificamos cada uno. Cuando algo falla, lo detectamos.

Suena abstracto, así que déjame hacerlo concreto.

Imagina que le pides a tu asistente de IA que implemente una función de búsqueda para tu tienda online. Generamos un conjunto de especificaciones basadas en el comportamiento esperado de esa búsqueda: qué filtros de entrada debe aceptar y qué forma debe tener cualquier salida. Luego probamos cada teorema de comportamiento. El sistema marcaría cosas como "el filtro de precio acepta una cadena de texto cuando la especificación exige un número" o "el objeto de respuesta no incluye un campo que la especificación exige cuando se devuelven resultados". Verificamos cada posibilidad, no solo el camino feliz.

Usé el ejemplo del e-commerce porque es fácil de imaginar. Ahora cambia el escenario a generación de código en sectores regulados y sensibles: banca, farmacéutica y sanidad. Y luego imagina equipos de 20 o más desarrolladores trabajando en el mismo proyecto, todos generando código con IA. La fragmentación en ese escenario es echar gasolina al fuego.

Dónde nos deja esto

Espero que los dos sabores de la verificación estén más claros ahora, porque esa palabra va a estar en todas partes durante el próximo año. Cuando veas "verificación" en el anuncio de una función, la siguiente pregunta que hay que hacer es: ¿probabilística o determinista? Ambas tienen su sitio. Simplemente resuelven problemas muy distintos.

Para la mayoría de los casos de uso generales de IA, los enfoques probabilísticos son suficientes. Pero en el momento en que el resultado tiene que ser correcto, no solo plausible (código, contratos, sistemas regulados), la verificación probabilística no va a ser suficiente. Necesitas matemáticas.

Esto importa aún más ahora que construir se ha vuelto tan sencillo. Escribí sobre lo que cambia cuando construir se convierte en lo normal: cuando crear es barato, la corrección es lo único que sigue siendo caro.

Esa es la apuesta que estamos haciendo en Predictable Machines.

Si quieres saber más sobre lo que estamos construyendo, especialmente lo que tenemos cocinando con Predictable Code, escríbeme. Siempre feliz de hablar de verificación formal como un friki más.