Bench-Co Recuperación: pre-registro y veredicto

Esta página reúne los dos pre-registros de los que sale la cifra de cita por artículo de ALI Embeddings Small: el de su entrenamiento, que fijó las puertas antes de correr, y el de la comparación con otros sistemas, que se registró como descriptiva, sin puertas. También están sus veredictos y las desviaciones que encontramos después.

La cifra. En 206 consultas que piden un artículo concreto, el modelo base trae el artículo correcto en el primer resultado en 0,4854 de los casos y ALI Embeddings Small en 0,9320. La diferencia pareada es de +44,7 puntos, con IC95 de +37,9 a +51,5. Fue una puerta fijada antes de correr y la pasó.

Lo que hay que saber antes de leerla. Esas 206 consultas salen de una plantilla. Con la misma plantilla se generaron 975 pares del entrenamiento. Las normas de las 206 consultas quedaron por fuera de esos pares, pero la forma de preguntar es la misma. El 93,2 % mide la búsqueda por artículo con consultas de plantilla, no con consultas de usuarios.

Cómo verificarlo. Los dos pre-registros se congelaron el 18 y el 21 de septiembre de 2026 en un repositorio que es privado, así que hoy nadie de afuera puede comprobar el orden de los hechos. Se publican en esta página junto con el veredicto. Lo que sí se puede verificar más adelante es el instrumento: abajo están los SHA-256 de los tres archivos, y el banco de consultas se publica con su paper.

El texto está en lenguaje corrido y no incluye el detalle operativo de las corridas.

El instrumento

El mismo para los dos pre-registros, congelado y sin cambios entre corridas:

• 800 consultas redactadas en cuatro estratos: contenido del cuerpo (400), coloquial corto (200), hechos largos (80) e identidad de la norma (120).
• 206 consultas por artículo, que piden un artículo concreto de una norma: 125 con la palabra «artículo» y 81 en forma abreviada. Se tomaron todas las normas con un artículo de referencia válido tras el filtrado, de 13.281 candidatas a 206; el pre-registro exigía al menos 200.
• Un corpus fijo de 22.817 fragmentos de normas colombianas.
• Todos los modelos con 1.024 tokens como máximo, bootstrap pareado por consulta con 10.000 réplicas y semilla 20260909, y el modelo base como referencia de todas las comparaciones del entrenamiento.

De dónde salen las consultas por artículo

Las 206 consultas se generan con la plantilla que arma, en producción, las consultas que piden un artículo. Esa plantilla es la misma con la que se generaron los 975 pares del sub-estrato de entrenamiento que enseñó al modelo a buscar por artículo. Lo que se cuidó, y se verificó dos veces antes de entrenar:

• Las normas de las 206 consultas y las 120 de identidad se excluyeron de esos 975 pares.
• Ninguna de las 1.025 filas nuevas se cruza con las consultas del instrumento.
• Los 975 pares son 100 % programáticos: ningún texto salió de los modelos que redactaron las consultas del instrumento.

Aun así, la forma de preguntar es la misma en el entrenamiento y en la prueba. Por eso la cifra mide la búsqueda por artículo sobre este corpus, y no dice nada de cómo pregunta un abogado.

Pre-registro 1: el entrenamiento (18 de septiembre de 2026)

Se escribió antes de lanzar cualquier corrida del entrenamiento. La variable única fue un sub-estrato nuevo de identidad por artículo, agregado sobre un conjunto de entrenamiento ya congelado.

• Datos. Las 20.000 filas de entrenamiento y las 1.000 de validación anteriores quedaron byte a byte iguales; se agregaron 975 de entrenamiento y 50 de validación por artículo. Total: 20.975 filas de entrenamiento. Solo había 1.025 normas elegibles bajo las guardas, y se usaron todas.
• Receta. La anterior, sin cambios: una época, LoRA de rango 16 sobre la atención, 1.024 tokens y 4 negativos por consulta. Parte del modelo base, no de un ajuste previo.
• Negativos del sub-estrato. Pensados para el derecho: otros artículos de la misma norma, colisiones de número de artículo y confusiones de número, tipo o año de la norma, más un negativo denso de control.

Criterios de muerte

Si cualquiera dispara, el modelo se rechaza sin relecturas ni nuevos intentos con otros hiperparámetros:

• K1: la corrida termina sin resultados.
• K2: un mismo fragmento ocupa el primer lugar en más de 20 consultas del banco anterior.
• K4: la recuperación de vigencia cae, con límite inferior del IC95 por debajo de −5 puntos.
• K5: el global del banco anterior cae, con límite inferior por debajo de −3 puntos.
• K6: la identidad de la norma cae, con límite inferior por debajo de −5 puntos.
• K3′: la cita por artículo cae, con límite inferior por debajo de −5 puntos y estimación puntual negativa. Las dos condiciones a la vez: con 206 consultas el intervalo es ancho, y la regla de solo el límite inferior mataría un modelo neutro o incluso mejor.

Árbol de decisión. Si dispara un criterio, se rechaza. Si pasan P1, P2 y P3′, el modelo queda como referencia y candidato a producción, sujeto a una aprobación aparte. Si pasa P1 o P2 pero no P3′, el sub-estrato no bastó y se diagnostica antes de otro intento. Si pasa P3′ pero no P2, el sub-estrato le quitó a contenido y se lee esa interacción. Si nada pasa, no hay puerta.

Veredicto del entrenamiento (20 de septiembre de 2026)

Pasan las tres puertas y ningún criterio de muerte dispara. Es la rama 2 del árbol: el modelo queda como referencia. Ese modelo es el que hoy se llama ALI Embeddings Small.

Pre-registro 2: la comparación con otros sistemas (21 de septiembre de 2026)

Es descriptivo: no tiene puertas ni criterios de muerte. El veredicto del modelo ya estaba cerrado. La pregunta era cómo se compara ALI Embeddings Small con embedders generalistas y legales, sobre el mismo instrumento congelado.

Se midieron cinco sistemas nuevos, cada uno con la convención de su fabricante, verificada contra su ficha antes de correr:

• Nemotron-3-Embed-8B (pesos abiertos, 8B): prefijos query: y passage:.
• Qwen3-Embedding-8B (pesos abiertos, 8B): la instrucción por defecto de su checkpoint para consultas, sin prefijo para documentos.
• BGE-M3 (pesos abiertos, 0,6B): simétrico, sin prefijos.
• voyage-4 (API): tipo de entrada consulta o documento, versión del 21 de septiembre de 2026.
• Kanon-2 de Isaacus (API): tarea de recuperación para consulta o documento, versión del 21 de septiembre de 2026.

Las referencias ya medidas no se volvieron a correr: ALI Embeddings Small, el modelo base, BM25 sobre encabezado y cuerpo, y el híbrido.

Reglas de juego limpio, fijadas antes

1. Cada modelo usa su convención documentada, sin ajustar prompts ni hiperparámetros por modelo.
2. La comparación es entre generalistas sin ajuste y un ajuste de dominio. ALI Embeddings Small entrenó con el corpus del instrumento; esa asimetría es la tesis del ajuste de dominio y se declara en la tabla.
3. Los modelos de API se citan con fecha, porque son cajas negras.
4. Un modelo que no cargue o no responda se excluye con una nota; no se ajusta nada para rescatarlo.

Enmiendas

Enmienda 1 (21 de septiembre, antes de correr los 8B). Los dos modelos de 8B no alcanzaban a terminar la evaluación completa en el tiempo máximo de una corrida. Se omitió en ellos el banco anterior, que este benchmark no reporta; los endpoints registrados quedaron intactos.

Enmienda 2 (22 de septiembre, declarada después de correr). Una revisión encontró dos desviaciones, las dos en los modelos de API:

• Truncamiento. El pre-registro fijaba 1.024 tokens para todos, pero a voyage-4 y Kanon-2 se les envió el texto completo. Los fragmentos son de unos 850 tokens, así que casi no cambia nada, y la desviación favorece a las API.
• Limpieza asimétrica. 422 fragmentos (1,8 %) traen caracteres de control en la fuente. voyage-4 los rechaza y se le enviaron limpios; Kanon-2 los recibió tal cual.

Veredicto del benchmark (22 y 23 de septiembre de 2026)

Los siete sistemas terminaron. Cada uno en su configuración nativa; el híbrido aparece una sola vez, como la configuración recomendada para producción sobre ALI Embeddings Small.

Las dos comparaciones del titular, con intervalo

La lectura automática comparaba todo contra el modelo base. Una revisión del 22 de septiembre señaló que las dos comparaciones que sostenían el veredicto, contra Nemotron-3-Embed-8B y contra BM25, no tenían intervalo. Se calcularon con el protocolo del pre-registro, y el veredicto se corrigió con ellas.

Lo que dice y lo que no

• La diferencia está en la cita por artículo y en la identidad de la norma. En contenido, coloquial y hechos, la diferencia con Nemotron-8B no se distingue de cero con este n.
• Contra BM25, el global es un empate (+0,75 puntos, IC95 de −2,8 a +4,3), y en contenido del cuerpo, el estrato más grande, BM25 gana por 8,25 puntos. Los dos se equivocan en consultas distintas (200 de 800), y esa es la razón del híbrido.
• Un modelo ocho veces más grande no arregla la cita por artículo: Nemotron-8B hace 0,4515 y su hermano de 1B, 0,4854. Lo que la arregló, sobre este corpus, fueron los 975 pares por artículo.
• No se midió la generalización a otro corpus jurídico. Los dos estratos donde ALI Embeddings Small gana son los dos que su entrenamiento cubre. La generalización se midió después, en la evaluación pública, y no se sostuvo.

Referencias

1. Pre-registro del entrenamiento con el sub-estrato por artículo. Congelado el 18 sep 2026; publicado en esta página.Publicado
2. Pre-registro del benchmark de embedders, con dos enmiendas. Congelado el 21 sep 2026; publicado en esta página.Publicado
3. Evaluación pública de ALI Embeddings Small: pre-registro, enmiendas y resultado. Oct 2026.Publicado
4. Ficha de ALI Embeddings Small, con todas sus limitaciones.Publicado
5. Banco de consultas y resultados por consulta de los nueve sistemas.En preparación