Bench-Co hace dos preguntas por separado. La primera es si a un sistema le llega la norma correcta. La segunda, si un modelo la usa bien para resolver un caso real. Las dos se miden contra el mismo ordenamiento colombiano, congelado en una fecha.
Lo que no funcionó también está aquí. Contra BM25, nuestro modelo empata en la búsqueda global, y BM25 gana en contenido. Competencia sale sin cifras: la lista de normas que cada caso exige la propuso un modelo y todavía no la revisa un abogado. Publicamos la cifra cuando tenga ese respaldo.
Los instrumentos
Cada instrumento tiene su método, sus datos y su forma de reproducirlo.
- Recuperación
¿Llega la norma correcta?
Dada una consulta jurídica, ¿el sistema trae la norma, y el artículo exacto, en el primer resultado? 1.006 consultas, 22.817 fragmentos y nueve sistemas en su configuración nativa. El banco de consultas se publica en enero de 2027.
Resultados publicados0,932artículo correcto primero con ALI Embeddings Small; ningún generalista pasa de 0,49 - Competencia
¿Resuelve bien el caso?
Con los hechos de una sentencia real, ¿el modelo encuentra las normas aplicables y vigentes y cita sin inventar? 18 casos de siete estratos. No es un ranking.
Fase 0 · gold en revisiónSin cifrahasta que un abogado revise las normas obligatorias de los 18 casos
Recuperación
Un asistente jurídico es tan bueno como lo que encuentra. El instrumento son 1.006 consultas: 800 redactadas en cuatro franjas (contenido, coloquial, hechos e identidad de la norma) y 206 que piden un artículo concreto. Se corren contra un corpus fijo de 22.817 fragmentos. Cada sistema corre en su configuración nativa, con 1.024 tokens.
| Sistema | hit@1 global | R@1 por artículo | nH@5 identidad |
|---|
Contra BM25 es un empate. En el global la diferencia es +0,75 puntos, IC95 [−2,8; +4,3]. En contenido del cuerpo, BM25 gana por 8,25 puntos.
Las 206 consultas por artículo salen de una plantilla que también se usó para entrenar ALI Embeddings Small. El 0,932 mide la búsqueda por artículo con consultas de plantilla, no consultas de usuarios.
Las 800 consultas redactadas se escribieron viendo el fragmento correcto y pasaron una compuerta que favorece lo léxico. Eso juega a favor de BM25, no de nuestro modelo.
Competencia
Recuperación mide la búsqueda. Competencia mide lo que viene después: con los hechos de una sentencia real, ¿el modelo encuentra las normas que el caso exige, vigentes y con el artículo correcto, y cita sin inventar? La muestra son 18 sentencias en siete estratos.
Para saber cuánto confiar en un modelo, cada caso tiene una parte que se califica sola (qué normas cita, con su identificador, y si están vigentes) y una rúbrica de razonamiento. Antes de calificar al modelo, se mide qué le llega de la búsqueda.
- 1Normas: ¿cita las que el caso exige, con el artículo correcto?determinística · por identificador canónicoGold en revisión
- 2Vigencia: ¿la norma rige hoy? En tres niveles: dura, anotada y discutida.determinística · la discutida se reporta aparteGold en revisión
- 3Razonamiento: ¿plantea el problema jurídico y sus tensiones?rúbrica · juez automático con acuerdo medido contra un abogadoRúbrica en revisión
- 4Abstención: ¿dice que no sabe cuando el contexto no cubre el caso?determinísticaGold en revisión
La lista de normas obligatorias de cada caso la propuso un modelo. Ninguna cifra de Competencia se publica hasta que un abogado la revise.
Nuestro modelo, en tareas de terceros
Este instrumento lo construimos nosotros, y nuestro modelo sale primero en él. Por eso ALI Embeddings Small también se evalúa en benchmarks públicos que no hicimos. Esas tareas no son parte de Bench-Co y se reportan aparte. La evaluación quedó pre-registrada antes de correr las tareas que la deciden, y ya corrió.
- H1En PyLegalIR (Sala Penal de la Corte Suprema de Paraguay), ALI Embeddings Small supera a su base.confirmatoria · nDCG@10 · −0,94 pt, IC95 [−3,83; +1,88], no distinguible con n = 54No se sostiene
- H2En MTEB en español, el ajuste de dominio no le quita al modelo lo que ya sabía.confirmatoria · no inferioridad · +0,05 pt, IC95 [−0,15; +0,25], margen de −2 ptSe sostiene
- —MuPLeR en español (normativa de la UE): empate con la base, −0,2 puntos, IC95 [−1,7; +1,1].exploratoria · se vio antes del pre-registroDescriptivo
Los resultados se publican salgan como salgan. Lo que se vio antes del pre-registro queda como exploratorio.
Lo que no sostenemos
Lo que Bench-Co mide hoy y lo que todavía no.
Sostenemos
- El ajuste de dominio mejora la cita por artículo frente a los generalistas.IC95 [+40,80; +55,30] frente a Nemotron-8B
- Frente a BM25, la ventaja global no se distingue de cero.+0,75 pt, IC95 [−2,8; +4,3]
Todavía no sostenemos
- Que nuestro modelo generalice a otro corpus jurídico.H1 en PyLegalIR: −0,94 pt, no distinguible de cero con n = 54
- Cuántas normas le llegan al modelo, ni qué cambia cuando le llega la ley correcta.Competencia · gold propuesto por un modelo, en revisión
- Que Competencia ordene modelos entre sí.Fase 0 · 18 casos
- Que las consultas de Recuperación representen a usuarios reales.generadas por modelos, sin validar con abogados
Referencias
- Recuperación: pre-registro y veredicto del benchmark de embedders. 22 sep 2026.Publicado
- Evaluación pública de ALI Embeddings Small: pre-registro, enmiendas y resultado. 14 oct 2026.Publicado
- Competencia: protocolo de la Fase 0. 8 sep 2026.Se publica con el gold revisado
- Banco de consultas de Recuperación, anonimizado, con corpus y juicios.En preparación · enero 2027
- Gold de Competencia y harness de evaluación.En preparación