ALI Embeddings Small, nuestro embedder de dominio de 1B, trae el artículo correcto en el primer resultado el 93,2 % de las veces. El mejor sistema de comparación, BM25, lo hace el 60,7 %. Frente a BM25 en la búsqueda global, la diferencia cruza cero, y por eso la configuración recomendada para producción es un híbrido de los dos.
Lo que no pasó. Un reranker open-weight sin entrenar no alcanzó su puerta. Capturó el 9,5 % del hueco hacia el oráculo cuando la puerta pedía la mitad, y ese veredicto no se reabre.
El instrumento
Un asistente jurídico es tan bueno como lo que encuentra. Comparamos ALI Embeddings Small, un fine-tune de dominio de Nemotron-3-Embed-1B, con ocho sistemas del mercado sobre el mismo instrumento congelado: 1.006 consultas contra un corpus de 22.817 documentos, cada modelo en su configuración nativa.
| Sistema | hit@1 global | R@1 por artículo | nH@5 identidad |
|---|
hit@1 global con n = 800; R@1 por artículo con n = 206. Todos los sistemas se evaluaron en su configuración nativa. El subrayado marca el mejor valor de cada columna.
El colapso de Qwen3-Embedding-8B en la cita por artículo refleja la instrucción del fabricante no adaptada, no una propiedad medida del modelo.
Dónde está la diferencia
La diferencia está en la cita por artículo. En la búsqueda global, los sistemas quedan cerca unos de otros; cuando la consulta pide un artículo concreto, los generalistas se caen y el ajuste de dominio no.
Intervalos pareados
Con intervalos pareados, la ventaja en artículo frente al mejor generalista es de 48 puntos, con IC95 entre +40,8 y +55,3. Frente a BM25 la historia es otra: en la búsqueda global la diferencia cruza cero, y en el estrato de contenido del cuerpo BM25 gana. Los dos sistemas se equivocan en consultas distintas, así que la configuración recomendada para producción es el híbrido RRF, con hit@1 de 0,8413.
Lo que no pasó: un reranker sin entrenar
La pregunta era si un reranker open-weight, usado tal cual, captura una parte material del hueco entre el híbrido (84,13 %) y el techo oráculo del top-50 (99,88 %). La puerta pedía la mitad del hueco, con Δ@1 global e IC Bonferroni por encima de +0,02.
Es la rama 1 del árbol pre-registrado y no se reabre. Hubo un resultado no esperado que reportamos igual: con nemotron, el lookup por artículo sube de 83,5 % a 99,5 %. Es direccional y no cambia la decisión.
Lo que no sostenemos
Después de este artículo medimos la generalización en una evaluación pre-registrada, y no se sostiene: en jurisprudencia de la Corte Suprema de Paraguay (PyLegalIR) el modelo queda 0,94 puntos por debajo de su base, sin distinguirse de cero con 54 consultas. Los estratos donde el modelo gana son los que su dataset entrena. Los pesos no se publican y el modelo se usa dentro de ALI; no hay acceso por fuera. El banco de consultas se publicará con su paper.
- H1El Cerebro aporta medible sobre el mismo modelo sin él.recuperaciónViva
- H2El cuello de botella está en recuperar, no en razonar.recuperaciónAbierta
Hipótesis escritas antes de medir. Una hipótesis sin medición está abierta, no confirmada.
Referencias
- Bench-Co Recuperación: pre-registro y veredicto. 22 sep 2026.Publicado
- Reranker zero-shot sobre el híbrido: pre-registro y veredicto. 22 sep 2026. Resumido en la sección (4).Documento completo en preparación
- Pesos de ALI Embeddings Small.No se publican
- Banco de consultas del benchmark de embedders.En preparación