Evaluación pública de ALI Embeddings Small

Queríamos saber si el ajuste de dominio jurídico colombiano ayuda fuera de nuestro corpus sin quitarle al modelo lo que sabía del español general. Lo fijamos todo antes de correr, en benchmarks que no hicimos nosotros.

El resultado. No pierde nada en español general: +0,05 puntos frente a su base, con IC95 de −0,15 a +0,25, lejos del margen de −2 puntos (H2 se sostiene). Tampoco mejora en jurisprudencia en español que no vio: −0,94 puntos, IC95 de −3,83 a +1,88, no distinguible con 54 consultas (H1 no se sostiene).

Cómo verificarlo. El pre-registro se congeló el 14 de octubre de 2026 y sus enmiendas el 14 y el 15, en un repositorio que es privado, así que hoy nadie de afuera puede comprobar el orden. Se publican en esta página junto con el resultado. Los datos de las tareas son públicos y están fijados por versión.

El texto está en lenguaje corrido y no incluye el detalle operativo de las corridas.

1. La pregunta

¿El ajuste de dominio jurídico colombiano mejora la recuperación jurídica en español fuera del corpus de entrenamiento, sin degradar la recuperación general en español, frente a su base?

• ALI Embeddings Small: revisión a169b2d8, pesos 4925340c….
• Base: nvidia/Nemotron-3-Embed-1B-BF16, revisión f880174, con los mismos pesos que c0c9fea9.

Lo que ya se había visto antes de registrar

• MuPLeR en español (normativa de la Unión Europea) ya se había corrido con ALI Embeddings Small: nDCG@10 de 0,9497. La corrida de la base estaba en curso y se declaró como vista. Por eso MuPLeR queda exploratorio. No se había corrido ninguna otra tarea.
• El instrumento propio, Bench-Co Recuperación, se conocía entero desde el 22 de septiembre.
• De PyLegalIR se revisaron los archivos sin correr ningún modelo: conteos y grados de relevancia, longitud de los documentos y las primeras 15 consultas. No se vio ningún resultado de ningún sistema.

2. Hipótesis confirmatorias

Una familia de dos, con corrección de Holm y α = 0,05.

Lectura fijada antes. H1 es la hipótesis de valor. H2 es una guarda: si falla, la ficha lo presenta como el costo del ajuste. Si H1 no sale significativa, se reporta como «no distinguible con n = 54», no como «sin efecto».

Potencia. 54 consultas son pocas. Se declaró antes de correr que un efecto menor de unos 5 puntos de nDCG@10 probablemente no se distinga. Es una estimación, no un cálculo formal de potencia.

3. Configuración y estadística

• Longitud máxima de 1.024 tokens para los dos modelos, la misma con la que se entrenó ALI Embeddings Small. La configuración de 4.096 tokens de la base queda como análisis de sensibilidad exploratorio.
• Prefijos query: y passage: tomados de la configuración, sin duplicarlos. Embeddings normalizados y similitud coseno.
• Documentos largos de PyLegalIR (mediana de 2.060 palabras): en el análisis primario se truncan a 1.024 tokens, que incluyen el prefijo y el título. Partirlos en fragmentos es un análisis secundario exploratorio.
• Bootstrap pareado por consulta: 10.000 réplicas, intervalos por percentiles y una semilla por hipótesis (H1: 20261014; H2: 20261015).
• p unilateral: la proporción de réplicas con diferencia ≤ 0 (H1) o ≤ δ (H2). Los empates cuentan en contra de la hipótesis.
• H2 se remuestrea por tarea: las consultas se remuestrean dentro de cada tarea y luego se promedian los cuatro nDCG@10.
• nDCG con relevancia graduada (PyLegalIR, de 0 a 3): ganancia lineal, con el evaluador de mteb.
• Se reportan la diferencia, el IC95 bilateral y el p ajustado por Holm.

Contaminación, medida antes de leer resultados

Contención de 8-gramas (umbral ≥ 0,5) entre las consultas y los positivos del entrenamiento y las consultas y el corpus de cada tarea. Si la contaminación supera el 1 % de las consultas de una tarea confirmatoria, el resultado se reporta completo y también sin esas consultas. Según su ficha en MTEB, las cuatro tareas de H2 son zero-shot para la base; MIRACL y MLQA se excluyeron porque están en su entrenamiento.

Descriptivo, sin inferencia

Se registraron también, sin prueba confirmatoria: BM25, bge-m3, multilingual-e5-large, Qwen3-Embedding-0.6B y SINAI/ALIA-MrBERT, cada uno con su convención; MessIRve con consultas colombianas, sobre un pool reducido armado por BM25 que sesga hacia lo léxico; MuPLeR (ya visto) y MTEB(Law) como control fuera del español.

Reglas

• Se publica todo, salga como salga.
• Toda desviación va como enmienda fechada, separando las de antes y las de después de ver resultados.
• Ninguna corrida de H1 o H2 empieza antes de que el pre-registro esté en el repositorio.

4. Enmienda 1: una mezcla de pesos que no funcionó

Registrada antes de correr H1 y H2 14 de octubre de 2026.

Qué abría. La posibilidad de reemplazar ALI Embeddings Small por una mezcla de sus pesos con los de la base: θ(α) = α · ALI + (1 − α) · base, con α = 0,25, 0,5 y 0,75, solo en los 64 tensores que difieren.

Motivo, declarado como tal. En MuPLeR, ALI Embeddings Small quedaba 0,23 puntos por debajo de la base en la estimación puntual. Es un empate estadístico, pero se había decidido que el modelo no apareciera por debajo de su base en ninguna tabla pública en español. El motivo era de presentación, no estadístico.

Regla, fijada antes de evaluar las mezclas. Se adopta la mezcla con mejor contenido entre las que cumplan tres condiciones: (1) en Bench-Co Recuperación, contenido igual o mejor que ALI Embeddings Small; (2) artículo e identidad no pierden más de 2 puntos; (3) en SpanishPassageRetrievalS2P, nDCG@10 igual o mayor que la base. Si ninguna cumple, se queda el modelo. MuPLeR no se usa para escoger, porque ya estaba visto.

5. Resultado (15 de octubre de 2026)

• H1: no supera a la base en PyLegalIR. Como se fijó, se reporta como no distinguible con n = 54, no como «sin efecto». La estimación puntual queda por debajo de la base, y el IC95 excluye mejoras mayores de 1,9 puntos.
• H2: no degrada la recuperación general en español. Ninguna de las 10.000 réplicas quedó en una diferencia de −2 puntos o menos.

Verificaciones

• Orden. Las corridas empezaron 13 segundos después de que el código de corrida y de análisis quedó en el repositorio, y después del pre-registro. Lo verificamos contra el registro de actividad del repositorio, que es privado: hoy un tercero no puede comprobarlo.
• Contaminación. 0 consultas expuestas en las cinco tareas, medido antes de leer resultados.
• nDCG por consulta. La media por consulta reproduce el nDCG@10 de mteb en las diez corridas, con tolerancia de 0,001.
• Configuración. 1.024 tokens, prefijos de la configuración, lotes de 16 y mteb 2.24.13.

Pendiente

Todavía no se ha corrido lo descriptivo: MessIRve, MTEB(Law), los sistemas de comparación, PyLegalIR por fragmentos ni la sensibilidad con 4.096 tokens. Lo que se corra después de este resultado es exploratorio y se reporta como tal.

Referencias

1. Pre-registro de la evaluación pública. Congelado el 14 oct 2026; publicado en esta página.Publicado
2. Enmienda 1. 14 oct 2026; publicada en esta página.Publicado
3. Enmienda 2: una prueba adicional, registrada el 15 oct 2026, que todavía no se ha corrido.Se publica cuando corra
4. Bench-Co Recuperación: pre-registro y veredicto. Sep 2026.Publicado
5. Ficha de ALI Embeddings Small, con MuPLeR exploratorio y la comparación con puntajes publicados.Publicado
6. Resultados por consulta de ALI Embeddings Small y su base.En preparación