ALILabs Ir a ALI

ALI Labs · Modelos

ALI Embeddings Small

Un modelo de embeddings para buscar en el derecho colombiano. Convierte consultas y fragmentos de normas, jurisprudencia y doctrina en vectores para búsqueda semántica. Se usa dentro de ALI y no está disponible por fuera: no hay API pública ni pesos descargables.

Modelo del 19 de septiembre de 2026Fine-tune de Nemotron-3-Embed-1BEvaluación pública hecha

ALI Embeddings Small trae el artículo correcto de una norma colombiana en el primer resultado mucho más seguido que su base y que los modelos generalistas, y no pierde nada en español general. Eso es lo que sostenemos. Lo que no: que funcione mejor fuera de nuestro corpus. Lo medimos en una evaluación pre-registrada, y no salió.

Qué sostenemos y qué no

Lo que midió la evaluación y lo que todavía no está respaldado.

Sostenemos

  • Trae el artículo correcto en el primer resultado 44,7 puntos más seguido que su base.IC95 [+37,9; +51,5]1 · Bench-Co Recuperación · consultas de plantilla
  • No pierde en español general.H2: +0,05 pt, IC95 [−0,15; +0,25], margen de −2 pt2
  • Queda por encima de bge-m3 y de multilingual-e5-large en todas las tareas de MTEB donde hay dato publicado de esos modelos.puntajes de terceros, no comparables directamente

Todavía no sostenemos

  • Que generalice a otro corpus jurídico.H1 en PyLegalIR3: −0,94 pt, IC95 [−3,83; +1,88], no distinguible con n = 54
  • Que supere a modelos más grandes en español general.Gemini embedding-001 queda por encima en Mintaka y XPQA
  • Que la ventaja venga del ajuste en español general.ALI y su base rinden casi igual: esa comparación mide sobre todo a la base
  • Que gane en contenido ni frente a BM25.empate global; BM25 gana en contenido por 8,25 pt

Ficha técnica

Lo que necesitas saber para compararlo.

Tipo
Embeddings densosrecuperación de texto jurídico
Base
Nemotron-3-Embed-1Brevisión c0c9fea9 · sin afiliación con NVIDIA
Idioma
Españolderecho colombiano
Disponibilidad
Solo dentro de ALIsin API pública; los pesos no se publican
Dimensiones
2.048admite recortes a 1.024, 512 o 256
Contexto
1.024 tokensincluye el prefijo
Prefijos
query: / passage:obligatorios; sin ellos el modelo se cae
Similitud
Cosenovectores normalizados

Resultados en benchmarks públicos

Estos benchmarks los hicieron otros. Las hipótesis se fijaron antes de correr las tareas que las deciden: el análisis quedó en nuestro repositorio 13 segundos antes de la primera corrida, y verificamos el orden contra su actividad. Ese repositorio es privado, así que un tercero todavía no puede comprobarlo; el pre-registro se publica completo, con sus enmiendas. Todo se compara contra la base, con la misma configuración: 1.024 tokens y los mismos prefijos. Hoy un tercero no puede reproducirlo, porque el modelo no está disponible fuera de ALI.

  1. H1Generaliza a jurisprudencia en español que no vio.PyLegalIR · 54 consultas de la Corte Suprema de Paraguay · nDCG@10 · superioridad · ALI 0,2415 contra base 0,2509 · −0,94 pt, IC95 [−3,83; +1,88] · p ajustado 0,737No se sostiene
  2. H2No pierde lo que la base sabía del español general.Mintaka, XPQA, XQuAD y Belebele en español · margen de −2 puntos · no inferioridad · ALI 0,7435 contra base 0,7430 · +0,05 pt, IC95 [−0,15; +0,25] · p ajustado < 0,0001Se sostiene

Comparaciones con corrección de Holm. H1 se lee como «no distinguible con n = 54», no como «sin efecto»: 17 de las 54 consultas dan cero con los dos modelos. Los resultados por consulta de ALI y la base se publican con la ficha.

Por tarea · nDCG@10nALIBaseALI − base (pt)
PyLegalIR (H1)540,24150,2509−0,94
Mintaka es2.4240,36060,3554+0,52
XPQA spa-spa7930,65440,6545−0,01
XQuAD es (validation)1.1840,99230,9932−0,09
Belebele spa_Latn9000,96680,9688−0,20
SpanishPassageRetrievalS2P · de selección—0,47340,4853−1,19
Tabla 1. Test, salvo XQuAD en validation. En la estimación puntual ALI queda por debajo de su base en cuatro de las cinco tablas del pre-registro, y en ninguna la diferencia se distingue del empate. S2P se usó para escoger el checkpoint, así que no es independiente, y no tiene intervalo porque mteb no guardó puntajes por consulta.

Una enmienda que no funcionó. Antes de correr H1 y H2 probamos mezclar los pesos de ALI con los de su base (α = 0,25, 0,5 y 0,75) para que ALI no quedara por debajo en una tabla pública. El motivo fue de presentación y así quedó declarado. Ninguna mezcla cumplió la regla fijada de antemano, y el checkpoint se mantuvo.

MuPLeR en español · normativa de la UE · nDCG@102.048 dim.1.024512256
ALI Embeddings Small0,94970,93410,91700,8876
Nemotron-3-Embed-1B (base)0,95190,94320,91630,8651
Figura 1. Exploratorio: esta tarea se vio antes del pre-registro. Con 2.048 dimensiones es un empate, −0,2 puntos, IC95 [−1,7; +1,1], y los dos modelos dan lo mismo en 183 de las 200 consultas. Con vectores cortos, ALI queda arriba.
Referencia: puntajes publicados · nDCG@10 (×100)BelebeleMintakaXPQAXQuADMuPLeRS2P
ALI Embeddings Small96,6836,0665,4499,2394,9747,34
Nemotron-3-Embed-1B (base)96,8835,5465,4599,3295,1948,53
bge-m393,9422,3462,14—83,2344,02
multilingual-e5-large95,5334,2361,7797,6290,4941,96
multilingual-e5-large-instruct94,1934,5165,0796,9387,1542,63
Snowflake arctic-embed-l v2.093,3831,3967,9695,9184,75—
Cohere embed-multilingual-v3.095,1933,8264,4596,28——
jina-embeddings-v393,4526,9172,0095,73——
Gemini embedding-00196,5861,7972,06——48,87
Tabla 2. Los puntajes de los demás modelos salen del repositorio de resultados de MTEB, leído el 20 de octubre de 2026. No son comparables directamente: usan otras versiones de mteb y otras longitudes máximas, y no verificamos la revisión de cada modelo. Sirven de orden de magnitud, no de clasificación. Un guion es que no encontramos el dato. Como ALI y su base rinden casi igual, esta comparación mide sobre todo a la base.

Resultados en Bench-Co

En nuestro benchmark de recuperación, sobre derecho colombiano, la diferencia está en la cita por artículo. Frente a la base, +44,7 puntos, IC95 [+37,9; +51,5]. En la búsqueda global, +5,9 puntos [+3,3; +8,5]. Estas cifras todavía no las puede verificar un tercero: el banco de consultas se publica con su paper en enero de 2027.

Artículo correcto en el primer resultadoR@1 · n = 206 · Bench-Co Recuperación
  • ALI Embeddings Small0,932
  • BM250,607
  • Nemotron-3-Embed-1B (base)0,485
  • Nemotron-3-Embed-8B0,452
  • voyage-40,422
Figura 2. Cinco de los nueve sistemas. Las consultas por artículo salen de una plantilla que también se usó en el entrenamiento: miden búsqueda por artículo, no consultas de usuarios. Contra BM25, en la búsqueda global, es un empate.
Ver los nueve sistemas en Bench-Co

Notas

  1. IC95. Es el rango donde probablemente está la diferencia real. Se calcula remuestreando las consultas 10.000 veces (bootstrap pareado: ALI y la base sobre las mismas consultas) y tomando el 95 % central. Si el rango incluye el cero, el dato no distingue; si queda de un solo lado, hay efecto.
  2. Margen de −2 pt. H2 prueba no inferioridad: pregunta si ALI pierde frente a la base menos que un tope fijado antes de correr, no si son iguales. Ese tope es de 2 puntos de nDCG@10. Se sostiene si el extremo inferior del IC95 de ALI − base queda por encima de −2; aquí es −0,15. El −2 es una decisión nuestra, tomada antes de ver resultados.
  3. PyLegalIR. Es jurisprudencia de la Corte Suprema de Paraguay, no colombiana. H1 mide si lo aprendido se transfiere a otra jurisdicción en español.

Limitaciones

Todas las que conocemos.

  1. La cita por artículo se mide en la misma distribución del entrenamiento. El 93,2 % viene de consultas generadas con la misma plantilla que 975 pares de entrenamiento.
  2. Las consultas del benchmark propio son sintéticas. Las redactaron modelos viendo el fragmento correcto y pasaron una compuerta que favorece lo léxico.
  3. Un mismo proveedor en entrenamiento y evaluación. El entrenamiento usa consultas de Claude Haiku 4.5, y uno de los redactores del benchmark es de la misma familia.
  4. Hay fugas medidas. Sin las 77 consultas expuestas, la ventaja global se mantiene. En una prueba más estricta, la ganancia en contenido, coloquial y hechos deja de distinguirse de cero.
  5. La generalización está medida y no se sostiene. En PyLegalIR (H1), ALI queda 0,94 puntos por debajo de su base, sin distinguirse de cero con n = 54. No medimos jurisprudencia colombiana fuera de nuestro corpus.
  6. Producción no usa exactamente esta configuración. La convención es la misma (verificada el 14 de octubre), pero el índice guarda 1.024 dimensiones y acepta textos de hasta 2.048 tokens. La ficha describe el modelo con 2.048 dimensiones y 1.024 tokens.
  7. En documentos largos solo se ve el inicio. El modelo se entrenó con 1.024 tokens.
  8. Sin corrección por comparaciones múltiples en el benchmark propio. La evaluación pública sí la tiene.
  9. Hoy nadie fuera de ALI puede reproducir estas cifras. El modelo no está disponible por fuera, y los sistemas de comparación de la evaluación pública tampoco los hemos corrido nosotros todavía.

Conflicto de interés

Construimos el modelo, el benchmark propio y la evaluación. La evaluación pública usa benchmarks de terceros y quedó pre-registrada antes de correr. Publicamos los resultados por consulta de ALI y su base. Lo que hoy no se puede hacer es reproducirla, porque el modelo no está disponible fuera de ALI. El benchmark propio se publicará completo, con los resultados por consulta de los nueve sistemas.

Disponibilidad y linaje

Dónde se usa hoy y de dónde viene.

  1. UsoDentro de ALI, para buscar normas.En uso
  2. APINo hay API pública.No disponible
  3. PesosNo se publican.No disponible

Si esto cambia, se anunciará aquí, con sus términos.

Linaje. Derivado de nvidia/Nemotron-3-Embed-1B-BF16, distribuido bajo OpenMDW-1.1 (© 2026 NVIDIA Corporation & Affiliates), con un aviso Apache-2.0 heredado de Ministral-3-3B. Proyecto independiente, sin afiliación con NVIDIA.

Entrenamiento. 20.975 pares: 19.000 con consultas sintéticas de Claude Haiku 4.5 y 1.975 programáticas, con positivos del corpus jurídico colombiano de ALI. LoRA fusionado, una época. No se publican los pares, los prompts ni el minado de negativos.

Referencias

  1. Evaluación pública de ALI Embeddings Small: pre-registro, enmiendas y resultado. 14 oct 2026.Publicado
  2. Bench-Co Recuperación: pre-registro y veredicto. 22 sep 2026.Publicado
  3. ALI Embeddings Small: el artículo. 23 sep 2026.Publicado
  4. Paper del benchmark de recuperación.En preparación · enero 2027