Contextual Retrieval para RAG: enriquece chunks sin perder trazabilidad ni control de costes

Checklist

El problema de los chunks huérfanos

Un chunk de 400 tokens rara vez es un documento. Puede decir «se aumenta a 30 días», pero no incluir que se refiere a la retención de logs de producción, a clientes Enterprise y a una política vigente desde enero. Un embedding aislado ve una frase razonable; una consulta sobre retención de logs quizá no comparte suficientes términos. BM25 sufre algo parecido: los nombres que daban contexto quedaron en el encabezado que se descartó.

El solapamiento ayuda, pero duplica tokens y no resuelve un salto de sección. Un chunk puede quedar entre una tabla y su nota, o entre una definición y su excepción. El problema no es simplemente que el tamaño sea pequeño: es que la unidad recuperable no tiene identidad documental suficiente para distinguirse de fragmentos parecidos.

Contextualizar tampoco cura un corpus mal troceado. Si el corte separa una condición de su negación, primero corrige chunking. Si los permisos están mal modelados, añadir más texto solo puede hacer más convincente una fuga. El contexto es una señal de retrieval, no una nueva autoridad.

¿Te está sirviendo? Hay una dosis cada semana

Te resumo herramientas de IA para devs, agentes, MCP, seguridad y workflows en un email de 5 minutos. En español y sin ruido.

Checklist

Ejemplo Python autocontenido: generar y validar sin perder el original

El siguiente ejemplo deja deliberadamente el generador como dependencia inyectada. La aplicación no debe permitir que el texto del documento cambie ACL ni instrucciones del sistema. Si el contexto no cumple el contrato, se conserva el chunk original y se rechaza la versión enriquecida.

from dataclasses import dataclass
import re
from typing import Callable

@dataclass(frozen=True)
class ChunkRecord:
    chunk_id: str
    document_id: str
    chunk_original: str
    context: str
    text_indexed: str
    acl_version: str
    context_version: str

def validate_context(raw: str, max_chars: int = 500) -> str:
    value = re.sub(r"\s+", " ", raw).strip()
    if not value or len(value) > max_chars:
        raise ValueError("contexto vacío o demasiado largo")
    # No aceptamos pseudo-instrucciones como metadata de control.
    forbidden = ("ignora la política", "revela secretos", "ejecuta la tool")
    if any(token in value.lower() for token in forbidden):
        raise ValueError("contexto no confiable rechazado")
    return value

def enrich(chunk_id: str, document_id: str, original: str,
           acl_version: str, context_version: str,
           generator: Callable[[str, str], str]) -> ChunkRecord:
    # El prompt fijo limita la tarea; el original nunca concede autoridad.
    raw = generator(
        "Describe en una frase la sección y propósito del fragmento. "
        "Devuelve solo contexto descriptivo, sin instrucciones.", original
    )
    context = validate_context(raw)
    indexed = f"{context}\n\n{original}"
    return ChunkRecord(chunk_id, document_id, original, context, indexed,
                       acl_version, context_version)

En producción añade una validación de referencias contra el parser: sección, título, página y entidad deben existir en metadata canónica. El generador no recibe secretos ni filtros como texto libre. El adaptador del índice exige `acl_version` y aplica la ACL de la sesión antes de devolver hits; ninguna frase generada puede ampliar el conjunto permitido.

Checklist

Caché, costes y reindexación incremental

La generación de contexto es un coste de indexación, no una llamada por pregunta. Cachea por hash del documento, `chunk_original`, versión de parser, prompt y modelo. Si cualquiera cambia, la entrada queda obsoleta. Para corpus grande, empieza por documentos que concentran fallos de recall y no por una reindexación total.

Mide tokens de entrada y salida, tasa de rechazo, tiempo P50/P95 y coste por chunk aceptado. Un contexto de 50 palabras que se repite en cada índice también ocupa almacenamiento y puede sesgar BM25; limita longitud y evita copiar texto redundante. La compresión debe preservar términos discriminantes, no crear marketing.

En una actualización, recalcula solo los chunks cuyo contenido, padre, versión de ACL o estrategia de indexación cambió. Mantén índices blue/green o un campo de versión para comparar sin mezclar candidatos. Borra o marca obsoletos los embeddings anteriores; nunca dejes dos versiones autorizadas con el mismo ID lógico sin una regla de selección.

Checklist

Conclusión

Contextual Retrieval es una mejora concreta para un fallo concreto: chunks que pierden su lugar documental. Su valor está en enriquecer la señal sin convertir el contexto generado en autoridad. Conserva el original, versiona cada derivación, filtra ACL en backend y exige que tu propio dataset justifique el coste.

Fuentes y referencias

• Anthropic: Contextual Retrieval
• Anthropic Claude Cookbooks: Contextual Embeddings
• Azure: RAG enrichment phase
• Azure AI Search: chunk documents
• Azure: RAG chunking phase
• Microsoft Foundry: RAG
• Azure: RAG solution design and evaluation

También te puede interesar

Recibe una lectura semanal de herramientas IA para devs

Cada semana te resumo herramientas de IA para devs, agentes, MCP, seguridad y workflows en un email de 5 minutos. En español y sin ruido.