Qué es realmente el contexto
La ventana de contexto define la cantidad máxima de tokens que el modelo puede considerar en una petición: instrucciones, mensajes anteriores, fragmentos de documentos y otros contenidos suministrados. Un token no coincide necesariamente con una palabra. El tamaño disponible determina cuánto material puede entrar en una misma consulta.
Para escribir, corregir textos extensos o preparar materiales de enseñanza, una ventana amplia puede ser útil. Permite conservar más referencias dentro de una sesión y reduce la necesidad de dividir documentos en fragmentos. Sin embargo, aumentar el máximo configurado no garantiza que el modelo interprete correctamente todo el material.
Los dos resultados
En las pruebas con Gemma 4 26B A4B IT QAT se registraron aproximadamente 96 tokens por segundo con un contexto configurado en 8.192 tokens. Al usar una configuración de 65.536 tokens, la velocidad registrada fue de unos 66 tokens por segundo.
La diferencia es de cerca de un 31 % respecto de la primera cifra. Se trata de dos observaciones de un entorno concreto, no de una curva universal de rendimiento. No se documentó aquí un protocolo exhaustivo de mediciones, ni podemos afirmar que todas las consultas produzcan exactamente esa disminución.
Tampoco debe confundirse el tamaño configurado con los tokens efectivamente introducidos en cada petición. Una ventana de 65.536 tokens no demuestra que se hayan procesado 65.536 tokens de texto real durante la medición.
Por qué puede disminuir la velocidad
Durante la inferencia, el sistema necesita administrar información sobre los tokens anteriores, normalmente mediante una caché de claves y valores, conocida como KV cache. Su coste de memoria depende del modelo, la longitud usada y la implementación. Algunos motores reservan recursos de acuerdo con la configuración; otros los asignan conforme hacen falta.
Cuando el contexto aumenta, también pueden cambiar las necesidades de memoria y la distribución del trabajo entre CPU y GPU. No sería riguroso atribuir toda la diferencia medida a una única causa sin registrar esas variables. Lo verificable aquí son las dos velocidades observadas y los límites configurados.
Para redactar un correo o resolver una duda breve, 8.192 tokens pueden bastar. Para comparar capítulos, conservar ejemplos didácticos o revisar un documento extenso, un contexto mayor ofrece ventajas. La elección debe hacerse por tarea, no por buscar siempre el número más alto.
DATOS DE LA PRUEBA
| Modelo | Gemma 4 26B A4B IT QAT |
|---|---|
| Configuración A | 8.192 tokens |
| Velocidad A | ≈ 96 tokens/s |
| Configuración B | 65.536 tokens |
| Velocidad B | ≈ 66 tokens/s |
| Diferencia aproximada | 31 % menos en la segunda medición |
El contexto largo es una herramienta, no un ajuste obligatorio. Conviene ampliarlo cuando la cantidad de material lo justifique y medir el efecto real sobre el equipo antes de convertirlo en configuración permanente.