¿Qué es un token?

Un token es una unidad con la que el modelo cuenta y procesa el contenido de una petición. No equivale exactamente a una palabra: puede ser una palabra completa, una parte de palabra, un signo o una combinación breve de caracteres.

La idea clave es que el modelo no ve el texto como lo vemos nosotros. Antes de trabajar con él, lo convierte en tokens. Por eso dos mensajes con el mismo sentido pueden consumir distinto presupuesto según el idioma, el formato, los símbolos o incluso el modelo concreto que se esté usando.

Los tokens de entrada y salida afectan a tres cosas muy prácticas: cuánto contexto cabe, cuánto tarda la respuesta y cuánto cuesta cada interacción. Si no controlas eso, un sistema puede volverse caro o lento aunque conceptualmente esté bien montado.

Por qué importan tanto

Importan porque casi todo en una aplicación de IA se mide en tokens. Las instrucciones, la conversación, los documentos, las llamadas a herramientas y la propia respuesta final compiten por el mismo presupuesto.

Eso obliga a priorizar. No conviene mandar al modelo todo lo que existe, sino solo lo que realmente necesita para resolver bien la tarea.

Qué relación tienen con el coste y la latencia

En muchos servicios se factura por tokens procesados o generados. Además, más tokens suelen implicar más tiempo de lectura, más trabajo interno y más posibilidades de que el sistema pierda foco.

No significa que haya que recortar siempre. Significa que conviene usar el contexto con intención, evitando repetir instrucciones, documentos enteros o salidas excesivamente largas.

Qué errores de interpretación son comunes

Uno muy típico es pensar que un token es una palabra. No lo es. Otro es medir el prompt una vez y asumir que siempre costará lo mismo. Cambian el idioma, el contenido, el modelo y las herramientas, y el conteo puede variar bastante.

También es habitual ignorar los tokens de salida. A veces el problema no está en lo que envías al modelo, sino en que le permites responder con demasiada longitud para una tarea que no la necesita.

También te puede interesar:

¿Qué es la ventana de contexto?

¿Qué es un prompt?

RAG o recuperación aumentada

Flujos de trabajo con IA