La adopción de la IA se ve actualmente obstaculizada por los altos gastos de fichas y la falta de claridad de los precios iniciales para las solicitudes de IA, lo que resulta en un gasto excesivo de fichas incontrolado.Este riesgo es amplificado drásticamente por agentes de IA, que actualmente operan sin restricciones de costos de token incorporadas y pueden desencadenar explosiones de costos extremas.
Este artículo explica qué son los tokens de IA, cómo funciona el precio de los tokens y las estrategias prácticas para evitar el gasto catastrófico de los tokens.Un caso de empresa bien documentado vio a una organización acumular un $ 500,000Se ha informado que el equipo de ingeniería de Uber ha agotado todo su presupuesto de inteligencia artificial para 2026 antes de lo previsto.Los tokens son las unidades fundamentales que los grandes modelos de lenguaje (LLM) y los chatbots utilizan para descomponer las indicaciones del lenguaje humano y generar salidas coherentes de IA.
Por ejemplo, el prompt de entrada Cuéntame acerca de la sedimentación se divide en componentes de token discretos:
-Dígale.
- Yo.
- Es decir...
-sedimentos
- de la
Este desglose de cinco fichas para la sola palabra "sedimentación" ayuda a los LLM a interpretar con precisión la estructura y el significado de las palabras.La división de la raíz y el sufijo permite al modelo reconocer el uso consistente del sufijo en numerosos sustantivos.Este enfoque reduce el alcance de la búsqueda del modelo en su base de datos.Reducción del tiempo de procesamiento en lugar de escanear cada palabra que contiene sufijo individualmente.
Como unidades de datos básicas, los tokens se convierten en embebimientos vectoriales, cadenas numéricas matemáticas que codifican el significado semántico y se almacenan en índices de modelos.el modelo genera múltiples vectores para representar sus atributos multidimensionalesEstos conjuntos de vectores únicos distinguen al gato de objetos inanimados, otras especies animales como perros y tigres,y juguetes sintéticos para gatos.
Una incorporación vectorial hipotética de cinco dimensiones para el término ?? cat?? se puede expresar como [1.5¿Qué es eso?4, 7.2, 19.6, 20.2).
Todos los datos vectoriales existen en un espacio vectorial unificado, lo que permite a los modelos identificar contenido semánticamente similar midiendo la proximidad espacial entre los puntos vectoriales.
Una vez convertidos en vectores, los tokens se procesan en servidores GPU de alto costo equipados con memoria de gran ancho de banda.Un NVIDIA DGX SuperPOD con 32 nodos y 256 GPUs totales cuesta entre $ 12 millones y $ 20 millonesUna arquitectura de referencia más avanzada con 140 nodos DGX H100, redes InfiniBand Quantum-2, almacenamiento completo e infraestructura de red, y sistemas de soporte pueden exceder los 100 millones de dólares.Estos costes de infraestructura sustanciales se reflejan directamente en los esquemas de fijación de precios simbólicos de los modelos de fundación convencionales.
Los principales proveedores de LLM y chatbot, incluidos OpenAI y Anthropic, adoptan modelos de facturación basados en tokens, con reglas de conversión de tokens predecibles para el contenido de texto.Un símbolo inglés equivale a alrededor de cuatro caracteres o 0.75 palabras, lo que significa que 750 palabras corresponden a aproximadamente 1.000 fichas. En particular, tanto las solicitudes de entrada como las respuestas de salida generadas consumen fichas.,La salida de IA de 000 palabras consume aproximadamente 3,667 fichas en total.
Un mayor consumo de tokens extiende directamente la latencia de respuesta de la IA. Todos los tokens de una sola sesión de respuesta rápida están contenidos en una ventana de contexto de capacidad finita.La ventana de contexto de 000 tokens puede contener alrededor de 75Es el equivalente a un libro de 300 páginas.
La capacidad de ventana de contexto insuficiente hace que los LLM pierdan información contextual, lo que conduce a salidas de IA incompletas o inexactas.GPT-4o soporta hasta 128,000 fichas, Claude 3.5 Sonnet alcanza 200,000 fichas, y seleccionar Gemini 1.5 Pro usuarios empresariales pueden acceder a una ventana de contexto de 2 millones de fichas.
El precio de los tokens varía según los proveedores de modelos.
Según Intuition Labs, la API ChatGPT de OpenAI opera en una estructura de facturación basada en tokens puros.con fichas de salida que suelen costar más. Los precios también fluctúan según el estado de respuesta almacenado en caché. Cada llamada de API incurre en dos tarifas distintas: una para los tokens de entrada rápidos y otra para los tokens de salida generados por IA.el uso de un modelo con un precio de $10 por millón de fichas de salida para 100 fichas de entrada y 400 fichas de salida da como resultado costos de entrada de $10×(100/1,000Los costes de producción de la producción de los productos de producción de los productos de producción de los productos de producción de los productos de producción de los productos de producción de los productos de producción.000, 000), con un gasto total igual a la suma de las dos cifras.
Las empresas pueden implementar controles de gobernanza dirigidos para limitar el gasto en tokens, incluidas las cuotas por usuario o asiento, la limitación del tráfico basado en el uso, los límites de gasto por proyecto,y restricciones de nivel de modeloEste campo de gobernanza está evolucionando rápidamente, ya que los proveedores de IA compiten para optimizar la calidad del servicio, equilibrar los flujos de ingresos y competir con los modelos de IA de código abierto.
Los agentes de IA introducen una capa completamente nueva de riesgo de costo de token. Sin estrictos barreras operativas, los agentes autónomos pueden desencadenar un consumo masivo y no planificado de tokens.Los expertos de la industria recomiendan tratar a los agentes de IA como empleados digitales, con equipos de FinOps que aplican un seguimiento riguroso y permanente del gasto para evitar desastres de costes.
China, China, China, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón, Japón.
Sandy Yang, directora de estrategia global
WhatsApp / WeChat: +86 13426366826 El número de teléfono es:
Correo electrónico: yangyd@qianxingdata.com
El sitio web: www.qianxingdata.com/www.storagesserver.com
Enfoque en el negocio:
Distribución de productos TIC/Integración de sistemas y servicios/Soluciones de infraestructura
Con más de 20 años de experiencia en distribución de TI, nos asociamos con las principales marcas globales para ofrecer productos confiables y servicios profesionales.
Usar la tecnología para construir un mundo inteligente¡Su proveedor de servicios de productos TIC de confianza!
¡Su mensaje debe tener entre 20 y 3.000 caracteres!
Spanish
