Cómo Evitar los Límites de Tarifa para Agentes IA

Cómo asignar a sus Agentes al nivel de uso adecuado de OpenAI.

Una vez que haya configurado un Agente IA, una de sus tareas habituales es comprender la intención de la persona que llama y transferir la llamada a la extensión adecuada. Hay que tener en cuenta que su Agente IA debe tener acceso al servicio de OpenAI y no debe verse limitado por restricciones de tarifas. Si su Agente IA alcanza un límite de tarifa, la persona que llama no recibirá respuesta y el flujo de la llamada se interrumpirá. La llamada no se transferirá y la persona que llama colgará. Para evitar alcanzar los límites de tarifa, le ofrecemos algunas pautas que debe seguir.

¡Este blog es bastante extenso! En resumen, esto es lo que vamos a tratar:

• Mensajes típicos de registro cuando se alcanzan los límites de tarifa.
• Algunos cálculos matemáticos sobre cómo se puede calcular el consumo de tokens.
  • La complejidad técnica de una llamada y cómo afecta al consumo de tokens.
  • Cómo influyen las fuentes de conocimiento en el consumo de tokens.
• Conversión de los límites de tarifas a llamadas simultáneas de Agentes IA.
• Cómo navegar por OpenAI para comprender y ajustar sus límites de tarifa.
  • Las cuentas de OpenAI que pagan un mínimo de $100 suelen pasar directamente al Nivel 3.

Mensajes de Registro Cuando se Alcanzan los Límites de Tarifa

Cuando se alcanza el límite de Tarifa de OpenAI, esto se puede ver en el archivo 3CXAI.log; a continuación se muestra un ejemplo:

…lo que demuestra claramente que

• se ha alcanzado el límite de tokens por minuto (o TPM).
• no se podrán procesar solicitudes durante los próximos 8.805 segundos.

También podemos plantear el problema matemáticamente:

• el límite de tarifa actual para esta cuenta es de 40,000 tokens por minuto.
• en el último minuto se consumieron 31,222.
• esto deja 8,778 disponibles para su uso.
• la solicitud realizada habría requerido 14,701, lo que superaba el número de tokens disponibles dentro del intervalo de tiempo de un minuto.

Consumo de Tokens – Cálculo Aproximado

Referencia de Conversación Natural

• El uso de los tokens depende de varios factores, entre ellos:
  • idioma.
  • modelo utilizado.
  • estilo de conversación.
  • número de palabras pronunciadas.
• A continuación se presentan algunas hipótesis y promedios basados en la realidad:
  • Una conversación natural suele desarrollarse a un ritmo de unas 150 palabras por minuto.
  • Cada llamada tiene una duración máxima de 7 minutos.
  • Esto significa que una conversación de 7 minutos equivaldría a unas 1,050 palabras.
• La proporción de conversión de tokens de OpenAI más aceptada (para el Inglés) es de 1 palabra por cada 1.3 tokens.
  • Una conversación de 7 minutos consumiría 1,365 tokens.

Podemos estimar que una conversación natural suele tener un máximo de 1,500 tokens.

Ajustes en Función de la Naturaleza y la Complejidad de la Llamada

• Si la persona que llama solo quiere saludar o programar una reunión, el Agente IA apenas tiene que pensar.
  • Una estimación conservadora sería de unos 1,000 tokens como máximo para la llamada.
• Si la llamada consiste en una conversación equilibrada sobre el trabajo, la revisión de un documento o una charla informal.
  • Esto se ajusta a la estimación de ‘Conversación Natural’, que es de unos 1,500 tokens como máximo para la llamada.
• Si la conversación es compleja y técnica, podemos deducir que el Agente IA necesita “pensar” más:
  • Se puede calcular que la llamada tendrá un máximo de unos 2,500 tokens.

Agentes IA que Utilizan Fuentes de Conocimiento

Si utiliza fuentes de conocimiento con sus Agentes IA, también debe tener en cuenta una Sobrecarga de Tokens para la recuperación de dichas fuentes; calcule hasta 2,000 tokens adicionales como costo de recuperación.

Estimación del Uso Total de Tokens

A partir de las hipótesis y estimaciones anteriores, se puede concluir que una llamada de IA Técnica con fuentes de conocimiento consumiría:

• 2,500 tokens por la llamada.
• 2,000 tokens para la recuperación de fuentes de conocimiento.

Si incluye un margen de seguridad de 500 tokens, su llamada consumiría 5,000 tokens, es decir, 714 tokens por minuto. Puede redondear esta cifra a 1,000 tokens por minuto.

¿Cuántas Llamadas de Agentes IA se Pueden Manejar?

Deberá cumplir dos requisitos:

• Tokens por minuto.
• Solicitudes por minuto.

Tokens Por Minuto

Si ha configurado el límite de tarifa de su modelo de IA en 20,000 tokens por minuto, entonces, a 1,000 TPM por llamada, el Agente IA puede manejar 20 llamadas simultáneas.

Solicitudes Por Minuto

No entraremos en detalles aquí, pero hay que tener en cuenta que cada llamada de IA puede generar varias solicitudes por minuto. Si está configurando su sistema para manejar, por ejemplo, 50 llamadas de IA simultáneas, y los tipos de llamadas que recibe suelen generar 3 solicitudes por minuto, entonces, lógicamente, también tendría que establecer su RPM en al menos 150.

Navegación por los Límites de Uso y de Tarifas de OpenAI

La mayoría de los usuarios comienzan, por defecto, en el plan gratuito, por lo que es comprensible que pueda llegar a alcanzar los límites de tarifa. Las cuentas de OpenAI que pagan un mínimo de $100 suelen pasar directamente al Nivel 3.

En la Plataforma OpenAI, vaya al panel de control de su proyecto y acceda a la página Proyecto -> Límites; en el apartado “Límites de tarifas”, haga clic en el botón “Seleccionar modelos”.

Desplácese hacia abajo hasta la sección “Límites de tarifa en tiempo real” y ajuste sus límites de tarifa, donde:

• TPM es el número máximo de Tokens Por Minuto.
• RPM es el número máximo de Solicitudes Por Minuto.

La captura de pantalla anterior corresponde a una cuenta del plan gratuito, y como puede ver, el máximo permitido es de 40,000 TPM y 3 RPM. Vaya a la página Organización -> Límites y edite su presupuesto para cambiar a un plan superior.

Puede hacer clic en el enlace de la guía de límites de tarifas para obtener más detalles; a continuación se muestra la tabla principal de niveles de Uso:

Una vez que haya alcanzado los límites requeridos, su nivel de categoría se ajustará automáticamente. Vuelva a acceder a la página Proyecto -> Límites para aumentar sus límites según sea necesario.

Foro

Únase a nuestro Foro para decirnos lo que piensa y síganos en X y LinkedIn para estar al tanto de las novedades y nuevas funciones.