Construya un Sistema de Transcripción de Alta Velocidad

Cómo montar un equipo de transcripción de alto rendimiento internamente.

En el ecosistema actual — caracterizado por los avances en inteligencia artificial —, las empresas centradas en la tecnología están apostando cada vez más y de forma más decidida por la integración de la IA en sus operaciones. Algunas optan por externalizar sus cargas de trabajo de IA, ya sea enviando sus datos directamente a organizaciones como OpenAI para su procesamiento, mientras que otras se sienten más cómodas creando pequeños centros de procesamiento en su propio espacio para manejar esas cargas de trabajo, sean cuales sean.

Este blog se centra en este último aspecto y analiza cómo se puede construir internamente un sistema de transcripción de alto rendimiento que también se pueda utilizar para otros fines, como el entrenamiento de modelos o el ajuste en el futuro.

La Estrella de esta Obra

Elegimos la Asus TUF 5090 32GB Edición OC. Elegimos la serie Asus TUF por su reconocida fiabilidad y durabilidad. Incluso si tuviéramos que volver a elegir, seguiríamos prefiriendo esta tarjeta frente a otras variantes que, según los debates en Internet, son más rápidas. Esta variante cuesta alrededor de $3,900, lo cual es significativamente menos que la mayoría de las otras variantes, y la diferencia real de velocidad para la inferencia es insignificante. ¡No vale la pena gastar entre $500 y $1,000 adicionales por un rendimiento marginal de entre un 1% y un 3% más!

¿Por qué un PC con IA de alto Rendimiento para 3CX?

La solución 3CX IA Integrada permite a las empresas ejecutar modelos de transcripción de forma local, lo que mejora considerablemente la privacidad de los datos y ofrece un mayor control sobre la capacidad de procesamiento. Si su empresa necesita transcripciones casi en tiempo real y tiene que procesar un gran volumen de llamadas, necesitará un equipo de alta velocidad como el que estamos montando aquí.

Componentes de la Maquinaria

• Tarjeta Gráfica: ASUS TUF Gaming GeForce RTX 5090 OC Edición 32GB GDDR7 (Nvidia RTX 5090, PCIe 5.0) – $4,140.
• SSD de Alta Velocidad (SO/Disco Principal): Samsung 9100 PRO NVMe M.2 de 4TB (PCIe 5.0, 14,800MB/s de Lectura) – $620.
• Procesador: Procesador Intel® Core™ Ultra 9 para Computadoras de Escritorio 285K (24 Núcleos, hasta 5.7 GHz) – $568.
• RAM: 1 x 48GB (2 x 24GB) DDR5 a 6,000MHz Corsair Dominator Titanium RGB con Intel XMP (CMP48GX5M2B6000C30) – $1,420.
• Fuente de Energía: CORSAIR HX1200i (2025) de 1,200W, Compatible con ATX 3.1 y PCIe 5.1 (Totalmente Modular, certificación Platinum) – $259.
• Tarjeta Madre: ASUS TUF Gaming Z890-PRO WiFi (Intel LGA 1851, ATX, PCIe 5.0, DDR5, WiFi 7) – $315.
• Disipador de CPU: Noctua NH-D15 G2 chromax.black (Torre Dual Premium) – $189.

Total: $7,511.

Es posible que algunos de ustedes, al ver este precio, estén pensando: “Oye, ¿por qué no me compro simplemente una DGX Spark de Nvidia? Es más barata”. ¡Pero si piensan así, ya están en el camino equivocado!

Aunque el DGX Spark y otras soluciones todo-en-uno similares se promocionan como increíblemente rápidas — y hay que reconocer que cuentan con una excelente estrategia de marketing —, son entre 3 y 6 veces más lentas a la hora de transcribir llamadas que el equipo que acabamos de montar. El DGX Spark y soluciones similares no cuentan con memoria dedicada para la GPU, sino que comparten la memoria RAM con el resto del sistema. Si bien esto tiene la ventaja de poder disponer de más memoria de lo habitual, la desventaja es que resulta más lento.

Reducción de Especificaciones para un Mayor Ahorro

En lo que respecta específicamente a este equipo, hay que reconocer que parte del hardware es un poco excesivo. Por ejemplo, la cantidad de RAM se puede reducir a 16GB, ya que utilizaremos la vRAM de la GPU para las tareas de deducción en lugar de la RAM normal. Además, si desea ahorrar otros $100, puede cambiar el 9100 PRO NVMe por la serie 970-990 PRO de Samsung. También servirá una CPU menos potente, como una Core Ultra 5 245K / 250K.

Sin embargo, la verdad es que, mientras el 5090 siga ahí, el resto de componentes se pueden reducir bastante, con la excepción, quizá, de la fuente de alimentación. Se podría ahorrar alrededor de $1,000 al reducir las especificaciones de este tipo de servidor.

Imágenes de Montaje

En la imagen de arriba se muestra una comparación entre una Asus TUF 4080 RTX de 16GB OC y una Asus TUF 5090 RTX de 32GB OC, una al lado de la otra. Ambas GPU pesan cerca de 3 kg y son casi tan grandes como el antebrazo de una persona. Si está pensando en comprar una GPU Nvidia de la serie RTX de gama alta para armar su propia computadora personalizada, asegúrese de verificar que la carcasa que va a comprar tenga el espacio suficiente para albergarla. El espacio libre suele ser un problema con estas GPU de gama alta.

¿Rendimiento?

El rendimiento de transcripción de este sistema puede oscilar entre 32 y 64 veces la velocidad de transcripción en tiempo real, lo que significa que, si tiene grabaciones que transcribir con una duración de entre 32 y 64 segundos, la transcripción tardará aproximadamente entre 1 y 2 segundos, más un tiempo adicional relacionado con la velocidad de carga del modelo y otros factores.

No olvide que, por supuesto, hay una segunda ronda de análisis de IA de la transcripción resultante que puede tardar unos segundos más, dependiendo de la longitud de la transcripción. El sistema puede procesar entre 32,000 y 64,000 tokens de contexto, lo que equivale aproximadamente a 4 horas de contexto de conversación. Esto significa que incluso en las llamadas de 3CX más largas, de hasta 3 horas, se tendrá en cuenta todo el contexto de la conversación al realizar el análisis de la llamada.

A continuación se ofrecen más detalles sobre las pruebas de rendimiento de nuestros puntos de referencia internos:

Conclusión

Hemos desarrollado una estación de trabajo de IA de alto rendimiento. Para las organizaciones que utilizan el Sistema Telefónico 3CX y su función de IA Integrada, esta solución representa lo último en potencia de procesamiento local, al tiempo que ofrece un equilibrio entre el costo y la garantía de que la transcripción de llamadas se realice de forma rápida y precisa, y se mantenga de manera segura dentro de su red.

¿Listo para ver lo rápido que puede transcribir llamadas?

No Olvide Seguirnos

Únase a nuestro Foro para decirnos lo que piensa y síganos en X y LinkedIn para estar al tanto de las novedades y nuevas funciones.