Together AI presentó Together Compiler, un sistema en el que agentes de IA optimizan de forma continua cómo se sirven los modelos abiertos. La empresa lo plantea como el primer paso hacia lo que llama Polymorphic Inference: un servicio que se adapta a nuevas arquitecturas de modelo, a un tráfico cambiante y a chips distintos, en lugar de depender de una única configuración fija.
Qué hace Together Compiler
Together describe la herramienta como un bucle que trata el ajuste de la inferencia como un problema de búsqueda para agentes y no como una tarea clásica de traducción de compilador. Un enjambre de agentes trabaja sobre un motor persistente que permite iterar con rapidez. Según la compañía, hoy funciona en producción en algunos de sus endpoints serverless más populares y ha encontrado mejoras adicionales incluso en código que ya estaba muy optimizado. A esta práctica la llama Continuous Compilation. Antes, una carga de trabajo nueva exigía kernels escritos a mano; ahora afirma que el sistema se adapta solo a nuevas formas de tráfico.
La fuente no ofrece cifras de velocidad ni de coste para estas mejoras, de modo que su magnitud no está confirmada.
Por qué Together ve insuficientes las configuraciones estáticas
El texto sostiene que las recetas habituales de serving de código abierto vienen con una sola configuración ajustada, que puede no servir en otro entorno. Pone como ejemplo los kernels de mixture-of-experts, que rinden bien con tokens aleatorios pero podrían no trasladarse al tráfico real. Señala también que el 80 % del tráfico de OpenRouter va a modelos lanzados en los últimos tres meses y que los diez modelos abiertos más populares usan, cada uno, una arquitectura distinta. Together añade que su trabajo previo con megakernels le enseñó que fusionarlo todo en un único kernel no es la meta correcta en este entorno.
Qué hay disponible y qué llega después
- Together Compiler está disponible para clientes finales en una beta limitada; el acceso es por solicitud.
- Próximamente, los clientes podrán optimizar endpoints dedicados para sus propias cargas con solo pulsar un botón.
- Otros puntos de la lista de investigación: decodificación especulativa que se adapta a cada petición, un router que reparte peticiones entre distintos despliegues, post-entrenamiento de modelos abiertos con las herramientas propias del cliente y enrutamiento según la carga entre varios modelos.
No se indican fechas, precios ni nombres de planes para ninguna de estas novedades.
Lectura práctica
El anuncio es sobre todo una declaración de cómo pretende Together mantener rápido el servicio de modelos abiertos mientras los modelos se renuevan deprisa. Los equipos que ejecutan cargas de producción con modelos abiertos allí deberían tratar la beta como una opción por evaluar y probarla con su propio tráfico, ya que las afirmaciones son del propio proveedor y no vienen acompañadas de benchmarks publicados.