A Together AI anunciou o Together Compiler, um sistema em que agentes de IA otimizam de forma contínua a maneira como modelos abertos são servidos. A empresa o apresenta como o primeiro passo rumo ao que chama de Polymorphic Inference: uma forma de servir modelos que se adapta a novas arquiteturas, a tráfego que muda e a chips diferentes, em vez de depender de uma única configuração fixa.
O que o Together Compiler faz
A Together descreve a ferramenta como um ciclo que trata o ajuste de inferência como um problema de busca para agentes, e não como uma tarefa clássica de tradução de compilador. Um enxame de agentes trabalha sobre um motor persistente que permite iterar rápido. Segundo a empresa, o sistema já roda em produção em alguns dos endpoints serverless mais populares dela e encontrou ganhos adicionais em código que já era muito otimizado. A prática é chamada de Continuous Compilation. Antes, cada nova carga de trabalho exigia kernels escritos à mão; agora, a alegação é que o sistema se adapta sozinho a novos formatos de tráfego.
A fonte não traz números de velocidade nem de custo para esses ganhos, então o tamanho da melhora não está confirmado.
Por que a Together diz que configurações estáticas ficam para trás
O texto argumenta que as receitas usuais de serving em código aberto vêm com uma única configuração ajustada, que pode não servir em outro cenário. Cita kernels de mixture-of-experts que vão bem com tokens aleatórios, mas podem não se sustentar com tráfego real. Também observa que 80% do tráfego da OpenRouter vai para modelos lançados nos últimos três meses e que cada um dos dez modelos abertos mais populares usa uma arquitetura diferente. A Together afirma que o trabalho anterior dela com megakernels mostrou que fundir tudo em um só kernel é a meta errada para esse ambiente.
O que está disponível e o que vem depois
- O Together Compiler está disponível para clientes finais em beta limitado; o acesso é por solicitação.
- Em breve, os clientes poderão otimizar endpoints dedicados para suas próprias cargas de trabalho com um clique.
- Outros itens da lista de pesquisa: decodificação especulativa que se adapta a cada requisição, um roteador para distribuir requisições entre diferentes deployments, pós-treinamento de modelos abertos com as ferramentas do próprio cliente e roteamento por carga de trabalho entre vários modelos.
Não há datas, preços nem nomes de planos para nenhum desses itens.
Leitura prática
O anúncio é, sobretudo, uma declaração de como a Together pretende manter rápido o serving de modelos abertos num cenário em que os modelos mudam depressa. Times que rodam cargas de produção em modelos abertos por lá devem tratar o beta como uma opção a avaliar e testar com o próprio tráfego, já que as afirmações são da própria empresa e vêm sem benchmarks publicados.