A AWS anunciou a inferência dentro do país para o Kimi K3 no Amazon Bedrock, de modo que as requisições ao modelo podem ser processadas inteiramente na Índia. O Kimi K3 é um modelo multimodal e open-weight da Moonshot AI, que reportou desempenho de nível de fronteira em programação e em tarefas agênticas gerais no lançamento.
Dois perfis, duas escolhas
O Kimi K3 é servido por perfis de inferência entre Regiões. Você chama o modelo a partir de uma Região de origem, e o Bedrock encaminha a requisição para uma Região de destino. O ID do perfil que você invoca define quais destinos são elegíveis:
- Global (
global.moonshotai.kimi-k3): a AWS recomenda para a maioria dos casos, por ser a opção de menor custo e de maior disponibilidade. - Geográfico da Índia (
in.moonshotai.kimi-k3): para cargas em que o processamento precisa ficar nas Regiões de Mumbai e Hyderabad.
Segundo a AWS, o tráfego entre Regiões é criptografado e permanece na rede da AWS, sem necessidade de montar infraestrutura de VPC multi-Região. É no model card que se confere quais Regiões de origem podem chamar cada perfil.
O que muda na configuração
O post usa a Região de Mumbai como origem e mostra uma política de IAM que libera o modelo nas duas Regiões indianas, além do perfil de inferência da Índia. Organizações que restringem Regiões da AWS precisam manter a Região de origem permitida e autorizar o roteamento para os dois destinos indianos. O post indica uma exceção restrita ao perfil, quando fizer sentido. O modelo pode ser acessado pelas APIs Chat Completions e Responses, compatíveis com a OpenAI, e também por Converse e InvokeModel.
Um detalhe importa para auditorias: métricas e logs ficam armazenados na Região de origem da chamada, qualquer que seja o destino que processou a requisição. Os eventos de dados do CloudTrail podem registrar a Região de destino.
Documentos como exemplo
A AWS demonstra o perfil com a foto de uma conta de luz em hindi. O modelo lê a imagem diretamente, extrai os campos em JSON conforme um esquema, escreve um resumo em inglês e responde a perguntas de acompanhamento em hinglish, sem etapa separada de OCR ou de tradução. A AWS recomenda validar a qualidade da extração no seu caso de uso e incluir validação ou revisão humana nos fluxos críticos.
Alavancas de custo
O post cita uma camada de serviço flex, com 50% de desconto sobre o preço padrão, para trabalhos que toleram latência, e uma camada priority, com preço mais alto. O cache de prompts, implícito ou explícito, dá desconto em prefixos repetidos. O post não diz se o perfil da Índia tem preço diferente do global, então vale consultar a página de preços.
A AWS cita a Ultrahuman, cujo assistente de saúde atende mais de 14.000 conversas por dia. A empresa relata queda de 80% nos custos com LLM e conversas de várias rodadas 85% mais rápidas com cache de prompts. São números informados pelo cliente, não benchmarks independentes.