A integração de Inteligência Artificial Generativa deixou de ser apenas uma tendência para se tornar o motor de inovação e desenvolvimento dentro das instituições financeiras. No entanto, escalar o uso dessas tecnologias, como os agentes autônomos de código, traz desafios complexos de infraestrutura e custos. Para garantir a estabilidade de suas operações, a equipe de engenharia da Nomad, fintech brasileira pioneira em soluções financeiras globais, compartilha suas principais estratégias e hacks práticos de como resolveu um dos maiores gargalos da IA atual: o estouro do limite de tokens.
Quando uma equipe de engenharia utiliza agentes baseados em Grandes Modelos de Linguagem (LLMs), que leem a base de código, editam arquivos e rodam testes no terminal, ela esbarra rapidamente no limite da janela de contexto. Se o agente lê muitos arquivos simultaneamente, a janela enche, o custo por requisição dispara e detalhes importantes começam a sumir. Isso pode causar lentidão, respostas imprecisas e desperdício de recursos, forçando o sistema a fazer auto compressões que descartam informações cruciais para o projeto.
Para mitigar esse risco sem frear a inovação, a Nomad adotou uma arquitetura de uso focada em ferramentas explícitas de controle de contexto. Segundo o time, quem domina essas metodologias pode obter três vezes mais produtividade com a mesma cota. A estratégia funciona baseada em pilares práticos que podem ser aplicados por qualquer equipe de desenvolvimento:
Limpeza estratégica de contexto: Em vez de manter conversas infinitas que arrastam o custo de todo o histórico, a equipe utiliza a limpeza de contexto sempre que muda de tarefa, externalizando o conhecimento e evitando ruídos. A tática de ouro da equipe é pedir para a IA escrever um resumo do que foi feito em um arquivo markdown (.md) antes de limpar a sessão. Assim, substitui-se milhares de tokens de conversa por um resumo curado de poucos tokens.
Subagentes em fila inteligente: A ativação do modo de planejamento permite que a IA descreva o que pretende fazer antes de gastar tokens executando leituras desnecessárias, dando ao desenvolvedor o controle total da operação para corrigir rotas e cortar excessos antecipadamente.
Plan mode: A ativação do modo de planejamento permite que a IA descreva o que pretende fazer antes de gastar tokens executando leituras desnecessárias, dando ao desenvolvedor o controle total da operação para corrigir rotas e cortar excessos antecipadamente.
O uso de arquivos de instrução do projeto: A criação de um arquivo na raiz do projeto contendo as regras, a stack utilizada e o que a IA estritamente não deve fazer. Como o modelo lê esse arquivo toda vez que abre uma sessão, ele padroniza o comportamento do agente sem a necessidade do desenvolvedor gastar tokens repetindo prompts longos a cada nova interação.
“Usar bem a Inteligência Artificial não é criar os prompts mais bonitos e complexos, é entender que a cada nova mensagem você está pagando pela conversa inteira de novo”, destaca Filipe Comparini, diretor de Data & IA da Nomad. “Dominar essa disciplina de contexto nos permite ter sessões mais longas, sem perder a qualidade do início ao fim. Ao estruturar e compartilhar esse tipo de prática com o mercado, reforçamos o posicionamento da Nomad não apenas como uma provedora de serviços financeiros, mas como uma verdadeira empresa de tecnologia de ponta.”