“Em poucos anos, os agentes conversacionais se tornarão uma infraestrutura essencial para todas as empresas, tão importante quanto a nuvem ou os pagamentos”, afirmou Mati Staniszewski, cofundador e CEO da ElevenLabs. “Mas, para que a inteligência artificial trabalhe para nós e ao nosso lado, será necessário que ela interaja com as pessoas de maneira natural e intuitiva, em diferentes contextos. Nosso objetivo é construir a camada de interação da IA. Os anúncios que estamos fazendo hoje permitem que as empresas utilizem seus próprios dados para criar experiências relevantes e adaptadas às suas necessidades específicas.”
Ajuste fino e orquestração de modelos para interações altamente personalizadas
Ao longo do último mês, os pesquisadores da ElevenLabs lançaram três novos modelos de voz, todos líderes em benchmarks independentes. O Scribe v3, um novo modelo de transcrição de fala em texto, capaz de registrar o que as pessoas dizem; o Eleven v4, um modelo de conversão de texto em fala que gera áudios expressivos, interpretando o tom, o ritmo e o contexto de um roteiro; e o Eleven Realtime, uma nova categoria de modelos de conversão de fala, desenvolvida para agentes de voz rápidos e precisos.
Para ajudar os clientes a oferecer interações precisas em diferentes setores da economia, a ElevenLabs está desenvolvendo modelos cada vez mais especializados. A empresa lançou o Scribe v3 Medical, modelo de transcrição otimizado para a área da saúde, e anunciou planos para desenvolver outras soluções voltadas a setores como o de serviços financeiros.
Com base em sua experiência em áudio, os pesquisadores da ElevenLabs também vão ampliar seu trabalho para abranger diferentes tipos de modelos que viabilizam as interações. Empresas selecionadas poderão trabalhar diretamente com a equipe de pesquisa para ajustar modelos de áudio e grandes modelos de linguagem (LLMs), adaptando as respostas dos modelos e dos agentes às suas necessidades específicas. Com o uso de dados de operações em andamento e de aprendizado por reforço, as empresas poderão aprimorar continuamente esses modelos para melhorar indicadores como a satisfação do cliente (CSAT) e a confiabilidade.
Staniszewski afirma: “Acreditamos em um futuro no qual cada empresa terá sua própria estrutura de aprendizado por reforço (RL). Essa é uma das melhores maneiras de fazer com que seus dados trabalhem a seu favor e ampliar suas vantagens competitivas.”
Diante da preocupação crescente das empresas em equilibrar o desempenho dos modelos com os custos de tokens, a ElevenLabs também apresenta o Interaction Engine, um novo sistema que orquestra modelos de voz e LLMs ao longo de uma conversa.
Nem todas as tarefas realizadas por agentes de IA exigem o uso de um modelo de ponta em todas as etapas para alcançar bons resultados. O Interaction Engine seleciona os modelos de voz e os LLMs mais adequados a cada aplicação, equilibrando desempenho, confiabilidade e custo. “O Interaction Engine coordena tudo isso nos bastidores, para que você tenha confiança de que está entregando o resultado certo ao cliente, sem desperdiçar dinheiro com tokens”, afirmou Staniszewski.
Desenvolvimento de agentes com alta inteligência emocional, que trabalham para e em colaboração com as pessoas
Para que a IA interaja de maneira eficaz com clientes e funcionários de uma empresa, são necessários três elementos: uma comunicação que soe natural, contexto sobre as pessoas com quem está interagindo e uma colaboração clara entre pessoas e agentes na execução de tarefas, no encaminhamento de demandas e na definição de responsabilidades.
A ElevenLabs desenvolve a camada de interação que reúne esses três elementos, desde os modelos que viabilizam as conversas até os agentes que executam tarefas. O ElevenAgents é a plataforma da empresa para agentes de voz e chat, que podem ser utilizados em diferentes áreas de um negócio, de vendas e atendimento ao cliente a recrutamento e operações.
Além dos novos recursos de seus modelos, a empresa anunciou atualizações do ElevenAgents voltadas à forma como pessoas e sistemas de IA interagem.
Memory agora oferece ao ElevenAgents o contexto completo de cada cliente que retorna, recuperando informações compartilhadas em interações anteriores — desde o tamanho de uma camisa até uma mudança de endereço ainda pendente —, para que ninguém precise repetir o que já informou. Com isso, as empresas podem oferecer um atendimento mais personalizado, ajudando os clientes a obter os resultados de que precisam com mais rapidez e precisão.
Routines, a nova camada de automação do ElevenAgents, executa tarefas com várias etapas antes, durante e depois de cada conversa. O recurso ajuda as empresas a processar leads e realizar ações de acompanhamento com mais agilidade, permitindo que os agentes respondam rapidamente e também atuem de forma proativa.
Architect é um especialista integrado à plataforma que ajuda as equipes a criar e aprimorar agentes por meio de comandos de voz ou texto. Cada alteração sugerida é preparada, testada em simulações e submetida à aprovação da equipe antes de ser implementada.
Além das atualizações do ElevenAgents, a empresa também abriu o acesso antecipado ao ElevenAI, um novo aplicativo que funciona como um colega de equipe baseado em IA para equipes corporativas. A ferramenta transforma conversas, inclusive reuniões presenciais, em anotações e listas de próximos passos, com mecanismos de aviso e consentimento incorporados. O aplicativo também oferece assistência em tempo real durante uma ligação, compartilhando informações contextuais e aprimorando a colaboração entre pessoas e agentes.
Aceleração da adoção em diferentes setores da economia
Para acelerar a implementação de suas soluções em grandes empresas com operações complexas, a ElevenLabs lançou um novo Programa de Parceiros, que reúne mais de 550 parceiros em 44 países. São integradores, consultorias e fornecedores de software de confiança, responsáveis por conectar as soluções da empresa aos sistemas já utilizados por seus clientes ou por trabalhar em conjunto com os engenheiros da ElevenLabs que atuam diretamente nos projetos de implementação mais complexos.
Como parte do programa, a ElevenLabs anunciou uma aliança com a McKinsey para ajudar organizações a desenvolver e ampliar o uso de agentes por meio do ElevenAgents. A empresa também expandiu sua parceria com a NVIDIA, anunciando que o Nemotron 3.5 Super VL está disponível no ElevenAgents e que adicionará 15 MW de nova capacidade computacional baseada na arquitetura Vera Rubin. As duas empresas também trabalharão no desenvolvimento de um agente de voz local (on-premises) para a plataforma nacional de saúde digital da Polônia.
Muitas empresas buscam agentes já adaptados às necessidades específicas de seus setores. Para facilitar o acesso a essas soluções, a ElevenLabs está lançando um novo Marketplace. Em vez de desenvolver agentes do zero, as empresas poderão encontrar e adotar soluções criadas por mais de 20 parceiros da ElevenLabs, já personalizadas para seus fluxos de trabalho e para melhorar os resultados em suas respectivas áreas de atuação.
Durante o Summit, empresas apresentaram exemplos de como estão incorporando agentes de voz às suas operações, incluindo o assistente de IA com recursos de voz do Yahoo e o novo agente de recepção da Westgate. Elas se juntam a outras companhias, como Stripe, TELUS, FOX Sports, Klarna e SevenRooms, da DoorDash, que já utilizam o ElevenAgents em suas operações.
Ao encerrar sua apresentação, Staniszewski afirmou:
“É compreensível que as pessoas estejam preocupadas com a possibilidade de a IA centralizar e tornar tudo mais homogêneo. Que as empresas não consigam proteger seus diferenciais competitivos. Que cada nova versão da IA acabe nivelando tudo por baixo. Estamos construindo o oposto: modelos, produtos e uma comunidade capazes de ampliar o que torna cada negócio único e ajudar as empresas a fortalecer suas vantagens. Não vamos resolver a interação entre pessoas e IA sem considerar o que torna cada pessoa e cada empresa diferente.”