Pular para o conteúdo
Resumo das ferramentas de transcrição em italiano e sua precisão
We blind tested to see which was the most accurate Italian meeting transcription tool. We put tl;dv against three other tools, Google Gemini, Fireflies, and Fathom, to see what would be the best AI notetaker for Italian, and tl;dv came out top with 181 points out of a total of 200. The areas we scored in were: Utilizamos as mesmas gravações em italiano e avaliamos cada transcrição e resumo recorrendo tanto à IA quanto a um falante nativo de italiano. tl;dv em primeiro lugar por uma ampla margem, seguido pelo Fireflies, depois Gemini, com Fathom último lugar.| Nível | Max | tl;dv | Google Gemini | Fireflies | Fathom |
|---|---|---|---|---|---|
| Transcrição e precisão | 65 | 61/65 | 34/65 | 34/65 | 31/65 |
| Qualidade de reunião como na vida real | 45 | 41/45 | 32/45 | 32/45 | 21/45 |
| Recursos e funcionalidades | 72 | 61/72 | 37/72 | 58/72 | 50/72 |
| Confiança, segurança e valor | 18 | 18/18 | 15/18 | 18/18 | 18/12 |
| Pontuação geral | 200 | 181/200 | 118/200 | 142/200 | 114/200 |
| Classificação | 1 | 3 | 2 | 4 |
Transcrição e precisão de reuniões em italiano
These were scored by LLMs (Anthropic’s Claude and OpenAI’s ChatGPT) and then confirmed based on a blind native-speaker assessment, with the tool names hidden. In our first round of testing, we looked at the actual quality of the transcription itself across each of the AI meeting notetakers: Can they write down exactly what was said in Italian? Each tool was given the same set of Italian speech, and the output was marked on specific measures from general accuracy at word-level, to elements such as proper noun recognition, how it managed numbers, and specific technical jargon. In this part of the test, tl;dv came out on top with 61 out of 65 points. The other three tools finished quite closely to each other, in the mid-thirties. This was quite a gap, and below you can see the breakdown of each element we tested and the scoring based on two blind rounds of LLM testing and a native-speaker blind test.| Métrico | Como foi a pontuação | tl;dv | Google Gemini | Fireflies | Fathom |
|---|---|---|---|---|---|
| Precisão linguística | Avaliação cega da gravidade, realizada por falantes nativos, sobre a precisão na língua em questão | 18/20 | 20/10 | 20/9 | 20/8 |
| Tratamento específico por idioma | Diacríticos, pontuação, variantes regionais, alternância de código | 18/20 | 20/12 | 13/20 | 20/12 |
| Pontuação da taxa de erros de palavras | Calculado com base em um histórico escolar oficial ou texto de referência | 5/5 | 3/5 | 2/5 | 1/5 |
| Detecção de entidades | Nomes, empresas e locais presentes no elenco | 5/5 | 3/5 | 2/5 | 2/5 |
| Números, datas e moedas | Números, datas e valores formatados corretamente no idioma local | 5/5 | 2/5 | 2/5 | 4/5 |
| Reconhecimento bruto de termos técnicos | Termos e siglas do setor antes do treinamento personalizado | 5/5 | 1/5 | 2/5 | 2/5 |
| Pontuação e segmentação | Quebras de frase e divisão em parágrafos na saída do teste | 5/5 | 3/5 | 4/5 | 2/5 |
| Subtotal de transcrição e precisão | 61/65 | 34/65 | 34/65 | 31/65 |
Qual é o nível de precisão de cada ferramenta do Everyday Italian?
Each tool did a fairly good job at capturing general day-to-day Italian. None produced a transcript that was hard to follow or littered with large errors, which isn’t the case for some of the other languages we have tested, including Francês e Alemão. tl;dv was the strongest by a fair margin. There was a specific section of audio, centered around finance, which we were able to check directly against a confirmed, published reference text. tl;dv was able to track the original format almost word-for-word, with some discrepancies, as the published text had been cleaned up, whereas tl;dv was able to keep it verbatim.
Gemini Fireflies também Fireflies acompanhar razoavelmente bem as frases em geral. Houve alguns erros bem específicos, como“aduzione”em vez de“adozione”,“traduzionali”em vez de“tradizionali”ou“veramente”, quando o locutor disse“meramente”. Fireflies transformou a expressão“capitale di rischio”em“capirebbe il rischio”, o que não é um termo real.
Das quatro ferramentas testadas, Fathom a que apresentou mais erros. Em algumas partes, a IA parecia tentar adivinhar expressões específicas, transformando“Basti pensare”em“Passi a pensare”e“manifattura”em“manufattura”.Houve também uma frase sobre financiamento de pacientes e capital de risco que Fathom compreendeu de forma alguma.
Fathom o que apresentou o pior desempenho no que diz respeito à precisão bruta do italiano.
Quais ferramentas traduzem corretamente as siglas e os termos técnicos em italiano?
As reuniões costumam estar repletas de termos e siglas extremamente técnicos, que provavelmente são de grande importância para o contexto geral da própria reunião. Em nossos testes de transcrição em italiano, cada clip selecionado com base na quantidade de jargão técnico para verificar com que facilidade ele era captado pelas ferramentas de transcrição. Um deles, em particular, voltado para a área da saúde, continha muitos termos que eram abreviações em italiano para conceitos específicos. Entre os elementos estavam a regulamentação EHDS, a diretiva NIS 2, além de uma série de termos relacionados à segurança cibernética e à interoperabilidade.
Das quatro ferramentas, apenas tl;dv manter a precisão, identificando corretamente o EHDS e o NIS 2 em todas as ocasiões, sem precisar carregar nenhum vocabulário personalizado na interface.
A título de comparação, Gemini “NIS 2”em“IS2”e traduziu“EHDS”de três maneiras diferentes na mesma passagem: primeiro como“HDS”, depois como“HS”e, por fim, como“HD”.
Da mesma forma, Fireflies omitiu Fireflies “NIS 2” ealterou“EHDS”para“HDS”.
Fathom percebeu Fathom disso, alterando“NIS 2”para“URIS 2”e“EHDS”para“HTS”.
Esses erros podem ser corrigidos, e muitas dessas ferramentas oferecem vocabulário personalizado, mas o mais importante é captá-los corretamente a partir do italiano fluente desde o início.
Nesses aspectos específicos, tl;dv nota máxima.
Como é que eles lidam com números e datas em italiano?
Datas e números são casos em que um único erro altera completamente o significado de uma frase inteira; por isso, analisamos esses elementos separadamente. O discurso sobre saúde girou em torno de um único número: o prazo de 2029 para o Espaço Europeu de Dados de Saúde. Fathom tl;dv Fathom identificaram isso corretamente. Gemini o número para “202”, o que soa como um erro de digitação ou um número totalmente diferente, e fez isso mais de uma vez. Fireflies o número por extenso e errou, escrevendo“duemilaventidove”em vez de“duemilaventinove”.
Resumindo: tl;dv cinco, Fathom , e Gemini Fireflies cada um.
Será que os anotadores de IA acertaram os nomes italianos?
Em um dos vídeos, houve uma longa lista de nomes que nos permitiu avaliar a capacidade das ferramentas de lidar com nomes italianos. Isso é realmente fundamental em áreas como vendas, ao lidar com nomes de clientes em potencial e principais partes interessadas por meio de um CRM integrado.
A lista de nomes incluía, entre outros, Gratteri, Frattasi e Melillo, além de Valensise, Morrone, Caravelli, Di Monte e Costanzo. As ferramentas variavam bastante entre os resultados.
Resumindo: tl;dv gerenciar toda a lista corretamente e foi a única ferramenta capaz de registrar“Angelo Costanzo”de forma precisa, em vez de“Costanto”.
Fathom identificou Fathom “Giovanni Caravelli”, enquanto duas das outras ferramentas acrescentaram um“Gianni”indesejado; no entanto, transformou“Simona Di Monte”em“Simone Di Monti”.
Fireflies Gemini Fireflies deixaram passar muitos desses erros e, em seguida, registraram“Battarella”em vez de“Mattarella”, um erro que Fathom repetiu.
Resumindo: tl;dv cinco pontos aqui; os demais ficaram com dois ou três pontos, após a correção dos erros.
Qualidade das reuniões na prática
A precisão da transcrição é fundamental para a qualidade do resultado final, mas também vale a pena considerar como esse resultado se aplica a outras áreas do dia a dia profissional. O resultado final das quatro ferramentas testadas também inclui elementos como resumos, e esses precisam ser de qualidade suficiente para serem enviados a outras pessoas, para que valha a pena usar qualquer assistente de reuniões baseado em IA.
Nesta seção de nossos testes de transcrição de reuniões em italiano, analisamos elementos como índices de erros, qualidade do resumo e pontos de ação.
Também analisamos a qualidade da diarização, que se mostrou satisfatória nas ferramentas que pudemos testar, sendo que Gemini receber instruções antes de conseguir separar os falantes. Fathom não Fathom ser avaliado nesse quesito, pois grava apenas em tempo real e nossos testes ao vivo foram realizados com uma única fonte.Nesta seção, tl;dv as notas mais altas.
| Métrico | Como foi a pontuação | tl;dv | Google Gemini | Fireflies | Fathom |
|---|---|---|---|---|---|
| Qualidade da diarização | Contagem correta de falantes e atribuição de falas em comparação com o elenco conhecido | 9/10 | 7/10 | 8/10 | 0/10 |
| Estabilidade comportamental | Estabilidade comportamental entre os diferentes tipos de sessão | 9/10 | 6/10 | 5/10 | 4/10 |
| Qualidade do resumo | A utilidade do resumo e se ele foi mantido no idioma de origem, levando em conta os empréstimos linguísticos | 5/5 | 4/5 | 3/5 | 5/5 |
| Taxa de alucinação / inserção | Texto inventado, repetido ou duplicado que não consta no áudio, com pequenas correções nos casos em que erros de compreensão alteraram o significado | 10/10 | 9/10 | 9/10 | 4/10 |
| Extração de itens de ação | Qualidade das tarefas e ações de acompanhamento definidas na reunião | 4/5 | 2/5 | 4/5 | 3/5 |
| Capítulos automáticos / divisão em seções | O resumo divide a reunião em seções úteis? | 4/5 | 4/5 | 3/5 | 5/5 |
| Subtotal da qualidade das reuniões no mundo real | 41/45 | 32/45 | 32/45 | 21/45 |
Quais ferramentas geram textos alucinantes ou inventados?
A alucinação é uma das maiores preocupações que as pessoas enfrentam ao lidar com qualquer assunto relacionado à IA. Se uma ferramenta inventar e fabricar palavras, ações ou qualquer outra coisa, isso pode levar a erros graves e a problemas potencialmente ainda maiores. Uma única palavra mal ouvida pode ser irritante, mas normalmente é fácil de identificar; trechos inteiros de texto inventado podem ser muito piores.
Em nossa análise, tl;dv absolutamente nada em nenhuma das sessões de gravação. Cada elemento foi fiel ao original e não criou nada diferente do que foi dito.
Gemini Fireflies conseguiram evitar inventar ou inserir qualquer elemento diferente ou fictício na transcrição para o italiano. Ambos ficaram um pouco aquém da nota máxima, tendo perdido pontos por erros de compreensão que alteraram o significado, e não por terem inventado algo.
Fathom, no entanto, inseriu frases inteiras que nunca apareceram no áudio.“Grazie per aver guardato”apareceu em uma das transcrições, o que significa “obrigado por assistir”. Outras frases que surgiram foram“Grazie a tutti”e um“Siamo capaci di fare noi”isolado. Conforme mencionado em nossa primeira seção, o programa inseriu uma frase completa na parte sobre finanças.
Isso é preocupante, pois uma frase inventada em uma transcrição que, fora isso, é boa, representa potencialmente a pior falha que qualquer tipo de Anotador de Reuniões com IA cometer. É bastante improvável que alguém revise um resumo antes de enviá-lo, caso ele pareça correto.
Qual ferramenta produz o melhor resumo de reunião em italiano?
Essa é a área em que algumas das ferramentas que tiveram dificuldades se saíram muito bem. Apesar de ter apresentado o pior resultado na transcrição, o resumo Fathomfoi um dos melhores. Ele estava bem organizado por objetivo e tópicos-chave, e erros da transcrição, como “EHDS”, apareceram corretamente no resumo, o que é estranho, já que estavam tão errados na captura bruta.
tl;dv se equiparar aos demais em termos de utilidade e precisão. Gemini produziu um resumo sólido, mas não tão bom quanto os outros. Fireflies notas de resumo incrivelmente detalhadas; no entanto, elas eram extremamente longas e difíceis de ler rapidamente.
O resumo aparece acima da transcrição bruta, então é provável que a IA possa “organizá-lo” nessa fase. Mas isso indica que resumos bem elaborados podem não significar que os dados reais registrados na transcrição bruta correspondam de fato.
Qual é o nível de consistência de cada ferramenta nos diferentes tipos de reunião?
Uma das áreas que analisamos foi a estabilidade comportamental. A comparação entre o resumo e a transcrição, no caso do italiano, mostrou que pode haver algumas diferenças na eficácia com que as ferramentas conseguem lidar com as situações em diferentes reuniões.
tl;dv manter uma estabilidade sólida em todos os testes, obtendo uma nota de 9 em 10. Gemini também Gemini bastante consistente, embora um pouco mediano nos detalhes. Fireflies algumas falhas, tendo dificuldades com as siglas da área da saúde. Fathom o que teve o pior desempenho: se saiu bem quando o tema era justiça, teve dificuldades com a terminologia financeira e, ainda, inventou texto sobre o tema da saúde.
Recursos e funcionalidades
Além da transcrição em italiano e dos resumos que cada ferramenta gera, cada uma delas difere bastante na forma como apresenta seu conjunto de recursos. tl;dv exemplo, é mais do que um assistente de reuniões baseado em IA; trata-se de um pacote completo que oferece memória organizacional, coaching, valor em várias camadas e pode se integrar diretamente a sistemas de CRM, ao Claude e ao ChatGPT.
Nesta seção, analisamos o desempenho de cada ferramenta no que diz respeito às diversas oportunidades de ampliar e utilizar os dados, aos recursos e à qualidade geral de alguns elementos, como a velocidade de processamento e a precisão dos carimbos de data e hora.
Nessa área, tl;dv novamente com 61 de 72, seguido pelo Fireflies 58; Fathom Gemini abaixo dessa marca.
| Métrico | Como foi a pontuação | tl;dv | Google Gemini | Fireflies | Fathom |
|---|---|---|---|---|---|
| Nomeação de alto-falantes pronta para uso | Identifica automaticamente os locutores reais nas plataformas compatíveis | 5/5 | 5/5 | 5/5 | 5/5 |
| Impressão de voz | Disponibilidade de treinamento de impressão vocal para a própria voz do usuário | 5/5 | 0/5 | 0/5 | 0/5 |
| Gravação sem bots | Grava através do áudio do sistema sem enviar um bot para a chamada | 5/5 | 5/5 | 5/5 | 5/5 |
| Sincronização de CRM | Nativo e sincronização automática | 3/3 | 0/3 | 3/3 | 3/3 |
| Notas personalizadas / modelos | Formatos de resumo personalizáveis versus uma saída fixa | 3/3 | 0/3 | 3/3 | 3/3 |
| Treinamento de vocabulário/entidades personalizadas | Ensinar termos e siglas do setor | 5/5 | 0/5 | 5/5 | 5/5 |
| Localização da interface do usuário em italiano | Se a própria interface do produto está disponível em italiano | 0/5 | 5/5 | 0/5 | 0/5 |
| Amplitude das integrações | Slack, calendário, Zapier, API | 3/3 | 3/3 | 3/3 | 3/3 |
| Velocidade de processamento | Tempo decorrido entre o término da reunião e a conclusão da transcrição | 3/3 | 1/3 | 3/3 | 3/3 |
| Rastreamento de palavras de preenchimento | Faixas... hum, quer dizer, então, sem duplicação por gagueira. Permite uma visibilidade completa das transcrições faladas, em vez de um suavização excessiva | 3/3 | 0/3 | 0/3 | 0/3 |
| Precisão do carimbo de data e hora | Verifique aleatoriamente se os carimbos de data e hora correspondem ao momento correto | 3/3 | 3/3 | 2/3 | 0/3 |
| Disponibilidade da tradução | Ele consegue traduzir as anotações da reunião? E para quantos idiomas? | 3/3 | 0/3 | 3/3 | 3/3 |
| Pesquisar na transcrição | Pesquisar em uma reunião e na biblioteca | 3/3 | 3/3 | 3/3 | 3/3 |
| Interface de usuário para edição de transcrições | É possível corrigir a transcrição facilmente depois que ela já estiver pronta? | 3/3 | 3/3 | 3/3 | 3/3 |
| Formatos de exportação | SRT, VTT, TXT, DOCX e formatos semelhantes | 0/3 | 3/3 | 3/3 | 0/3 |
| Transcrição ao vivo / em tempo real | A transcrição é exibida ao vivo durante a reunião? | 0/3 | 3/3 | 3/3 | 3/3 |
| Cobertura da plataforma de reuniões | Cobertura do Zoom, Meet, Teams e Webex | 3/3 | 0/3 | 3/3 | 3/3 |
| Captura de aplicativos móveis | É possível gravar reuniões presenciais por meio de um aplicativo móvel? | 3/3 | 3/3 | 3/3 | 0/3 |
| Servidor MCP nativo | Servidor nativo próprio que permite que assistentes de IA consultem o acervo de reuniões | 5/5 | 0/5 | 5/5 | 5/5 |
| Edição do rótulo do alto-falante | É possível renomear e reatribuir alto-falantes posteriormente? | 3/3 | 0/3 | 3/3 | 3/3 |
| Subtotal de recursos e funcionalidades | 61/72 | 37/72 | 58/72 | 50/72 |
Gravação e manuseio dos alto-falantes
Todas as quatro ferramentas têm a capacidade de identificar automaticamente os participantes nas principais plataformas de reuniões, portanto, o desempenho delas é bastante equilibrado. O aspecto em que algumas ferramentas se destacam, principalmente tl;dv, é o nível de detalhamento com que conseguem fazer isso.
Das quatro ferramentas testadas, apenas tl;dv o recurso de treinamento de reconhecimento de voz, que permite que a ferramenta aprenda a reconhecer sua voz uma vez e, se você optar por esse recurso, possa identificá-lo em reuniões futuras.
Três das ferramentas permitem a reclassificação de interlocutores na interface: tl;dv, Fireflies Fathom. No caso Gemini, devido à forma como ele processa e exibe as transcrições (no formato do Google Docs), isso tecnicamente é possível, mas trata-se de um processo manual. Consequentemente, em geral, Gemini o que apresentou mais limitações entre as quatro ferramentas no que diz respeito aos controles de interlocutores, perdendo pontos na edição e reatribuição de rótulos.
Se você faz parte de uma equipe que compartilha gravações de reuniões em toda a empresa, é necessário que os participantes estejam claramente identificados e com as atribuições corretas; portanto, esse é um ponto de grande diferenciação, no qual a ferramenta do Google fica para trás.
Personalização e treinamento de vocabulário
Isso está relacionado aos erros de siglas e nomes que identificamos na transcrição em italiano na primeira seção da análise. Quaisquer problemas poderiam ser corrigidos inserindo os termos específicos do setor, nomes difíceis e siglas na configuração de vocabulário personalizado das ferramentas.
tl;dv Fireflies você ensine à ferramenta seu próprio vocabulário com base nos planos que executamos; Fathom oferece essa funcionalidade em seu plano Team, o mais completo, e Gemini de forma alguma. Portanto, o que Gemini , do Google, Gemini é o que você recebe, e não há como corrigir ou influenciar o que a ferramenta entende. tl;dv oferece suporte a modelos de resumo personalizados, em vez de um único formato fixo, de modo que o resultado final possa se adequar à forma como sua equipe já redige suas anotações.
Rastreamento de palavras de preenchimento
Uma característica que protege a integridade de uma transcrição fiel é a visibilidade das palavras de preenchimento. Em vez de removê-las e suavizar o registro, tl;dv a única ferramenta que mantém as palavras de preenchimento na própria transcrição, para que você possa ver o que realmente foi dito. Fireflies também Fireflies as palavras de preenchimento, mas como uma métrica separada de análise de fala, em vez de mantê-las na transcrição.
Confiança, Segurança e Valor
Em nossa avaliação, esta seção final se concentra em um dos elementos mais importantes no que diz respeito à gravação de reuniões, a saber: o que acontece com suas gravações após o término da reunião e qual é o custo de operação de cada ferramenta?
Isso tem grande importância na Itália, pois uma reunião gravada no país está sujeita às normas da União Europeia, como o GDPR, que determina onde seus dados são armazenados, os parâmetros de retenção e se eles são ou não utilizados para treinar o modelo de IA de terceiros.
Cada ferramenta é aberta e transparente em relação aos seus preços e não exige uma ligação de vendas. Além disso, cada uma delas possui uma série de certificações e acreditações de segurança que se esperaria de uma ferramenta empresarial. De modo geral, todas as ferramentas que analisamos obtiveram boas notas.
As ferramentas começam a perder pontos principalmente em aspectos como a possibilidade de escolher onde os dados são armazenados. A hospedagem regional na UE, por exemplo, é algo que Fathom, uma empresa americana, não oferece, embora Fireflies, também sediada nos EUA, ofereça essa opção em seu plano mais completo.
Gemini pontos porque não há uma opção gratuita. Mesmo com uma conta paga do Google Workspace, a possibilidade de usar Gemini fazer anotações em italiano — ou em qualquer outro idioma compatível — está restrita a determinados pacotes pagos.
O maior ponto a ser observado diz respeito ao treinamento da IA. Fathom , nas configurações avançadas, uma opção para desativar esse recurso. É preciso localizar essa opção e desativá-la, pois a ferramenta utilizará automaticamente dados de reuniões anonimizados para aprimorar sua própria IA. Para um único usuário, isso pode não ter grande importância, mas é exatamente o tipo de configuração padrão que uma empresa gostaria de conhecer antes de uma implantação em toda a equipe, especialmente quando se trata de conversas confidenciais ou sujeitas a regulamentações.
| Métrico | Como foi a pontuação | tl;dv | Google Gemini | Fireflies | Fathom |
|---|---|---|---|---|---|
| Residência de dados / hospedagem regional | Opções de hospedagem regional, por exemplo, hospedagem na UE sob demanda | 3/3 | 3/3 | 3/3 | 0/3 |
| Segurança e conformidade | Conformidade com a norma SOC 2 Tipo II e com o GDPR | 3/3 | 3/3 | 3/3 | 3/3 |
| Treinamento de IA com áudio do usuário | Isso evita que a IA seja treinada com o seu áudio (nenhum treinamento recebe nota máxima)? | 3/3 | 3/3 | 3/3 | 0/3 |
| Controles de retenção de dados | Controle sobre o prazo de retenção das gravações e transcrições | 3/3 | 3/3 | 3/3 | 3/3 |
| Transparência de preços | Os preços dos planos são publicados, em vez de serem fornecidos apenas mediante cotação | 3/3 | 3/3 | 3/3 | 3/3 |
| Plano gratuito / limites | Disponibilidade de plano gratuito (um período de teste gratuito por si só recebe nota 0) | 3/3 | 0/3 | 3/3 | 3/3 |
| Subtotal de confiança, segurança e valor | 18/18 | 15/18 | 18/18 | 18/12 |
Teste de Precisão de Reuniões em Italiano: Metodologia
Nossa comparação se baseia em um teste controlado e comparativo, projetado para proporcionar as mesmas condições a todas as ferramentas.
O Conjunto de Testes
Para os testes, selecionamos três gravações italianas do arquivo público da Rádio Radicale. Cada uma delas foi escolhida por oferecer informações detalhadas e conter trechos que colocariam as ferramentas à prova em diversos pontos fracos relacionados à terminologia, à velocidade dos locutores e a outros aspectos. A primeira foi a abertura da conferência sobre finanças e inteligência artificial organizada pelo Banco da Itália e pelo Banco Europeu de Investimento, proferida pelo governador Fabio Panetta. Essa gravação, em particular, continha linguagem econômica detalhada em italiano e foi comparada com um texto oficial publicado para referência.
A segunda foi uma cúpula sobre dados de saúde e inteligência artificial, organizada por membros do Senado, que se destacou pela abundância de siglas e terminologia médica misturadas com jargão tecnológico.
O terceiro clip foi a abertura da conferência do Tribunal de Apelação de Nápoles sobre IA, justiça e segurança, escolhido por conter terminologia jurídica, terminologia tecnológica e uma boa seleção de nomes para testar a funcionalidade de nomes próprios.
Cada clip condensado para menos de dez minutos, e cada ferramenta recebeu o mesmo áudio, por uma questão de imparcialidade.
A Resenha
Para o teste cego, cada transcrição e resumo teve o nome da ferramenta, os links e quaisquer outros dados identificáveis removidos, sendo reidentificados com um indicador exclusivo. Isso significava que nem os LLMs nem o falante nativo seriam capazes de identificar qual transcrição ou resumo pertencia a qual ferramenta. Esses resultados anônimos foram então enviados a dois LLMs, o Claude, Anthropic, e o ChatGPT, da OpenAI, que os classificaram de forma independente nas duas primeiras seções do teste.
Em seguida, contamos com a ajuda de Pietro Giucastro, nosso falante nativo de italiano, que verificou as formulações mais complexas e os casos em que as ferramentas apresentaram resultados diferentes, de ouvido, comparando os vídeos originais com os resultados anônimos, a fim de confirmar a pontuação original gerada pela máquina. Todas as três avaliações chegaram exatamente à mesma ordem, confirmando que a classificação se mantém consistente em três testes diferentes, com três avaliações distintas em todos os aspectos.
O conjunto de ferramentas
Selecionamos tl;dv com outras três ferramentas para comparar; cada uma delas foi escolhida por oferecer transcrição em italiano de forma clara em suas campanhas de marketing e por ser do tipo que equipes italianas escolheriam.
- tl;dv sediada na tl;dv e administrada internacionalmente, considerada uma das mais utilizadas para anotações em reuniões multilíngues. Nós a utilizamos no plano Business, mas ela usa o mesmo mecanismo de transcrição que a versão gratuita.
- Google Gemini: incluído porque vem integrado ao Google Workspace, o que faz com que seja o aplicativo de anotações que muitas equipes italianas já têm ativado por padrão.
- Fireflies: aplicativo desenvolvido nos EUA e um dos mais populares aplicativos independentes de anotações com IA, além de ser uma escolha comum entre os usuários italianos.
- Fathom: é uma empresa sediada nos EUA, na qual muitas equipes menores dão seus primeiros passos, por isso representa o segmento gratuito do mercado.
Durante os testes, executamos a ferramenta tanto em uma conta gratuita quanto em uma paga, de modo que os resultados reflitam o que um usuário comum obteria. As execuções em tempo real capturaram apenas uma única fonte de áudio; portanto, nos casos em que a ferramenta aceitava um arquivo enviado, utilizamos uma execução separada com vários locutores para avaliar a qualidade da diarização.
Discriminação do motor e do plano
Embora todas as ferramentas ofereçam transcrição em italiano, elas não utilizam o mesmo mecanismo, o que explica por que os resultados diferem tanto. Os testes tl;dvutilizaram um mecanismo de reconhecimento de fala dedicado da ElevenLabs. Gemini o próprio modelo do Google. Fireflies com o Whisper da OpenAI, de acordo com a documentação atual, com uma camada adicional sobreposta. Fathom um mecanismo de terceiros cujo nome não foi divulgado publicamente. Abaixo, você verá os mecanismos e em qual plano realizamos os testes.
| Ferramenta | Motor/fornecedor subjacente | Próprio ou licenciado | Tipo de motor | Plano |
|---|---|---|---|---|
| tl;dv | ElevenLabs | Licenciado | ASR dedicado | Negócios |
| Google Gemini | Google Gemini | Interno (Google) | LLM | Gemini independente Gemini (conta Business Starter) |
| Fireflies | OpenAI Whisper (mais uma camada de LLM desenvolvida internamente) | Licenciado | ASR dedicado | Profissional |
| Fathom | Terceiros, não especificados publicamente (subprocessadores de IA: OpenAI, Google, Anthropic) | Licenciado | Não divulgado | Grátis |
Escopo e ressalvas
Em qualquer teste, sempre procuraremos garantir que ele seja o mais equilibrado e científico possível; no entanto, pode haver limites.
- Todos os três trechos de teste consistiram em áudio de fonte única para os testes ao vivo; realizamos uma rodada separada com vários alto-falantes nas ferramentas que aceitam arquivos enviados para avaliar a qualidade da diarização.
- O material de referência que utilizamos foi publicado diretamente pela editora, mas não se trata de uma transcrição literal; ele foi revisado, por isso houve um certo grau de flexibilidade incorporado à avaliação com base nisso.
- Fathom grava apenas ao vivo e, no momento em que fizemos o teste, não oferecia a possibilidade de fazer upload diretamente para a plataforma; portanto, não foi possível avaliá-lo quanto à diarização, recebendo nota zero nesse quesito.
- Todas as funcionalidades, confiabilidade e segurança foram avaliadas com base na documentação pública do produto disponível no momento dos testes.
Qual é o melhor software de transcrição de reuniões para o italiano?
No que diz respeito à melhor precisão de transcrição em italiano tl;dv o que apresentou melhor desempenho, captando as reuniões em italiano com maior detalhamento e precisão do que as outras ferramentas testadas. Ele venceu em cada categoria que avaliou a qualidade e ficou 39 pontos à frente na classificação geral. Nos aspectos em que se destacou, ela foi capaz de lidar com frases simples, mas também com as partes mais complexas nas quais as outras ferramentas falharam. Isso ocorreu em áreas como nomes, nomes próprios e detecção geral de entidades, e ela não cometeu erros nem inventou nenhum texto. Isso significa que o resultado pode ser considerado o relato mais fiel do que foi dito em italiano, em comparação com as outras ferramentas que avaliamos.
Além disso, obteve aprovação dos três avaliadores — dois LLMs e um falante nativo —, todos realizando o teste às cegas.
Se você realiza reuniões em italiano e se preocupa com a forma de registrar — e, mais importante ainda, de utilizar — o resultado dessas reuniões sem precisar revisar, tl;dv claramente a melhor opção.
Com recursos robustos, opções de personalização e um MCP nativo que permite integração direta com o Claude ou o ChatGPT, esta é a ferramenta ideal para a transcrição de reuniões em italiano, capaz de transformar suas reuniões em resultados práticos e úteis para você aproveitar.
Experimente tl;dv hoje mesmo na sua próxima reunião em italiano e veja por si mesmo.
Perguntas frequentes sobre a transcrição de reuniões em italiano em 2026
Qual Anotador de Reuniões com IA o mais preciso para reuniões em italiano?
tl;dv 181 tl;dv em 200 em três gravações em italiano avaliadas às cegas, bem à frente do Fireflies, que ficou em segundo lugar. Gemini terceiro, e Fathom . Apenas em termos de precisão bruta de transcrição, tl;dv 61 tl;dv em 65, enquanto os outros três ficaram na casa dos trinta e poucos. Dois LLMs e um falante nativo de italiano, todos avaliando às cegas, chegaram à mesma ordem de classificação.
Os programas de anotação baseados em IA transcrevem as siglas em italiano corretamente?
Apenas tl;dv . Com um áudio sobre saúde contendo EHDS e a diretiva NIS 2, ele capturou ambos corretamente todas as vezes, sem nenhum vocabulário personalizado carregado. Gemini EHDS de três maneiras diferentes em uma única passagem: HDS, HS, HD. Fireflies completamente a NIS 2. Fathom em “URIS 2”.
Os programas de anotação baseados em IA conseguem escrever corretamente os nomes italianos?
A transcrição por IA apresenta erros no italiano?
Fathom . Ele inseriu frases que não constavam no áudio, incluindo “Grazie per aver guardato”, uma despedida no estilo do YouTube que não aparecia na gravação, além de “Grazie a tutti” e um “Siamo capaci di fare noi” fora de contexto. Ele também omitiu uma frase inteira. tl;dv Gemini Fireflies não Fireflies nada.
Como foi avaliada essa prova de transcrição em italiano?
Cego. Todos os transcritos e resumos tiveram os nomes das ferramentas removidos; em seguida, foram avaliados de forma independente por dois LLMs, o Claude e o ChatGPT, e confirmados por Pietro Giucastro, falante nativo de italiano. Todos os três apresentaram a mesma classificação. O áudio foi obtido do acervo público da Radio Radicale. tl;dv o teste e publicou a metodologia completa.
