Krótkie podsumowanie: włoskie narzędzia do transkrypcji i ich dokładność

We blind tested to see which was the most accurate Italian meeting transcription tool. We put tl;dv against three other tools, Google Gemini, Fireflies, and Fathom, to see what would be the best AI notetaker for Italian, and tl;dv came out top with 181 points out of a total of 200. The areas we scored in were: W naszej ocenie wykorzystaliśmy te same włoskie nagrania i ocenialiśmy każdą transkrypcję oraz streszczenie, korzystając zarówno z sztucznej inteligencji, jak i pomocy native speakera języka włoskiego. Zdecydowanym zwycięzcą tl;dv , za nim uplasował się Fireflies, następnie Gemini, a Fathom ostatnim miejscu znalazł się Fathom .
Spis treści
Italian meeting transcription accuracy can vary a lot, despite what the marketing of different meeting tools suggests. Based on our recent testing of different language transcriptions from tools, we often find that what a tool says it can do and the actual output can be very different. So we tested tl;dv’s Italian transcription capabilities against three other tools that offer Italian as a marketed option: Google Gemini, Fathom, and Fireflies. The results were interesting, with some of the tools struggling to capture some of the basics when it came to naturally spoken, native Italian, and through all our testing criteria tl;dv consistently came out on top. Scoring was done independently by two LLMs and confirmed by a native Italian speaker, none of whom knew which tool produced which output. Below is the overall scoring for each section, and we break down each area of testing further to explain how we concluded that the best Italian meeting tool is tl;dv.  
Poziom Max tl;dv Google Gemini Fireflies Fathom
Transkrypcja i dokładność 65 61/65 34/65 34/65 31/65
Jakość spotkań w rzeczywistych warunkach 45 41/45 32/45 32/45 21/45
Możliwości i funkcje 72 61/72 37/72 58/72 50/72
Zaufanie, bezpieczeństwo i wartość 18 18/18 15/18 18/18 18 grudnia
Ogólna ocena 200 181/200 118/200 142/200 114/200
Ranking 1 3 2 4

Transkrypcja spotkania we Włoszech i jej dokładność

These were scored by LLMs (Anthropic’s Claude and OpenAI’s ChatGPT) and then confirmed based on a blind native-speaker assessment, with the tool names hidden. In our first round of testing, we looked at the actual quality of the transcription itself across each of the AI meeting notetakers: Can they write down exactly what was said in Italian? Each tool was given the same set of Italian speech, and the output was marked on specific measures from general accuracy at word-level, to elements such as proper noun recognition, how it managed numbers, and specific technical jargon. In this part of the test, tl;dv came out on top with 61 out of 65 points. The other three tools finished quite closely to each other, in the mid-thirties. This was quite a gap, and below you can see the breakdown of each element we tested and the scoring based on two blind rounds of LLM testing and a native-speaker blind test.
System metryczny Jak przyznawane są punkty tl;dv Google Gemini Fireflies Fathom
Poprawność językowa Ocena stopnia trudności przez nieświadomego, rodzimego użytkownika języka w odniesieniu do poprawności językowej 18/20 20 października 20 września 20 sierpnia
Obsługa specyficzna dla danego języka Znaki diakrytyczne, znaki interpunkcyjne, warianty regionalne, przełączanie kodów językowych 18/20 20 grudnia 13/20 20 grudnia
Ocena wskaźnika błędów w tekście Obliczono na podstawie oficjalnego wykazu ocen lub tekstu odniesienia 5/5 3/5 2/5 1/5
Wykrywanie obiektów Nazwiska, firmy i miejscowości występujące w obsadzie 5/5 3/5 2/5 2/5
Liczby, daty i waluty Liczby, daty i kwoty sformatowane poprawnie w danym języku 5/5 2/5 2/5 4/5
Rozpoznawanie surowych terminów technicznych Terminy branżowe i skróty przed szkoleniem dostosowanym do potrzeb klienta 5/5 1/5 2/5 2/5
Interpunkcja i podział na segmenty Podział na zdania i akapity w wynikach testu 5/5 3/5 4/5 2/5
Suma częściowa za transkrypcję i dokładność 61/65 34/65 34/65 31/65

Jak dokładne są poszczególne narzędzia serwisu Everyday Italian?

Each tool did a fairly good job at capturing general day-to-day Italian. None produced a transcript that was hard to follow or littered with large errors, which isn’t the case for some of the other languages we have tested, including francuski oraz niemiecki. tl;dv was the strongest by a fair margin. There was a specific section of audio, centered around finance, which we were able to check directly against a confirmed, published reference text. tl;dv was able to track the original format almost word-for-word, with some discrepancies, as the published text had been cleaned up, whereas tl;dv was able to keep it verbatim.
tl;dv transkrypcji spotkania we Włoszech wraz ze streszczeniem
Ujęcie podsumowujące „ tl;dv ” tl;dv jednego z przejazdów testowych

Gemini Fireflies również całkiem nieźle w przypadku zwykłych zdań. Pojawiły się jednak pewne bardzo konkretne błędy, takie jak„aduzione”zamiast„adozione”,„traduzionali”zamiast„tradizionali”czy„veramente”w miejscu, gdzie mówca użyłsłowa „meramente”. Fireflies przekształciło Fireflies wyrażenie„capitale di rischio”w„capirebbe il rischio”, co nie jest prawdziwym terminem.

Spośród czterech przetestowanych narzędzi Fathom wygenerowało najwięcej błędów. W niektórych fragmentach sztuczna inteligencja wydawała się próbować odgadnąć konkretne wyrażenia, zamieniając„Basti pensare”na„Passi a pensare”, a„manifattura”na„manufattura”.Było też zdanie dotyczące finansowania pacjentów i kapitału wysokiego ryzyka, którego Fathom w ogóle Fathom zrozumiało.

Jeśli chodzi o czystą poprawność języka włoskiego, Fathom najsłabiej.

Które narzędzia poprawnie przetłumaczają włoskie skróty i terminy techniczne?

Spotkania często obfitują w niezwykle specjalistyczne terminy i skróty, które mogą mieć ogromne znaczenie dla ogólnego kontekstu samego spotkania. W ramach naszych testów dotyczących transkrypcji z języka włoskiego każdy clip wybrany na podstawie ilości żargonu technicznego, aby sprawdzić, jak łatwo został on rozpoznany przez narzędzia do transkrypcji. Jeden z nich, dotyczący opieki zdrowotnej, zawierał wiele terminów, które były włoskimi skrótami określającymi konkretne pojęcia. Obejmowały one rozporządzenie EHDS, dyrektywę NIS 2, a także szereg terminów związanych z cyberbezpieczeństwem i interoperacyjnością.

Spośród wszystkich czterech narzędzi tylko tl;dv sobie z zachowaniem poprawności, za każdym razem poprawnie rozpoznając skróty EHDS i NIS 2, bez konieczności ładowania do interfejsu żadnego niestandardowego słownika.

Dla porównania, Gemini „NIS 2”w„IS2”, askrót „EHDS”w tym samym fragmencie zaprezentowało na trzy różne sposoby: najpierw jako„HDS”, potem jako„HS”, a następnie jako„HD”.

Podobnie w grze Fireflies pominięto„NIS 2”, askrót„EHDS”zmieniono na„HDS”.

Fathom je przeoczył, zmieniając„NIS 2”na„URIS 2”, a„EHDS”na„HTS”.

Można to poprawić, a wiele z tych narzędzi oferuje możliwość dostosowania słownictwa, jednak ważniejsze jest przede wszystkim prawidłowe uchwycenie tych zwrotów w płynnej mowie włoskiej.

W tych konkretnych aspektach serwis tl;dv maksymalną liczbę punktów.

Jak dobrze radzą sobie z liczbami i datami w języku włoskim?

W przypadku dat i liczb nawet pojedynczy błąd może całkowicie zmienić znaczenie całego zdania, dlatego analizowaliśmy je osobno. W przemówieniu na temat opieki zdrowotnej kluczową rolę odegrała jedna liczba: termin 2029 r. dotyczący Europejskiej Przestrzeni Danych Zdrowotnych. Fathom tl;dv Fathom bezbłędnie to wychwyciły. Gemini tę liczbę do „202”, co można odczytać jako literówkę lub zupełnie inną liczbę, i zrobiło to więcej niż raz. Fireflies tę liczbę słownie, ale popełnił błąd, wpisując„duemilaventidove”zamiast„duemilaventinove”.

tl;dv pięć punktów, Fathom , a Gemini Fireflies po Fireflies .

Czy systemy notatnikowe oparte na sztucznej inteligencji poprawnie zapisały włoskie nazwiska?

W jednym z filmików pojawiła się obszerna lista nazwisk, dzięki czemu mogliśmy sprawdzić, jak dobrze narzędzia radzą sobie z włoskimi nazwiskami. Ma to naprawdę kluczowe znaczenie w takich obszarach jak sprzedaż, gdzie mamy do czynienia z nazwiskami potencjalnych klientów i kluczowych interesariuszy w ramach zintegrowanego systemu CRM.

Na liście nazwisk znalazły się między innymi: Gratteri, Frattasi i Melillo, a także Valensise, Morrone, Caravelli, Di Monte i Costanzo. Narzędzia stosowane w poszczególnych przypadkach znacznie się od siebie różniły.

tl;dv z prawidłowym przetworzeniem całej listy i było jedynym narzędziem, które poprawnie rozpoznało nazwisko„Angelo Costanzo”, a nie„Costanto”.

Fathom rozpoznał nazwisko „Giovanni Caravelli”– podczas gdy dwa inne narzędzia dodały błędne imię„Gianni”– jednak przekształcił nazwisko„Simona Di Monte”w„Simone Di Monti”.

Fireflies Gemini Fireflies pominęły wiele z nich, a następnie uchwyciły„Battarella”zamiast„Mattarella”– błąd ten powtórzył Fathom .

tl;dv tu pięć punktów; reszta uzyskała po dwa lub trzy punkty po uwzględnieniu błędów.

Jakość spotkań w praktyce

Dokładność transkrypcji ma kluczowe znaczenie dla jakości wyników, ale warto również zastanowić się nad tym, w jaki sposób wyniki te przekładają się na inne obszary codziennej pracy. Wyniki uzyskane za pomocą wszystkich czterech testowanych narzędzi zawierają również takie elementy, jak streszczenia, a aby asystent spotkań oparty na sztucznej inteligencji był warty wykorzystania, muszą one być na tyle dobre, by można je było przesyłać innym osobom.

W tej części naszych testów dotyczących transkrypcji spotkań w języku włoskim przeanalizowaliśmy takie elementy, jak wskaźniki pomyłek, jakość streszczeń oraz zalecenia do realizacji.

Przyjrzeliśmy się również jakości diaryzacji, która w przypadku narzędzi, które mogliśmy przetestować, wypadła dobrze – Gemini podania wskazówki, zanim w ogóle dokonało rozdzielenia mówców. Nie Fathom ocenić Fathom w tym zakresie, ponieważ narzędzie to nagrywa wyłącznie na żywo, a nasze testy na żywo opierały się na jednym źródle.

W tej sekcji serwis tl;dv najwyższe oceny.

System metryczny Jak przyznawane są punkty tl;dv Google Gemini Fireflies Fathom
Jakość diaryzacji Zgodność liczby mówców i przypisania kwestii z znaną obsadą 9/10 7/10 8/10 0/10
Stabilność zachowania Stabilność zachowań w różnych typach sesji 9/10 6/10 5/10 4/10
Podsumowanie jakości Przydatność streszczenia oraz to, czy zachowano je w języku źródłowym, z uwzględnieniem zapożyczeń 5/5 4/5 3/5 5/5
Częstotliwość występowania halucynacji / wstawek Wymyślony, zapętlony lub powielony tekst, który nie występuje w nagraniu audio, z niewielkimi korektami w przypadkach, gdy błędne zrozumienie zmieniło znaczenie 10/10 9/10 9/10 4/10
Wyodrębnianie działań do wykonania Jakość zadań i działań następczych wynikających ze spotkania 4/5 2/5 4/5 3/5
Automatyczne podział na rozdziały / sekcje Czy streszczenie dzieli spotkanie na przydatne części? 4/5 4/5 3/5 5/5
Suma częściowa dotycząca jakości spotkań w praktyce   41/45 32/45 32/45 21/45

Które narzędzia generują halucynacje lub wymyślają tekst?

Halucynacje są jednym z największych powodów do niepokoju, z jakimi borykają się ludzie w kontekście sztucznej inteligencji. Jeśli narzędzie wymyśla i fałszuje sformułowania, działania lub cokolwiek innego, może to prowadzić do poważnych błędów i potencjalnie poważniejszych problemów. Pojedyncze źle usłyszane słowo może być irytujące, ale zazwyczaj łatwo je wykryć; całe fragmenty zmyślonego tekstu mogą być znacznie gorsze.

W naszej recenzji stwierdziliśmy, że tl;dv absolutnie niczego do żadnej z sesji nagraniowych. Każdy element był wierny oryginałowi i nie wprowadzał żadnych zmian w stosunku do tego, co zostało powiedziane.

Gemini Fireflies zdołały uniknąć wymyślania i dodawania jakichkolwiek niepasujących lub zmyślonych elementów podczas transkrypcji na język włoski. Obie uzyskały wynik niewiele niższy od maksymalnego, a punkty zostały im odjęte raczej za błędne zrozumienie, które zmieniło znaczenie, a nie za jakiekolwiek domysły.

Fathom wstawił jednak całe frazy, które nigdy nie pojawiły się w nagraniu. W jednej z transkrypcji pojawiło się„Grazie per aver guardato”, co oznacza „dziękujemy za obejrzenie”. Inne zdania, które się pojawiły, to„Grazie a tutti”oraz pojedyncze„Siamo capaci di fare noi”. Jak wspomniano również w pierwszej części naszego artykułu, w sekcji poświęconej finansom pominięto całe zdanie.

Fathom ” po włosku
Halucynacja Fathom i błędne zrozumienie akronimu

Jest to niepokojące, ponieważ zmyślony fragment w skądinąd dobrym zapisie może stanowić potencjalnie najpoważniejszą wadę, jaką może wykazać jakikolwiek system do sporządzania notatek oparty na sztucznej inteligencji. Jest raczej mało prawdopodobne, aby ktoś sprawdził streszczenie przed jego wysłaniem, jeśli brzmi ono poprawnie.

Które narzędzie pozwala sporządzić najlepsze podsumowanie spotkania w języku włoskim?

Właśnie w tym obszarze niektóre z narzędzi, które wcześniej miały trudności, wypadły całkiem dobrze. Mimo że Fathomosiągnął najgorszy wynik w zakresie transkrypcji, Fathomstreszczenie należało do najlepszych. Było dobrze uporządkowane pod kątem celu i kluczowych tematów, a błędy z transkrypcji, takie jak „EHDS”, pojawiły się w streszczeniu poprawnie, co jest dziwne, biorąc pod uwagę, że w surowym zapisie były one tak bardzo błędne.

tl;dv im pod względem przydatności i poprawności. Gemini przygotowało solidne streszczenie, choć nie tak dobre jak pozostałe. Fireflies niezwykle szczegółowe notatki podsumowujące; były one jednak niezwykle długie i trudno było je przejrzeć pobieżnie.

Podsumowanie znajduje się nad surowym zapisem, więc jest prawdopodobne, że sztuczna inteligencja może je na tym etapie „uporządkować”. Zwraca jednak uwagę, że solidne podsumowania niekoniecznie oznaczają, że rzeczywiste dane zapisane w surowym zapisie faktycznie się z nimi zgadzają. 

W jakim stopniu poszczególne narzędzia sprawdzają się w różnych rodzajach spotkań?

Jednym z obszarów, którym się zajęliśmy, była stabilność behawioralna. Porównanie streszczeń z transkrypcjami w przypadku języka włoskiego wykazało, że mogą występować pewne różnice w skuteczności, z jaką narzędzia te radzą sobie z różnymi spotkaniami.

tl;dv wysoką stabilność podczas wszystkich testów, uzyskując wynik 9 na 10. Gemini również Gemini dość dużą spójnością, choć w szczegółach wypadło nieco przeciętnie. Fireflies kilka chwiejnych momentów, borykając się z akronimami z dziedziny opieki zdrowotnej. Najgorzej Fathom – radziło sobie dobrze, gdy tematem była sprawiedliwość, miało jednak trudności z terminologią finansową, a w przypadku tematu związanego z opieką zdrowotną po prostu wymyślało tekst.

Możliwości i funkcje

Oprócz włoskich transkrypcji i streszczeń generowanych przez każde z tych narzędzi, każde z nich znacznie różni się pod względem sposobu, w jaki prezentuje swoje ogólne możliwości. tl;dv przykład tl;dv to coś więcej niż tylko asystent spotkań oparty na sztucznej inteligencji – jest to kompletny pakiet oferujący pamięć organizacyjną, coaching, wielowarstwowe korzyści oraz możliwość bezpośredniej integracji z systemami CRM, Claude i ChatGPT.

W tej sekcji przyjrzymy się, jak poszczególne narzędzia wypadły pod względem różnych możliwości rozszerzania i wykorzystywania danych, funkcji oraz ogólnej jakości niektórych elementów, takich jak szybkość przetwarzania i dokładność znaczników czasu.

W tej kategorii ponownie tl;dv z wynikiem 61 na 72, a za nim uplasował się Fireflies 58; Fathom Gemini niższe.

System metrycznyJak przyznawane są punktytl;dvGoogle GeminiFirefliesFathom
Automatyczne rozpoznawanie mówcówAutomatycznie rozpoznaje prawdziwych mówców na obsługiwanych platformach5/55/55/55/5
Rozpoznawanie głosuMożliwość przeprowadzenia treningu rozpoznawania głosu dla własnego głosu użytkownika5/50/50/50/5
Nagrywanie bez botówNagrywa za pomocą wbudowanego systemu audio bez włączania bota do rozmowy5/55/55/55/5
Synchronizacja CRMTryb natywny i synchronizacja automatyczna3/30/33/33/3
Notatki niestandardowe / szablonyFormaty podsumowań z możliwością dostosowania a stały format wyników3/30/33/33/3
Szkolenie w zakresie niestandardowego słownictwa / encjiNauczaj terminów branżowych i skrótów5/50/55/55/5
Lokalizacja interfejsu użytkownika na język włoskiCzy sam interfejs produktu jest dostępny w języku włoskim0/55/50/50/5
Zakres integracjiSlack, kalendarz, Zapier, API3/33/33/33/3
Szybkość przetwarzaniaCzas od zakończenia spotkania do gotowego zapisu3/31/33/33/3
Śledzenie słów wypełniającychUtwory… hm, to znaczy… no więc bez podwajania dźwięków spowodowanego jąkaniem. Zapewnia pełną czytelność transkrypcji wypowiedzi, zamiast nadmiernego wygładzania3/30/30/30/3
Dokładność znacznika czasuSprawdź wyrywkowo, czy znaczniki czasu odpowiadają właściwym momentom3/33/32/30/3
Dostępność tłumaczeńCzy potrafi przetłumaczyć notatki ze spotkania i na ile języków?3/30/33/33/3
Wyszukaj w transkrypcjiWyszukiwanie w treści spotkania i w bibliotece3/33/33/33/3
Interfejs użytkownika do edycji transkrypcjiCzy można łatwo poprawić transkrypcję po fakcie?3/33/33/33/3
Formaty eksportuSRT, VTT, TXT, DOCX i podobne0/33/33/30/3
Transkrypcja na żywo / w czasie rzeczywistymCzy podczas spotkania wyświetlany jest na żywo zapis rozmowy?0/33/33/33/3
Zasięg platformy konferencyjnejOmówienie usług Zoom, Meet, Teams i Webex3/30/33/33/3
Przechwytywanie z aplikacji mobilnejCzy umożliwia nagrywanie spotkań stacjonarnych za pomocą aplikacji mobilnej?3/33/33/30/3
Wbudowany serwer MCPWłasny serwer, umożliwiający asystentom AI przeszukiwanie biblioteki spotkań5/50/55/55/5
Edycja etykiet głośnikówCzy można zmienić nazwy i przyporządkowanie głośników po zakończeniu konfiguracji?3/30/33/33/3
Suma częściowa: możliwości i funkcje 61/7237/7258/7250/72

Nagrywanie i obsługa głośników

Wszystkie cztery narzędzia oferują funkcję automatycznego rozpoznawania mówców na głównych platformach do spotkań, więc pod tym względem są dość wyrównane. Obszar, w którym niektóre narzędzia, zwłaszcza tl;dv, wyraźnie się wyróżniają, to stopień szczegółowości, z jakim potrafią to robić.

Spośród czterech przetestowanych narzędzi tylko tl;dv możliwość szkolenia w zakresie rozpoznawania głosu – po jednorazowym zarejestrowaniu głosu aplikacja będzie w stanie rozpoznać użytkownika podczas przyszłych spotkań, o ile wyrazi on na to zgodę.

Trzy z tych narzędzi umożliwiają zmianę oznaczeń mówców bezpośrednio w interfejsie: tl;dv, Fireflies Fathom. W Gemini, ze względu na sposób przetwarzania i wyświetlania transkrypcji (w formacie Google Docs), jest to technicznie możliwe, ale wymaga ręcznej ingerencji. W rezultacie, biorąc pod uwagę wszystkie aspekty, Gemini najbardziej ograniczone spośród tych czterech narzędzi pod względem kontroli nad mówcami, tracąc punkty za brak możliwości edycji i zmiany oznaczeń.

Jeśli należysz do zespołu, który udostępnia nagrania ze spotkań w całej firmie, muszą one zawierać wyraźne i prawidłowo przypisane wypowiedzi poszczególnych mówców – jest to zatem istotny czynnik odróżniający, w którym narzędzie Google pozostaje w tyle.

Dostosowywanie i nauka słownictwa

Wiąże się to z błędami w skrótach i nazewnictwie, które wykryliśmy we włoskiej transkrypcji w pierwszej części oceny. Wszelkie problemy można by rozwiązać, wprowadzając terminy branżowe, trudne nazwy i skróty do ustawień słownika niestandardowego w tych narzędziach.

tl;dv Fireflies nauczanie narzędzia własnego słownictwa w ramach oferowanych przez nie planów, Fathom tę funkcję Fathom w ramach najwyższego planu „Team”, a Gemini w ogóle Gemini nie Gemini . W rezultacie otrzymujesz dokładnie to, co Gemini od Google, i nie ma możliwości skorygowania ani wpłynięcia na to, co narzędzie „usłyszy”. tl;dv obsługuje tl;dv niestandardowe szablony podsumowań zamiast jednego stałego formatu, dzięki czemu wynik może być dostosowany do sposobu, w jaki Twój zespół już sporządza notatki.

Śledzenie słów wypełniających

Jedną z funkcji zapewniających integralność autentycznego zapisu rozmowy jest widoczność słów wypełniających. Zamiast je usuwać i wygładzać zapis, tl;dv jedynym narzędziem, które zachowuje słowa wypełniające w samym zapisie, dzięki czemu można zobaczyć, co faktycznie zostało powiedziane. Fireflies również Fireflies słowa wypełniające, ale traktuje je jako odrębny wskaźnik analityki mowy, zamiast uwzględniać je w samym zapisie.

Zaufanie, bezpieczeństwo i wartość

W naszej ocenie ta ostatnia sekcja skupia się na jednym z najważniejszych aspektów związanych z nagrywaniem spotkań, a mianowicie na tym, co dzieje się z nagraniami po zakończeniu spotkania oraz ile kosztuje korzystanie z poszczególnych narzędzi?

Ma to duże znaczenie we Włoszech, ponieważ nagranie spotkania zarejestrowanego we Włoszech podlega przepisom UE, takim jak RODO, które określają miejsce przechowywania danych, zasady ich przechowywania oraz to, czy są one wykorzystywane do szkolenia cudzego modelu sztucznej inteligencji.

Każde z tych narzędzi charakteryzuje się przejrzystą i otwartą polityką cenową oraz nie wymaga kontaktów z przedstawicielami handlowymi. Każde z nich posiada również szereg certyfikatów bezpieczeństwa i akredytacji, których można oczekiwać od narzędzia biznesowego. Ogólnie rzecz biorąc, wszystkie analizowane przez nas narzędzia uzyskały dobre oceny.

Narzędzia zaczynają tracić punkty głównie w takich obszarach, jak możliwość wyboru lokalizacji przechowywania danych. Na przykład hosting w regionach UE to usługa, której amerykańska firma Fathom nie oferuje, podczas gdy Fireflies – również z siedzibą w USA – udostępnia ją w ramach swojego najwyższego planu.

Gemini punkty, ponieważ nie ma darmowej opcji. Nawet w przypadku płatnego konta Google Workspace możliwość korzystania z Gemini sporządzania notatek w języku włoskim lub w jakimkolwiek innym języku, który obsługuje ta aplikacja, jest ograniczona do określonych płatnych pakietów.

Najważniejszą kwestią jest szkolenie sztucznej inteligencji. W głębi ustawień Fathom przełącznik umożliwiający wyłączenie tej funkcji. Należy go znaleźć i wyłączyć, ponieważ narzędzie to będzie automatycznie wykorzystywać zanonimizowane dane ze spotkań do ulepszania własnej sztucznej inteligencji. Dla pojedynczego użytkownika może to nie mieć większego znaczenia, ale jest to właśnie ten rodzaj domyślnego ustawienia, o którym firma powinna wiedzieć przed wdrożeniem rozwiązania w całym zespole, zwłaszcza jeśli zajmuje się ona rozmowami o charakterze poufnym lub podlegającymi regulacjom.

Funkcja Fathom Training jest domyślnie włączona
Funkcja „AI Training” Fathom jest domyślnie włączona
System metrycznyJak przyznawane są punktytl;dvGoogle GeminiFirefliesFathom
Lokalizacja danych / hosting regionalnyRegionalne opcje hostingu, np. hosting w UE na żądanie3/33/33/30/3
Bezpieczeństwo i zgodność z przepisamiZgodność z normą SOC 2 typu II oraz z rozporządzeniem RODO3/33/33/33/3
Szkolenie modelu AI na podstawie nagrań audio użytkownikówCzy to pozwala uniknąć szkolenia sztucznej inteligencji na Twoich nagraniach audio (brak szkolenia oznacza maksymalną liczbę punktów)?3/33/33/30/3
Kontrola przechowywania danychKontrola nad okresem przechowywania nagrań i transkrypcji3/33/33/33/3
Przejrzystość cenCeny planów są publikowane, a nie podawane wyłącznie na zapytanie3/33/33/33/3
Pakiet bezpłatny / limityDostępność bezpłatnego planu (sama bezpłatna wersja próbna otrzymuje 0 punktów)3/30/33/33/3
Suma częściowa: zaufanie, bezpieczeństwo i wartość 18/1815/1818/1818 grudnia

Test dokładności pomiarów we Włoszech: Metodologia

Nasze porównanie opiera się na kontrolowanym teście, w którym porównujemy produkty o identycznych parametrach, tak aby zapewnić każdemu narzędziu takie same warunki.

Zestaw testowy

Do celów testowych wybraliśmy trzy włoskie nagrania z publicznego archiwum Radio Radicale. Każde z nich zostało wybrane ze względu na zawarte w nim szczegółowe informacje oraz fragmenty, które pozwoliłyby sprawdzić słabe punkty narzędzi w zakresie terminologii, tempa wypowiedzi mówców i innych aspektów. Pierwszym z nich było przemówienie inauguracyjne wygłoszone przez prezesa Fabio Panettę podczas konferencji Banca d’Italia i Europejskiego Banku Inwestycyjnego poświęconej finansom i sztucznej inteligencji. Nagranie to charakteryzowało się w szczególności szczegółowym językiem ekonomicznym w języku włoskim, a do celów porównawczych udostępniono również opublikowany oficjalny tekst.

Drugim wydarzeniem był szczyt poświęcony danym dotyczącym zdrowia i sztucznej inteligencji, zorganizowany przez członków Senatu, który wyróżniał się dużą ilością akronimów oraz terminologii medycznej przeplatanej żargonem technicznym.

Trzecim clip było otwarcie konferencji Sądu Apelacyjnego w Neapolu poświęconej sztucznej inteligencji, wymiarowi sprawiedliwości i bezpieczeństwu; wybrano go ze względu na terminologię prawniczą, terminologię techniczną oraz bogaty wybór nazwisk, co pozwoliło sprawdzić działanie funkcji rozpoznawania nazw własnych.

Każdy clip skrócony do mniej niż dziesięciu minut, a dla zachowania sprawiedliwości do każdego narzędzia dołączono ten sam materiał dźwiękowy.

Recenzja

W ramach testów ślepych z każdej transkrypcji i streszczenia usunięto nazwę narzędzia, linki oraz wszelkie inne dane umożliwiające identyfikację, a następnie oznaczono je unikalnym identyfikatorem. Oznaczało to, że ani modele LLM, ani native speaker nie byli w stanie ustalić, która transkrypcja lub które streszczenie pochodziło z danego narzędzia. Te zanonimizowane wyniki zostały następnie przesłane do dwóch modeli LLM – Claude Anthropicoraz ChatGPT firmy OpenAI – które niezależnie od siebie oceniły je w pierwszych dwóch częściach testu.

Następnie poprosiliśmy o pomoc Pietro Giucastro, którego językiem ojczystym jest włoski. Sprawdził on na słuch najtrudniejsze sformułowania oraz przypadki, w których narzędzia dawały różne wyniki, porównując je z oryginalnymi filmami i zanonimizowanymi wynikami, aby potwierdzić pierwotną ocenę maszynową. Wszystkie trzy oceny dały dokładnie tę samą kolejność, co potwierdza, że ranking jest spójny w trzech różnych testach, opartych na trzech różnych kryteriach oceny.

Zestaw narzędzi

Wybraliśmy tl;dv z trzema innymi narzędziami do porównania; każde z nich zostało wybrane, ponieważ w swoich materiałach marketingowych wyraźnie podkreślają możliwość transkrypcji w języku włoskim i są to narzędzia, z których korzystałyby włoskie zespoły.

  • tl;dv: Narzędzie z siedzibą w UE, obsługiwane na skalę międzynarodową, będące jednym z najczęściej używanych programów do sporządzania notatek podczas wielojęzycznych spotkań. Korzystaliśmy z niego w ramach planu Business, ale pod maską wykorzystuje ten sam silnik transkrypcji, co wersja darmowa.
  • Google Gemini: uwzględniono tę aplikację, ponieważ jest ona dołączona do pakietu Google Workspace, co sprawia, że jest to narzędzie do sporządzania notatek, z którego wiele włoskich zespołów korzysta już domyślnie.
  • Fireflies: amerykańska aplikacja, jedna z najpopularniejszych samodzielnych aplikacji do sporządzania notatek opartych na sztucznej inteligencji, często wybierana przez włoskich użytkowników.
  • Fathom: platforma z siedzibą w Stanach Zjednoczonych, od której zaczyna wiele mniejszych zespołów, więc reprezentuje ona bezpłatną część rynku.

Podczas testów uruchamialiśmy narzędzie zarówno na koncie bezpłatnym, jak i płatnym, więc wyniki odzwierciedlają to, co uzyskałby zwykły użytkownik. W testach na żywo rejestrowano tylko jedno źródło dźwięku, więc w przypadkach, gdy narzędzie pozwalało na wykorzystanie przesłanego pliku, przeprowadzaliśmy oddzielny test z udziałem wielu mówców, aby ocenić jakość diaryzacji.

Podział silnika i planu

Chociaż wszystkie narzędzia oferują transkrypcję języka włoskiego, nie działają one w oparciu o ten sam silnik, co wyjaśnia, dlaczego wyniki tak bardzo się różnią. W testach tl;dvwykorzystano dedykowany silnik rozpoznawania mowy firmy ElevenLabs. Gemini własnego modelu Google’a. Fireflies , zgodnie z aktualną dokumentacją, Fireflies oparciu o silnik Whisper firmy OpenAI, z dodatkową warstwą nałożoną na niego. Fathom silnika innej firmy, którego nazwa nie została publicznie ujawniona. Poniżej przedstawiono silniki oraz plany, w ramach których przeprowadzono testy.

NarzędziePodstawowy silnik/dostawcaWłasne lub na licencjiTyp silnikaPlan
tl;dvElevenLabsPosiada licencjęDedykowany ASRBiznes
Google GeminiGoogle GeminiWewnętrzne (Google)LLMSamodzielna Gemini (konto Business Starter)
FirefliesOpenAI Whisper (wraz z własną warstwą LLM)Posiada licencjęDedykowany ASRPro
FathomPodmioty zewnętrzne, nieujawnione publicznie (podwykonawcy w zakresie sztucznej inteligencji: OpenAI, Google, Anthropic)Posiada licencjęNie podanoBezpłatny

Zakres i zastrzeżenia

W przypadku każdego badania zawsze staramy się zapewnić, by było ono jak najbardziej wyważone i oparte na zasadach naukowych; jednakże mogą istnieć pewne ograniczenia.

  • Wszystkie trzy klipy testowe stanowiły materiał audio z jednego źródła podczas testów na żywo; przeprowadziliśmy oddzielną serię testów z wykorzystaniem wielu głośników w narzędziach obsługujących pliki przesłane przez użytkowników, aby ocenić jakość diarizacji.
  • Wykorzystane przez nas materiały źródłowe pochodzą bezpośrednio od wydawcy, ale nie stanowią wiernego, dosłownego zapisu; zostały one oczyszczone, dlatego w systemie punktacji uwzględniono pewną elastyczność w związku z tym faktem.
  • Fathom umożliwia jedynie nagrywanie na żywo i – w momencie przeprowadzania naszych testów – nie oferował możliwości bezpośredniego przesyłania materiałów na platformę, w związku z czym nie można było ocenić go pod kątem funkcji dziennika i otrzymał on w tym zakresie ocenę zerową.
  • Wszystkie funkcje, poziom zaufania i bezpieczeństwo opierały się na aktualnej, publicznie dostępnej dokumentacji produktu obowiązującej w momencie przeprowadzania testów.

Jakie jest najlepsze oprogramowanie do transkrypcji spotkań w języku włoskim?

Jeśli chodzi o najwyższą dokładność transkrypcji w języku włoskim, najlepsze wyniki tl;dv , które odnotowało przebieg włoskich spotkań bardziej szczegółowo i dokładniej niż pozostałe testowane narzędzia. Zwyciężyło w każdej kategorii oceniającej jakość i uzyskało 39 punktów przewagi w klasyfikacji ogólnej. W kategoriach, w których zwyciężyło, radziło sobie nie tylko z prostymi zdaniami, ale także z trudniejszymi fragmentami, z którymi inne narzędzia nie dały sobie rady. Dotyczyło to takich obszarów, jak imiona i nazwiska, nazwy własne oraz ogólne rozpoznawanie encji, a narzędzie nie generowało błędnych treści ani nie wymyślało żadnych fragmentów tekstu. Oznacza to, że w porównaniu z innymi ocenianymi przez nas narzędziami można mieć pewność, że wynik stanowi najwierniejsze odzwierciedlenie tego, co zostało powiedziane w języku włoskim.

Zwyciężył również w ocenie wszystkich trzech sędziów – dwóch ekspertów z dziedziny prawa i jednego native speakera – którzy przeprowadzili testy w trybie ślepym.

Jeśli organizujesz spotkania w języku włoskim i zależy Ci na tym, jak rejestrować, a co ważniejsze – jak wykorzystywać wyniki tych spotkań bez konieczności ich sprawdzania, tl;dv tu zdecydowanym zwycięzcą.

Dzięki solidnym funkcjom, możliwościom dostosowania oraz natywnemu interfejsowi MCP, który można bezpośrednio podłączyć do Claude’a lub ChatGPT, jest to idealne narzędzie do transkrypcji spotkań w języku włoskim, które przekształci Twoje spotkania w praktyczne i przydatne materiały, z których będziesz mógł skorzystać.

Wypróbuj tl;dv dziś podczas następnego spotkania z Włochami i przekonaj się sam.

Najczęściej zadawane pytania dotyczące transkrypcji spotkań w języku włoskim w 2026 roku

tl;dv 181 na 200 punktów w trzech ocenianych na ślepo włoskich nagraniach, znacznie wyprzedzając zajmujące drugie miejsce Fireflies. Trzecie Gemini , a Fathom . Biorąc pod uwagę wyłącznie dokładność transkrypcji tl;dv 61 na 65 tl;dv , podczas gdy pozostałe trzy systemy osiągnęły wyniki w połowie trzydziestki. Dwa modele LLM oraz native speaker języka włoskiego, oceniający na ślepo, ustalili tę samą kolejność.

Tylko tl;dv . W przypadku nagrania dotyczącego opieki zdrowotnej, zawierającego terminy EHDS i NIS 2, za każdym razem poprawnie rozpoznał oba terminy bez konieczności ładowania niestandardowego słownika. Gemini w jednym fragmencie Gemini EHDS na trzy różne sposoby: HDS, HS, HD. Fireflies całkowicie Fireflies NIS 2. Fathom ten termin w „URIS 2”.

Z pewnymi nieścisłościami, z wyjątkiem tl;dv. W porównaniu z listą obecności zawierającą nazwiska Gratteri, Frattasi, Melillo, Valensise i Caravelli, tl;dv poprawnie tl;dv każde nazwisko i było jedynym narzędziem, które zapisało Angelo Costanzo zamiast „Costanto”. Gemini, Fireflies Fathom wyświetliły „Battarella” zamiast Mattarella. Fathom Simona Di Monte na „Simone Di Monti”.

Fathom . Wstawił frazy, których nie było w nagraniu, w tym „Grazie per aver guardato” – zwrot kończący w stylu YouTube’a, którego nie ma w nagraniu – a także „Grazie a tutti” i pojedyncze zdanie „Siamo capaci di fare noi”. Pominął też całe zdanie. tl;dv Gemini Fireflies niczego Fireflies .

W sposób ślepy. Z każdego transkryptu i streszczenia usunięto nazwy narzędzi, a następnie każdy z nich został niezależnie oceniony przez dwa modele LLM – Claude’a i ChatGPT – oraz zweryfikowany przez Pietro Giucastro, którego językiem ojczystym jest włoski. Wszystkie trzy źródła podały ten sam ranking. Nagrania audio pochodziły z publicznego archiwum Radio Radicale. tl;dv test i opublikował pełny opis metodologii.