Krótkie podsumowanie: włoskie narzędzia do transkrypcji i ich dokładność
We blind tested to see which was the most accurate Italian meeting transcription tool. We put tl;dv against three other tools, Google Gemini, Fireflies, and Fathom, to see what would be the best AI notetaker for Italian, and tl;dv came out top with 181 points out of a total of 200. The areas we scored in were: W naszej ocenie wykorzystaliśmy te same włoskie nagrania i ocenialiśmy każdą transkrypcję oraz streszczenie, korzystając zarówno z sztucznej inteligencji, jak i pomocy native speakera języka włoskiego. Zdecydowanym zwycięzcą tl;dv , za nim uplasował się Fireflies, następnie Gemini, a Fathom ostatnim miejscu znalazł się Fathom .| Poziom | Max | tl;dv | Google Gemini | Fireflies | Fathom |
|---|---|---|---|---|---|
| Transkrypcja i dokładność | 65 | 61/65 | 34/65 | 34/65 | 31/65 |
| Jakość spotkań w rzeczywistych warunkach | 45 | 41/45 | 32/45 | 32/45 | 21/45 |
| Możliwości i funkcje | 72 | 61/72 | 37/72 | 58/72 | 50/72 |
| Zaufanie, bezpieczeństwo i wartość | 18 | 18/18 | 15/18 | 18/18 | 18 grudnia |
| Ogólna ocena | 200 | 181/200 | 118/200 | 142/200 | 114/200 |
| Ranking | 1 | 3 | 2 | 4 |
Transkrypcja spotkania we Włoszech i jej dokładność
These were scored by LLMs (Anthropic’s Claude and OpenAI’s ChatGPT) and then confirmed based on a blind native-speaker assessment, with the tool names hidden. In our first round of testing, we looked at the actual quality of the transcription itself across each of the AI meeting notetakers: Can they write down exactly what was said in Italian? Each tool was given the same set of Italian speech, and the output was marked on specific measures from general accuracy at word-level, to elements such as proper noun recognition, how it managed numbers, and specific technical jargon. In this part of the test, tl;dv came out on top with 61 out of 65 points. The other three tools finished quite closely to each other, in the mid-thirties. This was quite a gap, and below you can see the breakdown of each element we tested and the scoring based on two blind rounds of LLM testing and a native-speaker blind test.| System metryczny | Jak przyznawane są punkty | tl;dv | Google Gemini | Fireflies | Fathom |
|---|---|---|---|---|---|
| Poprawność językowa | Ocena stopnia trudności przez nieświadomego, rodzimego użytkownika języka w odniesieniu do poprawności językowej | 18/20 | 20 października | 20 września | 20 sierpnia |
| Obsługa specyficzna dla danego języka | Znaki diakrytyczne, znaki interpunkcyjne, warianty regionalne, przełączanie kodów językowych | 18/20 | 20 grudnia | 13/20 | 20 grudnia |
| Ocena wskaźnika błędów w tekście | Obliczono na podstawie oficjalnego wykazu ocen lub tekstu odniesienia | 5/5 | 3/5 | 2/5 | 1/5 |
| Wykrywanie obiektów | Nazwiska, firmy i miejscowości występujące w obsadzie | 5/5 | 3/5 | 2/5 | 2/5 |
| Liczby, daty i waluty | Liczby, daty i kwoty sformatowane poprawnie w danym języku | 5/5 | 2/5 | 2/5 | 4/5 |
| Rozpoznawanie surowych terminów technicznych | Terminy branżowe i skróty przed szkoleniem dostosowanym do potrzeb klienta | 5/5 | 1/5 | 2/5 | 2/5 |
| Interpunkcja i podział na segmenty | Podział na zdania i akapity w wynikach testu | 5/5 | 3/5 | 4/5 | 2/5 |
| Suma częściowa za transkrypcję i dokładność | 61/65 | 34/65 | 34/65 | 31/65 |
Jak dokładne są poszczególne narzędzia serwisu Everyday Italian?
Each tool did a fairly good job at capturing general day-to-day Italian. None produced a transcript that was hard to follow or littered with large errors, which isn’t the case for some of the other languages we have tested, including francuski oraz niemiecki. tl;dv was the strongest by a fair margin. There was a specific section of audio, centered around finance, which we were able to check directly against a confirmed, published reference text. tl;dv was able to track the original format almost word-for-word, with some discrepancies, as the published text had been cleaned up, whereas tl;dv was able to keep it verbatim.
Gemini Fireflies również całkiem nieźle w przypadku zwykłych zdań. Pojawiły się jednak pewne bardzo konkretne błędy, takie jak„aduzione”zamiast„adozione”,„traduzionali”zamiast„tradizionali”czy„veramente”w miejscu, gdzie mówca użyłsłowa „meramente”. Fireflies przekształciło Fireflies wyrażenie„capitale di rischio”w„capirebbe il rischio”, co nie jest prawdziwym terminem.
Spośród czterech przetestowanych narzędzi Fathom wygenerowało najwięcej błędów. W niektórych fragmentach sztuczna inteligencja wydawała się próbować odgadnąć konkretne wyrażenia, zamieniając„Basti pensare”na„Passi a pensare”, a„manifattura”na„manufattura”.Było też zdanie dotyczące finansowania pacjentów i kapitału wysokiego ryzyka, którego Fathom w ogóle Fathom zrozumiało.
Jeśli chodzi o czystą poprawność języka włoskiego, Fathom najsłabiej.
Które narzędzia poprawnie przetłumaczają włoskie skróty i terminy techniczne?
Spotkania często obfitują w niezwykle specjalistyczne terminy i skróty, które mogą mieć ogromne znaczenie dla ogólnego kontekstu samego spotkania. W ramach naszych testów dotyczących transkrypcji z języka włoskiego każdy clip wybrany na podstawie ilości żargonu technicznego, aby sprawdzić, jak łatwo został on rozpoznany przez narzędzia do transkrypcji. Jeden z nich, dotyczący opieki zdrowotnej, zawierał wiele terminów, które były włoskimi skrótami określającymi konkretne pojęcia. Obejmowały one rozporządzenie EHDS, dyrektywę NIS 2, a także szereg terminów związanych z cyberbezpieczeństwem i interoperacyjnością.
Spośród wszystkich czterech narzędzi tylko tl;dv sobie z zachowaniem poprawności, za każdym razem poprawnie rozpoznając skróty EHDS i NIS 2, bez konieczności ładowania do interfejsu żadnego niestandardowego słownika.
Dla porównania, Gemini „NIS 2”w„IS2”, askrót „EHDS”w tym samym fragmencie zaprezentowało na trzy różne sposoby: najpierw jako„HDS”, potem jako„HS”, a następnie jako„HD”.
Podobnie w grze Fireflies pominięto„NIS 2”, askrót„EHDS”zmieniono na„HDS”.
Fathom je przeoczył, zmieniając„NIS 2”na„URIS 2”, a„EHDS”na„HTS”.
Można to poprawić, a wiele z tych narzędzi oferuje możliwość dostosowania słownictwa, jednak ważniejsze jest przede wszystkim prawidłowe uchwycenie tych zwrotów w płynnej mowie włoskiej.
W tych konkretnych aspektach serwis tl;dv maksymalną liczbę punktów.
Jak dobrze radzą sobie z liczbami i datami w języku włoskim?
W przypadku dat i liczb nawet pojedynczy błąd może całkowicie zmienić znaczenie całego zdania, dlatego analizowaliśmy je osobno. W przemówieniu na temat opieki zdrowotnej kluczową rolę odegrała jedna liczba: termin 2029 r. dotyczący Europejskiej Przestrzeni Danych Zdrowotnych. Fathom tl;dv Fathom bezbłędnie to wychwyciły. Gemini tę liczbę do „202”, co można odczytać jako literówkę lub zupełnie inną liczbę, i zrobiło to więcej niż raz. Fireflies tę liczbę słownie, ale popełnił błąd, wpisując„duemilaventidove”zamiast„duemilaventinove”.
tl;dv pięć punktów, Fathom , a Gemini Fireflies po Fireflies .
Czy systemy notatnikowe oparte na sztucznej inteligencji poprawnie zapisały włoskie nazwiska?
W jednym z filmików pojawiła się obszerna lista nazwisk, dzięki czemu mogliśmy sprawdzić, jak dobrze narzędzia radzą sobie z włoskimi nazwiskami. Ma to naprawdę kluczowe znaczenie w takich obszarach jak sprzedaż, gdzie mamy do czynienia z nazwiskami potencjalnych klientów i kluczowych interesariuszy w ramach zintegrowanego systemu CRM.
Na liście nazwisk znalazły się między innymi: Gratteri, Frattasi i Melillo, a także Valensise, Morrone, Caravelli, Di Monte i Costanzo. Narzędzia stosowane w poszczególnych przypadkach znacznie się od siebie różniły.
tl;dv z prawidłowym przetworzeniem całej listy i było jedynym narzędziem, które poprawnie rozpoznało nazwisko„Angelo Costanzo”, a nie„Costanto”.
Fathom rozpoznał nazwisko „Giovanni Caravelli”– podczas gdy dwa inne narzędzia dodały błędne imię„Gianni”– jednak przekształcił nazwisko„Simona Di Monte”w„Simone Di Monti”.
Fireflies Gemini Fireflies pominęły wiele z nich, a następnie uchwyciły„Battarella”zamiast„Mattarella”– błąd ten powtórzył Fathom .
tl;dv tu pięć punktów; reszta uzyskała po dwa lub trzy punkty po uwzględnieniu błędów.
Jakość spotkań w praktyce
Dokładność transkrypcji ma kluczowe znaczenie dla jakości wyników, ale warto również zastanowić się nad tym, w jaki sposób wyniki te przekładają się na inne obszary codziennej pracy. Wyniki uzyskane za pomocą wszystkich czterech testowanych narzędzi zawierają również takie elementy, jak streszczenia, a aby asystent spotkań oparty na sztucznej inteligencji był warty wykorzystania, muszą one być na tyle dobre, by można je było przesyłać innym osobom.
W tej części naszych testów dotyczących transkrypcji spotkań w języku włoskim przeanalizowaliśmy takie elementy, jak wskaźniki pomyłek, jakość streszczeń oraz zalecenia do realizacji.
Przyjrzeliśmy się również jakości diaryzacji, która w przypadku narzędzi, które mogliśmy przetestować, wypadła dobrze – Gemini podania wskazówki, zanim w ogóle dokonało rozdzielenia mówców. Nie Fathom ocenić Fathom w tym zakresie, ponieważ narzędzie to nagrywa wyłącznie na żywo, a nasze testy na żywo opierały się na jednym źródle.W tej sekcji serwis tl;dv najwyższe oceny.
| System metryczny | Jak przyznawane są punkty | tl;dv | Google Gemini | Fireflies | Fathom |
|---|---|---|---|---|---|
| Jakość diaryzacji | Zgodność liczby mówców i przypisania kwestii z znaną obsadą | 9/10 | 7/10 | 8/10 | 0/10 |
| Stabilność zachowania | Stabilność zachowań w różnych typach sesji | 9/10 | 6/10 | 5/10 | 4/10 |
| Podsumowanie jakości | Przydatność streszczenia oraz to, czy zachowano je w języku źródłowym, z uwzględnieniem zapożyczeń | 5/5 | 4/5 | 3/5 | 5/5 |
| Częstotliwość występowania halucynacji / wstawek | Wymyślony, zapętlony lub powielony tekst, który nie występuje w nagraniu audio, z niewielkimi korektami w przypadkach, gdy błędne zrozumienie zmieniło znaczenie | 10/10 | 9/10 | 9/10 | 4/10 |
| Wyodrębnianie działań do wykonania | Jakość zadań i działań następczych wynikających ze spotkania | 4/5 | 2/5 | 4/5 | 3/5 |
| Automatyczne podział na rozdziały / sekcje | Czy streszczenie dzieli spotkanie na przydatne części? | 4/5 | 4/5 | 3/5 | 5/5 |
| Suma częściowa dotycząca jakości spotkań w praktyce | 41/45 | 32/45 | 32/45 | 21/45 |
Które narzędzia generują halucynacje lub wymyślają tekst?
Halucynacje są jednym z największych powodów do niepokoju, z jakimi borykają się ludzie w kontekście sztucznej inteligencji. Jeśli narzędzie wymyśla i fałszuje sformułowania, działania lub cokolwiek innego, może to prowadzić do poważnych błędów i potencjalnie poważniejszych problemów. Pojedyncze źle usłyszane słowo może być irytujące, ale zazwyczaj łatwo je wykryć; całe fragmenty zmyślonego tekstu mogą być znacznie gorsze.
W naszej recenzji stwierdziliśmy, że tl;dv absolutnie niczego do żadnej z sesji nagraniowych. Każdy element był wierny oryginałowi i nie wprowadzał żadnych zmian w stosunku do tego, co zostało powiedziane.
Gemini Fireflies zdołały uniknąć wymyślania i dodawania jakichkolwiek niepasujących lub zmyślonych elementów podczas transkrypcji na język włoski. Obie uzyskały wynik niewiele niższy od maksymalnego, a punkty zostały im odjęte raczej za błędne zrozumienie, które zmieniło znaczenie, a nie za jakiekolwiek domysły.
Fathom wstawił jednak całe frazy, które nigdy nie pojawiły się w nagraniu. W jednej z transkrypcji pojawiło się„Grazie per aver guardato”, co oznacza „dziękujemy za obejrzenie”. Inne zdania, które się pojawiły, to„Grazie a tutti”oraz pojedyncze„Siamo capaci di fare noi”. Jak wspomniano również w pierwszej części naszego artykułu, w sekcji poświęconej finansom pominięto całe zdanie.
Jest to niepokojące, ponieważ zmyślony fragment w skądinąd dobrym zapisie może stanowić potencjalnie najpoważniejszą wadę, jaką może wykazać jakikolwiek system do sporządzania notatek oparty na sztucznej inteligencji. Jest raczej mało prawdopodobne, aby ktoś sprawdził streszczenie przed jego wysłaniem, jeśli brzmi ono poprawnie.
Które narzędzie pozwala sporządzić najlepsze podsumowanie spotkania w języku włoskim?
Właśnie w tym obszarze niektóre z narzędzi, które wcześniej miały trudności, wypadły całkiem dobrze. Mimo że Fathomosiągnął najgorszy wynik w zakresie transkrypcji, Fathomstreszczenie należało do najlepszych. Było dobrze uporządkowane pod kątem celu i kluczowych tematów, a błędy z transkrypcji, takie jak „EHDS”, pojawiły się w streszczeniu poprawnie, co jest dziwne, biorąc pod uwagę, że w surowym zapisie były one tak bardzo błędne.
tl;dv im pod względem przydatności i poprawności. Gemini przygotowało solidne streszczenie, choć nie tak dobre jak pozostałe. Fireflies niezwykle szczegółowe notatki podsumowujące; były one jednak niezwykle długie i trudno było je przejrzeć pobieżnie.
Podsumowanie znajduje się nad surowym zapisem, więc jest prawdopodobne, że sztuczna inteligencja może je na tym etapie „uporządkować”. Zwraca jednak uwagę, że solidne podsumowania niekoniecznie oznaczają, że rzeczywiste dane zapisane w surowym zapisie faktycznie się z nimi zgadzają.
W jakim stopniu poszczególne narzędzia sprawdzają się w różnych rodzajach spotkań?
Jednym z obszarów, którym się zajęliśmy, była stabilność behawioralna. Porównanie streszczeń z transkrypcjami w przypadku języka włoskiego wykazało, że mogą występować pewne różnice w skuteczności, z jaką narzędzia te radzą sobie z różnymi spotkaniami.
tl;dv wysoką stabilność podczas wszystkich testów, uzyskując wynik 9 na 10. Gemini również Gemini dość dużą spójnością, choć w szczegółach wypadło nieco przeciętnie. Fireflies kilka chwiejnych momentów, borykając się z akronimami z dziedziny opieki zdrowotnej. Najgorzej Fathom – radziło sobie dobrze, gdy tematem była sprawiedliwość, miało jednak trudności z terminologią finansową, a w przypadku tematu związanego z opieką zdrowotną po prostu wymyślało tekst.
Możliwości i funkcje
Oprócz włoskich transkrypcji i streszczeń generowanych przez każde z tych narzędzi, każde z nich znacznie różni się pod względem sposobu, w jaki prezentuje swoje ogólne możliwości. tl;dv przykład tl;dv to coś więcej niż tylko asystent spotkań oparty na sztucznej inteligencji – jest to kompletny pakiet oferujący pamięć organizacyjną, coaching, wielowarstwowe korzyści oraz możliwość bezpośredniej integracji z systemami CRM, Claude i ChatGPT.
W tej sekcji przyjrzymy się, jak poszczególne narzędzia wypadły pod względem różnych możliwości rozszerzania i wykorzystywania danych, funkcji oraz ogólnej jakości niektórych elementów, takich jak szybkość przetwarzania i dokładność znaczników czasu.
W tej kategorii ponownie tl;dv z wynikiem 61 na 72, a za nim uplasował się Fireflies 58; Fathom Gemini niższe.
| System metryczny | Jak przyznawane są punkty | tl;dv | Google Gemini | Fireflies | Fathom |
|---|---|---|---|---|---|
| Automatyczne rozpoznawanie mówców | Automatycznie rozpoznaje prawdziwych mówców na obsługiwanych platformach | 5/5 | 5/5 | 5/5 | 5/5 |
| Rozpoznawanie głosu | Możliwość przeprowadzenia treningu rozpoznawania głosu dla własnego głosu użytkownika | 5/5 | 0/5 | 0/5 | 0/5 |
| Nagrywanie bez botów | Nagrywa za pomocą wbudowanego systemu audio bez włączania bota do rozmowy | 5/5 | 5/5 | 5/5 | 5/5 |
| Synchronizacja CRM | Tryb natywny i synchronizacja automatyczna | 3/3 | 0/3 | 3/3 | 3/3 |
| Notatki niestandardowe / szablony | Formaty podsumowań z możliwością dostosowania a stały format wyników | 3/3 | 0/3 | 3/3 | 3/3 |
| Szkolenie w zakresie niestandardowego słownictwa / encji | Nauczaj terminów branżowych i skrótów | 5/5 | 0/5 | 5/5 | 5/5 |
| Lokalizacja interfejsu użytkownika na język włoski | Czy sam interfejs produktu jest dostępny w języku włoskim | 0/5 | 5/5 | 0/5 | 0/5 |
| Zakres integracji | Slack, kalendarz, Zapier, API | 3/3 | 3/3 | 3/3 | 3/3 |
| Szybkość przetwarzania | Czas od zakończenia spotkania do gotowego zapisu | 3/3 | 1/3 | 3/3 | 3/3 |
| Śledzenie słów wypełniających | Utwory… hm, to znaczy… no więc bez podwajania dźwięków spowodowanego jąkaniem. Zapewnia pełną czytelność transkrypcji wypowiedzi, zamiast nadmiernego wygładzania | 3/3 | 0/3 | 0/3 | 0/3 |
| Dokładność znacznika czasu | Sprawdź wyrywkowo, czy znaczniki czasu odpowiadają właściwym momentom | 3/3 | 3/3 | 2/3 | 0/3 |
| Dostępność tłumaczeń | Czy potrafi przetłumaczyć notatki ze spotkania i na ile języków? | 3/3 | 0/3 | 3/3 | 3/3 |
| Wyszukaj w transkrypcji | Wyszukiwanie w treści spotkania i w bibliotece | 3/3 | 3/3 | 3/3 | 3/3 |
| Interfejs użytkownika do edycji transkrypcji | Czy można łatwo poprawić transkrypcję po fakcie? | 3/3 | 3/3 | 3/3 | 3/3 |
| Formaty eksportu | SRT, VTT, TXT, DOCX i podobne | 0/3 | 3/3 | 3/3 | 0/3 |
| Transkrypcja na żywo / w czasie rzeczywistym | Czy podczas spotkania wyświetlany jest na żywo zapis rozmowy? | 0/3 | 3/3 | 3/3 | 3/3 |
| Zasięg platformy konferencyjnej | Omówienie usług Zoom, Meet, Teams i Webex | 3/3 | 0/3 | 3/3 | 3/3 |
| Przechwytywanie z aplikacji mobilnej | Czy umożliwia nagrywanie spotkań stacjonarnych za pomocą aplikacji mobilnej? | 3/3 | 3/3 | 3/3 | 0/3 |
| Wbudowany serwer MCP | Własny serwer, umożliwiający asystentom AI przeszukiwanie biblioteki spotkań | 5/5 | 0/5 | 5/5 | 5/5 |
| Edycja etykiet głośników | Czy można zmienić nazwy i przyporządkowanie głośników po zakończeniu konfiguracji? | 3/3 | 0/3 | 3/3 | 3/3 |
| Suma częściowa: możliwości i funkcje | 61/72 | 37/72 | 58/72 | 50/72 |
Nagrywanie i obsługa głośników
Wszystkie cztery narzędzia oferują funkcję automatycznego rozpoznawania mówców na głównych platformach do spotkań, więc pod tym względem są dość wyrównane. Obszar, w którym niektóre narzędzia, zwłaszcza tl;dv, wyraźnie się wyróżniają, to stopień szczegółowości, z jakim potrafią to robić.
Spośród czterech przetestowanych narzędzi tylko tl;dv możliwość szkolenia w zakresie rozpoznawania głosu – po jednorazowym zarejestrowaniu głosu aplikacja będzie w stanie rozpoznać użytkownika podczas przyszłych spotkań, o ile wyrazi on na to zgodę.
Trzy z tych narzędzi umożliwiają zmianę oznaczeń mówców bezpośrednio w interfejsie: tl;dv, Fireflies Fathom. W Gemini, ze względu na sposób przetwarzania i wyświetlania transkrypcji (w formacie Google Docs), jest to technicznie możliwe, ale wymaga ręcznej ingerencji. W rezultacie, biorąc pod uwagę wszystkie aspekty, Gemini najbardziej ograniczone spośród tych czterech narzędzi pod względem kontroli nad mówcami, tracąc punkty za brak możliwości edycji i zmiany oznaczeń.
Jeśli należysz do zespołu, który udostępnia nagrania ze spotkań w całej firmie, muszą one zawierać wyraźne i prawidłowo przypisane wypowiedzi poszczególnych mówców – jest to zatem istotny czynnik odróżniający, w którym narzędzie Google pozostaje w tyle.
Dostosowywanie i nauka słownictwa
Wiąże się to z błędami w skrótach i nazewnictwie, które wykryliśmy we włoskiej transkrypcji w pierwszej części oceny. Wszelkie problemy można by rozwiązać, wprowadzając terminy branżowe, trudne nazwy i skróty do ustawień słownika niestandardowego w tych narzędziach.
tl;dv Fireflies nauczanie narzędzia własnego słownictwa w ramach oferowanych przez nie planów, Fathom tę funkcję Fathom w ramach najwyższego planu „Team”, a Gemini w ogóle Gemini nie Gemini . W rezultacie otrzymujesz dokładnie to, co Gemini od Google, i nie ma możliwości skorygowania ani wpłynięcia na to, co narzędzie „usłyszy”. tl;dv obsługuje tl;dv niestandardowe szablony podsumowań zamiast jednego stałego formatu, dzięki czemu wynik może być dostosowany do sposobu, w jaki Twój zespół już sporządza notatki.
Śledzenie słów wypełniających
Jedną z funkcji zapewniających integralność autentycznego zapisu rozmowy jest widoczność słów wypełniających. Zamiast je usuwać i wygładzać zapis, tl;dv jedynym narzędziem, które zachowuje słowa wypełniające w samym zapisie, dzięki czemu można zobaczyć, co faktycznie zostało powiedziane. Fireflies również Fireflies słowa wypełniające, ale traktuje je jako odrębny wskaźnik analityki mowy, zamiast uwzględniać je w samym zapisie.
Zaufanie, bezpieczeństwo i wartość
W naszej ocenie ta ostatnia sekcja skupia się na jednym z najważniejszych aspektów związanych z nagrywaniem spotkań, a mianowicie na tym, co dzieje się z nagraniami po zakończeniu spotkania oraz ile kosztuje korzystanie z poszczególnych narzędzi?
Ma to duże znaczenie we Włoszech, ponieważ nagranie spotkania zarejestrowanego we Włoszech podlega przepisom UE, takim jak RODO, które określają miejsce przechowywania danych, zasady ich przechowywania oraz to, czy są one wykorzystywane do szkolenia cudzego modelu sztucznej inteligencji.
Każde z tych narzędzi charakteryzuje się przejrzystą i otwartą polityką cenową oraz nie wymaga kontaktów z przedstawicielami handlowymi. Każde z nich posiada również szereg certyfikatów bezpieczeństwa i akredytacji, których można oczekiwać od narzędzia biznesowego. Ogólnie rzecz biorąc, wszystkie analizowane przez nas narzędzia uzyskały dobre oceny.
Narzędzia zaczynają tracić punkty głównie w takich obszarach, jak możliwość wyboru lokalizacji przechowywania danych. Na przykład hosting w regionach UE to usługa, której amerykańska firma Fathom nie oferuje, podczas gdy Fireflies – również z siedzibą w USA – udostępnia ją w ramach swojego najwyższego planu.
Gemini punkty, ponieważ nie ma darmowej opcji. Nawet w przypadku płatnego konta Google Workspace możliwość korzystania z Gemini sporządzania notatek w języku włoskim lub w jakimkolwiek innym języku, który obsługuje ta aplikacja, jest ograniczona do określonych płatnych pakietów.
Najważniejszą kwestią jest szkolenie sztucznej inteligencji. W głębi ustawień Fathom przełącznik umożliwiający wyłączenie tej funkcji. Należy go znaleźć i wyłączyć, ponieważ narzędzie to będzie automatycznie wykorzystywać zanonimizowane dane ze spotkań do ulepszania własnej sztucznej inteligencji. Dla pojedynczego użytkownika może to nie mieć większego znaczenia, ale jest to właśnie ten rodzaj domyślnego ustawienia, o którym firma powinna wiedzieć przed wdrożeniem rozwiązania w całym zespole, zwłaszcza jeśli zajmuje się ona rozmowami o charakterze poufnym lub podlegającymi regulacjom.
| System metryczny | Jak przyznawane są punkty | tl;dv | Google Gemini | Fireflies | Fathom |
|---|---|---|---|---|---|
| Lokalizacja danych / hosting regionalny | Regionalne opcje hostingu, np. hosting w UE na żądanie | 3/3 | 3/3 | 3/3 | 0/3 |
| Bezpieczeństwo i zgodność z przepisami | Zgodność z normą SOC 2 typu II oraz z rozporządzeniem RODO | 3/3 | 3/3 | 3/3 | 3/3 |
| Szkolenie modelu AI na podstawie nagrań audio użytkowników | Czy to pozwala uniknąć szkolenia sztucznej inteligencji na Twoich nagraniach audio (brak szkolenia oznacza maksymalną liczbę punktów)? | 3/3 | 3/3 | 3/3 | 0/3 |
| Kontrola przechowywania danych | Kontrola nad okresem przechowywania nagrań i transkrypcji | 3/3 | 3/3 | 3/3 | 3/3 |
| Przejrzystość cen | Ceny planów są publikowane, a nie podawane wyłącznie na zapytanie | 3/3 | 3/3 | 3/3 | 3/3 |
| Pakiet bezpłatny / limity | Dostępność bezpłatnego planu (sama bezpłatna wersja próbna otrzymuje 0 punktów) | 3/3 | 0/3 | 3/3 | 3/3 |
| Suma częściowa: zaufanie, bezpieczeństwo i wartość | 18/18 | 15/18 | 18/18 | 18 grudnia |
Test dokładności pomiarów we Włoszech: Metodologia
Nasze porównanie opiera się na kontrolowanym teście, w którym porównujemy produkty o identycznych parametrach, tak aby zapewnić każdemu narzędziu takie same warunki.
Zestaw testowy
Do celów testowych wybraliśmy trzy włoskie nagrania z publicznego archiwum Radio Radicale. Każde z nich zostało wybrane ze względu na zawarte w nim szczegółowe informacje oraz fragmenty, które pozwoliłyby sprawdzić słabe punkty narzędzi w zakresie terminologii, tempa wypowiedzi mówców i innych aspektów. Pierwszym z nich było przemówienie inauguracyjne wygłoszone przez prezesa Fabio Panettę podczas konferencji Banca d’Italia i Europejskiego Banku Inwestycyjnego poświęconej finansom i sztucznej inteligencji. Nagranie to charakteryzowało się w szczególności szczegółowym językiem ekonomicznym w języku włoskim, a do celów porównawczych udostępniono również opublikowany oficjalny tekst.
Drugim wydarzeniem był szczyt poświęcony danym dotyczącym zdrowia i sztucznej inteligencji, zorganizowany przez członków Senatu, który wyróżniał się dużą ilością akronimów oraz terminologii medycznej przeplatanej żargonem technicznym.
Trzecim clip było otwarcie konferencji Sądu Apelacyjnego w Neapolu poświęconej sztucznej inteligencji, wymiarowi sprawiedliwości i bezpieczeństwu; wybrano go ze względu na terminologię prawniczą, terminologię techniczną oraz bogaty wybór nazwisk, co pozwoliło sprawdzić działanie funkcji rozpoznawania nazw własnych.
Każdy clip skrócony do mniej niż dziesięciu minut, a dla zachowania sprawiedliwości do każdego narzędzia dołączono ten sam materiał dźwiękowy.
Recenzja
W ramach testów ślepych z każdej transkrypcji i streszczenia usunięto nazwę narzędzia, linki oraz wszelkie inne dane umożliwiające identyfikację, a następnie oznaczono je unikalnym identyfikatorem. Oznaczało to, że ani modele LLM, ani native speaker nie byli w stanie ustalić, która transkrypcja lub które streszczenie pochodziło z danego narzędzia. Te zanonimizowane wyniki zostały następnie przesłane do dwóch modeli LLM – Claude Anthropicoraz ChatGPT firmy OpenAI – które niezależnie od siebie oceniły je w pierwszych dwóch częściach testu.
Następnie poprosiliśmy o pomoc Pietro Giucastro, którego językiem ojczystym jest włoski. Sprawdził on na słuch najtrudniejsze sformułowania oraz przypadki, w których narzędzia dawały różne wyniki, porównując je z oryginalnymi filmami i zanonimizowanymi wynikami, aby potwierdzić pierwotną ocenę maszynową. Wszystkie trzy oceny dały dokładnie tę samą kolejność, co potwierdza, że ranking jest spójny w trzech różnych testach, opartych na trzech różnych kryteriach oceny.
Zestaw narzędzi
Wybraliśmy tl;dv z trzema innymi narzędziami do porównania; każde z nich zostało wybrane, ponieważ w swoich materiałach marketingowych wyraźnie podkreślają możliwość transkrypcji w języku włoskim i są to narzędzia, z których korzystałyby włoskie zespoły.
- tl;dv: Narzędzie z siedzibą w UE, obsługiwane na skalę międzynarodową, będące jednym z najczęściej używanych programów do sporządzania notatek podczas wielojęzycznych spotkań. Korzystaliśmy z niego w ramach planu Business, ale pod maską wykorzystuje ten sam silnik transkrypcji, co wersja darmowa.
- Google Gemini: uwzględniono tę aplikację, ponieważ jest ona dołączona do pakietu Google Workspace, co sprawia, że jest to narzędzie do sporządzania notatek, z którego wiele włoskich zespołów korzysta już domyślnie.
- Fireflies: amerykańska aplikacja, jedna z najpopularniejszych samodzielnych aplikacji do sporządzania notatek opartych na sztucznej inteligencji, często wybierana przez włoskich użytkowników.
- Fathom: platforma z siedzibą w Stanach Zjednoczonych, od której zaczyna wiele mniejszych zespołów, więc reprezentuje ona bezpłatną część rynku.
Podczas testów uruchamialiśmy narzędzie zarówno na koncie bezpłatnym, jak i płatnym, więc wyniki odzwierciedlają to, co uzyskałby zwykły użytkownik. W testach na żywo rejestrowano tylko jedno źródło dźwięku, więc w przypadkach, gdy narzędzie pozwalało na wykorzystanie przesłanego pliku, przeprowadzaliśmy oddzielny test z udziałem wielu mówców, aby ocenić jakość diaryzacji.
Podział silnika i planu
Chociaż wszystkie narzędzia oferują transkrypcję języka włoskiego, nie działają one w oparciu o ten sam silnik, co wyjaśnia, dlaczego wyniki tak bardzo się różnią. W testach tl;dvwykorzystano dedykowany silnik rozpoznawania mowy firmy ElevenLabs. Gemini własnego modelu Google’a. Fireflies , zgodnie z aktualną dokumentacją, Fireflies oparciu o silnik Whisper firmy OpenAI, z dodatkową warstwą nałożoną na niego. Fathom silnika innej firmy, którego nazwa nie została publicznie ujawniona. Poniżej przedstawiono silniki oraz plany, w ramach których przeprowadzono testy.
| Narzędzie | Podstawowy silnik/dostawca | Własne lub na licencji | Typ silnika | Plan |
|---|---|---|---|---|
| tl;dv | ElevenLabs | Posiada licencję | Dedykowany ASR | Biznes |
| Google Gemini | Google Gemini | Wewnętrzne (Google) | LLM | Samodzielna Gemini (konto Business Starter) |
| Fireflies | OpenAI Whisper (wraz z własną warstwą LLM) | Posiada licencję | Dedykowany ASR | Pro |
| Fathom | Podmioty zewnętrzne, nieujawnione publicznie (podwykonawcy w zakresie sztucznej inteligencji: OpenAI, Google, Anthropic) | Posiada licencję | Nie podano | Bezpłatny |
Zakres i zastrzeżenia
W przypadku każdego badania zawsze staramy się zapewnić, by było ono jak najbardziej wyważone i oparte na zasadach naukowych; jednakże mogą istnieć pewne ograniczenia.
- Wszystkie trzy klipy testowe stanowiły materiał audio z jednego źródła podczas testów na żywo; przeprowadziliśmy oddzielną serię testów z wykorzystaniem wielu głośników w narzędziach obsługujących pliki przesłane przez użytkowników, aby ocenić jakość diarizacji.
- Wykorzystane przez nas materiały źródłowe pochodzą bezpośrednio od wydawcy, ale nie stanowią wiernego, dosłownego zapisu; zostały one oczyszczone, dlatego w systemie punktacji uwzględniono pewną elastyczność w związku z tym faktem.
- Fathom umożliwia jedynie nagrywanie na żywo i – w momencie przeprowadzania naszych testów – nie oferował możliwości bezpośredniego przesyłania materiałów na platformę, w związku z czym nie można było ocenić go pod kątem funkcji dziennika i otrzymał on w tym zakresie ocenę zerową.
- Wszystkie funkcje, poziom zaufania i bezpieczeństwo opierały się na aktualnej, publicznie dostępnej dokumentacji produktu obowiązującej w momencie przeprowadzania testów.
Jakie jest najlepsze oprogramowanie do transkrypcji spotkań w języku włoskim?
Jeśli chodzi o najwyższą dokładność transkrypcji w języku włoskim, najlepsze wyniki tl;dv , które odnotowało przebieg włoskich spotkań bardziej szczegółowo i dokładniej niż pozostałe testowane narzędzia. Zwyciężyło w każdej kategorii oceniającej jakość i uzyskało 39 punktów przewagi w klasyfikacji ogólnej. W kategoriach, w których zwyciężyło, radziło sobie nie tylko z prostymi zdaniami, ale także z trudniejszymi fragmentami, z którymi inne narzędzia nie dały sobie rady. Dotyczyło to takich obszarów, jak imiona i nazwiska, nazwy własne oraz ogólne rozpoznawanie encji, a narzędzie nie generowało błędnych treści ani nie wymyślało żadnych fragmentów tekstu. Oznacza to, że w porównaniu z innymi ocenianymi przez nas narzędziami można mieć pewność, że wynik stanowi najwierniejsze odzwierciedlenie tego, co zostało powiedziane w języku włoskim.
Zwyciężył również w ocenie wszystkich trzech sędziów – dwóch ekspertów z dziedziny prawa i jednego native speakera – którzy przeprowadzili testy w trybie ślepym.
Jeśli organizujesz spotkania w języku włoskim i zależy Ci na tym, jak rejestrować, a co ważniejsze – jak wykorzystywać wyniki tych spotkań bez konieczności ich sprawdzania, tl;dv tu zdecydowanym zwycięzcą.
Dzięki solidnym funkcjom, możliwościom dostosowania oraz natywnemu interfejsowi MCP, który można bezpośrednio podłączyć do Claude’a lub ChatGPT, jest to idealne narzędzie do transkrypcji spotkań w języku włoskim, które przekształci Twoje spotkania w praktyczne i przydatne materiały, z których będziesz mógł skorzystać.
Wypróbuj tl;dv dziś podczas następnego spotkania z Włochami i przekonaj się sam.
Najczęściej zadawane pytania dotyczące transkrypcji spotkań w języku włoskim w 2026 roku
Która aplikacja do sporządzania notatek oparta na sztucznej inteligencji jest najdokładniejsza podczas spotkań w języku włoskim?
tl;dv 181 na 200 punktów w trzech ocenianych na ślepo włoskich nagraniach, znacznie wyprzedzając zajmujące drugie miejsce Fireflies. Trzecie Gemini , a Fathom . Biorąc pod uwagę wyłącznie dokładność transkrypcji tl;dv 61 na 65 tl;dv , podczas gdy pozostałe trzy systemy osiągnęły wyniki w połowie trzydziestki. Dwa modele LLM oraz native speaker języka włoskiego, oceniający na ślepo, ustalili tę samą kolejność.
Czy programy do sporządzania notatek oparte na sztucznej inteligencji poprawnie transkrybują włoskie skróty?
Tylko tl;dv . W przypadku nagrania dotyczącego opieki zdrowotnej, zawierającego terminy EHDS i NIS 2, za każdym razem poprawnie rozpoznał oba terminy bez konieczności ładowania niestandardowego słownika. Gemini w jednym fragmencie Gemini EHDS na trzy różne sposoby: HDS, HS, HD. Fireflies całkowicie Fireflies NIS 2. Fathom ten termin w „URIS 2”.
Czy programy do sporządzania notatek oparte na sztucznej inteligencji poprawnie zapisują włoskie imiona?
Czy transkrypcja oparta na sztucznej inteligencji generuje błędne wyniki w języku włoskim?
Fathom . Wstawił frazy, których nie było w nagraniu, w tym „Grazie per aver guardato” – zwrot kończący w stylu YouTube’a, którego nie ma w nagraniu – a także „Grazie a tutti” i pojedyncze zdanie „Siamo capaci di fare noi”. Pominął też całe zdanie. tl;dv Gemini Fireflies niczego Fireflies .
W jaki sposób oceniono ten test z transkrypcji tekstu włoskiego?
W sposób ślepy. Z każdego transkryptu i streszczenia usunięto nazwy narzędzi, a następnie każdy z nich został niezależnie oceniony przez dwa modele LLM – Claude’a i ChatGPT – oraz zweryfikowany przez Pietro Giucastro, którego językiem ojczystym jest włoski. Wszystkie trzy źródła podały ten sam ranking. Nagrania audio pochodziły z publicznego archiwum Radio Radicale. tl;dv test i opublikował pełny opis metodologii.



