Dokładność transkrypcji szwedzkich spotkań: przetestowaliśmy 4 narzędzia oparte na sztucznej inteligencji (2026)

Wiele narzędzi do obsługi spotkań opartych na sztucznej inteligencji oraz narzędzi do sporządzania notatek za pomocą sztucznej inteligencji twierdzi, że potrafi dokładnie transkrybować spotkania prowadzone w języku szwedzkim. Stwierdziliśmy jednak, że opinie osób posługujących się językiem szwedzkim wskazują, iż dokładność i wiarygodność tych transkrypcji i notatek są u niektórych dostawców bardzo zróżnicowane.

W ramach szczegółowego eksperymentu z punktacją sprawdziliśmy, czy tl;dvpod względem możliwości i dokładności w zarządzaniu szwedzkimi spotkaniami oraz porównaliśmy je z trzema innymi narzędziami.

• Klang
• Fathom
• HappyScribe

W normalnych okolicznościach umieścilibyśmy Gemini w ramach naszych testów, ponieważ wiele firm i zespołów sprzedażowych korzysta z niego w ramach swojej konfiguracji środowiska pracy. Jednak Gemini ograniczone do określonej liczby języków, a szwedzki nie znalazł się wśród nich.

Poniżej znajduje się tabela przedstawiająca ogólne wyniki poszczególnych narzędzi w czterech odrębnych kategoriach. Chociaż tl;dv konkurencję, uzyskując wynik 188 punktów, Klang również wypadł dobrze pod względem podstawowych elementów transkrypcji. Kluczowa różnica między tymi dwoma narzędziami wynika z takich czynników, jak niezawodność i funkcjonalność.

Na podstawie dokumentacji dołączonej do materiałów audio wykorzystanych w naszych testach udało nam się określić oceny dla takich wskaźników, jak wskaźnik błędów słownych (WER). Jednak w sposobie, w jaki poszczególne narzędzia radziły sobie z językiem, występowały pewne istotne różnice.

Na przykład Fathom stosunkowo łatwo stworzyć transkrypcję w języku szwedzkim, ale zawiódł go brak streszczenia w tym języku.

Wyniki zostały obliczone na podstawie dwóch anonimowych przebiegów testów z wykorzystaniem modeli LLM, a następnie ocenione w trybie ślepym przez osobę, dla której szwedzki jest językiem ojczystym. Zapewniło to nie tylko maksymalną obiektywność testów, ale także ich weryfikację przez osobę biegle posługującą się językiem szwedzkim, która mogła wychwycić elementy, które mogły umknąć modelom LLM.

Poniżej przedstawiono najważniejsze wyniki:

Transkrypcja szwedzkiego spotkania i jej dokładność

Zostały one ocenione przez modele LLM (ClaudeAnthropicoraz ChatGPT firmy OpenAI), a następnie zweryfikowane w ramach ślepej oceny przeprowadzonej przez native speakerów, przy czym nazwy narzędzi były ukryte.

Głównym celem naszych testów jest po prostu sprawdzenie, jak dobrze różne narzędzia radzą sobie z rozpoznawaniem szwedzkiej mowy. W naszych testach ocenialiśmy szereg czynników, przedstawionych w tabeli, jednak kluczowe elementy mają większą wagę, ponieważ stanowią podstawę, która wpływa na wszystkie pozostałe aspekty.

Szczególnie w przypadku języka szwedzkiego należy uwzględnić szereg zagrożeń ortograficznych. W języku tym występują trzy dodatkowe samogłoski, przyrostkowe przedimki określone oraz liczne złożenia wyrazów. Zarówno tl;dv Klang dobrze poradziły sobie z tymi zagadnieniami, jednak pozostałe dwa narzędzia miały w niektórych obszarach pewne trudności.

Jako firma założona i działająca w Szwecji, Klang osiągnęła naprawdę świetne wyniki, ale między tymi dwoma wynikami wystąpiła niewielka różnica, jeśli chodzi o wskaźnik błędów słownych (Word Error Rate), który obliczyliśmy na podstawie oficjalnego protokołu Riksdagu.

Obsługa języka szwedzkiego

W tym konkretnym teście zarówno tl;dv Klang uzyskały najwyższe oceny. Oba programy poradziły sobie z literami „å”, „ä” i „ö”, znakami interpunkcyjnymi charakterystycznymi dla danego języka, wariantami regionalnymi oraz przechodzeniem ze szwedzkiego na angielski, które jest powszechne w debatach w Riksdagu, gdzie w szwedzkich zdaniach nieustannie pojawiają się angielskie terminy polityczne.

Fathom nie Fathom nadążyć i stracił punkty za znaki diakrytyczne oraz zapożyczenia z języka angielskiego. Najgorzej wypadł ogólnie program HappyScribe.

Wskaźnik błędów słownych (WER)

W porównaniu z oczyszczonym protokołem z posiedzenia Riksdagu tl;dv najniższy wskaźnik błędów i uzyskał najwyższy wynik w ocenie. Program Klang uzyskał nieco niższy wynik, a Fathom HappyScribe uplasowały się poniżej niego.

Ze względu na sposób sformułowania protokołu nie istnieje jego dosłowna transkrypcja, a nawet sporządzona ręcznie zawiera pewną liczbę błędów. Ocena, na którą się zdecydowaliśmy, odzwierciedla raczej względną kolejność niż wartość bezwzględną.

Wykrywanie obiektów

W tym obszarze sprawdzano, jak narzędzia radziły sobie z takimi elementami, jak nazwy własne, akronimy i żargon techniczny. Jest to również obszar, który sprawia narzędziom najwięcej trudności. tl;dv , podobnie jak Klang, tl;dv doskonały wynik w zakresie dokładności rozpoznawania nazw własnych i terminów technicznych.

Jeden z najwyraźniejszych przykładów tego zjawiska został wychwycony zarówno przez system oceny LLM, jak i przez naszego native speakera; tl;dv „Klang” poprawnie podały imię Maia Sandu. Fathom imię Maia na Maja, popełniając błąd polegający na zamianie jednej litery. Serwis „HappyScribe” całkowicie zmienił imię na Maya Sandow, a ponadto zastąpił sformułowanie „ich prezydent” na „prezydent Europy”, przypisując jej stanowisko i funkcję, które nie istnieją i o których w ogóle nie wspomniano podczas debaty.

Wcześniej w tym samym fragmencie pojawiły się również dwa zdania, w których wyrażenie „rysk inblandning” (rosyjska ingerencja) zostało przetłumaczone jako „Ryss inblandning”, a w słowie „grannar”(sąsiedzi) pominięto liczbę mnogą, uzyskując formę „granna”. Pozostałe trzy narzędzia przetłumaczyły to wszystko poprawnie.

Wykryto konkretne błędy

Dwa narzędzia, które uzyskały niższe oceny, zawiodły w bardzo konkretny i odmienny sposób. Zostało to wykryte przez system LLMS, a następnie zweryfikowane przez naszego native speakera.

Na przykład HappyScribe generowało całe ciągi znaków, które nie były szwedzkimi słowami, lecz stanowiły wymyślone, brzmiące przekonująco wyniki. Dla osoby nieznającej języka szwedzkiego wyglądałoby to zupełnie w porządku, ale dla kogoś, kto zna ten język, jest to ogromny sygnał ostrzegawczy.

Wśród wyników znalazły się takie formy jak „frilbilligen”, „upphöj”, „allmända” zamiast „allmänna” oraz „besed” zamiast „besked”. Jednego konkretnego przekładu, „jörnbladtsfälsning”, nie dało się uznać za literówkę. Program podzielił również słowo „befolkning” na pół, tworząc „moldaviens befolk”, zamienił „solkusten” na „zonkusten” oraz całkowicie wymyślił imię mówcy.

Z drugiej strony błędy Fathomwyglądały na szwedzkie, ale były nieprawidłowe. Zamiast „fungerar” wpisał „funderar”, zmieniającznaczenie słowa „funkcjonuje”na„rozważa”i odwracając sens zdania. Napisał „spanska” z wielką literą „S”, co nie jest zgodne z zasadami języka szwedzkiego.

Najtrudniejszy fragment w zestawie testowym

Najtrudniejszy fragment w całym zbiorze pochodził z przemówienia „Författningsfrågor”, w którym znalazł się fragment, którego żadne z narzędzi nie zdołało poprawnie uchwycić. Mówca wypowiedział słowo „grundlagsfästning”, które zarówno tl;dv Klang przetłumaczyły jako „grundlagssättning”.Jest toprawdziwe szwedzkie słowo, poprawnie utworzone, jednak jeden z elementów złożenia został przetłumaczony nieprawidłowo. Był to drobny błąd w obu przypadkach, a osoba posługująca się językiem szwedzkim byłaby w stanie to wychwycić i mimo to zrozumieć kontekst.

Fathom HappyScribe, Fathom wygenerowały słowo „föremån”, które nie jest słowem szwedzkim, a HappyScribe wprowadziło w tym samym fragmencie jeszcze dwa inne nieistniejące słowa. W przypadku fragmentu, który sprawił trudności wszystkim narzędziom, dwa najlepsze z nich nadal wygenerowały czytelny tekst w języku szwedzkim.

Jakość spotkań w praktyce

Pomijając kwestię jakości transkrypcji, możliwość wykorzystania danych i wyników generowanych przez te narzędzia do sformułowania konkretnych zadań stanowi naprawdę istotny element tego, jak narzędzia te powinny funkcjonować w ramach dowolnego procesu biznesowego.

Następnie oceniliśmy transkrypcje i streszczenia wygenerowane przez każde z narzędzi w oparciu o „kryteria rzeczywiste”. W tym zakresie pojawiły się pewne wyraźne różnice, zwłaszcza w podejściu Fathomdo tworzenia streszczeń.

Podsumowania spotkań

Spotkania zajmują czas i choć surowy zapis jest przydatny, przeglądanie całego zapisu spotkania często jest zbyt czasochłonne. Chociaż tl;dv inne narzędzia wykorzystują sztuczną inteligencję, która pozwala analizować dowolne spotkanie (lub serię spotkań, jak tl;dvprzypadku tl;dv) i zadawać pytania na ich temat, posiadanie rzetelnego streszczenia do przejrzenia może znacznie ułatwić i przyspieszyć tę czynność.

Chociaż Fathom podsumowanie spotkania, uwzględnił rozmowy i materiały, które mu przekazaliśmy w języku szwedzkim, to jednak wszystkie podsumowania były w języku angielskim. Choć może to być po prostu wewnętrzna decyzja dotycząca doświadczenia użytkownika (UX), to jednak dziwnie wygląda sytuacja, w której oferuje się możliwość transkrypcji w danym języku, a nie odzwierciedla się tego w pozostałych wynikach. Chociaż niektóre narzędzia mogą wysyłać uczestnikom podsumowania e-mailem z fragmentami tekstu w języku angielskim, wydaje się to prawdziwym przeoczeniem ze strony twórców produktu.

W rezultacie Fathom dość słabe Fathom w wielu z tych kategorii, ponieważ nie było żadnych szwedzkich programów, z którymi można by je porównać.

Stabilność behawioralna

W tej części omówiono, jak narzędzia radziły sobie z tą samą treścią w trzech kolejnych przebiegach testowych. Chodzi więc o ten sam plik audio, przetestowany trzy razy. Dzięki temu mogliśmy dokładnie ocenić, jak sztuczna inteligencja i funkcja transkrypcji zachowywały się w wielu przebiegach testowych, uwzględniając ewentualne błędy, które mogły być wynikiem przypadku. tl;dv najbardziej stabilne wyniki, połączone z wysoką jakością transkrypcji i streszczenia, co tl;dv zająć pierwsze miejsce w tym zestawieniu.

Podsumowanie: Jakość a dokładność transkrypcji

Z testów wynikało między innymi, że HappyScribe uzyskał dobre wyniki w zakresie streszczeń w kilku kategoriach oceny. Było to szczególnie zaskakujące, ponieważ narzędzie to wypadło słabo pod względem transkrypcji. Błędy w transkrypcji nie były tu zresztą subtelne. HappyScribe wygenerował słowa „frilbilligen” i „upphöj” – żadne z nich nie istnieje w języku szwedzkim – w fragmentach, w których pozostałe trzy narzędzia zwróciły czytelny tekst.

Logika podpowiadałaby, że na przykład słaba jakość transkrypcji nie pozwoli na sporządzenie dobrych zadań do realizacji. Jednak HappyScribe zdołało tutaj nieco nadrobić straty. Rodzi to pytanie, czy firma położyła na to większy nacisk w ramach swoich wewnętrznych procedur, ale osoby posługujące się językiem szwedzkim powinny podchodzić do tego z rezerwą, jeśli potrzebują dokładnych transkrypcji w języku szwedzkim.

Możliwości i funkcje

W tej sekcji przyjrzeliśmy się gotowym do użycia możliwościom i funkcjom każdego z narzędzi. Opieramy się tu na solidnej transkrypcji w języku szwedzkim, sposobie uporządkowania wyników oraz uczynienia ich użytecznymi dzięki takim elementom, jak streszczenia, a także na innych funkcjach. tl;dv zajmuje tutaj pierwsze miejsce – i to nawet bez takich funkcji jak transkrypcja na żywo, którą Klang wprowadził dopiero w lipcu 2026 roku.

Odcisk głosu

Trzy z tych funkcji znalazły się tl;dv w tl;dv , w tym funkcja „Voice Printing”. Narzędzie to rozpoznaje charakterystyczny wzór głosu użytkownika i potrafi automatycznie zidentyfikować go podczas spotkań. Spośród czterech przetestowanych narzędzi tylko tl;dv tę funkcję.

Śledzenie słów wypełniających

tl;dv jedyne z tych czterech narzędzi, które oferuje funkcję śledzenia słów wypełniających. Chociaż wiele narzędzi oferuje usuwanie słów wypełniających w ramach swojej listy funkcji, oznacza to, że dokładność transkrypcji spada, ponieważ tekst zostaje wygładzony. W większości przypadków nie stanowi to problemu, ale pozbawia transkrypcję części jej autentyczności. tl;dv sprawdzić, gdzie pojawiają się słowa wypełniające, co umożliwia samodzielną ocenę, czy są one w danej rozmowie niezbędne.

Szybkość przetwarzania

Sprawdziliśmy również szybkość przetwarzania po każdym nagraniu audio, aby zobaczyć, ile czasu zajęło narzędziom wykonanie transkrypcji. Większość z nich działała niezwykle szybko – jako pierwsze pojawiły się transkrypcja i streszczenie tl;dv, następnie Fathom choć bez streszczenia w języku szwedzkim), a po nim HappyScribe. Najwięcej czasu zajęło Klang – w jednym przypadku uzyskanie transkrypcji z jednego z naszych testów zajęło około 13 minut.

Zaufanie, bezpieczeństwo i wartość

Jednym z najważniejszych kryteriów oceny przy wyborze asystenta lub narzędzia opartego na sztucznej inteligencji do obsługi spotkań, które ma zostać włączone do zestawu rozwiązań technologicznych firmy, są kwestie bezpieczeństwa, przetwarzania danych i prywatności. Wszystkie narzędzia, z wyjątkiem Fathom, pochodzą z Europy, co zapewnia solidną podstawę dla każdego, kto ma do czynienia z przepisami UE i takimi regulacjami jak RODO.

Lokalizacja danych i szkolenie modeli sztucznej inteligencji

tl;dv dane tl;dv Klang i HappyScribe są przechowywane na terenie UE, podczas gdy Fathom przechowywane w Stanach Zjednoczonych. Dzięki temu europejskie narzędzia zdecydowanie wygrywają pod tym względem.

Kolejnym obszarem, w którym Fathom gorzej od tych trzech narzędzi, było szkolenie sztucznej inteligencji. Chociaż istnieje możliwość wyłączenia szkolenia sztucznej inteligencji, aby znaleźć tę opcję, trzeba mieć uprawnienia administratora, a sama opcja jest głęboko ukryta w interfejsie. Domyślnie szkolenie sztucznej inteligencji jest włączone i trzeba je wyłączyć ręcznie.

Odnotowano wysoki poziom bezpieczeństwa we wszystkich narzędziach

W pozostałej części testów wszystkie narzędzia osiągnęły bardzo dobre wyniki. Każde z nich spełniło wymagania w takich obszarach, jak zgodność z przepisami dotyczącymi bezpieczeństwa, mechanizmy kontroli przechowywania danych oraz przejrzystość cen, a każde oferuje bezpłatny plan, z którego można skorzystać przed podjęciem ostatecznej decyzji. Należy zauważyć, że jeśli zdecydujesz się na przesyłanie plików do serwisu HappyScribe zamiast korzystania z niego podczas rzeczywistych spotkań, zużywasz w ten sposób kredyty minutowe. Podczas naszych testów musieliśmy dokonać doładowania konta w serwisie HappyScribe, aby przetestować funkcję diarizacji, więc jeśli zamierzasz regularnie przesyłać pliki, warto o tym pamiętać.

Test dokładności pomiarów w Szwecji: Metodologia

Nasze porównanie dokładności transkrypcji języka szwedzkiego, streszczeń i funkcji opiera się na kontrolowanym teście, w którym każde narzędzie poddano identycznym warunkom.

Zestaw testowy

W ramach testów języka szwedzkiego wykorzystaliśmy trzy nagrania wideo pochodzące z Riksdagu, czyli szwedzkiego parlamentu. Każdy clip skrócony do około 10 minut dla wygody i spójności, a do każdego clip dołączono oficjalny protokół sporządzony przez rząd, który służył jako punkt odniesienia. Powodem wyboru tego źródła jest fakt, że w każdej debacie parlamentarnej brało udział wielu mówców, posługujących się autentycznym językiem szwedzkim, który często zawiera specyficzną terminologię i skróty, a także zapożyczenia z języka angielskiego.

Każdy clip przetestowany przy użyciu wszystkich czterech narzędzi w dwóch konkretnych warunkach.

Zorganizowaliśmy trzy spotkania na żywo, odtwarzając fragmenty nagrań wyłącznie w formie audio, aby odtworzyć warunki prawdziwego spotkania. W tej serii testów nie sprawdzano przypisywania wypowiedzi poszczególnym mówcom, ponieważ dźwięk pochodził z jednego źródła.

Następnie przesłaliśmy dane bezpośrednio na platformę, aby uzyskać więcej punktów odniesienia i przetestować proces diarizacji.

Recenzja

Po zebraniu transkrypcji i streszczeń dla każdego narzędzia zebraliśmy je wszystkie w jednym dokumencie, przypisując każdemu z nich literę w celu zapewnienia anonimowości wyników. Każdy test został oceniony metodą ślepej oceny w oparciu o dwa modele LLM, w ramach 200-punktowej skali podzielonej na cztery poziomy: jakość transkrypcji, jakość odzwierciedlenia rzeczywistych spotkań, funkcje oraz zaufanie i bezpieczeństwo.

Wyniki generowane przez model LLM zostały następnie zweryfikowane przez Rebekę Bereczky, native speakerkę języka szwedzkiego. Nasza weryfikacja przeprowadzona przez native speakera opierała się na tym samym zanonimizowanym dokumencie, w którym transkrypcje oznaczono literami od A do D, bez żadnych wskazówek dotyczących ich przyporządkowania. Podkreślono konkretne fragmenty, które były trudne lub w których narzędzia podawały sprzeczne wyniki, a my zostaliśmy poproszeni o uszeregowanie wyników oraz podanie szczegółowych informacji na temat błędów, aby wyjaśnić, co było nie tak i dlaczego. Wynik uzyskany przez native speakera potwierdził wszystkie ustalenia z naszych pierwotnych testów.

Zestaw narzędzi

Przetestowane i ocenione narzędzia to:
tl;dv
Klang
Fathom
HappyScribe.

Każde z nich było prowadzone na osobnym koncie Google, niepowiązanym z tl;dv.

Podział silnika i planu

W trosce o pełną przejrzystość postaraliśmy się również uzyskać szczegółowe informacje na temat silników transkrypcji, na których opierają się poszczególne narzędzia. Niektóre z nich nie podają publicznie, z jakiego silnika korzystają, więc w przypadkach, gdy informacja ta nie była dostępna, zaznaczyliśmy to wyraźnie. Przeprowadziliśmy również testy z wykorzystaniem różnych planów płatnych i bezpłatnych.

Zakres i zastrzeżenia

• Wskaźnik WER został podany w postaci oceny, a nie wartości procentowej. Wykorzystany przez nas materiał źródłowy zawierał pisemny protokół, ale nie jest to dosłowna transkrypcja. W związku z tym nie można było obliczyć rzeczywistej wartości WER. Ta sama luka w danych odniesienia występuje we wszystkich narzędziach.
• Ocena przypisania mówców dotyczyła wyłącznie testów z plikami przesłanymi. W testach na żywo każdy clip odtwarzano clip pojedyncze źródło dźwięku, co uniemożliwiło odczytanie oddzielnego kanału mówcy przez jakiekolwiek narzędzie. Wszystkie cztery narzędzia działały w identycznych warunkach.

Jakie jest najlepsze oprogramowanie do transkrypcji spotkań dla osób posługujących się językiem szwedzkim?

tl;dv ogólnej klasyfikacji testów, uzyskując 188 na 200 punktów i osiągając dobre wyniki we wszystkich czterech obszarach naszych testów. Odnotowało również najniższy wskaźnik błędów, dobrze radziło sobie z dodatkowymi samogłoskami oraz poprawnie przetwarzało angielskie zapożyczenia w całym wybranym przez nas materiale audio. Podczas gdy inne narzędzia, takie jak Klang, mają szwedzki interfejs, tl;dv w stanie dostarczyć streszczenia w języku szwedzkim i byłoby łatwe w obsłudze dla przeciętnego użytkownika posługującego się językiem szwedzkim.

Żadne inne narzędzie nie dorównywało mu pod względem dokładności i wydajności jednocześnie.

Klang to jedyne narzędzie z siedzibą w Szwecji biorące udział w tym teście, które osiągnęło solidne wyniki pod względem dokładności. Nieco słabiej wypadło w zakresie niektórych konkretnych funkcji, ale wprowadzenie w lipcu 2026 r. funkcji transkrypcji na żywo pokazuje, że twórcy na bieżąco rozbudowują jego możliwości.

HappyScribe zdołało stworzyć dość rzetelne streszczenie, ale jakość jego transkrypcji była znacznie niższa niż w przypadku innych narzędzi.

Fathom szczegółowością transkrypcji stosunkowo dobrze, ale uzyskał niższą ocenę, ponieważ nie generował streszczeń w języku szwedzkim, co wydaje się poważnym zaniedbaniem w przypadku języka, który, jak twierdzą, obsługuje. Fakt, że serwis ten jest hostowany w Stanach Zjednoczonych, oraz nieco niejasny sposób wykorzystania sztucznej inteligencji do uczenia się na nagraniach również wpłynęły na niższą ocenę.

Jeśli chodzi o narzędzie, które dokładnie rejestruje spotkania prowadzone w języku szwedzkim, dostarcza rzetelne i przydatne streszczenia oraz oferuje szeroki wachlarz funkcji i gwarancji bezpieczeństwa, tl;dv najlepszym rozwiązaniem.

Wypróbuj tl;dv dziś i uruchom tę aplikację podczas następnego spotkania, aby na własne oczy przekonać się o dokładności transkrypcji w języku szwedzkim.