Точність транскрипції шведських зустрічей: ми протестували 4 інструменти штучного інтелекту (2026)

Багато інструментів штучного інтелекту для ведення засідань та створення нотаток стверджують, що можуть точно транскрибувати засідання, які проводяться шведською мовою. Однак, як свідчать відгуки носіїв шведської мови, ми виявили, що точність і надійність таких транскрипцій та нотаток у деяких постачальників послуг є нерівномірною.

За допомогою детального експерименту з оцінюванням ми перевірили tl;dvна здатність та точність управління шведськими нарадами та порівняли його з трьома іншими інструментами.

• Кланг
• Fathom
• HappyScribe

Зазвичай ми б додали Google’s Gemini у наші тестування, оскільки багато компаній та команд з продажу використовують цей інструмент у своїй робочій середовищі. Однак Gemini лише певну кількість мов, і шведська серед них не була.

Нижче наведено таблицю з загальними результатами, що відображають оцінки кожного інструменту за чотирма окремими категоріями. Хоча tl;dv конкурентів, набравши 188 балів, Klang також показав хороші результати за показниками сирої транскрипції. Ключова відмінність між цими двома інструментами полягає в таких факторах, як надійність та функціональні можливості.

Нам вдалося визначити показники таких елементів, як коефіцієнт помилок у словах (WER), скориставшись супровідною документацією до аудіоматеріалів, які ми використовували під час тестування. Однак у тому, як різні інструменти обробляли мову, спостерігалися певні суттєві розбіжності.

Наприклад, Fathom відносно легко створити транскрипцію шведською мовою, але його підвела відсутність резюме шведською мовою.

Оцінки були розраховані в результаті двох анонімних прогонів за допомогою великих мовних моделей (LLM), а потім також оцінені в режимі «сліпої» перевірки носієм шведської мови. Це забезпечило не тільки максимальну об’єктивність тестів, а й їх перевірку людиною, яка вільно володіє шведською мовою і здатна виявити ті моменти, які великі мовні моделі могли пропустити.

Нижче наведено основні результати:

Транскрипція шведських зустрічей та точність

Ці результати були оцінені великими мовними моделями (ClaudeAnthropicта ChatGPT від OpenAI), а потім підтверджені в ході сліпої оцінки носіями мови, під час якої назви інструментів були приховані.

Суть наших тестів полягає просто в тому, наскільки ефективно різні інструменти розпізнають шведську мову. Під час тестування ми оцінювали низку факторів, наведених у таблиці, але ключові елементи мають більшу вагу, оскільки саме вони є основою, що впливає на все інше.

Зокрема, у шведській мові існує низка орфографічних складнощів, на які слід зважати. Це три додаткові голосні, визначені артиклі у формі суфіксів та численні складені слова. З цими особливостями добре впоралися як tl;dv Klang, але два інші інструменти в деяких випадках мали труднощі.

Як компанія, заснована у Швеції та розташована там, Klang показала надзвичайно високі результати, але між двома наборами даних спостерігалася невелика розбіжність за показником частоти помилок у словах, який ми визначили на основі офіційного протоколу Ріксдагу.

Робота зі шведською мовою

У цьому конкретному тесті tl;dv Klang отримали найвищі оцінки. Обидві програми правильно розпізнавали літери «å», «ä» та «ö», специфічні для мови знаки пунктуації, регіональні варіанти, а також переходи між шведською та англійською мовами, що характерні для дебатів у Ріксдазі, де англійські політичні терміни постійно вплітаються у шведські речення.

Fathom не Fathom впоратися з цим завданням і втратив бали за діакритичні знаки та англійські запозичення. HappyScribe загалом показав найгірші результати.

Показник помилок у словах (WER)

На основі очищеного протоколу Ріксдагу tl;dv найнижчий рівень помилок і отримала найвищий бал за результатами оцінювання. Система Klang отримала дещо нижчий бал, а Fathom HappyScribe — ще нижчі.

Через особливості оформлення протоколу дослівної стенограми не існує, а навіть складена вручну містить певну кількість помилок. Оцінка, на якій ми зупинилися, відображає відносний рейтинг, а не абсолютне значення.

Виявлення об’єктів

Цей аспект стосується того, як інструменти обробляли такі елементи, як власні назви, акроніми та технічну термінологію. Водночас це один із найскладніших аспектів для інструментів. tl;dv , як і Klang, tl;dv бездоганний результат щодо точності розпізнавання власних назв та технічних термінів.

Один із найяскравіших прикладів цього був зафіксований як системою оцінювання LLM, так і нашим носієм мови: tl;dv Klang правильно відтворили ім’я «Maia Sandu». Fathom «Maia» на «Maja», допустивши помилку в одній літері. HappyScribe повністю змінила ім’я на «Maya Sandow», а також замінила «їхній президент» на «президент Європи», приписавши їй посаду та повноваження, яких не існує і про які під час дебатів взагалі не згадувалося.

Крім того, раніше в тому ж уривку було два речення, в яких «rysk inblandning» (російське втручання) було перекладено як «Ryss inblandning», а слово «grannar»(сусіди) було перекладено у формі однини — «granna». Усі три інші перекладачі впоралися з цим без помилок.

Виявлені конкретні помилки

Два інструменти, що отримали нижчі оцінки, показали недоліки у дуже конкретних і різних аспектах. Це було виявлено системою LLMS, а потім підтверджено нашим носієм мови.

Наприклад, HappyScribe генерував цілі рядки, які не є шведськими словами, але виглядали як впевнено сформульовані висловлювання. Для людини, яка не володіє шведською мовою, це виглядало б цілком нормально, але для носія мови це — серйозний привід для занепокоєння.

У його результатах зустрічалися такі слова, як «frilbilligen», «upphöj», «allmända» замість «allmänna» та «besed» замість «besked». Одне конкретне слово — «jörnbladtsfälsning» — не можна було пояснити як друкарську помилку. Крім того, слово «befolkning» було розрізано навпіл, утворивши «moldaviens befolk», слово «solkusten» було перетворено на «zonkusten», а ім’я одного з мовців було вигадано повністю.

З іншого боку, помилки Fathomвиглядали як шведські, але були неправильними. Програма написала «funderar» замість «fungerar», змінивши«функціонує»на«роздумує»і перевернувши зміст речення. Вона написала «spanska» з великої літери «S», чого у шведській мові не буває.

Найскладніший фрагмент у тестовому наборі

Найскладніший уривок у всьому наборі був із промови «Författningsfrågor», де містився фрагмент, який жоден із інструментів не зміг правильно розпізнати. Оратор сказав «grundlagsfästning», а системи tl;dv Klang розпізнали це як «grundlagssättning». Цесправжнє шведське слово, утворене правильно, але один з елементів словосполучення було розпізнано неправильно. Для обох систем це була незначна помилка, і носій шведської мови зміг би її помітити та, незважаючи на це, зрозуміти контекст.

HappyScribe та Fathom видали слово «föremån», яке не є шведським словом, а HappyScribe у цьому ж уривку ще двічі використав неіснуючі слова. У тому уривку, який став випробуванням для всіх інструментів, два найкращі з них все ж видали текст, який можна було прочитати як шведську мову.

Якість зустрічей у реальному житті

Не враховуючи якість транскрипції, здатність перетворювати дані та результати, отримані за допомогою цих інструментів, на конкретні завдання є надзвичайно важливою складовою того, як ці інструменти повинні функціонувати в рамках будь-якого бізнес-процесу.

Потім ми оцінили транскрипції та резюме, згенеровані кожним інструментом, за «критеріями реального світу». У цій сфері були помітні певні відмінності, зокрема підхід Fathomдо створення резюме.

Підсумки зустрічей

Проведення зустрічей займає час, і хоча необроблений стенограма є корисним, опрацювання повного тексту стенограми часто забирає занадто багато часу. Хоча tl;dv інші інструменти мають штучний інтелект, який дозволяє переглядати будь-яку зустріч (або кілька зустрічей, як у випадку tl;dv) та ставити запитання щодо них, наявність ґрунтовного резюме для ознайомлення може значно спростити та пришвидшити цей процес.

Хоча Fathom підсумки зустрічей, він фіксував дзвінки та завантажені матеріали, які ми надавали йому шведською мовою, але всі підсумки були англійською. Хоча це може бути просто внутрішнім рішенням щодо користувацького досвіду, все ж дивно, коли пропонується мова транскрипції, але це не відображається в інших результатах. Хоча деякі інструменти можуть надсилати учасникам підсумки електронною поштою, де англійські фрагменти залишаються без змін, це виглядає як справжнє упущення з боку розробників продукту.

Як наслідок, Fathom досить низькі оцінки за низкою цих показників, оскільки не було шведських даних, з якими можна було б порівняти результати.

Стабільність поведінки

Цей елемент стосується того, як інструменти обробляли один і той самий контент під час трьох циклів тестування. Тобто один і той самий аудіофайл тестувався тричі. Це дозволило нам точно визначити, наскільки стабільно працювали ШІ та система транскрипції під час кількох циклів тестування, враховуючи можливі випадкові помилки. tl;dv найстабільніші результати, поєднавши високу якість транскрипції та підсумкового тексту, tl;dv посісти перше місце в цьому рейтингу.

Підсумок: якість проти точності транскрипції

Під час тестування з’ясувалося, що HappyScribe показав хороші результати у складанні резюме за кількома критеріями оцінювання. Це було особливо несподівано, оскільки його результати у транскрипції виявилися незадовільними. Причому помилки у транскрипції були досить очевидними. HappyScribe видав слова «frilbilligen» та «upphöj»; жодне з цих слів не існує у шведській мові, тоді як інші три інструменти у цих уривках видали зрозумілий текст.

Логічно було б припустити, що, наприклад, неякісна транскрипція не може призвести до якісних планів дій. Однак HappyScribe вдалося тут дещо надолужити. Це, звичайно, викликає питання, чи приділяли вони цьому більше уваги всередині компанії, але тим, хто розмовляє шведською і потребує точних шведських транскриптів, слід ставитися до цього з обережністю.

Можливості та функції

У цьому розділі ми розглянули стандартні можливості та функції кожного інструменту. Це ґрунтується на засадах якісної транскрипції шведською мовою, на тому, як організовано вихідні дані та як їх було зроблено корисними завдяки таким елементам, як резюме, а також на інших функціях. Коротко кажучи, tl;dv тут лідирує, і це навіть без урахування таких елементів, як транскрипція в режимі реального часу, яку Klang щойно запустив у липні 2026 року.

Розпізнавання голосу

Три з цих функцій були доступні tl;dv в tl;dv , зокрема «Voice Printing». Цей інструмент запам’ятовує вашу голосову сигнатуру й може автоматично розпізнавати вас під час зустрічей. З чотирьох протестованих інструментів лише tl;dv таку можливість.

Відстеження слів-заповнювачів

tl;dv єдиний із чотирьох інструментів, який пропонує функцію відстеження слів-заповнювачів. Хоча багато інструментів пропонують видалення слів-заповнювачів у складі своїх функцій, це означає, що точність транскрипції знижується, оскільки текст «згладжується». У більшості випадків це не є проблемою, але при цьому транскрипція втрачає частину своєї автентичності. tl;dv вам можливість бачити, де саме з’являються слова-заповнювачі, що дозволяє вам самостійно вирішити, чи є вони необхідними в даному записі розмови.

Швидкість обробки

Ми також перевірили швидкість обробки після кожного запису аудіо, щоб з’ясувати, скільки часу знадобилося інструментам для транскрибування. Більшість з них працювали надзвичайно швидко: першими з’явилися транскрипт і резюме tl;dv, за ними Fathom хоча й без резюме шведською мовою), а потім — HappyScribe. Найдовше працював Klang: в одному з наших тестів отримання транскрипту зайняло близько 13 хвилин.

Довіра, безпека та цінність

Одним із найважливіших критеріїв оцінки під час вибору помічника для проведення зустрічей на базі штучного інтелекту або іншого інструменту для включення до технологічного стеку вашого бізнесу є питання безпеки, обробки даних та конфіденційності. Усі ці інструменти, за винятком Fathom, є європейськими, що забезпечує міцну основу для будь-кого, хто має справу з нормами ЄС та такими документами, як GDPR.

Розташування даних та навчання штучного інтелекту

tl;dv дані Klang і HappyScribe зберігаються на території ЄС/Європи, тоді як Fathom у США. Це дає європейським інструментам беззаперечну перевагу за цим показником.

Ще одна сфера, в якій Fathom цим трьом інструментам, — це навчання ШІ. Хоча навчання ШІ можна вимкнути, для цього потрібно мати права адміністратора, а сама опція захована глибоко в інтерфейсі. За замовчуванням навчання ШІ увімкнено, і його потрібно вимкнути вручну.

Зафіксовано високий рівень безпеки у всіх інструментах

Решта тестування показала високі результати для всіх інструментів. Кожен із них відповідав вимогам у таких сферах, як дотримання стандартів безпеки, контроль зберігання даних, прозорість ціноутворення, а також кожен має безкоштовний тарифний план, який можна випробувати перед тим, як зробити вибір. Слід зазначити, що якщо ви вирішите завантажувати файли в HappyScribe, а не використовувати його під час реальних зустрічей, це все одно потребує витрати хвилинних кредитів. Під час тестування нам довелося поповнити рахунок у HappyScribe для перевірки функції діаризації, тож якщо ви плануєте регулярно завантажувати файли, про це варто пам’ятати.

Тест на точність шведської мови: методологія

Наше порівняння точності транскрипції, резюме та функцій шведської мови ґрунтується на контрольованому тестуванні за принципом «один до одного», розробленому з метою забезпечення однакових умов для кожного інструменту.

Набір для тестування

Для тестування шведської мови ми використовували три відеозаписи, отримані від Ріксдагу — шведського парламенту. Кожен clip скорочено до приблизно 10 хвилин для зручності та узгодженості, а до кожного clip додавався офіційний урядовий протокол, який слугував довідковим матеріалом. Ми обрали саме це джерело, оскільки в кожній парламентській дискусії брали участь кілька доповідачів, які розмовляли справжньою розмовною шведською мовою, що часто містить специфічну термінологію та абревіатури, а також запозичення з англійської мови.

Кожен clip перевірено за допомогою всіх чотирьох інструментів за двох конкретних умов.

Ми провели три зустрічі в прямому ефірі, відтворюючи аудіозаписи, щоб імітувати умови реальної зустрічі. У цьому тесті не перевірялася ідентифікація мовців, оскільки аудіозапис містив лише одне джерело звуку.

Потім ми завантажили дані безпосередньо на платформу, щоб отримати більше орієнтирів і перевірити можливість діаризації.

Огляд

Зібравши транскрипції та резюме для кожного інструменту, ми об’єднали їх у єдиний документ, присвоївши кожному з них літеру для забезпечення анонімності результатів. Кожен тест оцінювався методом «сліпого» тестування за допомогою двох великих мовних моделей (LLM) за 200-бальною шкалою, розділеною на чотири рівні: якість транскрипції, якість відтворення реальних зустрічей, функціональні можливості, а також надійність і безпека.

Потім результати оцінювання LLM були підтверджені перевіркою, яку провела носійка шведської мови Ребека Берецкі. Перевірка носієм мови проводилася на тому самому анонімізованому документі, де транскрипти були позначені літерами від A до D без жодних вказівок на те, який з них є яким. Були виділені конкретні уривки, які виявилися складними або в яких результати роботи інструментів суперечили один одному, і нас попросили оцінити отримані результати та надати детальну інформацію про помилки, пояснивши, що саме було неправильно і чому. Результат перевірки носієм мови підтвердив усі висновки, які ми зробили під час нашого початкового тестування.

Набір інструментів

Були протестовані та оцінені такі інструменти:
tl;dv
Klang
Fathom
HappyScribe.

Кожен з них працював на окремому обліковому записі Google, не пов’язаному з tl;dv.

Розбивка двигуна та плану

З метою забезпечення повної прозорості ми також з’ясували деталі щодо механізмів транскрипції, на яких базується робота кожного з цих інструментів. Деякі з них не розголошують, який саме механізм вони використовують, тому у випадках, коли така інформація була недоступна, ми вказали це. Крім того, ми провели тестування різних платних та безкоштовних тарифних планів.

Сфера застосування та застереження

• Показник WER наводиться у вигляді бальної оцінки, а не у відсотках. Використаний нами вихідний матеріал супроводжувався письмовим протоколом, але це не дослівна стенограма. Як наслідок, точний показник WER обчислити не вдалося. Ця проблема з відсутністю вихідних даних характерна для всіх інструментів.
• Оцінка розпізнавання мовців проводилася лише на записах, завантажених із мережі. Під час тестів у режимі реального часу кожен clip відтворювався clip єдине аудіоджерело, що не залишало окремого каналу для мовця, який би міг бути прочитаний будь-яким інструментом. Усі чотири інструменти працювали в однакових умовах.

Яке програмне забезпечення для транскрибування зустрічей найкраще підходить для носіїв шведської мови?

tl;dv в загальному рейтингу тестування, набравши 188 балів із 200, і показав високі результати у всіх чотирьох напрямках нашого тестування. Цей сервіс також продемонстрував найнижчий рівень помилок, добре впорався з додатковими голосними та правильно замінив англійські запозичення у всьому обраному нами аудіоматеріалі. Хоча інші сервіси, такі як Klang, мають шведський інтерфейс, tl;dv надати шведські конспекти, і середньостатистичному носію шведської мови буде легко ним користуватися.

Жоден інший інструмент не міг зрівнятися з ним за точністю та продуктивністю одночасно.

Klang — єдиний шведський сервіс у цьому тесті, який продемонстрував високі показники точності. Деякі конкретні функції були дещо слабкішими, але запуск функції транскрипції в режимі реального часу в липні 2026 року свідчить про те, що розробники поступово розширюють функціонал.

HappyScribe зміг підготувати досить ґрунтовний виклад, але рівень якості його транскрипції був значно нижчим, ніж у інших інструментів.

Fathom досить добре Fathom точністю транскрипції, але отримав нижчу оцінку, оскільки не створював резюме шведською мовою, що видається серйозним упущенням, враховуючи, що, за їхніми запевненнями, вони підтримують цю мову. На нижчу оцінку також вплинули той факт, що сервіс розміщений у США, а також дещо непрозорий підхід до використання штучного інтелекту для навчання на основі аудіозаписів.

Серед інструментів, які точно фіксують хід засідань шведською мовою, надають ґрунтовні та практичні резюме, а також пропонують широкий спектр функцій і гарантій безпеки, tl;dv найкращим варіантом.

Спробуйте tl;dv сьогодні та застосуйте його на наступній нараді, щоб на власні очі переконатися в точності транскрипції шведської мови.