Точність транскрипції фінських зустрічей: ми протестували 4 інструменти штучного інтелекту (2026)

Інструменти для транскрибування зустрічей фінською мовою знайти легко. Багато штучного інтелекту, що виконують функції помічників під час зустрічей, вказують фінську мову серед тих, якими вони володіють, але заявляти про можливість транскрибування фінської мови та фактично це робити — це дві різні речі.

У фінській мові закінчення вказують на значення в кінці окремого слова. Слово «leikkaussalivalmiutta» містить у собі цілу англійську фразу, і одне пропущене закінчення змінює зміст речення.

Багато сервісів, що підтримують фінську мову, орієнтовані на англійську — вони розроблені для носіїв англійської, а інші мови додані як доповнення, і наші тестування це підтверджують.

Ми протестували tl;dv у порівнянні з трьома іншими системами для швидкого перекладу на рідну фінську мову в офіційній обстановці:

• Fireflies
• Noota
• Fathom

Зазвичай ми б додали Google’s Gemini у наших тестах, оскільки багато компаній та команд з продажу вже використовують його у своїх робочих середовищах. Однак Gemini підтримує Gemini вісім мов, і фінська серед них немає.

Результати були знеособлені та оцінювалися методом «сліпого» аналізу за чотирма розділами, два з яких стосувалися документації та маркетингових матеріалів кожного інструменту:

• Транскрипція та точність
• Якість зустрічей у реальному житті
• Можливості та функції
• Довіра, безпека та цінність

Оцінювання проводили дві великі мовні моделі (LLM): «Claude» Anthropicта «ChatGPT» від OpenAI в рамках анонімізованих, ізольованих проектів, щоб уникнути упередженості. Далі передбачається перевірка носієм мови.

За підсумками, tl;dv перше місце, набравши 173 бали з 200. Noota та Fireflies наступні місця з результатами 149 та 148 балів відповідно, а Fathom значно Fathom , набравши лише 94 бали.

Транскрипція та точність фінських зустрічей

Спочатку ми розглянули точність обробки мови як такої — тобто те, як кожен інструмент справлявся саме з фінською мовою.

tl;dv перше місце, набравши загальний бал 59 із 65.

Точність викладу

Саме в цьому tl;dv інших. Він отримав найвищу оцінку за точність перекладу, ставши єдиним інструментом, який зумів відобразити особливості «живої» фінської мови.

Наприклад, одна зі спікерок, виправляючи себе, справді сказала «tuomatta, tuomas, tuomalla». В офіційному протоколі це було зведено до одного чіткого слова. tl;dv те, що було сказано. Інші ж, навпаки, виправили це, надавши висловлюванню більш чіткого вигляду.

Рівень помилок у тексті

Показник помилковості на рівні слів (WER) є нашим найбільш об’єктивним критерієм оцінки. Ми порівняли результати роботи кожного інструменту з офіційними протоколами Едускунти за кожним засіданням. tl;dv найнижчий показник помилковості з досить значним відривом: у середньому 9,6% порівняно з 14,1% у Fireflies, 14,4% у Noota та 17,1% у Fathom.

Парламентський протокол не є дослівним, тому кожен відсоток перевищує реальний рівень похибки. Незважаючи на це, tl;dv приблизно на третину точнішим за свого найближчого конкурента і утримував цю перевагу протягом усіх трьох засідань.

Виявлення об’єктів

tl;dv найвищу оцінку та зміг правильно впізнати Ліндтмана, Лохікоскі, Оуласканкаана та Danske Bank.

Fireflies «Noota» опустилися на 3-тє місце, перетворивши Ліндтмана на «Ліндмана», Лохікоскі — на «Лох'янскі», а Оуласкангаса — на «Оулунасканкаана».

Fathom найгірший результат — 2 бали, і саме в його помилках найяскравіше проявилася проблема, пов’язана з пріоритетом англійської мови: прем’єр-міністр Орпо перетворився на «Орко», міністр Мултала — на «Мултола», міністр Микканен — на «Минккасте», а Danske Bank — на «Таскі Панкін».

Числа, дати та валюта

Найбільша цифра на зустрічі — коригування на дев’ять мільярдів євро — збила з пантелику більшість інструментів. Fireflies Noota почули «yhdeksän miljardin» і записали «yhdeksän miljoonin», тобто дев’ять мільйонів. Тільки tl;dv Fathom це правильно.

Проте у деяких інших моментах Fathom : наприклад, перетворив «95 відсотків підприємців» на «95… 50 prosenttia» та скоротив 2026 до «26».

Розпізнавання технічних термінів

tl;dv єдиним інструментом, який отримав найвищу оцінку. Він зміг правильно розпізнати та відтворити фінські технічні терміни «vaihtoehtobudjetti», «kehysriihi», «päästökauppa», а також абревіатури THL та EKP. Усі інші інструменти неодноразово неправильно транскрибували ці слова, перетворюючи «vaihtoehtobudjetti» на «vaihtoehtopudjetti», а «kehysriihi» — на «kehysjärjestö». Зокрема, найнижчий результат показав Fathom.

Якість зустрічей у реальному житті

З 45 учасників tl;dv найбільшу кількість балів — 36, а Fireflies «Noota» розділили друге місце з результатом 33 бали; Fathom останнє місце з результатом 9 балів з двох конкретних причин.

Діаризація

Ніхто не отримав максимальної оцінки за діаризацію, оскільки була одна особливо складна частина, в якій питання в усіх інструментах було вплетене у висловлювання іншої особи. tl;dv Fireflies по 7 Fireflies із 10, розділивши між собою чотирьох мовців; за винятком цієї помилки, їхні результати були майже ідеальними. Noota набрала 6 балів. Система змогла виділити мовців, але припустилася тієї самої помилки, що й Mattila, і зупинилася до кінця, незважаючи на те, що отримала повний файл. Fathom 0 балів, оскільки ми не змогли завантажити файли безпосередньо на платформу.

Частота галюцинацій та частота вставних явищ

Під час наших випробувань ми зафіксували кілька випадків «галюцинацій» інструментів, зокрема під час випробувань у Франції.

tl;dv найвищу оцінку — 9 з 10: у транскрипті не було жодних вигадок, але було додано один пункт, який не відповідав дійсності на 100%. Noota набрав 8 балів: його робота була обґрунтованою, у підсумок було додано власний аналіз на основі інтерпретації, але вигаданих фактів не було.

Fireflies найгіршим із робочих інструментів, отримавши оцінку 6. Якість транскрипту загалом була задовільною, але під час формування резюме на основі транскрипту система створила завдання та призначила їх особі, яка не брала участі в нараді.

За результатами аналізу стенограми, Fathom 3 Fathom за галюцинації. Інструмент почав генерувати англійські речення, яких ніхто не вимовляв, і описував вісім випадків банкрутства на день як «післявоєнний рекорд» — вираз, який ніде не зустрічається в аудіозаписі.

Короткий огляд якості

Fathom 0 Fathom за якість резюме, як і під час нашого тесту зі шведською мовою. Незважаючи на те, що в рекламних матеріалах компанія заявляє про можливість транскрибування фінської мови, отримати резюме фінською мовою не вдається. Розмова транскрибується фінською мовою (до певної міри, як видно з вищесказаного), але резюме та перелік дій подаються виключно англійською мовою, без можливості перекладу.

Можливості та функції

У цьому розділі розглядаються функції кожного інструменту та те, як вони вписуються у ваш стек.

tl;dv перше місце, набравши 60 балів із 72, за ним йдуть Fireflies 58 Fireflies , Noota — 57 балів та Fathom 46 Fathom .

Фінський інтерфейс

Жоден із цих інструментів не має інтерфейсу, повністю перекладеного на фінську мову. Вони можуть розпізнавати та узагальнювати тексти фінською мовою, але на даний момент жоден із них не підтримує повного використання фінської мови.

Розпізнавання голосу

Розпізнавання голосу — це та функція, яка tl;dv вирізняє tl;dv серед інших. Якщо ви увімкнете цю функцію, система запам’ятає ваш голос. Жоден інший інструмент не пропонує такої можливості.

Відстеження слів-заповнювачів

Існує чимало інструментів, які видаляють «öö» та «tota». На відміну від них, tl;dv не видаляє ці символи, а tl;dv їх, і це був єдиний інструмент у наборі, який це робив.

У чому Fathom невдачі

Fathom основні функції: запис без ботів, синхронізацію з CRM, настроюваний словник, власний сервер MCP. Однак у ньому відсутні функції, необхідні команді, яка не володіє англійською мовою: немає перекладу, немає форматів експорту, немає можливості запису з мобільних пристроїв, немає підсумкового листа з підсумками однієї зустрічі, а також мітки часу є найменш надійними.

Довіра, безпека та цінність

Для всіх, хто працює у Фінляндії чи Європі, дотримання нормативних вимог має велике значення. tl;dv Fireflies Noota отримали найвищі оцінки. Fathom нижчу оцінку — 12 балів.

Навчання штучного інтелекту на основі ваших аудіозаписів

tl;dv Fireflies Noota не навчають ШІ на ваших аудіозаписах. Fathom за замовчуванням. Цю функцію можна вимкнути, але налаштування приховане, тому ваші записи використовуються для навчання моделі, якщо ви її не вимкнете.

Вибір місця зберігання даних

Можливість самостійно обирати місце зберігання даних є надійним показником довіри. tl;dv пропонують Fireflies Noota. Fathom зберігає дані Fathom в США.

Фінський тест на точність розпізнавання: методологія

Наше порівняння ґрунтується на контрольованому тестуванні за принципом «один до одного», яке було розроблено з метою забезпечення однакових умов для кожного інструменту.

Набір для тестування

Ми відібрали три сесії запитань у парламенті Фінляндії — Едускунті, записані 28 листопада, 5 грудня та 12 грудня 2024 року.

Формат сесії запитань і відповідей передбачав участь багатьох доповідачів, швидку зміну виступів, невимушену розмовну фінську мову та велику кількість технічної лексики, імен і цифр; тривалість кожного clip 10 хвилин.

Кожен інструмент отримав однакові записи, зроблені в однакових умовах: три зустрічі в прямому ефірі та, за можливості, сесія завантаження.

Fathom підтримує завантаження файлів, тому не зміг виконати цей другий запуск.

Точність та рівень помилок у словах вимірювалися на основі офіційного протоколу кожного засідання — «Pöytäkirja».

Огляд

Оцінювання проводилося в режимі «сліпого» тестування: результати роботи кожного інструменту були знеособлені та пронумеровані літерами, а їх оцінку здійснювали дві великі мовні моделі (LLM) у рамках незалежних, ізольованих проектів, щоб уникнути упередженості.

Крім того, ми плануємо з часом запровадити оцінювання, яке проводитимуть носії мови.

Застосовувалися два правила підрахунку балів: за недоступну функцію нараховувалося нуль балів, а за результат, що повертався до англійської мови, — також нуль балів.

Дані щодо характеристик були отримані з відкритих документів кожної компанії та перевірені на відповідність фактичним результатам наших тестів.

Набір інструментів

Компанії Fireflies Fathom обрані тому, що вони є провідними американськими компаніями.

Noota була нашим європейським варіантом, тому при її розробці враховувалися вимоги GDPR.

У ході нашого дослідження компанія Lingsoft була визначена як фінський стандарт, однак вона є постачальником послуг у сфері розпізнавання мовлення (ASR) та мовних послуг, а не розробником програм для самостійного створення нотаток, тому її не можна було порівнювати з іншими аналогічними продуктами, і вона не увійшла до переліку, що оцінювався.

Розбивка двигуна та плану

Кожен інструмент працює таким чином: він керується двигуном, який обробляє запис і перетворює його на стенограму.

Сфера застосування та застереження

• «Pöytäkirja» — це відредагований протокол, а не стенограма. З нього вилучаються невдалі початки речень, повтори та дрібні виправлення, які люди роблять, коли говорять у швидкому темпі. Це означає, що кожен показник частоти помилок у словах перевищує реальну частоту помилок.
• Підтвердження статусу носія мови ще не отримано.
• Fathom не Fathom виконати цикл завантаження, а його вихідні дані в режимі реального часу не містили розділення каналів, тому за нашим правилом щодо недоступних ознак він отримав нуль балів за діаризацію.
• Третій звіт Fathomне надійшов у межах нашого періоду вимірювання, що відбилося на його оцінці швидкості обробки даних.
• Дані про функції, що знаходяться у відкритому доступі, відображають інформацію, опубліковану на момент тестування, і можуть змінюватися.

Яке програмне забезпечення для транскрибування зустрічей найкраще підходить для фінської мови?

Найкращим програмним забезпеченням для транскрибування зустрічей фінською мовою є tl;dv, яке посіло перше місце в нашому порівняльному тестуванні, набравши 173 бали з 200. Noota посіла друге місце з результатом 149 балів, Fireflies відстала Fireflies бал — 148, а Fathom відстала, набравши 94 бали.

tl;dv три з чотирьох рівнів і розділив четверте місце, а вирвався вперед саме там, де фінська мова стає складною. Цей інструмент мав найнижчий показник помилок у словах серед усіх чотирьох. Це був єдиний інструмент, який правильно розпізнав кожне ім’я, кожну цифру та кожен технічний термін. Він жодного разу не «загубився» у фінській мові. Крім того, це був єдиний інструмент, що пропонував функцію розпізнавання голосу та відстеження слів-заповнювачів — обидві ці функції відповідають тому самому принципу, завдяки якому він посів перші місця за рівнем точності: передавати те, що було сказано, а не прикрашати текст.

Отже, все зводиться до того, для чого вам потрібна ця стенограма. Якщо вам потрібно, щоб запис був точним, імена написані правильно, цифри не змінені, а нічого не вигадано, то, судячи з цих даних, це tl;dv».

Якщо ви проводите наради фінською мовою і вам потрібен помічник на основі штучного інтелекту, якому можна довірити точне відображення деталей, спробуйте tl;dv .