Перейти до змісту
Короткий огляд італійських інструментів транскрипції та їхньої точності
Ми провели сліпе тестування, щоб з’ясувати, який інструмент для транскрибування італійських зустрічей є найточнішим.
Ми розмістили tl;dv з трьома іншими інструментами: Google Gemini, Firefliesта Fathom, щоб з’ясувати, який з них є найкращим ШІ-нотатником для італійської мови, і tl;dv перше місце, набравши 181 бал із 200 можливих.
Ми отримали бали за такі напрямки:
- Транскрипція італійських зустрічей та її точність
- Якість зустрічей у реальному житті
- Можливості та функції
- Довіра, безпека та цінність
- Тест на точність італійської мови: методологія
Ми використовували ті самі італійські аудіозаписи та оцінювали кожну транскрипцію й резюме, залучивши до оцінювання як штучний інтелект, так і носія італійської мови. tl;dv інших із значним відривом, за ним йшли Fireflies, потім Gemini, а Fathom останнє місце.
Точність транскрипції італійських зустрічей можезначно варіюватися, незважаючи на те, що стверджують маркетингові матеріали різних інструментів для проведення зустрічей. На основі наших нещодавніх тестувань транскрипцій на різних мовах, виконаних цими інструментами, ми часто виявляємо, що заявлені можливості інструменту та фактичний результат можуть суттєво відрізнятися.
Тому ми протестували можливості tl;dvщодо транскрипції італійської мови у порівнянні з трьома іншими інструментами, які пропонують італійську як одну з рекламних опцій: Google Gemini, Fathom та Fireflies.
Результати виявилися цікавими: деякі інструменти ледве справлялися з перекладом навіть найпростіших речень, коли йшлося про природну розмовну італійську мову, а за всіма нашими критеріями тестування tl;dv посідав перше місце.
Оцінювання проводилося незалежно двома великими мовними моделями (LLM) і підтверджувалося носієм італійської мови; жоден із них не знав, який саме інструмент надав той чи інший результат.
Нижче наведено загальні оцінки за кожним розділом, а також детальний аналіз кожного напрямку тестування, щоб пояснити, як ми дійшли висновку, що найкращим інструментом для проведення зустрічей італійською мовою є tl;dv.
| Рівень | Макс | tl;dv | Google Gemini | Fireflies | Fathom |
|---|---|---|---|---|---|
| Транскрипція та точність | 65 | 61/65 | 34/65 | 34/65 | 31/65 |
| Якість зустрічей у реальному житті | 45 | 41/45 | 32/45 | 32/45 | 21/45 |
| Можливості та функції | 72 | 61/72 | 37/72 | 58/72 | 50/72 |
| Довіра, безпека та цінність | 18 | 18/18 | 15/18 | 18/18 | 18 грудня |
| Загальний бал | 200 | 181/200 | 118/200 | 142/200 | 114/200 |
| Рейтинг | 1 | 3 | 2 | 4 |
Транскрипція італійських зустрічей та її точність
Ці результати були оцінені великими мовними моделями (ClaudeAnthropicта ChatGPT від OpenAI), а потім підтверджені в ході сліпої оцінки носіями мови, під час якої назви інструментів були приховані.
У першому раунді тестування ми оцінювали фактичну якість транскрипції, яку забезпечують різні програми для ведення протоколів зустрічей на основі штучного інтелекту: чи здатні вони точно записати те, що було сказано італійською мовою?
Кожному інструменту було надано однаковий набір італійських мовних зразків, а результати оцінювалися за конкретними показниками — від загальної точності на рівні слів до таких елементів, як розпізнавання власних імен, обробка чисел та специфічної технічної термінології.
У цій частині тесту перше місце tl;dv , набравши 61 бал із 65 можливих. Решта три інструменти показали досить близькі результати — у середині тридцятих балів. Різниця виявилася досить значною, і нижче ви можете ознайомитися з розбивкою за кожним елементом, який ми тестували, а також з результатами оцінювання, отриманими на основі двох сліпих раундів тестування великих мовних моделей (LLM) та сліпого тестування носіями мови.
| Метрична система | Як підраховуються бали | tl;dv | Google Gemini | Fireflies | Fathom |
|---|---|---|---|---|---|
| Точність викладу | Сліпа оцінка носієм мови ступеня точності висловлювань у рідній мові | 18/20 | 20 жовтня | 20 вересня | 20 серпня |
| Особливості обробки залежно від мови | Діакритичні знаки, пунктуація, регіональні варіанти, переключення кодів | 18/20 | 20 грудня | 13/20 | 20 грудня |
| Оцінка рівня помилок у тексті | Розраховано на основі офіційного транскрипту або еталонного тексту | 5/5 | 3/5 | 2/5 | 1/5 |
| Виявлення об’єктів | Імена, назви компаній та назви місць у складі акторського складу | 5/5 | 3/5 | 2/5 | 2/5 |
| Числа, дати та валюта | Цифри, дати та суми, відформатовані відповідно до вимог мови | 5/5 | 2/5 | 2/5 | 4/5 |
| Технічний термін «сирове розпізнавання» | Галузеві терміни та абревіатури перед початком індивідуального навчання | 5/5 | 1/5 | 2/5 | 2/5 |
| Пунктуація та сегментація | Розбиття речень та поділ на абзаци у вихідних даних тестового запуску | 5/5 | 3/5 | 4/5 | 2/5 |
| Підсумок за транскрипцією та точністю | 61/65 | 34/65 | 34/65 | 31/65 |
Наскільки точним є кожен інструмент на сайті «Everyday Italian»?
Кожен із цих інструментів досить добре впорався з розпізнаванням повсякденної італійської мови. Жоден із них не надав транскрипт, який було б важко зрозуміти або який містив би значні помилки, на відміну від деяких інших мов, які ми тестували, зокрема французької та німецької.
tl;dv найточнішим із значним відривом. Був конкретний фрагмент аудіозапису, присвячений фінансам, який ми змогли безпосередньо порівняти з підтвердженим, опублікованим текстом-джерелом. tl;dv відтворити оригінальний формат майже слово в слово, хоча й з деякими розбіжностями, оскільки опублікований текст було відредаговано, тоді як tl;dv його дослівно.
Gemini Fireflies також досить добре Fireflies з загальними реченнями. Були деякі дуже конкретні помилки, такі як«aduzione»замість«adozione»,«traduzionali»замість«tradizionali»або«veramente», коли мовець сказав«meramente». Fireflies перетворив фразу«capitale di rischio»на«capirebbe il rischio», що не є справжнім терміном.
З чотирьох протестованих інструментів Fathom допустив найбільше помилок. У деяких випадках штучний інтелект, судячи з усього, намагався вгадати конкретні фрази, перетворивши«Basti pensare»на«Passi a pensare», а«manifattura»— на«manufattura».Було також речення про фінансування пацієнтів та ризиковий капітал, яке Fathom взагалі Fathom розпізнав.
Fathom найгірші результати, якщо говорити про точність перекладу італійської мови.
Які інструменти правильно перекладають італійські абревіатури та технічні терміни?
На нарадах регулярно використовуються надзвичайно технічні терміни та абревіатури, які, ймовірно, мають величезне значення для загального контексту самої наради. Під час нашого тестування транскрипції італійської мови кожен clip з урахуванням кількості технічного жаргону, щоб перевірити, наскільки легко його розпізнають інструменти транскрипції. Один із них, присвячений охороні здоров’я, містив багато термінів, які були італійськими скороченнями для позначення конкретних понять. Серед них були положення про EHDS, директива NIS 2, а також низка термінів з кібербезпеки та взаємодії систем.
З усіх чотирьох інструментів лише tl;dv забезпечити правильність результатів, щоразу коректно розпізнаючи EHDS та NIS 2 без завантаження будь-якого власного словника в інтерфейс.
Для порівняння: Gemini «NIS 2»на«IS2»і в одному й тому ж уривку передало«EHDS»трьома різними способами: спочатку як«HDS», потім як«HS», а потім як«HD».
Так само у грі Fireflies оминули«NIS 2» ізамінили«EHDS»на«HDS».
Fathom пропустила ці назви, змінивши«NIS 2»на«URIS 2», а«EHDS»— на«HTS».
Ці помилки можна виправити, і багато програм підтримують можливість додавання власних слів, але набагато важливіше спочатку правильно розпізнавати слова з плавної італійської мови.
Саме за цими критеріями tl;dv найвищу оцінку.
Наскільки добре в італійській мові поводяться з числами та датами?
Дати та цифри — це ті елементи, де навіть одна помилка може повністю змінити зміст речення, тому ми відстежували їх окремо. У промові про охорону здоров’я все вирішувала одна цифра: термін реалізації Європейського простору медичних даних — 2029 рік. Fathom tl;dv Fathom чітко розпізнали її. Gemini Fathom Gemini її до «202», що сприймається як друкарська помилка або зовсім інша цифра, і зробила це не один раз. Fireflies це число словами, але помилився, вказавши«duemilaventidove»замість«duemilaventinove».
tl;dv п’ять балів, Fathom , а Gemini Fireflies — по Fireflies .
Чи правильно штучний інтелект, що веде нотатки, переклав італійські імена?
В одному з відеороликів було показано велику перелік імен, що дозволило нам оцінити, наскільки добре ці інструменти справляються з італійськими іменами. Це дійсно має ключове значення в таких сферах, як продажі, коли доводиться мати справу з іменами потенційних клієнтів та ключових зацікавлених осіб за допомогою інтегрованої CRM-системи.
До цього переліку входили такі прізвища, як Граттері, Фраттасі та Мелілло, а також Валенсізе, Морроне, Каравеллі, Ді Монте та Костанцо. Інструменти, що використовувалися для виготовлення цих виробів, значно відрізнялися між собою.
tl;dv правильно обробити весь список і виявився єдиним інструментом, здатним точно розпізнати ім’я«Angelo Costanzo», а не«Costanto».
Fathom розпізнав ім’я «Джованні Каравеллі», тоді як два інші інструменти додали зайве«Джанні», але перетворили«Сімона Ді Монте»на«Сімоне Ді Монті».
Fireflies Gemini Fireflies пропустили багато з них, а потім визначили«Battarella»замість«Mattarella»— цю помилку повторив Fathom .
tl;dv тут tl;dv п’ять балів; решта, з урахуванням помилок, набрали по два або три бали.
Якість зустрічей у реальному житті
Точність транскрипції є основою якості кінцевого результату, але варто також врахувати, як цей результат застосовується в інших сферах повсякденної роботи. Результати роботи всіх чотирьох протестованих інструментів містять такі елементи, як резюме, і для того, щоб будь-який помічник для проведення зустрічей на базі ШІ був корисним, ці резюме мають бути достатньо якісними, щоб їх можна було надсилати іншим.
У цьому розділі нашого тестування транскрипції італійських зустрічей ми розглянули такі аспекти, як частота помилок, якість резюме та практичні рекомендації.
Ми також оцінили якість діаризації, яка виявилася задовільною для тих інструментів, які нам вдалося протестувати; при цьому Gemini підказки, перш ніж взагалі почав розрізняти мовців. Fathom не Fathom оцінити за цим критерієм, оскільки він здійснює лише запис у реальному часі, а наші тести проводилися з одним джерелом.У цьому розділі tl;dv найвищі оцінки.
| Метрична система | Як підраховуються бали | tl;dv | Google Gemini | Fireflies | Fathom |
|---|---|---|---|---|---|
| Якість діаризації | Порівняння кількості акторів та розподілу ролей з відомим складом акторського складу | 9/10 | 7/10 | 8/10 | 0/10 |
| Стабільність поведінки | Стабільність поведінки в різних типах сесій | 9/10 | 6/10 | 5/10 | 4/10 |
| Якість резюме | Корисність резюме та те, чи збереглася воно мовою оригіналу, з урахуванням запозичених слів | 5/5 | 4/5 | 3/5 | 5/5 |
| Частота галюцинацій / частота вставних образів | Вигаданий, повторений або продубльований текст, якого немає в аудіозаписі, з незначними виправленнями у випадках, коли неправильне сприйняття звуку змінило зміст | 10/10 | 9/10 | 9/10 | 4/10 |
| Виокремлення елементів для дій | Якість завдань та подальших дій, визначених під час наради | 4/5 | 2/5 | 4/5 | 3/5 |
| Автоматичне розділення на розділи / підрозділи | Чи поділяє цей підсумок засідання на зручні розділи? | 4/5 | 4/5 | 3/5 | 5/5 |
| Проміжний підсумок щодо якості зустрічей у реальному світі | 41/45 | 32/45 | 32/45 | 21/45 |
Які інструменти створюють галюцинації або вигадують текст?
«Галюцинація» — це одна з найбільших проблем, з якими стикаються люди, маючи справу з будь-чим, пов’язаним зі штучним інтелектом. Якщо інструмент вигадує та фабрикує формулювання, дії чи будь-що інше, це може призвести до серйозних помилок і, можливо, до ще більших проблем. Одне неправильно почуте слово може дратувати, але зазвичай його легко виявити; натомість цілі фрагменти вигаданого тексту можуть бути набагато гіршими.
Як показав наш аналіз, tl;dv взагалі нічого tl;dv під час усіх сесій запису. Кожен елемент точно відповідав вихідному матеріалу і не містив нічого, що відрізнялося б від сказаного.
Gemini Fireflies зуміли уникнути вигадування та введення будь-яких відмінностей чи вигадок під час транскрипції італійською мовою. Обидві групи отримали оцінку, трохи нижчу за максимальну, — бали були зняті за помилки у сприйнятті, що змінили зміст, а не за вигадки.
Однак Fathom вставив цілі фрази, яких у аудіозаписі не було. У одній із транскрипцій з’явилося«Grazie per aver guardato», що означає «дякуємо за перегляд». Серед інших речень, які з’явилися, були«Grazie a tutti»та окреме«Siamo capaci di fare noi». Як уже згадувалося в першому розділі, у частині, присвяченій фінансам, програма пропустила ціле речення.
Це викликає занепокоєння, оскільки вигаданий рядок у загалом якісному стенограмі є, мабуть, найгіршою помилкою, якої може припуститися будь-яка система штучного інтелекту, що створює нотатки. Досить малоймовірно, що людина перевірить резюме перед його розсилкою, якщо воно читається добре.
Який інструмент дозволяє скласти найкращий звіт про італійську нараду?
Саме в цій сфері деякі з інструментів, які раніше мали труднощі, показали досить хороші результати. Незважаючи на найгірші результати транскрипції, резюме, Fathom, виявилося одним із найкращих. Воно було чітко структуроване за цілями та ключовими темами, а помилки з транскрипту, такі як «EHDS», правильно відобразилися в резюме, що дивно, враховуючи, наскільки вони були неправильними в вихідному записі.
tl;dv зрівнятися з ними за корисністю та правильністю. Gemini підготувало ґрунтовний виклад, але не настільки сильний, як у інших. Fireflies неймовірно детальні конспекти; однак вони виявилися надзвичайно довгими, і їх було важко переглядати побіжно.
Короткий виклад розміщений над необробленою транскрипцією, тож цілком імовірно, що штучний інтелект може «привести його до ладу» саме на цьому етапі. Однак слід зауважити, що якісний виклад не завжди означає, що фактичні дані, записані в необробленій транскрипції, дійсно збігаються з ним.
Наскільки ефективно кожен інструмент працює в різних типах зустрічей?
Однією з областей, на яку ми звернули увагу, була стабільність поведінки. Порівняння резюме та стенограми щодо італійської мови показало, що можуть існувати певні відмінності в ефективності цих інструментів під час різних зустрічей.
tl;dv стабільні результати протягом усього тестування, отримавши 9 балів із 10. Gemini також Gemini досить стабільні результати, хоча в деталях його виступи Fireflies дещо посередніми. Fireflies окремі неточності: система мала труднощі з абревіатурами у сфері охорони здоров’я. Найгірші результати Fathom : він добре впорався з темою правосуддя, але мав труднощі з фінансовою термінологією, а щодо теми охорони здоров’я взагалі вигадував текст.
Можливості та функції
Окрім італійської транскрипції та резюме, які генерує кожен інструмент, вони значно відрізняються між собою за тим, як реалізують свої загальні можливості. tl;dv — це не просто помічник на основі штучного інтелекту для проведення зустрічей, а повноцінний набір інструментів, що пропонує функцію «організаційної пам’яті», коучинг, багаторівневу цінність та можливість прямої інтеграції з системами CRM, Claude та ChatGPT.
У цьому розділі ми розглянемо, як кожен інструмент показав себе з точки зору різних можливостей розширення та використання даних, функціональних можливостей, а також загальної якості таких елементів, як швидкість обробки та точність часових міток.
У цій сфері tl;dv знову tl;dv , набравши 61 бал із 72, за нею йшла Fireflies 58 балами, а Fathom Gemini місця нижче.
| Метрична система | Як підраховуються бали | tl;dv | Google Gemini | Fireflies | Fathom |
|---|---|---|---|---|---|
| Автоматичне визначення імен колонок | Автоматично визначає імена реальних ораторів на платформах, які підтримує | 5/5 | 5/5 | 5/5 | 5/5 |
| Розпізнавання голосу | Можливість навчання системи розпізнаванню голосу користувача | 5/5 | 0/5 | 0/5 | 0/5 |
| Запис без ботів | Здійснює запис через системний аудіоканал без підключення бота до дзвінка | 5/5 | 5/5 | 5/5 | 5/5 |
| Синхронізація CRM | Вбудована синхронізація та автоматична синхронізація | 3/3 | 0/3 | 3/3 | 3/3 |
| Особисті нотатки / шаблони | Настроювані формати зведених даних проти фіксованого формату виводу | 3/3 | 0/3 | 3/3 | 3/3 |
| Налаштування словника / навчання сутностей | Викладати галузеві терміни та абревіатури | 5/5 | 0/5 | 5/5 | 5/5 |
| Локалізація інтерфейсу користувача на італійську мову | Чи доступний сам інтерфейс продукту італійською мовою | 0/5 | 5/5 | 0/5 | 0/5 |
| Широта інтеграції | Slack, календар, Zapier, API | 3/3 | 3/3 | 3/3 | 3/3 |
| Швидкість обробки | Час від закінчення зустрічі до готового стенограму | 3/3 | 1/3 | 3/3 | 3/3 |
| Відстеження слів-заповнювачів | Доріжки «ем», тобто, «тоді» без подвоєння слів через заїкання. Це забезпечує повну наочність транскриптів мовлення, а не надмірне згладжування | 3/3 | 0/3 | 0/3 | 0/3 |
| Точність часових міток | Виконайте вибіркову перевірку, щоб переконатися, що часові мітки відповідають потрібному моменту | 3/3 | 3/3 | 2/3 | 0/3 |
| Наявність перекладу | Чи може ця програма перекладати нотатки з наради, і на скільки мов? | 3/3 | 0/3 | 3/3 | 3/3 |
| Пошук у стенограмі | Пошук у матеріалах засідання та в бібліотеці | 3/3 | 3/3 | 3/3 | 3/3 |
| Інтерфейс редагування транскриптів | Чи можна легко виправити стенограму вже після того, як вона була складена? | 3/3 | 3/3 | 3/3 | 3/3 |
| Формати експорту | SRT, VTT, TXT, DOCX та подібні | 0/3 | 3/3 | 3/3 | 0/3 |
| Транскрипт у прямому ефірі / у режимі реального часу | Чи відображається стенограма в режимі реального часу під час засідання? | 0/3 | 3/3 | 3/3 | 3/3 |
| Покриття платформи для проведення зустрічей | Огляд Zoom, Meet, Teams та Webex | 3/3 | 0/3 | 3/3 | 3/3 |
| Зйомка мобільного додатка | Чи можна за допомогою мобільного додатка записувати очні зустрічі? | 3/3 | 3/3 | 3/3 | 0/3 |
| Вбудований сервер MCP | Власний сервер, що дозволяє штучним інтелектам здійснювати запити до бібліотеки зустрічей | 5/5 | 0/5 | 5/5 | 5/5 |
| Редагування міток динаміків | Чи можна перейменувати та перепризначити динаміки вже після того, як все налаштовано? | 3/3 | 0/3 | 3/3 | 3/3 |
| Підсумок за можливостями та функціями | 61/72 | 37/72 | 58/72 | 50/72 |
Запис та робота з динаміками
Усі чотири інструменти мають можливість автоматично визначати імена доповідачів на основних платформах для проведення зустрічей, тож у цьому плані вони приблизно на одному рівні. Однак деякі інструменти, зокрема tl;dv, вигідно вирізняються тим, наскільки глибоко вони можуть це робити.
З чотирьох протестованих інструментів лише tl;dv можливість пропонувати навчання розпізнаванню голосу: він може один раз «запам’ятати» ваш голос і розпізнавати вас на майбутніх зустрічах, якщо ви надасте на це згоду.
Три з цих інструментів дають змогу перейменовувати мовців безпосередньо в інтерфейсі: tl;dv, Fireflies Fathom. Gemini, то через особливості обробки та відображення транскриптів (у форматі Google Docs) це технічно можливо, але вимагає ручної роботи. Як наслідок, у цілому Gemini найобмеженішим із чотирьох інструментів у плані керування мовцями, втративши бали за редагування та перепризначення міток.
Якщо ви працюєте в команді, яка обмінюється записами нарад у межах компанії, то ці записи мають містити чітко розрізнених та правильно ідентифікованих доповідачів, тому це є важливою відмінністю, у якій інструмент Google поступається.
Індивідуальне налаштування та тренування словникового запасу
Це пов’язано з помилками в акронімах та назвах, які ми виявили в італійській транскрипції в першому розділі оцінювання. Будь-які проблеми можна виправити, додавши галузеві терміни, складні назви та акроніми до налаштувань власного словника в цих інструментах.
tl;dv Fireflies навчити інструмент вашому власному словнику на основі наших тестів, Fathom в рамках найвищого тарифного плану «Team», а Gemini — взагалі не Gemini . Отже, у підсумку ви отримуєте саме те, що Gemini від Google, і немає жодного способу виправити чи вплинути на те, що сприймає цей інструмент. tl;dv підтримує власні шаблони резюме замість єдиного фіксованого формату, тож результат може відповідати тому, як ваша команда вже пише свої нотатки.
Відстеження слів-заповнювачів
Однією з функцій, що забезпечує цілісність автентичного стенограму, є відображення слів-заповнювачів. На відміну від інших сервісів, які видаляють їх і «вирівнюють» запис, tl;dv єдиний інструмент, що зберігає слова-заповнювачі безпосередньо в стенограмі, завдяки чому ви можете бачити, що насправді було сказано. Fireflies також Fireflies слова-заповнювачі, але використовує їх як окремий показник аналітики мовлення, а не включає їх до стенограму.
Довіра, безпека та цінність
У нашій системі оцінювання цей останній розділ присвячений одному з найважливіших аспектів запису засідань, а саме: що відбувається із записами після завершення засідання та скільки коштує використання кожного з цих інструментів?
Це має велике значення в Італії, оскільки запис зустрічі, зроблений в Італії, підпадає під дію таких правил ЄС, як GDPR, які визначають, де зберігаються ваші дані, умови їхнього зберігання, а також те, чи використовуються вони для навчання чужої моделі штучного інтелекту.
Кожен інструмент має відкриту та прозору цінову політику і не вимагає дзвінків від продажників. Крім того, кожен інструмент має низку сертифікатів безпеки та акредитацій, яких ви очікуєте від бізнес-інструменту. Загалом, кожен інструмент, який ми розглянули, отримав високі оцінки.
Сервіси, як правило, втрачають бали в таких аспектах, як можливість вибору місця зберігання даних. Наприклад, регіональний хостинг у ЄС — це те, чого не пропонує американська компанія Fathom, хоча Fireflies, яка також базується в США, надає цю послугу в рамках свого найдорожчого тарифного плану.
Gemini бали через відсутність безкоштовного варіанту. Навіть маючи платний обліковий запис у Google Workspace, можливість використовувати Gemini створення нотаток італійською мовою або будь-якою іншою мовою, яку він підтримує, доступна лише в рамках певних платних пакетів.
Найважливішим моментом є навчання штучного інтелекту. У глибоких налаштуваннях Fathom перемикач, за допомогою якого можна вимкнути цю функцію. Вам потрібно знайти його та вимкнути, оскільки інструмент автоматично використовуватиме знеособлені дані зустрічей для вдосконалення власного штучного інтелекту. Для окремого користувача це, можливо, не має великого значення, але саме про такі налаштування за замовчуванням компанія мала б знати перед впровадженням у всій команді, особливо якщо вона працює з конфіденційними або регульованими розмовами.
| Метрична система | Як підраховуються бали | tl;dv | Google Gemini | Fireflies | Fathom |
|---|---|---|---|---|---|
| Розташування даних / регіональний хостинг | Варіанти регіонального хостингу, наприклад, хостинг у ЄС на замовлення | 3/3 | 3/3 | 3/3 | 0/3 |
| Безпека та відповідність вимогам | Відповідність вимогам SOC 2 типу II та GDPR | 3/3 | 3/3 | 3/3 | 3/3 |
| Навчання штучного інтелекту на основі аудіозаписів користувачів | Чи дозволяє це уникнути навчання ШІ на ваших аудіозаписах (у разі відсутності навчання виставляється найвища оцінка)? | 3/3 | 3/3 | 3/3 | 0/3 |
| Контроль зберігання даних | Контроль за термінами зберігання записів та стенограм | 3/3 | 3/3 | 3/3 | 3/3 |
| Прозорість цін | Ціни на плани публікуються, а не надаються лише за запитом | 3/3 | 3/3 | 3/3 | 3/3 |
| Безкоштовний тариф / обмеження | Наявність безкоштовного тарифного плану (сама лише безкоштовна пробна версія оцінюється в 0 балів) | 3/3 | 0/3 | 3/3 | 3/3 |
| Підсумок за статтями «Довіра», «Безпека» та «Цінність» | 18/18 | 15/18 | 18/18 | 18 грудня |
Тест на точність італійської мови: методологія
Наше порівняння ґрунтується на контрольованому тестуванні за принципом «один до одного», яке було розроблено з метою забезпечення однакових умов для кожного інструменту.
Набір для тестування
Для тестування ми обрали три італійські записи з публічного архіву «Радіо Радікале». Кожен із них було обрано тому, що він містив детальну інформацію та мав фрагменти, які б випробували інструменти на різні слабкі місця, пов’язані з термінологією, швидкістю мовлення та іншими аспектами. Першим був вступ до конференції Банку Італії та Європейського інвестиційного банку на тему фінансів та штучного інтелекту, з яким виступив голова Банку Італії Фабіо Панетта. Цей запис, зокрема, містив детальну економічну лексику італійською мовою, а для порівняння до нього було додано опублікований офіційний текст.
Другим заходом став саміт, присвячений даним у сфері охорони здоров’я та штучному інтелекту, організований членами Сенату; його обрали через велику кількість абревіатур та медичної термінології, змішаних із технологічним жаргоном.
Третім clip став початок конференції Апеляційного суду Неаполя, присвяченої штучному інтелекту, правосуддю та безпеці. Його було обрано через наявність юридичної та технічної термінології, а також завдяки хорошому набору імен, що дозволило перевірити функціональність обробки власних імен.
Кожен clip скорочено до тривалості менше десяти хвилин, а для забезпечення рівності до кожного інструменту було додано однаковий аудіосупровід.
Огляд
Для проведення сліпого тестування з кожної транскрипції та резюме було видалено назву інструменту, посилання та будь-які інші дані, що дозволяють ідентифікувати джерело, а також їм було присвоєно унікальний ідентифікатор. Це означало, що ані великі мовні моделі (LLM), ані носій мови не змогли б визначити, яка саме транскрипція чи резюме належить якому інструменту. Ці анонімізовані результати було надіслано двом великим мовним моделям — Claude Anthropicта ChatGPT від OpenAI, які незалежно одна від одної оцінили їх за першими двома розділами тестування.
Потім ми залучили нашого носія італійської мови П’єтро Джукастро, який на слух перевірив найскладніші формулювання та випадки, коли інструменти давали різні результати, порівнюючи їх з оригінальними відео та анонімізованими результатами, щоб підтвердити початкову оцінку системи. Усі три оцінки дали абсолютно однаковий порядок, що підтвердило: рейтинг залишається незмінним у трьох різних тестах за результатами трьох різних оцінок у всіх категоріях.
Набір інструментів
Ми обрали tl;dv із трьома іншими інструментами для порівняльного аналізу; кожен із них було обрано тому, що в їхніх маркетингових матеріалах чітко зазначається можливість транскрипції італійської мови, і саме ці інструменти обирали б італійські команди.
- tl;dv, розроблений у ЄС та підтримуваний на міжнародному рівні,tl;dv один із найпопулярніших сервісів для ведення нотаток під час багатомовних зустрічей. Ми користувалися ним за тарифним планом «Business», але технічно він використовує той самий механізм транскрипції, що й безкоштовна версія.
- Google Gemini: включено до списку, оскільки цей сервіс входить до складу Google Workspace, завдяки чому він став засобом для створення нотаток, який багато італійських команд уже активували за замовчуванням.
- Fireflies: американський додаток, один із найпопулярніших автономних додатків для створення нотаток на основі штучного інтелекту, який часто обирають італійські користувачі.
- Fathom: американська платформа, з якої починають свою діяльність багато невеликих команд, тому вона представляє безкоштовний сегмент ринку.
Під час тестування ми запускали інструмент як на безкоштовному, так і на платному обліковому записі, тож результати відображатимуть те, що отримав би звичайний користувач. Під час тестування в режимі реального часу записувалося лише одне джерело звуку, тому в тих випадках, коли інструмент міг обробляти завантажений файл, ми використовували окремий тест із кількома мовцями, щоб оцінити якість діаризації.
Розбивка двигуна та плану
Хоча всі інструменти пропонують транскрипцію італійської мови, вони працюють не на одному й тому ж двигуні, що й пояснює, чому результати настільки різняться. У ході тестування tl;dvвикористовувався спеціалізований мовний двигун від ElevenLabs. Gemini власну модель Google. Fireflies , згідно з актуальною документацією, Fireflies на базі Whisper від OpenAI з додатковим рівнем обробки. Fathom сторонній двигун, назва якого не розголошується. Нижче ви побачите двигуни та тарифні плани, на яких ми проводили тестування.
| Інструмент | Базовий двигун/виробник | Власний чи ліцензований | Тип двигуна | План |
|---|---|---|---|---|
| tl;dv | ElevenLabs | Ліцензований | Спеціалізована система розпізнавання мови (ASR) | Бізнес |
| Google Gemini | Google Gemini | Внутрішній (Google) | LLM | Автономний Gemini (аккаунт «Business Starter») |
| Fireflies | OpenAI Whisper (плюс власний шар великої мови) | Ліцензований | Спеціалізована система розпізнавання мови (ASR) | Про |
| Fathom | Сторони, що не розголошуються публічно (субпідрядники у сфері штучного інтелекту: OpenAI, Google, Anthropic) | Ліцензований | Не розголошується | Безкоштовно |
Сфера застосування та застереження
Під час будь-яких випробувань ми завжди намагатимемося забезпечити їх максимальну збалансованість та наукову обґрунтованість; однак у цьому можуть бути певні обмеження.
- Усі три тестові фрагменти містили аудіо з одного джерела під час тестувань у режимі реального часу; ми провели окремий цикл тестування з використанням декількох динаміків на інструментах, що підтримують завантаження файлів, щоб оцінити якість діаризації.
- Використаний нами довідковий матеріал опубліковано безпосередньо видавництвом, але це не є дослівним відтворенням; він був відредагований, тому з урахуванням цього в систему оцінювання було закладено певну гнучкість.
- Fathom здійснює лише запис у реальному часі і, на момент нашого тестування, не надавав можливості завантажувати матеріали безпосередньо на платформу, тому його не можна було оцінити за показником «діаризація», і за цим показником він отримав нуль балів.
- Усі функції, рівень довіри та безпека базувалися на актуальній публічній документації до продукту, що була доступна на момент тестування.
Яке програмне забезпечення для транскрибування зустрічей найкраще підходить для італійської мови?
Щодо точності транскрипції італійської мови найкращі результати tl;dv , який відтворював італійські наради детальніше та точніше, ніж інші протестовані інструменти. Він переміг у кожному рівні оцінки якості та загалом випередив конкурентів на 39 балів. У тих категоріях, де він переміг, він впорався не лише з простими реченнями, а й із складнішими фрагментами, з якими інші інструменти не змогли впоратися. Це стосувалося таких аспектів, як імена, власні назви та розпізнавання загальних сутностей, причому він не створював помилкових даних і не вигадував текст. Це означає, що його результат можна вважати найточнішим відображенням того, що було сказано італійською мовою, порівняно з іншими інструментами, які ми оцінювали.
Він також здобув перемогу за оцінками всіх трьох суддів — двох представників LLM та одного носія мови, які проводили тестування в умовах сліпого тестування.
Якщо ви проводите наради італійською мовою і вам важливо, як фіксувати, а головне — використовувати результати цих нарад без необхідності їх перевіряти, tl;dv безперечний лідер у цій сфері.
Завдяки надійним функціям, можливостям налаштування та вбудованому MCP, який дозволяє безпосередньо підключатися до Claude або ChatGPT, це ідеальний інструмент для транскрибування італійських зустрічей, який перетворить ваші зустрічі на практичні та корисні матеріали, які ви зможете використовувати.
Спробуйте tl;dv сьогодні під час наступної зустрічі з італійцями та переконайтеся в цьому на власному досвіді.
Поширені запитання щодо транскрипції італійських зустрічей у 2026 році
Який додаток для створення нотаток на основі штучного інтелекту є найточнішим під час італійських зустрічей?
tl;dv 181 бал із 200 за результатами сліпого оцінювання трьох італійських аудіозаписів, значно випередивши Fireflies, що посів друге місце. Gemini третє місце, а Fathom . Лише за показником точності транскрипції tl;dv 61 бал із 65, тоді як інші три системи набрали по 30–35 балів. Дві великі мовильні моделі (LLM) та носій італійської мови, які проводили сліпе оцінювання, визначили той самий порядок.
Чи правильно програми для створення нотаток на основі штучного інтелекту транскрибують італійські абревіатури?
Лише tl;dv . При обробці аудіозапису з медичною тематикою, що містив терміни EHDS та NIS 2, система щоразу правильно розпізнавала обидва терміни без завантаження спеціального словника. Gemini в одному уривку Gemini EHDS трьома різними способами: HDS, HS, HD. Fireflies повністю Fireflies NIS 2. Fathom його на «URIS 2».
Чи правильно штучний інтелект, що веде нотатки, відтворює італійські імена?
Чи бувають у штучного інтелекту помилки при транскрипції італійської мови?
Fathom . Він вставив фрази, яких не було в аудіозаписі, зокрема «Grazie per aver guardato» — заключне вітання у стилі YouTube, якого в записі не було, а також «Grazie a tutti» і випадкове «Siamo capaci di fare noi». Крім того, він пропустив ціле речення. tl;dv Gemini Fireflies нічого Fireflies .
Як оцінювався цей тест з транскрипції італійської мови?
Сліпе тестування. З усіх стенограм та резюме було вилучено назви інструментів, після чого їх незалежно оцінили дві великі мовні моделі — Claude та ChatGPT — а результати підтвердив носій італійської мови П’єтро Джукастро. Усі три джерела надали однаковий рейтинг. Аудіоматеріали були взяті з відкритого архіву Radio Radicale. tl;dv тестування та опублікував повний опис методології.
