Перейти к содержанию
Краткое изложение: инструменты для транскрипции итальянского языка и их точность
Мы провели слепое тестирование, чтобы выяснить, какой инструмент для транскрипции итальянских встреч является самым точным.
Мы поместили tl;dv с тремя другими инструментами: Google Gemini, Firefliesи Fathom, чтобы выяснить, какой из них станет лучшим ИИ-блокнотом для итальянского языка, и tl;dv первое место, набрав 181 балл из 200 возможных.
Мы получили оценки по следующим направлениям:
- Транскрипция и точность итальянских встреч
- Качество встреч в реальных условиях
- Возможности и функции
- Доверие, безопасность и ценность
- Тест на точность итальянского языка: методология
Мы использовали одни и те же итальянские аудиозаписи и оценивали каждую стенограмму и каждое резюме, прибегая как к искусственному интеллекту, так и к помощи носителя итальянского языка. По итогам оценки с большим отрывом tl;dv , за ним следовали Fireflies и Gemini, а Fathom последнем месте оказался Fathom .
Точность транскрипции итальянских встреч можетзначительно варьироваться, несмотря на то, что утверждают маркетинговые материалы различных инструментов для ведения встреч. По результатам наших недавних тестов транскрипций на разных языках, выполненных с помощью различных инструментов, мы часто обнаруживаем, что заявленные возможности инструмента и реальные результаты могут сильно различаться.
Поэтому мы протестировали возможности tl;dvпо транскрипции итальянского языка в сравнении с тремя другими инструментами, которые позиционируют итальянский как одну из поддерживаемых опций: Google Gemini, Fathom и Fireflies.
Результаты оказались интересными: некоторые инструменты с трудом справлялись с переносом даже самых простых фраз, когда речь шла о естественной речи на итальянском языке на уровне носителя, и по всем нашим критериям тестирования tl;dv занимал первое место.
Оценка проводилась независимо двумя моделями LLM и подтверждалась носителем итальянского языка; ни один из них не знал, какой именно инструмент сгенерировал тот или иной результат.
Ниже приведены общие оценки по каждому разделу, а также более подробный разбор каждого аспекта тестирования, чтобы объяснить, почему мы пришли к выводу, что лучшим инструментом для проведения встреч на итальянском языке является tl;dv.
| Уровень | Макс | tl;dv | Google Gemini | Fireflies | Fathom |
|---|---|---|---|---|---|
| Транскрипция и точность | 65 | 61/65 | 34/65 | 34/65 | 31/65 |
| Качество встреч в реальных условиях | 45 | 41/45 | 32/45 | 32/45 | 21/45 |
| Возможности и функции | 72 | 61/72 | 37/72 | 58/72 | 50/72 |
| Доверие, безопасность и ценность | 18 | 18/18 | 15/18 | 18/18 | 18 декабря |
| Общая оценка | 200 | 181/200 | 118/200 | 142/200 | 114/200 |
| Ранг | 1 | 3 | 2 | 4 |
Транскрипция и точность итальянских встреч
Эти тексты были оценены большими языковыми моделями (ClaudeAnthropicи ChatGPT от OpenAI), а затем результаты были подтверждены в ходе слепой оценки носителями языка, при этом названия инструментов были скрыты.
В ходе первого раунда тестирования мы оценили фактическое качество самой стенограммы, подготовленной каждым из ИИ-стенографистов: способны ли они точно записать то, что было сказано на итальянском языке?
Каждому инструменту был предоставлен один и тот же набор итальянской речи, а результаты оценивались по конкретным критериям — от общей точности на уровне слов до таких элементов, как распознавание собственных имен, обработка чисел и специфической технической терминологии.
В этой части теста лидером tl;dv 61 балл из 65 возможных. Остальные три инструмента показали результаты, довольно близкие друг к другу, — в районе 35–39 баллов. Разница оказалась довольно значительной, и ниже вы можете увидеть подробную разбивку по каждому тестируемому элементу, а также результаты оценки, основанные на двух раундах слепого тестирования LLM и слепом тестировании с участием носителей языка.
| Метрическая система | Как начисляются очки | tl;dv | Google Gemini | Fireflies | Fathom |
|---|---|---|---|---|---|
| Точность языкового выражения | Оценка степенью сложности, данная носителями языка вслепую, в отношении точности речи на родном языке | 18/20 | 20.10 | 20 сентября | 20 августа |
| Обработка с учетом особенностей языка | Диакритические знаки, пунктуация, региональные варианты, смена кода | 18/20 | 20.12 | 13/20 | 20.12 |
| Оценка уровня ошибок в тексте | Расчет произведён на основе официальной академической ведомости или эталонного текста | 5 из 5 | 3/5 | 2/5 | 1/5 |
| Распознавание объектов | Имена, компании и места, фигурирующие в списке персонажей | 5 из 5 | 3/5 | 2/5 | 2/5 |
| Числа, даты и валюта | Цифры, даты и суммы, оформленные в соответствии с правилами данного языка | 5 из 5 | 2/5 | 2/5 | 4/5 |
| Распознавание исходных технических терминов | Отраслевые термины и аббревиатуры перед началом индивидуального обучения | 5 из 5 | 1/5 | 2/5 | 2/5 |
| Пунктуация и сегментация | Разделение предложений и абзацев в результатах пробного запуска | 5 из 5 | 3/5 | 4/5 | 2/5 |
| Промежуточный итог по транскрипции и точности | 61/65 | 34/65 | 34/65 | 31/65 |
Насколько точны результаты каждого инструмента на сайте Everyday Italian?
Каждый из инструментов довольно хорошо справился с распознаванием обычной повседневной итальянской речи. Ни один из них не выдал транскрипцию, которую было бы сложно понять или которая была бы изобилует серьезными ошибками, в отличие от некоторых других языков, которые мы тестировали, включая французский и немецкий.
tl;dv самым точным с заметным отрывом. Был конкретный фрагмент аудиозаписи, посвященный финансам, который мы смогли напрямую сравнить с подтвержденным, опубликованным исходным текстом. tl;dv воспроизвести исходный формат практически дословно, хотя и с некоторыми расхождениями, поскольку опубликованный текст был отредактирован, в то время как tl;dv его в первоначальном виде.
Gemini Fireflies также довольно хорошо Fireflies с обычными предложениями. При этом встречались некоторые весьма специфические ошибки, такие как«aduzione»вместо«adozione»,«traduzionali»вместо«tradizionali»или«veramente»там, где говорящий произносил«meramente». Fireflies преобразовала фразу«capitale di rischio»в«capirebbe il rischio», что не является реальным термином.
Из четырёх протестированных инструментов Fathom наибольшее количество ошибок. В некоторых местах ИИ, по-видимому, пытался угадать конкретные фразы, превратив«Basti pensare»в«Passi a pensare», а«manifattura»— в«manufattura». Кроме того, было предложение о финансировании пациентов и рисковом капитале, которое Fathom вообще Fathom распознал.
Что касается чистого владения итальянским языком, Fathom самые слабые результаты.
Какие инструменты правильно передают итальянские аббревиатуры и технические термины?
На совещаниях регулярно используются чрезвычайно технические термины и аббревиатуры, которые, скорее всего, имеют огромное значение для общего контекста самого совещания. В ходе нашего тестирования транскрипции итальянской речи каждый clip с учетом количества технического жаргона, чтобы проверить, насколько легко его распознают инструменты транскрипции. Один из них, посвященный здравоохранению, содержал множество терминов, представляющих собой итальянские сокращения для обозначения конкретных понятий. Среди них были положения EHDS, директива NIS 2, а также целый ряд терминов, касающихся кибербезопасности и операционной совместимости.
Из всех четырёх инструментов только tl;dv обеспечить их правильное распознавание, каждый раз корректно распознавая EHDS и NIS 2 без загрузки какого-либо пользовательского словаря в интерфейс.
Для сравнения: Gemini «NIS 2»в«IS2»и в одном и том же отрывке перевела«EHDS»тремя разными способами: сначала как«HDS», затем как«HS», а потом как«HD».
Аналогичным образом в игре Fireflies опущен термин«NIS 2», а«EHDS»заменено на«HDS».
Fathom пропустил их, заменив«NIS 2»на«URIS 2», а«EHDS»— на«HTS».
Эти ошибки можно исправить, и многие программы поддерживают возможность добавления собственного словарного запаса, но гораздо важнее с самого начала правильно распознавать слова при переводе с итальянского, на котором вы свободно владеете.
По этим конкретным критериям tl;dv максимальную оценку.
Насколько хорошо в итальянском языке обращаются с числами и датами?
Даты и цифры — это те моменты, когда одна-единственная ошибка может полностью изменить смысл всего предложения, поэтому мы отслеживали их отдельно. В речи о здравоохранении всё решила одна цифра: срок реализации Европейского пространства медицинских данных — 2029 год. tl;dv Fathom правильно распознали её. Gemini её до «202», что воспринимается как опечатка или вовсе другая цифра, и сделала это не один раз. Fireflies эту цифру прописью, но допустил ошибку, указав«duemilaventidove»вместо«duemilaventinove».
tl;dv пять баллов, Fathom , а Gemini Fireflies — по Fireflies .
Правильно ли ИИ-стенографисты передали итальянские имена?
В одном из видеороликов был показан обширный список имен, что позволило нам оценить, насколько хорошо эти инструменты справляются с итальянскими именами. Это действительно имеет ключевое значение в таких сферах, как продажи, когда приходится иметь дело с именами потенциальных клиентов и ключевых заинтересованных лиц с помощью интегрированной системы CRM.
В этот список входили такие фамилии, как Граттери, Фраттази и Мелилло, а также Валенсизе, Морроне, Каравелли, Ди Монте и Костанцо. Инструменты, использовавшиеся при изготовлении этих изделий, значительно различались.
tl;dv правильно обработать весь список и оказался единственным инструментом, способным точно распознать имя«Angelo Costanzo», а не«Costanto».
Fathom распознал«Giovanni Caravelli», тогда как два других инструмента добавили лишнее«Gianni», но при этом превратил«Simona Di Monte»в«Simone Di Monti».
Fireflies Gemini Fireflies пропустили многие из них, а затем записали«Battarella»вместо«Mattarella»— эту ошибку повторил Fathom ».
tl;dv здесь пять баллов; остальные, с учетом ошибок, получили по два или три.
Качество встреч в реальных условиях
Точность транскрипции лежит в основе качества конечного результата, но также стоит учитывать, как этот результат применяется в других сферах повседневной рабочей деятельности. Результаты работы всех четырёх протестированных инструментов включают в себя такие элементы, как резюме, и для того, чтобы помощник по проведению встреч на базе ИИ оправдал своё использование, качество этих резюме должно быть достаточно высоким, чтобы их можно было отправлять другим участникам.
В этом разделе нашего тестирования транскрипции итальянских совещаний мы рассмотрели такие аспекты, как частота ошибок, качество резюме и рекомендации по дальнейшим действиям.
Мы также оценили качество диаризации, которое оказалось на высоком уровне в тех инструментах, которые нам удалось протестировать; при этом Gemini дать подсказку, прежде чем система вообще начала разделять говорящих. Fathom оценить в этом аспекте не Fathom , поскольку он осуществляет только запись в режиме реального времени, а наши тесты проводились с использованием одного источника.В этом разделе tl;dv самые высокие оценки.
| Метрическая система | Как начисляются очки | tl;dv | Google Gemini | Fireflies | Fathom |
|---|---|---|---|---|---|
| Качество диаризации | Соответствие количества говорящих персонажей и распределения реплик по сравнению с известным составом актёров | 9 из 10 | 7/10 | 8 из 10 | 0/10 |
| Стабильность поведения | Стабильность поведения при различных типах сеансов | 9 из 10 | 6/10 | 5/10 | 4/10 |
| Качество резюме | Полезность резюме и то, сохранилось ли оно на языке оригинала, с учетом заимствованных слов | 5 из 5 | 4/5 | 3/5 | 5 из 5 |
| Частота галлюцинаций / частота вставки | Выдуманный, повторяющийся или дублирующийся текст, отсутствующий в аудиозаписи, с незначительными поправками в тех случаях, когда неправильное восприятие речи изменило смысл | 10 из 10 | 9 из 10 | 9 из 10 | 4/10 |
| Извлечение действий | Качество задач и последующих действий, вынесенных из заседания | 4/5 | 2/5 | 4/5 | 3/5 |
| Автоматическое разделение на главы / разделы | Разбивает ли резюме ход встречи на удобные разделы? | 4/5 | 4/5 | 3/5 | 5 из 5 |
| Промежуточный итог по качеству встреч в реальных условиях | 41/45 | 32/45 | 32/45 | 21/45 |
Какие инструменты генерируют или придумывают текст?
«Галлюцинация» — одна из главных проблем, с которой сталкиваются люди при работе со всем, что связано с искусственным интеллектом. Если инструмент придумывает и выдумывает формулировки, действия или что-либо другое, это может привести к серьёзным ошибкам и, возможно, к гораздо более серьёзным проблемам. Одно неправильно услышанное слово может раздражать, но обычно его легко заметить; а вот целые абзацы выдуманного текста могут быть гораздо хуже.
Как показал наш анализ, tl;dv ни разу tl;dv ничего нового на протяжении всех сессий записи. Каждый элемент точно соответствовал исходному материалу и не содержал ничего, отличающегося от того, что было сказано.
Gemini Fireflies сумели избежать придумывания и вставки каких-либо несоответствующих или вымышленных элементов при транскрипции на итальянский язык. Обе группы получили оценку чуть ниже максимальной — с понижением за ошибки в восприятии речи, которые изменили смысл, а не за какие-либо выдумки.
Однако Fathom вставил целые фразы, которые никогда не звучали в аудиозаписи. В одной из стенограмм появиласьфраза «Grazie per aver guardato», что означает «спасибо за просмотр». Среди других появившихся фраз были«Grazie a tutti»и отдельно стоящее«Siamo capaci di fare noi». Как уже упоминалось в первом разделе, в части, посвящённой финансам, программа пропустила целое предложение.
Это вызывает беспокойство, поскольку выдуманная фраза в иначе качественной стенограмме — потенциально самая серьезная ошибка, которую может допустить любая система искусственного интеллекта, занимающаяся ведением стенограмм. Маловероятно, что человек станет вычитывать резюме перед отправкой, если оно читается хорошо.
Какой инструмент позволяет составить лучший отчет о встрече на итальянском языке?
Именно в этой области некоторые из инструментов, которые ранее испытывали трудности, показали довольно хорошие результаты. Несмотря на то, что Fathomпродемонстрировал худшие результаты по транскрипции, Fathomрезюме оказалось одним из лучших. Оно было хорошо структурировано по целям и ключевым темам, а ошибки из транскрипта, такие как «EHDS», правильно отобразились в резюме, что удивительно, учитывая, насколько сильно они были искажены в исходном тексте.
tl;dv сравниться с ними по полезности и точности. Gemini подготовил хорошее резюме, но не столь убедительное, как у других. Fireflies невероятно подробные конспекты; однако они получились чрезвычайно длинными, и их было сложно просматривать бегло.
Резюме располагается над исходной стенограммой, поэтому вполне вероятно, что ИИ может «привести его в порядок» на этом этапе. Однако следует отметить, что даже качественное резюме не всегда означает, что фактические данные, зафиксированные в исходной стенограмме, действительно с ним совпадают.
Насколько эффективно каждый инструмент работает при проведении различных типов встреч?
Одним из аспектов, которые мы рассмотрели, была стабильность поведения. Сравнение кратких отчетов и стенограмм на примере итальянского языка показало, что могут наблюдаться некоторые различия в эффективности использования этих инструментов при проведении различных встреч.
tl;dv стабильные результаты на протяжении всего тестирования, набрав 9 баллов из 10. Gemini также Gemini достаточно стабильные результаты, хотя в деталях его выступление было несколько посредственным. Fireflies некоторые колебания: система испытывала трудности с аббревиатурами из сферы здравоохранения. Fathom худшие результаты: он хорошо справился с темой правосудия, но испытал трудности с финансовой терминологией, а затем придумал текст на тему здравоохранения.
Возможности и функции
Помимо итальянской транскрипции и резюме, которые генерирует каждый инструмент, все они значительно различаются по тому, как реализуют свои общие возможности. tl;dv — это не просто ИИ-помощник для проведения встреч, а полноценный набор инструментов, который предлагает функцию «организационной памяти», коучинг, многоуровневую ценность и возможность прямой интеграции с CRM-системами, Claude и ChatGPT.
В этом разделе мы рассмотрим, как каждый инструмент продемонстрировал свои результаты с точки зрения различных возможностей расширения и использования данных, функциональных возможностей, а также общего качества таких элементов, как скорость обработки и точность временных меток.
В этой области tl;dv вновь tl;dv , набрав 61 балл из 72, за ним следовал Fireflies 58 баллами, а Fathom Gemini ниже этого показателя.
| Метрическая система | Как начисляются очки | tl;dv | Google Gemini | Fireflies | Fathom |
|---|---|---|---|---|---|
| Настройка имен динамиков «из коробки» | Автоматически определяет имена реальных дикторов на поддерживаемых платформах | 5 из 5 | 5 из 5 | 5 из 5 | 5 из 5 |
| Распознавание голоса | Возможность обучения системе распознаванию голоса на основе собственного голоса пользователя | 5 из 5 | 0/5 | 0/5 | 0/5 |
| Запись без ботов | Запись через системный микрофон без подключения бота к звонку | 5 из 5 | 5 из 5 | 5 из 5 | 5 из 5 |
| Синхронизация CRM | Встроенная синхронизация и автоматическая синхронизация | 3/3 | 0/3 | 3/3 | 3/3 |
| Пользовательские заметки / шаблоны | Настраиваемые форматы сводных отчетов против фиксированного формата вывода | 3/3 | 0/3 | 3/3 | 3/3 |
| Обучение с использованием пользовательского словаря / сущностей | Обучать отраслевым терминам и аббревиатурам | 5 из 5 | 0/5 | 5 из 5 | 5 из 5 |
| Локализация пользовательского интерфейса на итальянский язык | Доступен ли сам интерфейс продукта на итальянском языке | 0/5 | 5 из 5 | 0/5 | 0/5 |
| Широта интеграций | Slack, календарь, Zapier, API | 3/3 | 3/3 | 3/3 | 3/3 |
| Скорость обработки | Время от окончания встречи до готовой стенограммы | 3/3 | 1/3 | 3/3 | 3/3 |
| Отслеживание слов-заполнителей | Трек «эм», то есть «тогда» без повторения слов из-за заикания. Обеспечивает полную читаемость стенограммы речи, а не чрезмерное сглаживание | 3/3 | 0/3 | 0/3 | 0/3 |
| Точность временных меток | Проверьте выборочно, чтобы временные метки соответствовали нужному моменту | 3/3 | 3/3 | 2/3 | 0/3 |
| Наличие перевода | Может ли он переводить протоколы встреч и на сколько языков? | 3/3 | 0/3 | 3/3 | 3/3 |
| Поиск в стенограмме | Поиск по материалам встречи и по библиотеке | 3/3 | 3/3 | 3/3 | 3/3 |
| Пользовательский интерфейс для редактирования стенограмм | Можно ли легко исправить стенограмму уже после записи? | 3/3 | 3/3 | 3/3 | 3/3 |
| Форматы экспорта | SRT, VTT, TXT, DOCX и т. п. | 0/3 | 3/3 | 3/3 | 0/3 |
| Транскрипт в режиме реального времени | Отображается ли стенограмма в режиме реального времени во время заседания? | 0/3 | 3/3 | 3/3 | 3/3 |
| Освещение мероприятий на платформе | Обзор сервисов Zoom, Meet, Teams и Webex | 3/3 | 0/3 | 3/3 | 3/3 |
| Захват мобильного приложения | Можно ли с помощью мобильного приложения вести запись очных встреч? | 3/3 | 3/3 | 3/3 | 0/3 |
| Встроенный сервер MCP | Собственный сервер, позволяющий ИИ-помощникам запрашивать данные из библиотеки встреч | 5 из 5 | 0/5 | 5 из 5 | 5 из 5 |
| Редактирование меток динамиков | Можно ли впоследствии переименовать и переназначить динамики? | 3/3 | 0/3 | 3/3 | 3/3 |
| Итого по возможностям и функциям | 61/72 | 37/72 | 58/72 | 50/72 |
Запись и работа с динамиками
Все четыре инструмента поддерживают функцию автоматического определения имен выступающих на основных платформах для проведения встреч, поэтому по этому параметру они находятся на примерно одинаковом уровне. Однако некоторые инструменты, в частности tl;dv, выделяются тем, насколько глубоко они способны решать эту задачу.
Из четырёх протестированных инструментов только tl;dv функцию обучения распознаванию голоса: после однократного обучения система сможет распознавать вас на будущих встречах, если вы включите эту функцию.
Три из этих инструментов позволяют переименовывать говорящих прямо в интерфейсе: tl;dv, Fireflies Fathom. Gemini, ввиду особенностей обработки и отображения стенограмм (в формате Google Docs), это технически возможно, но требует ручной работы. В результате, в целом Gemini самым ограниченным из четырёх инструментов в плане управления говорящими, потеряв баллы за возможность редактирования и переназначения меток.
Если вы работаете в команде, которая обменивается записями совещаний в рамках всей компании, важно, чтобы в них были четко идентифицированы докладчики с указанием их имен, поэтому это является ключевым фактором, по которому инструмент Google уступает другим решениям.
Индивидуальная настройка и обучение лексике
Это связано с ошибками в использовании аббревиатур и написании имен, которые мы обнаружили в итальянской транскрипции в первом разделе оценки. Любые проблемы можно устранить, добавив отраслевые термины, сложные имена и аббревиатуры в настройки пользовательского словаря этих инструментов.
tl;dv Fireflies обучить инструмент собственному словарному запасу на основе наших тестов, Fathom в рамках своего топового тарифа «Team», а Gemini — вообще не Gemini . В результате вы получаете именно то, что Gemini от Google, и нет возможности исправить или повлиять на то, что воспринимает инструмент. tl;dv поддерживает настраиваемые шаблоны резюме вместо единого фиксированного формата, поэтому выходные данные могут соответствовать тому, как ваша команда уже ведет свои заметки.
Отслеживание слова-заполнителя
Одной из функций, обеспечивающих достоверность стенограммы, является отображение слов-заполнителей. В отличие от других инструментов, которые удаляют их и «сглаживают» запись, tl;dv единственный инструмент, который сохраняет слова-заполнители непосредственно в тексте стенограммы, позволяя увидеть, что было сказано на самом деле. Fireflies также Fireflies слова-заполнители, но использует их в качестве отдельного показателя аналитики речи, а не включает в текст стенограммы.
Доверие, безопасность и ценность
В нашей системе оценки этот заключительный раздел посвящен одному из важнейших аспектов записи встреч, а именно: что происходит с записями после завершения встречи и какова стоимость использования каждого инструмента?
Этот аспект имеет большое значение в Италии, поскольку запись встречи, сделанная на территории Италии, подпадает под действие норм ЕС, таких как GDPR, которые определяют место хранения ваших данных, сроки их хранения, а также то, используются ли они для обучения чужой модели искусственного интеллекта.
Каждый инструмент отличается открытостью и прозрачностью в вопросах ценообразования и не требует звонков от менеджеров по продажам. Кроме того, каждый инструмент имеет ряд сертификатов и аккредитаций в области безопасности, которые вполне ожидаемы для бизнес-инструмента. В целом, все рассмотренные нами инструменты получили хорошие оценки.
Сервисы, как правило, теряют баллы в таких аспектах, как возможность выбора места хранения данных. Например, хостинг на территории ЕС — это то, чего не предлагает американская компания Fathom, хотя Fireflies, также базирующаяся в США, предоставляет эту возможность в рамках своего топового тарифа.
Gemini очки из-за отсутствия бесплатного варианта. Даже при наличии платной учетной записи Google Workspace возможность использовать Gemini ведения заметок на итальянском языке или любом другом из поддерживаемых им языков доступна только в рамках определенных платных тарифных планов.
Самая серьезная проблема связана с обучением ИИ. В самых глубоких настройках Fathom переключатель, позволяющий отключить эту функцию. Вам необходимо найти его и отключить, поскольку инструмент будет автоматически использовать обезличенные данные встреч для улучшения собственного ИИ. Для отдельного пользователя это, возможно, не имеет большого значения, но именно о таких настройках по умолчанию компания должна знать перед внедрением решения для всей команды, особенно если речь идет о работе с конфиденциальными или подпадающими под регулирование разговорами.
| Метрическая система | Как начисляются очки | tl;dv | Google Gemini | Fireflies | Fathom |
|---|---|---|---|---|---|
| Место хранения данных / региональный хостинг | Варианты регионального хостинга, например, хостинг в ЕС по запросу | 3/3 | 3/3 | 3/3 | 0/3 |
| Безопасность и соответствие нормативным требованиям | Соответствие требованиям SOC 2 Тип II и GDPR | 3/3 | 3/3 | 3/3 | 3/3 |
| Обучение ИИ на основе аудиозаписей пользователей | Позволяет ли это избежать обучения ИИ на ваших аудиозаписях (вариант «без обучения» оценивается на «отлично»)? | 3/3 | 3/3 | 3/3 | 0/3 |
| Контроль за сохранением данных | Контроль за сроками хранения записей и стенограмм | 3/3 | 3/3 | 3/3 | 3/3 |
| Прозрачность цен | Цены по тарифным планам публикуются, а не предоставляются только по запросу | 3/3 | 3/3 | 3/3 | 3/3 |
| Бесплатный тариф / ограничения | Наличие бесплатного тарифа (сама по себе бесплатная пробная версия оценивается в 0 баллов) | 3/3 | 0/3 | 3/3 | 3/3 |
| Доверие, безопасность и ценность — промежуточная сумма | 18/18 | 15/18 | 18/18 | 18 декабря |
Тест на точность итальянского языка: методология
Наше сравнение основано на контролируемом тесте с сопоставимыми условиями, призванном обеспечить одинаковые условия для каждого инструмента.
Набор тестов
Для тестирования мы выбрали три итальянские записи из общедоступного архива Radio Radicale. Каждая из них была отобрана потому, что содержала подробную информацию и включала фрагменты, которые позволяли проверить инструменты на наличие различных слабых мест, связанных с терминологией, темпом речи и другими аспектами. Первой была вступительная речь управляющего Фабио Панетты на конференции Банка Италии и Европейского инвестиционного банка, посвященной финансам и искусственному интеллекту. Именно эта запись содержала подробные экономические термины на итальянском языке, и для сравнения к ней был приложен опубликованный официальный текст.
Вторым мероприятием стал саммит, посвящённый данным в сфере здравоохранения и искусственному интеллекту, организованный членами Сената; его выбрали из-за обилия аббревиатур и медицинской терминологии, смешанных с технологическим жаргоном.
Третьим clip стало открытие конференции Апелляционного суда Неаполя, посвященной искусственному интеллекту, правосудию и безопасности; его выбрали из-за наличия юридической и технической терминологии, а также хорошего набора имен, позволяющих проверить работу функции собственных имен.
Каждый clip сокращён до продолжительности менее десяти минут, а для обеспечения объективности к каждому инструменту был добавлен одинаковый звуковой сопровождение.
Обзор
Для проведения слепого тестирования из каждой транскрипции и резюме были удалены название инструмента, ссылки и любые другие идентифицирующие данные, а сами тексты были переименованы с использованием уникального индикатора. Это означало, что ни LLM, ни носитель языка не смогли бы определить, какая транскрипция или резюме принадлежит какому инструменту. Затем эти анонимизированные результаты были отправлены двум LLM — Claude Anthropicи ChatGPT от OpenAI, — которые независимо друг от друга оценили их по первым двум разделам тестирования.
Затем мы привлекли нашего носителя итальянского языка Пьетро Джукастро, который на слух проверил самые сложные формулировки и те места, где инструменты давали разные результаты, сравнивая их с исходными видео и анонимизированными результатами, чтобы подтвердить первоначальную оценку системы. Все три оценки дали абсолютно одинаковый порядок, что подтвердило: рейтинг остается неизменным при проведении трёх различных тестов и при трёх разных оценках по всем параметрам.
Набор инструментов
Мы выбрали tl;dv с тремя другими инструментами для сравнения; каждый из них был выбран потому, что в своих маркетинговых материалах они четко указывают на возможность транскрипции на итальянском языке и представляют собой инструменты, из которых выбирали бы итальянские команды.
- tl;dv: Инструмент, базирующийся в ЕС и управляемый на международном уровне, — один из самых популярных сервисов для ведения стенограмм на многоязычных встречах. Мы пользовались тарифным планом «Business», но в его основе лежит тот же механизм транскрипции, что и в бесплатной версии.
- Google Gemini: включен в список, поскольку входит в состав Google Workspace, благодаря чему многие итальянские команды уже используют его в качестве приложения для создания заметок по умолчанию.
- Fireflies: американское приложение, одно из самых популярных автономных приложений для ведения заметок с использованием искусственного интеллекта, которое часто выбирают итальянские пользователи.
- Fathom: американская платформа, с которой начинают работу многие небольшие команды, поэтому она представляет собой бесплатный сегмент рынка.
В ходе тестирования мы запускали инструмент как на бесплатной, так и на платной учетной записи, поэтому результаты будут отражать то, что получил бы обычный пользователь. В ходе тестов в режиме реального времени записывался только один аудиоисточник, поэтому в тех случаях, когда инструмент мог работать с загруженным файлом, мы использовали отдельный тест с участием нескольких говорящих, чтобы оценить качество диаризации.
Разбивка двигателя и плана
Хотя все инструменты предлагают транскрипцию итальянского языка, они работают на разных движках, что объясняет столь значительные различия в результатах. В ходе тестирования tl;dvиспользовался специализированный речевой движок от ElevenLabs. Gemini собственную модель Google. Fireflies , судя по актуальной документации, Fireflies на Whisper от OpenAI с дополнительным уровнем обработки. Fathom сторонний движок, название которого не разглашается. Ниже вы увидите движки и тарифные планы, на которых мы проводили тестирование.
| Инструмент | Базовый движок/поставщик | Собственная разработка или лицензионная | Тип двигателя | План |
|---|---|---|---|---|
| tl;dv | ElevenLabs | Лицензированный | Выделенный ASR | Бизнес |
| Google Gemini | Google Gemini | Внутренний (Google) | LLM | Автономное Gemini (аккаунт «Business Starter») |
| Fireflies | OpenAI Whisper (плюс собственный уровень LLM) | Лицензированный | Выделенный ASR | Про |
| Fathom | Сторонние организации, не указанные публично (субподрядчики в сфере ИИ: OpenAI, Google, Anthropic) | Лицензированный | Не разглашается | Бесплатно |
Область применения и ограничения
При проведении любых испытаний мы всегда стараемся обеспечить их максимальную сбалансированность и научную обоснованность; однако в этом могут быть свои ограничения.
- Все три тестовых фрагмента представляли собой аудиозаписи из одного источника для тестовых прогонов в режиме реального времени; мы провели отдельный прогон с использованием нескольких динамиков на инструментах, поддерживающих загрузку файлов, чтобы оценить качество диаризации.
- Использованный нами справочный материал опубликован непосредственно издательством, однако не является дословным отрывком; он был отредактирован, поэтому с учётом этого в систему оценки был заложен определённый элемент гибкости.
- Fathom осуществляет только запись в режиме реального времени и, на момент нашего тестирования, не предоставлял возможности загружать данные непосредственно на платформу, поэтому по показателю «диаризация» он не мог быть оценен и получил по этому критерию ноль баллов.
- Все возможности, уровень доверия и безопасность были оценены на основе актуальной публичной документации по продукту, доступной на момент тестирования.
Какая программа для транскрипции записей встреч лучше всего подходит для итальянского языка?
Что касается точности транскрипции итальянского языка tl;dv лучшие результаты, фиксируя ход итальянских встреч более подробно и точно, чем другие протестированные инструменты. Он занял первое место в каждом из уровней оценки качества и в общем зачете опередил конкурентов на 39 баллов. В тех случаях, когда он побеждал, он справлялся не только с простыми предложениями, но и с более сложными фрагментами, с которыми другие инструменты не справлялись. Это касалось таких областей, как имена, собственные имена и распознавание общих сущностей, при этом он не допускал галлюцинаций и не придумывал текст. Это означает, что его результаты можно считать наиболее достоверным отражением того, что было сказано на итальянском языке, по сравнению с другими инструментами, которые мы оценивали.
Кроме того, он одержал победу по оценкам всех трёх судей — двух моделей LLM и одного носителя языка, — которые проводили тестирование вслепую.
Если вы проводите встречи на итальянском языке и вам важно, как фиксировать, а главное — использовать результаты этих встреч без необходимости их проверки, tl;dv бесспорный лидер в данном случае.
Благодаря надежным функциям, возможностям настройки и встроенному интерфейсу MCP, который можно напрямую подключить к Claude или ChatGPT, это идеальный инструмент для транскрибирования итальянских совещаний, который преобразует ваши встречи в практическую и полезную информацию, готовую к использованию.
Попробуйте tl;dv сегодня же на следующем совещании по итальянскому языку и убедитесь в этом сами.
Часто задаваемые вопросы о транскрипции итальянских встреч в 2026 году
Какой ИИ-блокнот обеспечивает наибольшую точность при ведении итальянских совещаний?
tl;dv 181 балл из 200 по результатам оценки трёх итальянских аудиозаписей, прошедших слепую оценку, значительно опередив занявшую второе место Fireflies. Третье Gemini , а Fathom . По показателю точности транскрипции tl;dv 61 tl;dv из 65, в то время как остальные три системы набрали по 30–35 баллов. Два больших языковых модели (LLM) и носитель итальянского языка, все оценивавшие записи вслепую, пришли к одинаковому результату.
Правильно ли программы для создания стенограмм на основе ИИ транскрибируют итальянские аббревиатуры?
tl;dv только tl;dv . При обработке аудиозаписи из сферы здравоохранения, содержащей термины EHDS и NIS 2, он каждый раз правильно распознавал оба термина без загрузки пользовательского словаря. Gemini в одном отрывке Gemini EHDS тремя разными способами: HDS, HS, HD. Fireflies полностью Fireflies NIS 2. Fathom его в «URIS 2».
Правильно ли системы записи речи на основе ИИ передают итальянские имена?
Может ли система транскрипции на базе ИИ выдавать неверные результаты при работе с итальянским языком?
Fathom . Он вставил фразы, которых не было в аудиозаписи, в том числе «Grazie per aver guardato» — заключительную фразу в стиле YouTube, отсутствующую в исходной записи, а также «Grazie a tutti» и случайную фразу «Siamo capaci di fare noi». Кроме того, он пропустил целое предложение. tl;dv Gemini Fireflies ничего Fireflies .
Как оценивался этот тест по транскрипции итальянского языка?
Слепое тестирование. Из всех стенограмм и резюме были удалены названия инструментов, после чего они были независимо оценены двумя моделями большого языка (LLM) — Claude и ChatGPT — и проверены носителем итальянского языка Пьетро Джукастро. Все три источника дали одинаковый рейтинг. Аудиозаписи были взяты из общедоступного архива Radio Radicale. tl;dv теста и публикация полного описания методологии tl;dv .
