Перейти к содержанию
Краткий обзор российских инструментов транскрипции и их точности
tl;dv первое место в нашем тесте по транскрипции русскоязычных встреч, набрав 168 баллов из 200. HappyScribe занял второе место с результатом 126 баллов, Fireflies 110 Fireflies , а Fathom — четвертое Fathom . Оценка проводилась вслепую: во время раундов оценки с участием больших языковых моделей (LLM) и носителя языка инструменты были анонимизированы.
tl;dv лучшиеtl;dv в категории «точность», опередив конкурентов на 17 баллов. Это был единственный инструмент, который правильно распознавал имена собственные на всех трёх встречах и демонстрировал стабильность во всех прогонах. Что касается распознавания русского языка, ни один из инструментов не смог даже приблизиться к его результатам.
Ниже приведены оценки каждого инструмента по разделам, в которых мы проводили тестирование.
| Уровень | Макс | tl;dv | Fireflies | Fathom | HappyScribe |
|---|---|---|---|---|---|
| Транскрипция и точность | 65 | 52/65 | 22/65 | 14/65 | 35/65 |
| Качество встреч в реальных условиях | 45 | 37/45 | 16/45 | 15/45 | 29/45 |
| Возможности и функции | 72 | 61/72 | 54/72 | 42/72 | 44/72 |
| Доверие, безопасность и ценность | 18 | 18/18 | 18/18 | 18 декабря | 18/18 |
| Общая оценка | 200 | 168/200 | 110/200 | 83/200 | 126/200 |
| Ранг | 1 | 3 | 4 | 2 |
Точность транскрипции русскоязычных встреч показала более различимые результаты по сравнению с нашими предыдущими тестами на французском, испанском и португальском языках. tl;dv наибольшее количество баллов — 168, а HappyScribe — 126.
Разница в результатах также распределялась неравномерно. На этапе транскрипции tl;dv ближайшего конкурента в общей сложности на 17 баллов, при этом результаты по обнаружению сущностей значительно различались. Именно с собственными именами другие инструменты из этого списка испытывали серьезные трудности.
Русский язык, в отличие от английского, способен очень четко выявить даже мелкие ошибки. В русском языке существительные и прилагательные имеют падежные окончания, поэтому даже односложное промахивание может изменить смысл фразы — например, вместо того, чтобы просто привести к очевидной опечатке, можно неверно указать, кто что сделал с кем. Кроме того, в деловом русском языке часто встречаются английские заимствования в предложениях, написанных кириллицей. Каждый из протестированных нами инструментов должен был решать, следует ли транслитерировать такие элементы, как названия брендов, оставить их в латинском написании или просто сделать выбор, основываясь на собственном суждении. Три из четырёх, похоже, просто гадали, а один из этих инструментов даже превратил главу регионального правительства в главного демона.
Для проведения нашего теста мы взяли три реальных совещания на русском языке и проанализировали их с помощью:
Форматы встреч были разнообразными: среди них была сессия, посвящённая различиям между ростом и развитием, панельная дискуссия по корпоративным коммуникациям, а также сессия, посвящённая городскому развитию в Казани.
В ходе наших тестов мы обычно стараемся включать Google Gemini, поскольку это широко используемый инструмент в рабочей среде пользователей, но в настоящее время Gemini поддерживает русский язык, поэтому его было решено не включать.
Для обеспечения максимально объективных результатов оценка проводилась в режиме «слепого» тестирования. Два больших языковых модели (LLM) оценивали каждый результат без указания названий инструментов, а носитель русского языка проверял те моменты, с которыми инструменты не справлялись или в которых их оценки расходились.
Транскрипция и точность записи встречи на русском языке
В ходе нашего тестирования наибольший вес придается разделу «Транскрипция и точность», поскольку от этого зависит всё остальное. Из 65 возможных баллов tl;dv 52, а Fathom всего 14.
Оценки были выставлены большими языковыми моделями (ClaudeAnthropicи ChatGPT от OpenAI), а затем подтверждены в ходе слепой оценки носителями языка, при этом названия инструментов были скрыты.
| Метрическая система | Как начисляются очки | tl;dv | Fireflies | Fathom | HappyScribe |
|---|---|---|---|---|---|
| Точность языкового выражения | Оценка степенью сложности, данная носителями языка вслепую, в отношении точности речи на родном языке | 15/20 | 20 июля | 20 мая | 20.12 |
| Обработка с учетом особенностей языка | Кириллическая орфография, окончания, зависящие от падежа, пунктуация, переключение кодов | 15/20 | 20 июля | 20 апреля | 20 сентября |
| Доля явно неправильных слов | Доля токенов, которые явно являются ошибочными: вымышленные или нерусские вставки и циклы повторений | 5 из 5 | 2/5 | 0/5 | 4/5 |
| Распознавание объектов | Имена, компании и места, фигурирующие в списке персонажей | 5 из 5 | 1/5 | 0/5 | 2/5 |
| Числа, даты и валюта | Цифры, даты и суммы, оформленные в соответствии с правилами данного языка | 4/5 | 2/5 | 2/5 | 3/5 |
| Распознавание исходных технических терминов | Отраслевые термины и аббревиатуры перед началом индивидуального обучения | 4/5 | 1/5 | 1/5 | 2/5 |
| Пунктуация и сегментация | Разделение предложений и абзацев в результатах пробного запуска | 4/5 | 2/5 | 2/5 | 3/5 |
| Промежуточный итог по транскрипции и точности | 52/65 | 22/65 | 14/65 | 35/65 |
Распознавание объектов
Наибольшее расхождение в оценках наблюдалось при распознавании сущностей. tl;dv 5 баллов из 5, а Fathom 0.
Русские имена собственные представляют собой большую сложность, чем в английском языке. Например, названия брендов необходимо транслитерировать на кириллицу, а инструмент не может просто переписать то, что он распознал. Два примера, в которых tl;dv хорошие tl;dv , а другие инструменты столкнулись с трудностями, — это правильное распознавание названия «Проктер энд Гэмбл» и развернутое объяснение аббревиатуры CBD как «Customer Business Development». Ни один из других инструментов с этим не справился.
Одним из самых грубых промахов стало название бренда «Wrike». tl;dv назвать его правильно. Остальные три участника описали продукт с 30 000 пользователей, но полностью упустили название продукта из своего высказывания. Если бы кто-то прочитал эти стенограммы и попытался определить, какой инструмент рекомендовал говорящий, ему не удалось бы найти эту конкретную деталь.
На казанском этапе это повторилось с МЕГА, Баухаузом и Проспектом Универсиады. tl;dv единственным инструментом, получившим максимальный балл по этому ряду во всех трёх тестах.
Точность языкового выражения
Никто не набрал максимального балла по этому критерию (максимально возможный — 20), который отражает, какая часть встречи сохранилась в процессе стенографирования. Наилучший результатtl;dv — 15 баллов.
Fathom набрал Fathom 5 баллов, и это был конкретный случай ошибки, который удалось выявить, а не просто случай неправильного восприятия речи. В одном clip сгенерировала английские предложения, которые никогда не произносились, а также создала сущности, о которых в аудиозаписи просто не упоминалось. Наш носитель языка действительно отметил, что то, что система транскрибировала, было вполне приемлемо, но в конечном итоге она добавила многое из того, чего на самом деле не было.
Fireflies набрала в общей сложности 7 баллов и продемонстрировала чуть более опасные результаты. Ошибки, допущенные ею, заключались в том, что правильно написанные русские слова были помещены не в те места. Например, она превратила «главы региона» (глава регионального правительства) в «главного демона». В том же отрывке «Проспект Универсиады» превратился в «Проспект Грузиады», которого нет ни в Казани, ни где-либо еще.
Это означает, что человек, читающий Fathom , сможет легко заметить и подумать: «Здесь что-то не так», в то время как вывод Fireflies на первый взгляд Fireflies выглядеть более связным, хотя и будет содержать серьезные ошибки.
Обработка с учетом особенностей языка
tl;dv здесь тоже 15 баллов, возглавив рейтинг
Как мы уже упоминали ранее, в российской деловой речи иногда встречается переключение на английский язык, причем это происходит прямо посреди предложения. Каждый инструмент должен был транскрибировать такие фрагменты и определять, как поступить в таких ситуациях, а также решать, следует ли помещать английское слово в предложение, написанное кириллицей. Tl;dv Fathom все, что было написано латинским алфавитом. Fireflies такие фрагменты фонетически, например «вот эвер», что наш носитель языка отметил как неправильное.
Показатель ошибок в тексте
tl;dv здесь 5 баллов, а Fathom рейтинга с 0 баллами.
В ходе тестирования у нас не было проверенной дословной стенограммы выступления, поэтому мы обратили внимание на то, как справился каждый инструмент и сколько слов было явно неверными. Речь идет о таких моментах, как нерусские символы, повторяющиеся фразы и любые другие неточности. В результатахtl;dvпо первому clip таких ошибок практически clip . Fathomони встречались примерно в каждом восьмом слове.
Числа, даты и валюта
В той области, где данные должны быть точными, иначе это может привести к реальным ошибкам на последующих этапах, tl;dv здесь максимальный балл — 4.
Одной из самых значительных ошибок в этой когорте стала ошибка HappyScribe. Один из выступающих упомянул конкретный период времени — «десять лет» (ten years). Однако HappyScribe зафиксировал «десять миллионов» (ten million). Если бы вы бегло просматривали текст, эта ошибка не сразу бросилась бы в глаза как ошибка транскрипции, но разница между десятью годами и десятью миллионами довольно велика.
В рамках панели «Корпоративные коммуникации» все четыре инструмента смогли правильно отобразить все числовые данные, включая цифры, даты и процентные значения.
Распознавание исходных технических терминов
tl;dv 4 балла, HappyScribe — 2, Fireflies , а Fathom .
tl;dv лучше всегоtl;dv с техническим жаргоном и терминологией в этой строке, при этом не потребовалось вводить никаких пользовательских слов. Другие инструменты столкнулись с небольшими трудностями при обработке конкретного слова «персонализация» (personalization).
HappyScribe услышал «реализация» (realization или implementation). Fireflies «кристаллизация» (crystallization). Оба этих слова являются настоящими русскими словами, но при этом они неправильны и отличаются друг от друга.
Качество встреч в реальных условиях
Точность транскрипции — это основа всего процесса; если она неверна, то все последующие этапы могут столкнуться с проблемами.
В этом разделе мы рассмотрим некоторые дополнительные элементы транскрипции, а также конечный результат и то, насколько он может быть полезен при использовании в реальных деловых встречах и в ваших рабочих процессах.
tl;dv здесь наибольшее количество баллов — 37, а наименьшее — Fathom 15.
| Метрическая система | Как начисляются очки | tl;dv | Fireflies | Fathom | HappyScribe |
|---|---|---|---|---|---|
| Качество диаризации | Соответствие количества говорящих персонажей и распределения реплик по сравнению с известным составом актёров | 10 из 10 | 0/10 | 0/10 | 10 из 10 |
| Стабильность поведения | Стабильность поведения при различных типах сеансов | 9 из 10 | 3/10 | 1/10 | 5/10 |
| Качество резюме | Полезность резюме и то, сохранилось ли оно на языке оригинала, с учетом заимствованных слов | 5 из 5 | 4/5 | 5 из 5 | 2/5 |
| Частота галлюцинаций / частота вставки | Выдуманный, повторяющийся или дублирующийся текст, отсутствующий в аудиозаписи. Неверно услышанные фразы и обрезанные фрагменты не учитываются. | 8 из 10 | 0/10 | 0/10 | 10 из 10 |
| Извлечение действий | Качество задач и последующих действий, вынесенных из заседания | 0/5 | 5 из 5 | 5 из 5 | 0/5 |
| Автоматическое разделение на главы / разделы | Разбивает ли резюме ход встречи на удобные разделы? | 5 из 5 | 4/5 | 4/5 | 2/5 |
| Промежуточный итог по качеству встреч в реальных условиях | 37/45 | 16/45 | 15/45 | 29/45 |
Краткая информация о качестве
tl;dv Fathom по 5 баллов, Fireflies , HappyScribe — 2.
Fireflies изменили географию одного из заседаний. В отчёте по казанской сессии есть раздел под названием «Градостроительная политика и инновации в Москве». Дело в том, что всё заседание посвящено Казани, которая находится на расстоянии целых 800 км от Москвы. В тексте этого раздела говорится, что данный район находится «недалеко от центра Москвы».
HappyScribe также получил более низкую оценку — 2 балла, но по другой причине. На одном из заседаний, несмотря на то что программа транскрибировала его ход, она не смогла составить резюме. Она выдала сообщение «Речь не обнаружена», хотя транскрипция получилась вполне приемлемой.
Как мы уже упоминали выше, Fathom показала здесь Fathom отличные результаты. Несмотря на то, что она сгенерировала английские предложения, резюме получилось четким, по теме и полностью на русском языке. Ни один из вымышленных фрагментов не попал в резюме.
Частота галлюцинаций и частота вставки
HappyScribe набрал 10 баллов, tl;dv , Fireflies Fathom .
Это одна из немногих областей, где tl;dv первое место, и речь шла об одном-единственном фрагменте, в котором фигурировали два японских символа. Это было легко заметить, и читатель без труда бы это уловил, но, тем не менее, это была вставка.
В двух из трёх тестов Fireflies несколько значительных повторений. В одной записи фраза «с людьми» повторялась двадцать четыре раза. В казанской сессии фраза «Я не знаю» повторялась восемь раз. Наш носитель языка расценил эти моменты как ошибки в транскрипции.
После завершения дискуссии в сериале Fireflies «Продолжение следует». Это стандартная заключительная надпись, а не фраза, произнесённая кем-либо в студии.
Качество диаризации
tl;dv HappyScribe набрали по 10 баллов, а Fireflies Fathom .
Поскольку тестирование ядра выполняется в качестве единственного источника звука через Google Meet, для оценки этого параметра мы проводим ещё один раунд тестов, загружая контент непосредственно на платформу, чтобы проверить, насколько хорошо она может идентифицировать и маркировать говорящих. И tl;dv HappyScribe получают здесь максимальные оценки. Fathom возможности загружать аудио или видео на свою платформу.
Fireflies предоставлен тот же аудиофайл, и она не справилась с задачей. В одном из аудиофайлов, где говорил только один собеседник, система зарегистрировала трех собеседников и переключала их двадцать два раза в течение двадцати четырёх сегментов, зачастую прямо посреди предложений. В одном случае одно предложение было отнесено к трём разным собеседникам.
Стабильность поведения
tl;dv 9 баллов, HappyScribe — 5, Fireflies , а Fathom .
Здесь мы рассматриваем, насколько стабильно инструмент демонстрирует свои результаты во всех сессиях. tl;dv наибольшую стабильность по всем показателям, а Fathom — наибольшие Fathom .
Извлечение действий
В этой области tl;dv , и на то есть веская причина. В каждом из резюме Fireflies Fathom задачи между людьми в зависимости от результатов работы.
tl;dv не tl;dv этого ни в одном из трёх запусков, и на то есть своя причина. Не было никаких действий, которые нужно было бы зафиксировать в журнале.
Таким образом, когда Fireflies Fathom задачи, они создавали их из ничего. Речь шла о трёх круглых столах. Никто никому ничего не поручал, никто не соглашался ничего выполнить, и никаких дальнейших действий не было запланировано. Списка, из которого можно было бы извлечь задачи, не было, поэтому оба инструмента сгенерировали его самостоятельно.
Так что, хотя tl;dv здесь не tl;dv ни одного балла, относитесь к этому с долей скептицизма.
Автоматическое разделение на главы и разделы
tl;dv 5 баллов, Fireflies Fathom , HappyScribe — 2.
tl;dv последовательно разбить каждое заседание на пронумерованные тематические сессии, причем каждый пункт сопровождался ссылкой на временную метку для проверки. Ни один из других инструментов не обеспечивал такой уровень детализации временных меток, и хотя они также позволяли разбивать материалы на сегменты, качество и количество таких сегментов варьировались в зависимости от конкретного инструмента. В целях объективности мы использовали стандартизированное резюме для каждого из них.
Возможности и функции
В этом разделе мы рассмотрим эти инструменты в целом, их функциональные возможности, а также некоторые базовые результаты по таким показателям, как скорость обработки и точность временных меток.
Если в предыдущих разделах речь шла об оценке эффективности работы инструмента, то в этом разделе рассматривается, каким образом данные могут быть использованы в рамках бизнеса. Результаты в этом разделе оказались весьма близкими, и tl;dv первое место, набрав 61 балл, при этом разрыв между ним и остальными инструментами составил 19 баллов.
| Метрическая система | Как начисляются очки | tl;dv | Fireflies | Fathom | HappyScribe |
|---|---|---|---|---|---|
| Настройка имен динамиков «из коробки» | Автоматическое определение имен реальных участников в Meet, Zoom и Teams | 5 из 5 | 5 из 5 | 5 из 5 | 0/5 |
| Распознавание голоса | Возможность обучения системе распознаванию голоса на основе собственного голоса пользователя | 5 из 5 | 0/5 | 0/5 | 0/5 |
| Запись без ботов | Запись через системный микрофон без подключения бота к звонку | 5 из 5 | 5 из 5 | 5 из 5 | 5 из 5 |
| Синхронизация CRM | Встроенная синхронизация и автоматическая синхронизация | 3/3 | 3/3 | 3/3 | 0/3 |
| Пользовательские заметки / шаблоны | Настраиваемые форматы сводных отчетов против фиксированного формата вывода | 3/3 | 3/3 | 3/3 | 3/3 |
| Обучение с использованием пользовательского словаря / сущностей | Обучать отраслевым терминам и аббревиатурам | 5 из 5 | 5 из 5 | 0/5 | 5 из 5 |
| Локализация пользовательского интерфейса на русский язык | Доступен ли сам интерфейс продукта на русском языке | 0/5 | 0/5 | 0/5 | 0/5 |
| Широта интеграций | Slack, календарь, Zapier, API | 3/3 | 3/3 | 3/3 | 3/3 |
| Скорость обработки | Порядок получения готовой стенограммы после завершения заседания | 3/3 | 3/3 | 3/3 | 2/3 |
| Отслеживание слов-заполнителей | Отслеживает слова-заполнители без удвоения при заикании, не прибегая к чрезмерному сглаживанию транскрипта | 3/3 | 0/3 | 0/3 | 0/3 |
| Точность временных меток | Проверьте выборочно, чтобы временные метки соответствовали нужному моменту | 3/3 | 1/3 | 0/3 | 0/3 |
| Наличие перевода | Может ли он переводить протоколы встреч и на сколько языков? | 3/3 | 0/3 | 0/3 | 3/3 |
| Поиск в стенограмме | Поиск по материалам встречи и по библиотеке | 3/3 | 3/3 | 3/3 | 3/3 |
| Пользовательский интерфейс для редактирования стенограмм | Можно ли легко исправить стенограмму уже после записи? | 3/3 | 3/3 | 3/3 | 3/3 |
| Форматы экспорта | SRT, VTT, TXT, DOCX и т. п. | 0/3 | 3/3 | 0/3 | 3/3 |
| Транскрипт в режиме реального времени | Отображается ли стенограмма в режиме реального времени во время заседания? | 0/3 | 3/3 | 3/3 | 0/3 |
| Освещение мероприятий на платформе | Обзор сервисов Zoom, Meet, Teams и Webex | 3/3 | 3/3 | 3/3 | 3/3 |
| Захват мобильного приложения | Можно ли с помощью мобильного приложения вести запись очных встреч? | 3/3 | 3/3 | 0/3 | 3/3 |
| Встроенный сервер MCP | Собственный сервер, позволяющий ИИ-помощникам запрашивать данные из библиотеки встреч | 5 из 5 | 5 из 5 | 5 из 5 | 5 из 5 |
| Редактирование меток динамиков | Можно ли впоследствии переименовать и переназначить динамики? | 3/3 | 3/3 | 3/3 | 3/3 |
| Итого по возможностям и функциям | 61/72 | 54/72 | 42/72 | 44/72 |
Голосовая идентификация
«Распознавание голоса» — это функция, которая, при включении, обучает систему распознаванию голоса конкретного пользователя, благодаря чему его голос будет распознаваться на всех встречах без необходимости повторного маркирования. Данный показатель зависит от того, доступна ли эта функция, и tl;dv единственная платформа, которая её поддерживает.
Отслеживание слов-заполнителей
Одна из причин, по которой tl;dv столь высокую эффективность при транскрибировании, заключается в том, что он отслеживает слова-заполнители, а не удаляет их. Это означает, что инструмент выявляет наиболее достоверную версию стенограммы, сохраняя паузы и колебания в речи, а не сглаживая их. Хотя три других инструмента могут в целом предоставлять более «чистую» версию записи встречи, они фактически редактируют её.
Наличие перевода
tl;dv HappyScribe набрали по 3 балла. Fireflies Fathom 0.
Мне удалось открыть стенограмму на tl;dv HappyScribe, нажать кнопку и перевести русскую стенограмму на английский. Это невероятно полезно для международных компаний, которые проводят совещания на разных языках. Fathom это удалось сделать с резюме, но не с самой стенограммой, поэтому они не получают оценку, поскольку мы уже выявили несоответствия между стенограммой и самим резюме.
Название динамика «Out Of The Box»
tl;dv Fireflies » Fireflies Fathom по 5 баллов. «HappyScribe» — 0 баллов.
Большинство инструментов могут автоматически извлекать метки из Google Meet, Zoom Teams и применять их к стенограмме. HappyScribe этого не делает, поэтому имена говорящих отображаются как общие метки, и вам придется вводить их вручную позже.
Синхронизация CRM
HappyScribe — единственный инструмент, в котором отсутствует встроенная синхронизация с CRM. Он поддерживает различные варианты интеграции, но прямой доступ к CRM отсутствует.
Это можно сделать с помощью Zapier, но для этого потребуется дополнительная настройка и обслуживание рабочего процесса.
Все три остальных инструмента позволяют автоматически отправлять заметки прямо в CRM, что экономит время, силы и ресурсы.
Скорость обработки
tl;dv Fireflies » Fireflies Fathom по 3 балла. «HappyScribe» — 2 балла.
В этом разделе оценивалось, как быстро после завершения встречи становились доступны стенограмма и краткие отчеты. Tl;dv Fathom сразу же после встречи, за ними следовал Fireflies. Среди всех инструментов HappyScribe занял больше всего времени.
Этот раздел закрыт
По сравнению с результатами по точности транскрипции исходного аудио, разница между оценками в данном случае оказалась меньше. Каждый из инструментов обладает рядом действительно полезных функций, и в результате по многим параметрам, таким как запись без ботов, поддержка различных платформ и сервер MCP, они находятся на одном уровне.
Эти четыре продукта схожи по своим возможностям, но при рассмотрении конкретного элемента транскрипции становится ясно, что в плане транскрипции русского языка они не идут ни в какое сравнение.
Доверие, безопасность и ценность
Данный раздел посвящён вопросам безопасности и надёжности каждой платформы. Все представленные здесь инструменты обладают превосходными функциями безопасности и чётко осознают свою ответственность в 2026 году в плане обеспечения безопасности данных.
tl;dv Fireflies HappyScribe получили максимальные оценки, а Fathom баллы по двум критериям по вполне конкретным причинам.
| Метрическая система | Как начисляются очки | tl;dv | Fireflies | Fathom | HappyScribe |
|---|---|---|---|---|---|
| Место хранения данных / региональный хостинг | Варианты регионального хостинга, например, хостинг в ЕС по запросу | 3/3 | 3/3 | 0/3 | 3/3 |
| Безопасность и соответствие нормативным требованиям | SOC2, ISO 27001, GDPR | 3/3 | 3/3 | 3/3 | 3/3 |
| Обучение ИИ на основе аудиозаписей пользователей | Позволяет ли это избежать обучения ИИ на ваших аудиозаписях (вариант «без обучения» оценивается на «отлично»)? | 3/3 | 3/3 | 0/3 | 3/3 |
| Контроль за сохранением данных | Контроль за сроками хранения записей и стенограмм | 3/3 | 3/3 | 3/3 | 3/3 |
| Прозрачность цен | Цены по тарифным планам публикуются, а не предоставляются только по запросу | 3/3 | 3/3 | 3/3 | 3/3 |
| Бесплатный тариф / ограничения | Наличие бесплатного тарифа (сама по себе бесплатная пробная версия оценивается в 0 баллов) | 3/3 | 3/3 | 3/3 | 3/3 |
| Доверие, безопасность и ценность — промежуточная сумма | 18/18 | 18/18 | 18 декабря | 18/18 |
Расположение данных и региональный хостинг
tl;dv Fireflies HappyScribe набрали по 3 балла. Fathom 0.
Это первое отличие, по которому эти три инструмента опережают Fathom. И оно весьма существенно. Клиенты могут выбирать, где будут храниться их данные, что имеет ключевое значение для компаний из ЕС, а также для тех, кто ведет деятельность в очень специфических сферах. Оценка в данном случае проводится исходя из наличия возможности выбора.
В частности, британские и европейские команды будут обязаны обеспечивать хостинг, а многие компании не смогут хранить данные в определенных географических регионах.
Fathom альтернативных вариантов в этом вопросе, и все его данные хранятся в США. При этом компания заявляет, что для поставщиков из ЕС и Великобритании она может обеспечить соответствие требованиям GDPR и по запросу подпишет соглашение о обработке данных (DPA).
Обучение ИИ на аудиозаписях пользователей
tl;dv Fireflies HappyScribe набрали по 3 балла. Fathom 0.
В этом разделе баллы начисляются за то, что ИИ не обучается на данных клиентов. Три из четырёх инструментов указывают, что они этого не делают.
Позиция Fathomносит более многоуровневый характер. Ее субпроцессорам искусственного интеллекта — а именно Anthropic, OpenAI и Google — по условиям контракта запрещено проводить обучение на данных пользователей. Fathom , что использует обезличенные данные клиентов для улучшения собственных моделей, и эта настройка включена по умолчанию.
Эту функцию можно отключить, и администраторы команд могут отключить её для всей организации. Но я обнаружил её только после пролистывания настроек, а найти элемент управления — это совсем не то же самое, что просто включить его.
Тест на точность распознавания речи на русском языке: методология
Наше сравнение основано на контролируемом тесте с сопоставимыми условиями, призванном обеспечить одинаковые условия для каждого инструмента.
Набор тестов
Чтобы обеспечить широкий спектр возможностей для тестирования, были выбраны три не связанные между собой российские круглые столы. Материалы для них были взяты из общедоступных записей, и мы, по возможности, проводили все тесты в одинаковых условиях.
Первая тема — деловая дискуссия о различиях между ростом и развитием, в ходе которой будут рассмотрены вопросы организационной структуры, текучести кадров и рисков.
Вторая — это панель, посвященная корпоративным коммуникациям, изобилующая английскими заимствованиями, названиями брендов и данными о количестве пользователей.
Третья глава посвящена вопросам городского развития, туризма и недвижимости в Казани и изобилует местными географическими названиями.
Продолжительность видеороликов составила около 7 минут, чего должно было хватить для выявления четкой закономерности и определения слабых мест. Все устройства подключились к одному и тому же Google Meet и вели запись одновременно. Полученный ими звук был идентичным, поскольку все они находились в одинаковых условиях.
Кроме того, там, где это было возможно, мы запускали отдельный цикл загрузки для оценки строки диаризации. Использовался тот же аудиофайл, загруженный напрямую, чтобы обойти вызов.
Обзор
В первую очередь оценка качества транскрипции и записи встречи проводилась вслепую. Результаты работы инструментов были перенесены в документ и анонимизированы с помощью букв от A до D. Ни большие языковые модели (LLM), ни наш носитель языка не смогли определить, какая транскрипция принадлежит какому инструменту.
Мы провели два независимых прогона моделей LLM, оценивая результаты по шкале оценивания. Один из них был выполнен моделью Claude, а другой — ChatGPT. Работа велась в отдельных проектах, и модели не имели доступа к результатам друг друга.
В тех случаях, когда результаты двух инструментов расходились, мы опирались на тот из них, который предоставлял больше доказательств, а не вычисляли среднее значение. Это означает, что согласованная оценка привязана к конкретным строкам в конкретных стенограммах, а не к тексту в целом.
Затем мы попросили носителя русского языка проанализировать полученные результаты, выделив моменты, вызывающие особые затруднения, а также случаи, когда результаты работы инструментов расходились. Ему были предоставлены ссылки на исходные аудиозаписи для сравнения. Эти замечания были использованы для проверки результатов работы LLM и добавления конкретных примеров, которые заметил бы настоящий носитель русского языка.
Показатели «Возможности» и «Доверие» были оценены позднее на основе документации, актуальной на момент проведения тестирования. Данные по этим строкам были проверены непосредственно у поставщиков, а не на стороннем сайте.
Набор инструментов
Эти инструменты были выбраны по одной причине: в своих рекламных материалах их разработчики заявляют, что они способны распознавать русский язык.
Разбивка двигателя и плана
Работу по транскрипции выполняет движок этих инструментов, и он не всегда доступен для общего пользования. В ходе нашего тестирования tl;dv ElevenLabs; Fireflies лицензии, а не собственные сборки, но не указывает поставщика. Fathom HappyScribe никакой информации не раскрывают.| Инструмент | Базовый двигатель / производитель | Собственная разработка или лицензионная | Тип двигателя | План |
|---|---|---|---|---|
| tl;dv | ElevenLabs Scribe | Лицензированные, общедоступные | Выделенный ASR | Бизнес |
| Fireflies | Не разглашается | Имеет лицензию. Генеральный директор Криш Раминени заявил, что компания никогда не стремилась стать поставщиком API и что транскрипция для нее — лишь средство для достижения цели, сославшись на сторонних поставщиков услуг автоматического распознавания речи (ASR). | Сторонний модуль распознавания речи (ASR) с наложенным на него слоем большого языкового модели (LLM) | Про |
| Fathom | Не разглашается | Не разглашается | Не разглашается | Бесплатно |
| HappyScribe | Не разглашается | Не разглашается | Не разглашается | Тарифный план «Lite» |
Область применения и ограничения
Для каждой сессии записи не было проверенных стенографических стенограмм. Мы протестировали собственные автоматические субтитры YouTube в качестве эталона и отклонили их: по сравнению с этими субтитрами каждый инструмент показал уровень ошибок выше 100 %. Диаризация осуществлялась путем прямой загрузки файла, а не в режиме реального времени. Fathom возможности загрузки, поэтому значение «0» в этой строке отражает отсутствие данной функции, а не неудачный тест. Все оценки в этой статье были определены до того, как были названы какие-либо инструменты.Какая программа для транскрибирования записей совещаний лучше всего подходит для русского языка?
tl;dv наивысший балл из всех четырёх протестированных нами инструментов — 168 из 200, и решающим фактором при этом стала не столько функциональность, сколько точность транскрипции. Хотя все эти инструменты выполняют одну и ту же задачу, они по-разному распознают и записывают русскую речь.
Настоящим основным недостатком многих из этих инструментов по сравнению с tl;dv способность распознавать и правильно отражать в отчетах имена собственные. Распознавание сущностей было самым значительным пробелом в системе оценки. Названия брендов, географические названия и аббревиатуры необходимо транслитерировать на кириллицу. Если инструмент пытается угадать, в результате можно получить транскрипцию, которая выглядит правильно, но фактически неверна.
Эта закономерность прослеживается во всей серии тестов. Мы провели тот же тест из 200 баллов на японском, испанском, французском, немецком, итальянском, португальском, шведском и финском языках. Разные языки, разные конкуренты, но каждый раз одна и та же система оценки. Если вы работаете на одном из этих языков, начинайте с него, а не с теста на английском языке.
Проблемы, описанные в этой статье, можно обойти, и tl;dv уже tl;dv большинство из них, но транскрипт, в котором неправильно указано имя клиента, не способен этого сделать. Запустите tl;dv следующем совещании на русском языке — это бесплатно — и убедитесь сами, как улучшение качества результатов может повлиять на всю вашу дальнейшую работу.
Часто задаваемые вопросы о транскрипции встреч на русском языке
Какой инструмент искусственного интеллекта для транскрипции русского языка является самым точным?
tl;dv наибольшую точность, набрав 52 балла из 65 по качеству транскрипции в нашем слепом тесте 2026 года. HappyScribe занял второе место с результатом 35 баллов, Fireflies 22, а Fathom . Наибольший разрыв наблюдался в области распознавания сущностей, где tl;dv 5 баллов из 5, в то время как у других сервисов показатели составили 2, 1 и 0. Именно в распознавании собственных имен российские инструменты транскрипции демонстрируют свои преимущества.
Какие помощники для проведения встреч на базе искусственного интеллекта поддерживают русский язык?
tl;dv Fireflies, Fathom HappyScribe все создают транскрипты на русском языке. Ни один из этих четырех сервисов не предлагает русскоязычный интерфейс, поэтому все, что связано с транскриптом, остается на английском. Google Gemini вообще Gemini транскрипцию встреч на русском языке. Gemini восемь языков: английский, французский, немецкий, итальянский, японский, корейский, португальский и испанский.
Почему инструменты транскрипции на базе ИИ дают неверные результаты при работе с русским языком?
Модели транскрипции могут вставлять стандартные текстовые фрагменты, когда в аудиозаписи наступает тишина или появляются помехи, вместо того чтобы не выдавать никакого результата. В ходе нашего теста 2026 года Fathom строку с титрами, которая нигде не встречается в аудиозаписи. Fireflies «Продолжение следует» — стандартную заключительную надпись. Оба этих текстовых шаблона широко встречаются в моделях, обученных на видеоматериалах с субтитрами.
Насколько точна транскрипция с помощью ИИ для русского языка по сравнению с английским?
Точность перевода на русский язык варьируется гораздо сильнее, чем об этом свидетельствуют опубликованные результаты тестирования на английском языке. В ходе нашего тестирования 2026 года четыре инструмента набрали от 14 до 52 баллов из 65 при анализе одних и тех же трёх встреч. Ошибки не были незначительными промахами. Среди них были выдуманные английские предложения, фраза, повторенная двадцать четыре раза, а также запись «десять лет» как «десять миллионов».
Могут ли системы записи с помощью ИИ обрабатывать русский и английский языки в рамках одного и того же совещания?
Все четыре инструмента, которые мы протестировали в 2026 году, транскрибируют русский язык с переключением кода, причем результаты оказались неоднозначными. tl;dv Fathom английское слово «whatever» в латинском алфавите. Fireflies его фонетически как «вот эвер», что наш носитель языка отметил как неправильное. Транслитерация нанесла больше ущерба, чем само переключение кода. Только tl;dv правильно tl;dv «Проктер энд Гэмбл» и «CBD».
