Vai al contenuto
Sintesi degli strumenti di trascrizione in russo e della loro accuratezza
tl;dv al primo posto nel nostro test di trascrizione di riunioni in russo con un punteggio di 168 su 200. HappyScribe si è classificato secondo con 126, Fireflies 110 e Fathom . La valutazione è stata effettuata in cieco, con gli strumenti resi anonimi durante le fasi di valutazione condotte con modelli di linguaggio di grandi dimensioni (LLM) e un madrelingua.
tl;dv il migliore in termini di accuratezza, con un vantaggio di 17 punti. È stato l’unico strumento in grado di identificare correttamente i nomi propri in tutte e tre le riunioni e di mantenere la coerenza in tutte le esecuzioni. Per quanto riguarda il riconoscimento del russo, nessun altro strumento si è avvicinato ai suoi risultati.
Ecco il punteggio di ciascuno strumento in base alle sezioni su cui è stato testato.
| Livello | Max | tl;dv | Fireflies | Fathom | HappyScribe |
|---|---|---|---|---|---|
| Trascrizione e accuratezza | 65 | 52/65 | 22/65 | 14/65 | 35/65 |
| Qualità delle riunioni nella vita reale | 45 | 37/45 | 16/45 | 15/45 | 29/45 |
| Funzionalità e caratteristiche | 72 | 61/72 | 54/72 | 42/72 | 44/72 |
| Fiducia, sicurezza e valore | 18 | 18/18 | 18/18 | 18/12 | 18/18 |
| Punteggio complessivo | 200 | 168/200 | 110/200 | 83/200 | 126/200 |
| Posizione | 1 | 3 | 4 | 2 |
L'accuratezza della trascrizione delle riunioni in russo ha fornito un risultato più variegato rispetto ai nostri precedenti test su francese, spagnolo e portoghese. tl;dv il punteggio più alto con 168 punti, mentre HappyScribe si è attestato a 126.
Anche i margini non erano distribuiti in modo uniforme. Nel livello di trascrizione, tl;dv con un vantaggio complessivo di 17 punti rispetto allo strumento più vicino, con punteggi nel rilevamento delle entità che presentavano scostamenti piuttosto marcati. È proprio nel riconoscimento dei nomi propri che gli altri strumenti di questa lista hanno incontrato maggiori difficoltà.
Il russo è una lingua che riesce davvero a mettere in evidenza piccoli errori in un modo che l’inglese non fa. In russo, i sostantivi e gli aggettivi hanno desinenze di caso, quindi un semplice errore di una sillaba può cambiare chi ha fatto cosa a chi, invece di produrre quello che sarebbe un errore di battitura più evidente. Il russo commerciale, inoltre, alterna prestiti dall’inglese a frasi in cirillico. Ogni strumento che abbiamo testato doveva decidere se traslitterare elementi come i nomi dei marchi, lasciarli in alfabeto latino o semplicemente fare una scelta basata su ciò che riteneva opportuno. Tre su quattro sembravano tirare a indovinare, e uno di questi strumenti ha persino trasformato il capo di un governo regionale nel «demone capo».
Per eseguire il nostro test abbiamo selezionato tre riunioni reali in lingua russa e le abbiamo sottoposte a:
Le tipologie di incontri erano di vario genere: una sessione dedicata alla differenza tra crescita e sviluppo, una tavola rotonda sulla comunicazione aziendale e una sessione sullo sviluppo urbano a Kazan.
Nei nostri test cerchiamo solitamente di includere Google Gemini, poiché si tratta di uno strumento comunemente utilizzato nell'ambiente di lavoro, ma Gemini al momento Gemini supporta il russo, pertanto è stato omesso.
Per ottenere risultati il più equi possibile, la valutazione è stata effettuata in cieco. Due modelli di linguaggio di grandi dimensioni (LLM) hanno valutato ciascun risultato senza che fossero indicati i nomi degli strumenti, mentre un madrelingua russo ha verificato i punti in cui gli strumenti hanno mostrato difficoltà o presentavano divergenze tra loro.
Trascrizione e accuratezza delle riunioni in russo
Nei nostri test, la sezione dedicata alla trascrizione e all’accuratezza ha il peso maggiore, poiché da essa dipende tutto il resto. Su un totale di 65 punti, tl;dv 52, mentre Fathom solo 14.
Questi risultati sono stati valutati da modelli di linguaggio di grandi dimensioni (ClaudeAnthropice ChatGPT di OpenAI) e successivamente confermati tramite una valutazione in cieco da parte di madrelingua, con i nomi degli strumenti nascosti.
| Metrico | Come si calcola il punteggio | tl;dv | Fireflies | Fathom | HappyScribe |
|---|---|---|---|---|---|
| Accuratezza linguistica | Valutazione in cieco della gravità da parte di madrelingua in merito all’accuratezza nella lingua di riferimento | 15/20 | 20/7 | 20/5 | 20/12 |
| Gestione specifica per lingua | Ortografia cirillica, desinenze di caso, punteggiatura, alternanza di codice | 15/20 | 20/7 | 20/4 | 20/9 |
| Percentuale di parole palesemente errate | Percentuale di token palesemente errati: inserimenti inventati o non russi e cicli di ripetizione | 5/5 | 2/5 | 0/5 | 4/5 |
| Rilevamento delle entità | Nomi, aziende e luoghi presenti nel cast | 5/5 | 1/5 | 0/5 | 2/5 |
| Numeri, date e valute | Cifre, date e importi formattati correttamente nella lingua di destinazione | 4/5 | 2/5 | 2/5 | 3/5 |
| Riconoscimento dei termini tecnici grezzi | Terminologia e acronimi del settore prima della formazione personalizzata | 4/5 | 1/5 | 1/5 | 2/5 |
| Punteggiatura e segmentazione | Interruzioni di frase e suddivisione in paragrafi nell'output della prova di esecuzione | 4/5 | 2/5 | 2/5 | 3/5 |
| Totale parziale: trascrizione e accuratezza | 52/65 | 22/65 | 14/65 | 35/65 |
Rilevamento delle entità
La divergenza maggiore nei punteggi si è riscontrata nel rilevamento delle entità: tl;dv ottenuto un punteggio di 5 su 5, mentre Fathom 0.
I nomi propri russi sono più complessi rispetto a quelli inglesi. Ad esempio, i nomi dei marchi devono essere traslitterati in cirillico e uno strumento non può ricorrere alla trascrizione letterale di ciò che ha rilevato. Due esempi in cui tl;dv bene mentre gli altri strumenti hanno avuto difficoltà sono stati il corretto riconoscimento di «Проктер энд Гэмбл» e l’espansione di «CBD» in «Customer Business Development». Nessuno degli altri strumenti è riuscito a farlo.
Uno degli errori più gravi ha riguardato il nome del marchio Wrike. tl;dv riuscito a indicarlo correttamente. Gli altri tre hanno descritto un prodotto con 30.000 utenti, tralasciando completamente il nome del prodotto dalla frase. Se qualcuno leggesse quelle trascrizioni e cercasse di capire quale strumento stesse raccomandando chi parlava, non riuscirebbe a trovare quel dettaglio specifico.
Nella sessione di Kazan, la situazione si è ripetuta con МЕГА, Баухауз e Проспект Универсиады. tl;dv l'unico strumento a ottenere il massimo dei voti in questa serie in tutte e tre le prove.
Accuratezza linguistica
Nessuno ha ottenuto il punteggio massimo in questa sezione, su un massimo di 20 punti, che corrisponde all’incirca alla percentuale della riunione che è stata riportata fedelmente nella trascrizione. tl;dv il migliore con 15 punti.
Fathom ha ottenuto Fathom 5 punti e si è trattato di un errore specifico che è stato individuato, non semplicemente di errori di comprensione. In una clip generato frasi in inglese che non erano mai state pronunciate, creando entità che semplicemente non erano menzionate nell’audio. Il nostro madrelingua ha affermato che ciò che era stato trascritto era ragionevole, ma alla fine il sistema ha aggiunto molte cose che non esistevano.
Fireflies ha totalizzato un punteggio di 7 e ha prodotto risultati leggermente più pericolosi. Gli errori che ha commesso riguardavano parole russe, scritte correttamente, ma inserite nei posti sbagliati. Ad esempio, ha trasformato «главы региона» (il capo del governo regionale) in «главного демона» (il demone capo). Nello stesso passaggio, «Проспект Универсиады» è diventato «Проспект Грузиады», che non è una via né a Kazan né altrove.
Ciò significa che chi leggesse Fathom potrebbe facilmente notare l'errore e pensare “Questo è sbagliato”, mentre Fireflies a prima vista più coerente, pur contenendo errori gravi.
Gestione specifica per lingua
tl;dv 15 punti anche qui, piazzandosi in testa alla classifica
Come abbiamo già accennato, il linguaggio commerciale russo può talvolta presentare un cambio di codice verso l’inglese, che avviene nel bel mezzo di una frase. Ogni strumento doveva trascrivere e valutare come comportarsi in queste situazioni, e se inserire una parola inglese all’interno di una frase in cirillico. Tl;dv Fathom riusciti a mantenere tutto ciò che era scritto in alfabeto latino. Fireflies le parole foneticamente, ad esempio “вот эвер”, che il nostro madrelingua ha segnalato come errato.
Tasso di errore di Word
In brevetl;dv 5 punti, mentre Fathom posto con 0 punti.
Durante i nostri test, non disponevamo di una trascrizione verificata e fedele delle parole pronunciate, quindi abbiamo valutato come si comportasse ciascun strumento e quante parole fossero chiaramente errate. Ci riferiamo a elementi quali caratteri non russi, ripetizioni in loop e qualsiasi altro errore. L’outputtl;dvsul primo clip non clip praticamente nessuno. Fathomne conteneva circa una su otto.
Numeri, date e valute
In un ambito in cui l'esattezza dei dati è fondamentale, poiché in caso contrario potrebbero verificarsi errori concreti in fasi successive, tl;dv il punteggio massimo con 4.
Uno degli errori più gravi riscontrati nella coorte è stato quello di HappyScribe. Un relatore ha descritto un periodo specifico di dieci anni (десять лет). HappyScribe, invece, ha registrato dieci milioni (десять миллионов). A una lettura superficiale del testo, l’errore non sembrerebbe immediatamente evidente come errore di trascrizione, ma la differenza tra dieci anni e dieci milioni è piuttosto notevole.
Nel panel dedicato alla comunicazione aziendale, tutti e quattro gli strumenti sono riusciti a visualizzare correttamente tutti i dati, inclusi numeri, date e percentuali.
Riconoscimento dei termini tecnici grezzi
tl;dv 4 punti, HappyScribe 2, Fireflies e Fathom .
tl;dv riuscito a cogliere al meglio il gergo tecnico e la terminologia in questa riga, senza alcun inserimento di vocaboli personalizzati. Gli altri strumenti hanno avuto qualche difficoltà con il termine specifico “персонализация” (personalizzazione).
HappyScribe ha sentito "реализация" (realizzazione o implementazione). Fireflies "кристаллизация" (cristallizzazione). Sono entrambe parole russe vere e proprie, ma sono anche errate e diverse l'una dall'altra.
Qualità delle riunioni nella pratica quotidiana
L'accuratezza della trascrizione è la colonna portante di tutto il processo; se questa è errata, tutto ciò che ne consegue rischia di presentare problemi.
In questa sezione esamineremo alcuni degli elementi aggiuntivi della trascrizione, nonché il risultato finale e l’utilità che ne può derivare quando viene applicato alle riunioni aziendali reali e ai vostri flussi di lavoro.
tl;dv the highest marktl;dv più alto con 37, mentre il punteggio più basso è stato quello di Fathom 15.
| Metrico | Come si calcola il punteggio | tl;dv | Fireflies | Fathom | HappyScribe |
|---|---|---|---|---|---|
| Qualità della diarizzazione | Confronto tra il numero corretto di personaggi e l'attribuzione delle battute rispetto al cast noto | 10/10 | 0/10 | 0/10 | 10/10 |
| Stabilità comportamentale | Stabilità comportamentale nei diversi tipi di sessione | 9/10 | 3/10 | 1/10 | 5/10 |
| Qualità del riassunto | Utilità del riassunto e se è stato mantenuto nella lingua di origine, tenendo conto dei prestiti linguistici | 5/5 | 4/5 | 5/5 | 2/5 |
| Allucinazione / frequenza di inserimento | Testo inventato, ripetuto o duplicato non presente nell'audio. Sono esclusi gli errori di comprensione e le omissioni. | 8/10 | 0/10 | 0/10 | 10/10 |
| Estrazione delle azioni da intraprendere | Qualità delle attività e dei follow-up emersi dalla riunione | 0/5 | 5/5 | 5/5 | 0/5 |
| Suddivisione automatica in capitoli/sezioni | La sintesi suddivide la riunione in sezioni utili? | 5/5 | 4/5 | 4/5 | 2/5 |
| Totale parziale della qualità degli incontri nel mondo reale | 37/45 | 16/45 | 15/45 | 29/45 |
Sintesi della qualità
tl;dv Fathom 5 punti, Fireflies e HappyScribe 2.
Fireflies hanno stravolto Fireflies la geografia di un convegno. Nel resoconto della sessione dedicata a Kazan, c’è una sezione intitolata «Градостроительная политика и инновации в Москве» (Politica urbanistica e innovazione a Mosca). Il fatto è che l’intero convegno verte su Kazan, che dista ben 800 km da Mosca. Nel corpo di quella sezione del resoconto, si fa riferimento all’area come «vicina al centro di Mosca».
Anche HappyScribe ha ottenuto un punteggio inferiore, pari a 2, ma per un altro motivo. In una riunione, nonostante avesse trascritto quanto detto, non è riuscito a produrre un riassunto. Ha visualizzato il messaggio “Nessun discorso rilevato”, nonostante avesse prodotto una trascrizione abbastanza accurata.
Come abbiamo Fathom accennato in precedenza, Fathom ha ottenuto Fathom eccellenti in questo ambito. Nonostante abbia generato frasi in inglese, il riassunto risultava chiaro, pertinente all’argomento e interamente in russo. Nessuna delle parti inventate è stata inserita nel riassunto.
Tasso di allucinazioni e di inserzione
HappyScribe ha totalizzato 10 punti, tl;dv , Fireflies Fathom .
Questo è uno dei pochi casi in cui tl;dv non tl;dv avuto la meglio, e si trattava di un unico passaggio in cui comparivano due caratteri giapponesi. Era facile da individuare e sarebbe stato facilmente notato da un lettore, ma si trattava comunque di un’inserzione.
Fireflies alcuni loop significativi in due delle tre prove. In una registrazione ha ripetuto “с людьми” (con le persone) ventiquattro volte. Nella sessione di Kazan ha ripetuto “Я не знаю” otto volte (non lo so). Il nostro madrelingua li ha interpretati come errori di trascrizione.
Fireflies la Fireflies «Продолжение следует» («Continua...») al termine di una discussione. Si tratta di una didascalia standard di chiusura, non di qualcosa che è stato effettivamente detto nella stanza.
Qualità della diarizzazione
tl;dv HappyScribe hanno totalizzato 10 punti, mentre Fireflies Fathom .
Poiché il test di base viene eseguito come singola sorgente audio tramite Google Meet, per valutare questo aspetto abbiamo effettuato un’altra serie di test caricando il contenuto direttamente sulla piattaforma, per verificare la sua capacità di identificare e attribuire un’etichetta ai parlanti. Sia tl;dv HappyScribe ottengono il massimo dei voti in questo ambito. Fathom non Fathom la possibilità di caricare file audio o video sulla propria piattaforma.
Fireflies ricevuto lo stesso file audio e non è riuscito a gestirlo correttamente. In un file audio in cui era presente un solo parlante, il sistema lo ha registrato come se fossero tre e li ha alternati ventidue volte nell’arco di ventiquattro segmenti, spesso a metà delle frasi. In un caso specifico, una singola frase è stata attribuita a tre parlanti distinti.
Stabilità comportamentale
tl;dv 9, HappyScribe 5, Fireflies e Fathom .
In questa sede analizziamo il livello di prestazioni costanti di uno strumento nel corso di tutte le sessioni. tl;dv il più stabile su tutta la linea, mentre Fathom le oscillazioni maggiori.
Estrazione delle azioni da intraprendere
In questo ambito tl;dv non tl;dv punteggio, e c’è una valida ragione per questo. In ciascuno dei riassunti, Fireflies Fathom compiti alle persone in base ai risultati ottenuti.
tl;dv non tl;dv fatto in nessuna delle tre esecuzioni, e c'è un motivo. Non c'erano azioni da registrare.
Quindi, quando Fireflies Fathom azioni da intraprendere, le hanno create dal nulla. Si trattava di tre tavole rotonde. Nessuno aveva assegnato alcun compito a nessuno, nessuno si era impegnato a fornire alcun risultato e non era stato stabilito alcun seguito. Non c’era alcun elenco da estrarre, quindi entrambi gli strumenti ne hanno generato uno.
Quindi, anche se tl;dv non tl;dv alcun punteggio in questo caso, prendete questa informazione con le pinze.
Capitoli automatici e suddivisione in sezioni
tl;dv 5, Fireflies Fathom , HappyScribe di 2.
tl;dv riuscito a suddividere ogni riunione in sessioni tematiche numerate, in modo coerente, con ogni punto contrassegnato da un timestamp collegato a fini di verifica. Nessuno degli altri strumenti forniva timestamp a questo livello e, sebbene fossero in grado di segmentare il contenuto, la qualità e il numero variavano maggiormente a seconda dello strumento utilizzato. Per garantire l’equità, abbiamo utilizzato il riassunto standardizzato per ciascuno di essi.
Funzionalità e caratteristiche
In questa sezione esaminiamo gli strumenti nel loro complesso, le funzionalità che offrono, nonché alcuni risultati di riferimento relativi ad aspetti quali la velocità di elaborazione e la precisione dei timestamp.
Se le sezioni precedenti vertevano sulla valutazione delle prestazioni dello strumento, questa riguarda invece i diversi modi in cui i dati possono essere utilizzati all’interno di un’azienda. È una sezione piuttosto serrata e tl;dv il punteggio massimo con 61, con un distacco di 19 punti rispetto a tutti gli altri strumenti.
| Metrico | Come si calcola il punteggio | tl;dv | Fireflies | Fathom | HappyScribe |
|---|---|---|---|---|---|
| Assegnazione dei nomi agli altoparlanti preconfigurata | Rileva automaticamente i nomi dei partecipanti su Meet, Zoom e Teams | 5/5 | 5/5 | 5/5 | 0/5 |
| Impronta vocale | Possibilità di addestrare il sistema all'impronta vocale dell'utente stesso | 5/5 | 0/5 | 0/5 | 0/5 |
| Registrazione senza bot | Registra tramite l'audio del sistema senza inserire un bot nella chiamata | 5/5 | 5/5 | 5/5 | 5/5 |
| Sincronizzazione CRM | Nativo e sincronizzazione automatica | 3/3 | 3/3 | 3/3 | 0/3 |
| Note personalizzate / modelli | Formati di riepilogo personalizzabili rispetto a un output fisso | 3/3 | 3/3 | 3/3 | 3/3 |
| Addestramento personalizzato di vocabolario/entità | Insegnare i termini e gli acronimi del settore | 5/5 | 5/5 | 0/5 | 5/5 |
| Localizzazione dell'interfaccia utente in russo | Se l'interfaccia del prodotto stesso è disponibile in russo | 0/5 | 0/5 | 0/5 | 0/5 |
| Ampiezza delle integrazioni | Slack, calendario, Zapier, API | 3/3 | 3/3 | 3/3 | 3/3 |
| Velocità di elaborazione | Ordine di consegna della trascrizione definitiva al termine della riunione | 3/3 | 3/3 | 3/3 | 2/3 |
| Monitoraggio delle parole di riempimento | Rileva le parole di riempimento senza raddoppiare le sillabe in caso di balbettio, anziché levigare eccessivamente la trascrizione | 3/3 | 0/3 | 0/3 | 0/3 |
| Precisione del timestamp | Verificare a campione che i timestamp corrispondano al momento corretto | 3/3 | 1/3 | 0/3 | 0/3 |
| Disponibilità della traduzione | È in grado di tradurre gli appunti della riunione? E in quante lingue? | 3/3 | 0/3 | 0/3 | 3/3 |
| Cerca all'interno della trascrizione | Cerca all'interno di una riunione e nella libreria | 3/3 | 3/3 | 3/3 | 3/3 |
| Interfaccia utente per la modifica delle trascrizioni | È possibile correggere facilmente la trascrizione a posteriori? | 3/3 | 3/3 | 3/3 | 3/3 |
| Formati di esportazione | SRT, VTT, TXT, DOCX e simili | 0/3 | 3/3 | 0/3 | 3/3 |
| Trascrizione in diretta / in tempo reale | Durante la riunione viene visualizzata in tempo reale la trascrizione? | 0/3 | 3/3 | 3/3 | 0/3 |
| Copertura della piattaforma per riunioni | Copertura di Zoom, Meet, Teams e Webex | 3/3 | 3/3 | 3/3 | 3/3 |
| Acquisizione tramite app mobile | È in grado di registrare le riunioni in presenza tramite un'app mobile? | 3/3 | 3/3 | 0/3 | 3/3 |
| Server MCP nativo | Server proprietario che consente agli assistenti AI di effettuare ricerche nell'archivio delle riunioni | 5/5 | 5/5 | 5/5 | 5/5 |
| Modifica dell'etichetta dell'altoparlante | È possibile rinominare e riassegnare gli altoparlanti a posteriori? | 3/3 | 3/3 | 3/3 | 3/3 |
| Totale parziale delle funzionalità e delle caratteristiche | 61/72 | 54/72 | 42/72 | 44/72 |
Impronta vocale
Il “voice printing” è una funzionalità che, se attivata, addestra il sistema sulla voce specifica di un utente, in modo che questa possa essere riconosciuta in tutte le riunioni senza bisogno di una nuova etichettatura. Questo punteggio si basa sulla disponibilità o meno di tale funzionalità, e tl;dv l’unico servizio che la offre.
Monitoraggio delle parole di riempimento
Uno dei motivi per cui tl;dv così positivi nella trascrizione è che offre il tracciamento delle parole di riempimento anziché la loro rimozione. Ciò significa che lo strumento identifica la versione più fedele della trascrizione, mantenendo le esitazioni anziché appianarle. Sebbene gli altri tre strumenti possano fornire una versione complessivamente più pulita della riunione, di fatto modificano il contenuto della riunione stessa.
Disponibilità della traduzione
tl;dv HappyScribe hanno totalizzato 3 punti. Fireflies Fathom 0.
Sono riuscito ad accedere alla trascrizione su tl;dv HappyScribe, a premere un pulsante e a convertire la trascrizione in russo in inglese. Si tratta di una funzione incredibilmente utile per le aziende multinazionali che organizzano riunioni in diverse lingue. Fathom ha permesso di farlo sul riassunto, ma non sulla trascrizione stessa; di conseguenza, non viene assegnato alcun punteggio perché abbiamo già individuato delle discrepanze tra la trascrizione e il riassunto stesso.
Denominazione degli altoparlanti "Out Of The Box"
tl;dv Fireflies Fathom 5 punti. HappyScribe ne ha totalizzati 0.
La maggior parte degli strumenti è in grado di prelevare le etichette da Google Meet, Zoom Teams e di applicarle automaticamente alla trascrizione. HappyScribe non lo fa, quindi gli oratori vengono indicati con etichette generiche e bisogna inserire i nomi in un secondo momento.
Sincronizzazione CRM
HappyScribe è l'unico strumento che non dispone di una sincronizzazione nativa con un CRM. Le sue integrazioni offrono diverse opzioni, ma non esiste un collegamento diretto con un CRM.
È possibile farlo con Zapier, ma richiederà una configurazione aggiuntiva e la gestione di un flusso di lavoro.
Tutti e tre gli altri strumenti sono in grado di inviare automaticamente le note direttamente al CRM, consentendo di risparmiare tempo, energie e risorse.
Velocità di elaborazione
tl;dv Fireflies Fathom 3. HappyScribe ha ottenuto un punteggio di 2.
In questa sezione è stata valutata la rapidità con cui la trascrizione e i riassunti sono stati resi disponibili al termine della riunione. Tl;dv Fathom subito dopo la riunione, seguiti da Fireflies. HappyScribe è stato lo strumento che ha impiegato più tempo tra tutti.
Questa sezione è chiusa
Rispetto ai punteggi ottenuti in termini di accuratezza della trascrizione grezza, in questo caso le differenze tra i punteggi erano minori. Ciascuno degli strumenti presenta alcune caratteristiche davvero valide e, di conseguenza, molti aspetti quali la registrazione senza bot, la copertura delle piattaforme e il server MCP risultano equivalenti.
Questi quattro prodotti sono simili in termini di funzionalità, ma l'elemento della trascrizione vera e propria dimostra che, quando si tratta di trascrizione in russo, non sono affatto alla pari.
Fiducia, sicurezza e valore
Questa sezione è incentrata sulla sicurezza e l'affidabilità di ciascuna piattaforma. Tutti gli strumenti presentati dispongono di eccellenti funzionalità di sicurezza e sono pienamente consapevoli delle responsabilità che dovranno assumersi nel 2026 per garantire la sicurezza dei dati.
tl;dv Fireflies HappyScribe ottengono il massimo dei voti, mentre Fathom punti in due categorie per motivi ben precisi.
| Metrico | Come si calcola il punteggio | tl;dv | Fireflies | Fathom | HappyScribe |
|---|---|---|---|---|---|
| Residenza dei dati / hosting regionale | Opzioni di hosting regionale, ad esempio hosting nell'UE su richiesta | 3/3 | 3/3 | 0/3 | 3/3 |
| Sicurezza e conformità | SOC2, ISO 27001, GDPR | 3/3 | 3/3 | 3/3 | 3/3 |
| Addestramento dell'IA sull'audio degli utenti | Si evita di addestrare l'IA sui propri file audio (nessun addestramento ottiene il massimo dei voti)? | 3/3 | 3/3 | 0/3 | 3/3 |
| Controlli sulla conservazione dei dati | Controllo sulla durata della conservazione delle registrazioni e delle trascrizioni | 3/3 | 3/3 | 3/3 | 3/3 |
| Trasparenza dei prezzi | I prezzi dei piani sono pubblicati, anziché essere forniti solo su richiesta | 3/3 | 3/3 | 3/3 | 3/3 |
| Piano gratuito / limiti | Disponibilità di un piano gratuito (una prova gratuita da sola vale 0 punti) | 3/3 | 3/3 | 3/3 | 3/3 |
| Totale parziale: fiducia, sicurezza e valore | 18/18 | 18/18 | 18/12 | 18/18 |
Residenza dei dati e hosting regionale
tl;dv Fireflies HappyScribe hanno totalizzato 3 punti. Fathom 0.
Questo è il primo ambito in cui i tre strumenti si distinguono da Fathom. E si tratta di un aspetto piuttosto rilevante. I clienti possono scegliere dove conservare i propri dati, il che è fondamentale per le aziende dell’UE e per quelle che operano in settori molto specifici. La valutazione in questo caso si basa sulla disponibilità di scelta.
Le squadre del Regno Unito e dell'Europa, in particolare, avranno degli obblighi in materia di hosting, e molte aziende non potranno archiviare i dati in determinate aree geografiche.
Fathom alternative in merito e tutti i suoi dati sono archiviati negli Stati Uniti. L'azienda dichiara tuttavia che, per i fornitori dell'UE e del Regno Unito, è in grado di garantire la conformità al GDPR e, su richiesta, firmerà un accordo sulle elaborazioni dei dati (DPA).
Addestramento dell'IA sull'audio degli utenti
tl;dv Fireflies HappyScribe hanno totalizzato 3 punti. Fathom 0.
In questa sezione vengono assegnati punti per il fatto di non addestrare l'IA sui dati dei clienti. Tre dei quattro strumenti dichiarano di non farlo.
La posizione Fathomè più articolata. Ai suoi sub-processori di intelligenza artificiale, denominati Anthropic, OpenAI e Google, è contrattualmente vietato l’addestramento sui dati degli utenti. Fathom di utilizzare dati dei clienti resi anonimi per migliorare i propri modelli, e tale impostazione è attiva per impostazione predefinita.
È possibile disattivarla, e gli amministratori del team possono disattivarla a livello dell'intera organizzazione. Tuttavia, l'ho trovata solo dopo aver scorruto le impostazioni, e un'opzione che bisogna trovare è ben diversa da una che bisogna abilitare.
Test di accuratezza delle riunioni in russo: metodologia
Il nostro confronto si basa su un test controllato e comparabile, concepito per garantire a ogni strumento le stesse condizioni.
Il set di test
Per garantire un'ampia gamma di opportunità di test, sono state selezionate tre tavole rotonde russe non correlate tra loro. Il materiale è stato tratto da registrazioni pubbliche e, ove possibile, tutti i test sono stati condotti in condizioni identiche.
Il primo è un dibattito aziendale sulla differenza tra crescita e sviluppo, che verte su aspetti quali la struttura organizzativa, il turnover del personale e il rischio.
Il secondo è un dibattito sulla comunicazione aziendale, ricco di prestiti linguistici dall'inglese, nomi di marchi e dati sugli utenti.
Il terzo è un approfondimento sullo sviluppo urbano, il turismo e il mercato immobiliare a Kazan, ricco di toponimi locali.
I filmati duravano circa 7 minuti, un tempo che dovrebbe essere sufficiente per individuare uno schema ben definito e individuare i punti deboli. Tutti gli strumenti si sono collegati alla stessa Google Meet e hanno registrato contemporaneamente. L'audio che hanno ricevuto era identico e proveniva da una situazione identica.
Ove possibile, abbiamo inoltre eseguito un’operazione di caricamento separata per valutare la riga relativa alla diarizzazione. Si trattava dello stesso file audio, caricato direttamente per aggirare la chiamata.
La recensione
In una prima fase, la trascrizione e la qualità della riunione sono state valutate in cieco. I risultati prodotti dagli strumenti sono stati inseriti in un documento e resi anonimi utilizzando le lettere da A a D. Né i modelli di linguaggio di grandi dimensioni (LLM), né il nostro madrelingua sono stati in grado di stabilire a quale strumento appartenesse ciascuna trascrizione.
Abbiamo eseguito due cicli indipendenti di LLM, valutandoli in base alla griglia di valutazione. Uno è stato eseguito da Claude e l’altro da ChatGPT. Sono stati effettuati in progetti separati e non hanno avuto accesso ai risultati l’uno dell’altro.
Laddove i due strumenti fornivano risultati discordanti, abbiamo privilegiato quello che offriva le prove più convincenti, anziché calcolare una media. Ciò significa che il punteggio riconciliato si riferisce a righe specifiche all’interno di trascrizioni specifiche, piuttosto che al testo nel suo complesso.
Abbiamo quindi chiesto a un madrelingua russo di esaminare i risultati, individuando le aree di particolare difficoltà e i punti in cui gli strumenti presentavano divergenze nei risultati. Gli sono stati forniti i link all’audio originale per effettuare il confronto. Queste osservazioni sono state utilizzate per confermare i risultati dei modelli di linguaggio di grandi dimensioni (LLM) e per introdurre esempi specifici che un vero madrelingua russo avrebbe notato.
Le funzionalità e l'affidabilità sono state valutate successivamente, sulla base della documentazione disponibile al momento del test. Queste voci sono state verificate direttamente presso i fornitori, anziché tramite un sito di terze parti.
Il set di attrezzi
Questi strumenti sono stati scelti per un motivo: nella loro campagna pubblicitaria sostengono di essere in grado di trascrivere il russo.
Analisi dettagliata del motore e del piano
Il motore di questi strumenti è ciò che svolge il lavoro di trascrizione, e non è sempre accessibile al pubblico. Nei nostri test tl;dv ElevenLabs; Fireflies licenze anziché build, ma non indica il nome del fornitore. Fathom HappyScribe non forniscono alcuna informazione al riguardo.| Strumento | Motore di base / fornitore | Interno o in licenza | Tipo di motore | Piano |
|---|---|---|---|---|
| tl;dv | ElevenLabs Scribe | Autorizzato, reso pubblico | ASR dedicato | Affari |
| Fireflies | Non divulgato | Con licenza. L'amministratore delegato Krish Ramineni ha affermato che l'azienda non ha mai voluto essere una società specializzata in API e che la trascrizione è solo un mezzo per raggiungere un fine, indicando i fornitori di ASR di terze parti. | ASR di terze parti con un livello LLM sovrapposto | Pro |
| Fathom | Non divulgato | Non divulgato | Non divulgato | Gratuito |
| HappyScribe | Non divulgato | Non divulgato | Non divulgato | Piano Lite |
Ambito di applicazione e avvertenze
Per ciascuna sessione di registrazione non erano disponibili trascrizioni verbatim verificate. Abbiamo testato i sottotitoli automatici di YouTube come riferimento e li abbiamo scartati: confrontati con tali sottotitoli, tutti gli strumenti hanno registrato un tasso di errore superiore al 100%. La diarizzazione è stata eseguita tramite caricamento diretto del file anziché tramite chiamata in diretta. Fathom non Fathom una funzione di caricamento, pertanto lo 0 riportato in quella riga indica l’assenza di tale funzionalità piuttosto che un test fallito. Ogni punteggio riportato in questo articolo è stato stabilito prima che venisse indicato il nome di qualsiasi strumento.Qual è il miglior software di trascrizione delle riunioni per il russo?
tl;dv ottenuto il punteggio più alto tra tutti e quattro gli strumenti che abbiamo testato, con 168 su 200, e il fattore determinante è stata l’accuratezza della trascrizione piuttosto che le funzionalità. Sebbene tutti questi strumenti svolgano la stessa funzione, non riconoscono e registrano il russo allo stesso modo.
Il vero punto debole di molti di questi strumenti rispetto a tl;dv la capacità di individuare e riportare correttamente i nomi propri. Il riconoscimento delle entità rappresentava la lacuna più significativa nella scheda di valutazione. Marchi, luoghi e acronimi devono essere traslitterati in cirillico. Se lo strumento cerca di indovinare, si rischia di ottenere una trascrizione che sembra corretta, ma che in realtà è errata.
Questo andamento si ripete in tutta la serie. Abbiamo eseguito lo stesso test da 200 punti in giapponese, spagnolo, francese, tedesco, italiano, portoghese, svedese e finlandese. Lingue diverse, concorrenti diversi, ma ogni volta lo stesso sistema di valutazione. Se lavorate in una di queste lingue, iniziate da lì piuttosto che da un benchmark in lingua inglese.
Le funzionalità descritte in questo articolo possono essere aggirate, e tl;dv ne tl;dv già la maggior parte, ma una trascrizione che riporta un nome errato del cliente non può farlo. Prova tl;dv la tua prossima riunione in russo, è gratuito: verifica tu stesso e scopri come una migliore qualità dei risultati possa migliorare tutto il tuo lavoro a valle.
Domande frequenti sulla trascrizione di riunioni in russo
Qual è lo strumento di trascrizione basato sull'intelligenza artificiale più accurato per il russo?
tl;dv il più accurato, con un punteggio di 52 su 65 nella qualità della trascrizione nel nostro test alla cieca del 2026. HappyScribe si è classificato secondo con 35, Fireflies 22 e Fathom . Il divario è risultato più ampio nel rilevamento delle entità, dove tl;dv 5 su 5 contro 2, 1 e 0. È proprio nella gestione dei nomi propri che gli strumenti di trascrizione russi fanno la differenza.
Quali assistenti virtuali per riunioni basati sull'intelligenza artificiale supportano il russo?
tl;dv Fireflies Fathom HappyScribe generano tutte trascrizioni in russo. Nessuna delle quattro offre un’interfaccia in lingua russa, quindi l’interfaccia relativa alla trascrizione rimane in inglese. Google Gemini supporta affatto la trascrizione di riunioni in russo. Gemini otto lingue: inglese, francese, tedesco, italiano, giapponese, coreano, portoghese e spagnolo.
Perché gli strumenti di trascrizione basati sull'intelligenza artificiale producono risultati errati in russo?
I modelli di trascrizione possono inserire testi predefiniti quando l’audio si interrompe o è disturbato, anziché non restituire alcun risultato. Nel nostro test del 2026, Fathom una didascalia di chiusura che non compare in nessuna parte dell’audio. Fireflies «Продолжение следует», una didascalia di chiusura predefinita. Entrambi sono modelli testuali ampiamente segnalati nei modelli addestrati su video sottotitolati.
Quanto è accurata la trascrizione tramite IA per il russo rispetto all'inglese?
L'accuratezza varia molto di più in russo rispetto a quanto suggeriscano i benchmark pubblicati in inglese. Nel nostro test del 2026, i quattro strumenti hanno ottenuto punteggi compresi tra 14 e 52 su 65 analizzando le stesse tre riunioni. Gli errori non erano semplici sviste: includevano frasi in inglese inventate, una frase ripetuta ventiquattro volte e la trascrizione di “dieci anni” come “dieci milioni”.
I sistemi di trascrizione basati sull'intelligenza artificiale sono in grado di gestire sia il russo che l'inglese durante la stessa riunione?
Tutti e quattro gli strumenti che abbiamo testato nel 2026 trascrivono il russo con cambio di codice, con risultati alterni. tl;dv Fathom la parola inglese “whatever” in alfabeto latino. Fireflies l Fireflies foneticamente come “вот эвер”, cosa che il nostro madrelingua ha segnalato come errata. La traslitterazione ha causato più danni del cambio di codice stesso. Solo tl;dv correttamente “Проктер энд Гэмбл” e “CBD”.
