Как работает голосовой перевод в реальном времени

Ещё десять лет назад «перевод в реальном времени» означал в лучшем случае переводчика-синхрониста в наушниках. Сегодня то же самое умеет делать программа — и звучит это не как робот, а как ваш собственный голос на другом языке. Разберёмся, из чего это всё технически состоит.

Из чего состоит система голосового перевода

Под капотом — три последовательных этапа. Сначала распознавание речи (ASR) превращает звук в текст на исходном языке. Затем машинный перевод (MT) переводит этот текст на целевой язык. И наконец синтез речи (TTS) озвучивает переведённый текст — либо стандартным голосом, либо, как в Loquora, голосом, клонированным по образцу говорящего. Каждый этап раньше выполнялся отдельно и с задержкой в секунды; современные системы делают это потоково, кусками по несколько слов, а не дожидаясь конца фразы.

Почему задержка — главная проблема

Разговор перестаёт ощущаться живым, если пауза между репликой и переводом больше пары секунд — собеседники начинают говорить друг на друга или неловко ждать. Поэтому вся инженерная сложность голосового перевода — не в самом переводе (текстовый перевод давно решён достаточно хорошо), а в том, чтобы распознавание, перевод и озвучку прогнать параллельно и потоково, а не последовательно. У Loquora это в среднем около секунды — достаточно, чтобы разговор оставался естественным.

Роль ИИ в сохранении интонации и голоса

Отдельная задача — не потерять человека за переводом. Голосовая модель, обученная на короткой записи (около минуты речи), умеет переносить тембр, ритм и интонацию оригинала на синтезированную речь на другом языке. Это не запись фраз заранее — это генерация речи в реальном времени, максимально похожая на то, как звучал бы этот же человек, если бы говорил на целевом языке.

Какие языковые пары сложнее других

Не все языки одинаково просты для машинного перевода. Тональные языки (китайский, вьетнамский), языки с сильно отличающимся порядком слов (японский, корейский) или языки с богатой грамматикой рода и падежей требуют больше контекста для точного перевода — система должна «дождаться» больше слов, прежде чем перевод станет однозначным, что может немного увеличивать задержку на таких парах.

Где эта технология уже применяется

Голосовой перевод в реальном времени сегодня закрывает три основных сценария: рабочие созвоны без переводчика, видеовстречи с зарубежными командами и партнёрами, и личное общение с людьми, говорящими на другом языке. О каждом из них — в отдельных материалах в этом блоге.