Приложения для перевода текста сделали жизнь многих людей проще, позволяя им общаться с жителями других стран и читать информацию на разных языках без необходимости их изучения. Но не секрет, что качество такого перевода зачастую оставляет желать лучшего. Поэтому компания «Яндекс» запустила в фирменном сервисе «Яндекс.Переводчик» гибридную систему перевода.

К статистическому переводчику была добавлена технология перевода на основе нейронной сети. Таким образом, перевод выполняется сразу двумя системами, а затем алгоритм на основе метода машинного обучения CatBoost сравнивает результаты и предлагает лучший.

Статистический переводчик переводит каждое слово и фразы по отдельности, поэтому в результате получается несвязанный текст. Нейросети же наоборот обрабатывают целые предложения. За счёт этого переведённый текст более точен и понятен.

Статистический переводчик так не умеет, но зато он хорошо запоминает и переводит редкие и сложные слова и фразы. Работая вместе, обе системы компенсируют недостатки друг друга.

Статистический перевод

Сотрудники «Яндекс» отмечают, что существует много способов обучить машину переводу с одного языка на другой. Например, можно дать ей словари, из которых она освоит правила. Также можно показать ей много параллельных текстов. Сравнивая их, машина научится находить соответствия — например, так она поймёт что слова «dog» и «собака» являются вероятными переводами друг друга. В основе такого подхода лежат не правила, а статистика, откуда и пошло название этого метода.

С момента запуска «Яндекс.Переводчик» использовал только статистическую систему. При переводе она разделяет предложения на отдельные части и для каждой подбирает все возможные переводы с указанием их вероятности. Затем система составляет из переведённых фрагментов разные варианты нового предложения. Пользователю выводится тот, который содержит переводы с высокими вероятностями и в котором фрагменты хорошо сочетаются друг с другом.

Нейросетевой перевод

Как и статистический переводчик, нейронная сеть анализирует массив параллельных текстов и учится находить в них закономерности. При этом процесс самого перевода устроен несколько по-другому. Нейросеть работает не со словами и фразами, а сразу с целыми предложениями. Она получает на вход предложение на одном языке, а на выходе выдаёт предложение на другом языке. Такой подход позволяет учесть смысловые связи внутри предложения. Нейросеть улавливает суть предложения даже в том случае, когда слова, которые её передают, находятся в разных частях предложения.

Гибридная система

У нейросетевого перевода также есть ряд недостатков. Если нейронная сеть не может по какой-то причине перевести то или иное предложение, то она попросту начнёт предлагать что-то максимально подходящее, пытаясь угадать правильный ответ. Также нейросетевой перевод не всегда хорошо справляется с переводом мало распространённых имён, топонимов и других редких слов.

Комбинация преимуществ статистического нейросетевого методов позволяет существенно повысить качество перевода.