Как работает переводчик Skype

Научная фантастика полна упоминаний о технологически продвинутых устройствах, работа которых, перефразируя мифическое выражение, неотличима от магии. Исходя из творческого мышления их авторов, трудно представить, когда такие изобретения могут оказаться в наших руках, и в конечном итоге мы соглашаемся с тем, что их существование не станет частью нашего жизненного цикла. Но время от времени один из них преждевременно пробирается в нашу жизнь. Это случай перевода в реальном времени, который Microsoft и Skype собираются сделать возможным

"Задача совсем не простая.Это включает в себя возможности Skype для видеоконференций, обширную сеть облачных серверов Microsoft Azure, технологические инновации Microsoft Research и последние достижения в различных областях, таких как статистика и машинное обучение. Все это поставлено к вашим услугам, чтобы, как только вы произносите предложение на своем языке, система распознавала то, что вы говорите, переводила его и передавала вашему собеседнику на другом языке. Как это возможно?"

Технология, которая делает это возможным

Skype Translator, название, под которым известна новая функциональность, не мелькает даже через год . Skype Translator — это результат десятилетий исследований в области распознавания речи, машинного перевода и методов машинного обучения. Во всех этих областях лежит работа системы, которая была бы невозможна без последних достижений в этой области.

Skype Translator — результат десятилетий исследований в области распознавания речи, машинного перевода и методов машинного обучения.

Начиная с Распознавание речи, технологии, которая в течение некоторого времени находилась в стадии изучения, но на принятие которой всегда влияло большое количество ошибок и чрезмерной чувствительности существующих систем. Секунды сомнения, небольших вариаций акцента или минимального шума было достаточно, чтобы сбить компьютер с толку и заставить его понять, что он хочет. Так было до тех пор, пока не взорвалась разработка методов «глубокого обучения» и создание искусственных нейронных сетей, о которых Microsoft Research кое-что знает. Благодаря им удалось значительно снизить количество ошибок и повысить надежность и надежность распознавания речи, что является необходимым первым шагом для работы Skype Translator.

машинный перевод — еще одна очевидная опора, на которой держится Skype Translator. Здесь Microsoft снова использует собственную технологию и механизм перевода Bing для перевода текста с одного языка на другой.Его система использует комбинацию методов распознавания синтаксиса и статистических моделей для уточнения результата. Кроме того, по этому поводу движок был специально обучен распознавать тип языка, который встречается в устных разговорах, далекий от правильности и аккуратности, которые обычно предполагаются при письме. Таким образом, система Skype Translator сочетает в себе обширную базу языковых знаний переводчика Bing вместе с обширным набором слов и фраз, обычно используемых в разговорной речи.

Но речь и языки — сложная местность. Они постоянно меняются, бывают разных вкусов и разновидностей, у каждого человека свой особый стиль и т. д. Skype Translator должен идти в ногу со всем этим, требуя постоянного обучения и оптимизации как распознавания речи, так и машинного перевода. Для этого система была построена на надежной платформе «машинного обучения», ветви искусственного интеллекта, целью которой является разработка методов, позволяющих машинам и алгоритмам обучаться путем обучения с выборочными данными.Использование этих методов, распространенных в области статистики, позволяет улучшать сервис по мере его использования, используя данные, сгенерированные при его использовании, для дальнейшего улучшения распознавания речи и автоматического перевода.

Некоторые из этих тестовых данных генерируются автоматически из самых разных источников, включая социальные сети, такие как Facebook, переведенные веб-страницы, видео с субтитрами или даже разговоры, созданные для этой цели, расшифрованные и переведенные вручную . Но другая часть данных поступает из реальных разговоров, проведенных через сервис. Это важно, потому что, поскольку Microsoft уведомляет вас о каждом звонке, вы должны знать, что Skype Translator может записывать разговоры, сохраняя их анонимность, чтобы впоследствии их можно было проанализировать с помощью своих алгоритмов и внедрили в процесс обучения своих статистических моделей.

Skype Translator может работать должным образом только в том случае, если он может обучаться в процессе, основанном на его использовании в реальных разговорах с людьми

"

Система не могла бы функционировать без этого процесса обучения. Когда люди говорят, мы делаем паузы и повторяем что-то, делаем ошибки и меняем свое мышление по ходу дела, произнося ах, эм, эмм>только изучение фактического использования может сделать его лучше "

Переход с одного разговорного языка на другой за несколько секунд

При поддержке всех этих достижений, ключ заключается в том, что Skype Translator может выполнять весь процесс распознавания и перевода быстро и прозрачно для пользователя Каждый раз, когда мы говорим, система должна распознавать то, что мы говорим, переводить это на язык получателя и сообщать ему таким образом, чтобы оставаться верным тому, что мы изначально пытались сообщить.Чем меньше мы замечаем промежуточные шаги, тем лучше.

Как только система обнаруживает, что мы говорим, она начинает записывать то, что мы говорим, и запускает процесс распознавания речи Это не о том, чтобы не только распознавать каждое слово, которое мы произносим, ​​но и устранять все лишнее, удаляя бессмысленные выражения и шумы, выявляя членение текста на предложения, с включением знаков препинания и заглавных букв, и снабжая его контекстом это помогает вашей интерпретации. Если немного подумать, то понимаешь, как сложно все это определить по разговорному языку.

Skype Translator необходимо, чтобы распознавание речи было максимально точным, потому что далее следует подготовка собранной информации для сравнения ее с улучшаемыми статистическими моделями с помощью системы «машинного обучения».Здесь процесс состоит в поиске сходства между тем, что система поняла, что мы говорили, и словами и контекстами, содержащимися в моделях, для последующего применения ранее изученных преобразований, которые преобразуют звук в текст и переводят его на иностранный язык.

На последнем этапе Skype подготовил пару ботов с женским и мужским голосом, которые выступают в качестве переводчиков во время звонка Как только пользователь выберет один из них, он будет отвечать за передачу нашего переведенного сообщения получателю, так что не только письменные транскрипции и переводы появятся на экране, но и он сможет услышать их вслух, как если бы это был третий человек. посредничество между нами. Эти боты способны быстро передавать сообщение, так что тот, кто слушает по другую сторону экрана, получает сообщение через несколько секунд после того, как мы его произнесли.

Тестовая программа как отправная точка

Именно присутствие ботов в качестве сторонних спикеров в разговоре — одна из деталей, которую еще предстоит отшлифовать. Microsoft признает, что людям, привыкшим говорить через переводчика, легко адаптироваться к ним, но для других требуется период обучения. И дело в том, что Microsoft и Skype могут быть полны решимости создать лучший из существующих способов перевода в реальном времени, но для этого им нужно, чтобы мы учились и сами, и машиныПредварительный просмотр Skype Translator — это еще один шаг в этом процессе.

Тестовая программа была запущена в середине декабря, представляя разговорный перевод между двумя языками: английским и испанским, а также письменный перевод более чем на 40Для доступа к ней необходимо приглашение, которое мы можем запросить, зарегистрировавшись на сайте программы. Если нас это устроит, мы можем попробовать Skype Translator из приложений Skype для Windows 8.1 или Windows 10 Technical Preview. В противном случае нам придется ждать, пока услуга будет официально расширена и обнародована.

"

Как бы то ни было, Skype Translator стартовал как раз в тот момент, когда мы собирались попрощаться с 2014 годом. Прежде чем закончить, остановитесь на секунду и подумайте о годе, который вы только что прочитали: две тысячи четырнадцать>."

Через | Блоги Skype I, II