Microsoft Research создает систему, способную автоматически генерировать «умные» подписи

Наверняка вы сталкивались с подписью, которая сбивает с толку, неверна или мало говорит об изображении, к которому она относится; и даже возможно, что, если вы посвятите себя публикации своих собственных статей, вы сочтете наиболее утомительным заполнение этого раздела. Что ж, люди из Редмонда создали инструмент, призванный облегчить вам жизнь.

Работа, опубликованная Microsoft Research, которая описывает себя как «систему генерации титров», способную имитировать повествовательные характеристики человеческого языка, то есть технологию, которая может описывать скриншоты так, как будто они про одного из нас, с соответствующим ему контекстом.Над чем уже некоторое время работают такие компании, как Facebook, Microsoft и Google, но на этот раз результат превосходит все ожидания.

Из чего состоит

Он отлично провел время

Таким образом, система имеет возможность даже из нескольких изображений рассказать целую историю, описывая ее и рассказывая как бы это была книга. Утилита, которая, по мнению экспертов, может в конечном итоге стать функцией, обеспечивающей более человечный подход к определенным приложениям, приложениям распознавания голоса, автоматической генерации описаний в других областях и многому другому.

И дело в том, что инструмент не ограничивается кратким изложением того, что он «видит», а скорее предоставляет более широкое контекст ситуации, которая отражена на изображении, добиваясь «повествовательного контекста и уникального стиля повествования», пояснил Франк Ферраро, один из авторов этой работы.Чтобы поставить себя в ситуацию, он дает нам четкий пример

Его мать гордилась им

Итак, мы предлагаем следующий случай: «Представим, что у нас есть фотоальбом друзей, отметивших день рождения в Паб. На некоторых из первых изображений люди заказывают пиво и пьют его, а на последних — кто-то спящий на диване», — комментирует он.

Обычная система «может просто указать на что-то вроде человека, лежащего на диване, в то время как наша система может включать в себя, что он, вероятно, находится в такой ситуации, потому что он пьян после того, как выпил немного». Дополнение, дающее понимание и определенный эмоциональный заряд, который также отражается в изображениях и подписях к фотографиям, включенных в эту статью.

Через | MIT Technology Review

В Xataka Windows | Microsoft запускает приложение, которое определяет породу вашей собаки