OmniTouch

Одной из величайших революций в вычислительной технике стали сенсорные экраны. Они принесли новый способ взаимодействия с компьютером либо специальной указкой, либо пальцем. В 2011 году Microsoft пошла еще дальше, представив OmniTouch, проект, который сделал любую поверхность доступной для прикосновения. Основная идея состоит в том, чтобы закрепить камеру и проектор на плече, которые проецируют экран и считывают нажатия клавиш пользователя. Возможности безграничны, позволяя нам превратить руку, стену, лист или любую другую поверхность в сенсорный экран.

Как работает OmniTouch: распознавание нажатий клавиш

Самая важная часть проекта OmniTouch — отслеживание положения и глубины пальцев, чтобы знать, где пользователь касается. Для этого в прототипе использовалась чувствительная к глубине камера PrimeSense. В отличие от обычной камеры, измеряющей цвета, PrimeSense измеряет расстояние каждой точки изображения от объектива камеры. Точность 1 мм и минимальная дальность 20 см — основные преимущества перед камерой Kinect, которая изначально использовалась в проекте.

"

Чтобы найти пальцы, OmniTouch сначала создает карту глубины (A). Затем рассчитывается карта наклона>"

В (B) вы можете видеть, что карта переведена в цвета: красный означает, что глубина меньше в положительном направлении оси X или Y (вверх или вправо), а синий означает, что есть меньше глубины в отрицательном направлении оси X или Y (вниз или влево).Фиолетовый означает, что глубина практически не меняется.

На этой карте программа ищет вертикальные цилиндрические участки, поверхность, которая приближается к камере, затем остается и, наконец, удаляется. Какой был палец, если провести им с одной стороны на другую, вау. На цветовой карте найдите красный участок, затем фиолетовый участок, затем синий участок, все на одной вертикальной оси.

Возможные кандидаты фильтруются по высоте, чтобы отфильтровать все, что не может быть пальцем (например, цилиндр высотой 2 миллиметра не может быть распознан как палец, поэтому он отбрасывается). На рисунке (C) вы можете видеть все идентифицированные секции пальцев.

После этого все вертикальные секции соединяются вместе, образуя палец (рис. D). Пальцы, которые могут быть слишком короткими, отбрасываются, и предполагается, что, поскольку пользователь правша, самая левая часть пальца является кончиком.И вуаля, теперь мы знаем, куда указывает пользователь .

Теперь, как мы узнаем, касается ли палец поверхности? Они называют это заливкой заливкой, но это будет более знакомо, если я скажу вам, что это похоже на заполнение краской из ведра Paint.

Техника проста: найдите среднюю точку пальца и начните закрашивать пиксели вверх, влево и вправо с допуском 13 миллиметров. То есть они заполняют пиксель только в том случае, если разница между его глубиной и глубиной середины пальца меньше 13 миллиметров.

Таким образом, если ваш палец ничего не касается, будут заполнены только пиксели, соответствующие вашему пальцу. Если вы прикоснетесь к руке, наполнится гораздо больше. На изображении видно, что происходит, если палец находится в воздухе (слева) или касается руки (справа). Когда будет пройден определенный запас заполненных пикселей, программное обеспечение отправит касание или щелчок в соответствующем месте.

Как работает OmniTouch: проецирование изображения

Хотя распознавание пальцев является центральной частью, мы не можем забывать, что OmniTouch также должен проецировать изображение на любую поверхность. Для этого также используется глубинная камера. Все поверхности на изображении обнаруживаются с помощью алгоритма связанных компонентов, который очень эффективно обнаруживает взаимосвязанные точки на изображении.

После того, как поверхности размером меньше руки были отброшены, мы приступаем к фиксации центра или точки отсчета для проецирования изображения. Эта точка помогает определить ориентацию поверхности и, следовательно, позволяет создать изображение, которое не выглядит искаженным.

Следующая трудность возникает, когда дело доходит до определения размера поверхности.Поскольку края поверхностей не могут быть распознаны достаточно хорошо, OmniTouch использует среднее значение и стандартное отклонение точек компонента, чтобы классифицировать их по пяти точкам: рука, рука, ноутбук, стена и стол. Каждый из них имеет определенный размер и центр изображения.

Программное обеспечение создает проецируемое изображение со всеми данными, искажая его так, чтобы оно правильно отображалось на поверхности. Затем он передает изображение на проектор, который будет отображать изображение на любой поверхности.

Точная технология со множеством возможностей

Тесты, используемые для измерения точности OmniTouch.

При тестировании технология OmniTouch оказалась очень точной. Точность распознавания нажатия 96,5%, очень хороший показатель, тем более, что это прототип.Что касается размера интерфейса, с кнопками диаметром 2 сантиметра будет распознано 95% нажатий клавиш.

Этот максимальный размер необходим для интерфейса, проецируемого в руке. На других более удаленных поверхностях, таких как стол или стена, его можно уменьшить до 15 миллиметров, что примерно соответствует размеру, рекомендуемому для кнопки на обычном сенсорном экране.

"

Что касается возможностей, то они безграничны. В прототипе была создана кафедра для рисования: на стене вы рисовали, а в левой руке выбирали цвета. Также используется как хайлайтер>"

Но самое интересное то, что они упоминают в конце документа: возможности, которые открывает OmniTouch, когда мы перестаем рассматривать двухмерные поверхности, используя формы тела, чтобы изменить то, как мы взаимодействуем с компьютером.

"

OmniTouch — действительно увлекательный проект, как по своей технике, так и по своим возможностям. О нем мы еще поговорим в ближайшее время в специальном выпуске Будущее по версии Microsoft>."

В Xataka Windows | Будущее по версии Microsoft Дополнительная информация | OmniTouch