Эволюция Kinect и реальная важность Microsoft Research
Оглавление:
То, что Kinect важно для Microsoft, почти трюизм. Устройство захвата Redmond выходит далеко за рамки простого метода управления их игровой консолью и стало важным элементом их стратегии и эталоном для многих их продуктов. Но это также и осязаемый образец того, что может родиться из объединения отдела компании с лабораторией идей Microsoft Research.
Первый Kinect уже был примером этого. Три года спустя именно этот союз позволил устройству развиться до неожиданных пределов, чтобы сопровождать выпуск Xbox One.Во всех своих разделах Kinect 2.0 представляет собой значительное улучшение по сравнению с его предшественником, и на этой неделе Microsoft воспользовалась возможностью объяснить, как он был частью процесса разработки гаджета. который находится на пути к тому, чтобы стать фундаментальной частью взаимодействия между людьми и машинами.
Kinect 1.0
Когда Microsoft представила Project Natal на E3 в июне 2009 года, многие увидели в нем простой ответ Редмонда на несомненный успех, который Nintendo пожинала с Wii и ее системой управления. Но под этим проектом с названием бразильского города скрывался Kinect, устройство, которое оказалось бесспорным бестселлером и со временем стало намного больше, чем ожидалось.
Хотя технология, лежащая в основе первого Kinect, родилась из программных разработок студии Rare и технологии захвата изображений израильской компании PrimeSense, это будет сочетание команда Xbox с исследованиями Microsoft Research, которые позволяют выйти на рынок
Устройство в форме стержня использовало инфракрасный проектор и камеру, которая сканировала сцену и отправляла информацию на микрочип, специально подготовленный для захвата движения объектов и людей в трех измерениях. К ним присоединился ряд микрофонов, способных распознавать голос пользователя. Все эти элементы вместе позволили 3D-захват движения наряду с распознаванием лиц, жестов и голоса.
Для такой задачи характеристики Kinect не были чем-то особенным. Камера имела разрешение VGA и по умолчанию работала с разрешением 640x480, хотя могла работать и с разрешением 1280x1024 пикселей за счет более низкой частоты обновления. Включенный микрочип выполнял только часть работы по обработке информации, оставляя значительную часть задачи самой консоли.
Один из ключей ко всей системе находился в программном обеспечении, созданном Microsoft для интерпретации всей информации, собранной датчиками Kinect.Именно здесь Microsoft Research играла и продолжает играть важную роль, исследуя самые разнообразные варианты использования Kinect и сотрудничая с SDK, который Microsoft предоставляет в Интернете с 2011 года. чтобы любой разработчик интегрировал его в свои продукты или услуги.
Kinect 2.0
Большая разница между новым Kinect и его предшественником заключается в новой основной камере. Устройство захвата движения второго поколения включает в себя времяпролетную (TOF) камеру с высоким разрешением, которая позволяет будущему Xbox One Kinect захватывать больше деталей с помощью высокая точность и более высокое разрешение. Новый режим глубины, обеспечиваемый этой камерой TOF, позволяет воспроизводить сцену с точностью, в три раза большей, чем у первого Kinect.
Это не единственное преимущество использования этого типа камеры.С его помощью также достигается увеличенное на 60% поле зрения, что позволяет регистрировать большее пространство и позволяет регистрировать больше людей одновременно и на более коротком расстоянии от устройства. С новой консолью на сцене могут появляться до 6 человек, распознавая и различая все их движения. Это значительный шаг вперед по сравнению со своим предшественником, который мог записывать движение только 2..
Второе большое изменение в новом поколении Kinect связано с новым инфракрасным датчиком, которому удается распознавать объекты и людей. в условиях очень низкой освещенности. Датчик теперь настолько мощный, что может идентифицировать предметы в абсолютно темной комнате. Точность такова, что он может распознавать людей и регистрировать тела даже без света, видимого человеческому глазу. При слабом освещении он распознает положение руки на расстоянии до четырех метров, с точностью различая каждый палец.
Kinect 2.0 различает полный скелет пользователя, ориентацию его конечностей, мышц тела и даже биение его сердца.
Комбинация новых элементов позволяет фиксировать не только силуэт пользователя, но и различать его полный скелет, ориентацию его конечностей, мышцы тела с силой и распределением веса. воздействующее на них и даже сердцебиение. Распознавание лиц также значительно улучшено, обнаруживая даже мельчайшие детали и жесты и обеспечивая более точную идентификацию. Чтобы получить представление о том, что все это значит, просто взгляните на следующее видео.
Все эти новые технологии также имеют усовершенствование процессора Kinect, которое позволяет ему справляться с огромным объемом информации, которую получают все новые сенсоры. Устройство собирает до 2 гигабит данных в секунду для чтения средыВся эта информация должна быть обработана и интерпретирована быстро, и для этого необходимо очевидное улучшение технических характеристик машины.
Но замены компонентов недостаточно. Мощный сканер, которым стал Kinect, требует программного обеспечения, способного интерпретировать все, что он видит, и для этого необходимо было провести важную эволюцию кода, который его запускает. Именно здесь опыт и знания Microsoft Research стали как никогда важны, помогая команде Xbox в случае возникновения проблем и своевременно предоставляя правильные решения. быстро и эффективно. Таким образом, Kinect 2.0 стал продуктом сотрудничества, история которого демонстрирует потенциал, который Microsoft скрывает в своей лаборатории идей.
Процесс эволюции
Эволюция Kinect — это история о том, как команда инженеров пыталась внедрить камеру TOF в Xbox One.Эти типы камер излучают световые сигналы, которые отражаются от объектов и собираются обратно, измеряя время, необходимое для прохождения расстояния. Чтобы они правильно работали, различая отражения от предметов в комнате и от их окружения, необходима точность до 1/10 миллиарда секунд. Такой уровень точности — единственный способ получить достаточно информации для адекватного вычисления форм и контуров объектов.
Звучит сложно, и проблема в том, что достичь этих уровней с потребительским продуктом так же сложно, как кажется. В процессе разработки нового Kinect пришлось столкнуться со всевозможными проблемами, которые нужно было решить за ограниченное время. Kinect 2.0 должен быть готов к выпуску Xbox One, запланированному на конец 2013 года.
Именно в этих обстоятельствах у Microsoft есть туз в рукаве: Microsoft Research, ваш аналитический центрКоманда Kinect использовала обширные знания и технический опыт членов Microsoft Research для решения различных проблем, возникающих с новой технологией, интегрированной в устройство. Именно здесь годы инвестиций в исследования и разработки начали приносить плоды благодаря сотрудничеству между различными отделами компании.
Задача была не из легких. Отличить объекты переднего плана от фона и свести к минимуму размытие камеры — непростая задача. Во-первых, нужно было точно измерять небольшие объекты во всевозможных сценариях и при любых условиях освещения. Работать нужно было до тех пор, пока не удавалось дифференцировать пальцы рук, не допуская смешения их с окружающей средой. В результате этой работы новый Kinect способен обнаруживать объекты размером всего 2,5 сантиметра, по сравнению с 7,5 сантиметрами его предшественника. Проблема размытия потребовала дополнительной работы и оптимизации программного обеспечения, но со временем инженеры Microsoft смогли уменьшить размытие движения с 65 миллисекунд на оригинальном Kinect до 14 миллисекунд на его преемнике.
Все эти задачи требуют обработки огромного количества информации. Данные, захваченные камерами Kinect, попиксельны, что означает, что каждый из 220 000 пикселей, поддерживаемых датчиком Kinect, собирает данные независимоК этому мы должны добавить гораздо больше информации, собираемой остальными датчиками. Сложный вопрос заключается в том, чтобы идентифицировать и интерпретировать всю эту информацию, разделяя элементы и глубину их обнаружения, а также устраняя шумы на изображении.
При использовании Kinect Xbox One необходимо обрабатывать 6,5 миллионов пикселей в секунду
"Xbox One должен обрабатывать 6,5 миллионов пикселей в секунду, и только небольшая часть вычислительной мощности консоли может быть выделена для задачи интерпретации информации, поскольку большая часть мощности должна быть зарезервирована для игр, скелетных отслеживание или распознавание лица или звука. На пиксель требовалось очень мало вычислений, требующих очистки>Без неоценимой помощи Microsoft Research команда Kinect никогда не достигла бы своей цели вовремя"
Эффективная важность Microsoft Research
Совместная работа команды Kinect и сотрудников Microsoft Research не была чисто консультативной. Исследователи Microsoft взяли на себя большую часть работы и создали целую инфраструктуру и программное обеспечение для решения проблем, связанных с эволюцией устройства. Знания двух команд в своих областях позволили продвинуться быстрее, чем по отдельности.
Ключевым моментом была скорость, с которой они интегрировались, и способность предоставлять решения за короткий период времени. Но вся эта работа не ограничивается выводом продукта на продажу. Дополнительным преимуществом является то, что достижения, сделанные инженерами из Редмонда, доступны разработчикам, что позволяет работать с большим количеством режимов просмотра и гораздо более чистыми данными.
Kinect раскрывает весь потенциал, который Microsoft скрывает как компания и который раскрывается, когда ее отделы работают интегрированно.Несколько исследователей Microsoft Research принимали активное участие в разработке Kinect 2.0, работая над проектом, который окажет непосредственное влияние на рынок. Для тех из нас, кто требовал более широкого участия Microsoft Research в продуктах Redmond, это хорошая новость.
Kinect также является реальной демонстрацией того, что Microsoft Research — это гораздо больше, чем лаборатория идей, это фундаментальный капитал для будущего Microsoft .
Через | Официальный блог Microsoft | TechCrunch
