Специалисты компании Microsoft Research создали интерактивную систему обогащённой реальности, в которой пользователь может своими руками напрямую взаимодействовать с виртуальными предметами. Создаётся иллюзия проникновения рук в трёхмерный компьютерный мир.
Аппарат, называемый Holodesk, состоит из наклонного полупрозрачного и посеребрённого зеркала (на которое проецируется изображение), рабочего пространства под стеклом и чёрного фона за ним. Ещё здесь установлена камера Kinect снимающая руки или любые иные реальные предметы (листы бумаги, кубики), помещаемые в рабочую зону.
В режиме реального времени система строит компьютерную модель вторгшихся объектов в 3D, находит границы поверхностей и вычисляет скорость в тысячах точек. А затем эти модели аккуратно совмещаются с моделями виртуальных предметов с учётом законов физики (например, силы тяжести), запрета на проникновение предметов друг в друга и так далее.
Таким образом, пользователь получает возможность собственными руками перекидывать призрачные шарики, накрывать их реальной чашкой или перекатывать несуществующие мячики по настоящему листу бумаги.
