CastAR: очки дополненной и виртуальной реальности “три в одном” – THG.RU

Обзор очков CastAR | Проекция дополненной реальности: счастливый случай?

Луи Пастер однажды сказал: “Удача благоприятствует лишь подготовленному уму”. Эта цитата особенно актуальна для истории о том, как получил своё развитие проект очков спроецированной дополненной реальности CastAR (castAR Projected Augmented Reality) от Technical Illusions. Одна из основателей проекта Джери Эллсфорт (Jeri Ellsworth) – взломщик “железа”, разработчик-самоучка, занимающийся созданием чипов, а также эксперт по пинбол-машинам. Она была одним из первых сотрудников лаборатории Valve Software, где работала над некоторыми смелыми проектами компании, включая то, что впоследствии превратилось в Steam-контроллер.

В мае 2012 года, экспериментируя с технологией виртуальной реальности на базе расположенного рядом с глазами экрана, Джери случайно расположила оптический компонент в обратном направлении, и картинка спроецировалась на окружающие объекты. В то же время по стечению обстоятельств в лаборатории находился кусок светоотражающего материала (того же самого, что используется в дорожных знаках, чтобы они отражали ночью свет фар), на который и спроецировалось изображение. Когда Джери увидела, что вышло в итоге, она продолжила эксперимент и поняла, что проекция контента дополненной реальности (Augmented Reality – AR) во вне, а не не перед глазами, позволяет решить множество проблем, имеющих место в традиционных концепциях виртуальной и дополненной реальности. И хотя само открытие можно считать случайным, сделал его человек, который был способен оценить потенциал такого подхода – человек с “подготовленным умом”.

Далее имела место уже другая цепь случайностей, благодаря которым открытие Джери превратилось в продукт, который вы сможете приобрести в 2015 году. Джери продолжила экспериментировать с проекцией дополненной реальности в Valve и собрала серию прототипов. Одним из первых прототипов был громоздкое, абсолютно неудобное в использовании обмундирование с соответствующим названием Headcrab.

Прототип Headcrab от Valve (изображение предоставлено Technical Illusions)

Для помощи в создании ПО Джери завербовала пинбольного энтузиаста Рика Джонсона (Rick Johnson), ранее работавшего в Raven Software, Gearbox, а также являющегося одним из трёх людей, которые запустили Linux-междусобойчик в Valve (что в конечном итоге привело к появлению SteamOS). В течение последующих шести месяцев они вместе продолжили испытывать прототипы, делая их более компактными и удобными в использовании. Но в результате удивительного поворота событий в феврале 2013 года Джери и Рик остались без работы.

Valve избавилась от них, наряду с рядом других сотрудников своей аппаратной лаборатории. И хотя причина официально никогда не озвучивалась (Джери и Рик говорят, что они до сих пор не знают точно, почему это произошло), можно предположить, что их видение очков дополненной реальности попросту не вписывалось в планы Valve, которые, как можно судить в свете последних анонсов, в большей мере относятся к виртуальной реальности.

Хотя Джери и Рик более не работали в Valve, они продолжали совершенствовать свои очки дополненной реальности. Генеральный директор Valve Гейб Ньювелл и юристы компании разрешили им забрать технологию с собой.

Прототип CastAR HD

Так продолжалось до состоявшейся в мае 2013 выставки Bay Area Maker Faire, на которой Джери и Рик явили миру свою компанию Technical Illusions и её детище – CastAR. После показа концепта на различных выставках и мероприятиях, подогревая интерес к своему проекту, в октябре 2013 они запустили проект на площадке Kickstarter и, в конечном итоге, привлекли $1,05 млн – в два с лишним раза больше, чем планировали первоначально ($400 000). Основатели Technical Illusions активно привлекали инвесторов и учитывали их пожелания, а некоторые из них впоследствии нашли воплощение в CastAR.

Обзор очков CastAR | Обзор прототипа CastAR HD

Хотя Technical Illusions не имела собственного стенда на CES 2014, компания организовала частные встречи, чтобы показать новый прототип HD-очков. Прототип, который был доделан всего за четыре дня до выставки, являлся ещё весьма “сырым” инженерным образцом, смачно сдобренным каплями клея. В нём отсутствовали многие функции, о которых было заявлено в ходе кампании на Kickstarter, таких как определение источников звука и отслеживание положения гироскопа.

Во время своего пребывания на CES 2014 мы смогли встретиться с Джери и Риком, попробовать надеть HD-очки и даже задать основателям Technical Illusion несколько вопросов о технологии, с которой мы впервые имели дело.

Мы даже смогли проследить первый этап миниатюризации электроники в CastAR – от громоздкого блока управления к небольшой печатной плате с двумя чипами.

Оригинальный блок управления CastAR

Следующий шаг – дальнейшее уменьшение образца, прежде чем компания представит свои первые 70-80 изделий для разработчиков. Затем Technical Illusions планирует провести ещё одну “оптимизацию” очков перед их отправкой на Kickstarter в 2014 году, а в 2015 году представить уже коммерческие изделия.

Новая двухчиповая плата управления CastAR

Теперь вы знаете, как эволюционировали очки CastAR в процессе разработки, но мы до сих пор не объяснили, как они работают и чем отличаются от других очков дополненной реальности, таких как Meta Pro и Google Glass. Трудно описать словами, на что похоже использование CastAR. Тем не менее, мы, по крайней мере, попытаемся описать принцип работы данных очков. Единственный способ по-настоящему испытать CastAR – опробовать технологию на себе.

Обзор очков CastAR | Как работает CastAR

Принцип работы CastAR заключается в использовании микропроекторов высокого разрешения, которые выводят изображение перед вами, а не направляют его на сетчатку глаза. Этим и отличается CastAR от других технологий дополненной реальности, с которыми мы ранее сталкивались.

Контент проецируется на светоотражающий материал, способный возвращать свет обратно к вашим глазам. Вы видите то, что ваш мозг воспринимает в пространстве, а не информацию на экране, который находится близко к вашим глазам.

Следовательно, вы с меньшей вероятностью будете напрягать глаза, что позволит вам использовать очки на протяжении более длительного периода времени. А поскольку вы можете видеть контент дополненной реальности и объекты физического мира в одно и то же время, появляется возможность взаимодействовать с находящимися вокруг людьми и объектами во время использования очков. Technical Illusions сконструировала СastAR таким образом, чтобы носить их, как обычные очки, и утверждает, что финальная версия будет весить менее 100 г.

Не меньшее значение имеет система отслеживания движений CastAR, которая позволяет менять перспективу 3D-контента перед вами. Поворачивая голову, вы можете посмотреть наверх, по сторонам или на заднюю часть сцены. CastAR регистрирует ваши движения, используя встроенную камеру, которая отслеживает светодиодный инфракрасный маркер, помещённый в поле пространства, куда осуществляется проекция.

Светодиодный ИК-маркер отслеживания поворота головы в CastAR

Technical Illusions утверждает, что система отслеживания CastAR работает с погрешностью до миллиметра. Естественно, точность играет большую роль в создании эффекта погружения. Предполагается, что к моменту запуска CastAR в производство вместо ИК-маркера появится система отслеживания движений на базе гироскопа. Это одна из тех функций, которые были добавлены на странице проекта на сайте Kickstarter.

Разумеется, также необходимо было найти способ взаимодействия с контентом, который проецируется перед вами, и для этого предусмотрено несколько возможностей. Для более традиционного опыта, который мы опробовали на демонстрации устройства, предлагается использовать игровой контроллер. Тем не менее, Technical Illusions работает над тем, что они называют “Волшебной палочкой” – над 3D-устройством ввода, где будет реализована та же самая система отслеживания движения, что и в самих очках.

Макет “Волшебной палочки” (Magic Wand) – 3D-устройстве ввода для CastAR

Ещё один аксессуар для CastAR – сетка отслеживания движения RFID Tracking Grid, которая располагается под светоотражающей поверхностью. Эта сетка состоит из датчиков радиочастотной идентификации (так называемых RFID-меток) и предназначена для использования в качестве цифровой панели или для ролевых игр, позволяя пользователю взаимодействовать с объектами, представленными в виртуальном мире. Представьте фигурки из игры D&D в спроецированном подземелье. К сожалению, мы не смогли протестировать “Волшебную палочку” или RFID-сетку во время нашего знакомства с СastAR.

Наконец, вы сможете взаимодействовать с тем, что видите, при помощи жестов. Хотя Technical Illusions не работает над созданием собственной системы распознавания жестов, основатели компании сообщили нам, что финальная версия СastAR со временем обзаведётся поддержкой доступных на рынке решений, таких как Kinect и Leap Motion.

Макет финальной версии CastAR с дополнительной накладкой AR/VR

Последним компонентом системы CastAR является накладка AR/VR, которая позволяет переводить очки из режима проецирования дополненной реальности к более привычному опыту дополненной реальности (или даже к полностью виртуальной реальности). Зеркальная поверхность насадок возвращает стереокартинку обратно к вашим глазам. Данная возможность особенно актуальна, если светоотражающая поверхность бесполезна.

Разумеется, вам всё равно потребуется иметь неподалёку ИК-трекер, чтобы воспользоваться преимуществом точного отслеживания, которое обеспечивает встроенная в очки камера. Накладка AR&VR не была готова на момент тестирования устройства, но Technical Illusions утверждает, что с ней “у вас не возникнет потребности в каком-либо другом дисплее, крепящимся на голове”.

Обзор очков CastAR | Проекция дополненной реальности на практике

Повторимся, CastAR является одним из тех продуктов, которые действительно нужно опробовать самому, чтобы в полной мере оценить. Теперь, когда мы объяснили, как работают очки, мы попробуем дать вам представление о том, на что похоже их использование. Technical Illusions позволила нам изучить новый прототип 3D-очков, которые проецируют изображение в разрешении 720p. Уже на ранней стадии разработки очки оказались лёгкими и комфортными для ношения.

Скриншот Angy Bots (не работает на CastAR)

Первым демо, которое нам показали, был шутер от третьего лица под названием Angry Bots – тестовый проект, созданный совместно с Unity Engine, и пример того, насколько просто можно получить игры Unity, работающие на CastAR. Хотя проблемы с полем зрения отрицательно сказывались на эффекте погружения, данная игра является хорошим примером того, что ныне существующие игры можно адаптировать для CastAR. Technical Illusions также добавили, что поле зрения по горизонтали станет намного лучше в финальном продукте.

Далее нам показали то, что можно назвать “шахматной сценой в духе Звёздных войн”. Хотя демо не было интерактивным, оно произвело на нас намного большее впечатление. Вы видите трёхмерную шахматную доску с анимированными элементами, спроецированными на неё, а когда перемещаетесь вокруг, ближе к доске или отходите от неё, вы видите изменения фрагментов сцены, как если бы она действительно находилась перед вами. Всё это выглядит достаточно правдоподобно, чтобы возникло желание протянуть руку и схватить одного из персонажей – но, разумеется, пока это невозможно. С интеграцией распознавания жестов через Kinect такая возможность должна появиться. Это демо поразило нас больше всего. Впервые мы видели систему дополненной реальности, способную вызвать эффект погружения и заставить поверить в реальность выводимого перед нами контента.

Третье демо также представляло собой неинтерактивную сцену. Вместо шахматной доски это было подземелье в стиле RPG-игры, наполненное скелетами в латах. Опять же, сцена выглядела впечатляюще реально. Можно было вплотную приблизиться к скелету и его в деталях. Независимо от угла зрения, они всегда появлялись прямо там, где должны были.

Конечно, огромную роль здесь играет светоотражающая поверхность, поэтому фактор погружения зависит в большей мере от размера поверхности, которая вам доступна. Мы спросили, можно ли окружить себя вокруг таким материалом, чтобы получить 360-градусную перспективу, и нам подтвердили, что это возможно, при наличии достаточного количества маркеров отслеживания движения.

Тестирование многопользовательского режима (фото представлено Technical Illusions)

Последнее демо показало возможности CastAR для чего-то большего, чем игры. Это был простой неинтерактивный виртуальный рабочий стол, с различными окнами, появляющимися перед вами на различных панелях.

Обзор очков CastAR | Революционный способ взаимодействия с цифровым контентом

Хотя все эти демо были показаны индивидуально одному из членов команды THG, одним из реальных отличий, отделяющих CastAR от других технологий AR/VR, является то, насколько хорошо очки работают с социальным окружением для групповых игр, совместной работы и обучения. Вы можете использовать несколько очков, подключённых к одному и тому же источнику сигнала. Например, группа друзей может собраться вокруг одного стола, покрытого светоотражающим материалом, и играть совместно. Каждый из них будет иметь уникальную игровую перспективу, не влияя на других участников.

В то же время, так как речь идёт о дополненной реальности, а не виртуальной, все игроки могут видеть друг друга и взаимодействовать между собой не только в игровом, но и в реальном мире. Это действительно совершенно другой опыт по сравнению с впечатлениями от уединённой игры, к которым мы привыкли.

Понятно, почему игры на цифровой доске и RPG в стиле “Dungeons & Dragons” составляют большую часть того, чем хвастается Technical Illusions. Но CastAR – не только игровой девайс, он также имеет огромный потенциал в качестве инструмента для совместной работы и обучения. Представьте себе группу студентов-медиков, которые собираются вокруг цифровой проекции пациента на операционном столе, тренируясь над совместной операцией.

Проект Technical Illusions на Kickstarter имел оглушительный успех: компания смогла привлечь 3863 инвестора и $1 052 110. Но, в более глобальном смысле, менее чем 4000 покупателей – это мало. Одной из самых больших сложностей, с которой сталкивается компания, является донести до людей, чем CastAR отличается от традиционных технологий AR/VR. Технология виртуальной реальности вроде Oculus Rift проста для понимания. Концепция виртуальной реальности раскрыта ещё в классических произведениях киберпанка вроде “Нейроманта” Уильяма Гибсона. Даже “обычную” идею дополненной реальности, как она реализована в Google Glass, достаточно легко осмыслить.

С другой стороны, метод проекции дополненной реальности CastAR – это совершенно новая и потенциально революционная идея, абсолютно новый способ потребления цифрового контента. Вам действительно потребуется светоотражающая поверхность, чтобы опробовать CastAR, как было задумано, и это снижает мобильность. С другой стороны, технология отслеживания движений, даже в ранней реализации устройства, очень точна и обеспечивает комфортный пользовательский опыт. Если Technical Illusions смогут создать лёгкие очки с приемлемой ценой, способные транслировать проекцию дополненной реальности наряду с обычной дополненной/виртуальной реальностью, то компания, действительно, сможет предложить энтузиастам новых технологий нечто уникальное.

Помимо “железа” как такового, нам было интересно посмотреть на то, как Джери, Рик и остальные члены команды Technical Illusions работают над CastAR (а речь идёт о “железе”, которое совсем не похоже на то, что мы обычно тестируем). Краудфандинговые платформы вроде Kickstarter и Indeigogo действительно влияют на результат. Сообщество участвует над проектом на ранней стадии, а обратная связь помогать обточить конечный продукт. Джери и Рик, как нам кажется, сохраняют большую прозрачность относительно CastAR, чем мы видели в случае других проектов на Kickstarter, и это способствует появлению предварительных обзоров устройства – вроде того, что вы сейчас читаете. Общее дело является составной частью сообщества, где главная роль отводится идее, а не извлечению прибыли, и это, несомненно, играет свою роль в открытости проекта.

Проецируемая дополненная реальность действительно может совершить революцию в том, как мы взаимодействуем с нашими ПК, и мы гордимся тем, что смогли увидеть технологию Technical Illusions на раннем этапе разработки. Надеемся, что у нас будет шанс продолжить практическое знакомство уже со следующей итерацией CastAR, которая появится позднее в текущем году. Оставайтесь с нами!