Проект Santa Cruz | Что это такое?
Скажем сразу, что это не просто беспроводная версия Rift: они не просто заменили кабели беспроводным решением. “Проект Santa Cruz” — это автономный шлем виртуальной реальности со встроенным компьютером. Поэтому он настолько же “беспроводен”, как беспроводен Microsoft HoloLens, и точно так же “беспроводен”, как беспроводен смартфон.
Всё система по своей сути мобильна, и она обеспечивает шесть степеней свободы (6DoF), что просто отлично. Как бы ни был прекрасен Gear VR, у него всего три степени свободы. 6DoF критически важны, поскольку они позволяют отслеживать движение в трёхмерном пространстве, а это означает, что вы можете физически прогуливаться по местности, и на это будет адекватно реагировать виртуальное окружение.
Представители Oculus запретили делать фотографии или снимать видео и в ходе демонстрации не особенно вдавались в подробности. Однако, по результатам наших непосредственных наблюдений, впечатлений от использования этого шлема и общения с сотрудниками компании, мы смогли составить примерное представление о том, что же такое “проект Santa Cruz” и как он устроен.
Прежде всего, это самый настоящий Oculus Rift, но с некоторыми добавлениями: на заднем головном креплении установлен компьютер. Мы говорим “компьютер”, а не “ПК”, поскольку в Oculus не уточнили, что собственно под этим подразумевается. Однако, мы вполне уверены, что это какое-то мобильное “железо”.
Нам не удалось увидеть разъём CPU, но мы разглядели фрагменты печатной платы и оценили её размеры: это прямоугольник размером в несколько квадратных дюймов. Она слишком мала для полноценного сокета и на ней нет места, к примеру, для сменных модулей оперативной памяти. Более того, руководитель этого проекта также заведует в Oculus мобильными системами, поэтому скорее всего, он поместил бы внутрь такого устройства высокопроизводительную мобильную “систему на чипе” (например, такую, как в телефонах Samsung Galaxy, способных работать с Gear VR), а не какой-то мобильный компьютерный чип вроде Intel Cherry Trail. Это догадку подтверждают и комментарии Джона Кармака (см. ниже в этой статье). Чем бы это ни было, оно накрыто медным радиатором и охлаждается вентилятором.
Руководствуясь этими соображениями, мы считаем, что операционная система — а там есть операционная система — это Android или какая-то его модификация.
На печатной плате (возможно, специально разработанной для этого проекта) установлено три порта USB (из которых как минимум два соответствуют стандарту USB 3.0) и порт HDMI. Снизу к компьютеру на “липучках” крепится батарея — похожая на ионно-литиевый аккумулятор.
Представители Oculus постоянно повторяли, что перед нами только прототип, а работа над окончательной конструкцией, включая подбор комплектующих и элементов охлаждения, всё ещё не закончена. Отметим, что к выпуску прототипов и тестированию на живых людях (читай: на нас), в компании относятся очень серьёзно.
В “проекте Santa Cruz” нет каких-то выносных датчиков или камер Constellation. Вместо этого в устройстве реализована система встроенных трекеров. Четыре камеры установлены по углам фронтальной части шлема. Это не инфракрасные или какие-то другие особые камеры, а обычные камеры вроде тех, что стоят в любых смартфонах. Разрешение нам не известно.
Как же работает трекинг в этом Rift? Ключ к пониманию технологии — в том, что двое сотрудников Oculus, проводивших демонстрацию, специализируются на компьютерном зрении. Камеры фиксируют некоторый объём данных, который передаётся через интерфейс HDMI к “системе на чипе”. В устройстве присутствуют и гиростабилизаторы — такие же, как в большинстве смартофов и шлемах VR. Программа обеспечивает работу этих датчиков на основе данных, полученных от камер.
Проект Santa Cruz | На что это похоже?
Я понял это только после окончания демонстрации, но я не испытывал никакого дискомфорта от возросшей массы устройства из-за компьютера и аккумуляторной батареи.
Трудно объяснить, насколько непривычно использовать Rift без проводов. Ощущение чрезмерной свободы на самом деле немного дезориентирует. Я бы отметил две проблемы.
Во-первых, хотя я мог почти свободно перемещаться по виртуальному миру, у меня не было ни рук, ни ног, и это сбивало с толку. Это типичная проблема для многих систем виртуальной реальности: мозг дезориентирует ситуация, когда тело движется, но соответствующие этому движению визуальные подтверждения отсутствуют.
Во-вторых, я подумал, что хотя мы все так ждём дня, когда сможем избавиться от всех этих надоедливых кабелей за спиной, на самом деле они обеспечивают важную тактильную отдачу, помогающую мозгу сориентировать тело в физическом пространстве, даже когда ваша зрительная система погружена в пространство виртуальное. Это не значит, что я скучаю по кабелям, — просто без них и без какого-то другого способа слежения за телом, беспроводные системы 6DoF формируют неестественные ощущения.
Демонстрационная программа перемещала меня по двух виртуальным пространствам. Одно из них — это почти пустое поле, напоминающее площадку для запуска космических кораблей. Там ничего не происходило, но можно было прогуляться и ощутить границы пространства, “построенные” системой Guardian. (Да, в беспроводном Rift уже есть система Guardian).
Через пару минут меня перенесло в мультяшный антураж — на двор, в окружение кустов и цветов. За газоном виднелась улица, а позади — обрыв и океан. Я мог ходить по этому небольшому двору, но не мог ни с чем взаимодействовать.
Внезапно с неба опустилась летающая тарелка. Я посмотрел вверх и увидел направленный на меня тяговый луч. В глазах потемнело, потом снова стало светло, и я понял, что луч перенёс меня на площадку на крыше над двором. Мне удалось подойти к краю крыши (в голове всё время мелькало: “Опасность!”), но система Guardian оттолкнула меня, не позволив перевалиться через ограду — или наткнуться на диван в реальном мире.
Меня снова подхватила летающая тарелка, и на этом демонстрация закончилась.
Оказалось, что хотя я был уверен, что система Guardian подскажет, когда я приближусь к стене или какому-то объекту, я всё равно передвигался с опаской и маленькими шагами. Было бы гораздо лучше, если бы система не просто осуществляла слежение за объектами, но и показывала их мне, а также если бы она создавала образы моих конечностей или хотя бы ладоней.
Возможно ли такое в “проекте Santa Cruz” — неясно. С одной стороны, использование данных с камер упрощает слежение за объектами и руками. С другой, программа должна “склеивать” картинку с четырёх камер в реальном времени, что звучит как ещё одна большая нагрузка на систему, которой и так есть, чем заняться. Впрочем, в Oculus могли бы сделать так же, как в Intel поступили с проектами Alloy и RealSense, то есть полностью избавить “систему на чипе” от обработки поступающих с датчиков данных. Однако, это может не сработать, поскольку, похоже, что в “проекте Santa Cruz”принципиально используется именно программное взаимодействие с датчиками.
Проект Santa Cruz | Чем он не является?
Чем бы ни был “проект Santa Cruz”, это не просто “накачанная” версия Gear VR. Напомню, что Gear VR это что-то вроде “безмозглого” устройства, возлагающего все задачи по расчёту и выводу изображения на смартфон. “Проект Santa Cruz” — это полноценная система, в основе которой лежит Oculus Rift. Более того, Gear VR обеспечивает лишь три степени свободы, а наш прототип — 6DoF.
Его сфера применения также отличается от той, где обычно используется Rift. Oculus Rift и HTC Vive — это не системы, это прежде всего мега-периферия, полагающаяся на мощные ПК и внешние датчики. “Проект Santa Cruz” самостоятельно обрабатывает данные с сенсоров и он полностью портативен. Забудьте о пространстве, ограниченном комнатой, “проект Santa Cruz” способен работать в масштабе всего мира.
Проект Santa Cruz | Что это означает?
“Полный трекинг” — это самый модный термин, и он постоянно звучал как на конференции Oculus Connect 3, так и за её пределами. Сегодня формируется новый мир расширенной реальности XR, и это происходит стремительно. Как только пользователи захотели большей свободы перемещений в виртуальной реальности VR, потребовался трекинг в масштабе комнаты. Теперь он у нас есть. Нам хотелось отслеживаемых контроллеров для рук. Теперь они у нас есть. Чтобы обеспечить безопасность, пока мы перемещаемся по виртуальной реальности, нам был нужен Guardian. Теперь он у нас есть.
Следующий шаг — отвязать шлемы от проводов и обеспечить шесть степеней свободы, какие бы формы это ни принимало — но для этого нужно решить массу проблем. Одна из них — полный трекинг, и Oculus близок к её решению. Пока не обсуждалось, как в эту систему могут вписаться контроллеры, и это ещё одна задача на будущее.
Проект Santa Cruz | Что рассказал Кармак?
Выступая на закрытии конференции Oculus Connect 3, Джон Кармак поделился некоторыми подробностями о “проекте Santa Cruz”.
Кармак подтвердил наши догадки о том, что этот шлем работает на основе мобильного аппаратного обеспечения, и он считает, что “проект Santa Cruz” может получить больше от мобильной “системы на чипе”, чем обычный смартфон. Смартфоны — это прежде всего телефоны. Часть из них продаётся через операторов связи, в них идёт обработка полосы частот модулирующих сигналов, отбирающая ресурсы, на них установлены бесполезные программы (некоторые из них — от провайдеров), в них протекает много фоновых процессов, включая поддержку модулей Wi-Fi и GPS. Всё это потребляет электроэнергию, и многие из этих задач приводят к перегреву аппарата — к примеру, если вы пытаетесь воспроизвести видео высокого разрешения. По словам Кармака, в результате инженеры по виртуальной реальности могут использовать только около трети ресурсов “системы на чипе”, установленной в смартфоне.
Однако если мобильную “систему на чипе” и мобильный DSP полностью освободить от “смартфонных” обязанностей, все их ресурсы могут пойти на создание VR-системы. Вы сможете — как мы уже видели — охлаждать процессор с помощью радиатора с кулером, или, впоследствии, какими-то более миниатюрными механизмами. Другими словами, это будет выделенная мобильная линия для обработки данных только по виртуальной реальности. Мы получаем что-то вроде игровой приставки, и Кармак тоже сделал такое сравнение, подчеркнув преимущества такой системы как единой, стабильной и предсказуемой платформы для разработчиков.
Кармак предсказывает такое будущее виртуальной реальности, где миллиард пользователей сможет наслаждаться симуляцией высокого качества, а чтобы добиться этого, оборудование должно быть мобильным и дешёвым. Шлем Rift, конечно, дорог и связан кабелями, поэтому ясно, к чему именно стремится Oculus со своим “проектом Santa Cruz”. Представляется, что Samsung и совместимость с Gear VR может со временем стать альтернативным вариантом этой картины мира.
