Введение
Клифф Плюмер (Cliff Plumer) мало известен среди широкой публики. Большинство наших читателей наверняка даже никогда не слышали этой фамилии. Однако есть люди в компьютерной индустрии, работа которых намного более известна, чем они сами. А этот человек добился потрясающих результатов в своей сфере.
Плюмер является главным техническим директором (CTO) компаний Lucasfilm и Industrial Light and Magic, творческими цитаделями Джорджа Лукаса (George Lucas). Вполне понятно, что, работая в должности CTO, Клиффу приходится всегда быть на передовой киноиндустрии и сферы компьютерных игр. В его распоряжении находятся огромные ресурсы, которые позволяют воплощать в жизнь творческие задумки. Составная корпорация занимается как визуальными эффектами, так и играми. За прошедший десяток лет Клифф работал в компании на многих должностях и, благодаря своим умениям, сегодня он возглавляет группу из более чем 150 инженеров и разработчиков, занимающихся цифровыми технологиями, которые нужны Лукасу и другим для создания потрясающей визуальной реальности.
Редакция THG пообщалась с Клиффом Плюмером в его офисе в Сан-Франциско. Сначала мы поговорили о роли Клиффа в ILM и усилиях, затраченных на перенос центра обработки данных компании в новый кампус. Затем мы рассмотрели достигнутые успехи ILM в цифровом дизайне и визуализации, а также обсудили текущие проблемы компьютерных вычислений.
Дорога к CTO
Плюмер сначала работал оператором компании NBC TV в Белом доме и на спортивных мероприятиях. Затем он начал карьеру разработчика программного обеспечения в компании Parallax Software. ILM стала одним из первых клиентов компании во время работы над фильмом “Смерть ей к лицу” (Death Becomes Her). Затем Клифф перешёл в Wavefront Software.
“Я открыл для себя мир компьютерной графики на выставке NAB в 85-86 годы, и мне показалось, что графика – самое замечательное, что есть в этом мире”, – сказал Клифф.
По мере того, как шли годы совместной работы с ILM по разработке инструментария, Клифф проложил себе дорогу в эту компанию и устроился на работу, управляя отделом постпроизводства и контролируя людей, использующих его программное обеспечение.
“Поскольку у меня есть техническое образование, у меня не было ни дня покоя. Научно-исследовательский отдел постоянно требовал добавлений и изменений нашего инструментария, – воспоминает Плюмер. – Они регулярно меня подкалывали, интересуясь, справлюсь ли я. Пять лет назад я перешёл на должность управляющего этим отделом, в результате чего пришлось решать всё большее число проблем. И вот я уже CTO”.
Как вы можете представить, работа у Плюмера очень ответственная, и он подтверждает это: “Каждый час задачи меняются. Особенно это характерно для последних лет. Всё давалось очень непросто. Нужно было регулярно посещать студию в Сан-Франциско, управляя работой ILM, контролируя научно-исследовательскую деятельность в сфере инструментария, чтобы в конечном итоге выиграла вся студия. Не говоря о специфических задачах производства, которые выполнялись внутри студии”.
Кроме всего перечисленного, Клифф сегодня активно работает над поддержкой нового отделения Lucasfilm Animation, которое будет находиться на новой строящейся студии в Сингапуре. Также он тесно взаимодействует с AMD и другими производителями при решении текущих и будущих задача. “Конечно, я выполняю огромный объём работ по тестированию новых технологий и их внедрению, – говорит он. – Приходится сочетать пять или шесть работ!”
Переезд студии
Наверное, самой большой нервотрёпкой для Плюмера оказался переезд студии, так как при этом нельзя было допустить ни дня простоя. Изначально штаб-квартира Lucasfilm располагалась в Сан-Рафаэле, пригороде к северу от Сан-Франциско. Компания решилась на переезд через мост “Золотые ворота” в район под названием Пресидио. Там был построен кампус, который объединил игровых разработчиков и киностудию. В общем, несколько разрозненных студий съехались в одно место.
Главный вход в здание ILM в районе Пресидио в Сан-Франциско.
“Мы хотели объединить ILM и LucasArts под одной крышей и в качестве эксперимента попробовать перенести опыт, инструментарий и технологии, разработанные в рамках кинопроизводства ILM, на игровую сферу, – говорит Плюмер. – Но переехать было не так-то просто. Конечно, можно было остановить производство на несколько недель и перенести весь центр обработки данных в новый кампус. Но при этом мы бы получили простой, который обошёлся бы в миллионы долларов. Пришлось выбирать альтернативу: виртуальное перемещение на протяжении некоторого промежутка времени, когда две студии связывались высокоскоростным каналом. До тех пор, пока каждая рабочая станция и каждый сервер не оказывались на своём месте”.
Клифф подчёркивает: “Нам удалось избежать простоя. Мы арендовали оптоволоконный канал между Пресидио и Сан-Рафаэлем с пропускной способностью 10 Гбит/с. В итоге мы получили возможность достаточно легко переносить серверы и рабочие станции. Мы могли не торопиться, тщательно обдумывая каждое перемещение. Центр обработки данных был перенесён в Пресидио ещё в январе, но последняя группа инженеров переехала только в сентябре”.
Как вы понимаете, переезд оказался трудным. Особенно с учётом высоких ставок и огромной зависимости Lucasfilm и ILM от центра обработки данных, который непосредственно вовлечён во всю работу.
10-Гбит/с канал действительно оказался к месту, поскольку вся система непрерывно работала, а пользователи получали доступ к центру из любой студии. “Мы смогли выполнить переезд в самый разгар производства. Уже через минуты после включения фермы визуализации она уже выполняла работу художников в Сан-Рафаэле. Компьютерные художники просчитывали свои задачи на машинах в Пресидио, не подозревая даже, что серверы работают удалённо. Мы переезжали как раз во время напряжённых финальных работ над третьим эпизодом “Звёздных войн” и фильмом “Война миров”. Тем не менее, они вышли в срок. И одна из причин – высокая пропускная способность канала. Мы использовали магистраль на 10 Гбит/с и клиентские подключения рабочих станций на 1 Гбит/с”.
Ферма рендеринга и пользователи
Хотя Lucasfilm и так уже известна своей огромной фермой рендеринга, которая позволяет компании создавать потрясающие спецэффекты, переезд дал возможность ещё более расширить ферму рендеринга, включив в ней рабочие станции художников. Одна из идей Плюмера заключалась в прокладке огромного количества оптоволокна по всему новому кампусу, а также возможность управления рабочими станциями с центральных серверов. В результате рабочие станции можно использовать во внерабочее время, при этом вся их процессорная мощь продолжает работать в полную силу.
До нового кампуса ILM легко добраться.
Главная ферма рендеринга, ласково названная “Звезда смерти”, занимает площадь около 1250 квадратных метров. В ферме состоит около 1000 компьютеров. По кампусу разбросано около трёх тысяч рабочих станций. Во всех корпусах Lucas в Пресидио пришлось поднять полы, чтобы провести оптоволокно. Стандартом компании являются рабочие станции HP 9300 на основе Opteron и high-end двуядерных процессоров AMD Athlon X2.
“Наши компьютеры работают в режиме 24×7. Когда художник уходит домой, его рабочая станция становится частью фермы рендеринга благодаря нашей программе по распределению нагрузки, – говорит Плюмер. – Все задания помещаются в большую очередь, откуда они выдаются на процессоры. Это может быть любой процессор AMD в нашей сети, так что ферма рендеринга ночью вырастает до 4000 машин”.
При работе столь большого числа компьютеров легко догадаться, что затраты на охлаждение очень велики. “Мы очень плотно поработали над экономией энергопотребления, чтобы снизить издержки”, – признался Плюмер.
На что похож ИТ-отдел Lucas?
Конечно же, ИТ-отдел Lucasfilm не похож на страховую компанию или банк. Плюмер управляет четырьмя различными отделами, в которых работает в общей сложности 150 человек. Сюда входит персонал поддержки, которому, к счастью, сейчас приходится обслуживать только один кампус, а не несколько зданий в разных концах города. Ещё один отдел занимается разработкой инструментария и отвечает за специальные проекты для кино- и игровых разработчиков, а также занимается, при необходимости, научно-исследовательской деятельностью. Затем существует отдел традиционных информационных систем, который отслеживает визуальные фонды и проекты, а также занимается различными базами данных, хранящими всё это богатство. Наконец, последний отдел специализируется на проектировании систем. В нём работает небольшая группа специалистов, которая, как сказал Плюмер, “может решить любую проблему в любое время”.
Как можно было ожидать, работа в ILM напряжённая, но благодарная. Как отметил Клифф, компания всегда не прочь нанять на работу хороших специалистов, но он подчеркнул, что “работа очень интенсивная”.
“ILM известна своей способностью выпускать продукт в срок. И это связано с тем, что мы можем эффективно масштабировать любой проект, мы никому не уступаем в этом отношении. Однако подобный подход приводит к высокой нагрузке на персонал поддержки, – считает Плюмер. – С технической стороны, будь то системы или компьютерная графика, мы всегда ищем новых людей. Кстати, у нас работает большое число инженеров с научными степенями по физике и компьютерным технологиям”.
Плюмер отметил, что компания тесно сотрудничает со Стэндфордским университетом, приглашая студентов на практику. “Мы стараемся нанимать людей, которые способны оценить всю ситуацию, и которые понимают все аспекты работы, – говорит он. – У нас очень взыскательные специалисты”.
Творческий процесс
Клифф Плюмер показывает новый кампус в Пресидио.
“Многое, что мы делаем, можно назвать магией. Но мы не создаём реальность, мы её симулируем. Нам приходится заставлять людей фокусироваться на общей перспективе. Нам нужно давать представление о реальности, которое будет выглядеть хорошо, – говорит Плюмер. – А это достаточно трудно для вчерашних выпускников вузов, если они досконально не знакомы с нашей работой”.
В качестве примера симуляции реальности Плюмер рассказал о работе над фильмом “Идеальный шторм” (The Perfect Storm): “Мы тесно работали с профессором физики из университета Висконсина, чтобы понять, что нам понадобится для создания 30-метровой волны, и как показывать динамику воды на экране. Мы смогли это сделать и считали, что весьма неплохо. Мы сразу же уселись с профессором за просмотр эффекта, но он начал критиковать поведение волны на экране”.
“Как оказалось, мы не слишком точно подошли к воспроизведению волны с физической перспективы, – добавляет Плюмер. – Конечно, мы сказали, что можем всё доработать, даже не зная, как мы это сделаем. И мы сделали. Мы непрерывно ходим по узкой тропинке, которая называется “достаточно хорошо”, и даём возможность управлять процессом, чтобы творческая личность могла сравнить результат с тем, что нужно получить”.
Компания постоянно движется в сторону более точных симуляций. Плюмер отметил, что ILM нужны специалисты в области гидрогазодинамики, отображения кожи и детализованной анимации различных поверхностей и материалов. И, конечно, более точная симуляция накладывает соответствующие требования на вычислительную мощность. Он уточняет: “Мы мигрировали на 64-битную платформу от AMD, чтобы получить больший объём полезной памяти и большую вычислительную мощность. Несколько месяцев мы собирали сервер симуляции на четырёх процессорах с 32 Гбайт памяти, который занимается только математическим расчётом выстрелов. У нас есть очень много схожих “тяжёлых” задач. Моё же дело – решить, будет ли это решение для одного проекта или оно понадобится нам и дальше”.
Памяти никогда не бывает достаточно
Старая присказка, что памяти никогда не бывает достаточно, как нельзя лучше относится к спецэффектам, создаваемым ILM.
“Места для хранения никогда не бывает достаточно. То же самое относится к объёму оперативной памяти и вычислительной мощности процессора. Каждый раз, когда считаешь, что достиг очередного порога и можно чуток расслабиться, кто-то этот порог обходит, – утверждает Плюмер. – И всё дело в уровне реализма. Мы можем дать художнику больше инструментов и мощности, но уровень реализма всегда находится впереди”.
Сегодня уровень реализма постоянно увеличивается. Возможности растут с появлением микропроцессоров, высокоскоростных сетей и других технологий.
“По нашей сети в дни, когда идёт напряжённая работа, прокачивается 150 Тбайт данных, – говорит Плюмер. – И сейчас мы переходим на новый уровень, поскольку игры для приставок следующего поколения будут иметь реализм на уровне наших фильмов, и всё это ещё сильнее нагружает наши системы”.
В сети ILM данные находятся в центре хранения данных, и ничего важного не хранится на локальных жёстких дисках. “Художник может сесть за любую рабочую станцию и получить доступ ко всем своим инструментам и наработкам. Центр обработки данных предлагает оперативно доступное хранилище на 160 Тбайт, а ещё 90 Тбайт находятся в полуавтономном хранилище, – продолжает свой рассказ Клифф. – Причём, последнее хранилище служит для резервирования информации. Когда проект закончен, мы архивируем его данные. Кроме того, у нас достаточно много вспомогательных хранилищ для медиа-серверов, которые воспроизводят готовые фрагменты в комнатах просмотра и внутренних кинотеатрах. Для крупных проектов вроде “Звёздных войн” у нас всегда доступна свежая версия всего фильма”.
Теперь приведём пример роста объёма информации. Когда несколько лет назад шла работа над фильмом “Пёрл-Харбор” (Pearl Harbor), объём хранилища для всего проекта составлял 1,5 Тбайт. “Сегодня такой объём могут занимать несколько кадров. И темпы роста объёма оказались гораздо больше, чем я предполагал, – признался Плюмер. -Результат этого вы видите на экране. Чем больший уровень реализма мы можем добавить к персонажу или окружению, тем лучше”.
Когда мы смотрим фильмы, мы не задумываемся, почему не каждый цифровой персонаж даётся с близкого ракурса. “Когда мы используем искусственно созданного персонажа или цифрового дублёра, режиссёр может показать его с расстояния, после чего успешно забыть о нём”, – поясняет Плюмер.
Разрешение подобного персонажа не очень велико, и его вывод накладывает не особо высокие требования на цифровые ресурсы, из которых он создаётся. “Но когда режиссёр вдруг решает приблизить камеру, – продолжает Клифф, – никаких ошибок в картинке быть не должно. Поэтому налагаются существенно более высокие требования на программное обеспечение, вычислительные ресурсы и подсистему хранения. Все системные требования соответственно возрастают”.
Визуализация в реальном времени
Одно из требований к ИТ-отделу заключается в создании предварительной визуализации почти в реальном времени, чтобы режиссёры и продюсеры могли внимательно присмотреться к тому, что создали цифровых дел мастера. “Мы стараемся дать хорошее представление о том, на что будет похож окончательный продукт, – говорит Плюмер, – и хотим, чтобы каждый художник смог быстро оценить плоды своего труда”.
Но в итоге получается дополнительная вычислительная нагрузка. “Мы постоянно расширяем возможности нашей вычислительной базы, и спектр того, что может сделать режиссёр при съёмке, – продолжает Плюмер. – Мы можем сесть рядом с режиссёром в любом уголке мира и показать ему предварительную визуализацию фильма – очень важная и полезная особенность. Большинство наших клиентов находятся в Лос-Анджелесе или в других городах. Вряд ли раньше существовала возможность каждый раз привозить километры плёнки. Сегодня же мы доставляем цифровые файлы. Иногда мы используем жёсткие диски FireWire или стримеры. Всё зависит от запросов клиента. Второй эпизод “Звёздных войн” стал первым фильмом, который прошёл через полностью цифровую промежуточную обработку. Теперь её проходят около 90% всех фильмов”.
Учитывая своевременность выполнения любого задания ILM, а также и то, что 4000 серверов и рабочих станций никогда не простаивают, Клиффа Плюмера можно назвать настоящим Мастером Йодой.
ILM теперь в полной мере использует совместную деятельность киностудии и игровых подразделений, которые раньше были разделены физически и состояли из разных подразделений и разного оборудования. Цель такой консолидации заключается в создании единого коллектива, а также общей базы наработок, технологий и инструментов, создаваемых всеми группами. “В год мы работаем над 10-12 проектами фильмов, а игровое подразделение – над 2-3 играми одновременно, так что смысл в объединении есть, – утверждает Плюмер. – Большинство наших проектов предназначено для выхода летом или к Новому году. В этом году на нас навалилось сразу же четыре или пять крупных проектов, и, похоже, такая ситуация становится уже обыденной”.
Но ведь нужно как-то практически реализовывать сотрудничество между киностудией и игровыми подразделениями. “На данный момент мы уже создаём проекты не только для одной индустрии. Игры и DVD сразу же принимаются во внимание при планировании проекта, – говорит Плюмер. – У нас много дополнительного содержания и сюжетных увязок, так что совместное использование всего этого богатства тоже входит в наши планы. Мы всегда думаем, как дать новую жизнь нашим разработкам, чтобы принести в дома новое дополнительное содержание, которое расширит аудиторию по сравнению с оригинальным фильмом”.
Разрешение и глубина цвета
Если вы проводите немало времени перед экраном компьютера, то наверняка считаете, что чем выше разрешение, тем лучше картинка на экране. Однако в цифровых фильмах проблемы возникают не только с разрешением. “Более важной является глубина цвета, – отметил Плюмер. – Если я работаю с 8-битным цветом, то не получу ничего хорошего, независимо от разрешения. Именно поэтому мы ориентируемся на формат EXR, который даёт большую цветовую гамму”.
Формат EXR (Open Source Extended Dynamic Range Image File Format) является попыткой Lucasfilm внести качественные улучшения в создание цифровых фильмов и их демонстрацию. Формат поддерживает высокий динамический диапазон и улучшенную глубину цвета, что обеспечивает более реалистичную картинку. “Самой большой проблемой в нашей индустрии является то, что здесь нет стандартов, – указал Плюмер. – ILM осуществляет цифровую демонстрацию фильмов ещё с первого эпизода “Звёздных войн”, поэтому мы имеем достаточный опыт”.
“На размере данных сказывается не только разрешение, но глубина цвета, – считает Клифф, – причём ей мы уделяем больше внимания. Я могу показать некоторые ролики HD, и они будут смотреться хуже, чем другие форматы, которые имеют меньшее разрешение. Слишком уж много факторов влияет на качество картинки на экране”.
Плюмер очень доволен своей работой с Lucasfilm, но при этом число проблем только увеличивается. “Мы сделали только первые шаги в новую эпоху, – уточняет он, – и это касается не только видеоигр на приставках, но и игр на портативных устройствах вроде сотовых телефонов и плееров. Все эти устройства означают для нас дополнительную нагрузку”.
Напоследок Плюмер заметил: “Мы постоянно пытаемся раскрыть глаза режиссёрам старой школы и показать все преимущества цифровых технологий. Наверное, мы можем похвастаться большим числом всевозможных применений цифровых технологий, чем какая-либо другая компания”.
