Перивод интервью fxguide.com — Saya: a uniquely Japanese “Kawaii” Digital Girl

«В прошлом году была презентованна новая медийная звезда — Сая, однако, эта девушка несколько иного формата, нежели остальные знаменистости, ведь она продукт комрьютерной лаборатории» — прокомментировали BBC , обсуждая новую виртуальную персону.

Saya — это новый этап эволюции цифровых персонажей, созданных с помощью самых передовых инструментов и технологий. Чтобы лучше понять суть проекта, мы обратились к её «родителя», т.е. цифровым художникам: Teru и Yuka, эта супружеская пара совместно организовали творческую команду TELYUKA.

FXG: Изначально, проект «Сая» подразумевался как проект по созданию короткометражного фильма, этот фильм ещё планируется?

TELYUKA: Да, изначально мы планировали создать короткометражку, однако в дальнейшем мы задумались о других перспективах для данного проекта. Если нам представится возможность, мы обязательно создать небольшой фильм, однако, на данный момент, мы сосредоточены на улучшении уровня совершенства Саи. Недавно, кстати, мы сделали небольшой промоушен ролик.

Мы создали саму модель, сделали настройки сцены, рендера и композиции для Саи, а благодаря нашему партнёрству с Toei Zukun Lab мы смогли сделать реалистичный захват движений для анимации, а с компания Logoscope помогли нам с технической поддержкой.

FXG: Можем ли вы обсудить исследования, которые проводились в Токийском университете: лаборатория обработки данных в области сельского хозяйства и технологий? «Tokyo University: Agriculture and Technology Communications and Signal Processing Lab».

TELYUKA: Первоначально мы начали работать над Saya, для демонстрации и улучшения своих навыков, но когда мы опубликовали ее рендеры, мы получили множество предложений для сотрудничества из разных отраслей. В этот момент мы поняли, что потенциально можем применить изображение Saya для различных областей.

Профессор Sugiura, KEIO MEDIA DESIGN предоставил нам ценные советы для роли Saya и ее будущего развития, а также указал нам направления для развития персонажа Saya с использованием самых современных технологических тенденций.

Например, одним из таких примеров является «цифровая вывеска» следующего поколения, которая использует эффектные образы идиализированных виртуальных персонажей.

Профессор предложил нам использовать персонажа Сая в качестве ассистента-указателя на цифровых панелях для туристов. Обычно это просто стандартные знаки, но если это заменить на живой образ любезно инструктирующий по средством жестов, мимики и речи — интерес и восприятие информации будут несопоставимо выше.

FXG: Планируете ли использовать вашего персонажа для виртуальной реальности? Или например для живых движков, таких как: Unity или UE4?

TELYUKA: We have been receiving various requests to use Saya for various interactive projects. We would like to interact with not only Head mount displays in VR but also use her in a AR and other realtime platforms and devices. However, regarding the engine, we are still researching, so we haven’t decided which one to use yet. Мы получили мноежство различных предложений по использованию Саи в различных интерактивных проектах. Пожалуй, мы бы хотели взаимодействовать не только с шлемов VR, но также используют ее в AR и других платформах и устройствах виртуальной реальности.

FXG: Что использовалось для разработки последней версии Саи?

TELYUKA: В качестве основного редактора на этот раз мы использовали Maya, также применяли ZBrush для детализации, MARI / Photoshop / Quixel для текстурирования. Как выможете видеть, использовались стандартные инструменты для нашей индустрии 3D графики.

FXG:Использовали ли вы 3D сканированные или фотограметрию прообраза настоящей девушки-модели?

TELYUKA: Нет, мы не использовали 3D сканирование или фотограметрические техники. Сая не является прообразом какого-либо настоящего человека, она полностью создана по художественному замыслу. Мы использовали изображения популярных девушек артистов в качестве референса, для дизайна её внешности, чтобы она отвечала стандартнам красоты, походила на тинейджера и в тоже время представляла собой уникальную «кавайную» (милую) девушку.

TELYUKA: Мы заригили персонажа под несколько стандартных сценариев анимаций. Основные движения, такие как закрытие глаз и движенией бровей и т. п. Это создаётся с помощью SkinBind и суставов, также есть такие дополнительные объекты манипуляций, как складки и морщины — они создаются путем стандартного лицевого ригинга.

We used 104 joints for the base deformation and 21 for the additional deformations. It wasn’t intentional to set up this number of joints from the beginning. Those were added a bit by bit as needed. Мы использовали 104 точек-привязок для основой анимации выражения лица и 21 для дополнительной детализированно проработанной мимики. Изначально мы не предполагали такое количество сетапа, но по мере необходимости, в погоне за реализмом, добавляли всё больше и больше.

Сначала мы начали работать над Саей с закрытыми глазами, а затем мы перешли к бровям, щекам и рту. Самая сложная часть была вокруг рта. Так как действия, такие как растяжение, вытаскивание, перекатывание и т. Д., Различаются, самая большая проблема остается в том, как эти выражения могут быть реализованы реалистично.

Поскольку форма головы не является полностью симметричной, регулировка веса кожи становится утомительным процессом. Однако мы смогли внести эти корректировки и добавить сопровождающие изменения в форму всей головы, выполнив базовую настройку для лица в SkinBind.

Кроме того, LipSticky добавляется как особый эффект для области вокруг рта. Это выражает движение в области мягкого контакта в губах, когда задняя часть верхней и нижней губ медленно двигаются во время открытия рта. В настоящее время мы для подобных задач используем WireDeformer.

Что касается языка, то несмотря на то, что он не очень заметен спереди, он является самой гибкой частью в голове. Он требовал различных выражений, таких как растяжка, сжатие и скручивание. Таким образом мы также создали SkinBind и анимационные «суставы» для языка.

FXG:Какой SSS вы используете для реалистичной визуализации кожи внутри V-Ray? И каковы были общие затраты на время рендера?

TELYUKA: Изначально мы использовали «VrayFastSSS2» в миксе с «VraySkinMtl», но сейчас для кожи мы используем шейдер «AlSurface«.

Рендер одного кадра с разрешением HD занимал примерно от 4 до 5 минут.

FXG: Могли бы вы пояснить какое разрешения для текстур кожи вы использовали, применялся ли анизатропный спекуляр с отражением для мимических деформаций?

TELYUKA: От лба до челюсти мы применяем текстуру, эквивалентную разрешению 8K. Для всей головы мы применяем текстуру, эквивалентную 16K, но разделяем ее на 4K плитки. Мы не использовали анизотропию. Что касается мимики, это тема, над которой нам нужно ещё поработать.

TELYUKA: Для лицевой анимации Saya мы используем монофонический захват лица на основе изображений с использованием HMC, разработанный Toei Zukun Lab собственными силами. Для прочих решений использовали Dynamixyz Performer2SV.

FXG: What do you do as your primary jobs? I understand this is a side project? Какая у вас основная работа? Ведь насколько я понимаю, персонаж Saya — это ваш личный творческий проект.

TELYUKA: We had so far worked on movies, visual images/videos, games etc, but currently we are working on Saya’s development as our primary job. We have established our company, to research and produce virtual humans, and to do other work with clients associated with that. Мы по прежнему работает с фильмами, визуализацией, играми и т.п. Однако в настоящее время мы больше фокусируемся на разработке по проекту Saya, это теперь наша основная работа. Мы создали нашу собственную компанию, в качестве основного вида деятельно выбрали — создание виртуальных людей, т.е. реалистичных 3D персонажей.

FXG: Большое спасибо, что уделили время. Хотели бы вы ещё чего-нибудь добавить в интервью?

TELYUKA: Знаете, мы смотрели «MEETMIKE» на SIGGRAPH 2017. Возможности представленных технологий потрясающий, даже отчасти вызывает чувство белой-зависти. По сравнению с ними, мы не делаем ничего экстраординарного, на общем фоне наши остальные проекты не особо то и выделяется, поэтому особо нечего ещё добавить.

Мы CG-художники, стремящиеся создать 3D персонажей, позволяющих аудитории почувствовать персональную близость, и мы считаем, что это наше призвание. Порой, некоторые академические или технические аспекты для оказывается довольно сложными и требующими глубого погружения в задачу. Поэтому нам очень интересно сотрудничать с отдельными высококвалифицированными специалистам. Мы считаем, что это очень важный фактор для оптимизации работы, поэтому мы намерены расширять наше партнёрское взаимодействие и компанию.

Оригинал интервью на английском:

fxguide.com — Saya: a uniquely Japanese “Kawaii” Digital Girl