大学・企業現場リポート ディジタル最前線

Vol1 人間の個性や人間らしさをデジタルでサイエンスする。

シアターの観客が映画の登場人物になる「フューチャーキャストシステム」。


愛知万博の三井・東芝館。ここでいま話題となっているのが、来場者一人一人の顔を取り込んで映画のキャストに変換して登場させる「フューチャーキャストシステム」によるフルCGのSF映画『グランオデッセイ』だ。森島繁生教授は、テクニカルスーパーバイザーとしてこのシステムを開発・サポートしている。

「これまでの研究成果のフィードバックとしてこのプロジェクトに協力し、新しいエンターテイメントに挑戦したかったんですが、正直、よく完成までこぎつけられたな、というのが実感です。本当にこんなことが出来るのか、という世界で初めてのまったく夢のようなことを、たった2年半の開発期間で実現しなければならなかったんですから」と森島教授は開発の苦心を語られる。

1回につき240人の来場者を映画に登場させるため、20人を収容できるシアターを12室用意。たったの5分間以内に、各シアター20人分の髪の毛を除く顔情報をレンジスキャナーで取り込み、240台のPCで240人分の顔をポリゴンモデル化、それに目や唇の動きなどの演技をつけ、体や背景など顔以外の映像と合成しなければならない。このシステムは、年齢・性別推定による配役自動決定、表情合成及びリップシンクの実時間制作、ポリゴンモデル化などすべてが自動化され、アテンダントを除きオペレータは介在しない。

森島教授は「年齢推定はある程度容易ですが、難しいのは男女推定。このシステムは、凹凸の多い、いわゆる濃い顔の人のほうが特徴が出やすいのですが、割と平坦な顔は男女の差が付きにくく、男性の声と女性の声を間違えたら大変です。最終的にはアテンダントが写真を見てチェックしています。精度95%以上を実現していますが、のっぺりした顔の人や髪型に個性のある人は自分がどこに出演しているか見つけにくいでしょうね」という。

事実、来場者は自分が映画のどのシーンに登場するか、自分の配役を探すのに夢中で、ストーリーの記憶が薄いとか。また、来場者同士のネットでの裏攻略法として、自分を印象付けるためのマーキングやシールを貼ることを勧めるなど予想外の反応も。登場したくないという人は皆無であり、自分が若返ったと喜ぶ高齢者も多いという。1回ごとに自分が演じる役が変わるため、何度もチャレンジする人がいて、1日に7回出演の最高記録をもつ人もいるという人気ぶりだ。

「シアターでは毎日約9000人分の登場人物を処理しています。今回は"顔"だけですが、フューチャーキャストは技術的には全身制御も可能で、インタラクティブ性を活かしたゲームやストーリー性を活かした映画、あるいは両者のハイブリッドしたものなど新しいエンターテイメントの世界が拓けてくると思います。肖像権の問題がありますから、身内で楽しんだり、テーマパークやイベント向けになると思いますが・・・」と森島教授はシステムの広がりに夢を託される。

過去の名画に出演し、自分が演技するのも夢ではない。


森島研究室には、このエンターテイメントの研究グループのほか、コンピュータグラフィックス、ヒューマンコンピュータインタラクション、擬人化エージェント、コンピュータビジョン、デジタルアーカイビングの各研究グループがあり、人間の表情や動作の再現を通して、個性とは何なのか、人間らしさとはどういうことなのかをサイエンスしている。PCがずらりと並んだ研究室では学生たちが自分のテーマの研究を進めていた。

たとえば、人物の正面の写真だけで、そこから特徴点を抽出し擬似的3次元の顔をつくり、その人物の横顔を再現。目や唇などに表情を持たせて喜怒哀楽を自由に表現したり、しぐさの自由な動きができる。その眼球の大きさを変えることでまた別のキャラクターとしての個性が出てくる。また、声質変換によったイントネーションを変化させ、その人物にふさわしい声も出せる。

森島教授は「最近のモーションキャプチャシステムの精度が向上し、1.5mmのマーカーも追跡可能になりました。よって顔に500点の特徴点を置いて顔面の動きを分析できます。この顔面の動きを表情筋のシミュレーションによって制御することでよりリアルな表情が合成できます。同様に、いまはキーフレームアニメーションで行われている唇の制御や舌のコントロールも表情筋の制御で実現しようとしています」と研究の一端を紹介。

また、音声でいえば、音楽に同期した頭部の動き合成の研究も進んでおり、これによりセルアニメーションの手づけを自動化したり、先に声優に声を吹き込んでもらい、そこから自動推定してCGキャラクターの動きを同期合成できるという。さらに、トラッキングモジュールにより、たとえば日本語で話すCGキャラクターが英語や仏語、中国語などに翻訳して話す映像も表現できる。その国、その土地柄の文化に合わせたカスタマイズが可能になるという。

体の動きなども、これまで皮膚表面だけのマーキングでは捉えにくかったバレエダンサーの躍動をMRIを利用して骨とマーカーの位置を計算し、その動きの際の骨格の位置を正確に計算したモーションキャプチャーでよりリアリティのあるダンスシーンのアニメーションが表現できるようになったという。

「これからは、過去の名画の出演者として、いまその映画を観ている自分が登場するということも夢ではありません」と森島教授。

"人を感動させる技術"を追求。


大宇宙のようなマクロから原子のミクロの世界まで研究する応用物理学科にあって、"等身大の物理"を研究する位置づけで人間の感性や感情的なものも含めて研究し続けたいという森島教授は、「技術ありきやロジックありき、ではなく、"人を感動させる技術"を追求していきたいですね。映画とゲームを掛け算すると、新しいエンターテイメントの世界が広がるような・・・。先に実現したいことをイメージして、それに必要な技術課題を克服していくスタンスです」と抱負を語る。

期待する人材像についても「CG制作などの仕事の現場では、まだまだクリエイターと技術開発担当者がうまく噛み合っていないようですね。クリエイターはツールのユーザになりがちだし、技術者は作品は二の次でテクニカルな面だけに関心がいきがちです。もう少しお互いに相手のことがわかればうまくいくと思うのですが。そのため、私は制作現場(クリエイター)と基礎研究(技術者)のコラボレーションを実現する研究組織『デジタルアニメーションラボ』の活動を進めさせていただいているんです」。

【関連リンク】
早稲田大学 理工学部応用物理学科森島研究室
愛知万博の三井・東芝館『グランオデッセイ』
デジタルアニメーションラボ

個人情報保護方針ウェブサイトにおけるプライバシーポリシー 個人情報開示請求について