s1 トップ
s2 最新情報
s3 解説記事
s4 SIGGRPAH開催と教育関連
s5 CGツール報告
s6 映像レポート
s7 SIGGRAPH2007CFP日本語訳
s8 SIGGRAPH情報
s9 CG-ARTS











コース・論文・テクニカルスケッチの傾向(2) 画像処理の技術を実用に結びつけたイメージ ベースド技術
2007.07.12

 前回に続いて、今年のSIGGRAPHのコース、論文、スケッチについて事前に入手、あるいはインタビューなどをした情報をもとに紹介する。(倉地紀子)

■ポール・デベヴェック氏がCAFのchairを担当
 コースに関しては、それほど大きな変化はないようだ。西海岸での開催にしては、「伝統的」といえるテーマが主流となっている。昨年新しく開設されたcomputational photographyのコースは、初日のフルコースとして登場し、すっかり定着した感がある。映画関連のコースは「シュレック3」のみで、これも初日にハーフコースとして開催される。
 毎年おなじみのコースの中で、昨年姿を消していたフォトンマッピング法が今年は初日に復活するが、HDRI/IBL(HDRI=high dynamic range image、ハイ ダイナミック レンジ イメージ/IBL=image based lighting、イメージ ベースド ライティング)のコースが今年は開催されない。
 このコースのオーガナイザーといえば、いわずと知れたポール・デベヴェック氏(Paul Debevec)なのだが、同氏は今年コンピューター アニメーション フェスティバル(CAF)のchair(実行委員長)を担当する。コースとアニメーション フェスティバルの両者を掛け持ちすることは難しいため、今年はコースを断念したようだ。イメージベースドの技術の生みの親として知られるデベヴェック氏だが、同氏が生み出した技法は、いずれも、論文によってというよりも、その技法を用いて作成したショートフィルムによって世に広く知られるようになった。そして、これらのショートフィルムが最初に上映されたのが、SIGGRAPHのエレクトロニック シアターだったのだ。そのためか、デベヴェック氏自身、今回アニメーション フェスティバルの主催者に任命されたことを、ことのほか光栄に感じており、その重要度はコースを上回るものだったようだ。
 SIGGRAPHのアニメーション フェスティバルでは、他のアニメーション フェスティバルと比較して、技術的な側面を重視した作品も数多く選ばれる。デベヴェック氏がchairを務めること自体、このようなアニメーション フェスティバルの特徴をよくあらわしているといえるのだろう。実際のところ、今年のテクニカルスケッチには、コンピューター アニメーション フェスティバルと題した講演も設けられており、受賞作品を作成したスタッフがそのメイキングを披露する。これまでは「大賞」と「審査員賞」の2つだけだったが、今年はもうひとつ、アワード オブ エクセレンスいう賞が加わる。3つの賞の中では最もアート性を重視したものとなっているようだ。今年のイマジナの学生部門で受賞し、大賞を越える傑作といわれた作品が、この賞を受賞しているところも興味深い。

■論文セッションで「イメージ ベースド モデリング」が復活



(写真1、2)
撮影時とは違う視点からのモデルを復元する場合には、基本的には複数の視点から撮影した画像が必要となるが、視点が変わって欠けている部分をスケッチで補うこともできる。 撮影時とが季節の違う木を復元する場合にも、欠けている部分をスケッチで補って復元できる。

(写真1)左:撮影画像、右:復元されたモデル
(写真2)左下:撮影画像 左上:スケッチ 右:撮影画像とは違う季節の木を復元したもの
“Approximate Image-Based Tree-Modeling using Particle Flows” (Proceedings of Siggraph2007, Boris Neubert, Thomas Franken, Oliver Deussen)より

 HDRI/IBLのコースは姿を消しているものの、デベヴェック氏が生み出したイメージベースドの技術の数々は、より映像制作に適した手法へと歩みを進めている。今年の論文セッションにはイメージ ベースド モデリングというテーマが復活し、ここでは、撮影画像をもとにして、フォトリアルな「木」のモデルを復元する方法が複数発表されている。映画VFXでも、少し前までは、CGによる環境の復元といえば「建物」だけを復元するケースが多かったが、最近は建物の周りに茂っている木々もCGで復元することが増えてきている。
 フォトリアルな「木」をより効率的に復元する手法への要請は高まっているといえるのだろう。これは3DCG映画においても同様で、実際のところ、現在ジェームズ・キャメロン監督が制作中の3DCG映画では、映画「キングコング」でゴリラや人間のフォトリアルな毛の表現方法を編み出した技術スタッフが、フォトリアルな木を自動生成するためのアルゴリズムに悪戦苦闘しているのだそうだ。
 今回の論文セッションで発表される手法の中でも、特に興味深いのが撮影画像と流体の考え方を導入したパーティクル シミュレーションとを結び付けた手法だ。この手法では、パーティクルを用いた流体シミュレーションによって、自然物として最も均衡のとれた葉や枝の状態を探りだしていくのだが、その「種」となる、各位置でのパーティクルの密度などの情報を、実際に木を撮影した画像から割り出している。イメージ ベースド モデリングというと、撮影画像から、直接モデルの3D情報を割り出すというのが一般的であったのに対して、少しコンセプトの違う面白い手法だといえる。また、これまでは、シミュレーションを用いた木のモデリングというと、植物の成長をシミュレートしたものが主だったが、今回のようにパーティクル シミュレーションを用いた方法は、植物成長のアルゴリズムを用いたものよりも遥かに自由度が高いことも大きな特徴となっている。

■進化したライトステージの活用法
 デベヴェック氏が生み出した手法で、このところ映画VFXで大活躍しているのがライト ステージを用いた顔の質感の復元方法だ。「スパイダーマン2」で初めて実用化されて以来、「キングコング」「スパイダーマン3」とさらにその活躍の幅と広げている。そして、このライトステージを用いて技術にも新たな動きが出てきている。
 今年の論文セッションで、デベヴェック氏の研究室(USC ICT)とMERLが共同で発表したのは、ライトステージの計測データーを用いて、ビデオ撮影された表情の変化を表わすパーフォーマンス シーケンスをリアルタイムにリライティングする手法だ。この方法では、まずライトステージを用いて、計測モデルの顔のあらゆるライト方向と視点方向における見え方を復元しておく。そして、これらのデーター画像の中から、ビデオ撮影した視点方向とライト方向に最も近い画像を一枚(パフォーマンス イルミネーション画像)、同じ視点方向でリライティングした最終的なライト方向に最も近い画像を一枚選び出し(ターゲット イルミネーション画像)、2枚の画像の各ピクセルの値の比をとった画像を作成する。
(写真3) (写真4) (写真5) (写真6)
“Pos-production Facial Performance Relighting using Reflectance Transfer” (Proceedings of Siggraph2007, Pieter Peers, Naoki Tamura, Wojciech Matusik, Paul Debevec.)
(写真3)ライトステージで撮影した、ターゲット イルミネーション(リライティング後のイルミネーション)での計測モデルの顔
(写真4)ビデオ撮影した、パフォーマンス イルミネーションでの俳優の顔
(写真5)パフォーマンス イルミネーションでの見え方とターゲット イルミネーションでの見え方の比を表わす画像
(写真6)(写真4)と(写真5)を掛け合わせたものが、ターゲット イルミネーションでの俳優の顔の画像

 この比を表わす画像は、リライティングによって、画像の各ピクセルの色がどのように変化するかを表している。次に、計測モデルの顔をビデオ撮影した人間の顔に合わせるため、パフォーマンス イルミネーション画像をビデオ撮影したキーフレームの画像にワープする。ワープした画像に上記の比を表わす画像(この画像もビデオ撮影した人間の顔に合うようにワープしておく)を掛け合わせたものが、ビデオ撮影したシーンをリライティングした場合の見え方を表わす画像となる。
 リライティングによる見え方の変化をピクセル同士の比によって近似したり、モデルの幾何学的な変化をワープという2次元処理で近似することによって、上記の各フレームの処理は非常に単純な演算となる。このため、GPU上のリアルタイム処理として実装できる。ライトステージを用いたパイプラインがリアルタイムに対応したのはこれが初めてでもあり、その意義は大きいといえる。
 また、前回紹介したLightspeedの例を見てもわかるように、映画VFXなどの映像制作の現場では、ライティングの変化によるシーンの見え方の変化を、インタラクティブにフィードバックできるようにすることへの要請が急速に高まっている。上記のライトステージを用いたリライティングの手法は、このような要請にも答えることができそうだ。現状では若干制限も多いよういだが、今後の展開が期待される。
 ライト ステージを用いた質感の復元では、撮影画像をディフューズ成分とスペキュラー成分に分離する工程が非常に重要だ。この分離を正確におこなっておくことが、復元の精度を決定するともいえる。今年のテクニカルスケッチでは、デベヴェック氏の研究室から、この分離に関する新しい手法も発表される。また、同研究室からは、立体映像に関連した新しいシステムも発表されており、このところ関心の高まっている立体映画での実用化も目指されている。
(写真7) (写真8) (写真9) (写真10) (写真11)
ライトフィールドの考え方を用いた3Dディスプレー。物体を2台のステレオカメラで同時に捕らえて(写真9)、視点を地軸の周りに移動させた場合(写真7、8)と、地軸に垂直な軸の周りに移動させた場合(写真10、11)の見え方の変化を、同時に復元する(結果的には360度の視点の変化をリアルタイムに復元できる)。
“Rendering for an Interactive 360o Light Field Display ”(Proceedings of Siggraph2007,Andrew Jones , Ian McDowall , Hideshi Yamada, Mark Bolas, Paul Debevec)より

■イメージ ベースドはcomputational photographyのさきがけ
 CGの分野でイメージベースドと呼ばれている手法は、もともとはコンピュータ ビジョンの分野で培われてきた理論を導入しつつ発展してきた。 このためか、コンピュータ ビジョンの分野の研究者からは、独創性のない研究だといわれたことさえあった。 ところが、時代を経て、現在ではコンピュータ ビジョンの分野の研究者が続々とCGの分野の研究にも乗り出すようになり、その結果computational photographyのような新しい研究カテゴリーが生み出された。 以前にデベヴェック氏は、確かにコンピュータ ビジョンの分野の研究者は深い知識と洞察力を持っているが、コンピュータ ビジョンの分野の研究そのものが、実際に映像を作り出すうえでどれだけ貢献できるかは疑問の余地が多い。 やがて彼らもそれに気が付くことだろうと語っていた。 その言葉は、まさに現実となったのだ。実際のところ、computational photographyのコンセプトが、デバイスに工夫を凝らして撮影画像を映像制作により有意義なものに生まれ変わらせるというものであるとすれば、ライト ステージはまさにこれにあてはまる。 デベヴェック氏の研究は、CGにおけるイメージ ベースドの研究の基礎を基づいたと同時に、computational photographyの先駆けであったともいえるのだろう。

▲ページトップに戻る