s1 トップ
s2 最新情報
s3 解説記事
s4 SIGGRPAH開催と教育関連
s5 CGツール報告
s6 映像レポート
s7 SIGGRAPH2007CFP日本語訳
s8 SIGGRAPH情報
s9 CG-ARTS











SIGGRAPH2007 セッション、論文等に関する報告(2)
2007.09.27

 この数年来、CGの分野で最も活気を帯びていたのが、GPU技術やこれを応用したレンダリング技術の開発だった。もっとも、古くからCG技術の開発に関わってきた人々の間では、「CG技術にも流行がある。今のGPU騒ぎもその一つだ。GPUの次には、またそれに取って代わる何かが出てくるだろう」という冷静な見方が強かった。この見解は的中したようで、昨年あたりからGPU熱も一段落し、それに代わってComputational photography(コンピュテーショナル フォトグラフィ)という新しいジャンルの研究が、人々の熱い視線を浴び始めた。(倉地紀子)

●新たな領域コンピュテーショナル フォトグラフィ
 コンピュテーショナル フォトグラフィという言葉がCGの分野に最初に登場したのは、昨年のSIGGRAPHのコースだったのだが、では他の分野でこの言葉がもっと以前から用いられていたのかというと、そうでもないようだ。実際のところ昨年の秋以降から、IEEEなどでもコンピュテーショナル フォトグラフィの特集が組まれるようになっている「イメージベースド」と同様に、「コンピュテーショナル フォトグラフィ」もCGの分野から生み出されたといえそうだ。
 コンピュテーショナル フォトグラフィという言葉をそのまま解釈すると「画像処理プラスα」という感が強いが、実際にコンピュテーショナル フォトグラフィが目指しているのは、2Dというよりもむしろ3D情報の復元だ。その意味でもイメージベースドと非常に類似している。
 実際のところ、これまでイメージベースドの一手法とされてきたライトフィールドは、現在コンピュテーショナル フォトグラフィの基本概念の一つに分類されており、その一方でIEEEのコンピュテーショナル フォトグラフィの特集にはイメージベースドの生みの親であるポール・デベヴェック氏も参加している。あえていえば、イメージベースドが通常のカメラで撮影した画像を用いているのに対して、コンピュテーショナル フォトグラフィではカメラのレンズやシャッターなどに一工夫凝らしている点が違いだといえるのかもしれない。

●さきがけはライトフィールド・フォトグラフィ
 コンピュテーショナル フォトグラフィのさきがけとなったのが、2005年にスタンフォード大学から発表された「ライトフィールド フォトグラフィ」という論文だった。この論文の手法では、カメラのレンズとセンサーとの間に小さなレンズを格子状に並べたプレートを挿入して撮影をする。そして、このようにして撮影された画像からライトフィールドを復元し、このライトフィールドを用いて、撮影時とは異なった任意のデプスの画像を算出する(バーチャル リフォーカス)。
 同じアプローチを複素空間上で展開して計算工程を効率化した「フーリエフライス フォトグラフィー」は2005年のSIGGRAPHで大きな話題となった。この流れを汲んだ研究が、現在のコンピュテーショナル フォトグラフィの一つの方向性となっている。

●ラスカー氏によるもう一つの方向性
 もう一つの方向性は、MERL(三菱電機研究所)のラメッシュ・ラスカー氏が提唱する「コーデッド コンピュテーショナル フォトグラフィ」というものだ。
 ラスカー氏の専門分野はコンピューター ビジョンだが、数年前からSIGGRAPHでも論文を発表している。コンピューター ビジョンの研究が非常に抽象的であるのに対して、CGの研究はより現実感があり実用性も高い。ラメッシュ氏がCGに興味を持った理由は、そこにあるという。「コンピューター ビジョンの研究とCGの研究を融合させていくことに意義を感じている」のだそうだ。
 実際のところ昨年・今年とコンピュテーショナル フォトグラフィのコースを主催したのも同氏で、コンピュテーショナル フォトグラフィを率先して世に広めようとしている。

●推測を容易にする「コード」
 同氏がいうところのcode(コード)とは、わかりやすくいうと、白黒のパターンのことを意味している。コーデッド コンピュテーショナル フォトグラフィでは、このパターンが描かれたフィルムをレンズやプロジェクターに貼り付けたり、カメラのシャッターをこのパターンに合わせて切り替えたりして撮影をする。
 撮影画像からある情報を復元する場合、これまでは、無作為にランダムに抽出した画像から復元をおこなっていたのだが、この手法では、一定のパターンで情報の復元に適した画像を抽出する。もともと測定によってある情報を復元するということは、測定されたデーターから情報を推測することにほかならない。コードを用いたアプローチでは、推測にとって無駄なデーターを省き、適切なデーターだけを選び取ることによって、この推測を容易にしているといえる。より少ないデーターを用いてより豊かな情報をより正確に復元するというのが、コーデッド コンピュテーショナル フォトグラフィのコンセプトなのだ。

●コードを用いてブラーを取り除く
 コーデッド・コンピュテーショナル・フォトグラフィの代表的な例の一つが、昨年ラスカー氏が発表した 「Coded Exposure Photography」という論文の手法だ。この手法は、画像のブラーを取り除くことを目的としている。
 ブラーを取り除くためには、逆にどのようにしてブラーが発生したのかを知る必要がある。通常はこれを関数の形で復元するのだが、普通のカメラで撮影された画像を用いてこの関数を復元することは非常に難しい。
 そこで、上記の手法では、撮影の間ずっとシャッターを開けているのではなく、一定のパターンでシャッターを開閉しながら撮影する。このようにして撮影された画像を用いると、普通に撮影された画像を用いるよりも、遥かに正確に関数の形を推測し復元できるのだ。
 コーデッド コンピュテーショナル フォトグラフィのもう一つの例としては、やはり昨年発表された"First Separation of Direct and Global Components"という論文の手法がある。発表したのは、コンピューター・ビジョンの分野で著名なコロンビア大学のシェリー・ナヤル氏。この手法は、撮影画像を、直接光の影響だけを表わす画像と間接光の影響だけを表わす画像とに分離することを目的としている。
 ここでは、パターンフィルムで覆ったプロジェクターを通して物体表面に光をあて、2種類のパターンフィルムを切り替えて撮影する。一種類目のパターンの白黒を反転させたものが、2種類目のパターンとなっている。これにより、一種目のパターンでは直接光が当たっていた物体表面上の点(直接光と間接光に照らされている)も、二種類目のパターンでは直接光が当たっていない(間接光だけに照らされている)状態をつくりだす。この2種類のパターンで撮影した画像同士を比較することによって、直接光の影響と間接光の影響を分離することができる。

●コードを用いたセンサーによるモーションキャプチャー
画像1
上図はPrakashのプロジェクターの構造を示したもの。 このプロジェクターでは、LEDが放つ光を、パターンの描かれたスライドマスク(パターンフィルター)を通して空間に投影する。 下図はそのスライドマスクを拡大したもの。横一列に複数のパターンが並んでおり、各パターンの後ろに一つのLEDが配置されている。

画像2
実際の計測では、プロジェクターを立てて用い(したがって、いずれのパターンも白黒のバーが横一列に並んだものとなる)、各パターンの後ろにあるLED(光源)を点滅させることによってパターンを高速に切り替える。タグのセンサーは、パターンを通した光を0と1の並びとして記録する。 この記録は、パターンのバーの並びに並行な一次元の位置情報にほかならない。



 コードを用いたアプローチをセンサーに適用したのが、今年ラスカー氏が発表した「Prakash」というモーションキャプチャー システムだ。この方法でも、複数の異なったパターンフィルムで覆ったプロジェクターを通して、衣服などにつけたタグに向かって光をあてる。
 ただし、ここでは外部カメラを用いた撮影はしない。代わりに、プロジェクターからの光を、タグに取り付けられたセンサーが感知し、光が運んでくる位置情報を記憶する。
 パターンフィルムは白または黒のバーが横一列に並んだものとなっている。バーの並びに並行な横一列の位置を考えた場合、白のバーを通した光が当たる位置にあるタグのセンサーは、光を感知して「1」という信号を記録する。一方、黒のバーを通した光が当たる位置にあるタグのセンサーは、光を感知せず「0」という信号を記録する。
 たとえば5種類のパターンを切り替えて計測した場合には、センサーは「10011」といったようなコードの並びを記録する。そして、このコードの並びは、タグの位置によって変わってくる。
 これにより、センサーが記録したコードの並びをチェックすれば、タグの位置情報を得ることができる。
 実際には、複数のパターンフィルムは一列に並べられており、各パターンフィルムの後ろに設置されたLEDをオンオフすることによってパターンを切り替えている。したがって、実質的には、位置情報を復元する速度を、LEDの点滅速度まで高めることができる。

●コンピュテーショナル カメラによるバーチャルリフォーカス
 コードを用いたアプローチがもっとも顕著だったのが、今年の「computational camera」(コンピュテーショナル カメラ)という論文セッションだった。このセッションの論文は、なんとすべてがバーチャル リフォーカスをテーマにしていた。しかし、同じテーマながら、均一に散りばめられたドットのパターンをプロジェクトする手法、パターンフィルムでカメラのレンズを覆う手法、花弁のように立体的にレンズを重ねたカメラを用いる方法など、実に多彩なアプローチが披露された。
 復元のプロセスが若干複雑であるものの、コードを用いたアプローチの潜在能力を感じさせる内容だったといえる。また、この中の一つは、コードを用いたアプローチとライトフィールドを用いた解析とを融合させており、コンピュテーショナル フォトグラフィの新しい方向性を示唆するものともなっていた。

●ビデオ映像の新たな加工方法
 コードを用いた手法と直接は関連性がないのだが、「video processing」という論文セッションでは、ビデオ映像に関する興味深い方法がMERLから発表されていた。
 屋外で撮影されたビデオ映像を、影・太陽光がつくりだした効果といった細かい要素に分解し、これらの情報から法線情報を復元したうえで、映像の中の物体に任意の反射特性を与えて新しいビデオ映像をつくりだすという方法だ。今のところ制限は多いものの、意欲的なアプローチだと思われた。
 数あるCG技法の中でも、アニメーションするシーンの反射特性の復元というテーマに関しては、いまだに決定的な方法は見出されていない。コードを用いたアプローチが、このような問題を解決するための鍵となることが期待される。

●CGとコンピューター・ビジョンが対等に
 なにぶん産声をあげたばかりということもあり、コンピュテーショナル フォトグラフィは、ジャンルとしての定義も未だに明確には確立していない。ただ、これまでのCGの分野での画像処理やイメージベースドの場合には、どちらかというとコンピューター ビジョンの分野での研究成果の蓄積を導入して発展してきたという経緯があるのに対して、コンピュテーショナル フォトグラフィの場合には、スタート地点からCGの分野とコンピューター ビジョンの分野とが対等に同じ問題の解決に挑んでいる。
 写真を用いた情報の復元という観点から見れば、コンピューター ビジョンの分野における技術の蓄積はCGの分野を遥かに上回っている。その一方で、映像制作における技術の応用という観点では、CGの分野の蓄積が上回っているといえるのだろう。コンピュテーショナル フォトグラフィはこの2つの蓄積のバランスをうまくとって、これまでいずれの分野でも解決できなかった問題点の解決に挑んでいるともいえ、それゆえに大きな将来性が期待されている。未知の可能性を秘めたその研究のゆくえに、今後も着目していきたい。

▲ページトップに戻る