2011/03/09更新
Computational Photographyとの出会い

Raskar氏の歩みにおける大きな転機となったのは、Computational Photography との出会いだった。前述したように、Raskar氏はコンピューター・ビジョンとコンピューター・グラフィックスの手法を融合させた研究で、早い時期から頭角を現してきた。Computational Photography との出会いは、そのような研究の方向性がCGという分野のメインストリートに歩み出るきっかけになると同時に、Raskar氏が今後長いスパンで追及してゆくべき新たな研究の方向性を見出すきっかけともなったのだ。

Computational Photographyというものが、いつどこで生み出されたのかを断定するのは非常に難しいのだが、公式な場への最初のデビューと言えるのは、2005年5月にMIT で開催された“Computational Photography and Video”というシンポジウムであったと言えそうだ。オーガナイザーはスタンフォード大学のMarc Levoy氏(同氏はそれに先立つ2004年にスタンフォード大学内でも“Computational Photography”というセミナーを開催していた)や、MITのFredo Durand氏らで、Adobe、Microsoft Research、MERLなどがスポンサーとなっていた。「1970年代から1980年代にはCAD/CAMやビジュアライゼーションの分野が、今日では映画やゲームの分野がCG技術の最大のマーケットになっているが、これから10年後には、おそらく一般消費者向けのデジタル・フォトグラフィーやビデオがそれに取って代わるものになるであろう。このような将来的なトレンドの兆候を考えると、今こそまさにコンピューター・ビジョン、コンピューター・グラフィックス、写真技術といったものが一体化されるべき時期だと言える。このシンポジウムは、今後どのようなことが議論されるか察しがつくという意味で、決して新しすぎるものではないと同時に、今この議論をする価値があるという意味で、決して古すぎるものでもない」というのがこのシンポジウムの謳い文句だった。それから数年が経過した今となっても、この文句はComputational Photographyというものの本質を非常にうまく表しているように感じられる。

このシンポジウムには、コンピューター・ビジョン分野を代表するShree Nayar氏や、コンピューター・グラフィックス分野におけるイメージべースト技術の生みの親であるPaul Debevec氏なども参加していた。そして、シンポジウムの最後を飾るパネル・デスカッションをオーガナイズしたのが、MERLのRaskar氏だった。このシンポジウムは、デジタル・フォトグラフィーというものの未来像を両分野の視点からバランスよく捉えた内容だったようだ。その趣旨を受け継ぐかのように、2005年以来、Raskar氏は毎年SIGGRAPHでComputational Photographyというコースを開催するようになった。その一方で、コンピューター・ビジョンの学会においても、Raskar氏が考えるComputational Photographyの理想的なフレームワークを丹念にプレゼンするようになった。これらの活動がComputational Photographyというものの啓蒙に大きな貢献を果たしたことは言うまでもない。

イメージベースト手法との違い

前述したように、Computational Photographyの基本コンセプトは、コンピューター・ビジョンとコンピューター・グラフィックスとが手を取り合って従来のデジタル・フォトグラフィーを改革してゆくところにあった。だが厳密に表現するなら、コンピューター・グラフィックス分野では、1990年代中盤からこの動きが出てきていたとも言える。イメージベーストとよばれる手法がそれにあたる。HDR画像の生成などはその典型的な例だ。HDR画像を用いたイメージベースト・ライティングや、ライトステージなどの手法をComputational Photographyに含める場合もあるが、Rasker氏はこれらのイメージベースト手法とComputational Photographyとの間に一線を引いて考えているようだ。

イメージベースト手法では、基本的には写真撮影そのものは従来のデジタル・フォトグラフィーにのっとって行われる。デジタル・カメラのパラメーターを変えて際限なく撮影を繰り返し、こうして得られた膨大な数の写真の集合を解析して、一枚の写真からだけでは得ることのできなかった情報を復元するというのが、イメージベースト手法の基本的なフレームワークだと言える。Raskar氏が考えるComputational Photographyは、撮影においても解析においても、このような作業負荷を最小限にまで軽減するものでなくてはならない。この目的のためにRaskar氏が提唱するのが“Coded Photography”という考え方だ。また、イメージベースト手法では形状の復元、ライティングの復元、リフレクタンス(反射率)の復元などがそれぞれ個別のフレームワークで考えられていたが、Raskar氏はこれらを1つのフレームワークに統合することを目指している。このためにRaskar氏が不可欠だと考えているのが、もともとはスタンフォード大学のMarc Levoy氏らによって提案された“イン・カメラ(in-camera)のライトフィールド(Light Field)”という考え方だ。Raskar氏がまず着手したのは、前述の2つの考え方、“Coded Photography”と、“イン・カメラのライトフィールド”を融合させたデバイスを考案し、これを用いて、従来の画像処理やイメージベースト手法では不可能であった(もしくは困難を極めた)処理を実用的なレベルで達成することだった。

さらに、Raskar氏が考えるComputational Photographyには、もう一歩先をゆく課題もある。“見る”というのは人間の視覚を通した最もシンプルな体験なのだが、人間は見たものを知覚した後、知覚したなかの特定の情報をもとに、様々な体験をしようとする。見たものに触ろうとしたり、何か欠けていると感じたものを探そうとしたり、見たものを少し作り変えたいと思ったり、例を挙げればきりがない。Raskar氏が目指すのは、このようなより広義な意味での人間の視覚を通した体験を、より高い自由度で、より自動的に操れるようにすることだ。そのためにはまず、人間が望む個々の体験に応じて、人間が知覚したなかの特定の情報(essence)を復元しなくてはならない。それゆえに、Raskar氏はこれを“Essence Photography”とよんでいる。後述するように、Raskar氏は2008年にMIT Media LabのAssociate Professorに就任して自らの研究室をもち、これを契機にEssence Photographyにも取り組んでゆくことになる。

Coded Photography

Raskar氏が提唱するComputational Photographyの大黒柱となっているのが、Coded Photographyの考え方だ。従来のデジタル・フォトグラフィーの手法で通常のデジタル・カメラを用いて撮影した写真の不具合を取り除いたり、もしくはこれらの写真がカバーできない情報を復元したりしようとすると、撮影時のパラメーターの設定を変えて膨大な数の写真を撮影し、さらにこれらの写真に対して非常に複雑な解析を行う必要がある。この問題を解決するために、Coded Photographyでは通常のデジタル・カメラに一工夫加えて、適切にエンコードした形の写真データを採取できるようにする。こうして得られた写真データは、見た目は通常の写真と同様、もしくは通常の写真よりも解読不可能な風体を呈している場合もある。しかし、これをデコードすると(通常の写真よりも)遥かに目的に合った豊かなデータに変貌し、解析のプロセスもよりシンプルにすることができる。


"Coded Exposure Photography: Motion Deblurring using Fluttered Shutter" (Ramesh Raskar, Amit Agrawal, Jack Tumblin, SIGGRAPH2006) (C) ACM2006


上段:Coded Exposure Photographyでは、コードで指定されたタイミングで液体シャッターを開閉させながら撮影を行う。
下段左列:レンズを露出したまま撮影を行ったもの。
下段右列:コードに合わせたタイミングでシャッターを開閉させながら撮影を行ったもの。
撮影画像そのものでは、いずれにも同じようなブラーがかかっているが、ブラーを取り除く処理を加えた場合、左列ではブラーがうまく取り除かれていないのに対して、右列ではブラーがほぼ完璧に取り除かれている。

エンコードというと難しく聞こえるが、実際には白・黒の模様を描いた“コード”を、写真を撮影するいずれかの工程に導入することを意味している。その代表例の1つが、2006年にRaskar氏が発表した“Coded Exposure Photography”という手法だ。この手法の目的は、撮影画像に映っているモーションブラーを取り除くところにある。被写体が動いている場合には、カメラが露出している間のレンズと被写体との位置関係が変化し、これによって撮影画像には被写体の進行方向に沿って近傍ピクセルを平均化するフィルターがかかってぼけを作り出す。このぼけを作り出すフィルタリングでは、画像のなかの周波数の高い部分は切り落とされてしまい、いったん失われた情報を容易に復元できないところにモーションブラーを取り除く難しさがあった。そこで前述の手法では、撮影時に特定のタイミングで何度もシャッターを開閉して、画像のなかの高周波数の部分が失われないようにする。Coded Exposureのコードとは、このタイミングのことを指しており、適切なタイミングでシャッターを開閉して撮影することによって、本来非常に複雑であるはずのモーションブラーを取り除く作業を、シンプルな行列計算で置き換えることができるようになるのだ。

かつてRaskar氏の研究の中心テーマであったプロジェクターを用いたアプローチでは、白黒の模様を描いたコード・フィルムでプロジェクターを覆うという処理が様々な目的で頻繁に導入されていた。Coded Photographyは、Raskar氏が最も得意とする方法論をカメラというデバイスに結びつけたものとも言えそうだ。