バーチャル・リアリティからアートまで～広範囲な守備領域
Computational Photographyとの出会い
イメージベースト手法との違い
Coded Photography
ライトフィールドとの融合
新たな転機と真のゴールの探求
"Light Field Photography with a Hand Held Plenoptic Camera" (Ren Ng, Marc Levoy, et al., Stanford University Computer Science Tech Report CSTR 2005-02April, 2005)
上段：ライトフィールドを活用したデジタル・リフォーカスの手法では、メインレンズ上の各位置と、センサープレーン上の各位置を結ぶレイの集合によって、カメラ内部にライトフィールドを構築する。このライトフィールドにせん断をかけることがデジタル・リフォーカスの処理に相当する。
中段：前述のようなライトフィールドを構築するために、Light Field Photographyでは、メインレンズとセンサープレーンとの間にマイクロレンズの配列を挿入する。
下段：その結果、センサープレーン上にはマイクロレンズの数だけ小さな画像（マイクロレンズイメージ）が作り出される。マイクロレンズイメージの各ピクセルは、メインレンズの各位置に対応しているため、センサープレーン上に作り出された各マイクロレンズイメージの各ピクセルの値を対応するレイにあてがうことによって、ライトフィールドが構築できる。
Raskar氏が提唱するComputational Photographyのもう1つの大きな柱が、カメラ内部にライトフィールドを構築するという考え方だ。ライトフィールドとは、2つの2D平面上のサンプル点どうしを結ぶレイの集合で、各レイにはこのレイを伝達する光の強さを表す4次元関数が与えられている。ライトフィールドの発祥は、1996年にスタンフォード大学から発表された“Light Filed Rendering”という論文にあった。その直接的な目的はイメージベースト・レンダリングで、この論文では様々な視点から物体表面の各部分を捉えた画像を用いて、物体表面上の位置を表す平面と視点方向を表す平面との間のライトフィールドを構築し、任意の視点から捉えた物体全体の見え方を算出することが目的となっていた。ライトフィールドの考え方そのものは、理論的見地からその後様々なレンダリング手法に大きな影響を与えていったが、イメージベースト・レンダリングという観点からすると、十分な精度のライトフィールドを構築するためには様々な視点から物体表面の各部分を捉えた膨大な量の写真を撮影しておく必要があるため、あまり実用的な手法とは評価されなかったようだ。
しかし、それから10年を経て、同じくスタンフォード大学から、今度はまったく違った見地からライトフィールドの実用性をアピールする手法が発表された。それが“Light Field Photography”という論文だった。この論文では、メインレンズ上の位置を表す平面と、センサープレーン上の位置を表す平面とを結ぶレイの集合でライトフィールドを構築し、このライトフィールドを用いて効率的にデジタル・リフォーカスを行う方法が紹介された。要となるのはライトフィールドの構築方法で、ここではメインレンズとセンサープレーンとの間に小さなレンズ（マイクロレンズ）を格子状に並べた板を挿入することによって、一度の撮影で十分な精度のライトフィールドを構築することを可能にした。なおかつ、このようにして作成したライトフィールドを用いると、メインレンズを仮想的にマイクロレンズの口径と同じだけ絞り込みリフォーカスした場合と同様の、シャープな画像が得られるという利点もあった。カメラに一工夫加えることによって、従来の方法では不可能であった処理を可能にしたという意味で、Light Field Photographyは初期のComputational Photographyを代表する手法としても高く評価されたのだった。
Raskar氏は前述のLight Filed Photographyから大きな感銘を受けたようで、2007年には前述のようなマイクロレンズを並べた板の代わりに、コード・マスクを挿入することによってカメラ内部のライトフィールドを構築し、デジタル・リフォーカスを行う手法を発表した。これを皮切りにCoded Photographyとライトフィールドの考え方を融合させた、ユニークなデバイスを次々に発表してゆくことになる。
"Dappled Photography: Mask Enhanced Cameras for Heterodyned Light Fields and Coded Aperture Refocusing"
(Ashok Veeraraghavan, Ramesh Raskar ,Amit Agrawal, Ankit Mohan, Jack Tumblin, SIGGRAPH2007)
(C) ACM2007
Dappled Photographyでは、メインレンズとセンサープレーンの間に（マイクロレンズの配列の代わりに）コード・マスクを挿入して、デジタル・リフォーカスを行うためのライトフィールドを構築する。Coded Photographyとライトフィールドの考え方を融合させた手法となっている。
これまで見てきたように、Computational Photographyとの出会いは、Raskar氏のこれまでの蓄積をベースにして、同氏がコンピューター・グラフィックスという分野の主軸として活躍するきっかけとなった。献身的と言えるほどのComputational Photographyの啓蒙には、自己目標の達成と背中合わせの相乗効果もあったように思われる。このような活動が評価されたこともあったのか、2008年には念願叶ってMIT Media LabのAssociate Professorに就任した。MERL時代から、Raskar氏は研究をチームワークで行うことに長けていたようだ。研究における大きなスケールの発想やエンタテインメント性豊かな人間性は、チームの研究達成意欲を向上させるうえでも大きな役割を果たしていたようだ。
それゆえか、MIT Media Labに加わるとすぐに、Raskar氏は“Camera Culture Group”と名付けたラボを開設して、そこに若手の研究者やPh.Dの学生の参加をつのった。“教育”といった堅苦しいシチュエーションよりも、若い才能とチームを組んでComputational Photographyの未来形にあたる研究を押し進めてゆきたいという想いがあったのかもしれない。実際のところ、この時期からRaskar氏は研究のアウトプットを具体的なソーシャル・コミュニケーションのなかに設定してゆくようになった。新たなデバイスや技術の考案が人間の“文化”をつかさどるためにどれだけ貢献できるかを測る、新たな挑戦とも言える。後編では、このあたりに関するRaskar氏の活動の近況を紹介したい。
インドのCollege of Engineering, Pune（Department of Electronics and Telecommunication）でロボット工学を学んだ後、博士号取得のためアメリカに渡り、University of North Carolina at Chapel Hillでコンピューター・ビジョンとコンピューター・グラフィックス（CG）を学ぶ。2000年にMERL（Mitsubishi Electronic Research Laboratory）に加わり、数々の名誉ある業績を残すと同時に、Computational Photographyという新たな研究分野の確立・発展に大きく貢献する。2008年にはMIT Media LabのAssociate Professorに就任。"Camera Culture Group"と名付けた研究室を開設し、Computational Photographyの未来を担う研究（Computational Light Transport)を続けている。名著と噂される著書"Computational Photography"（AK Peters）の発売も、この夏予定されている。研究や教育活動の詳細はこちらで紹介されている。
