新境地における過去の研究の集大成と、新たな展開

2011年のSIGGRAPHでは、2008年以降のMarschner氏の研究の集大成ともいえる論文が発表された。この論文の直接的な目的は“布”のディテールの表現で、布を方向性のあるボリュームと考え、2010年に発表された新RTEをベースにしたレンダリング(マイクロフレークを用いたレンダリング)を適用している。このレンダリング技法では、マイクロフレークの密度や向きの分布を適切にサンプリングすることがレンダリグ結果のリアリズムを高めるための鍵となる。そこで前述の論文では、まずCTスキャンを用いて布のボリューム内の密度の局所的な変化を計測し、この計測結果にフィルタをかけてボリューム内の繊維の向きの分布を算出している。そして、これらの計測データをもとにマイクロフレームの密度や向きの分布を決定するという方法をとっている。

現実世界の物体の局所的な構造をキャプチャーするというコンセプトは、2009年に発表された毛のディテールの論文と共通するものがある。また、“布”のリアリズムをテーマに選んだところには、Marschner氏がその直前に携わってきた布のシミュレーションのプロジェクトの影響も感じられる。この方向性のもとで、動き・形状・質感という3つ要素の融合が成し遂げられる日はそう遠くないかもしれない。

図O-1

図O-2

(Shuang Zhao, Wenzel Jakob, Steve Marschner, Kavita Bala, “Building Volumetric Appearance Models of Fabric using Micro CT Imaging”, Proceeding of SIGGRAPH2011, (c) 2011 ACM, Inc)


ベルベットのようなボリュームのある複雑な質感をもつ布のリアリズムを、その細部に渡って復元するためには、まず図O-1の左のように、CTスキャンによってベルベットの局所的な繊維の密度の分布を測定する。次に、このデータをもとにして図O-1の中央のように、布の繊維の向きの分布を算出する。こうして復元された分布をもとに、ファイバー状にマイクロフレークのサンプリングを行う。これと合わせて、CTスキャンした布を撮影した画像から、色味を決定するパラメータも復元する。そのレンダリング結果がO-1の右である。図O-2の各画像は、(a)絹のサテン、(b)ギャバジン、(c)ベルベット、(d)フェルトを、同じ手法でレンダリングした結果を示している。

さらに、SIGGRAPH2011で発表された前述の手法は、これまでのMarschner氏の研究が触れてこなかった新たな局面も含んでいた。それはメソスケール(meso-scale)の構造の計測・復元という問題だ。CGレンダリングでは物体の見え方を効率的に表現するために、グローバル(global)、 メソ(meso)、ミクロ(micro)という3つのスケールを導入している。たとえばレイトレーシングを用いてレンダリングを行う場合、レイトレーシングそのものは物体をグローバルなスケールで捉えて光との干渉を計算する。物体表面の局所的な構造(ミクロ・スケールの構造)と光との干渉は、BRDF(レンダリング対象がサーフェースの場合)やフェーズ関数(レンダリング対象がボリュームの場合)などによって表されている。だが、ミクロ・スケールの構造は、人間の目には“点”としか認識されない非常に小さなスケールを意味している。物体表面に人間の目が認識できるレベルの細かい凹凸が存在する場合には、グローバルとミクロの中間にあたるスケールの構造(メソ・スケールの構造)と光との干渉も捉えておくと、レンダリング結果のリアリティを効率的に向上させる上で大きな効力を発揮する。

前述のSIGGRAPH2011の手法では、布をボリュームと考え、CTスキャンによってそのメソ・スケールの構造を計測し、これをベースにしたマイクロフレークのサンプリングによって、メソ・スケールの構造と光との干渉も復元していた。これに続いて、SIGGRAPH ASIA2011(12月に香港で開催)でMarschner氏の研究室から発表される論文では、サーフェース上のメソ・スケールの構造を効率的に計測・復元するための興味深いアイデアが提示されている。

この手法では、特殊なライティングのもとで撮影した1枚の画像に写っているサーフェースのミクロ・スケールの構造と、メソ・スケールの構造を同時に復元する。ミクロ・スケールの構造には、最も物理的に正確なBRDFとして知られるマイクロファセット・モデルを適用し、そのパラメータ(“粗さ”を決定するガウス分布の広がり)を復元する。一方のメソ・スケールの構造には、知覚可能な凹凸がどの程度の頻度と強さで現れるかという情報を、周波数スペクトル(frequency spectrum)として復元する。直感的には、これはバンプ・マップの情報を復元することに相当する。

撮影においては、構造を復元すべきサーフェース上の小領域を、黒と白で二分されたエリアライト(step-edge lighting)で照らす。仮にこのサーフェースが完全に滑らかであったとすれば、撮影画像も半分は黒、半分は白に二分される。しかし、現実世界の物体のサーフェースには多かれ少なかれ凹凸(roughness)があるため、撮影画像の白と黒の境界部分には、ちょうどフィルタをかけたような効果が現れる。論文では、まずこのフィルタのかかり具合をミクロ・スケールの構造に起因するものと、メソ・スケールの構造に起因するものに分離する。ミクロ・スケールの凹凸は非常にスケールが小さいため、凹凸による高さの変化をサーフェース上に射影したものは、1つのピクセル内に収まってしまう。したがってミクロ・スケールの凹凸だけであれば、黒と白の境界線は、ブラーをかけたような連続するグラデーションとなる。これに対して、メソ・スケールの凹凸はスケールがある程度大きいため、凹凸による高さの変化をサーフェース上に射影したものは、いくつかのピクセルをまたいで広がってしまう。その結果として、撮影画像は連続するグラデーションではなく、ところどころで色味の明るさの昇順が入れ替わったものとなる。実際の撮影画像にはメソ・スケールの凹凸も加わっている場合がほとんどなので、ところどころで色味の明るさの昇順が入れ替わっている。そこで、この昇順を一方向に正した画像(仮想的にミクロ・スケールの凹凸だけが存在している場合に相当する)を作り出し、この画像の境界部分のブラーを解析してミクロ・スケールの構造を決定するパラメータ(“粗さ”を決定するガウス分布の広がり)を復元する。メソ・スケールの構造を復元するためには、撮影画像から明るさの昇順を一方向に正した画像を差し引いて、仮想的にメソ・スケールの凹凸だけが存在している場合の画像を作り出す。前述したように、この画像では色味の明るさの昇順がところどころ入れ替わっており、どのくらい数多くの場所でどのくらい大きくこの昇順が入れ替わっているかを調べることによって、メソ・スケールの凹凸の分布や起伏のレベルを知ることができ、結果的にメソ・スケールの構造を復元できるのだ。

ミクロ・スケールの構造に関してもメソ・スケールの構造に関しても、撮影画像から光との干渉を復元するためには、本来は、視点方向やライト方向を密にサンプリングして数多くの写真を撮影する必要があり、その作業負荷はかなり重かった。前述の手法では、計測方法にユニ-クな工夫を凝らすことによって、たった1組のライト方向と視点方向のもとで撮影された1枚の画像を用いるだけで、これらの構造の復元を可能にしている。とくにメソ・スケールの構造を直感的にわかりやすい形にモデル化し、モデルの復元に必要な情報を撮影画像から抽出できるようにしたことの意義は大きいといえよう。

思えばMarschner氏のCGにおける最初の研究テーマは、撮影画像からBRDFを復元することだった。前述の手法は、12年の歳月を経て再びこの原点を見つめ直したものという感もある。動き・形状・質感という三位一体の研究の方向性もさることながら、原点を新たな視点から見つめ直した、Marschner氏の視線の今後の行方にも期待したい。

図P

(Chun-Po Wang, Noah Snavely, Steve Marschner, “Estimating Dual-scale Properties of Glossy Surfaces from Step-edge Lighting”, SIGGRAPH ASIA 2011 (c)2011 ACM, Inc)


図Pは、サーフェースの凹凸(粗さ)のレベルがその見え方にどのような影響を与えるかを示したものである。環境マップで照らしたサーフェースを撮影した場合、凹凸がまったくない鏡面のように滑らかなサーフェースであれば、撮影画像は左のように環境マップそのものをワープしたものとなる。サーフェースにミクロ・スケールの凹凸(人間の目が感知しないほど細かい凹凸)だけがあるとすれば、撮影画像は中央のように環境マップにブラーをかけてワープしたものとなる。サーフェースにメソ・スケールの凹凸(人間の目が知覚することのできる細かさの凹凸)があるとすれば、撮影画像は単純に環境マップにブラーをかけるだけに留まらず、部分的にピクセルの色の変化の昇順を入れ替えたものとなる。

図Q-3

(Chun-Po Wang, Noah Snavely, Steve Marschner, “Estimating Dual-scale Properties of Glossy Surfaces from Step-edge Lighting”, SIGGRAPH ASIA 2011 (c)2011 ACM, Inc)


図Pの考察に基づいて、この手法では図Q-1のようにLCDを用いて半分が黒・半分が白のエリアライトに相当するライティング(step-edge lighting)を作り出し、このライティングのもとで反射特性を復元するサーフェースを撮影する。図Pの場合と同様に、もしサーフェースに凹凸がまったくなければ、この撮影画像は一本の境界線で黒・白に二分された画像となる。サーフェースにミクロ・スケールの凹凸のみが存在する場合は、図Q-3(b)のようにブラーがかった画像となる(境界線の周りに黒から白へのグラデーションが生じる)。サーフェースにメソ・スケールの凹凸も存在する場合は、図Q-3(a)のようにブラーがかかっただけでなく、ところどころでピクセルの黒から白への昇順が入れ替わったものとなる。
そこで、まず図Q-3(a)の画像の各行を左から右に向かってピクセル色の黒から白への昇順が一方向になるように並べ換えて、仮想的にミクロ・スケールの凹凸のみが存在するサーフェースを撮影した画像を生成する。図Q-2の青色の実線は、図Q-3(a)のようなもとの画像のピクセル値の分布を示しており、緑色の点線は、並べ換えによって仮想的にミクロ・スケールの凹凸のみが存在する状態となった画像のピクセル値の分布を示している。ミクロ・スケールの凹凸のみが存在するサーフェースの構造は、マイクロファセット・モデルという物理的に正確なモデルによって表されるので、緑色の点線のデータをマイクロファセット・モデルにフィッティングさせてミクロ・スケールの反射特性(BRDF)を復元する。
メソ・スケールの反射特性を復元するためには、撮影画像(図Q-3(a))からミクロ・スケールの凹凸だけが存在する状態の画像(図Q-3(b))を差し引いて、仮想的にメソ・スケールの反射特性だけが存在する状態の画像(図Q-3(c))を作成する。メソ・スケールの凹凸が光と干渉して作り出す効果は、バンプ・マップのような高さの分布で表されるので、ここではこれを1Dの周波数スペクトルとして復元する。そのためには、まず図Q-3(c)をフーリエ変換したもの(図Q-3(d))をiωで割った画像(図Q-3(e))を作成する(=2Dの周波数スペクトル)。図Q-3(e)の中心からの距離を横軸に、中心から一定距離にある円周上の光の明るさの平均値をとったものを縦軸にプロットすることによって、図Q-3(f)のような1Dの周波数スペクトルを算出できる。