今年のSIGGRAPHで発表された技術は、CGの歴史の上では初期から中期にかけて生み出されてきた基礎的な理論を、リアルタイムCGに代表されるような新しい視点から捉えなおし、より実用的な手法に発展させたものが主流だったといえる。その視点はなかなかユニークで、手法自体も映像制作向けのものが多かったようだ。今回は、SIGGRAPH2005で発表された新技術の全貌を、各テーマに分けてレポートする。初回はレンダリング(rendering)の新技術を紹介する。
「伝統的な手法を新しい視点から捉えなおす」という傾向が最も顕著だったのが、レンダリング関連のセッションだった。今年は、レイトレーシングをテーマにしたセッションもいくつか設けられていた。レイトレーシングは、技法そのものとしては80年代前半にすでに定着していたといえるが、これらのセッションでは、path tracing、Metropolis method、Photon Mapping methodなどといった、これまでに考案されてきた手法を融合させ、リアルタイムレイトレーシングを実装する工夫が紹介されていた。
ちょっと毛色の変わったところでは、レイトレーシングを「風化」のシミュレーションに応用した"gamma-ton tracing"という手法も発表された。際立って斬新な手法こそ登場しなかったものの、これらのセッションには、CG技術の基盤となる手法を編み出してきた人々も顔を見せ、また近年では映画VFXなどでも頻繁にレイトレーシングが用いられるようになったこともあって、ハリウッド映画のVFXを担当する技術者なども多数参加しており、活気のあるセッションとなっていた。
古くから研究が進められていた分野で、今年のペーパーセッションに登場したのが「植物」というテーマ。中でも、Microsoft Asiaが発表した"Real-Time Rendering of Plant Leaves"は、葉の表面や表面下での光の散乱を物理的にも正確にモデル化し、これを2002年に発表されて話題となったPRTというリアルタイムGIの手法と結びつけたもので、葉以外のマテリアル（布など）にも応用できるリアルタイムレンダリングの手法として注目を集めていた。
リアルタイムレイトレーシングの最も画期的な手法は、ハードウェアレンダリング（hardware rendering）の分野から登場した。GPUの進化によって、ハードウェア上でレイトレーシングを実装する試みは非常に盛んになってきたものの、ソフトウェアのアルゴリズムと比較すると、まだまだ未熟なものが多かった。しかしながら、今回デンマークのサーランド大学（Saarland University）が発表したRPU(Ray Processing Unit)という手法は、ソフトウェアレンダリング（software rendering）と同レベルのレイトレーシングのアルゴリズムを、初めてハードウェア上で実装したものとなっていた。RPUは、GPUシェーダーの命令集合であるSPU、レイの追跡と交差判定をおこなうTPU、そしてメモリにあたるMPUから成っている。SPUでは、命令をできるだけベクトルとして保持するなど、ハードウェアならではの高速化の工夫がなされており、また命令そのものにも極力ソフトウェアライクな性質が与えられている。TPUでは、空間を分割して階層構造を持たせる手法（kd-tree）が取り入れられており、さらに計算を効率化するため、過去にレイがヒットした地点の情報を一時的にストアしておく領域をMPU内にもたせている。レイトレーシングの高速化の足枷になっている要因が何であるかをしっかりと捉えて、ハードウェアならではの工夫を凝らしてその要因を取り除いている点、kd-treeのように、これまでソフトウェアでしか考えられていなかったアルゴリズムをハードウェア上で実装した点などの意義は大きい。今年最も話題をなった手法の一つだったといえる。
RPUとは全く違った観点から大きな話題となったのが、Pixar社が発表した"Wavelet Noise"という手法だった。80年代前半に考案されたPerlin Noiseは、自然現象を効率的に表現するための手法として長年に渡って活用されてきたが、ディテールの表現とアンチエイリアスの処理とのトレードオフが大きな問題とされてきた。Perlin Noiseが実数空間上で定義されていたのに対して、Wavelet Noiseはこれを波動関数（wavelet basis）の線形結合として表すことによって、上記の問題を解決している。また、２Dのノイズテクスチャを、３Dの物体表面上にタイルのように張り巡らせる場合に、重なった部分での整合性をどう保つかという問題点もうまく解決されている。論文の著者は、Cook-Torranceモデルやdistributed ray tracingで知られるRob Cook。また、映画VFXなどでは未だにノイズ関数の必要性が大きいこともあり、この論文発表の時間になると、同時に多くの人々がホールに詰め掛けた。複雑な理論ながら、プレゼンテーションの巧さもあり、非常に好評を博していた。Renderman上でこのノイズ関数が実装されることを期待する声も大きかった。
"Wavelet Noise"に代表されるように、光が作り出すeffectを、Fourier関数、球面調和関数、Wavelet関数などといった基底関数を用いて展開することによって、長年解決できなかった問題点を解消するというアプローチが、今年は目立っていた。実数空間上ではなく虚数空間（Frequency Space）上で考えることによって自由度が上がり、数学的には問題を単純化できるという利点がある。また、各次数の基底関数は光の周波数と一致しているため、表現したい光の特徴に合わせて、一定領域の光の周波数をうまく捉えるように基底関数を選択し、少ないデータ量で光がつくりだす現象をより正確に近似することができる（注1）。
スタンフォード大学のRen Ngによって発表されたFourier photography（"Fourier Slice Photography"）と呼ばれる手法は、上記のような基底関数を用いたアプローチを、virtual photographyに応用している。この手法では、まず、通常のカメラのレンズに、細かいレンズを格子状に並べた板を取り付けて撮影を行う。これによって、視点位置を微妙に変化させて被写体を捉えた画像が撮影できる。そして、これらの複数の画像からライトフィールド（light field）と呼ばれる４次元関数を復元する。ライトフィールドは、物体表面上の任意の位置を任意の視点から捉えた場合の見え方を表しており、この４次元関数が表す曲面から、与えられたデプスに対応する２次元平面を切り取ることによって、撮影時とは異なったバーチャルなデプスで捉えた画像を作成することができる。上記の論文では、この処理をFourier空間上で行うことによって、同様の処理を実数空間上で行うよりも、遙かに正確な結果を高速に得ることができることを示している。
論文の著者は、昨年のSIGGRAPHでは、光のグローバルなエフェクトを、wavelet関数を用いて表現するための汎用的なパイプラインを発表しており、今年は、前述したray tracingのセッションなどでも、このパイプラインを実用的な視点から応用した手法の数々が発表されていた。今回の"Fourier Slice Photography"の場合も、これを具体的にどのように利用するかという問題よりも、Fourier空間上でライトフィールドを展開するというフレームワークを提示した点が高く評価されていたようだ。
virtual photographyの手法としては、同じくスタンフォード大学から発表された"Dual Photography"という手法も話題となっていた。この手法では、「光の強さはその方向を入れ替えても変化しない」という光の性質（光の相反性：Helmholtz reciprocity）を利用して、一台のカメラで撮影した画像から、任意のライティングと任意の視点のもとで捉えた物体の見え方（reflectance field）を復元する。
手順としては、まずライティングにIBLの考え方を取り入れ、プロジェクターによって画像Aを照らして、この画像を通過した光で物体をライティングする。その一方で、物体を隔ててプロジェクターと反対の方向にカメラを置き、上記のlightingのもとで画像Bを撮影する。画像Aの各ピクセルは個々の方向からのlightingを表していると考えられるため、画像Aと画像Bの各ピクセルの値を用いて、ライト方向を変化させた場合の物体の見え方の変化を表す行列Mを作成できる。
ここで光の相反性をいう考え方を導入すると、行列Mの転置行列は、視点方向を変化させた場合の物体の見え方の変化を表す行列と考えることができる。そして、これらの２種類の行列の各成分を用いて、リフレクタンスフィールドを復元できる。ライト方向を変化させた場合の物体の見え方の変化は、光の線形性という性質から、画像Aを線形補間することによって、より密にサンプリングすることができるが、視点方向を変化させた場合の物体の見え方の変化は、一般的には線形補間によって復元することが難しい。
上記の方法は、光の相反性という性質を導入することによってこの問題点を解決しており、そのユニークなアイデアが話題となっていた。
近年では、HDRIの考え方をビデオ映像と結びつけた手法の研究が盛んになってきたが、今年はこの延長上で、撮影時とは違った任意の露出度で撮影したビデオ画像を復元する手法も登場した（注２）。ここでは、露出を変化させながら撮影したビデオ映像をもとに、これらの画像をフィルタリングすることによって、HDR画像に準じる画像を一時的に復元する。これによって、任意の露出に対応する画像を算出することができ、最終的にはその画像をトーンマッピングによって通常のビデオ映像としてモニターに出力する。フィルタリングの過程で撮影映像のノイズも軽減される。
また、より基本的な研究成果として、カラー画像からモノクロ画像への変換を、人間の知覚に基づいて正確におこなう"Colo2Gray"という手法も発表された。この手法では、カラー画像を、まず人間の知覚に基づいた色空間に変換する。そして、この空間内で、もとのカラー画像と、予測されるモノクロ画像との誤差を、輝度（luminance）と色味（chrominance）の双方をもとに算出し、この誤差を最少にするように最終的なモノクロ画像の色を決定する。カラー画像をモノクロ画像に変換すると、ディテールが失われがちなのだが、この手法を使うとディテールまで正確に復元できる。
テクスチャ（texture）関連にも、ユニークな発想のものが出てきており、1セットのテクスチャから、整合性を保った展開図のようなテクスチャを自動的に作成して、任意の3Dモデルに貼り付ける"Texture Montage"や、3D構造を持ったオブジェクトを任意の曲面上にマッピングとして展開する"Shell Map"などは、実用的な手法として人気が高かった。
全体的に見て今年のSIGGRAPHでは、テクスチャや写真を用いた2Dから3Dへのアプローチに、新しさを感じさせるものが集まっていたようだ。また伝統的な手法を見直したものに関しても、非常に基礎的な問題を解決することを目的としたものと、非常に実用的な手法を提示したものとに大別されていたといえる。レンダリング技術はここにきて一つの節目に達したともいえ、｢伝統的な手法を新しい視点から見直す｣というアプローチが、次なる大きな飛躍への原動力となることに期待したい。
注1）Fourier関数や球面調和関数の場合には、次数の低い基底関数（低周波数）から順に選択しなければならないが、wavelet関数の場合には次数（周波数）に関係なく基底関数を選択できる。
注2）"Video Enhancement Using Per-ピクセル Virtual Exposures"
(Eric Bennet & Leonard MacMillan)
「伝統的な手法を新しい視点から捉えなおす」という傾向が最も顕著だったのが、レンダリング関連のセッションだった。今年は、レイトレーシングをテーマにしたセッションもいくつか設けられていた。レイトレーシングは、技法そのものとしては80年代前半にすでに定着していたといえるが、これらのセッションでは、path tracing、Metropolis method、Photon Mapping methodなどといった、これまでに考案されてきた手法を融合させ、リアルタイムレイトレーシングを実装する工夫が紹介されていた。
ちょっと毛色の変わったところでは、レイトレーシングを「風化」のシミュレーションに応用した"gamma-ton tracing"という手法も発表された。際立って斬新な手法こそ登場しなかったものの、これらのセッションには、CG技術の基盤となる手法を編み出してきた人々も顔を見せ、また近年では映画VFXなどでも頻繁にレイトレーシングが用いられるようになったこともあって、ハリウッド映画のVFXを担当する技術者なども多数参加しており、活気のあるセッションとなっていた。
古くから研究が進められていた分野で、今年のペーパーセッションに登場したのが「植物」というテーマ。中でも、Microsoft Asiaが発表した"Real-Time Rendering of Plant Leaves"は、葉の表面や表面下での光の散乱を物理的にも正確にモデル化し、これを2002年に発表されて話題となったPRTというリアルタイムGIの手法と結びつけたもので、葉以外のマテリアル（布など）にも応用できるリアルタイムレンダリングの手法として注目を集めていた。
リアルタイムレイトレーシングの最も画期的な手法は、ハードウェアレンダリング（hardware rendering）の分野から登場した。GPUの進化によって、ハードウェア上でレイトレーシングを実装する試みは非常に盛んになってきたものの、ソフトウェアのアルゴリズムと比較すると、まだまだ未熟なものが多かった。しかしながら、今回デンマークのサーランド大学（Saarland University）が発表したRPU(Ray Processing Unit)という手法は、ソフトウェアレンダリング（software rendering）と同レベルのレイトレーシングのアルゴリズムを、初めてハードウェア上で実装したものとなっていた。RPUは、GPUシェーダーの命令集合であるSPU、レイの追跡と交差判定をおこなうTPU、そしてメモリにあたるMPUから成っている。SPUでは、命令をできるだけベクトルとして保持するなど、ハードウェアならではの高速化の工夫がなされており、また命令そのものにも極力ソフトウェアライクな性質が与えられている。TPUでは、空間を分割して階層構造を持たせる手法（kd-tree）が取り入れられており、さらに計算を効率化するため、過去にレイがヒットした地点の情報を一時的にストアしておく領域をMPU内にもたせている。レイトレーシングの高速化の足枷になっている要因が何であるかをしっかりと捉えて、ハードウェアならではの工夫を凝らしてその要因を取り除いている点、kd-treeのように、これまでソフトウェアでしか考えられていなかったアルゴリズムをハードウェア上で実装した点などの意義は大きい。今年最も話題をなった手法の一つだったといえる。
RPUとは全く違った観点から大きな話題となったのが、Pixar社が発表した"Wavelet Noise"という手法だった。80年代前半に考案されたPerlin Noiseは、自然現象を効率的に表現するための手法として長年に渡って活用されてきたが、ディテールの表現とアンチエイリアスの処理とのトレードオフが大きな問題とされてきた。Perlin Noiseが実数空間上で定義されていたのに対して、Wavelet Noiseはこれを波動関数（wavelet basis）の線形結合として表すことによって、上記の問題を解決している。また、２Dのノイズテクスチャを、３Dの物体表面上にタイルのように張り巡らせる場合に、重なった部分での整合性をどう保つかという問題点もうまく解決されている。論文の著者は、Cook-Torranceモデルやdistributed ray tracingで知られるRob Cook。また、映画VFXなどでは未だにノイズ関数の必要性が大きいこともあり、この論文発表の時間になると、同時に多くの人々がホールに詰め掛けた。複雑な理論ながら、プレゼンテーションの巧さもあり、非常に好評を博していた。Renderman上でこのノイズ関数が実装されることを期待する声も大きかった。
"Wavelet Noise"に代表されるように、光が作り出すeffectを、Fourier関数、球面調和関数、Wavelet関数などといった基底関数を用いて展開することによって、長年解決できなかった問題点を解消するというアプローチが、今年は目立っていた。実数空間上ではなく虚数空間（Frequency Space）上で考えることによって自由度が上がり、数学的には問題を単純化できるという利点がある。また、各次数の基底関数は光の周波数と一致しているため、表現したい光の特徴に合わせて、一定領域の光の周波数をうまく捉えるように基底関数を選択し、少ないデータ量で光がつくりだす現象をより正確に近似することができる（注1）。
スタンフォード大学のRen Ngによって発表されたFourier photography（"Fourier Slice Photography"）と呼ばれる手法は、上記のような基底関数を用いたアプローチを、virtual photographyに応用している。この手法では、まず、通常のカメラのレンズに、細かいレンズを格子状に並べた板を取り付けて撮影を行う。これによって、視点位置を微妙に変化させて被写体を捉えた画像が撮影できる。そして、これらの複数の画像からライトフィールド（light field）と呼ばれる４次元関数を復元する。ライトフィールドは、物体表面上の任意の位置を任意の視点から捉えた場合の見え方を表しており、この４次元関数が表す曲面から、与えられたデプスに対応する２次元平面を切り取ることによって、撮影時とは異なったバーチャルなデプスで捉えた画像を作成することができる。上記の論文では、この処理をFourier空間上で行うことによって、同様の処理を実数空間上で行うよりも、遙かに正確な結果を高速に得ることができることを示している。
論文の著者は、昨年のSIGGRAPHでは、光のグローバルなエフェクトを、wavelet関数を用いて表現するための汎用的なパイプラインを発表しており、今年は、前述したray tracingのセッションなどでも、このパイプラインを実用的な視点から応用した手法の数々が発表されていた。今回の"Fourier Slice Photography"の場合も、これを具体的にどのように利用するかという問題よりも、Fourier空間上でライトフィールドを展開するというフレームワークを提示した点が高く評価されていたようだ。
virtual photographyの手法としては、同じくスタンフォード大学から発表された"Dual Photography"という手法も話題となっていた。この手法では、「光の強さはその方向を入れ替えても変化しない」という光の性質（光の相反性：Helmholtz reciprocity）を利用して、一台のカメラで撮影した画像から、任意のライティングと任意の視点のもとで捉えた物体の見え方（reflectance field）を復元する。
手順としては、まずライティングにIBLの考え方を取り入れ、プロジェクターによって画像Aを照らして、この画像を通過した光で物体をライティングする。その一方で、物体を隔ててプロジェクターと反対の方向にカメラを置き、上記のlightingのもとで画像Bを撮影する。画像Aの各ピクセルは個々の方向からのlightingを表していると考えられるため、画像Aと画像Bの各ピクセルの値を用いて、ライト方向を変化させた場合の物体の見え方の変化を表す行列Mを作成できる。
ここで光の相反性をいう考え方を導入すると、行列Mの転置行列は、視点方向を変化させた場合の物体の見え方の変化を表す行列と考えることができる。そして、これらの２種類の行列の各成分を用いて、リフレクタンスフィールドを復元できる。ライト方向を変化させた場合の物体の見え方の変化は、光の線形性という性質から、画像Aを線形補間することによって、より密にサンプリングすることができるが、視点方向を変化させた場合の物体の見え方の変化は、一般的には線形補間によって復元することが難しい。
上記の方法は、光の相反性という性質を導入することによってこの問題点を解決しており、そのユニークなアイデアが話題となっていた。
近年では、HDRIの考え方をビデオ映像と結びつけた手法の研究が盛んになってきたが、今年はこの延長上で、撮影時とは違った任意の露出度で撮影したビデオ画像を復元する手法も登場した（注２）。ここでは、露出を変化させながら撮影したビデオ映像をもとに、これらの画像をフィルタリングすることによって、HDR画像に準じる画像を一時的に復元する。これによって、任意の露出に対応する画像を算出することができ、最終的にはその画像をトーンマッピングによって通常のビデオ映像としてモニターに出力する。フィルタリングの過程で撮影映像のノイズも軽減される。
また、より基本的な研究成果として、カラー画像からモノクロ画像への変換を、人間の知覚に基づいて正確におこなう"Colo2Gray"という手法も発表された。この手法では、カラー画像を、まず人間の知覚に基づいた色空間に変換する。そして、この空間内で、もとのカラー画像と、予測されるモノクロ画像との誤差を、輝度（luminance）と色味（chrominance）の双方をもとに算出し、この誤差を最少にするように最終的なモノクロ画像の色を決定する。カラー画像をモノクロ画像に変換すると、ディテールが失われがちなのだが、この手法を使うとディテールまで正確に復元できる。
テクスチャ（texture）関連にも、ユニークな発想のものが出てきており、1セットのテクスチャから、整合性を保った展開図のようなテクスチャを自動的に作成して、任意の3Dモデルに貼り付ける"Texture Montage"や、3D構造を持ったオブジェクトを任意の曲面上にマッピングとして展開する"Shell Map"などは、実用的な手法として人気が高かった。
全体的に見て今年のSIGGRAPHでは、テクスチャや写真を用いた2Dから3Dへのアプローチに、新しさを感じさせるものが集まっていたようだ。また伝統的な手法を見直したものに関しても、非常に基礎的な問題を解決することを目的としたものと、非常に実用的な手法を提示したものとに大別されていたといえる。レンダリング技術はここにきて一つの節目に達したともいえ、｢伝統的な手法を新しい視点から見直す｣というアプローチが、次なる大きな飛躍への原動力となることに期待したい。
注1）Fourier関数や球面調和関数の場合には、次数の低い基底関数（低周波数）から順に選択しなければならないが、wavelet関数の場合には次数（周波数）に関係なく基底関数を選択できる。
注2）"Video Enhancement Using Per-ピクセル Virtual Exposures"
(Eric Bennet & Leonard MacMillan)
（倉地紀子）
