2010/09/01更新
CGにおける

"Harmonic Fluids"(Changxi Zheng, Doug L. James, Proceedings of SIGGRAPH2009)

CGによる水の音の生成の研究
上段の画像は、水道の蛇口から水槽に注ぐ水のアニメーションで、CG流体シミュレーションを用いて生成されている。下段は音のヒストグラムで、上段のアニメーション生成と同じ流体シミュレーションを用いて生成されている。映像と音が同じシミュレーションを共有することによって、両者のパーフェクトなシンクロナイズが達成されている。こちらで映像を見ることができる。

CGにおける"音"の研究は、一般的には"サウンドレンダリング"という名称でよばれている。"サウンドレンダリング"は、1990年代初めに登場した同名の論文がその発祥となっており、CGアニメーションにうまくシンクロナイズした音を生成することを目的に誕生した。当初は物理的な正確さはあまり重要視されていなかったが、時代が進むにつれてシミュレーション的な要素をより多く取り入れ、物理的に正確なシンクロナイゼーションを可能にすることが求められるようになった。

その研究の進化は大きくは3段階に分けられる。1段階目では、CGの物理シミュレーションの結果をもとにして物理的に正確に音を生成するアルゴリズムが考案された(2001年)。2段階目では、CGレンダリングの手法からヒントを得て、生成した音波が人間の耳に到達するまでの変化を物理的に正確に計算するアルゴリズムが考案された(2006年)。そして3段階目では、1段階目と2段階目で考案されてきた手法をさらに成熟させて、1つのシミュレーション・パイプラインの中でCGアニメーションとそれに呼応した音を同時に生成してゆくアルゴリズムが考案された(2009年)。

3段階の進化を経て、グラフィックスと音との完全な融和が可能になったことの意義は大きかった。実際に、3段階目の進化を成しとげた2009年のSIGGRAPH論文が示した映像は、映像と完璧にシンクロナイズした音の存在がいかにアニメーションのリアリティを高めるかということを明示していた。この進化は、これまでCGの分野においてどちらかというと"亜流"とされてきたサウンドレンダリングの研究を表舞台へといざなうことにもつながっていったのだ。そして、この3段階目の進化を担ったのが、James氏の研究室だ。

世代を超えて受継がれる
James氏本人は、前述した2段階目の進化を成しとげた2006年のSIGGRAPH論文の執筆者でもある。こう聞くと、あたかもサウンドレンダリング一筋に歩んできたかのようにも思われがちだが、決してそうではなく、前述の2006年の論文を発表するまでは、一貫して変形シミュレーションの研究に専念してきた。ただし、その当時主流であった変形シミュレーションの研究とは少し違った路線を歩んできたともいえる。当時主流であった変形シミュレーションの技術的チャレンジは、限られた計算時間でどこまで物理的に正確なシミュレーションを達成できるかという点にあった。これに対して、James氏の研究では物理的正確さの追求以上に"リアルタイム"や"インタラクティブ"という要素が重要視されていた。今でこそ"リアルタイム"や"インタラクティブ"という要素に着目することが当たり前のようになってきたが、1990年代後半の時点ではこの方向性の研究はまだまだきわめて稀有な存在であったといえる。そして、このように決して主流の路線ではなかったにもかかわらず、1999年からほぼ毎年のようにSIGGRAPHで論文を通してきた。

そのユニークな研究路線は、もちろん直接的にはJames氏本人によって作り出されていったものだが、当時同氏が所属していたカーネギーメロン大学(アメリカ ペンシルベニア州)Dinesh Pai 氏の研究室の研究体制が大きな影響を与えていたことも確かだった。いかなるテーマの研究においても、Pai 氏はユーザとの間のインタラクションというものを第一義と考えた。物理シミュレーションにしても、あくまでユーザが与えた刺激に対する反応を最も望ましい形で自動計算するための1つの方法論にすぎないと考えていた。1999年からJames氏が考案し続けた変形シミュレーションの手法は、ユーザが高い自由度で物体に与えた刺激が引き起こす変形という現象を、いかにして物理的な正確さを犠牲にすることなくリアルタイムに算出するかということが常にテーマとなっていた。この研究路線には、研究生活の初期にPai 氏の指導を通して伝えられた同氏のフィロソフィーがダイレクトに反映されているといえる。

その一方でPai氏は、CGの歴史のうえで最も早期から触覚や聴覚といった視覚以外の人間の五感と、CGとを結びつける研究を積極的に行ってきた研究者でもあった。ゆえに必然的にPai氏の研究室で学ぶ学生や研究者も、多かれ少なかれこの方向性の研究に巻き込まれることになったようだ。実際のところ、前述したサウンドレンダリングの1段階目にあたる進化を作り出した代表的な論文の1つも、Pai氏の研究室から発表されたものだった。また James氏自身も、2000年初頭に触覚と聴覚の両者をCGと結びつけた論文をPai 氏と共著で発表した経緯がある。もっとも当時の James氏にとって、これはきわめて不可解な論文だったようだ。"音"の研究に取りくむうえで非常に恵まれた環境だったにもかかわらず、当時はまったく"音"の研究には関心を抱かなかったという。しかしこの時期の体験を通して知らず知らずのうちに身についたものが、現在James氏が挑んでいるサウンドレンダリングの新たな構想を築いていくうえで、きわめて大きな役割を果たしていると、今ようやく実感しているそうだ。そして今日のJames氏の研究室では、まさにかつてのPai氏の研究室を髣髴とさせる光景が展開されている。時代の流れや世代を超えて受継がれてゆく"教え"の意義は実に大きいようだ。