2010/09/08更新

音を描き出す夢の実現 ~前編~

前編では、カーネギーメロン大学(アメリカ ペンシルベニア州)Dinesh Pai 氏から、Doug L. James氏へと受継がれた"教え"の意義が、CGにおける"音"の研究の進化にきわめて大きな役割を果たしたことを紹介した。後編では、Pai 氏の"教え"が世代を超えてJames 氏の研究室の研究者や学生にも受け継がれ、同研究室が挑んでいるサウンドレンダリングの新たな構想の構築に多大な貢献を果たしていることを紹介する。加えて、サウンドレンダリングの産業での実用化を目指したJames氏の挑戦についてもリポートする。
サウンドレンダリングの3段階目の進化の達成

"Harmonic Fluids"(Changxi Zheng, Doug L. James, Proceedings of SIGGRAPH2009)
CGによる水の音の生成の研究

上段の画像は、水道の蛇口から水槽に注ぐ水のアニメーションで、CG流体シミュレーションを用いて生成されている。下段は音のヒストグラムで、上段のアニメーション生成と同じ流体シミュレーションを用いて生成されている。映像と音が同じシミュレーションを共有することによって、両者のパーフェクトなシンクロナイズが達成されている。こちらで映像を見ることができる。

James氏が"音"の研究を意識しはじめたのが、前編で紹介した"Precomputed Radiance Transfer(PRT)"のコンセプトを変形シミュレーションに導入した論文の前であったのか後であったのかは定かではない。SIGGRAPH2003で発表されたこの論文の時点では、PRTの技法をレンダリング以外の分野に応用することへの好奇心も残されていたといえよう。しかし、いずれにしても新たな世代の人々を導いてゆくという立場におかれることになって、長期的な視点で自らの研究の方向性を見直そうと意識しはじめたことは確かなようだ。James氏がこれまで取り組んできたダイナミクスシミュレーションの研究領域にも、まだまだ残された課題は沢山ある。しかし、非常に"革命的"な研究成果を残す余地は次第に少なくなってきている。自分自身のためにも、そして自らが導いてゆく若者のためにも、より"革命的"な研究を行うのに相応しい研究環境を作り出したい。そのための大きな柱として打ち出されたのが"音"に関連した研究だった。

前編で紹介してきたように、サウンドレンダリングそのものは比較的長い歴史をもってはいるのだが、その研究はいまだに実験的な段階に留まっている。CGにおける音の研究をより実用に即した段階に昇華させ、実際にそれを特定の産業プロジェクトの中で実用化してゆくまでには、まだまだ数知れない"革命的"挑戦が必要とされる。

研究室としてそのための充実した環境を準備することは非常に大きな意味をもっている。また、現在のサウンドレンダリングは物理シミュレーションと二人三脚で歩みを進めている。"音"という新しい視点から物理シミュレーションを見直すことは、伝統的なダイナミクスシミュレーションを学ぶためにも非常に魅力的な環境といえるのだ。

そして、このような構想の第一歩としてSIGGRAPH2009で発表されたのが、水の音をシミュレートする"Harmonic Fluids"という論文だった。水の音には様々な種類があるが、この論文では蛇口からしたたる水の雫の音や、蛇口から勢いよく流れ出す水が作り出すしぶきの音といった、人々が日常生活でよく耳にしている音がターゲットとされた。このような音をターゲットとしたのには、れっきとした理由があった。ターゲットの選択にあたっては、生成に高度な技術を必要とする音への挑戦が意図されていた。それと同時にJames氏は、技術的挑戦の結果を産業に生かしてゆくことも強く意識していた。サウンドレンダリングと産業との橋渡しを実現するためには、まずは人々にサウンドレンダリングがもつ意義を知ってもらう必要がある。研究成果を通して、サウンドレンダリングの知名度や話題性を高めることも意図されていたのだ。そのためには、人々が日頃からよく耳にしている代表的な音をターゲットとするのが最も効果的であろうと考えたのだった。

この研究の技術的挑戦は、"水が発する音"をどのようにモデル化するかというところから始まった。固体の物体の場合には、物体表面の振動が音源となる。水の場合にも水面の振動が音源となるのだが、複雑に形状が変化する水面の振動を直接捉えようとすると、どうしても無理が出てくる。そこでこの研究では、水中に空気が入り込んで作り出す小さな球状の気泡(アコースティック・バブル:Acoustic Bubble)の表面の振動を音源として想定した。形状が単純なアコースティック・バブルの振動は、シンプルな数式で表すことができた。続いて、このバブルの振動が水面に作り出す振動が計算された。バブルが水中で作り出した振動が、水面に向かって伝達する途中でどのように変化するかを物理的に正確に計算するには、波動方程式を解く必要があった。しかしその計算負荷は非常に重くなるため、前編で紹介したPAT同様に、この研究でも仮想音源を用いて波動方程式の解を近似する方法が用いられた。この方法によっていったん水面の振動を算出し、次に水面の振動が観測者の耳に到達するまでの振動の変化を計算した。この計算はPATの場合とまったく同様に、マルチポールを用いることができた。アコースティック・バブルの動きは、CG流体シミュレーションを用いて作り出された。したがって、前述の振動の伝達工程の計算は、CG流体シミュレーションのループ内におけるすべてのバブルの計算と並列で行われた。これにより、計算効率が著しく高まっただけでなく、算出された音がCG流体シミュレーションの生成するビジュアルとパーフェクトにシンクロナイズすることを可能にした。

実際のところ、この研究成果をプレゼンした映像は、精度の高いシミュレーションにぴったりとマッチした音が加わることによって、アニメーションのリアリティがきわめて高まることを明示しており、SIGGRAPH2009では非常に大きな話題となった。前編で紹介したように、これが3段階目のサウンドレンダリングの進化に相当した。この研究が、CGにおける音の研究カテゴリの位置付けを大きく変えていったことはいうまでもない。