2010/09/08更新

音を描き出す夢の実現 ~前編~

学生らを巻き込んだ、音の研究プロジェクトの発足
前述の研究成果が大きく評価されたことが起因したためか、James氏が押し進める音の研究はコーネル大学の"Sound Rendering for Physically Based Simulation"と題したプロジェクトとして認められ、研究室の博士課程の学生らを導入して、さらに発展してゆくことになった。次々に発表される音の論文のアイデアはすべてJames氏が提供しているのだが、論文を執筆する作業はプロジェクトに参画した学生らに委ねられた。この状況はまさにJames氏がPai氏の研究室にいたころの光景そのもので、学生らには何故James氏がこれほどまでに音の研究に熱意を示すのかがはっきりとは理解できないようでもある。いまだに"音"という研究テーマは、じっくりと取り組むには少し早すぎるテーマであるようにも感じているようだ。とはいえ、こうして発表された論文の数々は、SIGGRAPH ASIA2009をはじめとした主要なコンフェレンスで高く評価されており、学生らは自らのキャリアアップという意味でも現在の研究活動を意義深いものだと捉えているようだ。

James氏がアドバイザーとなって論文を発表してゆくこのプロジェクトの中で、最強のコンビといえるのが、前述のSIGGRAPH2009で発表された水の音の論文のファーストオーサーでもあったChangxi Zheng氏とのコラボレーションだ。Zheng氏はすでにMicrosoftの研究所で数多くの産業的なプロジェクトを経験しており、特にプロセスを高速化するためのデータ構造やアルゴリズムの構築に長けていた。James氏が目指すサウンドレンダリングの産業への導入という観点からすると、"リアルタイム"に通じる"高速化"という要素は最も重要な鍵となる。またZheng氏はコーネル大学の博士課程で学ぶにあたって、将来的な展望をもったテーマを必要としていたことも確かで、それだけに音の研究に対する理解も大きい。 ゆえに、James氏にとってZheng氏とのコラボレーションはとても心強いものだったのだ。

そんな両者のコラボレーションが水の音に続いてSIGGRAPH2010で発表したのが、破壊音を生成する"Rigid-Body Fracture Sound with Precomputed Soundbanks"という論文だった。"破壊"という現象を選択したのには、やはり明確な理由があった。これまでサウンドレンダリングが取り組んできたのは、特定の物体が作り出す音だった。しかし、産業への導入を考えた場合、バーチャルリアリティの分野にせよ、ゲームや映画などのエンタテインメントの分野にせよ、シーンに特定の物体だけが登場するというケースはきわめて稀だ。非常に多くの種類の物体が混在するシーンで、それらがお互いに干渉して作り出す音と映像をパーフェクトにシンクロナイズさせることができてこそ、サウンドレンダリングの真価が発揮されるのだ。"破壊音"の生成はその第一歩にあたるものだった。破壊という現象は、1つの物体が作り出す音からはじまり、続いて物体の破壊が生み出した破片同士が干渉し、やがては人々が当初予測できなかったような複雑な音が作り出されてゆく。この研究は前述のような産業的な目的はもちろんのこと、純粋に学術的なテーマとしても非常に興味深いものであったようだ。

2010年の論文でも、破壊音の生成はCGの破壊シミュレーションのパイプラインに沿って行われた。いうまでもなく、それが映像と音とのパーフェクトな融合の鍵となるのだ。ただし、今回は精度の面でも効率の面でも有効な、いくつかの新たな要素が盛り込まれた。精度の面では、"CGの破壊シミュレーション"なるものに、人間の聴覚が敏感に反応する要素を正確にシミュレートするためのアルゴリズムが加えられている。もう少し詳しく説明すると、これまでのCGの破壊シミュレーションでは、外部からの影響として、干渉する物体同士を引き離そうとする力だけが考慮されていた。確かに人間の視覚はこの影響だけを感知するのだが、聴覚の場合には、破壊の衝撃(fracture impact)が物体の各地点に間接的におよぼす影響も感知することがわかっている。

そこで今回の手法では、破壊の衝撃が間接的におよぼす影響も考慮してCGの破壊シミュレーションの計算を行った。また効率の面でも、前計算の負荷を軽くする要素が盛り込まれた。破壊によって作り出される破片の形状は、前もって予想することができない。作り出されるだろうと考えられる、ありとあらゆる形状に対して前計算を行っておくことは、前計算の計算時間の面でもデータ量の面でもあまりに負荷が重い。そこで今回の研究では実際の破片の形状そのものではなく、その特徴を掴んで単純化した最小限のバリエーションの形状に対してのみ前計算を行い、その結果をデータバンクとして記録しておいた。最終的なサウンドレンダリングでは、このデータバンク内のデータをうまく補間して用いることによって、観測者が感知する音をリアルタイムに算出することができた。このように、実用的な視点に立って、精度と効率の両面からより複雑なシーンに対応するための新たなアイデアが盛り込まれていたのも、今回の論文の特徴といえるだろう。

"Rigid-Body Fracture Sound with Precomputed Soundbanks"
(Changxi Zheng, Doug L. James, Proceedings of SIGGRAPH2010)

CGによる破壊音の生成の研究

上段の画像は、ガラスのテーブルセットが壊れて300個以上の破片として飛び散るアニメーションで、CG剛体シミュレーションを用いて生成されている。下段は音のヒストグラムで、上段のアニメーション生成で用いられたものと基本的には同じ剛体シミュレーションを用いて生成されている。一般的に人間の聴覚は視覚よりも敏感である。この研究の音の生成に用いられた剛体シミュレーションでは、視覚は反応せずとも聴覚は反応するような要素を物理的に正確にシミュレートするプロセスも加えられている。こちらで映像を見ることができる。