HOME > 研究科ニュース

研究科ニュース

文部科学省・文部科学大臣表彰科学技術賞(研究部門)受賞研究
「CG映像制作のための演出技術の数理モデルに関する研究」の紹介

写真:土橋 宜典 准教授


情報科学研究科 メディアネットワーク専攻
情報メディア環境学研究室・准教授
博士(工学)  土橋 宜典

はじめに

受賞式会場での記念撮影(左から、土橋、落合、安生)
受賞式会場での記念撮影(左から、土橋、落合、安生)

平成26年度科学技術分野の文部科学大臣表彰(研究部門)を受賞させて頂きました。この受賞は、ポケットモンスターの映像制作会社で知られる(株)オー・エル・エム・デジタルの安生健一氏、数学の専門家を集めた九州大学マス・フォア・インダストリ研究所の落合啓之氏と私とによる共同研究「CG映像制作のための演出技術の数理モデルに関する研究」(以下、本研究)が評価されたものです。ここではその研究内容について紹介します。

CG(Computer Graphics)による映像生成は飛躍的な進歩を遂げましたが、誰でも簡単に映画のような映像を作るというわけにはいきません。映像を見る側のための技術は多く開発されましたが、作る側のための技術が不十分だからです。私達の研究はこの問題の解決を目指したものです。特に、CGにおいて重要かつ困難な表示対象である流体とキャラクターに注目し、映像の作り手の意図を直接的・直感的に指示できる新しい数理モデルを構築しました。

流体やキャラクターの映像表現を行う手法は数多く提案されており、リアルな画像からアニメ的な表現まで、さまざまな映像を作成することができます。しかし、目的の映像効果を表現するためには、さまざまな計算条件やパラメータを試行錯誤的に調整する必要があります(図1)。これは作り手にとって大きな負担で、苦痛を伴う作業となっていました。ユーザは計算条件とパラメータの探索という非人間的な作業に膨大な時間を費やすことを強いられます。私達は、このような単純作業は人間よりもむしろ計算機の方が適していると考えました。そこで、問題を逆に捉えて、目的を計算機に与え、それを実現するパラメータを求めさせる、という逆問題を解くことにしました。ただ、この逆問題は解くことが難しく、表示対象や状況によって問題設定もさまざまなものがあります。こういった複雑な問題をとくためには、数学が大きな力を発揮します。そこで、映像制作者、CG研究者、数学者とが協力し、さまざまな手法を考案しました。以降、流体の表現とCGキャラクタの表現、それぞれについて、いくつか研究事例を紹介します。

fig1
図1:CG映像の作成過程。指定されたパラメータに応じてCG画像が生成されます。目的の映像が得られるまで試行錯誤的にパラメータを調整しなければなりません。

流体の表現

流体の映像表現では、実写並みのリアルな映像を得るため、流体の動きを物理シミュレーションによって計算することが行われています。流体の動きはナビエ・ストークス方程式と呼ばれる微分方程式を計算機を使って解くことで求められます。しかし、この計算は非常に複雑で、どのような結果が得られるかは解いてみなければわかりません。また、その結果から流体の色や明るさを計算して画像として出力する必要がありますが、これも複雑な方程式で表され、やはりどのような結果になるかを予測するのは簡単ではありません。さらに悪いことに、これらの処理は計算時間がかかるため、目的の効果を得るためのパラメータ調整は苦痛以外のなにものでもありません(私達自身も体験しました)。そこで私達は目的の動きや形、色を生成するためのさまざまな方法を考案しました。

雲のシミュレーションを例に挙げて説明します(図2)。雲の動きは大気の速度や温度、水蒸気量や水滴量を計算することでシミュレーションできます。しかし、その結果どのような形の雲ができるかを予測することは不可能です。天気予報が完全には当たらないのと同じことです。そこで、私達は指定された形を形成するよう雲のシミュレーションを制御する方法を考案しました。雲の生成過程を記述する方程式に対し、フィードバック制御と呼ばれる方法を応用し、物理パラメータを自動的に調整します。具体的には、水蒸気が水滴へと相転移する際に生じる潜熱と大気中の水蒸気の量を自動調節します。物理パラメータを通した間接的な制御法であるため、目的の形状に一致し、かつ、自然な雲の形状を生成することができます。図2の左は夏によくみられるような形の積乱雲を作成した例です。私達の方法を使えば簡単にこのような雲を作成できますが、シミュレーションのパラメータを調整するだけでこのような形を作ることは実は大変なのです。また、図2の右の例は雲の中に二つの穴をあけ、ドクロ形状の雲を生成した例です。ピンクの曲線がユーザの指定した形状を示しています。このような雲を現実世界で見ることは(おそらく)ありませんが、雲の生成過程を考慮しているため、それらしい形状を生成することができます。

fig2
図2:雲のシミュレーションの制御例。(左)典型的な積乱雲。(右)ドクロ形状の雲。いずれも左上に示すピンクの曲線がユーザにより指定された形状を示しています。

次に、シミュレーションによって生成された雲から実写並のリアリティをもった画像を生成するため、色計算のための物理パラメータを自動決定する方法を考案しました。この方法では、ユーザは雲の実写画像を計算機に入力することで、リアリティという曖昧な尺度を指示します。そして、この実写画像中の雲を抽出し、類似した色合いを表現できるパラメータを計算機に探索させます。雲の色は複雑な積分方程式で計算されますが、そこに含まれるパラメータを遺伝的アルゴリズムと呼ばれるランダム探索手法により最適化し、実写画像と同等のリアリティを有するCG画像を生成することに成功しました。図3の上段はこの方法の実験例です。昼間と夕方の雲の写真を使って、シミュレーションによって生成した雲の色を自動調整しています。先ほどのドクロ形状の雲とこの方法を組み合わせれば図3の下段のようなことも実現できます。札幌の上空にドクロ形状の雲が徐々に形成されていく様子を示しています。

この他にもさまざまな方法を考案しています。全て紹介すると長くなりますので、ここではいくつかの画像と簡単な説明を挙げておくのみに留めておきます(図4~図7)。興味のある方は文末のホームページを訪ねてみてください。

fig3
図3:雲の色計算パラメータの自動調整。(上)CGによる積乱雲の色を実写を使って自動調整。(右)実写画像とドクロ形状の雲の合成例。
fig4
図4:流体現象の形状制御。(左)爆発の形状制御。爆発源の初期強度分布の最適化と予測制御により、爆発によって発生した煙が目的の形を形成します。(右)積雲の分布の制御。水平方向に移動する積雲の分布が指定された形を形成するよう、地表面での熱および水蒸気分布を制御します。
 
fig5
図5:データベースを用いた流体映像の高解像度化。事前に計算した速度場のデータベースに対して、主成分分析という数学的手法を適用することで、低解像度の粗い映像から高解像度の高精細な映像を生成することができます。
 
fig6
図6:流れ場のインタラクティブなデザイン手法。ラプラシアン固有関数と呼ばれる特殊な関数を用いてインタラクティブに流れ場をデザインできる手法を考案しました。流れ場をラプラシアン固有関数の線形和により表現し、作成者の意図を制約条件とする最適化問題を解くことで、リアルな流れ場を生成することができます。この例は竜巻の流れをデザインした例です。
 
fig7
図7:陰影のデザインシステム。インタラクティブに仮想物体の色合いをペイントするシステムです。ユーザのより指色付けが行われた箇所の特徴量を解析し、動径基底関数と呼ばれる数学の関数を用いた多次元空間での補間処理によって自然な色付けを実現します。左の二つはポリゴンで構成された仮想物体の色付け、右の二つは炎と雲の色付けを行った結果を示しています

CGキャラクタの表現

CGキャラクタの表現に関しては、(株)オー・エル・エム・デジタルの安生健一氏が主に担当されました。以下、安生氏の解説です。

「CGキャラクタの表情合成には、少なくとも50から100、ハリウッドでは2000以上ものパラメータが存在し、その調整は非常に骨の折れる作業となっていました。そこで、私達は顔モデルを直接操作して変形し、そこからパラメータを逆算する方法を開発しました。図8の左に示す例では、アニメータは二つの制御点を設置し、これをマウスでドラッグします。システムはこの情報を利用してパラメータを逆算することで、表情(この例では笑顔)を合成しています。この問題は最小二乗問題として定義され、ある種の仮定のもとに解くことが可能となります。顔の一部分の動きを指定するだけで、顔全体の動きを作成できるため、大幅な作業効率の向上につながります。この方法をベースにした応用手法もいくつか開発しました。例えば、あるキャラクターの表情を別のキャラクターに転送して編集できる方法を開発しました。図8の右はその例で、左上の赤い顔のモデルで作成した表情を残りの三つのキャラクタに転送しています。この他、モーションキャプチャなどによって得られた実際の顔の動きを学習することで効率化を図った方法も開発しています。」

fig8
図8:CGキャラクタの表情の合成。(左)二つの制御点を移動するだけで顔全体の表情を作り出しています。(右)左上の赤い顔の表情を他のキャラクタに転送しています。

「さて、以上の方法によって合成された顔の3次元モデルからCG画像を作成する際には、光源を設定して陰影計算を行います。このときにも光源の位置や種類・色などのパラメータに関する調整作業が必要となります。また、アニメなどでは光源の種類や配置の調整だけでは再現しにくい色々な演出があり、物理法則に従った計算がよいとも限りません。そこで、アニメ風の陰影表現に着目し、ユーザが陰影を直接操作できる手法を開発しました。ユーザが直接モデル表面にペイント処理にて描いた陰影情報から動径基底関数と呼ばれる関数を用いた補間処理により作り手の意図を反映し、かつ、自然な結果が作り出せる方法を開発しました。図9はこの方法を使ってアニメにみられるセル画調の陰影表現を編集した例です。左の画像は、物理的に正しい陰影計算を元に作成したセル画調の画像です。一見してわかるように、眉や鼻の影が消失し、立体感が損なわれています。そこで、私達の開発した方法を使って修正したものが右の画像です。立体感がうまく表現されています。これらの画像は2次元のセル画に見えますが、3次元モデルをもとに生成した画像ですので、視点を変更したり光源方向を変更したりすることができます。」

fig9
図9:セル画調の表現における陰影の編集。(左)物理的に正しい計算結果をセル画調に変換した画像。眉や鼻の影が消失しています。(右)眉や鼻の影が追加され、立体感が増しています。3次元モデルをもとに生成した画像ですので、視点を変更したり光源方向を変更したりすることができます。

おわりに

コンピューターグラフィックスは、映画やゲームなどのエンターテイメント産業での利用が目立ちますが、建築、医療、数値シミュレーション、教育などさまざまな分野での応用が進んでいます。スマートフォンのアプリやウェブサイトでさえも3次元CG技術を使った映像を目にすることも稀ではなく、日常的に見られる身近な技術の一つとなっています。いまやコンピューターグラフィックスは社会生活を豊かで便利なものとするために必要不可欠な要素なのです。私達はいまも継続して研究を進めており、そのような社会生活の向上の一助となるようさらに発展させていきたいと考えております。なお、ここで説明したもの以外にもさまざまな研究成果を下記のページで公開していますので、興味を持たれた方はぜひ訪ねてみてください。

JST CRESTプロジェクト「デジタル映像数学の構築と表現技術の革新」のページ
http://mcg.imi.kyushu-u.ac.jp/

(株)オー・エル・エム・デジタルの研究開発部門のホームページ
http://www.olm.co.jp/rd/

北海道大学・情報科学研究科・准教授・土橋宜典の研究プロジェクトのページ
http://ime.ist.hokudai.ac.jp/~doba/projects.html

ニュース一覧へ

ページの先頭へ