メディアダイナミクス研究室の概要

メディアダイナミクス研究室では、マルチメディア信号の特性に注目した新しい学問分野の創出を通じ、高度な人間の視聴覚認識メカニズムについて研究をしています。高速インターネット網の普及や大容量蓄積メディアの発展により、今や我々の周りには音楽、画像、映像等のマルチメディア信号が溢れています。これからも増え続ける大量かつ多種多様な情報の中から、必要となる情報を的確に取り出し、伝達する技術が世界中で必要とされています。当研究室ではこのような技術を実現するために、人間の視聴覚特性を基盤とした最先端認識理論、高度復元アルゴリズム、次世代符号化方式について活発に研究を進めています。さらに、それらの成果に基づいて画像や音楽、映像を人間のように理解可能な次世代のマルチメディアシステムの実現と実社会応用を進めています。現在、研究室では異分野連携を活発に行っており、北海道大学の医学部や宇宙ミッションセンター、さらにはJAXAや日本気象協会、NEXCO東日本等との共同研究や、コンサドーレ札幌・日本ハムファイターズからの映像提供を通して、医用画像、脳活動データ、地球・惑星画像、社会基盤データ、スポーツ映像、SNS・Web等の解析に関する研究を進め、未来の科学技術の発展に貢献することを目指しています。

目で見る研究紹介

画像符号化

フレーム補間技術

動画像は、フレームレートが高いほど、より滑らかに動きを表現できます。現在、フレームレートの高い動画像を再生可能な機器が増加していますが、一方で、高フレームレートの動画像はデータ量が非常に大きく、記録のためのストレージや伝送容量などが限られた環境では、その取扱いが困難となります。フレーム補間を用いることで、低フレームレートの動画像のみからディジタル処理により高フレームレートの動画像を生成することで、上記の問題を解決することが可能となります。

超解像技術

携帯電話やスマートフォンなど、計算資源が限られた端末で撮像された画像・映像をテレビなどの大画面の機器で表示すると、サイズを引き伸ばした際に解像度が不足し、ぼやけて見える場合があります。超解像技術は、画像・映像のサイズを上げた際に鮮明にみえるような高周波成分を推定することで、高精細な画像・映像を取得することが可能となります。

映像伝送のためのエラーコンシールメント

通信環境が劣悪な環境で、映像を視聴した場合、その受信中のエラーによって画質が大きく劣化してしまう恐れがあります。具体的に、ブロック状に映像のデータが失われてしまいます。エラーコンシールメントは、エラーにより劣化した画質を受信側で改善する技術です。具体的には、映像は1枚ずつの画像で成り立っており、連続する画像間で大きな変化がないため、エラーが発生した直前の画像を利用することで、劣化した映像の復元を実現します。

画像復元

消失領域の復元技術

消失領域の復元は様々な分野で応用が行われています。例えば、画像中に存在する不必要なオブジェクトの除去や経年劣化したフィルムの復元、さらに映像通信の分野において通信環境が劣悪な場合に生じる消失ブロックの除去(画像符号化のエラーコンシールメント)などが挙げられます。この技術を用いることで、人の目では分からないくらいの復元が可能となっています。

ブレ・ボケの除去技術

画像を撮像する際に、我々は様々な劣化を引き起こしてしまうことがあります。フォーカスが正しく合わないことによるボケや、撮像の際の手振れがその一つです。これまでは、このような劣化を防ぐような機能がカメラに設置されてきましたが、近年では、画像処理の技術を利用することで、ボケや手振れが発生してしまった際に、それらを復元することが可能になっています。

インパルス性雑音除去技術

画像には様々な種類の雑音が重畳することがあります。その中でもインパルス性のノイズは大きく視認性を低下させるノイズの一つです。我々の研究ではこのようなインパルス性の雑音について輪郭部などの過剰な平滑化を生じさせずに復元を行うことを可能としています。何が写っているかが分からない画像から高精度に元の画像を推定できていることが確認できます。

霧の除去技術

悪天候時における視認性の低下は車両走行時の安全性を大きく損ないます。本研究では、悪天候時でも特に視認性の低下が強い霧が発生した場合を想定し、それらを画像処理に除去する方法を提案しています。従来と比較して大きく視認性が向上する結果が既に得られています。

色補正技術

我々が扱う画像の色は、一般に、赤（R）、緑（G）、青（B）の三色で表現されますが、各々の被写体は、より詳細な色情報（分光スペクトル）を含んでいます。本研究では、一般のデジタルカメラにより撮像される赤外光成分が含まれる画像から、各画素に対応する分光スペクトルを推定することで，従来では実現が困難であった様々な画像処理を実現します．例えば，人間の眼で見て自然な色成分の復元が可能となります．また，緑色植物の検出や物理現象に則した色変換といった応用が可能になります．

画像認識

歩行者検出技術

近年、世界中の多くの都市で街中にカメラが設置されるようになってきました。これらの多くは、侵入者などの不審人物を検出し、市民の安全を守ることを目的としています。しかし、カメラによって撮影される映像は非常に膨大となるため、自動での監視を実現するシステムが求められています。このシステムの実現には、街中のカメラで撮影された映像から歩行者を自動かつ高精度に検出する必要があり、近年では、歩行者が物陰に居る場合でも高精度に歩行者を検出する研究が行われています。

車両検出技術

ITを利用して交通の利便性を向上する高度道路交通システムにおいて、車両検出は基礎となる重要な要素技術です。近年では、安全運転の支援システムや交通量の計測等における実用化への取り組みが行われており、より高精度なシステムの実現に向けて研究が進められています。具体的には、様々な色や形の車を画像中のエッジや色等の特徴量に基づいて、カメラにより撮影された映像から通過する車両の自動検出を実現する研究が行われています。

車線検出技術

近年、道路走行環境や屋内環境における自律走行システムに関する研究が盛んに行われており、一部の基本的な機能は実用化されるに至っています。これらのシステムでは、進行方向を決めるための消失点や走行可能領域を推定するための車線等の検出が重要です。消失点や車線等の検出は、力学モデルや複比等に基づいて、高精度に実現する事が可能です。

サッカー選手追跡

サッカーやバスケットボールなどのスポーツ映像は世界中で視聴されており、短時間で大まかな試合内容を伝えるハイライト映像が多くの場面で利用されています。このため、得点やコーナーキックのような重要場面を検出する研究がこれまで行われてきました。このようなスポーツ映像解析を行うためには，選手の位置を取得する必要があります。そこで、我々はユニフォームの色や競技特有の動き方に注目することで、映像中の選手を自動的に追跡し、その位置を取得する研究を行っています。

意味理解

映像のシーン解析技術

DVDなどの映像では、あらかじめチャプターを設定することで効率良く映像を視聴することが可能となります。そのため、映像から同一の内容や話題を持つ区間を自動で検出する技術（映像のシーン分割）は、映像の効率的な視聴において非常に重要です。我々は、映像中における画像や音の特徴に注目して、例えば、同じ出来事が起こっている区間や同じ物体が映っている区間等の解析の他、大量の映像の中から共通して特徴が大きく変化する箇所をコンピュータに学習させることで、映像をシーンに分割する技術について研究しています。

スポーツ映像解析技術

サッカーや野球などのスポーツ映像は世界中で視聴されています。近年のスポーツ映像解析に関する研究では、番組や解説者が提供するような試合のデータや評価、戦術等を、試合映像から推定及び取得をし、これを提示することで、視聴者がより試合を楽しめるような技術が提案されています。具体的に、我々はスポーツ競技の特性やルール、推定された選手やボールの位置に基づいてチームの重要選手、パスコース、戦術などの推定を行っています。

音楽信号における和音推定技術

高さが異なる２つ以上の単音が重なり合う和音は、音楽の意味理解において重要な要素の１つであり、音楽信号から高精度に推定することが必要とされています。和音は、単音の推定結果を用いることで推定することが可能です。しかし、多数の単音によって和音が構成される場合に精度が十分でないことがあります。このため、和音の構成規則に注目して音楽信号を分類することで、高精度な推定を実現しています。

画像からのオブジェクト抽出技術

人間の感覚に合致した画像検索を行うために、画像の持つ意味内容を解析する研究が行われています。例えば、撮像されている物体を抽出することで、対象物体に基づいた画像の提示が可能となります。そこで我々は、同じ物体を含む画像を事前に大量に集めておき、共通で存在する画像特徴の類似性をコンピュータに学習させることで、対象物体の抽出を可能としています。

画像検索における可視化法の評価技術

大量の画像の中から欲しい画像を効率的に検索できるように、類似した画像を互いに近くに配置し、ユーザへ提示する方法が様々提案されています。このような背景から、どのような画像を検索する際に、どのような提示方法が最も効率的であるかを見出すことは、非常に重要です。我々は、これらの画像提示方法を、人間が物を探す際の視覚特性に基づいて評価する指標の提案を行っています。

Web映像解析 (階層構造抽出)技術

ouTubeに代表される映像共有サービスの普及によって、Web上に膨大な量の映像が存在しています。大量の映像の中からユーザが目的とする映像を効率的に検索するために、新たな技術が求められています。このような技術の一つとして、我々は類似した映像のコミュニティおよびその構造を抽出して検索を行う技術を研究しています。
コンテンツ一覧 (クリエイティブ・コモンズ)

Web上から真実に近い映像を探索する技術

現在、我々の身の回りにはテレビやネットにおいて大量の映像が溢れています。これらの映像の中から最も正確な情報を含む映像を選び出すことは、簡単ではありません。そこで、我々は、Web上に存在する大量の映像データの中から、最もオリジナルに近い映像を探し出す技術の開発を進めています。これにより、従来よりもより高精度に映像検索を行うことが可能となります。

楽曲推薦技術

iTunes storeのように膨大な音楽データベースから好みに合う楽曲を見つけ出すことは、多大な時間と労力を必要とします。そこで我々は、楽曲の音響信号に基づいた楽曲推薦の実現に取り組んでいます。ユーザが好む楽曲集合を解析し、音色や音階成分などの音響特徴における共通点を見つけ出すことで、 ユーザが好むであろう楽曲を推薦することが可能となります。

異分野連携

生体信号処理

近年，人間から得られる生体信号（脳波やfMRI等）に関する研究が盛んに行われています．そのため，当研究室でも，生体信号処理に関する研究を行っています．特に，画像や音楽等のマルチメディア信号とそれらを刺激として人間に与えた際の脳の反応との関係に注目することで，従来のマルチメディア信号処理の分野での研究課題に対して，生体信号処理の技術を用いた新たなアプローチによる解決を試みています．

現在，測定技術および機器の発達に伴い，簡便にヒトから生体信号を得られるようになりました．しかしながら，それらの生体信号を活かした研究が未だ十分には行われていないのが現状となっています．そこで，当研究室では，脳波やfMRIによるヒトの脳に関する生体信号を用いた研究を先駆的に行い，従来のマルチメディア信号と融合した新しい技術の開拓を進めています．

医療画像解析

近年，ピロリ菌の感染と胃がんの発症には，強い関係性が存在し，ピロリ菌未感染者が胃がんを発症する確率は、極めて低いことが明らかとなりました．また，ピロリ菌感染の有無は，胃X線画像から診断が可能であることも明らかとなっています．そこで、我々は医師の胃X線画像診断の支援を行うために，胃X線画像から高精度にピロリ菌感染の有無を自動で判定する研究を行っています．

バイオミメティクス画像処理

生物の構造と機能の関係を発見し，それを模倣することで工学に応用する「バイオミメティクス」が注目され，微細構造を研究するために走査型電子顕微鏡で撮像された画像が急激に増加しています．これらの画像を効率的に管理するために，撮像された生物を自動で分類する技術が必要になります．我々は，電子顕微鏡で撮像された画像の特徴及び生物間の関係に注目し，生物を自動分類する技術について研究しています．

機能相関ライブラリ

必要なデータの特徴を質問(クエリ)として検索エンジンに入力することで、様々なデータにアクセス可能となりました。しかし、検索者は、常に明確なクエリを想定しているわけではありません。このため、明確なクエリがない検索者でも利用可能なエンジンが求められており、検索者の発想を支援する新しい検索が注目されています。発想支援型の検索エンジンである機能相関ライブラリは、具体的な応用として、バイオミメティクスデータ検索に活用されています。

CYBER SPACE NAVIGATOR

Image Vortex

Web中に存在する画像の中から皆さんが望む画像を効率的に検索することは現状では困難を極めています。この問題を解決するため、Image Vortexは、従来の検索手法では困難であった、ユーザが明確な質問画像を持たない場合においても、望む画像を入手するための検索の実現を試みたものです。画像が互いにコミュニケーションを行うことにより、互いに類似した群となって提示されます。これにより、ユーザは、全ての画像データを俯瞰することが可能となり、効率よく希望の画像に辿り着くことが可能となります。

Image Cruiser

「ImageCruiser」は、長谷山研究室の技術を基に、データクラフトをはじめとする札幌のIT企業群が平成19〜21年度経済産業省情報大 航海プロジェクトにて開発し、商用サービスを開始したアプリケーションです。「ImageCruiser」では、文字によるタグ情報を付加せず画像の特徴 量を瞬時に計算することで、大量の画像を自動的にクラスタリング・配置することができます。これにより、文字に依存することなく類似画像収集や整理を行 い、たくさんの写真の中から、ユーザーが直感的に好みのものを発見することが可能となりました。

Easy Finder

我々が好みの音楽や映像を探す際には、Web上でなんらかのキーワードや音楽、映像を与えなければなりません。Easy Finderは、ユーザが音楽や映像を視聴した際の履歴から好みを推定し、音楽、映像の推薦を可能とします。また、従来では困難であった雰囲気が類似した音楽、楽曲構成が類似した音楽等の検索も実現しています。

Video Vortex

Video Vortexは大量の映像群の中から、繰り返し好みの映像を選択していくことで、自分の好みの映像に辿り着くことを可能とした映像検索エンジンです。我々は映像中の様々な情報（視覚的、聴覚的、意味内容的）に基づいて映像を視聴していることに注目し、Video Vortexでは、画像、音響、音楽、テキスト情報を利用することで、従来よりも高精度な映像の検索を可能としています。

Query is You (QIY)

QIYは、ユーザに合った映像を推薦する新しい情報検索システムです。ディスプレイの前に立つと、人の表情や動き、服装などの情報を基に、興味や気分を推定し、その人に合った映像を提示するレコメンデーション・エンジンです。テレビの前に座るだけで、その人の好みの番組を推薦してくれたり、インターネットから興味のある映像を探してきてくれる！そんな未来のシステムの実現に今回の実験結果が活かされるかもしれません。

Open Access Sharing Image System(OASIS)

OASISは、スマートフォンやタブレットを使って、画像でコミュニケーションを行う新しい形のSNSを提供します。『スマートフォンやタブレットに提示される画像の中から、好みの画像を選択した情報』 または 『ディスプレイの前に立つことで取得される視聴行動の情報』から、個人の興味を推定し、他の利用者の興味に触れることで、新しい発見を生み出す画像を推薦可能とします。

Community-Oriented & Shared Multimedia recOmmendation System　(COSMOS)

COSMOSは、ユーザと対話することで好みを学習し、ユーザに合った映像を提示する次世代の情報推薦システムです。ユーザが、ディスプレイに表示される文字や画像、映像などの情報を閲覧したり選んだりする動作によって、COSMOSが好みを推定し、映像を推薦します。ユーザが選択を繰り返すと、COSMOSがユーザのために、新しい映像の世界を創り出します。

この他にもメディアダイナミクス研究室では、メディア横断型検索エンジンTri-Media Vortex、Web映像検索エンジンImmersive Web等を開発しています。