デバイスの発展による多様な情報を活用した
人間の感情を解析するマルチメディア処理技術の開発

情報科学研究科　メディアネットワーク専攻
情報メディア学講座  メディアダイナミクス研究室・准教授

博士（情報科学）小川　貴弘

プロフィール

2003年3月 北海道大学工学部卒業。2005年3月 北海道大学大学院工学研究科電子情報工学専攻修士課程 修了。2007年9月 北海道大学大学院情報科学研究科メディアネットワーク専攻博士後期課程 修了。
2005年4月～2008年3月 日本学術振興会特別研究員、2008年4月～6月 北海道大学大学院情報科学研究科 博士研究員、2008年7月～2016年9月 北海道大学大学院情報科学研究科 助教。2016年10月より北海道大学大学院情報科学研究科 准教授。

小川　これまで（１）画像・映像の符号化・復元・高解像度化、（２）異種メディア間の関連性推定・次元削減、（３）マルチメディア情報推薦・検索を主な研究テーマとしてきました。デジタルカメラなどで撮影した画像の復元に関する技術や、キーワードを使わずに画像や映像を検索する技術などを開発しています。例えば、前者については、写真に映り込んでいる余計なものを削除して消失領域を復元したり、手ぶれ画像をクリアにしたり、解像度の低い画像を鮮明にするといった技術です（解説１）。

これらの研究成果をベースに、現在はより先端的な研究に取り組んでいます。今までは人間がカメラで撮影した画像データをどう処理するかに重点を置いていたのですが、先端的研究ではカメラやセンサが人間の方を向いていて、そこで得たさまざまな情報を解析するというスタンスです。

これらの技術開発は、デバイスの発展によって実現可能になったと言えます。スマートフォンやSNSなどの普及により画像や映像が持つ情報量が大幅に増えたのです。また、IoT(Internet of Things)やビッグデータなど多種多様なデータを同時にかつ容易に取得することができるようになりました。画像データ以外にも音声や位置情報、撮影者の属性、SNSの書き込みなど、一枚の画像が多角的な情報を持つことで、その画像が何を表しているのか、どのような背景を持つのかといったことがより正確に理解できます。

さらに、近年、ウェアラブル端末を中心に注目されている生体センサなどを使って脳波や生体情報を取得することができれば、画像を見ている人間が何に興味を持ったか、何に心を動かされているかということまで推測できるのではないかと考えています。

小川　現在積極的に取り組んでいる先進的研究のテーマは「センシングとデータ解析を同時に考慮した新しいマルチメディア処理の実現」と「人間からセンシングされた情報を活用した新しいマルチメディア処理」の二つです。

「センシングとデータ解析を同時に考慮した新しいマルチメディア処理の実現」は画像情報に関する新しい表現技術（その応用として近似・復元・再構成がある）の開発を目指したもので、ベースになっているのは前述の（１）（２）の研究です。（１）（２）の段階では、適応的多変量解析を用いて解析するための理論を主に研究していたのですが、本研究では物体固有の色情報（分光反射特性）に関する先進的なセンシング技術を実現することで、今までにない新しい画像情報の取得法を実現しました（解説2）。

二つ目の「人間からセンシングされた情報を活用した新しいマルチメディア処理」は、脳波や生体情報を使い、ひとつのサンプル（一人の人間）から多様な情報を取得し、その人間の好みや志向を推測する技術の開発です。例えば、テレビ番組を見ている人の視線や動作などの生体情報を取得し、その人が何を見て笑っているのか、どこに興味を持っているのかを解析するのです。ある場面を見て「好き」「嫌い」を判定するだけではなく具体的な対象まで特定することができれば、解析の精度は格段に上がります。さらに、サンプル数を増やしていくことで、実利用に耐えうる技術が実現可能であり、市場に対して大きなインパクトがあると予想しています（解説3）。

また、その解析をセンシングと同時に行うことができれば、パソコンやスマホで検索中のユーザーに、好みや目的に応じた情報を提案したり商品を勧めたりするサービスも非常に精度の高いものになるはずです。ライフログや生体情報を取得するデバイスも実用化され始めているので、それらのデバイスを活用しながら人間の感情や考え方を推定するシステムの開発に取り組んでいます。

小川　さまざまな分野で活用できるのではないかと期待していますが、これらの技術を日常生活に取り入れるには二つの課題を解決する必要があると考えています。ひとつはさまざまな企業がそれぞれに製品を出していて、個別にデータを取っているものをどうやってまとめるか。二つめは収集した個人の情報をどうやって流通させ、どのようなサービスに活用するかという問題です。これには個人情報やプライベートな情報を漏洩させないというセキュリティの側面と、収集した情報を個人の財産として扱う法的な側面があります。個人の情報を財産として管理する社会的な仕組みづくりは、本研究室の長谷山美紀教授が代表となっているNEDOの「個人主導型の健康データ流通社会を実現するヒューマンセントリックIoTシステムの研究開発」というプロジェクトでも本格的に取り組んでいます。

私たち研究者は技術そのものを追求するだけでなく、それが世の中でどう使われ、社会にどのような影響を与えるかを考えなければならないと感じています。私たちがやろうとしていることは、人間が何を考えているのかを解明することです。結果的には個人の内面をさらけ出すことにつながるので、人々が嫌がるようなことは避け、喜んでもらえるような使い方を考えなければ世の中に受け入れられる技術にはなりません。コンピュータが人間をミスリードすることがないよう、倫理的な部分を考慮したり、あえてランダム性を持たせるなどの配慮も必要になるでしょう。これは科学者だけでなく心理学や倫理学、法学など文系の専門家と一緒に取り組むべき課題でもあると思います。

(2017/01/11)