language
注意事項
当サイトの中国語、韓国語ページは、機械的な自動翻訳サービスを使用しています。
翻訳結果は自動翻訳を行う翻訳システムに依存します。場合によっては、不正確または意図しない翻訳となる可能性があります。
翻訳サービスを利用した結果について、一切を保証することはできません。
翻訳サービスを利用される場合は、自動翻訳が100%正確ではないことを理解の上で利用してください。

デバイスの発展による多様な情報を活用した
人間の感情を解析するマルチメディア処理技術の開発

写真:博士(情報科学) 小川 貴弘

情報科学研究科 メディアネットワーク専攻
情報メディア学講座  メディアダイナミクス研究室・准教授

博士(情報科学)小川 貴弘

プロフィール

2003年3月 北海道大学工学部卒業。2005年3月 北海道大学大学院工学研究科電子情報工学専攻修士課程 修了。2007年9月 北海道大学大学院情報科学研究科メディアネットワーク専攻博士後期課程 修了。
2005年4月~2008年3月 日本学術振興会特別研究員、2008年4月~6月 北海道大学大学院情報科学研究科 博士研究員、2008年7月~2016年9月 北海道大学大学院情報科学研究科 助教。2016年10月より北海道大学大学院情報科学研究科 准教授。

多変量解析手法を用いた画像・映像の処理技術から
多様な情報をセンシング・解析する先端的な研究へ

小川先生が取り組んでいる研究テーマはどのようなものですか。

小川 これまで(1)画像・映像の符号化・復元・高解像度化、(2)異種メディア間の関連性推定・次元削減、(3)マルチメディア情報推薦・検索を主な研究テーマとしてきました。デジタルカメラなどで撮影した画像の復元に関する技術や、キーワードを使わずに画像や映像を検索する技術などを開発しています。例えば、前者については、写真に映り込んでいる余計なものを削除して消失領域を復元したり、手ぶれ画像をクリアにしたり、解像度の低い画像を鮮明にするといった技術です(解説1)。

これらの研究成果をベースに、現在はより先端的な研究に取り組んでいます。今までは人間がカメラで撮影した画像データをどう処理するかに重点を置いていたのですが、先端的研究ではカメラやセンサが人間の方を向いていて、そこで得たさまざまな情報を解析するというスタンスです。

これらの技術開発は、デバイスの発展によって実現可能になったと言えます。スマートフォンやSNSなどの普及により画像や映像が持つ情報量が大幅に増えたのです。また、IoT(Internet of Things)やビッグデータなど多種多様なデータを同時にかつ容易に取得することができるようになりました。画像データ以外にも音声や位置情報、撮影者の属性、SNSの書き込みなど、一枚の画像が多角的な情報を持つことで、その画像が何を表しているのか、どのような背景を持つのかといったことがより正確に理解できます。

さらに、近年、ウェアラブル端末を中心に注目されている生体センサなどを使って脳波や生体情報を取得することができれば、画像を見ている人間が何に興味を持ったか、何に心を動かされているかということまで推測できるのではないかと考えています。

センシングとデータ解析を同時に考慮し
人間の好みや志向を推測するマルチメディア処理の実現

先端的研究について詳しく教えてください。

博士(情報科学)小川 貴弘

小川 現在積極的に取り組んでいる先進的研究のテーマは「センシングとデータ解析を同時に考慮した新しいマルチメディア処理の実現」と「人間からセンシングされた情報を活用した新しいマルチメディア処理」の二つです。

「センシングとデータ解析を同時に考慮した新しいマルチメディア処理の実現」は画像情報に関する新しい表現技術(その応用として近似・復元・再構成がある)の開発を目指したもので、ベースになっているのは前述の(1)(2)の研究です。(1)(2)の段階では、適応的多変量解析を用いて解析するための理論を主に研究していたのですが、本研究では物体固有の色情報(分光反射特性)に関する先進的なセンシング技術を実現することで、今までにない新しい画像情報の取得法を実現しました(解説2)。

二つ目の「人間からセンシングされた情報を活用した新しいマルチメディア処理」は、脳波や生体情報を使い、ひとつのサンプル(一人の人間)から多様な情報を取得し、その人間の好みや志向を推測する技術の開発です。例えば、テレビ番組を見ている人の視線や動作などの生体情報を取得し、その人が何を見て笑っているのか、どこに興味を持っているのかを解析するのです。ある場面を見て「好き」「嫌い」を判定するだけではなく具体的な対象まで特定することができれば、解析の精度は格段に上がります。さらに、サンプル数を増やしていくことで、実利用に耐えうる技術が実現可能であり、市場に対して大きなインパクトがあると予想しています(解説3)。

また、その解析をセンシングと同時に行うことができれば、パソコンやスマホで検索中のユーザーに、好みや目的に応じた情報を提案したり商品を勧めたりするサービスも非常に精度の高いものになるはずです。ライフログや生体情報を取得するデバイスも実用化され始めているので、それらのデバイスを活用しながら人間の感情や考え方を推定するシステムの開発に取り組んでいます。

社会に与える影響を考えることも
これからの科学者に求められている

これらの技術は世の中でどのように使われるのでしょうか。

博士(情報科学)  小川 貴弘

小川 さまざまな分野で活用できるのではないかと期待していますが、これらの技術を日常生活に取り入れるには二つの課題を解決する必要があると考えています。ひとつはさまざまな企業がそれぞれに製品を出していて、個別にデータを取っているものをどうやってまとめるか。二つめは収集した個人の情報をどうやって流通させ、どのようなサービスに活用するかという問題です。これには個人情報やプライベートな情報を漏洩させないというセキュリティの側面と、収集した情報を個人の財産として扱う法的な側面があります。個人の情報を財産として管理する社会的な仕組みづくりは、本研究室の長谷山美紀教授が代表となっているNEDOの「個人主導型の健康データ流通社会を実現するヒューマンセントリックIoTシステムの研究開発」というプロジェクトでも本格的に取り組んでいます。

私たち研究者は技術そのものを追求するだけでなく、それが世の中でどう使われ、社会にどのような影響を与えるかを考えなければならないと感じています。私たちがやろうとしていることは、人間が何を考えているのかを解明することです。結果的には個人の内面をさらけ出すことにつながるので、人々が嫌がるようなことは避け、喜んでもらえるような使い方を考えなければ世の中に受け入れられる技術にはなりません。コンピュータが人間をミスリードすることがないよう、倫理的な部分を考慮したり、あえてランダム性を持たせるなどの配慮も必要になるでしょう。これは科学者だけでなく心理学や倫理学、法学など文系の専門家と一緒に取り組むべき課題でもあると思います。

解説

解説1:複雑なデータの構成要素毎に最適な近似を与える適応的多変量解析手法 ~応用により実現される代表的な技術~

応用により実現される技術1:消失領域の復元技術

消失領域の復元は様々な分野で応用が行われている。例えば、画像中に存在する不必要なオブジェクトの除去や経年劣化したフィルムの復元、さらに映像通信の分野において通信環境が劣悪な場合に生じる消失ブロックの除去(エラーコンシールメント)などが挙げられる。この技術を用いることで、人の目では分からないくらいの復元が可能となっている。

応用により実現される技術2:超解像技術

計算資源が限られた端末で撮像された画像・映像をテレビなどの大画面の機器で表示すると、サイズを引き伸ばした際に解像度が不足し、ぼやけて見える場合がある。超解像技術では、サイズを上げた際に鮮明にみえるような高精細な画像・映像を推定することが可能である。

応用により実現される技術3:ブレ・ボケの除去技術

画像を撮像する際に、我々は様々な劣化を引き起こしてしまう。フォーカスが正しく合わないことによるボケや、撮像の際の手振れがその一つである。これまでは、このような劣化を防ぐような機能がカメラに設置されてきたが、近年では、画像処理の技術を利用することで、ボケや手振れが発生してしまった際に、それらを復元することが可能になっている。

解説2:分光反射特性のセンシングとその応用

多変量解析手法を用いて撮像対象そのものが有する色情報を直接取得可能な次世代画像センシング技術を構築。画面の中に緑の葉とカラーチャートが同じ画面に映っている場合、従来の方法では葉の緑とカラーチャートの緑は同じ色として認識されるが、複数の波長帯にわたって1画素あたりの情報量を増やすと、物体の固有の色情報(分光反射特性)を考慮した認識が可能となる。これにより、葉だけを紅葉させるといった画像処理が簡単に実現できるようになる。

図

解説3:「人間からセンシングされた情報」と活用した新しいマルチメディア処理の実現

図