人間を理解し、社会を解析するための情報科学へ
言語にとらわれない自由な連想を誘発する検索エンジン
情報科学研究科 メディアネットワーク専攻・教授
博士(工学)長谷山 美紀
プロフィール
1988年北大大学院工学研究科修士課程了。同電子科学研究所助手、同大学院工学研究科助教授、米国ワシントン大客員助教授などを経て、06年北大大学院情報科学研究科教授、現在に至る。専門は画像・映像・音響等マルチメディア信号処理論の構築とその応用研究。IEEE、電子情報通信学会、映像情報メディア学会、日本音響学会、情報処理学会、各会員。日本工学アカデミー会員、日本学術会議連携会員。総務省総情報通信政策局情報通信審議会専門委員（07～11年）、経済産業省 『情報大航海プロジェクト』技術アドバイザー（07～09年）なども務めている。
学問として新しいフェーズに進んだメディアネットワーク技術
メディアネットワーク技術の最先端では、今何が起きているのでしょうか。
長谷山 これまでのメディアネットワーク技術は、仮想空間で情報やサービスを提供するための技術でしたが、現在では、現実世界での人間の行動や思考を解析し、社会の形成にそれらがどのように影響しているかを推測することが可能になりつつあります。ディジタルデータが、人間そのものを探究するための手段として利用できるようになってきたのです。これは、情報科学が学問として新しいフェーズに入ったことを意味していると思います。
研究室では、どのような研究が行われているのですか。
長谷山 Web上にはブログなどのさまざまなサイトや、SNSに代表されるサービスが存在し、そこには人間の行動や思考を表現した文章・画像・映像などがディジタルデータとして蓄積されています。それらを多様な切り口から解析することで、類似性や差異を導出し、実世界で起こる現象との関連性を導き出したら、そこに何が見えてくるのか？ 見えてきたものは何を表しているのか？ 私たちが取り組んでいるのは、無造作に並べられた膨大なディジタルデータを定量化・可視化するとともに、定性的に道筋を立てて考えるための理論の構築に関する研究です。
現在、研究室では、画像・映像・音響・音楽などを対象に①符号化、②復元、③認識、④意味理解、⑤コンピュータグラフィックスの5つの基礎テーマを設け、さらにこれら5つの基礎技術から、多様なメディアを有機的に横断する次世代情報アクセスシステムCyber Space Navigatorを立ち上げています。①～③は、Web上に蓄積されているデータを、解析に適した状態に整えることに役立ちます。例えば、劣化した画像を復元したり、不要なオブジェクトを除去したり、人間やモノを自動で検出する技術です。④では、画像や映像に含まれる意味的な内容がどのようなものであるかを理解するための技術を開発しています。色、模様、形状、動きなどの特徴から、対象のコンテンツに何が含まれているのかをコンピュータが自動的に理解するシステムが実現されます。⑤は、画像・映像を生成するための技術であり、三次元画像モデルを自動的に構築したり、アニメーションの生成を可能とする研究を進めています。
さらに、これらの技術を応用することで、次世代情報アクセスシステムCyber Space Navigatorが実現され、その代表として、Web上に存在する画像や映像から自分が求めるものを効率的に検索するインタフェース「Image Vortex」と「Video Vortex」が開発されました。
イメージで検索できるキーワード不要の検索エンジン
「Image Vortex」と「Video Vortex」はどんな特徴を持っていますか。
長谷山 最も特徴的なのは、キーワードの入力が不要なことです。例えば、北海道の美しい風景写真を探しているとすると、既存の検索サービスでは、写真に各種データ（撮影日時や場所）や、「草原」「山」「青空」といったタグを手動で付け、ユーザは自分のイメージに近い言葉（キーワード）を入力することにより検索を行います。しかし、人間の感覚というのはとても曖昧で、「爽やかさ」や「風を感じる風景」を求めていたり、そもそも具体的なイメージがつかめていないこともあります。このように、明確なクエリ（質問となるキーワードや画像）が想定できない場合の検索に有効なのが「Image Vortex」と「Video Vortex」です。
「Image Vortex」では、データベース中の画像から算出される特徴（色、模様、物体の輪郭、画面上での位置など）を数値化し、その特徴量からどのような内容を含む画像であるかを自動で認識します。さらに、各画像の特徴量を比較して類似しているものと類似していないものを判定し、画像間の差異を距離で表します（解説１／図１）。ユーザはインタフェース上の三次元空間に浮かぶ画像群を見渡しながら、自分の求めるイメージを絞り込んでいくことができます。「Image Vortex」はすでに商用サービス「Image Cruiser」（http://imagecruiser.jp/）として提供されています。
「Video Vortex」（解説２／図２）は映像を対象としたインタフェースで、画像、音響、楽曲、テキストなどの特徴を統合し、類似した映像を検索・推薦します。このシステムではユーザの好みに応じて「視覚的に類似しているもの」「音響が類似しているもの」といった調整も可能で、より効率的に望む映像へ到達することができます。また、音響や楽曲の類似性を取り入れたことにより、まったく異なるジャンルの映像が推薦されることもあり、ユーザの想定を超えた新しい発見や気づきが期待できます。「Video Vortex」も商用サービスとして提供される予定です。
セレンディピティを誘発し、自分が求めているものに出会う
このような技術は、私たちの生活をどのように変えるとお考えですか。
長谷山 キーワードを使った検索は、ユーザのスキルや価値観による制約をどうしても受けますが、「Image Vortex」や「Video Vortex」は検索エンジンが自動的に見つけ出した候補を、画像群（または映像群）という形で提示してくれます。１つの画像・映像から次々と連想が広がり、時には自分が予想していなかった新しい関連性に気づかせてくれることもあります。これは検索（クエリ＆レスポンス）というよりは、セレンディピティ（serendipity：求めずして思わぬ発見をすること）を誘発する画期的なシステムだと思います。
現在は、画像・映像・音響・音楽など、視覚・聴覚の情報が中心ですが、人間の他の感覚（嗅覚、味覚、触覚）や感情なども数値化することができれば、人間の意識や行動をより詳細に解析することも可能になるでしょう。
こうしたシステムが社会基盤として浸透するようになれば、情報科学という枠を超えてあらゆる分野、産業に役立つ技術になると思います。人間を理解し、社会を解析するツールになることが期待できます。
解説
解説１：次世代画像クルージング技術「Image Cruiser」
Image Cruiserは、Image Vortexで定義される距離尺度に基づき、高速な画像の可視化を実現するインタフェース。膨大な量の画像を俯瞰し、容易かつ高速に望む画像へ到達することができる。現状のシステムでは、100万枚の画像に対応するサービスが可能。
解説２：次世代連想型映像・楽曲検索エンジン「Video Vortex」
左下が現在選択されている映像。左上は画像特徴の類似する映像、右下は音響・楽曲特徴の類似する映像である。各映像にはタグが付けられておらず、画像や音響・楽曲の特徴量を算出・比較することで、自動的の推薦を実現している。ユーザがインタフェース上に表示された映像の中から自分のイメージにより近いものを選択すると、さらにそこから画像や音響・楽曲の似ている映像が推薦される。見た目や音などから次々と連想が広がり、キーワードだけでは拾い切れない発見へとつながっていく。
