メディアダイナミクス・メディア創生学研究室
画像とテキストを同時にクエリに用いた画像検索
画像とテキストを同時に検索クエリとして用いた画像検索（構成画像検索、Composed Image Retrieval）技術を研究しています。例えば、自分の犬の特定の写真を探したい時、持ってる写真に「この犬が芝生で遊んでる」という言葉を添えて、希望に沿った画像を探します。一方、このような検索モデルの学習に使える「クエリと正解画像」の学習データが少なく、検索精度を高めるうえで課題となっています。そこで、既存な画像と言語を扱うモデルと一般的な画像とテキストのデータセットを活用することで、従来よりも高精度な画像検索を実現しました。