ヒトの知覚・認知情報処理メカニズムの解明と
認知特性に基づく情報科学技術手法の開発
メディアネットワーク部門 情報メディア学分野
情報メディア環境学研究室・准教授
博士(学術)澤山 正貴
プロフィール
2013年、千葉大学大学院融合科学研究科情報科学専攻 博士後期課程修了。2013年〜2016年、NTTコミュニケーション科学基礎研究所 人間情報研究部 感覚表現グループ リサーチアソシエイト。2016年〜2018年、NTTコミュニケーション科学基礎研究所 人間情報研究部 感覚表現グループ 研究員。2018年〜2020年、NTTコミュニケーション科学基礎研究所 人間情報研究部 感覚表現グループ 研究主任。2021年〜2022年、Inria, Team Flowers ポスドク研究員。2022年〜2023年、東京大学大学院情報理工学系研究科 特任講師。2023年〜2025年、東京大学大学院情報理工学系研究科 講師。2025年より北海道大学大学院情報科学研究院 准教授。
ヒトはどのように世界を視覚的に認識しているのか?
─情報メディア環境学研究室でどのような研究を行っているのですか。
澤山 私は、人間の視知覚に関する計算原理や脳機能を専門として研究しています。経歴としては、2013年に千葉大学大学院融合科学研究科で博士号を取得後、NTTコミュニケーション科学基礎研究所でリサーチアソシエイトというポスドク研究員から研究員、研究主任と合わせて7年間務めました。その後、フランス国立情報学自動制御研究所(Institut National de Recherche en Informatique et en Automatique、INRIA)のポスドク研究員、東京大学大学院情報理工学系研究科での講師を経て、2025年4月に北海道大学に准教授として着任しました。
情報メディア環境学研究室は、コンピュータグラフィクス(CG)を専門とした研究室です。私は視知覚の専門家として、CGを用いた人間の情報処理の理解と人間の視知覚を利用したCG研究に取り組んでいます。研究室の教授でCGを専門とする土橋先生とは、異分野融合という形で以前から共同研究を実施してきました。
私の研究テーマは、ヒトの知覚・認知情報処理メカニズムの解明と、ヒトの知覚・認知特性に基づく情報科学技術手法の開発をめざすものです。特に視覚を中心に研究しています。視覚世界が見えているということは、眼に届いた光がレンズを通過し、網膜というスクリーンに投影された像を起点として、脳によって世界の情報が読み解かれていることを意味します。豊かな物理世界に対して、網膜は平面のスクリーンであるため、そこから情報を読み解こうとしても多くの情報は混在して分離困難な状態になってしまっています。こうした困難な問題があるにもかかわらず、私たちは普段、非常に安定した視覚世界を認識できています。この視覚世界を私たちが観察できるのはなぜだろう、という点が研究をする一番のモチベーションです。
人間の脳が複雑な視覚情報を処理する際には、何らかの「ショートカット」や「ヒューリスティック」な判断を用いていると考えています。例えば、網膜の視細胞一点一点は明るさしか判断できないにもかかわらず、同じ暗さでも「影」によるものか「黒い物体」によるものかを区別できます。このような情報処理を解明するためには心理物理学や神経科学が重要となります。
そして、この問題を明らかにすることは、人間にどのような情報を与えるとリアルな視覚世界を認識させることができるかということに貢献するため、CGのような技術研究にも繋がります。人間の視覚を利用したCGの研究と、CGを利用して人間の情報処理機能を理解するという双方向の研究を通じて、両方の分野に貢献できる研究をめざしています。
「濡れた印象」を認識させるメカニズムと情報処理過程を解明
─具体的な研究事例を教えてください。
澤山 これまでの研究の一つに、物体や風景の「濡れた印象」や「ウェット感」を人間がどのように認識しているかを明らかにし、さまざまな物体・風景画像を濡らして見せることのできる画像変換技術の研究があります。光学的な議論としては、物体表面が濡れた時の光の反射・散乱の仕方というのは複雑で、厳密に光の軌道を計算するには大きなコストがかかります。一方で、私たち人間は、例えば、朝起きて出勤するために玄関を開けると、世界が濡れているかどうかの判断が一瞬でつくでしょう。このことは、人はウェット感を認識するために、何かショートカットとなるような特徴を用いているのではないかと考えました。具体的には、さまざまな実物体の濡れている状態と乾いている状態の色分布を計測し、どのような特徴的な変化が生じるかを解析しました (解説1)。 物体が濡れると色の飽和度(彩度)が増し、輝度ヒストグラムの歪度が偏る傾向があります。この研究では、ヒトの知覚がこれらの画像統計量を利用して表面のウェット感を認識していることを示しました。
さらに、解析で明らかになった画像特徴を多様な物体画像に付与した際の人間の知覚について行動実験を行い、どのような特性に対して人はウェット感を感じるかを探りました。これらの実験結果に基づき、さまざまな画像を濡れたものに変換することのできる画像処理を考案しています (解説2)。
他にも、(1)半透明感知覚を理解するための教師なし学習モデルの提案、(2)光学的特性(光沢、透明感、金属性など)に関する視覚的識別能力の評価、(3)微細なテクスチャ(髪の毛の細さなど)の解像度限界に関する心理物理実験、(4)静的な物体に動的な輝度情報を投影することで物体が動いているように錯覚させるプロジェクションマッピング技術の提案など、人間の質感認識を明らかにする研究や実証を行なっています。 (論文URL)
このようなテーマに興味を持ったきっかけは、日々の観察にあります。私は写真を撮るのが趣味ですが、普段観察しているものの中には、実際の世界の状態とは違って見える場合があります。視覚情報処理系のある種のエラーのような見え方です。このエラーの発見は、人間の脳機能の理解のための重要なヒントです。前述のウェット感の事例も、普段の世界を観察していて写真におさめている中で、「実際には世界は濡れていないのに私には濡れて見える」という風景に気付いたことがきっかけでした。その風景の中に、普段私が認識のショートカットとして使っている特徴が含まれているのだろうと考え、この研究テーマを深堀りしようと思いました。
人間の研究と情報技術の研究、双方に貢献する分野横断的アプローチ
─研究テーマやアプローチの特徴はどのような点にあるのでしょうか。
澤山 心理物理学や神経科学といった人間を含む生物に関する知見を、CGやコンピュータビジョン、機械学習などさまざまな情報科学の知見と繋いだ分野横断的な視点からアプローチすることが特徴です。このアプローチを取ることで、包括的な視点から各研究分野のミッシングピースとなっている問題を検討することができ、さまざまな技術と組み合わせることで私たちが日常眼にする質感豊かな視覚世界の理解を考えるという問題を扱うことを可能にしました。また、技術開発については、人間の視知覚を利用することで、物理的には制御困難な問題も近似的に解決可能になり得ると思います。
現代はさまざまな面で技術的な激動の時代にあり、数百年後にはメディアの在り方も想像もできないような形に変わっていくのではないかと思います。しかし、そんな時代にあっても、メディアを使うのはやはり人間であり、人間の情報処理過程を明らかにすることは、いつの時代にとっても使える技術に繋がるのではないかと期待しています。
私にとっては、眼を開けるたびに世界の見え方が不思議に感じ、その不思議さはいつも私の好奇心を掻き立てます。どんなに疲れていても、眼を開けると不思議は私の前に現れてしまうので、私はその好奇心に従って研究の道を歩いてきました。それは一種の「呪い」のようなものかもしれませんが、その情熱や好奇心が現在もモチベーションになっています。学生の皆さんも、自分の好奇心が何に向くのかを考え、その好奇心に集中することの大切さと難しさを大学生活の中で学んでほしいと思っています。研究において一つの仕上がった状態まで完遂するためには、どんなテーマを扱ったとしても粘り強く検討する意思がどうしても必要です。困難に直面しながらも、それでも自分を突き動かすことのできる一番良い動機は、好奇心だと私は考えます。
解説
解説1:画像の色統計に基づく視覚的なウェット感の知覚(Visual wetness perception based on image color statistics.)
濡れた表面と乾いた表面の色・輝度分布の解析。布や木材、植物といった様々な自然素材(図a)について、乾燥状態と水に濡れた状態それぞれの色特性を、色較正されたカメラで計測し、色画像統計量の変化を探った。その結果、乾いた場合と濡れた場合とで、色分布における色相にはほとんど変化は見られない一方で、濡れた場合に色の飽和度(彩度)が高くなることが示された(図b)。これらの結果は、表面が濡れると入射する光の散乱の仕方が変わり、表面の色がより強く現れるという理論と一貫する。
解説2:表面のウェット感を高める濡れ強調変換(Wetness Enhancing Transform: WET)
乾燥した物体表面を濡れているように見せる濡れ強調変換(Wetness Enhancing Transform: WET)技術。色の飽和度(彩度)を上昇することに加えて、濡れた表面で生じるような光沢感を増すために輝度ヒストグラムの歪度変調を適用している。心理実験の結果、多くの自然画像で濡れ感の増加効果が確認された。さらに、元の画像が持つ色エントロピーの大きさによって濡れ強調変換の効果量が変化することを示し、人間の質感認識における色情報の利用方略を明らかにした。
論文URL
(1)半透明感知覚を理解するための教師なし学習モデルの提案
https://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1010878
(2)光学的特性(光沢、透明感、金属性など)に関する視覚的識別能力の評価
https://jov.arvojournals.org/article.aspx?articleid=2778599
(3)微細なテクスチャ(髪の毛の細さなど)の解像度限界に関する心理物理実験
https://jov.arvojournals.org/article.aspx?articleid=2621974
(4)静的な物体に動的な輝度情報を投影することで物体が動いているように錯覚させるプロジェクションマッピング技術の提案
https://dl.acm.org/doi/10.1145/2874358
