デバイスから回路、アルゴリズムまで網羅した幅広い研究領域
人の感情に訴えかける人工知能の開発を目指して
情報科学研究科 情報エレクトロニクス専攻
集積システム講座
集積ナノシステム研究室・准教授
博士（工学）池辺 将之
プロフィール
2000年、北海道大学大学院電子情報工学専攻博士課程修了。2000年、大日本印刷株式会社半導体製品研究所。2004年、北海道大学助教授。信号処理アルゴリズムとその集積回路化の研究、およびＣＭＯSイメージセンサの高機能化の研究に従事。
回路・デバイスの融合を目指す挑戦的な研究室
集積ナノシステム研究室ではどのような研究を行っているのですか。
池辺 ナノ構造のデバイスから、そのデバイスを活用するための回路、高速処理や省電力を実現するアルゴリズムなど、デバイス・回路・アルゴリズムを総合的に捉えた核心的融合技術の研究開発に取り組んでいます。半導体物理、回路学、情報学、非線形理論などのほか神経科学なども取り入れ、人間の脳の構造（神経ネットワークなど）をモデルとした人工知能集積デバイスの開発なども行っています。
テラヘルツ光を扱う技術，半導体ナノワイヤ結晶を作成する技術を持つ量子集積エレクトロニクス研究センター、ビッグデータを扱う回路やディープラーニングの研究を行っている集積アーキテクチャ研究室などと連携を密にしながら、ハード・ソフトのみならず生命科学をも視野に入れており、そういう意味では全国的にも数少ない非常に挑戦的な研究を行っているといえます。
研究領域は大きく分けて次の4つが上げられます。（１）イメージャ／プロセッサ融合情報処理システム （２）「感性」をも含む知的情報処理システム （３）人工知能集積デバイス・システム （４）ゆらぎ・非線形科学とその応用。幅広くバラエティに富む内容ですが、センサやＡＤ変換器などのデバイスからプロセッサなどの回路、信号処理を行うためのアルゴリズム、画像や音声などの出力までの一連の流れの中で、それぞれのプロセスで高度な集積化と処理を行うための新たな技術の開発を目指しています。
磁界結合を用いた3次元集積イメージセンサ／プロセッサの開発
現在どのような研究がおこなわれているのですか。
池辺 まず、「磁界結合を用いた高速・低ノイズ3次元集積イメージセンサ」（解説1）の研究があります。近年、イメージセンサとロジック回路を3次元積層する技術が注目されています。これは、センサやロジックなどの回路ブロックを切り離し、層状に重ねて接続する構造を持ったLSIです。積層することで回路ブロックを接続する長い配線が不要となり、イメージセンサとロジック回路を小面積に収めたモジュールをつくることができます。
さらに、従来のTSV（Through Silicon Via）とは異なる磁界結合によるチップ間通信（ThruChip Interface：TCIs）により高バンド幅・低コスト・高信頼性・薄化に優れた積層イメージセンサを他大学と共同提案しました。テストモジュールを使った実験では、チップ内のコイルから輻射されるノイズの影響が無視できる状態であることを確認し、本提案が積層イメージセンサに対して有用な選択肢であることを実証しています。
最近は、4Ｋや８Ｋといった高解像度の映像が一般に普及し始めており、大容量のデータを瞬時に処理する技術が必要になっています。また、車の自動運転装置のように周囲の状況をセンサで感知し、即座に危険度を判断してハンドルやブレーキなどの操作につなげる技術が求められています。本研究はこれらの分野に対し、大量のデータを高速で処理できる低コスト・低電力なチップの提供が可能になると期待されています。
人間の目と同じように明暗のバランスを補正する画像処理システム
機械学習にはどのような可能性があるのでしょうか。
池辺 「感性」をも含む知的情報処理システムがあげられます。私たち人間が見たものの明暗をバランスよく捉えるように、画面の各部分の輝度を補正する画像処理システムの研究です。デジタルカメラで風景の写真を撮った場合、カメラに搭載されているＣＣＤやＣＭＯＳなどのイメージセンサでは、一度に捉えることのできる光の範囲ＤＲ（Dynamic Range：ダイナミックレンジ）が狭いため、画像に白とびや黒つぶれが生じてしまいます（写真2）。この現象を補正するために画像処理を行うのですが、現在の技術では単一の輝度特性を用いた変換（グローバルな画像補正手法）を行うのが一般的です。グローバルな補正では、暗い部分を引き上げる補正関数を画像全体もしくはある程度広い範囲に適用するため、逆に輝度が高くなりすぎる部分がでてしまいます（白とびの状態）。
私たちの研究では、大局（グローバル）、局所（ローカル）ごとの特徴に合わせた2次元輝度補正する手法を提案しています（解説2）。この手法の画期的な部分は、画素の一つ一つに対して適切な輝度補正関数を設定し、暗い部分の輝度を上げる補正と明るい部分の輝度を下げる補正を同時に行うことにあります（写真2）。
さらに画像補正に必要な演算回数を減らし、処理を高速化するアルゴリズムも開発しています。これにより、200万画素の処理を0.3秒でソフト処理することが可能になりました。
冒頭でもお話しましたが、これらの研究は、各種センサによる測定、アナログからデジタルへの変換、デジタル信号の処理、人が見たり聞いたりして楽しむための出力までの一連の流れをすべて網羅しており、それぞれにプロセスでデバイスや回路、アルゴリズムなどの高度化・効率化・省電力化を目指しています。狭い領域に絞った研究テーマもあるため、研究内容はバラエティに富み多様な側面を持っていますが、私がそれらの技術を使って実現したいのは、人間の感情に訴えかける人工知能（ＡＩ）の開発です。前述の画像処理技術を例にとると、人工知能が使う人の好みや個性を学習したり、その日の気分を読み取るなどして最適な処理結果を自動的に導き出し、生活をサポートする。そのようなことができるようになれば、人工知能に対して「ありがとう」という感情が自然に生まれるかもしれません。そのような人工知能の実現を目指したいと考えています。
解説
解説1：磁界結合を用いた高速・低ノイズ3次元集積イメージセンサ
近年、イメージセンサとロジック回路を3次元積層するセンサが次の３つの理由から注目されています。
①イメージセンサ領域からロジック部退避によるモジュールサイズ低減
②センサ部とロジック部に対する機能の分離に即した最適なプロセスの割り当て
③撮像の高速化（例：>1000fps）と、そこに付随する画像処理応用
本研究では、Through
Chip Interfaces
(TCIs)と呼ばれる磁界結合型の3次元積層センサについて扱っています。TCIは、コスト削減、積層ずれへのロバストさ、低電力などの利点を有しています。TCIを用いた積層チップでは、コイルから輻射されるノイズに対する影響が重要です。本報告においては、AD変換器のY方向直下配置されたTCIにおいて輻射ノイズの影響が無視できる状態であることを確認した。また、3次元積層センサの応用である、高速撮像＋画像処理に向けて、シングルスロープ型AD変換器の高速化と低電力化を検討しました。積分型AD変換器と複数位相の信号で計測時間を量子化する回路の２つを用いるハイブリッド型において、時間量子器の動作を間欠化し、従来と比較して57%の電力削減を実証しました。
（図１）チップの写真
解説2：グローバル・ローカル領域に対する適応的輝度補正技術
人間は、部屋の中から窓の外の晴れた景色を眺めても、部屋と景色の輝度を脳の中で適切に補正し、両方の画像を適切に認識することができます。しかしながら、通常のカメラでは、窓の外を適切に撮像しようとすると部屋の輝度が黒つぶれし、部屋を適切に撮像しようとすると景色の輝度が白とびしてしまいます。幅広い輝度範囲を撮像する高ダイナミック撮像技術の研究も進められていますが、適切な画像表示は難しく輝度変化の乏しい「眠たい画像」なってしまいます。本研究室では、適応的な輝度補正技術に対し次の3つの技術の研究開発を行っています。
①フィルタサイズの大きさに依存しない高速な画像処理アルゴリズム
②グローバル・ローカルな領域を独自に直観的に制御できる輝度補正インターフェース
③フルハイビジョンの解像度をリアルタイム処理するハードウェア化技術
本研究では、画素の一つ一つに適切な輝度変換関数を生成します。各関数の生成は、特定サイズの局所統計量を取得して行っています。本来ならば、フィルタサイズの大きさにより画像処理速度が変わってしまいますが、画素アクセスを工夫し、フィルタサイズが255×255でも3×3でも同じ処理速度を実現する画像処理アルゴリズムを実現しました。また、輝度変換関数の特性を数理解析し、局所（ローカル）統計量に基づく関数でありながら大局（グローバル）な画像特性に関連するパラメータを有することを明らかにしました。そこで、輝度変換関数の空間の形を制御し、グローバル・ローカル領域を独自に直観的に制御できる輝度補正インターフェースを開発しました。これらの技術を、高解像度でリアルタイム処理（1920×1080画素の画像を1秒間に60枚処理）するハードウェア化の研究も同時に行っています。
（論文リンク）
画像処理装置および輝度調整方法
写真2
黒つぶれしているサンプルの写真（左）城の部分の輝度を引き上げたまま，さらに空の部分を任意に輝度補正（右）
参考：窓の外の明るい景色を撮影したもの
