北海道大学 大学院情報科学院 システム情報科学コース
ディジタル幾何処理工学研究室
Digital Geometry Processing Lab.

Home | Access | Catalog | Link | Contact

点群AR/MRと計測支援



背景とねらい
環境3次元計測は,熟練者の経験とノウハウに支えられていて,誰もが質の高い(計測漏れがない,処理上十分な密度持つ,計測誤差が小さい等)計測データ(点群)を取得できるわけではありません.そこで,質の高い点群を確実に取得することの支援を目指した,3次元計測点群の直感的確認むけの点群AR/MR技術を開発しています.計測点群を計測現場で実世界と重畳表示して,未計測個所や,計測点群の質(精度)などを可視化し,計測の現場にて質の高い点群の取得を支援することを目指しています.

Research


例えばヘッドマウントMRデバイスを用いた方法では,点群の可視化のみならず,点群取得の予測情報を用いて,追加の計測位置(計測器設置個所)の決定支援も行います.以下のような流れで計測支援を考えています.

Research


手法概要
ここではMRを利用した方法を紹介します.本研究ではHoloLens2(HL2)を利用しています.実世界と計測済みの点群とを重畳表示するためには,実世界中のHL2の位置姿勢を推定する必要があります.この位置姿勢推定は,HL2に搭載のToFセンサで取得した点群と,計測済み点群との位置合せにより自動化しています.点群の表示においては,点群の質を確認できるように,推定計測誤差などの情報を色づけして表示しています.また,現在の位置に固定式スキャナ(TLS)を設置した場合に取得される点群の予測品質を表示して,次,もしくは追加の計測個所の決定支援機能も搭載しています.

Research


効果
点群MR表示結果は下記の動画をご覧ください.固定式レーザスキャナで取得した点群を現場で実世界に重畳表示してみることが可能となりました.点群の質を色で表すことで,未計測個所のみならず,計測した箇所の点群の質も確認することができます.さらに,点群予測品質から次の計測個所(計測器設置個所)を決定し,仮想TLSを設置できます.


点群重畳表示動画 (107MB)



ユーザを外から見た動画 (107MB)


隠点消去と重畳のずれの解消を課題として現在改良を行っています.



関連論文など
  • Kenta Ohno, Hiroaki Date, and Satoshi Kanai, Study on Real-Time Point Cloud Superimposition on Camera Image to Assist Environmental Three-Dimensional Laser Scanning, International Journal of Automation Technology, 15(3), 324-333 (2021)
  • Kenta Ohno, Hiroaki Date, Satoshi Kanai, Mixed reality visualization of point clouds for supporting terrestrial laser scanning, The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XLIII-B2-2022, 251-258 (2022)