(57)【要約】【課題】遠隔操作により移動可能な移動装置を取り巻く周囲の状況をより正確に提示すること。【解決手段】俯瞰映像提示システムにおいて、移動装置は、周囲を広角に撮影する複数台の第１カメラと、進行方向を撮影し、かつ奥行方向の深度情報を取得する第２カメラと、を含む。寸法情報が既知であるマーカが、第１カメラ及び第２カメラによって撮影される領域に設置される。情報処理装置は、第１カメラにより取得される映像を、仮想的な俯瞰視点の映像に視点変換することにより第１俯瞰映像を生成し、第２カメラにより取得された映像を、俯瞰視点の映像に視点変換することにより第２俯瞰映像を生成し、第１俯瞰映像に含まれるマーカと第２俯瞰映像に含まれるマーカとの相対的な位置関係に基づいて第２俯瞰映像を補正し、第１俯瞰映像に補正された第２俯瞰映像を投影することにより３次元情報を含む第３俯瞰映像を生成する。【選択図】図２
2020161895.tif 000002
【特許請求の範囲】
【請求項１】
遠隔操作可能であって、周囲を広角に撮影する複数台の第１カメラと、進行方向を撮影し、かつ奥行方向の深度情報を取得する第２カメラと、を含む移動装置と、
前記第１カメラ及び前記第２カメラによって撮影される領域に設置され、かつ寸法情報が既知であるマーカと、
前記移動装置とデータ通信可能である情報処理装置と、
を備え、
前記情報処理装置は、
前記第１カメラにより取得される映像を、前記移動装置を俯瞰する仮想的な俯瞰視点から視た映像に視点変換することにより第１俯瞰映像を生成する第１俯瞰映像生成部と、
前記第２カメラにより取得された奥行方向の深度情報を含む映像を、前記俯瞰視点から視た映像に視点変換することにより第２俯瞰映像を生成する第２俯瞰映像生成部と、
前記第１俯瞰映像に含まれるマーカと前記第２俯瞰映像に含まれるマーカとの相対的な位置関係に基づいて前記第２俯瞰映像を補正し、前記第１俯瞰映像に補正された前記第２俯瞰映像を投影することにより３次元情報を含む第３俯瞰映像を生成する第３俯瞰映像生成部と、
を備える俯瞰映像提示システム。
【請求項２】
前記第３俯瞰映像生成部は、前記３次元情報に基づいて、前記第３俯瞰映像における地面から所定の閾値以上の高さ及び所定の閾値以下の深さの障害物を強調表示する
請求項１に記載の俯瞰映像提示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、俯瞰映像提示システムに関する。
【背景技術】
【０００２】
近年、災害現場の復旧作業における遠隔操作可能な移動装置（以下、適宜「遠隔移動装置」と記載する）の利用に伴って、復旧作業の作業効率の向上を目的とした遠隔移動装置の映像提示技術の開発が盛んに行なわれている。例えば、災害現場の映像提示技術の１つとして例示される俯瞰映像提示システムは、遠隔移動装置に広角レンズを備えた複数台のカメラを搭載し、複数台のカメラから取得した映像を処理することによって、遠隔移動装置を上空の第三者視点から俯瞰したような映像を疑似的に提示することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１７−５３８２０８号公報
【特許文献２】特開２０１７−１７３２９８号公報
【特許文献３】特開２０１８−５０１１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の俯瞰映像提示システムは、遠隔移動装置の周囲にある物体が俯瞰映像上に正確に描画されない結果、遠隔移動装置を取り巻く周囲の状況を、遠隔移動装置のオペレータに正確に伝えられない場合がある。
【０００５】
本開示は、上記の課題に鑑みてなされたものであって、遠隔操作により移動可能な移動装置を取り巻く周囲の状況をより正確に提示することができる俯瞰映像提示システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するため、本開示の一態様の俯瞰映像提示システムは、遠隔操作可能であって、周囲を広角に撮影する複数台の第１カメラと、進行方向を撮影し、かつ奥行方向の深度情報を取得する第２カメラと、を含む移動装置と、前記第１カメラ及び前記第２カメラによって撮影される領域に設置され、かつ寸法情報が既知であるマーカと、前記移動装置とデータ通信可能である情報処理装置と、を備え、前記情報処理装置は、前記第１カメラにより取得される映像を、前記移動装置を俯瞰する仮想的な俯瞰視点から視た映像に視点変換することにより第１俯瞰映像を生成する第１俯瞰映像生成部と、前記第２カメラにより取得された奥行方向の深度情報を含む映像を、前記俯瞰視点から視た映像に視点変換することにより第２俯瞰映像を生成する第２俯瞰映像生成部と、前記第１俯瞰映像に含まれるマーカと前記第２俯瞰映像に含まれるマーカとの相対的な位置関係に基づいて前記第２俯瞰映像を補正し、前記第１俯瞰映像に補正された前記第２俯瞰映像を投影することにより３次元情報を含む第３俯瞰映像を生成する第３俯瞰映像生成部と、を備える。
【０００７】
俯瞰映像提示システムの望ましい態様として、前記第３俯瞰映像生成部は、前記３次元情報に基づいて、前記第３俯瞰映像における地面から所定の閾値以上の高さ及び所定の閾値以下の深さの障害物を強調表示する。
【発明の効果】
【０００８】
本開示によれば、遠隔操作により移動可能な移動装置を取り巻く周囲の状況をできるだけ正確に提示することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態に係る俯瞰映像提示システムの構成例を示す図である。
【図２】図２は、実施形態に係る俯瞰映像提示システムの機能構成を模式的に示すブロック図である。
【図３】図３は、実施形態に係る各座標系の概念を示す図である。
【図４】図４は、実施形態に係る第１俯瞰映像の一例の一部を示す図である。
【図５】図５は、実施形態に係る第２俯瞰映像の一例を示す図である。
【図６】図６は、実施形態に係る第３俯瞰映像の一例を示す図である。
【図７】図７は、実施形態に係る変換関数における変数の最適化処理の一例を示すフローチャートである。
【図８】図８は、実施形態に係る情報処理装置により実行される俯瞰映像生成処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、本発明に係る俯瞰映像提示システムについて実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下の実施形態の記載に限定されるものではない。また、以下の実施形態における構成要素には、当業者が置換可能、且つ、容易なもの、或いは実質的に同一のものが含まれる。さらに、以下に記載した実施形態における構成要素は、本発明の要旨を逸脱しない範囲で構成の種々の省略、置換又は変更を行うことができる。以下の実施形態では、本発明に係る俯瞰映像提示システムの実施形態の１つを例示する上で、必要となる構成要素を説明し、その他の構成要素を省略する。
【００１１】
［システムの構成］
図１は、実施形態に係る俯瞰映像提示システムの構成例を示す図である。図２は、実施形態に係る俯瞰映像提示システムの機能構成を模式的に示すブロック図である。
【００１２】
図１に示すように、実施形態に係る俯瞰映像提示システム１は、遠隔操作可能な移動装置１０と、移動装置１０とデータ通信可能な情報処理装置１００とを含んで構成される。移動装置１０及び情報処理装置１００は、相互にデータ通信可能な状態で通信ネットワーク５に接続される。通信ネットワーク５は、公衆通信回線及び専用通信回線等を含んで構築されてよい。
【００１３】
移動装置１０は、物体３などが存在する災害現場などを走行する。移動装置１０は、魚眼レンズを備える複数の第１カメラ１１ａ〜１１ｄと、第２カメラ１２と、通信部１３と、アクチュエータ１４と、記憶部１５と、制御部１６とを有する。移動装置１０は、情報処理装置１００から受信する動作コマンドに従って走行してもよいし、情報処理装置１００とは別の遠隔装置から受信する動作コマンドに従って走行してもよい。移動装置１０として、参考文献１（新エネルギー・産業技術総合開発機構：災害対応無人化システム研究開発プロジェクト  計測・作業要素技術の開発  水陸両用モニタリングデバイスの開発，平成23年度〜平成24年度成果報告書(2013)）における災害対応プロジェクトで開発された装置が例示される。
【００１４】
第１カメラ１１ａ〜１１ｄは、移動装置１０の周囲（周辺環境）を所定の撮影範囲よりも広角に撮影する。第１カメラ１１ａ〜１１ｄは、例えば、１８０度前後の広い画角を持った魚眼レンズを備える。第１カメラ１１ａ〜１１ｄは、本実施形態において、移動装置１０の進行方向に対して、左右の斜め前側及び斜め後側に設けられるが、前後左右にそれぞれ設けられてもよい。以下の説明において、第１カメラ１１ａ〜１１ｄにより取得される映像データに基づく映像を、「第１カメラ映像１１Ｇ」と表記する場合がある。移動装置１０に第１カメラ１１ａ〜１１ｄを設置する場合、例えば、参考文献２（小松  廉，藤井  浩光，山下  淳，淺間一：カメラ配置設計による故障時に備えたロボット遠隔操作のための俯瞰映像提示システムの開発，精密工学学会誌，81，12(2015)1206）に提案される配置に基づいて設置することができる。
【００１５】
第２カメラ１２は、移動装置１０の進行方向に設けられる。第２カメラ１２は、移動装置１０の進行方向を撮影し、かつ奥行方向の深度情報を取得する。第２カメラ１２は、対象物を複数の異なる方向から同時に撮影することにより、奥行方向の情報も記録するステレオカメラである。第２カメラ１２は、少なくとも奥行方向の情報を含む深度画像を撮影できればよい。第２カメラ１２は、例えば、ＲＧＢ−Ｄセンサでもよい。ＲＧＢ−Ｄセンサは、深度画像に加えてＲＧＢ画像を取得するセンサである。ＲＧＢ−Ｄセンサは、深度画像を撮影する二眼の赤外線カメラと、ＲＧＢ画像を撮影する一眼のＲＧＢカメラと、を含む。第２カメラ１２の水平方向の視野角は、例えば、８８．２度以上９４．２度以下である。垂直方向の視野角は、例えば、６２．５度以上６８．５度以下である。第２カメラ１２は、物体の表面の位置を示す３次元点の集合体である３次元点群の情報を３次元情報として取得できる。第２カメラ１２により取得される３次元点群を構成する各３次元点は、物体の表面の位置を示す３次元座標値で表される。３次元座標値は、任意の原点における、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の各軸に対応する座標値で構成される。
【００１６】
通信部１３は、通信ネットワーク５を介して、情報処理装置１００との間で各種データをやり取りするためのデータ通信を実行する。通信部１３は、走行に関する動作コマンドを受信できる。通信部１３は、動作コマンドを制御部１６に送出できる。通信部１３は、情報処理装置１００に対して、第１カメラ１１ａ〜１１ｄにより取得された映像データ、及び第２カメラ１２により取得された映像データ及び深度情報を送信できる。通信部１３は、情報処理装置１００との間の通信を可能とする各種通信方式をサポートできる。通信部１３の通信方式は、無線通信及び有線通信のいずれの通信方式を適用してもよい。
【００１７】
アクチュエータ１４は、制御部１６の制御信号を、移動装置１０が災害現場などの走行面２の走行させるための動力に変換する。アクチュエータ１４は、例えば、電気モータなどを含む。
【００１８】
記憶部１５は、制御部１６により実行される各種処理を実現するためのプログラム及びデータを記憶する。記憶部１５が記憶するプログラムにより提供される機能は、移動装置１０の走行を制御する機能、並びに第１カメラ１１ａ〜１１ｄにより取得された映像データ及び第２カメラ１２により取得された映像データ及び深度情報を情報処理装置１００に送信する機能を含む。記憶部１５は、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable  Programmable  Read  Only  Memory）、ＥＥＰＲＯＭ（登録商標）（Electrically  Erasable  Programmable  Read  Only  Memory）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤにより実装されてよい。
【００１９】
制御部１６は、記憶部１５に記憶されているプログラム及びデータに基づいて、移動装置１０に関する各種処理を実行する。特に、本実施形態において、制御部１６は、通信部１３を介して、第１カメラ１１ａ〜１１ｄにより取得された映像データ、及び第２カメラ１２により検出された３次元情報を情報処理装置１００に送信する。制御部１６は、ＣＰＵ（Central  Processing  Unit）マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ、システムＬＳＩ（Large  Scale  Integration）などのプロセッサにより実装されてよい。
【００２０】
移動装置１０は、段差などがある不整地な災害現場の走行面に追従できるクローラ、クローラを下部に備える台車、及び台車上に配置された胴体部などを備えてよい。上述した第１カメラ１１ａ〜１１ｄ及び第２カメラ１２は、胴体部に設置されてよい。
【００２１】
情報処理装置１００は、移動装置１０から受信する映像データ及び３次元情報を用いて、移動装置１０の周囲にある物体の位置を提示する俯瞰映像を生成する。情報処理装置１００は、通信部１１１と、表示部１１３と、記憶部１１５と、制御部１１７とを備える。
【００２２】
通信部１１１は、通信ネットワーク５を介して、移動装置１０との間で各種データをやり取りするためのデータ通信を実行する。通信部１１１は、移動装置１０から送信された映像データ、及び３次元情報を受信できる。通信部１１１は、移動装置１０との間の通信を可能とする各種通信方式をサポートできる。通信部１１１の通信方式は、無線通信及び有線通信のいずれの通信方式を適用してもよい。
【００２３】
表示部１１３は各種情報を表示する。表示部１１３は、後述する制御部１１７により生成された俯瞰映像を表示できる。表示部１１３は、液晶ディスプレイ（LCD：Liquid  Crystal  Display）、有機ＥＬディスプレイ（OELD：Organic  Electro-Luminescence  Display）、又は無機ＥＬディスプレイ（IELD：Inorganic  Electro-Luminescence  Display）等の表示デバイスを含んでよい。表示部１１３は、タッチスクリーンなどの入力デバイスを含んでよい。
【００２４】
記憶部１１５は、制御部１１７により実行される各種処理を実現するためのプログラム及びデータを記憶する。記憶部１１５が記憶するプログラムにより提供される機能は、移動装置１０の周囲にある物体の位置を提示する俯瞰映像を生成する機能を含む。記憶部１１５が記憶するデータは、移動装置１０から受信する映像データ及び３次元情報を含む。記憶部１５は、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable  Programmable  Read  Only  Memory）、ＥＥＰＲＯＭ（登録商標）（Electrically  Erasable  Programmable  Read  Only  Memory）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤにより実装されてよい。
【００２５】
制御部１１７は、記憶部１１５に記憶されているプログラム及びデータに基づいて、移動装置１０に関する各種処理を実行する。特に、本実施形態において、制御部１１７は、移動装置１０の周囲にある物体の位置を提示する俯瞰映像を生成する処理を実行する。制御部１１７は、ＣＰＵ（Central  Processing  Unit）マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital  Signal  Processor）、システムＬＳＩ（Large  Scale  Integration）などのプロセッサを含んで実装されてよい。制御部１１７は、記憶部１１５に記憶されているプログラムを読み出してＲＡＭなどのワーキングメモリに展開し、ワーキングメモリに展開されたプログラムに含まれる命令をＣＰＵなどのプロセッサに実行させる。これにより、制御部１１７は、以下に説明する第１俯瞰映像生成部１１７ａ、第２俯瞰映像生成部１１７ｂ、並びに第３俯瞰映像生成部１１７ｃにより提供される各機能に基づいた各処理を実行できる。
【００２６】
制御部１１７は、第１俯瞰映像生成部１１７ａと、第２俯瞰映像生成部１１７ｂと、第３俯瞰映像生成部１１７ｃと、を有する。
【００２７】
第１俯瞰映像生成部１１７ａは、移動装置１０から受信する映像データ、すなわち第１カメラ１１ａ〜１１ｄにより取得される映像（第１カメラ映像）を、移動装置１０を俯瞰する仮想的な俯瞰視点から視た映像に視点変換することにより第１俯瞰映像を生成する。第１俯瞰映像生成部１１７ａは、移動装置１０の第１カメラ１１ａ〜１１ｄにより撮影された全ての物体がロボット座標系２１におけるある平面上に存在するという仮定の下、第１カメラ映像１１Ｇをその平面上に透視投影した後、視点変換処理を行うことにより、第１俯瞰映像を生成する。第１俯瞰映像生成部１１７ａは、参考文献３（佐藤高亮，藤井浩光，Alessandro  Moro，山下淳，淺間一：複数の魚眼カメラとＬＲＦを用いた重畳型全方位俯瞰映像提示手法の構築，第１３回計測自動制御学会システムインテグレーション部門講演会講演論文集（２０１２））に提案される従来手法を用いることによって、第１俯瞰映像を生成できる。
【００２８】
［座標系の定義］
図３は、実施形態に係る各座標系の概念を示す図である。図３に示す座標系２１は、移動装置１０の座標系である。図３において、ロボット座標系２１のｘｗｙｗ平面は、床面（移動装置１０の走行面２）と同一であり、ｚｗ軸の正方向は、床面に対して鉛直上向きとする。以下、図３に示す座標系２１を、適宜「ロボット座標系２１」と表記する。図３に示す座標系２３は、例えば、第１カメラ１１ａの位置及び姿勢を規定する座標系である。以下、図３に示す座標系２３を、適宜「第１カメラ座標系２３」と表記する。なお、図示は省略するが、第１カメラ座標系２３と同様に、第１カメラ１１ｂ〜１１ｄの位置及び姿勢を規定する座標系が設定される。図３に示す座標系２５は、第２カメラ１２により取得される検出点を規定する座標系である。以下、図３に示す座標系２５を、適宜「第２カメラ座標系２５」と表記する。図３に示す座標系２７は、例えば、第１カメラ１１ａにより撮影される第１カメラ映像１１Ｇ上の点を規定する座標系である。以下、図３に示す座標系２７を、適宜「第１カメラ画像座標系２７」と表記する。なお、図示は省略するが、第１カメラ画像座標系２７と同様に、第１カメラ１１ｂ〜１１ｄにより撮影される第１カメラ映像１１Ｇ上の点を規定する座標系が設定される。図３に示す座標系２９は、第２カメラ１２により撮影される第２カメラ映像１２Ｇ上の点を規定する座標系である。以下、図３に示す座標系２９を、適宜「第２カメラ画像座標系２９」と表記する。図３に示す座標系３１は、移動装置１０を上空から俯瞰する位置にあると仮定した仮想的な仮想カメラ３３による仮想カメラ映像３３Ｇ上の点の位置を規定する座標系である。以下、図３に示す座標系３１を、適宜「仮想カメラ画像座標系３１」と表記する。ロボット座標系２１における点Ｐｗ＝［ｘｗ，ｙｗ，ｚｗ］Ｔの第１カメラ座標系２３における表現を点Ｐｆ＝［ｘｆ，ｙｆ，ｚｆ］Ｔとする。ロボット座標系２１における点Ｐｗ＝［ｘｗ，ｙｗ，ｚｗ］Ｔの第２カメラ座標系２５における表現を点Ｐｄ＝［ｘｄ，ｙｄ，ｚｄ］Ｔとする。ロボット座標系２１における点Ｐｗ＝［ｘｗ，ｙｗ，ｚｗ］Ｔの第１カメラ画像座標系２７における表現を点ｍｆ＝［ｕｆ，ｖｆ］Ｔとする。ロボット座標系２１における点Ｐｗ＝［ｘｗ，ｙｗ，ｚｗ］Ｔの第２カメラ画像座標系２９における表現を点ｍｄ＝［ｕｄ，ｖｄ］Ｔとする。第１俯瞰映像生成部１１７ａは、各座標系における各点を、仮想カメラ画像座標系３１における点ｍｖ＝［ｕｖ，ｖｖ］Ｔに変換する。以下の説明において、任意の座標系における点Ｎの同次座標系による座標表現をＮ〜とする。
【００２９】
［マーカの設置］
移動装置１０の第１カメラ１１ａ〜１１ｄ及び第２カメラ１２が撮影する所定領域には、マーカ３５が設置される。マーカ３５は、少なくとも既知の寸法情報を有する。マーカ３５は、本実施形態において、各辺の長さが既知である矩形状の薄板である。マーカ３５の形状は、特に限定されない。マーカ３５は、所定領域に複数設置されてもよい。マーカ３５は、例えば、各々のマーカ３５を区別するための識別子を含んでもよい。マーカ３５の寸法情報及び識別子は、記憶部１１５に予め記憶される。
【００３０】
［第１俯瞰映像の作成］
第１俯瞰映像生成部１１７ａは、以下に示す式（１）で示される第１カメラ座標系２３における点Ｐｆ＝［ｘｆ，ｙｆ，ｚｆ］Ｔと、第１カメラ画像座標系２７における点ｍｆ＝［ｕｆ，ｖｆ］Ｔとの関係に基づいて、魚眼レンズにより撮影された映像特有の歪みを除去した透視投影映像を生成する。以下に示す式（１）は、参考文献４（Davide  Schramuzza,  Agostion  Martinelli,  and  Roland  Siegwart:  A  flexible  technique  for  accurate  omnidirectional  camera  calibration  and  structure  from  motion,  Proceeding  of  IEEE  International  Conference  of  Computer  Vision  Systems  (2006)  45）及び参考文献５（Davide  Schramuzza,  Agostion  Martinelli,  and  Roland  Siegwart:  A  toolbox  for  easily  calibrating  omnidirectional  cameras,  Proceedings  of  IEEE/RSJ  International  Conference  of  Intelligent  Robots  and  Systems  (2006)  5695）に提案される手法によって求められる。
【００３１】
【数１】
2020161895.tif 000003
【００３２】
式（１）における「ｆ（ｕｆ，ｕｖ）」は、第１カメラ画像座標系２７における原点からの距離√｛ｕｆ２＋ｕｖ２｝に関する関数であり、式（１）における「ａ」は、第１カメラ座標系２３における各点と第１カメラ画像座標系２７における各方向ベクトルの関係を等式で表現するために設定する定数である。
【００３３】
続いて、第１俯瞰映像生成部１１７ａは、上述した式（１）に基づいて生成した透視投影映像を、特定の平面に対して透視投影する。ロボット座標系２１と第１カメラ画像座標系２７は、３×４行列の透視投影行列Ｈｗ→ｆにより関係付けることができ、ロボット座標系２１と第１カメラ画像座標系２７との間には、以下の式（２）の関係が成立する。
【００３４】
【数２】
2020161895.tif 000004
【００３５】
移動装置１０の第１カメラ１１ａ〜１１ｄにより撮影された全ての物体がロボット座標系２１におけるある平面上に存在すると仮定する。例えば、第１カメラ映像１１Ｇをｚｗ＝０の平面（床面）に透視投影する場合、以下の式（３）に示すように、透視投影行列Ｈｗ→ｆの３列目成分を省略できる。
【００３６】
【数３】
2020161895.tif 000005
【００３７】
ここで、式（３）におけるＨ´ｗ→ｆおよびＰ〜´ｗは、それぞれ、Ｈ´ｗ→ｆの３列目と、Ｐ〜´ｗの３行目の成分を省略した行列とする。式（３）により、ロボット座標系２１と、第１カメラ画像座標系２７との関係が決定される。
【００３８】
続いて、第１俯瞰映像生成部１１７ａは、上述した式（３）に示す関係に基づいて、特定の平面に対して透視投影された透視投影映像の視点変換処理を行い、第１俯瞰映像を生成する。ここでは、ｚｗ軸方向視の第１俯瞰映像に生成する手法について説明する。まず、第１俯瞰映像生成部１１７ａは、ロボット座標系２１と仮想カメラ画像座標系３１との関係を求める。ロボット座標系２１と仮想カメラ画像座標系３１との間には、以下の式（４）の関係が成立する。
【００３９】
【数４】
2020161895.tif 000006
【００４０】
式（４）におけるＨ´ｗ→ｖは、ロボット座標系２１と仮想カメラ画像座標系３１とを関係付ける透視投影行列Ｈｗ→ｖの３列目の成分を省略した行列である。上述した式（３）および式（４）を用いると、第１カメラ画像座標系２７と仮想カメラ画像座標系３１との間には、式（５）に示す関係が成立する。
【００４１】
【数５】
2020161895.tif 000007
【００４２】
ただし、式（５）において、Ｈ´ｆ→ｗ＝（Ｈ´ｗ→ｆ）−１である。第１俯瞰映像生成部１１７ａは、式（５）より、移動装置１０から受信した第１カメラ映像１１Ｇ（映像データ）から、移動装置１０を上空から俯瞰したような第１俯瞰映像を生成できる。第１俯瞰映像は、仮想カメラ映像３３Ｇである。
【００４３】
ここで、式（５）から確認できるように、Ｈ´ｗ→ｖおよびＨ´ｆ→ｗを求める必要がある。本実施形態では、参考文献６（佐藤  高亮，藤井  浩光，Alessandro  Moro，杉元  和也，野末  晃，三村  洋一，小幡  克実，山下  淳，淺間一：無人化施工用俯瞰映像システムの開発，日本機械学会論文集，81，823(2015)1）、及び参考文献７（淺利  圭介，石井洋平，本郷  仁志，蚊野  浩：鳥瞰画像生成における校正環境の簡易化，第13回画像センシングシンポジウム予稿集(2017)IN1-13）などに提案される手法を参考として、Ｈ´ｗ→ｖおよびＨ´ｆ→ｗを非線形の最適化手法により推定する。推定したＨ´ｗ→ｖおよびＨ´ｆ→ｗの行列をもとに、第１カメラ１１ａ〜１１ｄにより取得される第１カメラ映像１１Ｇと、仮想カメラ３３により取得される仮想カメラ映像３３Ｇの各画素の１対１の対応関係をあらかじめ取得することができる。なお、第１カメラ映像１１Ｇと仮想カメラ映像３３Ｇの各画素の１対１の対応関係をルックアップテーブルとしてあらかじめ保存しておいて、第１俯瞰映像の生成時に利用できるようにしてもよい。上述した第１俯瞰映像の生成方法の例では、第１俯瞰映像をｚｗ軸方向視の映像に限定したが、俯瞰視点の方向はこれに限定されない。
【００４４】
［第２俯瞰映像の作成］
第２俯瞰映像生成部１１７ｂは、第２カメラ座標系２５における点Ｐｄ＝［ｘｄ，ｙｄ，ｚｄ］Ｔと、第２カメラ画像座標系２９における点ｍｄ＝［ｕｄ，ｖｄ］Ｔとの関係に基づいて、第２カメラ映像１２Ｇの視点変換処理を行い、第２俯瞰映像を生成する。この際、第２俯瞰映像の座標系は、仮想カメラ画像座標系３１に合わせる。第２カメラ映像１２Ｇから第２俯瞰映像への視点変換処理は、平行移動及び回転のみで行われる。第１俯瞰映像の俯瞰視点を、第２カメラ１２の視点に合わせることも可能である。この場合、第１俯瞰映像生成部１１７ａは、第１カメラ映像１１Ｇから生成された透視投影映像を、第２カメラ座標系２５に視点変換処理を行い、第１俯瞰映像を生成する。第２俯瞰映像生成部１１７ｂは、第２カメラ映像１２Ｇから第２俯瞰映像への視点変換処理を省略する。
【００４５】
［第３俯瞰映像の作成］
図４は、実施形態に係る第１俯瞰映像の一例の一部を示す図である。図５は、実施形態に係る第２俯瞰映像の一例を示す図である。図６は、実施形態に係る第３俯瞰映像の一例を示す図である。図４に示す第１俯瞰映像Ｇ１は、上述した第１俯瞰映像（仮想カメラ映像３３Ｇ（図３参照））と同様に作成される。図５に示す第２俯瞰映像Ｇ２は、上述した第２俯瞰映像と同様に作成される。第１俯瞰映像Ｇ１及び第２俯瞰映像Ｇ２には、マーカ３５が含まれる。
【００４６】
第１カメラ１１ａ〜１１ｄにより取得された第１カメラ映像１１Ｇに基づいて作成される第１俯瞰映像Ｇ１上の点Ｍｉ（Ｍ１、Ｍ２、・・・、Ｍｎ）の座標は、第２カメラ映像１２Ｇに基づいて作成される第２俯瞰映像Ｇ２上の点Ｓｉ（Ｓ１、Ｓ２、・・・、Ｓｎ）の座標と、ロボット座標系２１において同一座標の点である。点Ｍｉの座標は、仮想カメラ画像座標系３１において、対応する点Ｓｉの座標に対して、差異を有する。第３俯瞰映像生成部１１７ｃは、記憶部１１５に記憶されたマーカ３５の情報、第１俯瞰映像Ｇ１及び第２俯瞰映像Ｇ２に基づいて、点Ｍｉ及び点Ｓｉを設定する。点Ｍｉは、本実施形態において、第１俯瞰映像Ｇ１のマーカ３５の角である。点Ｓｉは、本実施形態において、第２俯瞰映像Ｇ２のマーカ３５の角である。点Ｍｉは、図４において、点Ｍ１、点Ｍ２、点Ｍ３、点Ｍ４のみが図示されているが、全てのマーカ３５の４角に設定されてもよい。点Ｓｉは、図５において、点Ｓ１、点Ｓ２、点Ｓ３、点Ｓ４のみが図示されているが、全てのマーカ３５の４角に設定されてもよい。点Ｍｉ及び点Ｓｉは、オペレータが第１俯瞰映像Ｇ１及び第２俯瞰映像Ｇ２を見ながら設定してもよい。点Ｍｉ及び点Ｓｉは、第１俯瞰映像Ｇ１及び第２俯瞰映像Ｇ２による識別が可能であれば、マーカ３５の角に設定されなくてもよい。例えば、マーカ３５に寸法が既知である図形を描画し、図形の所定の位置を点Ｍｉ及び点Ｓｉと設定してもよい。第３俯瞰映像生成部１１７ｃは、点Ｍｉ及び点Ｓｉの点集合｛Ｍ，Ｓ｝において、点群Ｓとの差が最小になるように点群Ｍを変換する。変換関数Ｔは、以下の式（６）によって定義される。
【００４７】
【数６】
2020161895.tif 000008
【００４８】
式（６）における「θ」は、６自由度の位置、方向、及び倍率を定義する変数である。距離関数は、以下の式（７）によって計算される。
【００４９】
【数７】
2020161895.tif 000009
【００５０】
式（７）における「ｍ」は、ｍ∈Ｔ（Ｍ，θ）である。式（７）における「ｓ」は、ｓ∈Ｓである。「θ」は、最適化プロセスによって、ランダムに修正される。図７は、実施形態に係る変換関数における変数の最適化処理の一例を示すフローチャートである。図７における「θｂｅｓｔ」は、「θ」の最大値である。図７における「ｅｒｒ」は、エラーの許容範囲の閾値である。「θ」の初期値である「ｉｎｉｔｉａｌθ」、「θｂｅｓｔ」及び「ｅｒｒ」の値は、図７に示す最適化処理が実行される前に、予め任意で設定されるものとする。第３俯瞰映像生成部１１７ｃは、移動装置１０が移動開始するとステップＳ５１に移行して、処理を開始する。第３俯瞰映像生成部１１７ｃは、図７に示すフローチャートの処理を終了すると、移動装置１０が停止するまでステップＳ５１から処理を開始する。「θ」は、位置及び方向に乱数［−０．５，０．５］を追加し、倍率に乱数［−０．０５，０．０５］を追加することによって更新される。乱数は「θｒａｎｄ」によって表される。
【００５１】
ステップＳ５１において、第３俯瞰映像生成部１１７ｃは、式（６）を適用する。ステップＳ５２において、第３俯瞰映像生成部１１７ｃは、式（７）を計算する。ステップＳ５３において、第３俯瞰映像生成部１１７ｃは、ステップＳ５２において変換した値が、閾値ｅｒｒより小さいか否かを判断する。ステップＳ５３において、ｄｉｓｔが閾値ｅｒｒより小さいと判断された場合、第３俯瞰映像生成部１１７ｃは、ステップＳ５４に移行する。ステップＳ５３において、ｄｉｓｔが閾値ｅｒｒ以上であると判断された場合、第３俯瞰映像生成部１１７ｃは、ステップＳ５５に移行する。ステップＳ５４において、第３俯瞰映像生成部１１７ｃは、「θｂｅｓｔ」の値を「θ」に更新する。第３俯瞰映像生成部１１７ｃは、ステップＳ５４を実行すると一連の処理を終了し、ステップＳ５１から処理を再開する。ステップＳ５５において、第３俯瞰映像生成部１１７ｃは、「θ」の値を「θｂｅｓｔ＋θｒａｎｄ」に更新する。第３俯瞰映像生成部１１７ｃは、ステップＳ５５を実行すると一連の処理を終了し、ステップＳ５１から処理を再開する。
【００５２】
点群Ｍは、本実施形態において、第１俯瞰映像Ｇ１に含まれるマーカ３５の角に設定される。点群Ｓは、本実施形態において、第２俯瞰映像Ｇ２に含まれるマーカ３５の角に設定される。すなわち、第３俯瞰映像生成部１１７ｃは、第１俯瞰映像Ｇ１に含まれるマーカ３５と第２俯瞰映像Ｇ２に含まれるマーカ３５との相対的な位置関係に基づいて、第２俯瞰映像Ｇ２を補正する。例えば、第３俯瞰映像生成部１１７ｃは、第２俯瞰映像Ｇ２に含まれるマーカ３５の角に対応する４点の座標が、第１俯瞰映像Ｇ１に含まれるマーカ３５の角に対応する４点の座標に一致するように、第２俯瞰映像Ｇ２を補正する。第３俯瞰映像生成部１１７ｃは、第１俯瞰映像Ｇ１に補正された第２俯瞰映像Ｇ２を投影する。第３俯瞰映像生成部１１７ｃは、第１俯瞰映像Ｇ１に補正された第２俯瞰映像Ｇ２を投影することにより、図６に示す第３俯瞰映像Ｇ３を生成する。第３俯瞰映像Ｇ３は、３次元情報を含むので、地面と障害物とを判別可能である。第１俯瞰映像Ｇ１に含まれるマーカ３５の位置の３次元座標の情報が、仮想カメラ画像座標系３１における点群の情報にない場合、最も近い点の間で線形補間が行われる。
【００５３】
第３俯瞰映像生成部１１７ｃは、第３俯瞰映像Ｇ３における障害物を所定の方法によって強調表示する。障害物は、地面より上方に存在する物体４０又は地面より下方に凹んだ穴等である。第３俯瞰映像生成部１１７ｃは、地面から所定の閾値以上の高さの点群を地上側の障害物４１として強調表示する。所定の閾値は、例えば、地上２０ｃｍ以上である。第３俯瞰映像生成部１１７ｃは、地面から所定の閾値以下の深さの点群を地下側の障害物として強調表示する。所定の閾値は、例えば、地下２０ｃｍ以下である。所定の閾値は、記憶部１１５に予め設定される。地上側の障害物４１を示す強調表示は、例えば、赤色塗り潰しによる表示である。地下側の障害物を示す強調表示は、例えば、青色塗り潰しによる表示である。強調表示は、例えば障害物を囲う線でもよい。強調表示する方法は、記憶部１１５に予め設定される。
【００５４】
図８は、実施形態に係る情報処理装置により実行される俯瞰映像生成処理の一例を示すフローチャートである。図８に示す処理は、制御部１１７が、記憶部１１５に記憶されているプログラム及びデータに基づいて実行する。
【００５５】
図８に示すように、ステップＳ１０１において、移動装置１０の制御部１６は、記憶部１５に記憶された所定のプログラムに基づいて、第１カメラ１１ａ〜１１ｄ及び第２カメラ１２によって所定の領域を撮影させる。制御部１６は、通信部１３に、第１カメラ１１ａ〜１１ｄによって撮影された第１カメラ映像１１Ｇ、及び第２カメラ１２によって撮影された第２カメラ映像１２Ｇを、通信ネットワーク５を介して、情報処理装置１００の通信部１１１に送信させる。情報処理装置１００の制御部１１７は、取得した第１カメラ映像１１Ｇ及び第２カメラ映像１２Ｇを記憶部１１５に記憶させる。
【００５６】
ステップＳ１０２において、制御部１１７の第１俯瞰映像生成部１１７ａは、記憶部１１５に記憶された第１カメラ映像１１Ｇを俯瞰視点に視点変換し、第１俯瞰映像Ｇ１を生成する。俯瞰視点は、移動装置１０を任意の方向から俯瞰する仮想的な俯瞰視点に対応する。制御部１１７は、第１俯瞰映像Ｇ１を表示部１１３に提示させる。
【００５７】
ステップＳ１０３において、制御部１１７の第２俯瞰映像生成部１１７ｂは、記憶部１１５に記憶された第２カメラ映像１２Ｇを俯瞰視点に視点変換し、第２俯瞰映像Ｇ２を生成する。制御部１１７は、第２俯瞰映像Ｇ２を表示部１１３に提示させる。
【００５８】
ステップＳ１０４において、制御部１１７の第３俯瞰映像生成部１１７ｃは、マーカ３５の位置情報に基づいて、第１俯瞰映像Ｇ１に第２俯瞰映像Ｇ２を投影する。すなわち、第３俯瞰映像生成部１１７ｃは、第１俯瞰映像Ｇ１に含まれるマーカ３５と第２俯瞰映像Ｇ２に含まれるマーカ３５との相対的な位置関係に基づいて、第１俯瞰映像Ｇ１に第２俯瞰映像Ｇ２を投影する。第３俯瞰映像生成部１１７ｃは、第１俯瞰映像Ｇ１に第２俯瞰映像Ｇ２を投影することにより第３俯瞰映像Ｇ３を生成する。第３俯瞰映像Ｇ３は、３次元情報を含むので、地面と障害物とを判別可能である。
【００５９】
ステップＳ１０５において、制御部１１７の第３俯瞰映像生成部１１７ｃは、第３俯瞰映像Ｇ３に含まれる点群の３次元座標情報に基づいて、地面から所定の閾値以上の高さ及び所定の閾値以下の深さの点を抽出する。所定の閾値は、予め記憶部１１５に設定される値である。第３俯瞰映像生成部１１７ｃは、抽出された点を、記憶部１１５に記憶された所定の方法によって強調表示する。制御部１１７は、第３俯瞰映像Ｇ３を表示部１１３に提示させる。ステップＳ１０５が実行されると、俯瞰映像提示システム１は、図８に示す一連の処理を終了する。
【００６０】
以上で説明したように、俯瞰映像提示システム１は、移動装置１０と、マーカ３５と、情報処理装置１００と、を備える。移動装置１０は、遠隔操作可能である。移動装置１０は、複数台の第１カメラ１１ａ〜１１ｄと、第２カメラ１２と、を含む。第１カメラ１１ａ〜１１ｄは、周囲を広角に撮影する。第２カメラ１２は、進行方向を撮影する。第２カメラ１２は、奥行方向の深度情報を取得する。マーカ３５は、第１カメラ１１ａ〜１１ｄ及び第２カメラ１２によって撮影される領域に設置される。マーカ３５は、寸法情報が既知である。情報処理装置１００は、移動装置１０とデータ通信可能である。情報処理装置１００は、第１俯瞰映像生成部１１７ａと、第２俯瞰映像生成部１１７ｂと、第３俯瞰映像生成部１１７ｃと、を備える。第１俯瞰映像生成部１１７ａは、第１カメラ１１ａ〜１１ｄにより取得される映像（第１カメラ映像１１Ｇ）を、移動装置１０を俯瞰する仮想的な俯瞰視点から視た映像に視点変換することにより第１俯瞰映像Ｇ１を生成する。第２俯瞰映像生成部１１７ｂは、第２カメラ１２により取得された奥行方向の深度情報を含む映像を、俯瞰視点から視た映像に視点変換することにより第２俯瞰映像Ｇ２を生成する。第３俯瞰映像生成部１１７ｃは、第１俯瞰映像Ｇ１に含まれるマーカ３５と第２俯瞰映像Ｇ２に含まれるマーカ３５との相対的な位置関係に基づいて第２俯瞰映像Ｇ２を補正し、第１俯瞰映像Ｇ１に補正された第２俯瞰映像Ｇ２を投影することにより３次元情報を含む第３俯瞰映像Ｇ３を生成する。
【００６１】
俯瞰映像提示システム１によれば、３次元情報を含む俯瞰映像を生成することができるので、俯瞰映像において、地面と障害物とを判別可能である。移動装置１０の周囲にある物体の位置をより好適に描画した映像をオペレータに提供することができる。これにより、人の立ち入りが困難な屋内の災害現場などにおいて、移動装置１０等のように、遠隔操作により移動可能な遠隔移動装置を操作して災害現場の復旧作業及び調査などを行う際、遠隔移動装置の周囲環境に対するオペレータの認識の誤り、遠隔移動装置の障害物への衝突を容易に回避することでき、災害現場の復旧作業及び調査の安全性を高めることができる。
【００６２】
また、俯瞰映像提示システム１において、第３俯瞰映像生成部１１７ｃは、３次元情報に基づいて、第３俯瞰映像Ｇ３における地面から所定の閾値以上の高さ及び所定の閾値以下の深さの障害物を強調表示する。これにより、移動装置１０の周囲にある障害物の位置をより好適にオペレータに提示することができる。
【００６３】
以上、本発明の実施形態を説明したが、この実施形態の内容によって実施形態が限定されるものではない。例えば、第２カメラ１２は、２つ以上設けられてもよい。また、本実施形態において、第１カメラ１１ａ〜１１ｄは、魚眼レンズを備える魚眼カメラであるが、第２カメラ１２と同様にステレオカメラを用いてもよい。この場合においても、上述した方法によって、第１カメラが撮影した映像に基づいて生成された第１俯瞰映像に、第２カメラが撮影した映像に基づいて生成された第２俯瞰映像を投影することができる。
【符号の説明】
【００６４】
１  俯瞰映像提示システム
２  走行面
３  物体
５  通信ネットワーク
１０  移動装置
１１ａ〜１１ｄ  第１カメラ
１１Ｇ  第１カメラ映像
１２  第２カメラ
１２Ｇ  第２カメラ映像
１３  通信部
１４  アクチュエータ
１５  記憶部
１６  制御部
２１  ロボット座標系
２３  第１カメラ座標系
２５  第２カメラ座標系
２７  第１カメラ画像座標系
２９  第２カメラ画像座標系
３１  仮想カメラ画像座標系
３３  仮想カメラ
３３Ｇ  仮想カメラ映像
３５  マーカ
４０  物体
４１  障害物
１００  情報処理装置
１１１  通信部
１１３  表示部
１１５  記憶部
１１７  制御部
１１７ａ  第１俯瞰映像生成部
１１７ｂ  第２俯瞰映像生成部
１１７ｃ  第３俯瞰映像生成部
Ｇ１  第１俯瞰映像
Ｇ２  第２俯瞰映像
Ｇ３  第３俯瞰映像
【図１】
2020161895.tif 000010
【図２】
2020161895.tif 000011
【図３】
2020161895.tif 000012
【図４】
2020161895.tif 000013
【図５】
2020161895.tif 000014
【図６】
2020161895.tif 000015
【図７】
2020161895.tif 000016
【図８】
2020161895.tif 000017