(57)【要約】【課題】  利用者にとっての煩雑さの発生を抑制しつつ、無人移動体の周囲の環境画像の表示を行う。【解決手段】  撮影装置２００が、撮影視野の広さが互いに同一であり、撮影方向が互いに異なる複数の撮影光学系を利用し、重複領域を有しつつ、全体として全天球にわたる画像を撮影し、複数の撮影光学系のそれぞれに対応する撮影結果データを画像処理装置３００へ送信する。また、ヘッドマウント表示装置４００が、前回検出時点からの自身の姿勢変化量を検出し、検出結果を画像処理装置３００へ送る。画像処理装置３００は、複数の撮影結果データに対してスティッチング処理を施して全天球画像データを生成した後、ヘッドマウント表示装置４００の姿勢に対応して定まる表示領域の画像を全天球画像から抽出して表示画像データを生成する。そして、ヘッドマウント表示装置４００が、表示画像データに対応する画像を表示する。【選択図】  図１
2018160761.tif 000002
【特許請求の範囲】
【請求項１】
無線操縦可能な無人移動体に配置され、前記無人移動体の周辺画像を撮影し、撮影結果データを無線通信により送信する撮影装置と；
前記撮影結果データを処理して、表示画像データを生成する画像処理装置と；
前記画像処理装置に接続され、前記表示画像データに従って画像表示を行うヘッドマウント表示装置と；を備え、
前記撮影装置は、
撮影視野の広さが互いに同一であり、撮影方向が互いに異なる複数の撮影光学系を利用し、重複領域を有しつつ、全体として全天球にわたる画像を撮影する全天球カメラと；
前記複数の撮影光学系のそれぞれに対応する撮影結果データを前記画像処理装置へ送信する無線送信部と；を備え、
前記画像処理装置は、
前記撮影装置から送信された複数の撮影結果データを受信する無線受信部と；
前記受信した複数の撮影結果データに対してスティッチング処理を施して全天球画像データを生成する全天球画像データ生成部と；
前記ヘッドマウント表示装置の姿勢に対応して定まる表示領域の画像を全天球画像から抽出して、前記表示画像データを生成する表示画像データ生成部と；を備え、
前記ヘッドマウント表示装置は、
前記表示画像データに対応する画像を表示する表示部と；
前回検出時点からの前記ヘッドマウント表示装置の姿勢変化量を検出し、検出結果を前記画像処理装置へ送る姿勢変化量検出部と；を備え、
前記表示画像データ生成部は、前記複数の撮影光学系のうちから選択された特定撮影光学系の光軸方向を、前記ヘッドマウント表示装置の利用者の初期視線方向とする初期表示画像データを生成する、
ことを特徴とする環境画像表示システム。
【請求項２】
前記画像処理装置及び前記ヘッドマウント表示装置のいずれかは、
前記初期視線方向を、現時点の前記ヘッドマウント表示装置姿勢に応じた方向に設定する初期視線方向入力が行われる入力部；
を更に備えることを特徴とする請求項１に記載の環境画像表示システム。
【請求項３】
前記全天球画像データ生成部は、前記スティッチング処理に際して、前記重複領域についてブレンド処理を施す、ことを特徴とする請求項１又は２に記載の環境画像表示システム。
【請求項４】
全天球画像における前記撮影光学系のそれぞれに対応する領域は、前記初期表示画像データに対応する画像の表示領域を含むことができる広さを有する、ことを特徴とする請求項１〜３のいずれか一項に記載の環境画像表示システム。
【請求項５】
前記複数の撮影光学系の数は「２」である、ことを特徴とする請求項１〜４のいずれか一項に記載の環境画像表示システム。
【請求項６】
無線操縦可能な無人移動体に配置され、前記無人移動体の周辺画像を撮影し、撮影結果データを無線通信により送信する撮影装置と；前記撮影結果データを処理して、表示画像データを生成する画像処理装置と；前記画像処理装置に接続され、前記表示画像データに従って画像表示を行うヘッドマウント表示装置と；を備える環境画像表示システムにおいて使用される環境画像表示方法であって、
前記撮影装置が、撮影視野の広さが互いに同一であり、撮影方向が互いに異なる複数の撮影光学系を利用し、重複領域を有しつつ、全体として全天球にわたる画像を撮影し、前記複数の撮影光学系のそれぞれに対応する撮影結果データを前記画像処理装置へ送信する撮影工程と；
前記画像処理装置が、前記撮影工程において送信された複数の撮影結果データに対してスティッチング処理を施して全天球画像データを生成する全天球画像データ生成工程と；
前記画像処理装置が、前記ヘッドマウント表示装置の姿勢に対応して定まる表示領域の画像を全天球画像から抽出して、前記表示画像データを生成する表示画像データ生成工程と；
前記ヘッドマウント表示装置が、前記表示画像データに対応する画像を表示する表示工程と；
前記ヘッドマウント表示装置が、前回検出時点からの前記ヘッドマウント表示装置の姿勢変化量を検出し、検出結果を前記画像処理装置へ送る姿勢変化量検出工程と；を備え、
前記表示画像データ生成工程では、前記複数の撮影光学系のうちから選択された特定撮影光学系の光軸方向を、前記ヘッドマウント表示装置の利用者の初期視線方向とする初期表示画像データを生成する、
ことを特徴とする環境画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、環境画像表示システム及び環境画像表示方法に係り、特に、人間の立ち入りが困難な領域の環境画像を表示する環境画像表示システム及び環境画像表示方法に関する。
【背景技術】
【０００２】
近年、人体に危険があり、人の立ち入りができない領域の状況を把握するために、無線操縦可能な無人移動体に搭載されたカメラを利用して、当該領域の環境画像を撮影する技術が提案されている（特許文献１参照：以下、「従来例」という）。この従来例の技術では、無人移動体に搭載されたカメラにより環境画像を撮影し、撮影結果を無線通信により、利用者が利用する表示装置へ送信する。そして、表示装置において、受信した撮影結果に対応する環境画像が表示されるようになっている。
【０００３】
なお、従来例の技術では、無人移動体の周囲を撮影するために下方に向けられた俯瞰カメラ、前方向側を撮影する前方カメラ、及び、後方向側を撮影する後方カメラの３台のカメラを、無人移動体に搭載するようになっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１１２０２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来例では、上述したように、俯瞰カメラ、前方カメラ及び後方カメラの３台のカメラの撮影結果を表示する。しかしながら、従来例には、３台のカメラによる撮影結果を、どのように表示するかについては、何等の開示も行われていない。
【０００６】
例えば、３台のカメラの撮影結果のそれぞれを、そのまま、３台のカメラのそれぞれに対応して用意された３台の表示デバイスに表示させることが考えられる。こうした場合には、着目したい地点の周辺の画像が、２以上の表示デバイスにおける表示画像に跨るなどの事態が発生したとき、観察の便宜のために当該地点の周辺の画像を同一の表示デバイスに表示するためには、無線操縦により、無人移動体の姿勢を変更することが必要となる。こうした操作は利用者にとって煩雑さを感じさせることになる。
【０００７】
このため、利用者にとっての煩雑さの発生を抑制しつつ、無人移動体の周囲の環境画像の表示を行うことができる新たな技術が待望されている。かかる要請に応えることが、本発明が解決すべき課題の一つである。
【課題を解決するための手段】
【０００８】
本発明の環境画像表示システムは、無線操縦可能な無人移動体に配置され、前記無人移動体の周辺画像を撮影し、撮影結果データを無線通信により送信する撮影装置と；前記撮影結果データを処理して、表示画像データを生成する画像処理装置と；前記画像処理装置に接続され、前記表示画像データに従って画像表示を行うヘッドマウント表示装置と；を備え、前記撮影装置は、撮影視野の広さが互いに同一であり、撮影方向が互いに異なる複数の撮影光学系を利用し、重複領域を有しつつ、全体として全天球にわたる画像を撮影する全天球カメラと；前記複数の撮影光学系のそれぞれに対応する撮影結果データを前記画像処理装置へ送信する無線送信部と；を備え、前記画像処理装置は、前記撮影装置から送信された複数の撮影結果データを受信する無線受信部と；前記受信した複数の撮影結果データに対してスティッチング処理を施して全天球画像データを生成する全天球画像データ生成部と；前記ヘッドマウント表示装置の姿勢に対応して定まる表示領域の画像を全天球画像から抽出して、前記表示画像データを生成する表示画像データ生成部と；を備え、前記ヘッドマウント表示装置は、前記表示画像データに対応する画像を表示する表示部と；前回検出時点からの前記ヘッドマウント表示装置の姿勢変化量を検出し、検出結果を前記画像処理装置へ送る姿勢変化量検出部と；を備え、前記表示画像データ生成部は、前記複数の撮影光学系のうちから選択された特定撮影光学系の光軸方向を、前記ヘッドマウント表示装置の利用者の初期視線方向とする初期表示画像データを生成する、ことを特徴とする環境画像表示システムである。
【０００９】
この環境画像表示システムでは、無線操縦可能な無人移動体に配置された撮影装置の全天球カメラにより、無人移動体の周辺画像を撮影する。この全天球カメラは、撮影視野の広さが互いに同一であり、撮影方向が互いに異なる複数の撮影光学系を利用し、重複領域を有しつつ、全体として全天球にわたる画像を撮影する。そして、撮影装置の全天球カメラによる撮像結果である複数の撮影光学系のそれぞれに対応する撮影結果データを、撮影装置の無線送信部が、画像処理装置へ送信する。
【００１０】
画像処理装置では、全天球画像データ生成部が、撮影装置から送信された複数の撮影結果データを、無線受信部を介して受信する。引き続き、全天球画像データ生成部は、受信した複数の撮影結果データに対してスティッチング処理を施して全天球画像データを生成する。
【００１１】
こうして生成された全天球画像データに対応する全天球画像には、スティッチング処理による繋ぎ目部分を含んでいる。こうした繋ぎ目部分では画像の不連続性が多少なりとも発生することになる。
【００１２】
また、ヘッドマウント表示装置の姿勢変化量検出部が、前回検出時点からのヘッドマウント表示装置の姿勢変化量を検出し、検出結果を画像処理装置へ送る。引き続き、画像処理装置の表示画像データ生成部が、ヘッドマウント表示装置から送られたヘッドマウント表示装置の姿勢に対応して定まる表示領域の画像を全天球画像から抽出して、表示画像データを生成する。ここで、複数の撮影光学系のうちから選択された特定撮影光学系の光軸方向をヘッドマウント表示装置の利用者の初期視線方向として、表示画像データ生成部は、ヘッドマウント表示装置の姿勢変化量の受信結果に基づき、全天球画像における表示画像の位置を特定し、表示画像データを生成する。そして、表示画像データ生成部は、生成された表示画像データをヘッドマウント表示装置へ送る。
【００１３】
なお、抽出された表示画像データに対応する表示画像がスティッチング処理による繋ぎ目を含む場合には、表示画像は不連続性を含むことになる。かかる不連続性が表示画像の中央部分に発生する場合に、利用者にとっての違和感が最も大きくなる。そして、不連続性の発生部分が表示画像の中央部分から離れるほど、利用者にとっての違和感が小さくなっていく。なお、スティッチング処理による繋ぎ目が表示画像に含まれていない場合には、表示画像中における不連続性の発生による利用者にとっての違和感は発生しない。
【００１４】
ヘッドマウント表示装置では、表示部が、画像処理装置から送られた表示画像データを受ける。そして、表示部は、当該表示画像データに従った画像を表示する。
【００１５】
こうして表示される画像のうち、初期視線方向に対応する画像（以下、「初期表示画像」という）の中央部分には画像の不連続性が発生していないので、少なくとも初期表示画像については、表示画像中における不連続性の発生による利用者にとっての違和感の発生が抑制された画像となる。そして、利用者が頭部の姿勢を変化させ、ヘッドマウント表示装置の姿勢を変化させることにより、無人移動体の周辺の任意の方向における画像を表示させ、移動体周辺を観察することができる。
【００１６】
したがって、本発明の環境画像表示システムによれば、利用者にとっての煩雑さ、及び、画像の不連続性による利用者にとっての違和感の発生を抑制しつつ、無人移動体の周辺の環境画像を表示することができる。
【００１７】
本発明の環境画像表示システムでは、前記画像処理装置及び前記ヘッドマウント表示装置のいずれかが、前記初期視線方向を、現時点の前記ヘッドマウント表示装置姿勢に応じた方向に設定する初期視線方向入力が行われる入力部；を更に備える構成とすることができる。この場合には、入力部を利用して、ヘッドマウント表示装置を装着した利用者が、例えば正面を向く方向等の所望の姿勢変化をしやすい方向を初期視線方向に設定することができる。このため、利用者の利便性を向上させることができる。
【００１８】
また、本発明の環境画像表示システムでは、前記全天球画像データ生成部が、前記スティッチング処理に際して、前記重複領域についてブレンド処理を施す構成とすることができる。この場合には、表示画像にスティッチング処理部分が含まれるようになっても、表示画像を視た利用者の違和感を低減することができる。
【００１９】
また、本発明の環境画像表示システムでは、全天球画像における前記撮影光学系のそれぞれに対応する領域が、前記初期表示画像データに対応する画像の表示領域を含むことができる広さを有する構成とすることができる。この場合には、初期表示画像には、画像の不連続性が発生し得るスティッチング処理部分が含まれることがない。このため、画像の不連続性の発生による利用者にとっての違和感の発生を効果的に抑制することができる。
【００２０】
また、本発明の環境画像表示システムでは、前記複数の撮影光学系の数が「２」である構成とすることができる。この場合には、スティッチング処理部分を最小化できるので、画像の不連続性の発生による利用者にとっての違和感の発生を最小化することができる。
【００２１】
本発明の環境画像表示方法は、無線操縦可能な無人移動体に配置され、前記無人移動体の周辺画像を撮影し、撮影結果データを無線通信により送信する撮影装置と；前記撮影結果データを処理して、表示画像データを生成する画像処理装置と；前記画像処理装置に接続され、前記表示画像データに従って画像表示を行うヘッドマウント表示装置と；を備える環境画像表示システムにおいて使用される環境画像表示方法であって、前記撮影装置が、撮影視野の広さが互いに同一であり、撮影方向が互いに異なる複数の撮影光学系を利用し、重複領域を有しつつ、全体として全天球にわたる画像を撮影し、前記複数の撮影光学系のそれぞれに対応する撮影結果データを前記画像処理装置へ送信する撮影工程と；前記画像処理装置が、前記撮影工程において送信された複数の撮影結果データに対してスティッチング処理を施して全天球画像データを生成する全天球画像データ生成工程と；前記画像処理装置が、前記ヘッドマウント表示装置の姿勢に対応して定まる表示領域の画像を全天球画像から抽出して、前記表示画像データを生成する表示画像データ生成工程と；前記ヘッドマウント表示装置が、前記表示画像データに対応する画像を表示する表示工程と；前記ヘッドマウント表示装置が、前回検出時点からの前記ヘッドマウント表示装置の姿勢変化量を検出し、検出結果を前記画像処理装置へ送る姿勢変化量検出工程と；を備え、前記表示画像データ生成工程では、前記複数の撮影光学系のうちから選択された特定撮影光学系の光軸方向を、前記ヘッドマウント表示装置の利用者の初期視線方向とする初期表示画像データを生成する、ことを特徴とする環境画像表示方法である。
【００２２】
この環境画像表示方法では、撮影工程において、撮影装置が、撮影視野の広さが互いに同一であり、撮影方向が互いに異なる複数の撮影光学系を利用し、重複領域を有しつつ、全体として全天球にわたる画像を撮影し、複数の撮影光学系のそれぞれに対応する撮影結果データを前記画像処理装置へ送信する。また、撮影工程と並行して、姿勢変化量検出工程において、ヘッドマウント表示装置が、前回検出時点からのヘッドマウント表示装置の姿勢変化量を検出し、検出結果を画像処理装置へ送る。
【００２３】
撮影装置から送信された複数の撮影結果データを受けると、全天球画像データ生成工程において、画像処理装置が、当該複数の撮影結果データに対してスティッチング処理を施して全天球画像データを生成する。引き続き、表示画像データ生成工程において、画像処理装置が、ヘッドマウント表示装置の姿勢に対応して定まる表示領域の画像を全天球画像から抽出して表示画像データを生成する。そして、表示工程において、ヘッドマウント表示装置が、表示画像データに対応する画像を表示する。
【００２４】
したがって、本発明の環境画像表示方法によれば、利用者にとっての煩雑さ、及び、画像の不連続性による利用者にとっての違和感の発生を抑制しつつ、無人移動体の周辺の環境画像を表示することができる。
【発明の効果】
【００２５】
以上説明したように、本発明の環境画像表示システム及び環境画像表示方法によれば、利用者にとっての煩雑さ、及び、画像の不連続性による利用者にとっての違和感の発生を抑制しつつ、無人移動体の周辺の環境画像を表示することができる、という効果を奏する。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態に係る環境画像表示システムの構成を示す図である。
【図２】図１の撮影装置の構成を説明するためのブロック図である。
【図３】図２の撮影装置による撮影画像を説明するための図である。
【図４】図１の画像処理装置の構成を説明するためのブロック図である。
【図５】図４の全天球画像データ生成部により生成される全天球画像データに対応する全天球画像と、図２の撮影装置による撮影画像との関係を説明するための図である。
【図６】図１のヘッドマウント表示装置の構成を説明するためのブロック図である。
【図７】図１の画像処理装置が実行する処理を説明するためのフローチャートである。
【図８】全天球画像と表示画像との関係例を説明するための図である。
【発明を実施するための形態】
【００２７】
以下、本発明の一実施形態を、図１〜図８を参照して説明する。なお、以下の説明及び図面においては、同一又は同等な要素には同一の符号を付し、重複する説明を省略する。
【００２８】
［構成］
図１に示されるように、一実施形態に係る環境画像表示システム１００は、撮影装置２００と、画像処理装置３００と、ヘッドマウント表示装置４００とを備えている。
【００２９】
ここで、撮影装置２００は、無人移動体ＭＶに配置されている。この無人移動体ＭＶは、遠隔操縦装置ＲＭにより、移動の遠隔操作が行われるようになっている。なお、本実施形態では、無人移動体ＭＶは、地上を走行する車両となっている。
【００３０】
＜撮影装置２００の構成＞
上記の撮影装置２００は、図２に示されるように、全天球カメラ２１０と、無線通信部２２０とを備えている。
【００３１】
上記の全天球カメラ２１０は、２つの撮影光学系ＯＰ１，ＯＰ２を有している。撮影光学系ＯＰ１，ＯＰ２のそれぞれに対応する撮影視野の広さは互いに同一となっている。ここで、撮影光学系ＯＰ１の光軸方向は、無人移動体ＭＶの前方向である第１方向となっている。また、撮影光学系ＯＰ２の光軸方向は、第１方向の逆方向、すなわち、無人移動体ＭＶの後方向である第２方向となっている。
【００３２】
そして、全天球カメラ２１０は、撮影光学系ＯＰ１，ＯＰ２を利用し、重複領域を有しつつ、全体として全天球にわたる画像を撮影する。そして、全天球カメラ２１０は、撮影光学系ＯＰ１，ＯＰ２のそれぞれに対応する撮影結果データを無線通信部２２０へ送る。
【００３３】
なお、図３（Ａ）には、撮影光学系ＯＰ１に対応する画像の撮影範囲が示されている。また、図３（Ｂ）には、撮影光学系ＯＰ２に対応する画像の撮影範囲が示されている。
【００３４】
図３（Ａ）においては、横方向が無人移動体ＭＶの幅方向であり、縦方向が無人移動体ＭＶの高さ方向となっている。そして、第１方向が、（０°，０°）方向となっている。
【００３５】
また、図３（Ｂ）においては、横方向が無人移動体ＭＶの幅方向であり、縦方向が無人移動体ＭＶの高さ方向となっている。そして、第２方向が、（０°，０°）方向となっている。
【００３６】
上記の無線通信部２２０は、全天球カメラ２１０から送られた２つの撮影結果データを受ける。そして、無線通信部２２０は、当該２つの撮影結果データを、無線通信により画像処理装置３００へ送信する。
【００３７】
＜画像処理装置３００の構成＞
上記の画像処理装置３００は、図４に示されるように、第１無線通信部３１０と、全天球画像データ生成部３２０とを備えている。また、画像処理装置３００は、表示画像データ生成部３３０と、第２無線通信部３４０とを備えている。
【００３８】
上記の第１無線通信部３１０は、撮影装置２００との間で無線通信を行う。この第１無線通信部３１０は、撮影装置２００から送信された２つの撮影結果データを受信する。そして、第１無線通信部３１０は、当該２つの撮影結果データを全天球画像データ生成部３２０へ送る。
【００３９】
上記の全天球画像データ生成部３２０は、第１無線通信部３１０から送られた２つの撮影結果データを受ける。引き続き、全天球画像データ生成部３２０は、２つの撮影結果データに対してスティッチング処理を施して全天球画像データを生成する。
【００４０】
図５には、全天球画像データに対応する全天球画像ＦＳＩと、撮影光学系ＯＰ１に対応する画像（１）と、撮影光学系ＯＰ２に対応する画像（２−１）〜（２−８）との関係が示されている。なお、図５においては、スティッチング処理領域が、小さな黒丸が散布されて示されている。
【００４１】
本実施形態では、全天球画像データ生成部３２０は、スティッチング処理に際して、撮影光学系ＯＰ１に対応する画像と、撮影光学系ＯＰ２に対応する画像との重複領域についてブレンド処理を施すようになっている。このため、ブレンド処理を施さない場合と比べて、全天球画像における繋ぎ目近傍における画像の不連続性が低減される。
【００４２】
なお、本実施形態では、ブレンド処理に際して、全天球画像データ生成部３２０は、繋ぎ目からの距離が大きくなるほど、各画素が属する撮影光学系に対応する画像領域のブレンド比を高くするようになっている。
【００４３】
上記の表示画像データ生成部３３０は、全天球画像データ生成部３２０から送られた全天球画像データを受ける。また、表示画像データ生成部３３０は、第２無線通信部３４０を利用してヘッドマウント表示装置４００から受信した、前回検出時点からのヘッドマウント表示装置４００の姿勢変化量（以下、単に「姿勢変化量」ともいう）、及び、初期視線方向設定指令を受ける。引き続き、表示画像データ生成部３３０は、最新の初期視線方向設定指令に応じて設定された初期視線方向と、ヘッドマウント表示装置４００の姿勢変化量とに基づいて、全天球画像における表示領域を決定する。
【００４４】
次に、表示画像データ生成部３３０は、最新の全天球画像データに対応する全天球画像から、決定された表示領域の画像を抽出して、表示画像データを生成する。そして、表示画像データ生成部３３０は、生成された表示画像データを、第２無線通信部３４０へ送る。
【００４５】
上記の第２無線通信部３４０は、ヘッドマウント表示装置４００との間で無線通信を行う。この第２無線通信部３４０は、表示画像データ生成部３３０から送られた表示画像データを受ける。そして、第２無線通信部３４０は、当該表示画像データをヘッドマウント表示装置４００へ送信する。
【００４６】
また、第２無線通信部３４０は、ヘッドマウント表示装置４００から送信されたヘッドマウント表示装置４００の姿勢変化量を受信する。そして、第２無線通信部３４０は、当該姿勢変化量を表示画像データ生成部３３０へ送る。
【００４７】
また、第２無線通信部３４０は、ヘッドマウント表示装置４００から送信された初期視線方向設定指令を受信する。そして、第２無線通信部３４０は、当該初期視線方向設定指令を表示画像データ生成部３３０へ送る。
【００４８】
＜ヘッドマウント表示装置４００の構成＞
上記のヘッドマウント表示装置４００は、図６に示されるように、無線通信部４１０と、表示部４２０とを備えている。また、ヘッドマウント表示装置４００は、姿勢変化量検出部４３０と、入力部４４０とを備えている。
【００４９】
上記の無線通信部４１０は、画像処理装置３００との間で無線通信を行う。この無線通信部４１０は、画像処理装置３００から送信された表示画像データを受ける。そして、無線通信部４１０は、当該表示画像データを表示部４２０へ送る。
【００５０】
また、無線通信部４１０は、姿勢変化量検出部４３０から送られたヘッドマウント表示装置４００の姿勢変化量を受ける。そして、無線通信部４１０は、当該姿勢変化量を画像処理装置３００へ送る。
【００５１】
また、無線通信部４１０は、入力部４４０から送られた初期視線方向設定指令を受ける。そして、無線通信部４１０は、当該初期視線方向設定指令を画像処理装置３００へ送る。
【００５２】
上記の表示部４２０は、液晶パネル等の表示デバイスを備えて構成される。この表示部４２０は、無線通信部４１０から送られた表示画像データを受ける。そして、表示部４２０は、当該表示画像データに対応する画像を表示する。
【００５３】
上記の姿勢変化量検出部４３０は、例えば、３次元ジャイロセンサ等を備えて構成されている。この姿勢変化量検出部４３０は、各時点の３次元角速度を検出することにより、前回の検出時点からの姿勢変化量を算出する。そして、姿勢変化量検出部４３０は、検出結果である姿勢変化量を無線通信部４１０へ送る。
【００５４】
上記の入力部４４０は、押下ボタンを備えて構成されている。かかる押下ボタンは、押下操作により「ＯＮ」状態となり、押下操作が終了すると「ＯＦＦ」となるモーメンタリ動作のボタンとなっている。入力部４４０は、押下ボタンに対して押下操作が行われるたびに、初期視線方向設定指令を無線通信部４１０へ送る。
【００５５】
［動作］
次に、上記のように構成された環境画像表示システム１００の動作について、画像処理装置３００が実行する処理に主に着目して説明する。
【００５６】
なお、撮影装置２００は動作を開始しており、撮影装置２００は、撮影結果データを画像処理装置３００へ逐次送信しているものとする。また、ヘッドマウント表示装置４００も動作を開始しており、ヘッドマウント表示装置４００は、検出された姿勢変化量を画像処理装置３００へ逐次送信しているものとする。さらに、ヘッドマウント表示装置４００における入力部４４０の押下ボタンの押下操作が過去に一度は押下され、初期視線方向設定指令が、ヘッドマウント表示装置４００から画像処理装置３００へ送信されたことがあるものとする。
【００５７】
上述した動作環境のもとで実行される画像処理装置３００の処理では、図７に示されるように、まず、ステップＳ１１において、全天球画像データ生成部３２０が、第１無線通信部３１０を介して、撮影装置２００から送られた新たな撮影結果データを受信したか否かを判定する。ステップＳ１１における判定の結果が否定的であった場合（ステップＳ１１：Ｎ）には、処理は、後述するステップＳ１４へ進む。
【００５８】
ステップＳ１１における判定の結果が肯定的な場合（ステップＳ１１：Ｙ）には、処理はステップＳ１２へ進む。このステップＳ１２では、全天球画像データ生成部３２０が、当該新たな撮影結果データ（撮影光学系ＯＰ１に対応する撮影結果データ及び撮影光学系ＯＰ２に対応する撮影結果データの２つの新たな撮影結果データ）に基づいて、全天球画像データを生成する。かかる全天球画像データの生成に際して、全天球画像データ生成部３２０は、上述したスティッチング処理を行って全天球画像データを生成する。そして、全天球画像データ生成部３２０は、生成された全天球画像データを表示画像データ生成部３３０へ送る。
【００５９】
次に、ステップＳ１３において、表示画像データ生成部３３０が、第２無線通信部３４０を介した、その時点で最新の初期視線方向設定指令の受信時点からの姿勢変化量の受信結果の累積に基づいて、最新の全天球画像データに対応する全天球画像から、表示領域の画像を抽出して、表示画像データを生成する。そして、表示画像データ生成部３３０は、生成された表示画像データを、第２無線通信部３４０を介して、ヘッドマウント表示装置４００へ送る。この結果、ヘッドマウント表示装置４００の表示部４２０に、当該表示画像データに対応する画像が表示される。
【００６０】
次いで、ステップＳ１４において、表示画像データ生成部３３０が、第２無線通信部３４０を介して、撮影装置２００から送られた新たな初期視線方向設定指令を受信したか否かを判定する。ステップＳ１４における判定の結果が否定的であった場合（ステップＳ１４：Ｎ）には、処理はステップＳ１１へ戻る。
【００６１】
ステップＳ１４における判定の結果が肯定的であった場合（ステップＳ１４：Ｙ）には、処理はステップＳ１５へ進む。このステップＳ１５では、表示画像データ生成部３３０が、新たな初期表示画像データの生成を行う。かかる新たな初期表示画像データの生成に際して、表示画像データ生成部３３０は、最新の全天球画像における（０°，０°）位置を新たな初期表示画像の中心位置として、表示領域の画像を抽出して、新たな初期表示画像データを生成する。そして、表示画像データ生成部３３０は、生成された初期表示画像データを、第２無線通信部３４０を介して、ヘッドマウント表示装置４００へ送る。この結果、ヘッドマウント表示装置４００の表示部４２０に、新たな初期表示画像データに対応する画像が表示される。
【００６２】
ステップＳ１５の処理が終了すると、処理はステップＳ１１へ戻る。以後、ステップＳ１１〜Ｓ１５の処理が繰り返される。
【００６３】
なお、図８（Ａ）には、初期視線方向設定が行われた直後の全天球画像ＦＳＩにおける表示画像領域ＤＳＲの位置が示されている。また、図８（Ｂ）には、初期視線方向設定後のヘッドマウント表示装置４００の姿勢変化に応じた表示画像領域ＤＳＲの位置の一例が示されている。
【００６４】
以上説明したように、本実施形態の環境画像表示システム１００では、無線操縦可能な無人移動体ＭＶに配置された撮影装置２００の全天球カメラ２１０により、無人移動体ＭＶの周辺画像を撮影する。この全天球カメラ２１０は、撮影視野の広さが互いに同一であり、撮影方向が互いに２つの撮影光学系ＯＰ１，ＯＰ２を利用し、重複領域を有しつつ、全体として全天球にわたる画像を撮影する。そして、全天球カメラ２１０による撮像結果である２つの撮影光学系ＯＰ１，ＯＰ２のそれぞれに対応する撮影結果データを、撮影装置２００の無線送信部２２０が、画像処理装置３００へ送信する。
【００６５】
画像処理装置３００では、全天球画像データ生成部３２０が、撮影装置２００から送信された２つの撮影結果データを、第１無線受信部３１０を介して受信する。引き続き、全天球画像データ生成部３２０は、受信した２つの撮影結果データに対してスティッチング処理を施して全天球画像データを生成する。
【００６６】
また、ヘッドマウント表示装置４００の姿勢変化量検出部４３０が、前回の検出時からのヘッドマウント表示装置４００の姿勢変化量を検出し、検出結果を画像処理装置３００へ送る。引き続き、画像処理装置３００の表示画像データ生成部３３０が、ヘッドマウント表示装置４００から送られたヘッドマウント表示装置４００の姿勢に対応して定まる表示領域の画像を全天球画像から抽出して、表示画像データを生成する。ここで、２つの撮影光学系ＯＰ１，ＯＰ２のうちから選択された特定撮影光学系ＯＰ１の光軸方向をヘッドマウント表示装置４００の利用者の初期視線方向として、表示画像データ生成部３３０は、ヘッドマウント表示装置４００の姿勢に基づき、全天球画像における表示画像の位置を特定し、表示画像データを生成する。そして、表示画像データ生成部３３０は、生成された表示画像データをヘッドマウント表示装置４００へ送る。
【００６７】
ヘッドマウント表示装置４００では、表示部４２０が、無線通信部４１０を介して、画像処理装置３００から送られた表示画像データを受ける。そして、表示部４２０は、当該表示画像データに従った画像を表示する。
【００６８】
したがって、本実施形態の環境画像表示システム１００によれば、利用者にとっての煩雑さ、及び、画像の不連続性による利用者にとっての違和感の発生を抑制しつつ、無人移動体ＭＶの周辺の環境画像を表示することができる。
【００６９】
また、本実施形態の環境画像表示システム１００では、ヘッドマウント表示装置４００が、初期視線方向を、現時点のヘッドマウント表示装置４００の姿勢に応じた方向に設定する初期視線方向入力が行われる入力部４４０を備える。このため、入力部４４０を利用して、ヘッドマウント表示装置４００を装着した利用者が、例えば正面を向く方向等の所望の姿勢変化をしやすい方向を初期視線方向に設定することができる。このため、利用者の利便性を向上させることができる。
【００７０】
また、本実施形態の環境画像表示システム１００では、全天球画像データ生成部３２０が、スティッチング処理に際して、重複領域についてブレンド処理を施す。このため、画像の繋ぎ目部分にはブレンド処理が施されているので、表示画像に当該繋ぎ目部分が含まれるようになっても、表示画像を視た利用者の違和感を低減することができる。
【００７１】
また、本実施形態の環境画像表示システム１００では、全天球画像における撮影光学系ＯＰ１，ＯＰ２のそれぞれに対応する領域が、初期表示画像データに対応する画像の表示領域を含むことができる広さを有するようになっている。このため、初期表示画像には、画像の不連続性が発生し得るスティッチング処理部分が含まれることがない。この結果、画像の不連続性の発生による利用者にとっての違和感の発生を効果的に抑制することができる。
【００７２】
また、本発明の環境画像表示システムでは、全天球カメラ２１０における撮影光学系の数を「２」としている。このため、スティッチング処理部分を最小化できるので、画像の不連続性の発生による利用者にとっての違和感の発生を最小化することができる。
【００７３】
［実施形態の変形］
本発明は、上記の実施形態に限定されるものではなく、様々な変形を行うことができる。
【００７４】
例えば、上記の実施形態では、無人移動体を、地上を走行する無人車両としたが、無人移動体を、いわゆるドローン等の無人飛行機としてもよい。
【００７５】
また、上記の実施形態では、撮影装置において利用される撮影光学系の数を「２」としたが、「３」以上としてもよい。
【００７６】
また、上記の実施形態におけるスティッチング処理で採用したブレンド方式は例示であり、他のブレンド方式を採用するようにしてもよい。
【００７７】
また、上記の実施形態では、画像処理装置とヘッドマウント表示装置とを無線接続するようにしたが、有線接続により、画像処理装置とヘッドマウント表示装置とを接続するようにしてもよい。
【００７８】
また、上記の実施形態では、ヘッドマウント表示装置が、初期視線方向を現時点のヘッドマウント表示装置姿勢に応じた方向に設定する初期視線方向入力が行われる入力部を備えるようにしたが、当該入力部を画像処理装置が備えるようにしてもよい。
【産業上の利用可能性】
【００７９】
以上説明したように、本発明は、無人移動体の周辺の環境画像を表示する環境画像表示システム及び環境画像表示方法に適用することができる。
【符号の説明】
【００８０】
１００…環境画像表示システム、２００…撮影装置、２１０…全天球カメラ、２２０…無線通信部（無線送信部）、３００…画像処理装置、３１０…第１無線通信部（無線受信部）、３２０…全天球画像データ生成部、３３０…表示画像データ生成部、３４０…第２無線通信部、４００…ヘッドマウント表示装置、４１０…無線通信部、４２０…表示部、４３０…姿勢変化量検出部、４４０…入力部、ＭＶ…移動体、ＲＭ…遠隔操縦装置、ＯＰ１，ＯＰ２…撮影光学系、ＦＳＩ…全天球画像、ＤＳＲ…表示画像領域。
【図１】
2018160761.tif 000003
【図２】
2018160761.tif 000004
【図３】
2018160761.tif 000005
【図４】
2018160761.tif 000006
【図５】
2018160761.tif 000007
【図６】
2018160761.tif 000008
【図７】
2018160761.tif 000009
【図８】
2018160761.tif 000010