(57)【要約】【課題】水中航走体周辺を撮像した入力画像中に映された実物体とともに、実物体に関連付けられる関連情報を併せて、利用者に効率よく提供すること。【解決手段】画像取得部１１１は、水中航走体２０００の周辺を撮像することにより生成される入力画像を取得する。位置情報取得部１１２は、水中航走体２０００の現在位置を示す航走体位置情報を取得する。関連情報画像生成部１１３は、画像取得部１１１により取得される入力画像と、位置取得部１１２により取得される航走体位置情報とに基づいて、入力画像に映る実物体と関連付けられる関連情報を示す画像である関連情報画像を生成する。出力画像生成部１１４は、画像取得部１１１により取得される入力画像に、関連情報画像生成部１１３により生成される関連情報画像を重畳させて出力画像を生成する。【選択図】      図１
2015182712.tif 000002
【特許請求の範囲】
【請求項１】
水中航走体の周辺を撮像することにより生成される入力画像を取得する画像取得部と、
前記水中航走体の現在位置を示す航走体位置情報を取得する位置情報取得部と、
前記画像取得部により取得される前記入力画像と、前記位置取得部により取得される前記航走体位置情報とに基づいて、前記入力画像に映る実物体と関連付けられる関連情報を示す画像である関連情報画像を生成する関連情報画像生成部と、
前記画像取得部により取得される前記入力画像に、前記関連情報画像生成部により生成される前記関連情報画像を重畳させて出力画像を生成する出力画像生成部とを備えた画像処理装置。
【請求項２】
前記関連情報画像は、前記入力画像に映る実物体を、前記水中航走体が向かう目標地として表す画像である請求項１に記載の画像処理装置。
【請求項３】
前記関連情報画像は、前記水中航走体を前記入力画像に映る実物体に向けて移動させるための案内を表す画像である請求項１に記載の画像処理装置。
【請求項４】
前記出力画像生成部により生成される前記出力画像を表示提供する表示部を備えた請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
水中航走体の周辺を撮像することにより生成される入力画像を取得する画像取得ステップと、
前記水中航走体の現在位置を示す航走体位置情報を取得する位置取得ステップと、
前記画像取得ステップにより取得される前記入力画像と、前記位置取得ステップにより取得される前記航走体位置情報とに基づいて、前記入力画像に映る実物体と関連付けられる関連情報を示す画像である関連情報画像を生成する関連情報画像生成ステップと、
前記画像取得ステップにより取得される前記入力画像に、前記関連情報画像生成ステップにより生成される前記関連情報画像を重畳させて出力画像を生成する出力画像生成ステップとを含む画像処理方法。
【請求項６】
水中航走体の周辺を撮像することにより生成される入力画像を取得する画像取得ステップと、
前記水中航走体の現在位置を示す航走体位置情報を取得する位置取得ステップと、
前記画像取得ステップにより取得される前記入力画像と、前記位置取得ステップにより取得される前記航走体位置情報とに基づいて、前記入力画像に映る実物体と関連付けられる関連情報を示す画像である関連情報画像を生成する関連情報画像生成ステップと、
前記画像取得ステップにより取得される前記入力画像に、前記関連情報画像生成ステップにより生成される前記関連情報画像を重畳させて出力画像を生成する出力画像生成ステップとを含む処理をコンピュータに行わさせる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置等に関し、例えば、水中航走体（水中ロボット等）の周辺を撮像することにより生成される入力画像を画像処理するものに関する。
【背景技術】
【０００２】
近年、車等を目標または目標地まで誘導するために、移動体周辺をカメラにより撮像した撮像画像に、複数の情報をオペレータによって併合（merge：マージ）する技術が、広く知られている。
【０００３】
この技術に関連して、拡張現実技術を利用して、カメラにより撮像された撮像画像に複数の情報を重畳させた画像を提供する技術が、例えば、特許文献１、２に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２２８３１１号公報
【特許文献２】特開２０１２−２４４５０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１および特許文献２は、陸上での使用を想定した技術内容となっており、水中を航走する水中航走体（例えば、水中ロボット）に単純に適用することができないという問題があった。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、本発明の目的は、水中航走体周辺を撮像した入力画像中に映された実物体とともに、実物体に関連付けられる関連情報を併せて、利用者に効率よく提供することができる画像処理装置等を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、水中航走体の周辺を撮像することにより生成される入力画像を取得する画像取得部と、前記水中航走体の現在位置を示す航走体位置情報を取得する位置情報取得部と、前記画像取得部により取得される前記入力画像と、前記位置取得部により取得される前記航走体位置情報とに基づいて、前記入力画像に映る実物体と関連付けられる関連情報を示す画像である関連情報画像を生成する関連情報画像生成部と、前記画像取得部により取得される前記入力画像に、前記関連情報画像生成部により生成される前記関連情報画像を重畳させて出力画像を生成する出力画像生成部とを備えている。
【０００８】
本発明の画像処理方法は、水中航走体の周辺を撮像することにより生成される入力画像を取得する画像取得ステップと、前記水中航走体の現在位置を示す航走体位置情報を取得する位置取得ステップと、前記画像取得ステップにより取得される前記入力画像と、前記位置取得ステップにより取得される前記航走体位置情報とに基づいて、前記入力画像に映る実物体と関連付けられる関連情報を示す画像である関連情報画像を生成する関連情報画像生成ステップと、前記画像取得ステップにより取得される前記入力画像に、前記関連情報画像生成ステップにより生成される前記関連情報画像を重畳させて出力画像を生成する出力画像生成ステップとを含んでいる。
【０００９】
本発明の画像処理プログラムは、水中航走体の周辺を撮像することにより生成される入力画像を取得する画像取得ステップと、前記水中航走体の現在位置を示す航走体位置情報を取得する位置取得ステップと、前記画像取得ステップにより取得される前記入力画像と、前記位置取得ステップにより取得される前記航走体位置情報とに基づいて、前記入力画像に映る実物体と関連付けられる関連情報を示す画像である関連情報画像を生成する関連情報画像生成ステップと、前記画像取得ステップにより取得される前記入力画像に、前記関連情報画像生成ステップにより生成される前記関連情報画像を重畳させて出力画像を生成する出力画像生成ステップとを含む処理をコンピュータに行わさせる。
【発明の効果】
【００１０】
本発明にかかる画像処理装置等によれば、水中航走体周辺を撮像した入力画像中に映された実物体とともに、実物体に関連付けられる関連情報を併せて、利用者に効率よく提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態における画像処理装置を含む構成を示すブロック図である。
【図２】本発明の実施の形態における画像処理装置の動作の流れを示すフロー図である。
【図３】表示部の表示内容の一例を示す図である。
【発明を実施するための形態】
【００１２】
＜実施の形態＞
本発明の実施の形態における画像処理装置１００を含む構成について説明する。
【００１３】
図１は、画像処理装置１００を含む構成を示すブロック図である。図１に示されるように、船舶１０００は、水上９００に浮いている。船舶１０００上には、画像処理装置１００が搭載されている。また、水中航走体２０００は、水中を航走する。水中航走体２０００は、水中を航走する一般的な器械等であり、例えば水中ロボットである。船舶１０００は、水中航走体２０００を曳航する。船舶１０００および水中航走体２０００は、通信線３００により接続されている。すなわち、船舶１０００および水中航走体２０００は、通信線３００を介して、相互に様々な情報を通信し合う。通信線３００は、例えば光ケーブルである。なお、ここでは、船舶１０００および水中航走体２０００は、有線である通信線３００を用いて、互いに情報を通信し合うと説明した。一方、船舶１０００および水中航走体２０００は、無線通信により、互いに情報を通信し合ってもよい。
【００１４】
説明の便宜上、まず、水中航走体２０００の構成を説明し、次に画像処理装置１００の構成を説明する。
【００１５】
図１に示されるように、水中航走体２０００は、位置検出センサ２１０と、撮像カメラ２２０を備えている。
【００１６】
位置検出センサ２１０は、水中航走体２０００の現在位置を検出し、これを航走体位置情報として取得する。位置検出センサ２１０には、例えば、ソーナーや、慣性航法装置や、ドッピュラーログや、音響測位装置等のうちでいずれか１つか複数が用いられる。水中航走体２０００は、航走体位置情報を、通信線３００を介して、船舶１０００上の画像処理装置１００の処理部１１０へ送信する。
【００１７】
撮像カメラ２２０は、水中航走体２０００の周辺を撮像することにより入力画像を生成する。水中航走体２０００は、入力画像を、通信線３００を介して、船舶１０００上の画像処理装置１００の処理部１１０へ送信する。
【００１８】
以上、水中航走体２０００の構成を説明した。
【００１９】
次に、画像処理装置１００の構成を説明する。図１に示されるように、画像処理装置１００は、処理部１１０と、表示部１２０と、入力部１２０と、操舵部１４０とを備えている。なお、表示部１２０と、入力部１２０と、操舵部１４０は、本発明の必須構成ではない。
【００２０】
図１に示されるように、処理部１１０は、画像取得部１１１と、位置情報取得部１１２と、関連情報生成部１１３と、出力画像生成部１１４とを備えている。処理部１１０は、表示部１２０、入力部１２０および操舵部１４０に、例えばＬＡＮ(Local Area Network)のようなイーサネット（Ethernet）（登録商標）により、接続されている。
【００２１】
画像取得部１１１は、水中航走体２０００の周辺を撮像することにより生成される入力画像（水中ビデオ映像、水中静止画像等）を取得する。すなわち、画像取得部１１１は、水中航走体２０００により送信された入力画像を、処理部１１０から受け取る。
【００２２】
位置情報取得部１１２は、水中航走体２０００の現在位置を示す航走体位置情報を取得する。すなわち、位置情報取得部１１２は、水中航走体２０００により送信された入力画像を、処理部１１０から受け取る。
【００２３】
関連情報生成部１１３は、画像取得部１１１により取得される入力画像と、位置取得部１１２により取得される航走体位置情報とに基づいて、入力画像に映る実物体と関連付けられる関連情報を表す関連情報画像を生成する。
【００２４】
ここで、関連情報画像は、例えば、入力画像に映る実物体を、水中航走体２０００が向かう目標地として表す画像である。より具体的には、関連情報生成部１１３は、関連情報提示画像として、目的地タグや目的タグ等の目的表示画像を生成する。
【００２５】
また、関連情報画像は、例えば、水中航走体２０００を入力画像に映る実物体に向けて移動させるための案内を表す画像である。より具体的には、関連情報生成部１１３は、関連情報提示画像として、ナビゲーションタグ等の方向指示画像を生成する。
【００２６】
出力画像生成部１１４は、画像取得部１１１により取得される入力画像に、関連情報生成部１１３により生成される関連情報画像を重畳させて、出力画像を生成する。
【００２７】
表示部１２０は、処理部１１０にインサーネット等により接続されている。表示部１２０は、出力画像生成部１１４により生成される出力画像を表示提供する。表示部１２０には、例えば、液晶ディスプレイや、有機ＥＬ（Electro-Luminescence）表示装置や、ヘッドマウントディスプレイなどが用いられる。
【００２８】
入力部１３０は、処理部１１０にインサーネット等により接続されている。入力部１３０は、操作者の各種操作を受け付ける。操作者は、例えば、水中航走体２０００の目的地を、入力部１３０を用いて設定する。
【００２９】
操舵部１４０は、処理部１１０にインサーネット等により接続されている。操舵部１４０は、水中航走体２０００の舵を操作して、水中航走体２０００を所望の方向へ進ませる。
【００３０】
以上、画像処理装置１００の構成を説明した。
【００３１】
次に、画像処理装置１００の動作を説明する。
【００３２】
図２は、画像処理装置１００の動作の流れを示すフロー図である。図２に示されるように、まず、入力部１３０により、目標または目標地が設定される（Ｓ１）。すなわち、水通航走体２０００の操作者は、入力部１３０を用いて、水中航走体２０００の行き先である目標または目標地を入力する。
【００３３】
次に、画像取得部１１１が入力画像を取得する（Ｓ２）。すなわち、まず、撮像カメラ２２０が水中航走体２０００の周辺を撮像することにより入力画像を生成する。この入力画像は、水中航走体２０００によって、通信線３００を介して、画像処理装置１００の処理部１１０に入力される。そして、画像取得部１１１は、入力画像を処理部１１０から取得する。
【００３４】
また、位置情報取得部１１２が、水中航走体２０００の現在位置を示す航走体位置情報を取得する（Ｓ３）。すなわち、まず、位置検出センサ２１０が、水中航走体２０００の現在位置を検出し、これを航走体位置情報として取得する。この航走体位置情報は、水中航走体２０００によって、通信線３００を介して、画像処理装置１００の処理部１１０に入力される。そして、位置情報取得部１１２は、航走体位置情報を処理部１１０から取得する。
【００３５】
なお、Ｓ２およびＳ３の処理は、同時に行われてもよいし、どちらが先に行われてもよい。
【００３６】
次に、関連情報生成部１１３が、Ｓ２の処理で取得される入力画像と、Ｓ３の処理で取得される航走体位置情報とに基づいて、入力画像に映る実物体と関連付けられる関連情報を表す関連情報画像を生成する（Ｓ４）。
【００３７】
なお、関連情報画像は、前述の通り、例えば、入力画像に映る実物体を、水中航走体２０００が向かう目標地として表す画像であって、より具体的には、目的地タグや目的タグ等の目的表示画像である。また、関連情報画像は、例えば、水中航走体２０００を入力画像に映る実物体に向けて移動させるための案内を表す画像であって、より具体的には、ナビゲーションタグ等の方向指示画像である。
【００３８】
次に、出力画像生成部１１４は、Ｓ２の処理で取得される入力画像に、Ｓ４の処理で生成される関連情報画像を重畳させて、出力画像を生成する（Ｓ５）。
【００３９】
図２に戻って、表示部１２０は、Ｓ５の処理で生成された出力画像を表示する（Ｓ６）。すなわち、処理部１１０は、出力画像生成部１１４により生成された出力画像を表示部１２０へ出力する。表示部１２０は、処理部１２０により出力された出力画像を表示提供する。
【００４０】
図３は、表示部１２０の表示内容の一例を示す図である。図３に示されるように、関連情報として、「目標、目標値タグ」と、「ナビゲーションタグ」が、入力画像の上に重畳されている。このように、水中航走体２０００の周辺を撮像した入力画像中に映された実物体とともに、実物体に関連付けられる関連情報を併せて、利用者に効率よく提供することができる。この結果、水中航走体２０００の操作者は、目標または目標地である実物体に到達するための案内を、分かり易い形で受けることができる。このため、水中航走体２０００の操作者は、出力画像を視ることにより、水中航走体２０００を、目標または目標地である実物体に向けて、簡単に操舵することができる。
【００４１】
最後に、目標または目標地である実物体に向けて、水中航走体２０００が操舵部１４０により操舵される（Ｓ７）。すなわち、水中航走体２０００の操作者は、Ｓ６の処理で表示部１２０に表示された出力画像を視ながら、水中航走体２０００を、目標または目標地である実物体に向けて、操舵することができる。
【００４２】
以上の通り、本発明の実施の形態における画像処理装置１００は、画像取得部１１１と、位置情報取得部１１２と、関連情報画像生成部１１３と、出力画像生成部１１４とを備えている。画像取得部１１１は、水中航走体２０００の周辺を撮像することにより生成される入力画像を取得する。位置情報取得部１１２は、水中航走体２０００の現在位置を示す航走体位置情報を取得する。関連情報画像生成部１１３は、画像取得部１１１により取得される入力画像と、位置取得部１１２により取得される航走体位置情報とに基づいて、入力画像に映る実物体と関連付けられる関連情報を示す画像である関連情報画像を生成する。出力画像生成部１１４は、画像取得部１１１により取得される入力画像に、関連情報画像生成部１１３により生成される関連情報画像を重畳させて出力画像を生成する。
【００４３】
このように、関連情報画像生成部１１３は、入力画像と航走体位置情報とに基づいて、入力画像に映る実物体と関連付けられる関連情報を示す画像である関連情報画像を生成する。出力画像生成部１１４は、入力画像に、関連情報画像を重畳させて出力画像を生成する。このため、実物体が映る入力画像と、実物体に関連付けられた関連情報画像との双方を、１つの出力画像の中に、含ませることができる。したがって、水中航走体２０００の周辺を撮像した入力画像中に映された実物体とともに、実物体に関連付けられる関連情報を併せて、利用者に効率よく提供することができる。この結果、水中航走体２０００の操作者は、出力画像に含まれる実物体の画像とともに、実物体に関連付けられた関連情報画像を分かり易い形で受けることができる。このため、水中航走体２０００の操作者は、出力画像を視ることにより、水中航走体２０００を、目標または目標地である実物体に向けて、簡単に操舵することができる。
【００４４】
また、本発明の実施の形態における画像処理装置１００において、関連情報画像は、入力画像に映る実物体を、水中航走体２０００が向かう目標地として表す画像である。これにより、水中航走体２０００が向かう目的地を、入力画像に重畳させて、出力画像の中に含ませることができる。この結果、水中航走体２０００の操作者は、出力画像に含まれる実物体の画像とともに、実物体に関連付けられた関連情報画像として、水中航走体２０００が向かう目的地を、分かり易い形で確認することができる。
【００４５】
本発明の実施の形態における画像処理装置１００において、関連情報画像は、水中航走体２０００を入力画像に映る実物体に向けて移動させるための案内を表す画像である。これにより、水中航走体２０００を入力画像に映る実物体に向けて移動させるための案内を、入力画像に重畳させて、出力画像の中に含ませることができる。この結果、水中航走体２０００の操作者は、出力画像に含まれる実物体の画像とともに、実物体に関連付けられた関連情報画像として、実物体に向けて移動させるための案内を、分かり易い形で確認することができる。
【００４６】
本発明の実施の形態における画像処理装置１００は、表示部１２０を備えている。表示部１２０は、出力画像生成部１１４により生成される出力画像を表示提供する。これにより、水中航走体２０００の操作者は、表示部１２０の表示内容を目視することによって、出力画像の内容を知ることができる。
【００４７】
本発明の実施の形態における画像処理方法は、画像取得ステップと、位置取得ステップと、関連情報画像生成ステップと、出力画像生成ステップとを含んでいる。画像取得ステップでは、水中航走体２０００の周辺を撮像することにより生成される入力画像を取得する。位置取得ステップでは、水中航走体２０００の現在位置を示す航走体位置情報を取得する。関連情報画像生成ステップでは、画像取得ステップにより取得される入力画像と、位置取得ステップにより取得される航走体位置情報とに基づいて、入力画像に映る実物体と関連付けられる関連情報を示す画像である関連情報画像を生成する。出力画像生成ステップでは、画像取得ステップにより取得される入力画像に、関連情報画像生成ステップにより生成される関連情報画像を重畳させて出力画像を生成する。この画像処理方法によっても、前述した画像処理装置１００と同様の効果を奏する。
【００４８】
本発明の実施の形態における画像処理プログラムは、画像取得ステップと、位置取得ステップと、関連情報画像生成ステップと、出力画像生成ステップとを含む処理を、コンピュータに行わせる。画像取得ステップでは、水中航走体２０００の周辺を撮像することにより生成される入力画像を取得する。位置取得ステップでは、水中航走体２０００の現在位置を示す航走体位置情報を取得する。関連情報画像生成ステップでは、画像取得ステップにより取得される入力画像と、位置取得ステップにより取得される航走体位置情報とに基づいて、入力画像に映る実物体と関連付けられる関連情報を示す画像である関連情報画像を生成する。出力画像生成ステップでは、画像取得ステップにより取得される入力画像に、関連情報画像生成ステップにより生成される関連情報画像を重畳させて出力画像を生成する。この画像処理プログラムによっても、前述した画像処理装置１００と同様の効果を奏する。
【００４９】
以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨から逸脱しない限り、上述各実施の形態に対して、さまざまな変更、増減、組合せを加えてもよい。これらの変更、増減、組合せが加えられた変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００５０】
１００    画像処理装置
１１０    処理部
１１１    画像取得部
１１２    位置情報取得部
１１３    関連情報生成部
１１４    出力画像生成部
１２０    表示部
１３０    入力部
１４０    操舵部
２１０    位置検出センサ
２２０    撮像カメラ
１０００    船舶
２０００    水中航走体
【図１】
2015182712.tif 000003
【図２】
2015182712.tif 000004
【図３】
2015182712.tif 000005