(57)【要約】      （修正有）【課題】ある観測位置から見た特定の被検体が存在する方向を、より高い識別度で検出する被検体検出装置を提供する。【解決手段】被検体検出装置は、移動体に搭載された移動体搭載部１と、撮像部４と、処理・制御部６とを有し、移動体搭載部は、発光の色を変更可能なマーカー２を有し、撮像部は、マーカーと背景を含む視野領域をカラー撮影するカメラ５を有し、処理・制御部は、マーカーの消灯時にカメラにより撮影された画像において支配的な色を認識し、認識した色と異なる色でマーカーを発光させ、マーカーの点灯時にカメラにより撮影された画像からマーカーの位置を特定するマーカー位置解析部１２を有する。【選択図】図１
2019117162.tif 000002
【特許請求の範囲】
【請求項１】
発光の色を変更可能なマーカーを有する被検体と、
前記マーカーと背景を含む視野領域を撮影する撮像部と、
前記マーカーの消灯時に前記撮像部により撮影された画像に基づいて支配的な色を認識する背景色解析部と、
前記背景色解析部で認識した色で前記マーカーを発光させるマーカー発光制御部と、
前記マーカーの点灯時に前記撮像部により撮影された画像に基づいて前記マーカーの位置を特定する演算部とを有する
被検体検出装置。
【請求項２】
請求項１に記載の被検体検出装置であって、
前記演算部は、
前記マーカーの消灯時のカラー画像を複数の原色成分の画像に分離し、画素値の合計が最も小さい原色を特定し、この特定された原色で前記マーカーを発光させ、前記マーカーの発光時の画像を複数の原色成分の画像に分離し、前記マーカーの色として決定した原色の画像をもとに前記マーカーの位置を特定する
被検体検出装置。
【請求項３】
請求項１に記載の被検体検出装置であって、
前記演算部は、
前記マーカーの消灯時の画像から抽出した個々の画素の各原色画素値を、この原色画素値のデータ空間を区分する複数の区分範囲に振り分け、振り分けられた画素数が最少の区分範囲を判定し、この区分範囲内の色で前記マーカーを発光させ、前記マーカーの発光時の画像をもとに前記マーカーの位置を特定する
被検体検出装置。
【請求項４】
請求項１に記載の被検体検出装置であって、
前記演算部は、
前記マーカーの消灯時の画像から抽出した個々の画素の各原色画素値を、この原色画素値のデータ空間を区分する複数の区分範囲に振り分け、振り分けられた画素数が最大の区分範囲を判定し、この区分範囲内の色に対して補色関係にある色で前記マーカーを発光させ、前記マーカーの発光時の画像をもとに前記マーカーの位置を特定する
被検体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ある観測位置から見た特定の被検体が存在する方向を自動で検出する被検体検出装置に関する。
【背景技術】
【０００２】
ある観測位置から見た、飛行体、車などの被検体が存在する方向を撮像装置を用いて自動で検出する方法には、例えば、次のようなものがある。
【０００３】
（１．マーカー検出）
目標移動体にマーカー（目印）を付加し、観測位置から目標を含む領域を撮影し、マーカーの位置を特定することで、目標移動体の位置を検出する（特許文献１等）。
【０００４】
（２．テンプレートマッチング）
目標移動体の外観画像をテンプレートとして事前に取得し、観測位置から領域を撮影した画像中で、そのテンプレートと形状に相関がある部分に目標が存在すると推定する方法（特許文献２等）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２２６２２７号公報
【特許文献２】特開２０１０−１９１５９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記１の方式では、マーカーの撮影視野内にある他の物体の光学的特徴（色、明るさ等）が、マーカーのそれと同じ場合は、マーカーと他の物体を区別することが困難となり、被検体を検出できない。
【０００７】
上記２の方式では、観測位置と移動体との距離や、観測位置から見た移動体の姿勢が変化するような場合、その外観の形状、大きさも変わることになり、それらに対応するテンプレート画像を全て用意して比較すると、テンプレートが膨大な数になって、比較処理に長い時間が掛かってしまうと予想される。また、夜間の屋外や、照明が無い暗い室内に存在する移動体を検出する場合は、移動体が見えなくなり、検出が困難となってしまう。
【０００８】
以上のような事情に鑑み、本発明の目的は、ある観測位置から見た特定の被検体が存在する方向を、より高い識別度で検出することのできる被検体検出装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の一形態に係る被検体検出装置は、発光の色を変更可能なマーカーを有する被検体と、前記マーカーと背景を含む視野領域を撮影する撮像部と、前記マーカーの消灯時に前記撮像部により撮影された画像に基づいて支配的な色を認識する背景色解析部と、前記背景色解析部で認識した色で前記マーカーを発光させるマーカー発光制御部と、前記マーカーの点灯時に前記撮像部により撮影された画像に基づいて前記マーカーの位置を特定する演算部とを有する。
【００１０】
前記被検体検出装置において、前記演算部は、前記マーカーの消灯時の画像を複数の原色成分の画像に分離し、画素値の合計が最も小さい原色を特定し、この特定された原色で前記マーカーを発光させ、前記マーカーの発光時の画像を複数の原色成分の画像に分離し、前記マーカーの色として決定した原色の画像をもとに前記マーカーの位置を特定するものとしてよい。
【００１１】
さらに、前記被検体検出装置において、前記演算部は、前記マーカーの消灯時の画像から抽出した個々の画素の各原色画素値を、この原色画素値のデータ空間を区分する複数の区分範囲に振り分け、振り分けられた画素数が最少の区分範囲を判定し、この区分範囲内の色で前記マーカーを発光させ、前記マーカーの発光時の画像をもとに前記マーカーの位置を特定してもよい。
【００１２】
また、前記被検体検出装置において、前記演算部は、前記マーカーの消灯時の画像から抽出した個々の画素の各原色画素値を、この原色画素値のデータ空間を区分する複数の区分範囲に振り分け、振り分けられた画素数が最大の区分範囲を判定し、この区分範囲内の色に対して補色関係にある色で前記マーカーを発光させ、前記マーカーの発光時の画像をもとに前記マーカーの位置を特定するものであってよい。
【発明の効果】
【００１３】
本発明によれば、ある観測位置から見た特定の被検体が存在する方向を、より高い識別度で検出することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る一実施形態である被検体検出装置の構成を示すブロック図である。
【図２】３原色総画素値比較法の手順を説明するための図である。
【図３】３原色総画素値比較法の手順を示すフローチャートである。
【図４】３原色画素値のデータ空間を区分する複数の区分範囲を示す図である。
【図５】図４の３原色画素値のデータ空間を二次元化して示した図である。
【図６】図５の最小画素数の区分範囲における３次元中心の３原色画素値を各色毎の縦グラフによって示した図である。
【図７】撮影したカラー画像においてマーカーの設定色に最も近い色の位置を特定する方法の一例を示す図である。
【図８】最少指定による色区分比較法の手順を示すフローチャートである。
【図９】補色指定による色区分比較法の手順を示すフローチャートである。
【図１０】補色指定による色区分比較法において３原色画素値のデータ空間を区分した複数の区分範囲を示す図である。
【図１１】図１０に示した各区分範囲の相互の補色関係を示す図である。
【図１２】補色指定による色区分比較法において補色関係の区分範囲を特定する例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明に係る実施形態を説明する。
（被検体検出装置の構成）
図１は、本発明に係る一実施形態である被検体検出装置の構成を示すブロック図である。
【００１６】
この被検体検出装置は、移動体に搭載される移動体搭載部１と、撮像部４と、処理・制御部６とで構成される。
【００１７】
移動体搭載部１は、マーカー２と、無線通信部３などを含む。
マーカー２は、移動体に設けられ、例えばＬＥＤ（light emitting diode）などの光源からなる。マーカー２は、色の変更、点灯／消灯の切り替え、輝度調整などが可能なものである。無線通信部３は、処理・制御部６との間で各種の情報を無線通信するためのモジュールである。
【００１８】
撮像部４は、カメラ５を備える。カメラ５は例えばマーカー２とその背景を含む領域を視野にしてカラー撮影を行う。
【００１９】
処理・制御部６は、トリガー信号発生部７、画像取得部８、背景色解析部９、マーカー制御部１０、無線通信部１１、マーカー位置解析部１２および検出方向角度出力部１３を備える。ここで、背景色解析部９、マーカー制御部１０、およびマーカー位置解析部１２は特許請求の範囲の「演算部」に相当する。
【００２０】
トリガー信号発生部７は、撮像部４のカメラ５の撮影タイミングを指示する撮影タイミングトリガー信号を撮像部４に送出する。
【００２１】
画像取得部８は、撮像部４のカメラ５によって撮影されたカラー画像を取得して背景色解析部９およびマーカー位置解析部１２に供給する。
【００２２】
背景色解析部９は、画像取得部８より取得した視野画像においてマーカー２の背景色を解析し、解析結果をマーカー制御部１０に送る。
【００２３】
マーカー制御部１０は、背景色解析部９より得た背景色の解析結果をもとに、マーカー２の色を決定し、この色情報を無線通信部１１を使って移動体搭載部１に無線通信するように制御を行う。また、マーカー制御部１０は、マーカー２の色の制御の他、マーカー２の点灯／消灯の切り替え、発光輝度の調整なども行うための制御信号を生成し、無線通信部１１を使って移動体搭載部１に無線通信するように制御を行う。
【００２４】
マーカー位置解析部１２は、画像取得部８より得た視野画像を解析してマーカー２の位置を特定する。マーカー位置解析部１２は、求めたマーカー位置をもとに観測地点から見たマーカー２の検出方向角度を算出する。
【００２５】
検出方向角度出力部１３は、マーカー位置解析部１２により算出された移動体検出方向角度を、他の処理に出力する。
【００２６】
（被検体検出装置の動作）
次に、被検体検出装置の動作を説明する。ここでは、特に視野画像における背景色をもとにマーカーの色を決定する場合の動作を中心に説明する。
視野画像における背景色をもとにマーカーの色を決定する方法として、本明細書では主に下記の３種類を例示する。
１．３原色総画素値比較法
２．最少指定による色区分比較法
３．補色指定による色区分比較法
以下、それぞれの方法の詳細を説明する。
【００２７】
（１．３原色総画素値比較法）
図２は、３原色総画素値比較法の手順を説明するための図である。
図３は、３原色総画素値比較法の手順を示すフローチャートである。
まず、撮像部４のカメラ５によって、マーカー２の消灯時の視野画像であるカラー画像２０を撮影する（ステップＳ０１）。この際、撮影されたカラー画像の画素値が飽和しないよう、露光時間や絞りを事前に調整しておく。
【００２８】
カメラ５によって撮影されたカラー画像２０は処理・制御部６の画像取得部８にて取得され、画像取得部８から背景色解析部９に与えられる。背景色解析部９は、与えられたカラー画像をＲＧＢの３原色成分の画像２１、２２、２３に分離する（ステップＳ０２）。各画像２１、２２、２３の各画素は画素値範囲、例えば０?２５５のいずれかの画素値をもつ。次に、背景色解析部９は、各々の画像２１、２２、２３毎に、全ての画素の画素値について、次式を用いて合計（符号２４）を求める（ステップＳ０３）。
【００２９】
【数１】
2019117162.tif 000003
ここで、ｘは横方向画素位置座標、ｙは縦方向画素位置座標、Ｎｘは画像の横方向画素数、Ｎｙは画像の縦方向画素数、ｐｒは赤成分画像での画素値、ｐｇは緑成分画像での画素値、ｐｂは青成分画像での画素値である。
【００３０】
続いて、背景色解析部９は、各々の画像２１、２２、２３の画素値合計を求め、これらの画素値合計を比較して最も画素値合計が少ない色を特定する（ステップＳ０４）。図２の例では、青の画像２３の画素値合計が最も小さい。そして、この最も画素値合計が少ない色の情報がマーカー制御部１０に通知される。マーカー制御部１０は背景色解析部９より通知された色でマーカー２が発光するように、無線通信部１１を使ってその色情報を移動体搭載部１に無線通信するように制御を行う。これにより、マーカー２６の色として、背景色の中で判別容易な色が設定される（ステップＳ０５）。
【００３１】
続いて、再びカメラ５によって視野画像（カラー画像２５）が撮影される（ステップＳ０６）。この際、画素値が飽和しないように、マーカー２６の輝度を事前に調整しておく。カメラ５によって撮影されたカラー画像２５は処理・制御部６の画像取得部８にて再び取得され、マーカー位置解析部１２に与えられる。マーカー位置解析部１２は、与えられたカラー画像２５をＲＧＢの３原色成分の画像２７、２８、２９に分離する。そしてマーカー位置解析部１２は、３原色成分の画像２７、２８、２９のうち、マーカー２６の色として設定された色の画像（この例では青の画像２９）を抽出し（ステップＳ０７）、この画像中で、画素値が最大となる位置３０をマーカー位置として特定する（ステップＳ０８）。なお、この際、画素値が最大となる位置ではなく、画素値が閾値以上の位置をマーカー位置として特定することも考えられる。
【００３２】
（２．最少指定による色区分比較法）
図４乃至図７は、最少指定による色区分比較法の手順を説明する図である。図８は最少指定による色区分比較法の手順を示すフローチャートである。
まず、撮像部４のカメラ５によって、マーカー２の消灯時の視野画像であるカラー画像２０を撮影する（ステップＳ１１）。この際、撮影されたカラー画像の画素値が飽和しないよう、露光時間や絞りを事前に調整しておく。
【００３３】
カメラ５によって撮影されたカラー画像２０は処理・制御部６の画像取得部８にて取得され、画像取得部８から背景色解析部９に与えられる。背景色解析部９は、与えられたカラー画像の各画素の３原色画素値を抽出する（ステップＳ１２）。
【００３４】
次に、背景色解析部９は、カラー画像から抽出した個々の画素の３原色画素値が、３原色画素値のデータ空間４０を３次元的に区分する複数の区分範囲のどこに属するものであるかを各々判定し（ステップＳ１３）、判定した区分範囲に振り分ける。図４は３原色画素値のデータ空間４０を区分する複数の区分範囲を示す図である。この例では、３原色の色毎に画素値範囲をそれぞれ３等分、つまり０〜８４の範囲、８５〜１６９の範囲、１７０〜２５５の範囲に３等分した場合を示している。したがって、この例では、個々の画素の３原色画素値は計２７個の区分範囲のいずれかに振り分けられる。
【００３５】
次に、背景色解析部９は、カラー画像から抽出した全ての画素の３原色画素値を上記複数の区分範囲に振り分けた結果から、振り分けられた画素数が最少の区分範囲を判定する（ステップＳ１４）。図５は図４の３原色画素値のデータ空間４０を二次元化して示した図である。ここで、符号４１は３原色画素値のデータ空間４０を赤画素値が０〜８４である区分範囲で切断して緑−青画素値の二次元データ空間を示したもの、符号４２は同じく３原色画素値のデータ空間４０を赤画素値が８５〜１６９である区分範囲で切断して緑−青画素値の二次元データ空間を示したもの、そして符号４３は同じく３原色画素値のデータ空間４０を赤画素値が１７０〜２５５である区分範囲で切断して緑−青画素値の二次元データ空間を示したものである。いま、赤画素値が０〜８４、緑画素値が１７０〜２５５、青画素値が８５〜１６９の範囲で特定される区分範囲４４が最小画素数の区分範囲であるとする。
【００３６】
次に、背景色解析部９は、最小画素数の区分範囲４４における３次元中心の３原色画素値をマーカー２の色として決定する。図６は、この最小画素数の区分範囲４４における３次元中心の３原色画素値を各色毎の縦グラフによって示した図である。
【００３７】
背景色解析部９により決定されたマーカー２の色の情報はマーカー制御部１０に通知される。マーカー制御部１０は、背景色解析部９より通知された色でマーカー２が発光するように、無線通信部１１を使ってその色情報を移動体搭載部１に無線通信するように制御を行う。これにより、マーカー２６の色として背景色の中で判別容易な色が設定される（ステップＳ１５）。
【００３８】
続いて、カメラ５によってマーカー２の点灯時の視野画像が撮影される（ステップＳ１６）。この際、画素値が飽和しないように、マーカー２の輝度を事前に調整しておく。カメラ５によって撮影されたカラー画像は処理・制御部６の画像取得部８にて再び取得され、マーカー位置解析部１２に与えられる。マーカー位置解析部１２は、与えられたカラー画像においてマーカーの設定色に最も近い色の位置をマーカー位置として特定する（ステップＳ１７）。
【００３９】
ここで、撮影したカラー画像においてマーカーの設定色に最も近い色の位置を特定する方法の一例を図７を用いて説明する。
マーカー位置解析部１２は、マーカーに設定された色の色配分６１を求めるために、マーカーに設定された色の３原色画素値４８を、その３原色中の最大値で正規化する。一方、マーカー位置解析部１２は、画像取得部８にて取得されたカラー画像の個々の画素について、３原色画素値６０を３原色中の最大画素値で正規化した３原色画素値６２を生成する。次に、マーカー位置解析部１２は、マーカーの色配分（ｐｍｒ，ｐｍｇ，ｐｍｂ）６１と撮影カラー画像の３原色画素値（ｐr (ｘ，ｙ)，ｐg(ｘ，ｙ)，ｐｂ(ｘ，ｙ)）６２との不一致度を次式により全画素について算出する（６３）。
(ｐr (ｘ，ｙ)−ｐｍｒ)２＋(ｐg(ｘ，ｙ)−ｐｍｇ)２＋(ｐｂ(ｘ，ｙ)−ｐｍｂ)２    ・・・(1)
【００４０】
次に、マーカー位置解析部１２は、求めた撮影カラー画像の画素毎のマーカー色との不一致度の算出結果から、不一致度が最小の画素つまりマーカー色と最も一致した画素を特定し、撮影カラー画像における当該画素の位置をマーカー位置６４として特定する。この際、マーカー色と最も一致した画素が複数集まって存在する場合、これらの画素の中心位置をマーカー位置として特定する。あるいは、マーカー色と最も一致した画素の集まりの領域が複数個所に点在する場合、その画素の集まり毎の領域形状や画素数などから、１つの領域をマーカー位置として特定してもよい。
【００４１】
なお、本実施形態では、３原色画素値の全体空間を３原色の色毎に３等分し、計２７個の区分範囲とすることとしたが、３原色画素値の全体空間を３原色の色毎に２等分して計８個の区分範囲としてもよく、あるいは３原色画素値の全体空間を３原色の色毎に４等分以上に等分してもよい。
【００４２】
（３．補色指定による色区分比較法）
次に、補色指定による色区分比較法について説明する。
図９は、補色指定による色区分比較法の手順を示すフローチャートである。
まず、撮像部４のカメラ５によって、マーカー２の消灯時の視野画像であるカラー画像２０を撮影する（ステップＳ２１）。この際、撮影されたカラー画像の画素値が飽和しないよう、露光時間や絞りを事前に調整しておく。カメラ５によって撮影されたカラー画像２０は処理・制御部６の画像取得部８にて取得され、画像取得部８から背景色解析部９に与えられる。背景色解析部９は、与えられたカラー画像の各画素の３原色画素値を抽出する（ステップＳ２２）。
【００４３】
次に、背景色解析部９は、カラー画像から抽出した個々の画素の３原色画素値について、３原色画素値のデータ空間を区分した複数の区分範囲のどこに属するものであるかを各々判定する（ステップＳ２３）。図１０は、補色指定による色区分比較法において３原色画素値のデータ空間を区分した複数の区分範囲を示す図である。この例では、３原色の色毎に画素値範囲をそれぞれ２等分、つまり０〜１２７の範囲、１２８〜２５５の範囲に２等分した場合を示している。したがって、この例では、個々の画素の３原色画素値は計８個の区分範囲のいずれかに属するものとされる。７０は３原色画素値のデータ空間を赤画素値が０〜１２７である区分範囲で切断して緑−青画素値の二次元データ空間を示したもの、７１は同じく３原色画素値のデータ空間を赤画素値が１２８〜２５５である区分範囲で切断して緑−青画素値の二次元データ空間を示したものである。
【００４４】
補色指定による色区分比較法では、このような複数の区分範囲において相互の補色関係が決められている。図１１は図１０に示した各区分範囲の相互の補色関係を示す図である。同図において、相互に補色の関係にある区分範囲同士には同じカタカナが付されている。例えば、カタカナの"ア"で示される赤画素値が０〜１２７、緑画素値が０〜１２７、青画素値が１２８〜２５５の区分範囲と、赤画素値が１２８〜２５５、緑画素値が１２８〜２５５、青画素値が０〜１２８の区分範囲は互いに補色関係にある。その他、カタカナの"イ"、"ウ"、"エ"が付された区分範囲同士も互いに補色関係にある。
【００４５】
したがって、例えば、図１２に示すように、赤画素値が１２８〜２５５、緑画素値が０〜１２７、青画素値が１２８〜２５５の範囲で特定される区分範囲７４が最大画素数の区分範囲である場合には、背景色解析部９は、その区分範囲７４に対して補色関係にある区分範囲７５を特定する。次に、背景色解析部９は、このように補色の関係から特定された区分範囲７５の中からマーカーの色を特定する（ステップＳ２５）。マーカーの色を特定する方法としては、例えば、区分範囲７５における３次元中心の３原色画素値をマーカー２の色とする方法などがある。
【００４６】
背景色解析部９により決定されたマーカー２の色の情報はマーカー制御部１０に通知される。マーカー制御部１０は、背景色解析部９より通知された色でマーカー２が発光するように、無線通信部１１を使ってその色情報を移動体搭載部１に無線通信するように制御を行う。これにより、マーカー２６の色として背景色の中で判別容易な色が設定される（ステップＳ２６）。
以降のステップＳ２７、Ｓ２８の動作は、上述した最少指定による色区分比較法のステップＳ１６、Ｓ１７と同じであるため、説明を省略する。
【００４７】
なお、本実施形態では、３原色画素値の全体空間を３原色の色毎に２等分して計４つの区分範囲の補色関係を定義したが、３等分以上に等分して各区分範囲の補色関係を定義してもよい。
【００４８】
本実施の形態では、被検体は移動体とし、処理・制御部１５で移動体搭載部１に設けられたマーカー２の位置を検出するものとしたが、処理・制御部１５を移動体に載置して、非移動に固定されたマーカー２の担持体を被検体とすることも可能である。また、処理・制御部１５を移動体に載置して、被検体である他の移動体に搭載されたマーカー２の位置を検出することもできる。
【００４９】
以上説明したように、本実施形態によれば、検出対象である移動体にマーカー２を搭載し、観測位置から見た移動体を含む領域を撮像部４で撮影し、マーカー位置を特定することで目標方向を検出する被検体検出装置において、撮影視野内に写るマーカー２の背景色を認識し、その色とは異なる色でマーカー２を発光させることによって、マーカー２の識別性を高めることができる。
【００５０】
（その他）
本実施形態の被検体検出装置は、例えば地上から飛行体への無線給電を行う装置において、飛行体の位置を高い識別度で検出し、その飛行体に高い指向性での無線給電を実現するための手段として利用可能である。例えば、火星探査用の飛行体に無線給電を行うために、その火星探査用の飛行体の位置を検出する場合にも利用可能である。
【符号の説明】
【００５１】
１…移動体搭載部
２…マーカー
３…無線通信部
４…撮像部
５…カメラ
６…処理・制御部
７…トリガー信号発生部
８…画像取得部
９…背景色解析部
１０…マーカー制御部
１１…無線通信部
１２…マーカー位置解析部
１３…検出方向角度出力部
【図１】
2019117162.tif 000004
【図２】
2019117162.tif 000005
【図３】
2019117162.tif 000006
【図４】
2019117162.tif 000007
【図５】
2019117162.tif 000008
【図６】
2019117162.tif 000009
【図７】
2019117162.tif 000010
【図８】
2019117162.tif 000011
【図９】
2019117162.tif 000012
【図１０】
2019117162.tif 000013
【図１１】
2019117162.tif 000014
【図１２】
2019117162.tif 000015