(57)【要約】【課題】従来の三次元画像目標検出装置は、目標の形状が予め定まった形状の特徴量により目標判別を行うため、演算負荷が高く、目標が想定外の形状や移動方向を変えた場合には検出精度が著しく低下するという課題があった。【解決手段】複数台の赤外線カメラを使用して三次元情報を含む距離画像を生成する。この距離画像に対しラベリング処理を施し、目標と想定される領域の距離画像に対し重心位置の算出を行う。フレーム前後の重心位置の移動の移動量を算出し、閾値との比較により目標であるか否かの判別を行う。このように重心位置に関して三次元移動量を推定することで、演算負荷を低減して目標を精度良く検出する。【選択図】図１
2016008899.tif 000002
【特許請求の範囲】
【請求項１】
目標を含む距離画像を生成する距離画像生成手段と、
前記距離画像を距離毎にラベリング処理し、前記ラベリング処理後の重心位置を算出するラベリング手段と、
前記ラベリング手段で算出した重心位置の移動を特定する画像領域分割手段と、
前記画像領域分割手段で特定した重心位置の移動量を算出し、予め定めた移動量との比較に基づき目標であるか否かの判別を行う重心移動量算出手段と、
前記重心移動量算出手段で目標であると判別した目標物体の三次元方向を推定する三次元方向推定手段と、
を備えることを特徴とする三次元画像目標検出装置。
【請求項２】
前記目標は船であり、目標背景である海の中から船を検出することを特徴とする請求項１記載の三次元画像目標検出装置。
【請求項３】
前記距離画像生成手段は、所定の間隔で設けられた２台の赤外線カメラであることを特徴とする請求項１、２いずれか記載の三次元画像目標検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、赤外線カメラにおいて目標とクラッタとを三次元的に捉え、目標移動物体を簡易的に判別することを目的とした三次元画像目標検出装置に関するものである。
【背景技術】
【０００２】
従来、三次元画像の比較により目標を検出する三次元画像目標検出装置の目標検出処理においては、目標の形状が定まった情報から予め生成した形状特徴量を用いた検出処理を実行している（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２５０６０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に、三次元画像による目標検出は演算負荷が高くアルゴリズムが複雑化する。
従来の三次元画像目標検出装置では、形状の定まった目標の形状特徴量を走査することにより目標判別を行っていたが、この目標判別には膨大な特徴量を使用するため、結果として演算負荷が高くなるという課題があった。
また、目標が想定外の形状であったり、目標がその移動方向を変えた場合、目標の運動（移動量、速度）性能に影響して、目標の検出精度が著しく低下するという課題があった。
【０００５】
この発明は係る課題を解決するためになされたものであり、目標が想定外の形状であったり、また、目標が移動方向を変えた場合であっても、目標の検出精度を低下させず、かつ、演算負荷を高くすることなく目標を検出可能な、三次元画像目標検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明に関わる三次元画像目標検出装置は、目標を含む距離画像を生成する距離画像生成手段と、前記距離画像を距離毎にラベリング処理し、前記ラベリング処理後の重心位置を算出するラベリング手段と、前記ラベリング手段で算出した重心位置の移動を特定する画像領域分割手段と、前記画像領域分割手段で特定した重心位置の移動量を算出し、予め定めた移動量との比較に基づき目標であるか否かの判別を行う重心移動量算出手段と、目標であると判別した目標物体の三次元方向を推定する三次元方向推定手段を備える。
【発明の効果】
【０００７】
この発明に係る三次元画像目標検出装置によれば、三次元移動量を推定することで、目標の検出精度を低下させず、かつ、演算負荷を高くすることなく、目標を精度良く検出できる。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１による三次元画像目標検出装置の構成を示す図である。
【図２】この発明の実施の形態１による三次元画像目標検出装置の動作を示すフロー図である。
【図３】この発明の実施の形態１による三次元画像目標検出装置の目標検出の方法を説明する図であり、（ａ）は重心位置算出、（ｂ）は画像領域処理、（ｃ）前後フレーム間の物体移動（閾値領域内）、（ｄ）前後フレーム間の物体移動（閾値領域外）を示した図である。
【図４】この発明の実施の形態１による三次元画像目標検出装置の目標検出の方法を説明する図であり、（ａ）は重心位置算出、（ｂ）は画像領域処理、（ｃ）前後フレーム間の物体移動（閾値領域内）、（ｄ）前後フレーム間の物体移動（閾値領域外）を示した図である。
【図５】この発明の実施の形態１による三次元方向推定手段の目標移動方向の推定を説明する図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
以下、三次元画像目標検出装置１００の構成と動作について、図を参照して説明する。  図１は、三次元画像目標検出装置の構成を示す図である。
実施の形態１に係る三次元画像目標検出装置１００は、目標を含む距離画像１１を生成する２台の赤外線カメラ１０ａ、１０ｂと、距離画像１１をラベリング処理し、重心位置の算出を行うラベリング手段２０と、ラベリング手段２０で算出した重心位置の移動を特定する画像領域分割手段３０と、画像領域分割手段３０で特定した重心位置の移動の移動量を算出し、目標であるか否かの判別を行う重心移動量算出手段４０と、目標であると判別した目標物体の三次元方向を推定する三次元方向推定手段を備える。
ここで、赤外線カメラ１０ａ、１０ｂは左右に並べられ、同一の物体を撮像した各撮像画像上の位置の違い（視差）から、物体までの距離を算出した距離画像を生成することが可能である。また、赤外カメラ１０ａ、１０ｂは、距離画像生成手段の一例である。本実施の形態に係る三次元画像目標検出装置１００で検出する目標は、例えば海上を移動する船であり、船周囲の海が背景となって例えば時事刻々変化する波の形状が目標外（クラッタ）となる。
【００１０】
次に、動作について説明する。図２は三次元画像目標検出装置１００の動作を示したフロー図である。
図２において、まず、所定の間隔で設けられた２台の赤外線カメラ１０ａ、１０ｂが目標の撮像を開始し（Ｓ０１）、距離画像を生成する（Ｓ０２）。
ここで距離画像とは、赤外線カメラを用いたステレオ視差を利用して生成し、カメラ方向に対して奥行き情報が含まれる輝度画像のことをいう。
赤外線カメラ１０ａ、１０ｂが同時に撮像した領域には重なる領域があり、赤外線カメラ１０ａ、１０ｂが備える演算処理部（図示せず）が当該領域にある物体の各撮像画像上で映る位置の違い（視差）から物体までの距離を算出する。このようにして赤外線カメラ１０ａ、１０ｂの演算処理部は、奥行き情報（距離情報）が含まれる輝度画像（距離画像１１）を生成してラベリング手段に出力する。
【００１１】
次に、ラベリング処理手段２０は、赤外線カメラ１０ａ、１０ｂで取得した距離画像１１に対して、ラベリングを行う（Ｓ０３）。
ラベリングとは、距離画像に対して奥行き(距離)毎に異なる輝度情報をもつ領域に対し、番号付けを行う手法をいう。目標や目標外のクラッタは、カメラ方向に対してそれぞれ移動速度が異なるため、時系列において輝度情報が変化する。
【００１２】
次に、ラベリング処理手段２０は、距離毎に番号付けされた領域毎に重心座標を算出する（Ｓ０４）。
算出した重心座標は、移動物体が持つ三次元情報となる。
ラベリング処理手段２０は、ラベリング後の距離画像１１と、重心座標（三次元情報）を画像領域分割手段３０に出力する。
【００１３】
画像領域分割手段３０は、画像領域分割を行い、重心座標の移動を特定する（Ｓ０５）。
図３は画像領域分割手段３０と重心移動量算出手段４０の動作を説明する図であり、Ｘ-Ｙ座標における（ａ）は重心位置算出、（ｂ）は画像領域処理、（ｃ）前後フレーム間の物体移動（閾値領域内）、（ｄ）前後フレーム間の物体移動（閾値領域外）を示した図である。同様に、図４は、三次元画像目標検出装置の目標検出の方法を説明する図であり、Ｘ-Ｚ座標における（ａ）は重心位置算出、（ｂ）は画像領域処理、（ｃ）前後フレーム間の物体移動（閾値領域内）、（ｄ）前後フレーム間の物体移動（閾値領域外）を示した図である。
画像領域分割とは、図３、図４に示すとおり画像の複数ピクセルを一つのブロック領域として捉え、ラベリング処理で算出した重心座標が次フレームにおいて、どのブロック領域に物体が移動したかを特定することをいう。
画像領域分割手段３０は、図３、図４のように画像領域分割を行い、重心座標の移動を特定した画像を重心移動量算出手段４０に出力する。
【００１４】
次に、重心移動量算出手段４０は、重心座標の移動量算出を行う（Ｓ０６）。
重心座標の移動量算出において、重心移動量算出手段４０は、予め画像領域分割された中で目標が移動すると想定される範囲を、三次元的に、例えば箱型形状として見積っておく。そして見積もった分割領域の移動範囲を閾値領域として決める。
そして、重心移動量算出手段４０は、前後画像フレーム間の重心移動量が閾値領域の内側か外側かにより、当該重心座標の対象物が目標であるかクラッタであるかの閾値判別を行う（Ｓ０６）。
具体的な閾値設定は、図３、図４に示すとおり、画像領域分割手法のブロック領域を複数の固まりの領域として設定し、前後画像フレーム間における移動物体の重心移動量が閾値領域内であれば目標物と判断して、目標検出を行う。一方、図３、図４において、前後画像フレーム間における移動物体の重心移動量が閾値領域外となれば、目標外（クラッタ）として推定する。
【００１５】
重心移動量算出手段４０は、このようにして目標物と推定した重心座標（三次元重心座標）を三次元方向推定手段５０に出力する。
【００１６】
三次元方向推定手段５０は、閾値領域で目標物として推定された三次元重心座標において、前画像フレーム間から現画像フレームで物体がどの方向に移動したかを推定する。
目標物と推定される三次元重心座標は三次元の情報を予め持っていることから、カメラ方向に対して移動物体が左右/上下/前後方向の運動でも特定することが容易となる。
また、重心座標の移動量および画像フレーム間の時間に基づき、移動物体の速度算出を行うことが可能である（Ｓ０７）。
【００１７】
上述にように、三次元方向推定手段５０は、前後画像フレーム間における三次元重心座標（Ｘ，Ｙ、Ｚ）の各変動量から、目標物の方向推定（移動量、速度）を行うことができる。
【００１８】
図５は、三次元方向推定手段５０の目標移動方向の推定の例を説明する図である。
図５に示すとおり、Ｘ軸の変動量が大きい場合、三次元方向推定手段５０は、カメラ方向に対して目標物が左方向か、右方向に移動している物体であると判定する。
また、Ｙ軸変動量が大きい場合、三次元方向推定手段５０は、カメラ方向に対して目標が上方向か、下方向に移動している物体であると判定する。
また、Ｚ軸変動量が大きい場合、三次元方向推定手段５０は、カメラ方向に対して目標物が自らの位置に対して前進方向か、後退方向に移動している物体であると判定する。
【００１９】
このように三次元方向推定手段５０は、目標の三次元移動方向を推定することで、目標検出を継続する（Ｓ０８）。
また、三次元方向推定手段５０は、目標検出中に、Ｘ軸の変動量やＹ軸変動量やＺ軸の変動量が目標の想定される範囲にない場合は、一旦検出した目標物体を目標ではなく目標外（クラッタ）であったと推定する。
【００２０】
なお、本実施の形態に係る三次元画像目標検出装置１００は、移動物体が複数存在した場合であっても、同様の処理を行うことで、各重心座標に対して画像領域分割手法および閾値領域により目標を検出することができる。また、複数移動物体の各運動量（移動量、速度）の算出を行うことも可能である。
【００２１】
以上のように、本実施の形態に係る三次元画像目標検出装置１００は、
目標を含む距離画像を生成する赤外線カメラと、赤外線カメラが生成した距離画像をラベリング処理し、ラベリングの単位ごとに重心位置の算出を行うラベリング手段と、ラベリング手段で算出した重心位置の移動を特定する画像領域分割手段と、画像領域分割手段で特定した重心位置の移動の移動量を算出し、閾値との比較により目標であるか否かの判別を行う重心移動量算出手段と、目標と判別した目標物体の三次元方向を推定する三次元方向推定手段を備えるようにした。
【００２２】
このように、本実施の形態に係る三次元画像目標検出装置１００は、物体の三次元移動量を推定することで、目標の検出精度を低下させず、かつ、演算負荷を高くすることなく、目標を精度良く検出することができる。
また、本実施の形態に係る三次元画像目標検出装置１００によれば、三次元重心座標の各変動量を考慮することで、カメラ方向に対して目標が左右運動、上下運動および前後運動に対する横行運動の目標移動物体検出が可能となる。また、閾値領域においては、移動物体の速度や距離もしくは複数移動物体に応じて可変的な領域設定ができるので、目標物体の性能に応じて、適切に目標を検出することができる。
【符号の説明】
【００２３】
１０ａ、１０ｂ  赤外線カメラ、１１  距離画像、２０  重心位置算出手段、３０  画像領域分割手段、４０  重心移動量算出手段、５０  三次元方向推定手段、１００  三次元画像目標検出装置。
【図１】
2016008899.tif 000003
【図２】
2016008899.tif 000004
【図３】
2016008899.tif 000005
【図４】
2016008899.tif 000006
【図５】
2016008899.tif 000007