(57)【要約】【課題】限られた無線伝送速度において長距離光学センサや合成開口レーダなどの大容量画像を高速レートで出力するセンサにおいて、出力レートに合わせて準リアルタイムに撮像画像を地上に効率よく伝送する。【解決手段】電波逆探知装置の位置評定結果もしくは方測結果から得られた目標存在範囲から画像の検出対象範囲を特定する検出範囲決定手段と、前記電波逆探知装置から得られた目標識別候補から画像目標を特定するテンプレート抽出手段と、前記検出範囲決定手段およびテンプレート抽出手段の特定結果と撮像画像とから詳細目標位置を算出する詳細目標位置算出手段と、画像出力レートと与えられた無線伝送速度とから最適画像圧縮パラメータを算出する適応圧縮パラメータ算出手段と、前記詳細目標位置算出手段の算出結果および前記適応圧縮パラメータ算出手段の最適画像圧縮パラメータとから画像圧縮を行う適応画像圧縮手段を備えたもの。【選択図】図１
2008177768.tif 000002
【特許請求の範囲】
【請求項１】
遠隔目標の撮像画像を伝送する画像伝送装置において、電波逆探知装置の位置評定結果もしくは方測結果から得られた目標存在範囲から画像の検出対象範囲を特定する検出範囲決定手段と、前記電波逆探知装置から得られた目標識別候補から画像目標を特定するテンプレート抽出手段と、前記検出範囲決定手段およびテンプレート抽出手段の特定結果と撮像画像とから詳細目標位置を算出する詳細目標位置算出手段と、画像出力レートと与えられた無線伝送速度とから最適画像圧縮パラメータを算出する適応圧縮パラメータ算出手段と、前記詳細目標位置算出手段の算出結果および前記適応圧縮パラメータ算出手段の最適画像圧縮パラメータとから画像圧縮を行う適応画像圧縮手段を備えたことを特徴とする画像伝送装置。
【請求項２】
前記検出範囲決定手段は、前記電波逆探知装置の位置評定結果とその誤差範囲を入力として対象画像フレームおよび各画像フレームでの検出対象範囲を算出することを特徴とする請求項１に記載の画像伝送装置。
【請求項３】
前記検出範囲決定手段は、前記電波逆探知装置の方測結果とその方測誤差範囲から検出対象画像フレームおよび各画像フレームでの検出対象範囲を算出することを特徴とする請求項１に記載の画像伝送装置。
【請求項４】
前記テンプレート抽出手段は、前記電波逆探知装置の識別候補が複数に及ぶ場合は、所定のスレッショルド値を予め設定し、上記スレッショルド値以上のものを全て対象とすることを特徴とする請求項１に記載の画像伝送装置。
【請求項５】
前記適応画像圧縮手段は、JPEG2000のタイル符号化手段を利用して画像圧縮を行うことを特徴とする請求項１に記載の画像伝送装置。
【請求項６】
電波逆探知装置の位置評定結果および方測結果を利用して画像検出処理を行う領域を算出する検出範囲決定ステップと、
前記位置評定結果が得られている場合は、位置評定結果とその誤差範囲を入力として対象画像フレームおよび各画像フレームでの検出対象範囲を算出するステップと、
前記位置評定結果が得られず方測結果のみである場合、方測結果とその方測誤差範囲から検出対象画像フレームおよび各画像フレームでの検出対象範囲を算出するステップと、
電波逆探知装置の識別候補から検出する目標のテンプレートを抽出するステップと、
上記検出対象範囲算出ステップにより得られた検出対象範囲および抽出したテンプレート画像群から撮像画像に対しテンプレートマッチングによる画像検出を行うステップと、
上記画像検出ステップの検出結果に対し、相関値が予め設定されたスレッショルド以上の画素位置を目標位置と定めるステップと、
与えられた伝送速度と画像センサの出力レートおよび画像サイズ、更に目標画像領域のサイズと情報量を考慮してJPEG2000の圧縮パラメータであるタイル符号サイズと圧縮率を設定するステップと、
上記の圧縮パラメータでJPEG2000圧縮を行い、目標画像が含まれる領域のタイル分の詳細情報を付与して伝送画像情報を生成するステップと、
からなることを特徴とする画像伝送方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば航空機から地上への画像伝送など、限られた無線伝送速度で大容量画像を高速レートにて出力するセンサにおいて、出力レートに合わせて準リアルタイムに撮像画像を地上に効率よく伝送する画像伝送装置及び画像伝送方法に関するものである。
【背景技術】
【０００２】
航空機などに搭載される長距離光学センサや合成開口レーダは、1フレームの画素数が膨大であり、また出力レートも非常に高速である。よって通常は、記録機へデータを蓄積し着陸後に地上にて記録機からデータを読み出し解析するのが一般的であり、航空機から瞬時に地上へ撮像画像を伝送することは不可能であった。
これらの問題を解決するためには、JPEGやJPEG2000などの画像情報の高圧縮技術や画像情報の間引きもしくは画像情報の切り取りを行い地上へ伝送する手法が一般的に用いられている。
【０００３】
例えば、文字認識の認識状態を表示する画像処理方法において、撮影画像とテンプレート画像との類似度を表す相関値に基づいて決定される評価値を表示することによって文字認識の詳細な認識状態を表示するもの(例えば特許文献１を参照)、また、カメラにより得られた画像における画像処理エリアをレーダの測定結果に基づいて画像処理するものにおいて、レーダによって検出された物体の測定位置に応じて前記画像処理エリアの中心位置を決定し、レーダから出力される電磁波のビームプロファイルに応じて、前記画像処理エリアの大きさを決定するもの（特許文献２を参照）が知られている。
更に、画像情報の高圧縮技術としてJPEG2000のタイル符号化処理システムがあり、さらにタイル分割の他の応用例としてROIの符号化技術が既に存在している(非特許文献１)。
【０００４】
【特許文献１】特開２００１−１８８９０４号公報
【特許文献２】特開２００６−１５１１２５号公報
【非特許文献１】小野定康、鈴木純司著「わかりやすいJPEG2000の技術」  オーム社、2003年5月15日発行、P80-82
【発明の開示】
【発明が解決しようとする課題】
【０００５】
画像を無線伝送で地上へ伝送する際、JPEGなどの画像圧縮手法が一般的に用いられるが、本発明で対象とする長距離光学センサや合成開口レーダの大容量画像を日本の電波法で許容される無線通信速度で準リアルタイムに伝送する場合、高圧縮率で圧縮するため情報をかなり劣化させざるをえず、地上でおこなう詳細な画像解析には不適合な画質で情報を伝送せざるを得なかった。
また、画像を切り取る場合、必要な画像範囲を不必要に切り取ってしまい、地上で行う詳細な画像解析に必要な情報を地上へ伝送し損ねる恐れがある。
また、必要な画像情報を自動で全領域画像が検出するために、一般的にテンプレートマッチングという手法が用いられているが、本発明で対象とする大容量でかつ高速なフレームレートのセンサでの撮像画像を瞬時に処理することは、大規模計算機などで並列処理させれば可能であるが、航空機という限られた空間、搭載重量、電源容量下に装置を設置する必要がある場合、事実上不可能である。
【０００６】
従って本発明では、長距離光学センサや合成開口レーダの大容量かつ高速フレームレートの出力画像を、情報を劣化させずに準リアルタイムに伝送することが出来る画像伝送装置及び画像伝送方法を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明は、前述の課題を解決するために、遠隔目標の撮像画像を地上に伝送する画像伝送装置において、電波逆探知装置の位置評定結果もしくは方測結果から得られた目標存在範囲から画像の検出対象範囲を特定する検出範囲決定手段と、前記電波逆探知装置から得られた目標識別候補から画像目標を特定するテンプレート抽出手段と、前記検出範囲決定手段およびテンプレート抽出手段の特定結果と撮像画像とから詳細目標位置を算出する詳細目標位置算出手段と、画像出力レートと与えられた無線伝送速度とから最適画像圧縮パラメータを算出する適応圧縮パラメータ算出手段と、前記詳細目標位置算出手段の算出結果および前記適応圧縮パラメータ算出手段の最適画像圧縮パラメータとから画像圧縮を行う適応画像圧縮手段を備えたことを特徴とするものである。
【０００８】
また、本発明は、電波逆探知装置の位置評定結果および方測結果を利用して画像検出処理を行う領域を算出する検出範囲決定ステップと、
前記位置評定結果が得られている場合は、位置評定結果とその誤差範囲を入力として対象画像フレームおよび各画像フレームでの検出対象範囲を算出するステップと、
前記位置評定結果が得られず方測結果のみである場合、方測結果とその方測誤差範囲から検出対象画像フレームおよび各画像フレームでの検出対象範囲を算出するステップと、
電波逆探知装置の識別候補から検出する目標のテンプレートを抽出するステップと、
上記検出対象範囲算出ステップにより得られた検出対象範囲および抽出したテンプレート画像群から撮像画像に対しテンプレートマッチングによる画像検出を行うステップと、
上記画像検出ステップの検出結果に対し、相関値が予め設定されたスレッショルド以上の画素位置を目標位置と定めるステップと、
与えられた伝送速度と画像センサの出力レートおよび画像サイズ、更に目標画像領域のサイズと情報量を考慮してJPEG2000の圧縮パラメータであるタイル符号サイズと圧縮率を設定するステップと、
上記の圧縮パラメータでJPEG2000圧縮を行い、目標画像が含まれる領域のタイル分の詳細情報を付与して伝送画像情報を生成するステップと、
からなる画像伝送方法を特徴とするものである。
【発明の効果】
【０００９】
本発明は電波逆探知装置の結果情報を利用して目標位置の検出処理を行うことにより、長距離光学センサや合成開口レーダの大容量画像を日本の電波法で許容される無線通信速度のもとで、地上でおこなう詳細な画像解析に耐えうる画質で画像情報を自動で準リアルタイムに伝送することが可能となる。特に、画像上に含まれる艦船などの各種目標が含まれる画像範囲については情報を劣化させないようにJPEG2000符号化技術を利用して高圧縮し地上へ伝送することができる。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
以下、本発明の具体的実施例について図面に基づいて説明する。  図１は、本発明の実施の形態１になる画像伝送装置の構成を示すブロック図である。図１において、１は画像センサ、２は予め複数のテンプレート画像が記憶されているテンプレートデータベース、３は電波逆探知装置である。
まず、画像センサ１から撮像画像４を受信し、詳細目標位置算出手段７及び適応画像圧縮手段１１に入力する。また、電波逆探知装置３から目標識別候補６および方測結果・位置評定結果９を受信し、テンプレート抽出手段５及び検出範囲決定手段８に入力する。上記テンプレート抽出手段５には上記テンプレートデータベース２からのデータが適宜取り込まれるようになっている。
【００１１】
図２には、上記テンプレートデータベース２と目標識別候補６からテンプレートを選別するテンプレート抽出手段５の機能構成図を示している。図のように、識別確度順にソートされた目標識別候補６について複数の目標Ａ〜Ｚが存在する場合、処理負荷および速度を考慮してスレッショルド１６を設定し、スレッショルド１６以上のもの(図では目標Ａ〜Ｃ)を検出対象とし、テンプレートデータベース２から、上記選別された目標に関するテンプレートデータ群１７を生成する。
【００１２】
次に、図３及び図４を参照して検出範囲決定手段８の処理例について説明する。図３は電波逆探知装置３から位置評定結果が得られた場合の処理例であり、アスペクト比４：３のタイル領域に分割し、各タイル領域に例えば時刻t=１からt=６までの各画像フレーム１８をマッピングした例を示している。
時刻t=１からt=６までの各画像フレーム１８において、目標位置評定結果１９から位置評定誤差２０を考慮して、位置評定結果範囲２１を算出する。位置評定結果範囲２１が含まれる各画像フレーム１８において、テンプレートマッチングにより目標検出処理を行う検出範囲２２(点線)を算出する。図３において、t=１およびt=６の画像フレームは全領域ではなく画像の一部のみを検出範囲として設定し、t=２およびt=５は全領域を検出範囲と設定し、さらに、t=３およびt=４は検出範囲外の画像フレームとして設定している。
【００１３】
図４は、電波逆探知装置３から位置評定結果が得られず方測結果のみが得られた場合の処理例である。時刻t=１からt=９の各画像フレーム２３において、方測結果および自機位置から得られる方位線２４から方測誤差２５を考慮して方測結果範囲２５を算出する。方測結果範囲２６が含まれる各画像フレーム２３において、テンプレートマッチングにより目標検出処理を行う検出範囲２７(点線)を算出する。図４において、t=１およびt=３の画像フレームは画像の一部のみを検出範囲として設定し、t=２、t=５、t=４およびt=９の画像フレームは全領域を検出範囲と設定している。また、t=６、t=７およびt=８は検出範囲外の画像フレームとして設定している。
【００１４】
次に図５を参照して詳細目標位置算出手段７の処理例を説明する。図４で示した検出範囲決定手段８で算出された検出範囲２７を含む画像フレームを詳細目標位置算出手段７で受信した際、テンプレート抽出手段５で得られたテンプレートデータ群２８からのテンプレートデータ２９を用いて図５に示すような画像フレーム毎に検出範囲２７内の領域においてテンプレートマッチングによる目標サーチ処理を行う。t=１およびt=３は画像の一部のみを対象とし、t=２、t=５、t=４およびt=９の画像フレームは全領域に対して目標サーチ処理を行う。また、t=６、t=７およびt=８については目標サーチ処理を行わない。目標サーチ処理の結果、テンプレート処理による相関値がスレッショルド以上のものについて検出目標位置と判断し検出結果１０とする。
【００１５】
図１の構成ブロック図に戻り、適応圧縮パラメータ算出手段１２および適応画像圧縮手段１１について説明する。
適応圧縮パラメータ算出手段１２は与えられた無線伝送速度１３および画像センサ１個々の出力レート１４からJPEG2000で使用する圧縮率およびタイル符号化を行う際のタイル符号サイズを算出するものである。圧縮率は次式で算出する。
【数１】
2008177768.tif 000003
ここで、Ａは圧縮率、Ｂは無線伝送速度、Ｃは出力レート、ΔはJPEG2000の圧縮処理時間、目標検出処理時間および詳細画像タイル領域の情報量を考慮した調整係数である。Δは画像フレーム毎に動的に設定されるものとする。また、ＢおよびＣはbpsなどの同一単位に換算しておく必要がある。タイル符号サイズは、検出目標の画素数を十分含む大きさで設定するものとする。
【００１６】
次に、図６を参照して適応画像圧縮手段１１の処理例を示す。画像フレーム３０には目標が含まれないため、適応圧縮パラメータ算出手段１２で算出した圧縮パラメータでJPEG2000圧縮した情報のみを伝送画像情報１５として伝送する。一方、画像フレーム３１には目標エリア３２が含まれるため画像フレーム３１と同等のJPEG2000圧縮データに加えて、詳細画像タイル範囲３３に関する高解像度情報を付与して伝送画像情報１５として伝送するものである。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態１になる画像伝送装置の構成を示すブロック図である。
【図２】図１におけるテンプレート抽出手段５の機能構成図である。
【図３】位置評定結果から検出範囲決定手段８の処理例を示す説明図である。
【図４】方測結果から検出範囲決定手段８の処理例を示す説明図である。
【図５】図１における詳細目標位置算出手段７の処理例を示す説明図である。
【図６】図１における適応画像圧縮手段１１の処理例を示す説明図である。
【符号の説明】
【００１８】
１     画像センサ、               ２      テンプレートデータベース、
３     電波逆探知装置、           ４      撮像画像、
５     テンプレート抽出手段、    ６       目標識別候補、
７     詳細目標位置算出手段、     ８       検出範囲決定手段、
９     方測結果・位置評定結果、  １０      検出結果、
１１   適応画像圧縮手段、        １２     適応圧縮パラメータ算出手段、
１３   無線伝送速度、      １４     出力レート、
１５   伝送画像情報、            １６      スレッショルド、
１７   テンプレートデータ群、    １８      画像フレーム、
１９   位置評定結果、            ２０      位置評定誤差範囲、
２１   位置評定結果範囲、        ２２      検出範囲、
２３   画像フレーム、            ２４      方位線、
２５   方位誤差範囲、            ２６      方測結果範囲、
２７   検出範囲、                ２８      抽出したテンプレートデータ群、
２９   テンプレートデータ、      ３０      画像フレーム、
３１   画像フレーム、            ３２      目標エリア、
３３   詳細画像タイル範囲。  
【図１】
2008177768.tif 000004
【図２】
2008177768.tif 000005
【図３】
2008177768.tif 000006
【図４】
2008177768.tif 000007
【図５】
2008177768.tif 000008
【図６】
2008177768.tif 000009