(57)【特許請求の範囲】
【請求項１】
複数のカメラシステムによって撮影され、取り込まれるそれぞれの映像信号を、所定の伝送領域を持つ伝送路を介して伝送する画像伝送装置であって、
前記映像信号毎に割り当てる伝送領域を決定するために、外部から入力情報を取り込み、前記入力情報に従い前記映像信号のそれぞれにフレームレートに対する重み情報を設定し、前記設定された重み情報に基づいてフレームレートを制御し、前記伝送路が持つ伝送領域に合わせて前記それぞれの映像信号を伝送する制御手段
を備え、
前記制御手段は、
センサ装置等の外部からの情報に基づき目標が撮影されていると考えられる映像信号を示す重要領域情報を取得し、前記重要領域情報に従い前記映像信号のそれぞれに対して画像処理し、その結果出力される情報に応じて前記フレームレートに重み情報の設定を行い、前記設定された重み情報に基づき前記映像信号のそれぞれに割り当てる伝送領域を計算し、前記伝送領域から前記伝送路に伝送可能なフレームレートを計算する重要領域判定部と、
前記重要領域判定部から出力されるフレームレートに基づき、入力される前記それぞれの映像信号のフレームレート変換を行い、フレームレート変換映像信号を出力するフレームレート変換部と、
前記フレームレート変換部によって出力されるそれぞれのフレームレート変換映像信号を、前記伝送路が持つ伝送領域に合わせて伝送するための符号化処理を行う符号化部と
を備え、
前記重要領域判定部は、
外部接続されるセンサ装置から出力される目標位置情報を参照して前記目標位置を特定し、入力される映像信号から画像処理によりそれぞれ目標を検出し、前記検出した目標数に応じ、前記映像信号毎、そのフレームレートに重み設定を行う目標位置情報参照部を備えたことを特徴とする画像伝送装置。
【請求項２】
前記目標位置情報参照部は、
前記入力される映像信号のそれぞれにおいて検出される総目標数と、前記映像信号のそれぞれにおいて検出される目標数との割合を算出し、その割合を、前記伝送路が持つ伝送領域に乗算して前記映像信号のそれぞれに割り当てられる伝送領域を算出することを特徴とする請求項１記載の画像伝送装置。
【請求項３】
前記重要領域判定部は、
外部入力により、検出した目標数に応じてフレームレートの重み設定を行う目標処理判定部による処理と、目標位置を参照して検出した目標数に応じてフレームレートの重み設定を行う目標位置情報参照部による処理と、カメラの俯仰角情報を参照してフレームレートの重み設定を行う前記カメラ俯仰角参照部による処理と、水平線が検出された映像のフレームレートの重み設定を行う前記水平線検出処理参照部による処理の、いずれか一つを選択する処理選定部、
を備えたことを特徴とする請求項１または請求項２記載の画像伝送装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、潜水艦の潜望鏡等、複数のカメラシステムによって撮影され、取り込まれるそれぞれの映像信号を、所定の伝送領域を持つ伝送路を介して受信装置に伝送する、画像伝送装置に関する。なお、一般的に、伝送路（伝送ケーブル）を介してデータを伝送するとき、送信できる伝送量には上限があり、その上限を伝送周波数帯域という意味で伝送領域と表しており、これは当業者であれば周知の一般的な技術用語であり、以下の伝送領域も上記の意味を表している。
【背景技術】
【０００２】
従来の画像伝送装置は、画像圧縮手段の圧縮率を制御することで限られた伝送領域内を比較的大きな容量を持つ映像信号を送信していた（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開平１１−１２２６０１号公報（段落「００１０」〜「００１３」、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記した特許文献１に開示された技術によれば、受信装置側では、画像伝送装置から送信されてくる映像信号が圧縮されているため、映像品質が劣化した映像しか確認することができない。特に、映像信号から静止画像を切り出し、確認しようとした場合、カメラから取り込まれたときの情報量を持つ静止画像を観察することができず、このため、ユーザに、効果的な処理映像、あるいは静止画像を提供することはできないといった不都合を有していた。
【０００５】
本発明は上記事情に基づいてなされたものであり、カメラから送信されてくる比較的大きな容量を持つ映像信号を、限られた伝送領域しか持たない伝送路を介して送信することを可能にするとともに、送信する映像信号の映像品質を劣化させることなく、特に、ユーザが必要とする映像についてはカメラで取得したときの情報量をそのまま観察することができる、画像伝送装置および画像伝送システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像伝送装置は、複数のカメラシステムによって撮影され、取り込まれるそれぞれの映像信号を、所定の伝送領域を持つ伝送路を介して伝送する画像伝送装置であって、映像信号毎に割り当てる伝送領域を決定するために、外部から入力情報を取り込み、入力情報に従い映像信号のそれぞれにフレームレートに対する重み情報を設定し、前記設定された重み情報に基づいてフレームレートを制御し、伝送路が持つ伝送領域に合わせてそれぞれの映像信号を伝送する制御手段を備え、制御手段は、センサ装置等の外部からの情報に基づき目標が撮影されていると考えられる映像信号を示す重要領域情報を取得し、重要領域情報に従い映像信号のそれぞれに対して画像処理し、その結果出力される情報に応じてフレームレートに重み情報の設定を行い、設定された重み情報に基づき映像信号のそれぞれに割り当てる伝送領域を計算し、伝送領域から伝送路に伝送可能なフレームレートを計算する重要領域判定部と、重要領域判定部から出力されるフレームレートに基づき、入力されるそれぞれの映像信号のフレームレート変換を行い、フレームレート変換映像信号を出力するフレームレート変換部と、フレームレート変換部によって出力されるそれぞれのフレームレート変換映像信号を、伝送路が持つ伝送領域に合わせて伝送するための符号化処理を行う符号化部とを備え、重要領域判定部は、外部接続されるセンサ装置から出力される目標位置情報を参照して目標位置を特定し、入力される映像信号から画像処理によりそれぞれ目標を検出し、検出した目標数に応じ、映像信号毎、そのフレームレートに重み設定を行う目標位置情報参照部を備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数のカメラシステムから送信される映像信号を限られた伝送領域内で伝送するため、それぞれの映像信号に重み情報を設定し、映像信号毎フレームレートを制御することで、重要領域内における映像信号の映像品質を劣化させることなく、特に、ユーザが必要とする映像についてはカメラで取得したときの情報量をそのまま観察することができる画像伝送装置を提供することができる。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
図１は、本発明の実施の形態１に係る画像伝送装置を適用した画像伝送システムの全体構成図である。図１において、符号１１〜１Ｎは、カメラシステム＃１〜＃Ｎ（マルチカメラシステム）であり、ここで、例えば、潜水艦の潜望鏡等の可視カメラあるいは赤外カメラで撮影された、可視映像あるいは赤外映像が、映像信号９１〜９Ｎとして、重要領域判定部３１、およびフレームレート変換部４１〜４Ｎに出力される。
符号２１は、センサ装置を含むコンソールである。コンソール２１は、ＰＣ（Personal  Computer）程度の処理能力を有し、オペレータ操作により、例えば、目標が存在すると思われる映像信号（フレーム番号）を選定し、あるいはセンサ装置を介して入力される海図等の目標位置情報に基づき、目標が存在すると思われる映像信号を選定し、重要領域情報１０１として重要領域判定部３１に出力する。
【００１０】
重要領域判定部３１は、コンソール２１を介して入力される、目標が撮影されていると考えられる映像信号を示す重要領域情報を取得し、この重要領域情報に従い、映像信号のそれぞれに対し画像処理して出力される情報に応じてフレームレートに重み情報の設定を行う。そして、この重み情報に基づき映像信号のそれぞれに割り当てる伝送領域を計算し、この伝送領域から伝送路（ここでは伝送ケーブル１３１）に伝送可能なフレームレートを計算し、フレームレート情報１１１〜１１Ｎとして、それぞれフレームレート変換部＃１〜＃Ｎ（４１〜４Ｎ）に出力する。
後述するように、重要領域判定部３１は、以下に示す４パターンの処理機能を備えている。すなわち、（１）目標検出処理による重み付け、（２）センサ装置から入力される海図等の目標位置情報を参照することによる重み付け、（３）カメラの俯仰角情報を参照して目標が存在すると思われる情報の参照による重み付け、（４）水平線検出処理による重み付けである。コンソール２１を介してオペレータによって選択される（１）〜（４）の中の一つに基づき重み設定処理が行なわれる。
【００１１】
フレームレート変換部４１〜４Ｎには、映像信号９１〜９Ｎ、およびフレームレート情報１１１〜１１Ｎが入力され、フレームレート変換部４１〜４Ｎは、フレームレート情報１１１〜１１Ｎを参照して、入力される映像信号９１〜９Ｎのフレームレートを変換し、フレームレート変換映像信号１２１〜１２Ｎとして符号化部５１に出力する。
符号化部５１にはフレームレート変換映像信号１２１〜１２Ｎが入力され、符号化部５１は、伝送路となる伝送ケーブル１３１を介して複数の映像信号９１〜９Ｎを伝送できるように符号化を行い、符号化映像信号として出力する。
【００１２】
上記した、コンソール２１と、重要領域判定部３１と、フレームレート変換部４１〜４Ｎは、映像信号９１〜９Ｎ毎に割り当てる伝送領域を決定するために、外部（コンソール２１）から入力情報１０１を取り込み、この入力情報１０１に従い映像信号９１〜９Ｎのそれぞれにフレームレートに対する重み情報を設定し、設定された重み情報に基づいてフレームレートを制御し、伝送路（伝送ケーブル１３１）が持つ伝送領域に合わせてそれぞれの映像信号を伝送する、本発明の画像伝送装置の制御手段として機能する。
【００１３】
一方、符号６１は、復号化部である。復号化部６１には伝送ケーブル１３１を介して符号化映像信号が入力され、ここで符号化された映像信号を表示モニタに表示できるように復号化処理を行い、パノラマ映像信号１４１としてモニタシステム７１および映像記録システム８１に出力する。ここで、パノラマ映像信号１４１とは、ある決められた距離と角度で配置された複数のカメラ（カメラシステム１１〜１Ｎ）で撮影された複数の映像信号を縮小し、一部を重ねて合成して得られる映像であり、視野角が広く、より広範囲に周囲の状況を示すことができるものである。
モニタシステム７１にはパノラマ映像信号１４１が入力され、マンマシンインタフェースを司る表示モニタにパノラマ映像信号１４１を表示する。また、映像記録システム８１にもパノラマ映像信号１４１が入力され、ここでは、ＨＤＤ（ハードディスク）等に入力されたパノラマ映像信号１４１を記録する。
【００１４】
上記した復号化部６１と、モニタシステム７１と、映像記録システム８１は、伝送路（伝送ケーブル１３１）を介して送信される符号化映像信号を受信して復号化処理を実行し、復号化処理の結果生成される映像信号（パノラマ映像）を表示モニタ（モニタシステム７１）へ表示し、もしくは記録装置（映像記録システム８１）に記録する受信装置として機能する。
【００１５】
図２は、図１に示す重要領域判定部３１の内部構成を示すブロック図である。図２に示されるように、重要領域判定部３１は、処理選定部３１１と、目標検出処理参照部３１２と、目標位置情報参照部３１３と、カメラ俯仰角参照部３１４と、水平線検出処理参照部３１５とから構成される。
処理選定部３１１は、コンソール２１を介してオペレータにより入力される選択処理情報１１０を取り込み、あらかじめ用意された４種類の処理のうち、どの処理を実行すべきかを判定する。また、目標検出処理参照部３１２は、目標を検出し、検出した目標数に応じてフレームレートの重み付けを行う。また、目標位置情報参照部３１３は、コンソール２１（センサ装置）を介して入力される海図等の目標位置情報を参照し、目標数に応じてフレームレートの重み付けを行う。また、カメラ俯仰角参照部３１４は、コンソール２１を介して入力されるカメラの俯仰角情報を参照してフレームレートの重み付けを行う。また、水平線検出処理参照部３１５は、水平線を検出し、水平線が検出された映像のフレームレートの重み付けを行う。
【００１６】
具体的に、目標検出処理参照部３１２は、コンソール２１を介して入力される、目標が撮影されていると考えられる映像信号を示す重要領域情報１０１に基づき、カメラシステム１１〜１Ｎによって撮影され取り込まれる映像信号９１〜９Ｎを画像処理して濃度の高い部分を目標として切り出し、この領域を目標として検出する。そして、検出した目標数に応じてフレームレートに重み設定を行う。
重み付けの方法は、映像信号９１〜９Ｎから検出された総目標数のうち、各映像信号で検出された目標数の割合をパーセンテージで算出することにより重み設定を行う。そのパーセンテージを伝送ケーブル１３１が持つ伝送領域に乗算したものが、その映像信号に割り当てられる伝送領域となる。目標検出処理参照部３１２は、更に、その伝送領域から伝送ケーブル１３１に伝送可能なフレームレートを算出し、フレームレート情報１１１〜１１Ｎとしてフレームレート変換部４１〜４Ｎに送出する。
【００１７】
また、目標位置情報参照部３１３は、コンソール２１（外部接続されるセンサ装置）から出力される海図等の目標位置情報を参照して目標位置を特定し、映像信号９１〜９Ｎを画像処理してそれぞれ目標を検出し、検出した目標数に応じてフレームレートに重み設定を行う。
重み付けの方法は、映像信号９１〜９Ｎから検出された総目標数のうち、各映像信号で検出された目標数の割合をパーセンテージで算出することにより重み設定を行う。そのパーセンテージを伝送ケーブル１３１が持つ伝送領域に乗算したものが、その映像信号に割り当てられる伝送領域となる。目標検出処理参照部３１２は、更に、その伝送領域から伝送ケーブル１３１に伝送可能なフレームレートを算出し、フレームレート情報１１１〜１１Ｎとしてフレームレート変換部４１〜４Ｎに送出する。
【００１８】
また、カメラ俯仰角参照部３１４は、コンソール２１を介して入力される、カメラの俯仰角情報を参照し、カメラシステム１１〜１Ｎによって撮影され、取り込まれる映像信号９１〜９Ｎを画像処理して水平線を検出し、検出した水平線の数に応じてフレームレートに重み設定を行う。
重み付けの方法は、映像信号９１〜９Ｎから検出された総水平線数のうち、各映像信号で検出された水平線数の割合をパーセンテージで算出することにより重み設定を行う。そのパーセンテージを伝送ケーブル１３１が持つ伝送領域に乗算したものが、その映像信号に割り当てられる伝送領域となる。カメラ俯仰角参照部３１４は、更に、その伝送領域から伝送ケーブル１３１に伝送可能なフレームレートを算出し、フレームレート情報１１１〜１１Ｎとしてフレームレート変換部４１〜４Ｎに送出する。
【００１９】
なお、ここでいう俯仰角とは、視点場（例えば、水平線）から見て、見上げる、あるいは見下げる角度を示す。パノラマ映像の場合は、通常、水平線に近いアングルで表示されるため、山頂から真下の麓を見、あるいは麓から山頂を見上げるようなアングルを設定できない。このような場合に俯仰角補正により画面アングルを強制的に補正することは有益である。
【００２０】
一方、水平線検出処理参照部３１５は、カメラシステム１１〜１Ｎによって撮影され、取り込まれる映像信号９１〜９Ｎを画像処理してそれぞれ水平線を検出し、検出した水平線の数に応じてフレームレートに重み設定を行う。
重み付けの方法は、映像信号９１〜９Ｎから検出された総水平線数のうち、各映像信号で検出された水平線数の割合をパーセンテージで算出することにより重み設定を行う。そのパーセンテージを伝送ケーブル１３１が持つ伝送領域に乗算したものが、その映像信号に割り当てられる伝送領域となる。カメラ俯仰角参照部３１４は、更に、その伝送領域から伝送ケーブル１３１に伝送可能なフレームレートを算出し、フレームレート情報１１１〜１１Ｎとしてフレームレート変換部４１〜４Ｎに送出する。
【００２１】
図３は、図２に示す目標検出処理参照部３１２の内部構成の一例を示す図であり、ここでは、目標検出処理参照部３１２をスポークフィルタで構成した例を示す。
図３に示す構成によれば、目標検出処理参照部３１２は、エッジ検出部３１２１と、スポーク発生部３１２２と、閾値判定部３１２３で構成される。
【００２２】
上記した構成において、目標検出処理参照部３１２は、まず、入力される映像信号９１〜９Ｎの濃淡変化から、ラプラシアンフィルタなどで構成されるエッジ検出部３１２１により、画像のエッジを検出し、そのエッジ画像をスポーク発生部３１２２へ出力する。スポーク発生部３１２２では、エッジとして検出された画素からスポークという線分をエッジ方向に発生させる。そして、画素毎にスポークが交差している交差数をカウントし、この交差数を閾値判定部３１２３に出力する。
閾値判定部３１２３では、所定の閾値と入力された交差数とを比較し、閾値以上のスポーク交差数をもつ画素を選択する。そして、この検出された総画素数を検出して目標数とすることができる。
【００２３】
図４は、図２に示す目標検出処理参照部３１２の内部構成の一例を示すブロック図である。
図４に示す構成によれば、目標検出処理参照部３１２は、フレームバッファ３１２４と、過去フレーム算出部３１２５と、背景差分演算部３１２６から成り、統計的２値化による背景差分から目標抽出を行う。
【００２４】
上記した構成において、フレームバッファ３１２４は、現在有効になっている現在フレームより以前に有効になっていた過去フレームを数フレーム分記憶するバッファである。ここで、現在フレームをＩｔ＋Ｎ（ｘ，ｙ）とすれば、過去フレームを、Ｉｔ＋Ｎ−１（ｘ，ｙ）、Ｉｔ＋Ｎ−２（ｘ，ｙ）、・・・、Ｉｔ（ｘ，ｙ）として表すことができる。図５は、このフレームの関係を示したイメージ図である。
過去フレーム算出部３１２５は、過去フレームの画素（ｘ，ｙ）についての平均ｍ（ｘ，ｙ）、分散Ｖ（ｘ，ｙ）、そして、標準偏差Ｓ（ｘ，ｙ）を、それぞれ以下の演算式（１）、式（２）、式（３）により求める。
【００２５】
【数１】
0004680087.tif 000002
【００２６】
図５にＡで示される画像は、上記した演算式（１）を用いて計算された平均画像を示している。ここでは、平均を取るため、動いていない対象は濃度が高く、早く動く対象ほど濃度が低い画像となる。
次に、背景差分演算部３１２６は、過去フレーム算出部３１２５で計算された０〜Ｎ−１までの平均ｍ（ｘ、ｙ）と標準偏差Ｓ（ｘ、ｙ）を用いて現在フレームＩｔ＋Ｎ（ｘ，ｙ）を差分２値化する。
【００２７】
例えば、２値化の条件を以下のようにすれば、
Ｉｆ  Ｉｔ＋Ｎ（ｘ，ｙ）−ｍ（ｘ，ｙ）＞２．５Ｓ（ｘ，ｙ）
⇒Ｏｔ＋Ｎ＝２５５
ｅｌｓｅ    ⇒Ｏｔ＋Ｎ＝０
となる。
上記Ｏｔ＋Ｎは現フレームの出力２値化画素であり、分散Ｓ（ｘ，ｙ）が大きい（ノイズ大）ほど閾値が高く、分散Ｓ（ｘ、ｙ）が小さいほど閾値が低くなる。
【００２８】
このようにすることにより、変化がない場所に目標が出現し、または移動してくるとノイズとは区別して目標として検出することができる。そして、この検出した総画素数を目標数とする。図５にＢで示される画像が、目標が示される画像である。
なお、実質的には、コンソール２１を介して指定される重要領域情報で指定される画像領域のみ上記した処理を実行する。ここでは、その一例として点線で囲んだ領域を重要領域情報とした。
【００２９】
一方、目標位置情報参照部３１３は、コンソール２１を介して入力される海図等の目標位置情報を参照して、目標位置を特定する。そして、検出した目標数に応じてフレームレートに重み付けを行う。
重み付けは、映像信号９１〜９Ｎで検出された総目標数のうち、各映像信号で検出された目標数の割合をパーセンテージで算出することにより設定される。それを伝送領域に乗算したものが、その映像信号に割り当てられる伝送領域となる。目標位置情報参照部３１３は更に、その領域から伝送できるフレームレートを算出し、フレームレート情報１１１〜１１Ｎとしてフレームレート変換部４１〜４Ｎに送出する。
【００３０】
また、カメラ俯仰角参照部３１４は、カメラの俯仰角を参照して、水平線が映像信号に映っているか否かを判定する。
重み付けは、映像信号９０１〜９０Ｎで検出された総水平線数のうち、各映像信号で検出された水平線の割合をパーセンテージで算出することにより設定される。それを伝送領域に乗算したものが、その映像信号に割り当てられる伝送領域となる。カメラ俯仰角参照部３１４は更に、その領域から伝送できるフレームレートを算出し、フレームレート情報１１１〜１１Ｎとしてフレームレート変換部４１〜４Ｎに送出する。
【００３１】
また、水平線検出処理参照部３１５は、水平線検出処理を実施し、水平線が映像信号に映っているか否かを判定する。
重み付けは、映像信号９１〜９Ｎで検出された総水平線数のうち、各映像信号で検出された水平線の割合をパーセンテージで算出することにより設定される。それを伝送領域に乗算したものが、その映像信号に割り当てられる伝送領域となる。その領域から伝送できるフレームレートを算出し、フレームレート情報１１０１〜１１０Ｎとしてフレームレート変換部４０１〜４０Ｎに送出する。
【００３２】
図６は、図２に示す水平線検出処理参照部３１５の内部構成の一例を示すブロック図である。
図６に示されるように、水平線検出処理参照部３１５は、ガウシアンフィルタ処理部３１５１と、ソーベルフィルタ処理部３１５３と、エッジ加算部３１５５と、累積エッジピーク算出部３１５７と、水平線判定部３１５９とで構成される。
【００３３】
ガウシアンフィルタ処理部３１５１は、入力される映像信号９１〜９Ｎをある一定のサイズに縮退してソーベルフィルタ処理部３１５３へ出力する。また、ソーベルフィルタ処理部３１５３は、入力される縮退画像３１５２のエッジ強度を抽出してエッジ加算部３１５５に出力する。
一方、エッジ加算部３１５５は、入力されるエッジ画像３１５４をフィルタ処理してエッジ個数を加算し、累積エッジピーク算出部３１５７へ出力する。そして、累積エッジピーク算出部３１５７は、入力される累積エッジ強度画像３１５６からピーク値を算出して水平線判定部３１５９へ出力する。最後に、水平線判定部３１５９は、入力される累積エッジピーク値３１５８から目標検出処理を実行する領域を特定する。
【００３４】
図７は、ガウシアンフィルタ処理部３１５１による縮退処理の手順を示すシーケンス図である。
ガウシアンフィルタ処理部３１５１は、図７のシーケンス図に示されるように、まず、入力画像（オリジナルＩ０）に対してガウシアンフィルタ処理を施すことにより縮退処理（ダウンサンプリング）を実行し、その結果生成される画像Ｉ１に再度ガウシアンフィルタ処理を施してダウンサンプリングを実行する。そして、上記した縮退処理を任意回数繰り返す。その結果生成される画像I'３を縮退画像３１５２としてソーベルフィルタ処理部３１５３へ出力する。
【００３５】
図８に、ガウシアンフィルタ処理のイメージ図を示す。ガウシアンフィルタ処理とは、解像度変換により画素を間引く前に、その画素をぼかすためのフィルタ処理のことをいい、図８に示されるように、最初にｘ軸方向のサンプリングを行ってからｙ軸方向のサンプリングを行う。
具体的には、以下に示す演算式（４）、（５）を計算することによりガウシアンフィルタ処理を実行する。但し、ｆ（ｎ，ｍ）は、入力濃淡値、ｇ（ｎ，ｍ）は、一次出力濃淡値、ｈ（ｎ，ｍ）は、二次出力濃淡値、Ｗ（ｎ，ｍ）は、各画素に対する荷重である。ガウシアンフィルタ処理により、間引かれる画素の情報を隣接画素に残すことができる。
【００３６】
【数２】
0004680087.tif 000003
【００３７】
ソーベルフィルタ処理部３１５３の処理について以下に説明する。ソーベルフィルタは、Ｘ方向及びＹ方向のエッジを検出するフィルタであり、Ｘ方向のソーベルフィルタとＹ方向のソーベルフィルタは、以下の行列式（６）、（７）で表現される。
【００３８】
【数３】
0004680087.tif 000004
【００３９】
ソーベルフィルタ処理部３１５３は、更に、以下の演算式（８）、（９）を計算することにより、Ｘ方向、Ｙ方向それぞれのエッジ画像ｇｘ（ｉ，ｊ）とｇｙ（ｉ，ｊ）を求める。
但し、ｆ（ｎ，ｍ）は、入力濃淡値、ｇ（ｉ，ｊ）は、出力濃淡値、Ｗ（ｎ，ｍ）は、各画素に対する荷重、αは、注目画素の荷重値、Ｎ，Ｍは、フィルタサイズである。
【００４０】
【数４】
0004680087.tif 000005
【００４１】
ソーベルフィルタ処理部３１５３は、上記によりエッジ画像を求めた後、エッジ強度Ｍ（ｉ．ｊ）を求める。このエッジ強度Ｍ（ｉ，ｊ）が任意の値よりも大きければエッジとし、それ以下であればエッジとしない。
続いて、ソーベルフィルタ処理部３１５３は、画素毎にエッジであるか否かの２値を持つエッジ画像をエッジ加算部３１５５に送出する。
【００４２】
エッジ加算部３１５５の処理内容について図９を参照しながら説明する。図９は、エッジ個数を加算するためのフィルタのイメージ図である。
エッジ加算部３１５５は、エッジ画像３１５４に対して図９に示すフィルタ処理、すなわち、図９中、ハッチングで示される領域に入る（フィルタを通過する）エッジの個数を加算する。そして、空間周波数の大きさｒと、空間周波数から定義される角度θとを変化させ、各ｒ、θにおけるエッジの個数を全て算出し、累積エッジ画像３１５６を累積エッジピーク算出部３１５７へ送出する。
【００４３】
累積エッジピーク算出部３１５７は、入力される累積エッジ画像３１５６の中から最もエッジ個数が多い（ｒ、θ）の組み合わせを算出し、そのときのエッジ個数を累積エッジピーク値３１５８として水平線判定部３１５９へ送出する。
最後に、水平線判定部３１５９は、入力される累積エッジピーク値３１５８のエッジ個数が、ある一定の閾値以上であれば水平線がその映像上に存在すると判断する。
【００４４】
以上説明のように、重要領域判定部３１は、まず、処理選定部３１１が、オペレータ入力により、検出した目標数に応じてフレームレートの重み設定を行う目標検出処理参照部３１２による処理と、目標位置を参照して検出した目標数に応じてフレームレートの重み設定を行う目標位置情報参照部３１３による処理と、カメラの俯仰角情報を参照してフレームレートの重み設定を行うカメラ俯仰角参照部３１４による処理と、水平線が検出された映像のフレームレートの重み設定を行う水平線検出処理参照部３１５による処理の、いずれか一つを選択する。
そして、目標検出処理参照部３１２による処理が選択された場合、目標検出処理参照部３１２は、入力される映像信号から画像処理によりそれぞれ目標を検出し、ここで検出した目標数に応じて映像信号毎、そのフレームレートに重み設定を行う。具体的には、入力される映像信号のそれぞれにおいて検出される総目標数と、映像信号のそれぞれにおいて検出される目標数との割合を算出し、その割合を、伝送ケーブル１３１が持つ伝送領域に乗算して映像信号のそれぞれに割り当てられる伝送領域をフレームレート情報１１１〜１１Ｎとして算出し、フレームレート変換部４１〜４Ｎに出力する。
算出する。
【００４５】
また、目標位置情報参照部３１３による処理が選択された場合、目標位置情報参照部３１３は、 外部接続されるセンサ装置（コンソール２１）から出力される目標位置情報を参照して目標位置を特定し、入力される映像信号から画像処理によりそれぞれ目標を検出し、ここで検出した目標数に応じて映像信号毎、そのフレームレートに重み設定を行う。具体的には、入力される映像信号のそれぞれにおいて検出される総目標数と、映像信号のそれぞれにおいて検出される目標数との割合を算出し、その割合を、伝送路１３１が持つ伝送領域に乗算して映像信号のそれぞれに割り当てられる伝送領域をフレームレート情報１１１〜１１Ｎとして算出し、フレームレート変換部４１〜４Ｎに出力する。
また、カメラ俯仰角参照部３１４による処理が選択された場合、カメラ俯仰角参照部３１４は、オペレータ入力によるカメラの俯仰角に関する情報を参照し、入力される映像信号からそれぞれ水平線を検出し、ここで検出した水平線の数に応じて映像信号毎、そのフレームレートに重み設定を行う。具体的には、入力される映像信号のそれぞれにおいて検出される総水平線数と、映像信号のそれぞれにおいて検出される水平線数との割合を算出し、その割合を、伝送路１３１が持つ伝送領域に乗算して映像信号のそれぞれに割り当てられる伝送領域をフレームレート情報１１１〜１１Ｎとして算出し、フレームレート変換部４１〜４Ｎに出力する。
【００４６】
また、水平線検出処理参照部３１５による処理が選択された場合、水平線検出処理参照部３１５は、入力される映像信号からそれぞれ水平線を検出し、ここで検出した水平線の数に応じて映像信号毎、そのフレームレートに重み設定を行う。
具体的には、入力される映像信号のそれぞれにおいて検出される総水平線数と、記映像信号のそれぞれにおいて検出される水平線数との割合を算出し、その割合を、伝送路１３１が持つ伝送領域に乗算して映像信号のそれぞれに割り当てられる伝送領域をフレームレート情報１１１〜１１Ｎとして算出し、フレームレート変換部４１〜４Ｎに出力する。
【００４７】
そして、フレームレート変換部４１〜４Ｎは、入力されたフレームレート情報１１１〜１１Ｎを参照し、入力される映像信号９１〜９Ｎのそれぞれのフレームレートを変換し、フレームレート変換映像信号１２１〜１２Ｎとしてそれぞれ符号化部５１へ出力する。
符号化部５１は、入力されたフレームレート変換映像信号１２１〜１２Ｎの符号化を行い、その結果生成される符号化映像信号を伝送ケーブル１３１に出力する。
【００４８】
一方、伝送ケーブル１３１を介して伝送される符号化映像信号は、受信装置を構成する復号化部６１で受信される。
復号化部６１は、入力された符号化映像信号をモニタシステム７１の表示モニタで表示できるように復号化処理を行い、パノラマ映像信号１４１として出力する。モニタシステム７１は、パノラマ映像信号１４０１を入力として得、マンマシンインタフェースとしての表示モニタにそのパノラマ映像信号１４１を表示する。このため、ユーザは、撮影対象領域全体をパノラマ状に監視できる他、例えば、目標接近情報等に基づき特定される重要領域を拡大表示することによりその詳細を知ることができ、特に、重要領域については比較的高いフレームレートで送信されるため画質が劣化することはない。なお、復号化部６１により出力されるパノラマ映像１４１は、映像記録システム８１にも出力され、映像記録システム８１は、入力されるパノラマ映像信号１４１の記録を行う。
【００４９】
以上説明のように、本発明は、複数のカメラシステムから送信される複数の映像信号を限られた伝送領域で送信するために、映像信号毎に重み付けを行うことで全体としてのフレームレートの低減をはかり、パノラマ映像として伝送するものであり、限られた伝送領域しか持たない伝送路であっても数多くの映像信号を伝送することができる。
また、このとき、目標が存在すると思われる映像信号のフレームレートを高く重み付けすることにより、重要領域内における映像信号の映像品質を劣化させることなく、特に、ユーザが必要とする映像についてはカメラで取得したときの情報量をそのまま観察することができる。なお、伝送領域を変換する際に用いられる入力情報としては、目標接近情報等であり、コンソール２１を介してオペレータによって入力されるか、外部接続されるセンサを介して入力される。
【００５０】
また、図１に示す重要領域判定部３１、フレームレート変換部４１〜４１Ｎ、符号化部５１、復号化部６１のそれぞれで実行される手順をコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによっても本発明の画像伝送装置を実現することができることは言うまでもない。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施の形態１に係る画像伝送装置を適用した画像伝送システムの全体構成を示す図である。
【図２】図１に示す重要領域判定部の内部構成の一例を示すブロック図である。
【図３】図２に示す目標検出処理参照部の内部構成の一例を示すブロック図である。
【図４】図２に示す目標検出処理参照部の内部構成の一例を示すブロック図である。
【図５】本発明の実施の形態１における動作を説明するために引用した図であり、統計的２値化による背景差分から目標抽出を行う場合のイメージ図である。
【図６】図２に示す水平線検出処理参照部の内部構成の一例を示すブロック図である。
【図７】本発明の実施の形態１における動作を説明するために引用した図であり、ガウシアンフィルタによるダウンサンプリングを行う場合のイメージ図である。
【図８】本発明の実施の形態１における動作を説明するために引用した図であり、ガウシアンフィルタ処理のイメージ図である。
【図９】本発明の実施の形態１における動作を説明するために引用した図であり、エッジ個数を加算するためのフィルタ処理のイメージ図である。
【符号の説明】
【００５２】
１１〜１Ｎ  カメラシステム#１〜#Ｎ、２１  コンソール（センサシステム）、３１  重要領域判定部、４１〜４Ｎ  フレームレート変換部#１〜#Ｎ、５１  符号化部、６１  復号化部、７１  モニタシステム、８１  映像記録システム、１３１  伝送路（伝送ケーブル）、３１１  処理選定部、３１２  目標検出処理参照部、３１３  目標位置情報参照部、３１４  カメラ俯仰角参照部、３１５  水平線検出処理参照部。
【図１】
0004680087.tif 000006
【図２】
0004680087.tif 000007
【図３】
0004680087.tif 000008
【図４】
0004680087.tif 000009
【図５】
0004680087.tif 000010
【図６】
0004680087.tif 000011
【図７】
0004680087.tif 000012
【図８】
0004680087.tif 000013
【図９】
0004680087.tif 000014