(57)【要約】【課題】簡単な信号処理によって任意形状の指定領域を設定できる画像合成方法及び画像合成装置を提供する。【解決手段】表示画面上における異なる第１と第２水平方向において同一ポイントの設定が許可された第１及び第２ポイントと第３及び第４ポイントとにそれぞれ対応した第１ないし第４位置情報を形成する。上記第１ないし第４位置情報から上記表示画面上における上記第１ないし第４位置情報を結ぶ領域に対応され、上記第１水平方向と第２水平方向の間の１ないし複数の水平方向における一対の位置情報を演算により形成する。上記第１及び第２位置情報の間に対応した表示画素情報と、上記演算により求められた１ないし複数の一対の位置情報の間に対応した表示画素情報と、上記第３及び第４位置情報の間に対応した表示画素情報とを他の表示画素情報とは異なる任意の画像情報に置き換える。【選択図】図１
2008147987.tif 000002
【特許請求の範囲】
【請求項１】
表示画面上における第１水平方向において同一ポイントの設定が許可された第１及び第２ポイントにそれぞれ対応した第１及び第２位置情報と、
上記表示画面上における上記第１水平方向とは異なる第２水平方向において同一ポイントの設定が許可された第３及び第４ポイントのそれぞれに対応した第３及び第４位置情報とを形成し、
上記第１ないし第４位置情報から上記表示画面上における上記第１ないし第４ポイントを結ぶ領域に対応され、上記第１水平方向と第２水平方向の間の１ないし複数の水平方向における一対のポイントに対応した位置情報を演算により形成し、
上記第１及び第２位置情報の間に対応した表示画素情報と、上記演算により求められた１ないし複数の一対の位置情報の間に対応した表示画素情報と、上記第３及び第４位置情報の間に対応した表示画素情報とを他の表示画素情報とは異なる任意の画像情報に置き換える画像合成方法。
【請求項２】
請求項１において、
上記第１位置情報と第３位置情報は、上記表示画面上で左側に位置し、
上記第２位置情報と第４位置情報は、上記表示画面上で右側に位置し、
上記第１位置情報と第３位置情報との間の垂直方向の画素数と、上記第１位置情報と第３位置情報と間の水平方向との画素数から上記第１水平方向と第２水平方向の間の１ないし複数の水平方向における一対の位置情報の左側位置情報が演算により求められ、
上記第２位置情報と第４位置情報との間の垂直方向の画素数と、上記第３位置情報と第４位置情報と間の水平方向との画素数から上記第１水平方向と第２水平方向の間の１ないし複数の水平方向における一対のポイントの右側位置情報が演算により求められる画像合成方法。
【請求項３】
請求項２において、
上記第１ないし第４位置情報を１組として複数組分の記憶手段を有し、
上記複数組分の位置情報に対応した表示画像情報を他の表示画像情報とは異なる任意の画像情報に置き換える画像合成方法。
【請求項４】
請求項３において、
上記他の表示画像情報は、上記表示画面に対応された監視カメラで形成された映像信号である画像合成方法。
【請求項５】
請求項３において、
上記表示画面上の任意に移動可能なカーソルを表示させ、
上記カーソルの表示位置から各組毎に上記第１ないし第４位置情報を求める画像合成方法。
【請求項６】
表示画面上における第１水平方向において同一ポイントの設定が許可された第１及び第２ポイントにそれぞれ対応した位置情報を記憶する第１及び第２記憶手段と、上記表示画面上における上記第１水平方向とは異なる第２水平方向において同一ポイントの設定が許可された第３及び第４ポイントのそれぞれに対応した位置情報を記憶する第３及び第４記憶手段を含み、上記表示画面上における上記第１ないし第４ポイントを結ぶ領域に対応され、上記第１水平方向と第２水平方向の間の１ないし複数の水平方向における一対のポイントに対応した位置情報を形成するマスク処理部と、
上記マスク処理部により、上記第１ないし第４ポイントを結ぶ領域に対応された位置情報に対応された表示画素情報を他の表示画素情報とは異なる任意の画像情報に置き換える画像選択部とを有する画像合成装置。
【請求項７】
請求項６において、
上記第１ポイントと第３ポイントは、上記表示画面上で左側に位置し、
上記第２ポイントと第４ポイントは、上記表示画面上で右側に位置し、
上記マスク処理部は、上記第１ポイントと第３ポイントとの間の垂直方向の画素数と、上記第１ポイントと第３ポイントと間の水平方向との画素数から上記第１水平方向と第２水平方向の間の１ないし複数の水平方向における一対のポイントの左側ポイントを演算により求め、
上記第２ポイントと第４ポイントとの間の垂直方向の画素数と、上記第３ポイントと第４ポイントと間の水平方向との画素数から上記第１水平方向と第２水平方向の間の１ないし複数の水平方向における一対のポイントの右側ポイントを演算により求めて上記第１水平方向と第２水平方向の間の１ないし複数の水平方向における一対のポイントに対応した位置情報を形成する画像合成装置。
【請求項８】
請求項７において、
上記第１ないし第４ポイントを１組として複数組分の記憶手段を有し、
上記複数組分による上記表示画像情報を他の表示画像情報とは異なる任意の画像情報に置き換える画像合成装置。
【請求項９】
請求項８において、
上記他の表示画像情報は、上記表示画面に対応された監視カメラで形成された映像信号である画像合成装置。
【請求項１０】
請求項９において、
上記表示画面上の任意に移動可能なカーソルを表示させる座標設定部を有し、
上記カーソルの表示位置から各組毎に上記第１ないし第４ポイントの位置情報を求める画像合成装置。
【請求項１１】
請求項１０において、
上記映像信号を受けてモザイク画像形成するモザイク処理部を有し、
上記任意の画像情報は、上記モザイク処理部で形成された画像信号である画像合成装置。
【請求項１２】
請求項１０において、
輝度設定部と色設定部を有し、
上記任意の画像情報は、上記輝度設定部又は色設定部で形成された画像信号である画像合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像合成方法及び画像合成装置に適用して有効な技術に関し、例えば監視カメラ装置に利用して有効な技術に関するものである。
【背景技術】
【０００２】
監視カメラでは、監視領域を含む撮影領域内に映したくない領域、またはプライバシー保護の観点から映すべきではない領域を含むことが多くある。この問題の解決手段として、撮影領域の特定の領域を単色画像等の表示に問題の無い画像でマスクする方法がある。特開平６−１８１５３９号公報では、出力画像を格子状の複数のエリアに分割し、保護領域をカメラのパン角、チルト角、水平及び垂直方向の範囲情報で記憶し、分割された各エリアについて保護領域を含むか否かを判定し、保護領域を含むエリアをマスクする方法が記述されている。特開２００１−６９４９４号公報では、保護領域を覆う上下の辺は水平で左右の辺は垂直な矩形領域をカメラのパン角、チルト角、矩形領域の各頂点の座標で記憶しマスクする方法が記述されている。
【特許文献１】特開平６−１８１５３９号公報
【特許文献２】特開２００１−６９４９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記特許文献１及び２に記載された従来技術では、マスク画像の形状は上下の辺が水平で左右の辺が垂直な矩形に限られているが、保護領域は様々な形状があり、保護領域を全てマスクした場合は、監視すべき領域の一部もマスクされてしまう問題と、監視すべき領域を部分的にでもマスクしない様に保護領域をマスクした場合は、保護領域の一部が見えてしまう問題が起こる。
【０００４】
この発明の目的は、簡単な信号処理によって任意形状の指定領域を設定できる画像合成方法及び画像合成装置を提供することにある。この発明の他の目的は、監視カメラの出力画像について監視領域を損なわずに任意の保護領域を全てマスク出来るようにすることにある。この発明の前記ならびにそのほかの目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【０００５】
本願における実施例の１つは下記の通りである。すなわち、表示画面上における異なる第１と第２水平方向において同一ポイントの設定が許可された第１及び第２ポイントと第３及び第４ポイントとにそれぞれ対応した第１ないし第４位置情報を形成する。上記第１ないし第４位置情報から上記表示画面上における上記第１ないし第４位置情報を結ぶ領域に対応され、上記第１水平方向と第２水平方向の間の１ないし複数の水平方向における一対の位置情報を演算により形成する。上記第１及び第２位置情報の間に対応した表示画素情報と、上記演算により求められた１ないし複数の一対の位置情報の間に対応した表示画素情報と、上記第３及び第４位置情報の間に対応した表示画素情報とを他の表示画素情報とは異なる任意の画像情報に置き換える。
【０００６】
本願における実施例の他の１つは下記の通りである。すなわち、表示画面上における異なる第１と第２水平方向において同一ポイントの設定が許可された第１及び第２と第３及び第４ポイントにそれぞれ対応した位置情報を第１ないし第４記憶手段に記憶する。マスク処理部により上記表示画面上における上記第１ないし第４ポイントを結ぶ領域に対応され、上記第１水平方向と第２水平方向の間の１ないし複数の水平方向における一対のポイントに対応した位置情報を形成する。上記マスク処理部により、画像選択部を制御して上記第１ないし第４ポイントを結ぶ領域に対応された位置情報の表示画素情報を他の表示画素情報とは異なる任意の画像情報に置き換える。
【発明の効果】
【０００７】
水平方向において同一ポイントの設定が許可された４つのポイントにより任意の四辺形及び三角形を形成することができるので、簡単な信号処理によりこれらを組み合わせて指定領域が任意に可能となる。
【発明を実施するための最良の形態】
【０００８】
図１には、この発明に係るマスク形状を説明図が示されている。撮像装置（カメラ）からの出力画像Ｐ１上において特定部分をマスクする保護領域は、同図にハーフトーンで示したように、Ａ１、Ａ２、Ａ５，Ａ６からなる４つの座標（ポイント）と、保護領域の左辺の傾きを示すΔＶ１とΔＨ１、及び右辺の傾きを示すΔＶ２とΔＨ２とで設定される。上記Ａ１とＡ２の座標は、同一水平方向（Ｖ１）に設けられること、Ａ５とＡ６は、上記Ａ１とＡ２とは異なる同一水平方向（Ｖ２）に設けられるものである。このような条件とすることにより、Ａ３とＡ４の座標は、Ａ１とＡ２から自動的に求められるものであり、上記傾きΔＶ１とΔＨ１及びΔＶ２とΔＨ２を求めるときに利用される。
【０００９】
例えば、上下の辺は水平である為、Ａ１の座標を（Ｈ１，Ｖ１）、Ａ４の座標を（Ｈ２、Ｖ２）とした場合、Ａ２の座標は（Ｈ２、Ｖ１）、Ａ３の座標は（Ｈ１，Ｖ２）で表される。そして、上記保護領域は、座標Ａ１とＡ５からΔＶ１、ΔＨ１の値を計算し、Ａ２とＡ６からΔＶ２、ΔＨ２を計算する。そして、Ｖ１からＶ２に至る水平方向での両端座標は、ΔＶ１（ΔＶ２）毎に水平方向の座標Ｈ１（Ｈ２）をΔＨ１（ΔＨ２）分だけ変化させた水平方向の座標Ｈ１’（Ｈ２’）を計算する事で求められる。これにより、マスク画像（保護領域）として左右の辺に傾きを持たせ台形状に設定することができる。本願では、上記Ａ１とＡ２、またはＡ３とＡ４の座標を同じにする事を許可することを特徴としている。このような条件を付加することにより、上記４つのポイント（Ａ１，Ａ２，Ａ５，Ａ６）の指定により、矩形、台形、平行四辺形、三角形のような複数通りの保護領域を設定することが可能となる。
【００１０】
上記矩形は、上下の辺が水平で左右の辺が垂直となる４つのポイントで指定できる。台形は、上記のようにＡ１−Ａ２の距離と、Ａ５−Ａ６の距離を異ならせることにより指定できる。平行四辺形は、Ａ１−Ａ２の距離と、Ａ５−Ａ６を等しくすることにより決定できる。そして、三角形は、Ａ１とＡ２又はＡ５とＡ６を同一座標とすることにより設定することができる。このように矩形以外の台形、平行四辺形及び三角形の保護領域を設定することができるために、後述するような監視カメラ装置においては、監視領域に沿った柔軟性を持つ保護領域を設定でき、監視機能とプライバシー等の保護との両立性の向上を図ることができる。
【００１１】
上記のようにマスク画像の左右の辺に傾斜をつける事で、上下の辺が水平で左右の辺が垂直な矩形以外の保護領域について監視領域を損なわずにマスク出来る。マスク画像の基本形状を左右の辺が垂直で上下の辺が水平な四角形とするが、左右の辺に傾きをつけることで、矩形以外のマスク画像を可能にし、１つまたは複数のマスク画像を使う事でカメラからの出力画像に含まれる保護領域と監視領域を出来るだけ正確に分けられる様にする。２次元のどの様な図形も基本的には複数の三角形の組み合わせで表現出来るが、三角形をマスク画像の基本形状にした場合、四角形を表現するためには必ず２つのマスク画像が必要になる。これに対して、台形を基本形状として上記上辺又は下辺の両座標を同一とすることを許可することにより、三角形の領域も設定できる。この結果、本願発明で設定可能な保護領域は、上記のように矩形以外の台形、平行四辺形及び三角形の複数通りの保護領域を基本形状で設定することができるものである。
【００１２】
理論的には、座標Ａ１とＡ３にΔＶ１，ΔＨ１（又はθ１）を設定して、座標Ａ５を演算で求めるようにすることもできるが、前記監視カメラの映像画面上のブライバー等保護のための領域を設定する場合、上記保護領域の下端を演算で求めるよりも直接に指定できる前記Ａ１，Ａ２及びＡ５，Ａ６で特定し、ΔＶ１，ΔＨ１（又はθ１）を演算で求めて上記保護領域内の水平ライン上の前記Ｈ１’とＨ２’を算出する方が実際的である。
【００１３】
図２には、この発明に係る監視カメラの一実施例のブロック図が示されている。イメージセンサは、ＣＣＤ又はＭＯＳ等からなる固定撮像素子からなり、映像信号をアナログ信号又はデジタル信号として出力する。カメラ信号処理ＬＳＩは、アナログ入力信号用としてＡＦＥ（Analog Front End；アナログ・フロント・エンド）を有する。このＡＥＦは、ノイズ除去の為のＣＤＳ（相関二重サンプリング；Correlated Double Sampling）回路、信号レベルを最適化するＰＧＡ（Programmable Gain Amplifier)回路、アナログ／デジタル変換を行うＡＤＣ回路からなる。
【００１４】
上記ＡＦＥの出力信号又はイメージセンサからのデジタル映像信号は、カメラ信号処理部により輝度信号処理、色信号処理が行われる。この実施例では、前記のように監視領域を含む撮影領域内に映したくない領域、またはプライバシー保護の観点から映すべきではない領域を設定するためのマスク処理部が設けられる。上記カメラ信号処理部で形成された撮像信号は、上記マスク処理部を通して一部がマスクされ、フォーマット変換部により表示装置に適合したフォーマットに変換され、液晶パネル等のようなデジタル入力の表示装置に対しては、そのままデジタル信号の形態で出力され、ＣＲＴのようなアナログ入力の表示装置に対しては、デジタル／アナログ変換回路ＤＡＣを介してアナログ信号に変換されて出力される。マイコンは、イメージセンサ、ＡＦＥ、カメラ信号処理部、マスク処理部、フォーマット変換部及びＤＡＣの制御を行う。座標設定部は、マスク位置の座標を入力するためのカーソル操作等の制御入力を行うために用いられる。
【００１５】
図３には、図２のマスク処理部の一実施例のブロック図が示されている。Ｖカウンタ２は、カメラ信号処理部で形成された垂直同期信号ＶＳＹＮＣでリセットされ、水平同期信号ＨＳＹＮＣをカウントすることで前記図１の出力画像Ｐ１の先頭からのライン数をカウントする。Ｈカウンタ３は、上記水平同期信号ＨＳＹＮＣによりリセットされて、各ライン毎の先頭から画素数をカウントする。これにより、出力画像Ｐ１上における座標情報を得ることができる。マスク画像生成部１は、前記カメラ信号処理部で形成されたカメラ信号処理出力ＶＳに置き換えられるべきマスク信号ＭＤを形成する。
【００１６】
マスク領域設定部４１〜４ＮのようなＮ組の回路から構成される。上記Ｎ組のマスク領域設計部は、マスク設定部４１が代表として例示的に示されているように、各設定値を記憶するレジスタ５１〜５８、垂直方向領域判定部６１、水平方向領域判定部６２及びＨ１’演算部６３、ΔＶ１カウンタ６４、Ｈ２’演算部６５、ΔＶ２カウンタ６６から構成される。上記垂直方向領域判定部６１、水平方向領域判定部６２は、上記カメラ画像処理出力ＹＤが上記マスク領域内か否かの判定信号ＶＭＳＫ及びＨＭＳＫをそれぞれ形成する。画像選択部７は、上記判定信号ＶＭＳＫ及びＨＭＳＫに対応して、上記カメラ信号処理出力ＶＳ又は上記マスク信号ＭＤとを選択して表示装置に供給すべき出力信号ＶＤＳＰを形成する。
【００１７】
ΔＶ１カウンタは、上記垂直方向領域判定部６１の出力より、マスク画像の先頭ラインからΔＶ１分のカウントを繰り返す。同様に、ΔＶ２カウンタは、上記垂直方向領域判定部６１の出力より、マスク画像の先頭ラインからΔＶ２分のカウントを繰り返す。Ｈ１’演算部６３は、Ｈ１設定レジスタ５１、ΔＨ１設定レジスタ５４の記憶情報、及びΔＶ１カウンタの出力より、マスク画像の先頭ラインからΔＶ１毎にＨ１設定に対してΔＨ１設定値を加減算して新たなＨ１の座標Ｈ１’を計算する。同様に、Ｈ２’演算部６５は、Ｈ２設定レジスタ５６、ΔＨ２設定レジスタ５７の記憶情報、及びΔＶ２カウンタの出力より、マスク画像の先頭ラインからΔＶ２毎にＨ２設定に対しΔＨ２設定値を加減算して新たなＨ２の座標Ｈ2 ’を計算する。水平方向領域判定部６２は、上記Ｈ１’演算部６３、Ｈ２’演算部６５、及びＨカウンタ３の計数値から各ライン毎にマスク画像の水平方向の領域を判定する。
【００１８】
この実施例のマスク領域設定部４には、Ｖ１，Ｖ２，Ｈ１，Ｈ２及びΔＶ１，ΔＶ２とΔＨ１，ΔＨ２の設定値が各レジスタ５１〜５８に記憶される。このことは、前記図１において、上記Ｖ１，Ｖ２，Ｈ１，Ｈ２により、座標Ａ１，Ａ２及びＡ３，Ａ４の４つのポイントを指定し、前記Ａ５とＡ６のポイントを上記ΔＶ１とΔＨ１及びΔＶ２とΔＨ２で間接的に指定することを意味するものではない。勿論、そのように指定することは妨げないが、領域設定にあたってはＡ５，Ａ６を直接に入力することの方がはるかに使い勝手がよい。この実施例では、前記図２の座標設定部により上記Ａ１，Ａ２及びＡ５とＡ６を入力することで、マイコンによりΔＶ１とΔＨ１及びΔＶ２とΔＨ２を生成して、上記マスク領域設定部４１の各レジスタに入力するものである。
【００１９】
図４には、上記図３のマスク領域設定部の動作を説明するためのフローチャート図が示されている。ステップ（１）では、垂直同期信号ＶＳＹＮＣの検出が行われる。これにより、前記図１の出力画像Ｐ１上における右下端に対応した画素信号（１画面の最終画素）の出力タイミングを件検出することができる。ステップ（２）では、Ｖカウンタ２及びΔＶ１カウンタ６４，ΔＶ２カウンタ６６のリセットが行われる。
【００２０】
ステップ（３）では、Ｖカウンタ２のカウンタ値が上記Ｖ１〜Ｖ２の間であるかの判定（Ｖ１≦Ｖカウンタ値≦Ｖ２）が行われる。もしも、上記Ｖ１〜Ｖ２の間であるときには、ステップ（４）により、ΔＶ１カウンタ６４のカンウタ値がΔＶ１又はΔＶ２カウンタ６６のカウンタ値がΔＶ２の判定が行われる。上記ΔＶ１カウンタ６４のカンウタ値がΔＶ１又はΔＶ２カウンタ６６のカウンタ値がΔＶ２のときには、ステップ（５）において、Ｈ１’＝Ｈ１±ΔＨ１及びＨ２’＝Ｈ２±ΔＨ２の演算が行われる。上記Ｈ１’は、Ｈ１’演算部に設けられたレジスタにより上記演算前のＨ１に置き換えられる。以降の演算では、上記Ｈ１設定レジスタに設定されたＨ１に変えて、上記演算により更新されたＨ１（Ｈ１’）が用いられる。このことは、Ｈ２’においても同様である。つまり、１画素分Ｈ１の座標が変化するΔＶが求められているので、上記のようにΔＶ毎にＨ１の座標が１画素分＋１又は−１のように移動する。
【００２１】
ステップ（６）では、マスク画像の領域判定が行われる。つまり、当該ラインＶｘ（Ｖ１≦Ｖｘ≦Ｖ２では、上記Ｈ１≦Ｈｘ≦Ｈ２の画素信号は、上記マスクデータＭＤに置き換えられ、それ以外は上記撮像信号ＶＳが選択される。ステップ（７）では、ΔＶカウンタ６４，６６のイネーブルがオンにされる。ステップ（８）では、水平同期信号ＨＳＹＮＣの検出判定が行われる。水平同期信号ＨＹＮＣが検出されると、ステップ（９）において、Ｖカンウタが＋１のように更新される。ステップ（１０）では、ΔＶカウンタのイネーブルの判定を行い、イネーブルがオンにされていたなら（ステップ１１）でΔＶカウンタでは＋１の更新が行われ、前記ステップ（３）に戻る。
【００２２】
撮像信号ＶＳの画素信号が上記水平ラインＶ１、Ｖ２以外にあるときには、ステップ（１２）において、Ｖカウンタ＜Ｖ１設定の判定が行われる。Ｖカウンタ＜Ｖ１設定であるときには、ステップ（８）に移動し、Ｖカウンタの更新動作のみが行われる。そして、Ｖカウンタ＞Ｖ１設定であるときには、つまり、Ｖ１≦Ｖカウンタ値≦Ｖ２ではなく、Ｖカウンタ＞Ｖ１設定であるという条件は、Ｖ２以下の水平ラインであることからステップ（１３）によりΔＶカウンタのイネーブルをオフにして終了する。
【００２３】
図５には、図２のＶカウンタとΔＶ１カウンタ（ΔＶ２カウンタ）の動きをグラフで表した動作説明図が示されている。縦軸はＶカウンタとΔＶ１カウンタ（ΔＶ２カウンタ）のカウント値を表し、横軸は経過時間を表します。Ｖカウンタは垂直同期信号の検出時にリセットされ、その後は次の垂直同期信号の検出時までライン数をカウントする。ΔＶ１カウンタ（ΔＶ２カウンタ）は、Ｖカウント値がＶ１以上且つＶ２以下の間だけライン数をカウントする。カウント値がΔＶ１（ΔＶ２）に達する毎にリセットされる。水平方向のマスク画像の座標Ｈ１（Ｈ２）はΔＶ１（ΔＶ２）カウンタ値がΔＶ１（ΔＶ２）に達する毎にΔＨ１（ΔＨ２）分変化する。具体的には、１画素分が増減させるのに必要なΔΔＶ１（ΔＶ２）が求められている。なお、上記傾き（ΔＶ１／ΔＨ１）が整数でないときには、補正して１画素分を変化させるのに必要なΔＶ１（ΔＶ２）を適宜に求めるようにしてもよい。
【００２４】
このようにして、図１に示す監視カメラからの出力画像Ｐ１上の保護領域をマスクするマスク画像を制御するには、まず、ＶカウンタとＶ１設定、Ｖ２設定から垂直方向の領域判定を行い、マスク画像領域内の間、ΔＶ１カウンタ（ΔＶ２カウンタ）でライン数をカウントし、カウント値がΔＶ１設定（ΔＶ２設定）と等しくなる毎に、水平方向のマスク画像の座標Ｈ１（Ｈ２）をΔＨ１（ΔＨ２）分だけ変化させた新たな座標Ｈ１’（Ｈ２’）を計算し、水平方向の領域判定が行われる。
【００２５】
上記により、ΔＶ１（ΔＶ２）とΔＨ１（ΔＨ２）を設定する事でソフトウェアの介在無しにハードウェアでライン毎に水平方向のマスク画像領域の座標Ｈ１、Ｈ２を変えて矩形以外の台形、平行四辺形及び三角形を含めたマスク画像が可能になる。
【００２６】
図６には、図２のマスク処理部の他の一実施例のブロック図が示されている。この実施例では、前記図３の実施例におけるΔＶ１カウンタ、ΔＶ２カウンタが省略されて、その動作をＨ１’演算部６３及びＨ２’演算部６５が受け持つようにされる。つまり、Ｈ１’演算部６３は、Ｈ１設定レジスタ５３、ΔＨ１設定レジスタ５４及びΔＶ１設定レジスタの各記憶情報と、垂直方向領域判定部６１及びＶカウンタ２の出力信号の出力より、Ｖカウンタ２の値がΔＶ１のＮ倍になる毎にＨ１設定に対してΔＨ１設定値を加減算して新たなＨ１の座標Ｈ１’を計算する。同様に、Ｈ１’演算部６３は、Ｈ２設定レジスタ５６、ΔＨ２設定レジスタ５７、ΔＶ２設定レジスタ５８、垂直方向領域判定部６１及びΔＶ２カウンタ２の出力より、Ｖカウンタ２の値がΔＶ２のＮ倍になる毎にＨ２設定に対しΔＨ２設定値を加減算して新たなＨ２の座標Ｈ２’を計算する。このようなＨ１’演算部６３、Ｈ２’演算部６５、及びＨカウンタ３の計数値からライン毎にマスク画像の水平方向の領域を水平方向領域判定部６２により判定する。
【００２７】
マスク画像分の垂直方向の領域判定信号ＶＭＳＫと水平方向の領域判定信号ＨＭＳＫを制御信号として、信号処理されたイメージセンサからの出力画像ＶＳとマスク画像データＭＤを切り替えマスク処理された画像を画像選択部７で選択することにより、表示される表示信号ＶＤＳＰが形成される。このような垂直方向領域判定部６１、水平方向領域判定部６２、Ｈ１’演算部６３、Ｈ２’演算部６５及び各設定レジスタ５１〜５８は必要なマスク数分設けられるものである。
【００２８】
図７には、上記図６のマスク領域設定部の動作を説明するためのフローチャート図が示されている。図６において、ΔＶ１，ΔＶ２カウンタが省略されていることに対応して、前記図４に示したΔＶ１，ΔＶ２カウンタに対応したステップ（４）（７）（１０）（１１）が省略され、ステップ（２）では、ΔＶ１，ΔＶ２カウンタのリセットが省略される。つまり、図７のステップ（４）とステップ（５）において、マスク画像領域内の間、Ｖカウント値がΔＶ１設定（ΔＶ２設定）のＮ倍になる毎に、水平方向のマスク画像の座標Ｈ１（Ｈ２）をΔＨ１（ΔＨ２）分だけ変化させた新たな座標Ｈ１’（Ｈ２’）を計算し、水平方向の領域判定を行う。具体的は、前記同様に１画素分増減させるのに必要なΔＶ１とΔＶ２が前記同様にして上記Ｎ値として求められている。
【００２９】
図８には、Ｈ１’演算部、Ｈ２’演算部の動作をグラフで表した動作説明図が示されている。縦軸はＶカウンタ２のカウント値とＨ１’演算部（Ｈ２’演算部）での演算結果を表し、横軸は経過時間を表す。Ｖカウンタ２は、垂直同期信号ＶＨＹＮＣの検出時にリセットされ、その後は次の垂直同期信号の検出時までライン数をカウントする。Ｈ１’演算部（Ｈ２’演算部）ではＶカウンタ値÷ΔＶ１（ΔＶ２）を計算する。水平方向のマスク画像の座標Ｈ１（Ｈ２）は、Ｖ１設定≦Ｖカウンタ値≦Ｖ２設定の期間にＶカウンタ値÷ΔＶ１（ΔＶ２）の余りが０となる毎に（つまりＶカウント値＝ΔＶ１（ΔＶ２）×Ｎ（左記Ｎは整数）毎に）ΔＨ１（ΔＨ２）分変化させる。実際上は、上記ΔＨ１（ΔＨ２）は、１画素に設定され、１画素分増減させるためのＶカウント値＝ΔＶ１（ΔＶ２）（Ｎ）が求められている。これに限定されず、２画素分あるいは３画素分のように複数画素を増減させるのに必要なＶカウント値＝ΔＶ１（ΔＶ２）を求めるようにしてもよい。
【００３０】
図９には、この発明で設定可能なマスク領域の例が示されている。（ａ）ないし（ｄ）は、１つのマスクで設定可能な代表的な形状を示し、（ｅ）ないし（ｈ）は、複数のマスクの組み合わせで設定可能な代表的な形状を示している。（ａ）は、矩形であり、最も簡単な形状である。この場合には、ΔＶ、ΔＨが不要である。（ｂ）は台形であり、前記図１のものと上下を逆にした形状である。（ｃ）は、平行四辺形である。そして、（ｄ）は、座標Ａ１＝Ａ２とした三角形である。
【００３１】
（ｅ）は、上記（ｂ）のような台形と（ｄ）のような三角形との２つのマスクを用いた四角形の例である。（ｆ）は、上記（ｄ）の三角形の２つのマスクを用いた四角形の例である。（ｇ）は、（ａ）のような矩形の上側に（ｄ）のような三角形、下側に（ｂ）のような台形の３つのマスクを組み合わせた７角形の例である。（ｈ）は、（ｂ）のような台形と（ｃ）のような平行四辺形を重ね合わせ、更に上下に（ｄ）のような三角形からなる４つのマスクを用いた５角形の例である。ちなみに、（ｄ）のような領域を三角形だけで形成しようとすると、６つものマスクが必要となるものである。
【００３２】
図１０には、この発明が適用された車載用カメラシステムでの表示例が示されている。右ハンドルの自動車において、左側にカメラを搭載し、その撮像画面上にマスクＭＳＫ１とＭＳＫ２を合成して、マスクＭＳＫ１は自動者の前方先端の位置を示し、マスクＭＳＫ２はドアミラーを含めた自動車の左端（左幅）を示している。上記マスクＭＳＫ１は、細長い矩形により１つのマスクで表現することができる。また、マスクＭＳＫ２は、細長い平行四辺形により表現することができる。このように２つのマスク機能を利用して、表示画面上に自動者の先端部と左端部を表示させることにより、狭い道路での左寄せの際に、例えば同図の例ではブロック塀との接触を防止できる。また、図示しないが、駐車場等で前方に障害物があるときには、上記先端マスクＭＳＫ１により障害物との接触を防止することができる。
【００３３】
図１１には、図３、図６に示したマスク画像生成部の一実施例のブロック図が示されている。マスク画像生成部は、マイコンからの設定値により輝度設定１、２……ｎがレジスタ１３〜１５に、色設定１、２……ｎがレジスタ１６〜１８にそれぞれ格納される。カメラ信号処理部からの映像出力Ｙout に振幅変換部１１、モザイク処理部１２を通して信号変換して信号を出力する。上記振幅変換部１１では、輝度信号Ｙout の振幅を１／２、１／４……１／Ｍにする。モザイク処理部１２では、間隔を１０画素とした場合、１０画素×１０画素の領域にその領域内の特定画素の映像信号を出力するモザイク処理を行う。または回路構成を小さくし、水平方向にのみモザイク処理を行う。画像選択部７では、カメラ信号処理部からの輝度信号Ｙout と色信号Ｃout と、マスク画像生成部１の出力ＭＤ１〜ＭＤ９を画像選択部７のセレクタ７１，７２の入力とし、マスク数分ある垂直方向の領域判定信号ＶＭＳＫと水平方向の領域判定信号ＨＭＳＫを選択制御部７３の入力として、監視領域とマスク領域の映像信号を切り替える。
【００３４】
上記構成により各マスク領域にそれぞれ下記の効果を与える事が出来る。上記セレクタ７１を通した輝度信号とセレクタ７２を通した色信号とを共にマイコンからの設定ＭＤ３〜ＭＤ９を選択する事で単色の塗り潰すことがきる。上記輝度信号はカメラ信号処理部の出力Ｙout を選択し、上記色信号はマイコンからの設定（ＭＤ７〜ＭＤ９）を選択する事で半透過の様な表示効果を実現できる。上記輝度信号は振幅変換１１の出力ＭＤ１、色信号はマイコンからの設定を選択する事ですりガラスの様な表示効果を実現できる。他に組み合わせを変える事で様々な表示効果を実現できる。マスク領域において上記半透明やすりガラスあるいはモザイク処理した映像を表示させることにより、プライバシーを保護しつつ、監視機能を向上させることができる。
【００３５】
図１２ないし図１４には、この発明に係る監視装置におけるマスク領域設定手順の説明図が示されている。図１２には、設定したい保護領域が示されている。このような保護領域に対応した設定情報を得る場合、図２の座標設定部の操作によりカーソルを移動させて保護領域の頂点となる部分に図１３に示したようにマーク１ないしマーク４を表示させる。この４個からなるマーク１ないし４を同時に表示させる必要はなく、１つのカーソルを順次にマーク１ないし４のように移動させ、各ポイントでのカーソル座標（Ｖ１，Ｈ１）、（Ｖ２，Ｈ２）、（Ｖ３，Ｈ３）、（Ｖ４，Ｈ４）を取り出す。前記１つのマスク毎に４つのポイントの座標を取り出すようにする場合には、Ｖ１＝Ｖ２，Ｖ３＝Ｖ４のようにしかカーソルは移動しないようにされる。
【００３６】
実際にマーク１ないしマーク４で囲んだ領域をマスクするには、図１４に示す様に各マークの座標の他に、マーク２から垂直に降ろした線と底辺が交わる交点ａの座標、ΔＶ１、ΔＶ２、ΔＨ１, ΔＨ２が必要になるが、これらは計算により求まる。交点ａ座標の座標Ｖａは、マーク４のＶ４と等しく、Ｈａはマーク２のＨ２と等しい為、交点ａの座標（Ｖａ，Ｈａ）＝（Ｖ４，Ｈ２）となる。左辺の傾きを設定する為のΔＶ１とΔＨ１は、（Ｖ３とＶ１の差）と（Ｈ３とＨ１の差）を公約数で割る事で求められる。公約数が複数ある場合、小さな公約数で割るほど左辺の傾きが滑らかになり、大きな公約数で割るほど、左辺の傾きが階段状になる。左辺の傾きを設定する為のΔＶ２とΔＨ２も左辺と同様で（Ｖ４とＶ２の差）と（Ｈ４とＨ２の差）を公約数で割る事で求められる。また、前記のように左辺及び右辺のそれぞれにおいて水平方向に１画素分（ΔＨ）を増減させるΔＶを求めるようにするものであってもよい。
【００３７】
この様に保護領域の頂点にマークを設定し、その座標データを取り込めば視覚的にマスク設定が出来、他の必要な情報も計算で得る事が出来る。この計算を行う時の公約数は、予め最大値または最小値を使う事を決めておいても良いし、その都度設定出来るようにしておいても良い。保護領域が矩形であった場合、マーク１〜４の座標はそのままマスク設定時の座標として使用できる。あるいは、図９の（ｅ）〜（ｈ）のような領域の各ポイントを直接入力し、図形認識ソフトウェアにより（ｅ）〜（ｈ）に示した複数のマスクに対応させた矩形、三角形、台形、平行四辺形に分解して、各マスク毎に上記同様な処理を演算により行うようにするものであってもよい。
【００３８】
以上、本発明者によってなされた発明を実施態様にもとづき具体的に説明したが、本発明は上記実施態様に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記マスク領域を設定する設定情報は、前記のように座標設定部によるカーソル等を利用するものの他、マイコン等により直接にポイントの数値を入力して表示させ、修正を加えて最終的なマスク領域を設定するものであってもよい。上記画像合成方法及び画像合成装置は、監視カメラシステムや自動車搭載カメラシステムの他に、複数通りの画像信号を１つの表示画面上に表示する際の領域設定する方法及び装置として広く利用することができる。
【図面の簡単な説明】
【００３９】
【図１】この発明に係るマスク形状の説明図である。
【図２】この発明に係る監視カメラの一実施例を示すブロック図である。
【図３】図２のマスク処理部の一実施例を示すブロック図である。
【図４】図３のマスク領域設定部の動作を説明するためのフローチャート図である。
【図５】図２のＶカウンタとΔＶ１カウンタ（ΔＶ２カウンタ）の動きをグラフで表した動作説明図である。
【図６】図２のマスク処理部の他の一実施例を示すブロック図である。
【図７】図６のマスク領域設定部の動作を説明するためのフローチャート図である。
【図８】図６のＨ１’演算部、Ｈ２’演算部の動作をグラフで表した動作説明図である。
【図９】この発明で設定可能なマスク領域の説明図である。
【図１０】この発明が適用された車載用カメラシステムでの表示例の説明図である。
【図１１】図３、図６に示したマスク画像生成部の一実施例を示すブロック図である。
【図１２】この発明に係る監視装置におけるマスク領域設定手順の第１の説明図である。
【図１３】この発明に係る監視装置におけるマスク領域設定手順の第２の説明図である。
【図１４】この発明に係る監視装置におけるマスク領域設定手順の第３の説明図である。
【符号の説明】
【００４０】
１…マスク画像生成部、２…Ｖカウンタ、３…Ｈカウンタ、４１〜４Ｎ…マスク設定部、５１〜５８…設定レジスタ、６１…垂直方向領域判定部、６２…水平方向領域判定部、６３…Ｈ１’演算部、６４…ΔＶ１カウンタ、６５…Ｈ２’演算部、６６…ΔＶ２カウンタ、７…画像選択部、１１…振幅変換部、１２…モザイク処理部、１３〜１８…設定レジスタ、７１，７２…セレクタ、７３…選択制御部。
【図１】
2008147987.tif 000003
【図２】
2008147987.tif 000004
【図３】
2008147987.tif 000005
【図４】
2008147987.tif 000006
【図５】
2008147987.tif 000007
【図６】
2008147987.tif 000008
【図７】
2008147987.tif 000009
【図８】
2008147987.tif 000010
【図９】
2008147987.tif 000011
【図１０】
2008147987.tif 000012
【図１１】
2008147987.tif 000013
【図１２】
2008147987.tif 000014
【図１３】
2008147987.tif 000015
【図１４】
2008147987.tif 000016