(57)【要約】【課題】出力画像に悪い影響を及ぼす画像領域を除き、着目画像領域を含む良好な出力画像を得る。【解決手段】着目領域検出部１１２は、動体領域、人検知領域などの着目画像領域を検出する。高輝度領域検出部１１３は、高輝度の画像領域を検出する。複雑テクスチャ領域検出部１１４は、複雑なテクスチャを持つ画像領域を検出する。フレーミング制御部１１５は、マスク領域の座標情報を自ら持っている。フレーミング制御部１１５は、着目画像領域を示す座標情報と、除去画像領域（高輝度画像領域、複雑なテクスチャパターンを持つ画像領域、マスク領域）を示す座標情報とに基づいて、出力画像の画枠範囲に着目画像領域を残すと共に、出力画像の画枠範囲から除去画像領域を除くように、少なくとも、機械的ＰＴＺ制御を行うパン／チルト／ズームモータ１０３または電子的ＰＴＺ制御を行う画像切り出し部１０８を制御する。【選択図】図１
2008099159.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して画像信号を出力する撮像部と、
上記撮像部から出力される画像信号に基づいた出力画像の画枠範囲を変更する画枠範囲変更部と、
上記撮像部から出力される画像信号に基づき、着目すべき第１の画像領域を検出する第１の領域検出部と、
上記撮像部から出力される画像信号に基づいた出力画像から除去すべき第２の画像領域を検出する第２の領域検出部と、
上記第１の領域検出部で検出される第1の画像領域および上記第２の領域検出部で検出される第２の画像領域に基づき、上記出力画像の画枠範囲に上記第１の画像領域を残すと共に、当該出力画像の画枠範囲から上記第２の画像領域を除くように、上記画枠範囲変更部を制御するフレーミング制御部と
を備えることを特徴とする撮像装置。
【請求項２】
上記画枠範囲変更部は、
上記撮像部で被写体を撮像する際に上記出力画像の画枠範囲を変更する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記画枠範囲変更部は、
上記撮像部から出力される画像信号を加工処理して上記出力画像信号の画枠範囲を変更する
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
上記第２の領域検出部は、
上記撮像部から出力される画像信号に基づき、上記第２の画像領域として、高輝度の画像領域を検出する
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
上記第２の領域検出部は、
上記撮像部から出力される画像信号に基づき、上記第２の画像領域として、複雑なテクスチャを持つ画像領域を検出する
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
上記第２の領域検出部は、
上記第２の画像領域として、画像内容がマスクされるマスク領域を検出する
ことを特徴とする請求項１に記載の撮像装置。
【請求項７】
撮像部から出力される被写体に対応した画像信号に基づいた出力画像の画枠範囲を変更するフレーミング制御方法であって、
撮像部から出力される画像信号による画像における着目すべき第１の画像領域の座標情報を取得する第１の領域情報取得ステップと、
上記撮像部から出力される画像信号に基づいた出力画像から除去すべき第２の画像領域の座標情報を取得する第２の領域情報取得ステップと、
上記第１の領域情報取得ステップで取得される第1の画像領域の座標情報および上記第２の領域情報取得ステップで取得される第２の画像領域の座標情報に基づき、上記出力画像の画枠範囲に上記第１の画像領域を残すと共に、当該画枠範囲から上記第２の画像領域を除くように、制御する制御ステップと
を備えることを特徴とするフレーミング制御方法。
【請求項８】
撮像部から出力される画像信号による画像における着目すべき画像領域の座標情報を取得する第１の領域情報取得ステップと、
撮像部から出力される画像信号に基づいた出力画像から除去すべき第２の画像領域の座標情報を取得する第２の領域情報取得ステップと、
上記第１の領域情報取得ステップで取得される第1の画像領域の座標情報および上記第２の領域情報取得ステップで取得される第２の画像領域の座標情報に基づき、上記出力画像の画枠範囲に上記第１の画像領域を残すと共に、当該画枠範囲から上記第２の画像領域を除くように、制御する制御ステップと
を備えるフレーミング制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、監視カメラ等に適用して好適な撮像装置、フレーミング制御方法およびプログラムに関する。詳しくは、この発明は、撮像部からの画像信号に基づいて着目すべき第１の画像領域を検出すると共に、この撮像部からの画像信号に基づいた出力画像から除去すべき第２の画像領域を検出し、出力画像の画枠範囲に第１の画像領域を残すと共に、出力画像の画枠範囲から第２の画像領域を除くように制御することにより、着目すべき第１の画像領域を含む良好な出力画像を得ることができるようにした撮像装置等に係るものである。
【背景技術】
【０００２】
従来、パン、チルト、ズーム機能と、動体検知や人検知などにより着目領域の位置を検出する機能を組み合わせ、着目領域を追尾しながら撮像を行う撮像装置が提案されている。例えば、特許文献１には、撮影対象を検出し、着目領域（撮影対象）の位置情報に基づいて、フレーミングを行うことが記載されている。
【特許文献１】特開２００６−１９１５２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述の撮像装置にあっては、追尾を行う際に、着目領域の位置情報だけを用いていたために、着目領域そのものはフレーム内に入るものの、撮像される画面全体として、以下のような問題を生じることがあった。
【０００４】
（１）照明がフレーム内に入ることによる画質の劣化
画面内に太陽や蛍光灯など極端に輝度の高い被写体が写り込むと、（ａ）露光制御装置が照明まで含めて露出を決定しようとするため、着目領域を含め画面全体が暗くなってしまう、（ｂ）光学系でフレアが発生して画像に写り込むなどして画質が劣化してしまう、などの問題が生じていた。
【０００５】
（２）マスク領域がフレーム内に入ることによるフレーム内の無効領域の増大
監視カメラなどではプライバシー保護のために画面の一部に撮影できない領域を設定して画像をマスクする機能がある。着目領域がマスク領域付近にある場合、例えば着目領域を画面の中央にくるようにフレーミング（画枠）を制御すると、マスク領域も中央付近に配置され、画面内の大きな領域がマスクされた無効領域となってしまう、という問題が生じていた。
【０００６】
（３）複雑なテクスチャを持つ領域がフレーム内に入ることによる画像圧縮効率の低下
画面内に複雑なテクスチャを持つ領域が写りこむと、ＪＰＥＧ(Joint Photographic Experts Group)等で画像を圧縮する際に圧縮効率が低下し、圧縮画像のファイルサイズや伝送量が増大するという問題が生じていた。
【０００７】
この発明の目的は、着目すべき画像領域を含む良好な出力画像を得ることができる撮像装置等を提供することにある。
【課題を解決するための手段】
【０００８】
この発明の概念は、
被写体を撮像して画像信号を出力する撮像部と、
上記撮像部から出力される画像信号に基づいた出力画像の画枠範囲を変更する画枠範囲変更部と、
上記撮像部から出力される画像信号に基づき、着目すべき第１の画像領域を検出する第１の領域検出部と、
上記撮像部から出力される画像信号に基づいた出力画像から除去すべき第２の画像領域を検出する第２の領域検出部と、
上記第１の領域検出部で検出される第1の画像領域および上記第２の領域検出部で検出される第２の画像領域に基づき、上記出力画像の画枠範囲に上記第１の画像領域を残すと共に、当該出力画像の画枠範囲から上記第２の画像領域を除くように、上記画枠範囲変更部を制御するフレーミング制御部と
を備えることを特徴とする撮像装置にある。
【０００９】
この発明においては、撮像部では、被写体が撮像されて、この被写体に対応した画像信号が得られる。画枠範囲変更部では、この撮像部から出力される画像信号に基づいた出力画像の画枠範囲が変更される。例えば、画枠範囲変更部は、撮像部に備えられたパン(Pan)、チルト(Tilt)、ズーム(Zoom)機構（機械的ＰＴＺ）により構成され、当該撮像部で被写体を撮像する際に、上述の出力画像の画枠範囲が変更される。また、例えば、画枠範囲変更部は、撮像部から出力される画像信号の切り出し範囲を変更して画像信号を加工する処理部（電子的ＰＴＺ）により構成され、当該処理部における画像信号の加工処理により上述の出力画像の画枠範囲が変更される。また、例えば、画枠範囲変更部は、上述の機械的ＰＴＺおよび電子的ＰＴＺの組み合わせにより構成される。
【００１０】
第１の領域検出部では、撮像部から出力される画像信号に基づいて、着目すべき第１の画像領域が検出される。この第１の画像領域は、例えば、動体領域、あるいは人検知領域、車検知領域等である。この着目すべき画像領域は、出力画像に残したい画像領域である。
【００１１】
第２に領域検出部では、出力画像から除去すべき第２の画像領域が検出される。例えば、第２の領域検出部では、撮像部から出力される画像信号に基づいて、高輝度の画像領域が検出される。出力画像に高輝度の画像領域が含まれるようになると、露光制御装置の作用により、着目すべき第１の画像領域を含む画像全体が暗くなる等の問題が生じる。
【００１２】
また、例えば、第２の領域検出部では、撮像部から出力される画像信号に基づいて、複雑なテクスチャを持つ画像領域が検出される。出力画像に複雑なテクスチャを持つ画像領域が含まれるようになると、画像圧縮効率が低下し、圧縮画像データのファイルサイズ（伝送量）が増大する等の問題が生じる。
【００１３】
また、例えば、第２の領域検出部では、画像内容がマスクされるマスク領域が検出される。出力画像の中央付近にマスク領域が含まれるようになると、画像内の大きな領域がマスクされた無効領域となる等の問題が生じる。
【００１４】
フレーミング制御部では、上述したように検出される第1、第２の画像領域に基づいて、出力画像の画枠範囲に第１の画像領域を残すと共に、この出力画像の画枠範囲から第２の画像領域を除くように、上述の画枠範囲変更部を制御することが行われる。
【００１５】
この発明においては、上述のように、出力画像の画枠範囲に着目すべき第１の画像領域を残すようにされ、この出力画像の画枠範囲から当該出力画像に含まれることで問題が発生する第２の画像領域を除くようにされることから、着目すべき第１の画像領域を含む良好な出力画像を得ることが可能となる。
【発明の効果】
【００１６】
この発明によれば、撮像部からの画像信号に基づいて着目すべき第１の画像領域を検出すると共に、この撮像部からの画像信号に基づいた出力画像から除去すべき第２の画像領域を検出し、出力画像の画枠範囲に第１の画像領域を残すと共に当該画枠範囲から第２の画像領域を除くように制御を行うものであり、着目すべき第１の画像領域を含む良好な出力画像を得ることができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての撮像装置１００の構成を示している。この撮像装置１００は、例えば、監視カメラとして使用される。
【００１８】
この撮像装置１００は、レンズブロック１０１と、撮像素子１０２と、パン／チルト／ズームモータ（以下、「ＰＴＺモータ」という）１０３と、アイリスモータ１０４と、アイリス制御部１０５とを有している。これらレンズブロック１０１、撮像素子１０２、ＰＴＺモータ１０３、アイリスモータ１０４およびアイリス制御部１０５は、撮像部を構成している。
【００１９】
レンズブロック１０１はアイリス１０１ａを含んでいる。アイリスモータ１０４は、アイリス１０１ａの絞り度合いを調整する。アイリス制御部１０５は、後述する画像切り出し部（出力画像に対応した画像信号を出力する）の出力画像信号に基づいて画像の明るさに応じたアイリス制御信号を作成して、アイリスモータ１０４を制御する。撮像素子１０２は、ＣＣＤ(Charged Coupled Device)あるいはＣＭＯＳ(Complementary Metal-Oxide Semiconductor)等の撮像素子である。
【００２０】
ＰＴＺモータ１０３は、撮像部に備えられたパン(Pan)、チルト(Tilt)、ズーム(Zoom)機構（機械的ＰＴＺ）を構成している。ＰＴＺモータ１０３が制御されることで、撮像部で被写体を撮像する際に、出力画像の画枠範囲を変更することが可能となる。このＰＴＺモータ１０３は、画枠範囲変更部を構成している。
【００２１】
また、撮像装置１００は、アンプ１０６、Ａ／Ｄ変換器１０７、画像切り出し部１０８、画像マスク部１０９、マスク領域発生部１１０、画像圧縮部１１１、着目領域検出部１１２、高輝度領域検出部１１３、複雑テクスチャ領域検出部１１４とを有している。
【００２２】
アンプ１０６は、撮像素子１０２から出力される画像信号を増幅する。Ａ／Ｄ変換器１０７は、アンプ１０６で増幅された画像信号をアナログ信号からデジタル信号に変換する。画像切り出し部１０８は、フレーミング制御部１１５の制御の下、Ａ／Ｄ変換器１０７でデジタル信号に変換された画像信号の切り出し範囲を変更して画像信号を加工する。この画像切り出し部１０８は、電子的ＰＴＺの機能を備えており、画枠範囲変更部を構成している。
【００２３】
例えば、画像切り出し部１０８では、上述した撮像素子１０２として画素数の多い高解像度のものが用いられる場合、切り出す画素範囲を左右方向にずらすことで電子的なパン(PAN)が行われ、また、切り出す画素範囲を上下方向にずらすことで電子的なチルト(Tilt)が行われる。また、例えば、画像切り出し部１０８では、切り出す画素数を変化させ、画素の間引きあるいは画素の補間を行うことで電子的なズーム(Zoom)が行われる。
【００２４】
画像マスク部１０９は、マスク領域発生部１１０で発生されるマスク領域に基づき、画像切り出し部１０８からの画像信号に対して、当該マスク領域の画像内容をマスクする処理を行う。例えば、この画像マスク部１０９は、画像信号のうち、マスク領域に対応した画素の信号を同じレベルにするなどして、当該マスク領域内の画像内容を隠蔽する。このマスク処理は、主に、監視カメラなどにおいて、プライバシー保護などのために用いられる。
【００２５】
なお、マスク領域発生部１１０におけるマスク領域の発生動作はフレーミング制御部１１５により制御される。このフレーミング制御部１１５には、ユーザの操作により、パン、チルトおよびズームのデフォルト状態において、予め、マスク領域の範囲を示す情報が設定される。パン、チルトおよびズームの状態が変化すると、出力画像におけるマスク領域も変化していく。フレーミング制御部１１５は、パン、チルトおよびズームの状態に応じたマスク領域を発生するように、マスク領域発生部１１０にマスク領域の座標情報を供給して制御する。
【００２６】
画像圧縮部１１１は、画像マスク部１０９から出力される画像信号に対してＪＰＥＧ等の圧縮処理を行って、画像ファイルのサイズ、あるいはネットワークへの伝送量を低減する。画像圧縮部１１１で生成される圧縮画像信号は、例えばＦＴＰ(File Transfer Protocol)等のプロトコルにより、ＬＡＮ、インターネット等のネットワークを介して、サーバに送られて保存され、さらには画像内容がモニタされる。
【００２７】
着目領域検出部１１２は、Ａ／Ｄ変換器１０７でデジタル信号に変換された画像信号に基づいて、着目すべき画像領域（第１の画像領域）を検出し、当該着目すべき画像領域を示す座標情報を出力する。着目領域検出部１１２は、着目したい被写体に多く備わっている画像上の性質を特徴量とすることで、当該着目したい被写体を含む領域を、着目すべき画像領域として検出する。例えば、着目領域検出部１１２は、画像中の動きのある領域（動体領域）を、フレーム間の差分、あるいは動きベクトルを用いて検出する。また、例えば、着目領域検出部１１２は、人や顔と思われる領域（人検知領域）をパターンマッチング等の手法により検出するなど、画像中から特定の特徴量を持つ領域を検出する。
【００２８】
高輝度領域検出部１１３は、Ａ／Ｄ変換器１０７でデジタル信号に変換された画像信号に基づいて、高輝度の画像領域を検出する。出力画像に高輝度の画像領域が含まれるようになると、露光制御装置（アイリス１０１ａ、アイリスモータ１０４、アイリス制御部１０５）の作用により、着目すべき第１の画像領域を含む画像全体が暗くなる等の問題が生じる。この高輝度画像領域は、出力画像から除去すべき第２の画像領域の一つであり、高輝度領域検出部１１３は第２の領域検出部を構成している。
【００２９】
高輝度領域検出部１１３は、画素値の大きい画素を多く持つ画像領域を高輝度画像領域として検出し、当該高輝度画像領域を示す座標情報を出力する。例えば、高輝度領域検出部１１３は、ｎ×ｍ画素（ｎは水平方向の画素数、ｍは垂直方向の画素数を示す）の長方形エリアを画面全体に敷き詰めるように配置し、長方形エリア毎に画素値の平均値が一定値を超えるか否かを判定し、画素値の平均値が一定値を超える長方形エリアを高輝度領域とする。
【００３０】
複雑テクスチャ領域検出部１１４は、Ａ／Ｄ変換器１０７でデジタル信号に変換された画像信号に基づいて、複雑なテクスチャを持つ画像領域を検出する。出力画像に複雑なテクスチャを持つ画像領域が含まれるようになると、画像圧縮効率が低下し、圧縮画像データのファイルサイズ（伝送量）が増大する等の問題が生じる。この複雑なテクスチャを持つ画像領域は、出力画像から除去すべき第２の画像領域の一つであり、複雑テクスチャ領域検出部１１４は第２の領域検出部を構成している。
【００３１】
複雑テクスチャ領域検出部１１４は、ＪＰＥＧなどで画像の空間的な類似性を利用して画像圧縮を行う際に、圧縮の効率を下げるような複雑なテクスチャパターンを持つ画像領域を検出し、当該画像領域を示す座標情報を出力する。例えば、複雑テクスチャ領域検出部１１４は、ｎ×ｍ画素（ｎは水平方向の画素数、ｍは垂直方向の画素数を示す）の長方形エリアを画面全体に敷き詰めるように配置し、長方形エリア毎に複数の通過帯域を持つ空間フィルタを通し、空間周波数成分の分散が大きい長方形エリアを複雑なテクスチャパターンを持つ画像領域とする。
【００３２】
フレーミング制御部１１５には、上述したように、ユーザの操作により、パン、チルトおよびズームのデフォルト状態において、予め、マスク領域の範囲を示す情報が設定される。また、フレーミング制御部１１５は、上述したように、パン、チルトおよびズームの状態に応じたマスク領域を発生するように、マスク領域発生部１１０にマスク領域を示す座標情報を供給して制御する。
【００３３】
出力画像の中央付近にマスク領域が含まれるようになると、画像内の大きな領域がマスクされた無効領域となる等の問題が生じる。このマスク領域は、出力画像から除去すべき第２の画像領域の一つであり、フレーミング制御部１１５は第２の領域検出部を構成している。
【００３４】
また、フレーミング制御部１１５は、着目領域検出部１１２で得られる着目すべき画像領域（着目画像領域）を示す座標情報、高輝度領域検出部１１３で得られる高輝度画像領域を示す座標情報、複雑テクスチャ領域検出部１１４で得られる複雑なテクスチャパターンを持つ画像領域を示す座標情報、およびマスク領域を示す座標情報に基づいて、出力画像の画枠範囲に着目画像領域（第１の画像領域）を残すと共に、出力画像の画枠範囲から除去画像領域（第２の画像領域）を除くように、パン／チルト／ズームモータ１０３または画像切り出し部１０８、あるいはパン／チルト／ズームモータ１０３および画像切り出し部１０８を制御する。
【００３５】
例えば、フレーミング制御部１１５は、各座標情報に基づき、例えば、（ａ）〜（ｄ）の制御を行う。（ａ）着目画像領域を出力画像の画枠範囲に収めながら、マスク領域はなるべく出力画像の画枠範囲の外へ出す。（ｂ）着目画像領域を出力画像の画枠範囲に収めながら、高輝度領域はなるべく出力画像の画枠範囲の外へ出す。（ｃ）着目画像領域を出力画像の画枠範囲に収めながら、複雑テクスチャパターンの画像領域はなるべく出力画像の画枠範囲の外へ出す。（ｄ）上述の（ａ）〜（３）を組み合わせて、着目画像領域を出力画像の画枠範囲に収めながら、マスク領域、高輝度画像領域、複雑パターン画像領域はなるべく出力画像の画枠範囲の外へ出す。
【００３６】
図１に示す撮像装置１００の動作を説明する。被写体からの像光がレンズブロック１０１を介して撮像素子１０２の撮像面に照射され、この撮像面に被写体像が結像される。撮像素子１０２では、撮像面に被写体像が結像された状態で撮像が行われる。フレーミング制御部１１５によりパン／チルト／ズームモータ１０３が制御されることで、機械的なパン／チルト／ズームが行われる。撮像素子１０２から出力される画像信号は、アンプ１０６で増幅され、さらに、Ａ／Ｄ変換器１０７でアナログ信号からデジタル信号に変換された後、画像切り出し部１０８に供給される。
【００３７】
画像切り出し部１０８では、フレーミング制御部１１５の制御により、Ａ／Ｄ変換器１０７から供給される画像信号の切り出し範囲が変更され、出力画像に対応した画像信号が得られる。この画像切り出し部１０８では、切り出し範囲を左右に変更することで電子的なパン(Pan)が行われ、切り出し範囲を上下方向に変更することで電子的なチルト(Tilt)が行われ、さらに、切り出す画素数を変化させ、画素の間引きあるいは行うことで電子的なズーム(Zoom)が行われる。
【００３８】
画像切り出し部１０８で得られる画像信号は画像マスク部１０９に供給される。この画像マスク部１０９では、フレーミング制御部１１５の制御の下、マスク領域発生部１１０で発生されるマスク領域に基づいて、画像切り出し部１０８からの画像信号に対して、マスク領域の画像内容をマスク（隠蔽）する処理が行われる。この画像マスク部１０９で得られる画像信号は画像圧縮部１１１に供給される。画像圧縮部１１１では、画像マスク部１０９から出力される画像信号に対してＪＰＥＧ等の圧縮処理が行われ、画像ファイルのサイズ、あるいはネットワークへの伝送量が低減される。
【００３９】
また、Ａ／Ｄ変換器１０７でデジタル信号に変換された画像信号は、着目領域検出部１１２、高輝度領域検出部１１３および複雑テクスチャ領域検出部１１４に供給される。着目領域検出部１１２では、Ａ／Ｄ変換器１０７からの画像信号に基づいて、動体領域、人検知領域などの着目画像領域（第１の画像領域）が検出される。そして、この着目領域検出部１１３から出力される着目画像領域を示す座標情報はフレーミング制御部１１５に供給される。
【００４０】
高輝度領域検出部１１３では、Ａ／Ｄ変換器１０７からの画像信号に基づいて、高輝度の画像領域が検出される。そして、この高輝度領域検出部１１３から出力される高輝度画像領域を示す座標情報はフレーミング制御部１１５に供給される。複雑テクスチャ領域検出部１１４では、Ａ／Ｄ変換器１０７からの画像信号に基づいて、複雑なテクスチャを持つ画像領域が検出される。そして、この複雑テクスチャ領域検出部１１４から出力される複雑なテクスチャパターンを持つ画像領域を示す座標情報はフレーミング制御部１１５に供給される。
【００４１】
フレーミング制御部１１５では、着目画像領域を示す座標情報と、除去画像領域（高輝度画像領域、複雑なテクスチャパターンを持つ画像領域、マスク領域）を示す座標情報とに基づいて、出力画像の画枠範囲に着目画像領域（第１の画像領域）を残すと共に、出力画像の画枠範囲から除去画像領域（第２の画像領域）を除くように、パン／チルト／ズームモータ１０３または画像切り出し部１０８、あるいはパン／チルト／ズームモータ１０３および画像切り出し部１０８を制御することが行われる。
【００４２】
例えば、フレーミング制御部１１５は、マイクロコンピュータを用いたソフトウェア処理で実現される。このソフトウェア処理のための処理プログラムは、マイクロコンピュータの内蔵メモリ等に予め格納され、あるいはメモリカード等のリムーバブル記憶媒体により提供される。
【００４３】
図２のフローチャートは、フレーミング制御部１１５におけるフレーミングの制御動作を示し、所定の周期をもって、繰り返し実行される。
【００４４】
フレーミング制御部１１５は、ステップＳＴ１で処理を開始する。そして、フレーミング制御部１１５は、ステップＳＴ２で、着目領域検出部１１２で得られる着目画像領域の座標情報を取得し、ステップＳＴ３で、その座標情報に基づいて着目画像領域に追従するためのパン量、チルト量、およびズーム量を演算する。
【００４５】
また、フレーミング制御部１１５は、ステップＳＴ４において高輝度領域検出部１１３で得られる高輝度画像領域を示す座標情報を取得し、ステップＳＴ５において複雑テクスチャ領域検出部１１４で得られる複雑なテクスチャパターンを持つ画像領域を示す画像情報を取得し、さらに、ステップＳＴ６で、フレーミング制御部１１５自体で得られるマスク領域を示す座標情報を取得する。そして、フレーミング制御部１１５は、ステップＳＴ７で、各座標情報に基づいて除外画像領域を除去するためのパン量、チルト量、およびズーム量を演算する。
【００４６】
次に、フレーミング制御部１１５は、ステップＳＴ８で、ステップＳＴ３で求めた着目画像領域に追従するためのパン量、チルト量、およびズーム量を、ステップＳＴ７で求めた除外画像領域を除去するためのパン量、チルト量、およびズーム量により補正する。そして、フレーミング制御部１１５は、ステップＳＴ９で、パン／チルト／ズームが時間的に滑らかに動くように、ステップＳＴ８で求めたパン量、チルト量、およびズーム量と、過去に求めたパン量、チルト量、およびズーム量との平均を演算する。
【００４７】
次に、フレーミング制御部１１５は、ステップＳＴ１０で、ステップＳＴ９で求めたパン量、チルト量、およびズーム量に基づいて、パン／チルト／ズームの制御値を、パン／チルト／ズームモータ１０３および画像切り出し部１０８のいずれか、あるいは双方に出力し、また、ステップＳＴ１１で、パン／チルト／ズームの制御に伴って、マスク領域座標を更新し、その後に、ステップＳＴ１２で、処理を終了する。
【００４８】
次に、フレーミング制御部１１５の制御の具体例について説明する。
【００４９】
図３〜図５は、出力画像の画枠範囲から高輝度画像領域を除去するための、フレーミング制御部１１５における制御例を示している。
【００５０】
図３（Ａ）は、長方形の領域で囲まれた着目画像領域Ａｎを追尾した結果得られる出力画像を示し、画像左上に照明などの極端に輝度の高い高輝度画像領域が含まれている。通常、出力画像の画枠範囲に、このような高輝度領域が含まれると、露光制御装置（アイリス１０１ａ、アイリスモータ１０４、アイリス制御部１０５等）がこの高輝度画像領域まで含めて露光を最適化しようと動作するため、高輝度画像領域以外の部分は逆に露光不足となり、画面全体が暗く落ち込んでしまう。また、高輝度部の被写体は光学系でフレアを発生させるため、図３（Ａ）のフレーミング状態では、出力画像にフレアも含まれ、画質が低下したものとなる。
【００５１】
図３（Ｂ）は、図３（Ａ）の状態を回避するためのパン(Pan)の制御を示している。高輝度領域検出部１１３は、画像左上の高輝度画像領域を検出し、その領域を示す座標情報を出力する。フレーミング制御部１１５は、この高輝度領域検出部１１３が出力する高輝度画像領域を示す座標情報に基づいて、着目画像領域Ａｎを出力画像の画枠範囲に留めるという制約条件のもとで、高輝度画像領域として検出された座標位置が出力画像の画枠範囲の外に出るようにパンの制御を行う（図３（Ｂ）の矢印参照）。図３（Ｃ）は、パンの制御が行われた後の出力画像を示している。この場合、高輝度画像領域が出力画像の画枠範囲の外へ出ることにより、高輝度画像領域を含まない状態で適切な露光制御が行われ、また、フレアも減少し、視認性の良い画像を得ることができる。
【００５２】
図４（Ａ）は、図３（Ａ）と同様に、長方形の領域で囲まれた着目画像領域Ａｎを追尾した結果得られる出力画像を示し、画面左上に照明などの極端に輝度の高い高輝度画像領域が含まれている。図４（Ｂ）は、図４（Ａ）の状態を回避するためのチルト(Tilt)の制御を示している。フレーミング制御部１１５は、高輝度領域検出部１１３が出力する高輝度画像領域を示す座標情報に基づいて、着目画像領域Ａｎを出力画像の画枠範囲に留めるという制約条件のもとで、高輝度画像領域として検出された座標位置が出力画像の画枠範囲の外に出るようにチルトの制御を行う（図４（Ｂ）の矢印参照）。図４（Ｃ）は、チルトの制御が行われた後の出力画像を示している。この場合、高輝度画像領域が出力画像の画枠範囲の外へ出ることにより、高輝度画像領域を含まない状態で適切な露光制御が行われ、また、フレアも減少し、視認性の良い画像を得ることができる。
【００５３】
図５（Ａ）は、図３（Ａ）と同様に、長方形の領域で囲まれた着目画像領域Ａｎを追尾した結果得られる出力画像を示し、画面左上に照明などの極端に輝度の高い高輝度画像領域が含まれている。図５（Ｂ）は、図５（Ａ）の状態を回避するためのズーム(Zoom)の制御を示している。フレーミング制御部１１５は、高輝度領域検出部１１３が出力する高輝度画像領域を示す座標情報に基づいて、着目画像領域Ａｎを出力画像の画枠範囲に留めるという制約条件のもとで、高輝度画像領域として検出された座標位置が出力画像の画枠範囲の外に出るように  ズームの制御を行う（図５（Ｂ）の矢印参照）。図５（Ｃ）は、ズームの制御が行われた後の出力画像を示している。この場合、高輝度画像領域が出力画像の画枠範囲の外へ出ることにより、高輝度画像領域を含まない状態で適切な露光制御が行われ、また、フレアも減少し、視認性の良い画像を得ることができる。
【００５４】
なお、上述の図３〜図５の例ではパン、チルト、ズームの制御が単独で行われているが、これらパン、チルト、ズームを組み合わせて制御を行うようにしてもよい。
【００５５】
図６は、出力画像の画枠範囲からマスク領域を除去するための、フレーミング制御部１１５における制御例を示している。
【００５６】
図６（Ａ）は、長方形の領域で囲まれた着目画像領域Ａｎを追尾した結果得られる出力画像を示し、着目画像領域Ａｎがあらかじめ設定されたマスク領域の付近にある。このようなときに、例えば、着目画像領域Ａｎが出力画像の画枠範囲の中央付近にくるようにフレーミング制御を行うと、マスク領域も画面中央付近にくることになり、出力画像の画枠範囲の多くの領域がマスク領域で隠蔽され、画像の解像度を有効に活かすことができなくなる。
【００５７】
図６（Ｂ）は、図６（Ａ）の状態を回避するための、ＰＴＺ制御を示している。フレーミング制御部１１５は、当該フレーミング制御部１１５で発生されるマスク領域の座標情報に基づいて、マスク領域が出力画像の画枠範囲の外へ出て、かつ着目画像領域Ａｎが出力画像の画枠範囲に収まる位置を目標値として、フレーミング制御を行う。
【００５８】
図６（Ｃ）はＰＴＺ制御が行われた後の出力画像を示している。この場合、マスク領域の大部分が出力画像の画枠範囲の外へ出ていき、その分の解像度が新たに撮像領域となり、より多くの被写体を出力画像の画枠範囲に入れることが可能になる。
【００５９】
図７は、出力画像の画枠範囲から複雑なテクスチャパターンを持つ画像領域（複雑テクスチャ画像領域）を除去するための、フレーミング制御部１１５における制御例を示している。
【００６０】
図７（Ａ）は、長方形の領域で囲まれた着目画像領域Ａｎを追尾した結果得られる出力画像を示し、画像右側に複雑テクスチャ画像領域が含まれている。通常、出力画像の画枠範囲に、このような複雑テクスチャパターンが含まれると、ＪＰＥＧを代表とする広く一般に用いられている空間的な類似性を利用する画像圧縮アルゴリズムにおいて、空間的な類似性の低さのため圧縮効率が低下し、圧縮後の画像ファイルのサイズやネットワークを通して画像を伝送する際の伝送量の増加を招いてしまう。
【００６１】
図７（Ｂ）は、図７（Ａ）の状態を回避するための、ＰＴＺ制御を示している。複雑テクスチャ領域検出部１１４は、画像右側の複雑テクスチャ画像領域を検出し、その領域を示す座標情報を出力する。フレーミング制御部１１５は、この複雑テクスチャ領域検出部１１４が出力する複雑テクスチャ画像領域を示す座標情報に基づいて、複雑テクスチャ画像領域が出力画像の画枠範囲の外へ出て、かつ着目画像領域Ａｎが出力画像の画枠範囲に収まる位置を目標値として、フレーミング制御を行う。
【００６２】
図７（Ｃ）は、ＰＴＺ制御が行われた後の出力画像を示している。この場合、複雑なテクスチャパターンを持つ画像領域の大部分が出力画像の画枠範囲の外へ出ることにより、複雑なテクスチャパターンを持つ画像領域がほとんど含まれない状態で画像圧縮が行われ、より効率よく画像が圧縮されるため画像ファイルのサイズあるいはネットワーク伝送量を減少させることができる。
【００６３】
図１に示す撮像装置１００においては、フレーミング制御部１１５により出力画像の画枠範囲に着目画像領域を残すようにされ、一方、この出力画像の画枠範囲から、当該出力画像に含まれることで問題が発生する除去画像領域（高輝度画像領域、マスク領域、複雑テクスチャ画像領域）を除くようにフレーミング制御されることから、着目画像領域を含む良好な出力画像を得ることができ、例えば監視カメラに適用して好適なものとなる。
【産業上の利用可能性】
【００６４】
この発明は、出力画像に悪い影響を及ぼす画像領域を除くようにし、着目画像領域を含む良好な出力画像を得ることを可能とするものであり、例えば監視カメラ等に適用できる。
【図面の簡単な説明】
【００６５】
【図１】実施の形態としての撮像装置の構成を示すブロック図である。
【図２】フレーミング制御部におけるフレーミングの制御動作を示すフローチャートである。
【図３】フレーミング制御の具体例（高輝度領域をパン制御で除去）を説明するための図である。
【図４】フレーミング制御の具体例（高輝度領域をチルト制御で除去）を説明するための図である。
【図５】フレーミング制御の具体例（高輝度領域をズーム制御で除去）を説明するための図である。
【図６】フレーミング制御の具体例（マスク領域を除去）を説明するための図である。
【図７】フレーミング制御の具体例（複雑テクスチャ画像領域を除去）を説明するための図である。
【符号の説明】
【００６６】
１００・・・撮像装置、１０１・・・レンズブロック、１０１ａ・・・アイリス、１０２・・・撮像素子、１０３・・・パン／チルト／ズームモータ、１０４・・・アイリスモータ、１０５・・・アイリス制御部、１０６・・・アンプ、１０７・・・Ａ／Ｄ変換器、１０８・・・画像切り出し部、１０９・・・画像マスク部、１１０・・・マスク領域発生部、１１１・・・画像圧縮部、１１２・・・着目領域検出部、１１３・・・高輝度領域検出部、１１４・・・複雑テクスチャ領域検出部、１１５・・・フレーミング制御部
【図１】
2008099159.tif 000003
【図２】
2008099159.tif 000004
【図３】
2008099159.tif 000005
【図４】
2008099159.tif 000006
【図５】
2008099159.tif 000007
【図６】
2008099159.tif 000008
【図７】
2008099159.tif 000009