(57)【要約】【課題】パン・チルト防振により生じる、注視領域に応じた被写体の形状変化や倍率変化を効果的に補正する撮像装置を提供する。【解決手段】被写体を撮影して撮像画像を出力する撮像部１０２と、撮像部１０２を駆動して、撮像方向を変更する雲台１１０とを有する撮像装置１００を設ける。撮像装置１００は、雲台１１０を制御して、撮像部１０２に加わる振れにより生じる撮像画像に係る像ブレを補正する。撮像装置１００は、撮像画像における注視領域と、注視領域に対する画像補正処理の基準となる補正点を決定する。そして、撮像部１０２の撮影点と補正点とに応じた撮像情報を算出し、撮像情報に基づき、注視領域に対して画像補正処理を行う。【選択図】図１
2020118758.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影して撮像画像を出力する撮像手段と、
前記撮像手段を駆動して、撮像方向を変更する駆動手段と、
前記駆動手段を制御して、前記撮像手段に加わる振れにより生じる前記撮像画像に係る像ブレを補正する補正制御手段と、
前記撮像画像における注視領域と、前記注視領域に対する画像補正処理の基準となる補正点を決定する決定手段と、
前記撮像手段の撮影点と前記補正点とに応じた撮像情報を算出する算出手段と、
前記算出された撮像情報に基づいて、前記注視領域に対して画像補正処理を行う画像補正手段と、を備える
ことを特徴とする撮像装置。
【請求項２】
前記算出手段は、現在の撮影点からの撮影と基準撮影点からの撮影との間での、倍率比、または前記撮影点と前記補正点とに応じて決まる撮影角度の差を前記撮像情報として算出する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像補正手段は、前記倍率比または前記撮影角度の差が閾値を超えていない場合は、前記画像補正処理を実行しない
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記設定手段は、複数の前記注視領域と、各々の注視領域に対応する補正点を決定し、
前記算出手段は、前記決定された複数の注視領域に対して重み付けを行った上で、全ての前記補正点の重心を求め、求めた前記重心を補正点として、前記撮像情報を算出する
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記設定手段は、所定の指定領域または所定の画像解析に係る検出領域を前記注視領域として設定する
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記画像補正手段は、前記撮像情報に基づいて、画像の切り出し領域と幾何変形係数とを算出し、算出された画像の切り出し領域と幾何変形係数とに基づいて、前記切り出し領域の画像の幾何変形処理を行う
ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記画像補正手段は、前記幾何変形係数が所定の閾値を超えている場合は、前記画像補正処理を制限する
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記画像補正処理に関する情報を外部装置に通知する通知手段を備える
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記駆動手段は、前記撮像手段を水平方向または垂直方向に回転駆動する
ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
被写体を撮影して撮像画像を出力する撮像手段と、前記撮像手段を駆動して、撮像方向を変更する駆動手段と、を備える撮像装置の制御方法であって、
前記駆動手段を制御して、前記撮像手段に加わる振れにより生じる前記撮像画像に係る像ブレを補正する工程と、
前記撮像画像における注視領域と、前記注視領域に対する画像補正処理の基準となる補正点を決定する工程と、
前記撮像手段の撮影点と前記補正点とに応じた撮像情報を算出する工程と、
前記算出された撮像情報に基づいて、前記画像補正処理を行う工程と、を有する
ことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
バスや電車や船舶等の公共交通機関等に設置される撮像装置として、ネットワークカメラが提案されている。ネットワークカメラは、公共交通機関等に設置されることで、光学防振や電子防振では除去できない大きな振幅を持つ振れが生じることがある。したがって、被写体を撮影する撮像部に加わる振れに応じて、撮像部を水平方向または垂直方向に回転駆動させることで、撮像画像に係る像ブレを補正する像ブレ補正（以下、「パン・チルト防振」と記述）が必要となる。
【０００３】
撮像部の振れは、シフト方向の揺れも伴うので、パン・チルト防振によって撮影点と被写体の位置とに応じた撮影角度が変化する。したがって、撮像部の基準となる撮影位置（振れの中心）を示す基準撮影点以外の撮影点から被写体を撮影すると、基準撮影点で撮影した被写体に比べて、被写体のあおり（形状変化）が生じてしまう。また、大きな振れにより生じる像ブレをパン・チルト防振で補正する場合は、撮影点と被写体との距離（撮影距離）が変化する。したがって、基準撮影点以外の撮影点からの撮影では、基準撮影点からの撮影に比べて、被写体の大きさの変化（倍率変化）の変化を生じてしまう。その結果、被写体の形状変化や倍率変化の影響により、プライバシーマスクに係る所定の領域や、圧縮伸張率を任意に設定するための所定の指定領域がズレる。また、顔検出や人物検出、動体検知、通過検知、混雑検知、軌跡検知、置き去り／持ち去り検知等の、所定の画像解析の精度が劣化する。
【０００４】
特許文献１は、焦点距離に応じて、回転方向およびあおり方向の像ブレの補正を制限し、並進方向の像ブレ補正量を大きくする撮像装置を開示している。また、特許文献２は、幾何変形画像と幾何変形処理を受けていない画像との間での動きベクトルに基づいて算出される防振パラメータを用いて画像の変形処理を行う撮像装置を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−１２８０１４号公報
【特許文献２】特開２０１２−１２４９３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
パン・チルト防振においては、通常の手ぶれ補正等に比べて、撮影点の移動（変位）が大きいので、撮影点と被写体の角度、および撮影点と被写体の距離は大きく変化する。したがって、被写体の形状または大きさが大きく変化する場合がある。このため、撮像画像内の注視領域によって、被写体のあおり（形状変化）や大きさの変化（倍率変化）を補正する量も異なる。注視領域は、所定の指定領域または所定の画像解析に係る検出領域である。特許文献１、特許文献２が開示するいずれの撮像装置によっても、パン・チルト防振により生じる、注視領域に応じた被写体のあおり（形状変化）や大きさの変化（倍率変化）を効果的に補正することはできない。本発明は、パン・チルト防振により生じる、注視領域に応じた被写体の形状変化や倍率変化を効果的に補正する撮像装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態の撮像装置は、被写体を撮影して撮像画像を出力する撮像手段と、前記撮像手段を駆動して、撮像方向を変更する駆動手段と、前記駆動手段を制御して、前記撮像手段に加わる振れにより生じる前記撮像画像に係る像ブレを補正する補正制御手段と、前記撮像画像における注視領域と、前記注視領域に対する画像補正処理の基準となる補正点を決定する決定手段と、前記撮像手段の撮影点と前記補正点とに応じた撮像情報を算出する算出手段と、前記算出された撮像情報に基づいて、前記注視領域に対して画像補正処理を行う画像補正手段と、を備える。
【発明の効果】
【０００８】
本発明の撮像装置によれば、パン・チルト防振により生じる、注視領域に応じた被写体の形状変化や倍率変化を効果的に補正することができる。
【図面の簡単な説明】
【０００９】
【図１】撮像装置の構成例を示す図である。
【図２】画像補正処理を説明するフローチャートである。
【図３】画像補正処理を説明するフローチャートである。
【図４】画像補正処理を説明するフローチャートである。
【図５】注視領域と補正点の一例を説明する図である。
【図６】図２のＳ２０６の処理を説明する図である。
【図７】画像の切り出し領域を説明する図である。
【図８】重み付けテーブルの一例を示す図である。
【発明を実施するための形態】
【００１０】
（実施例１）
図１は、本実施形態の撮像装置の構成例を示す図である。
図１に示す撮像装置１００は、公共交通機関等に設置されるネットワークカメラである。本発明は、ネットワークカメラ以外の、動画像を撮像する機能を備えた様々な機器に適用することができる。本発明は、例えば、ビデオカメラやスチルカメラ、撮像機能を備えた携帯電話、携帯情報端末等に適用可能である。
【００１１】
撮像装置１００は、ＣＰＵ１０１乃至圧縮伸長部１２０を備える。ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１は、中央演算処理装置であって、撮像装置１００全体を制御する。ＣＰＵ１０１は、振動情報解析部１０１−１、注視領域算出部１０１−２、撮像情報算出部１０１−３、パン・チルト防振制御部１０１−４、画像補正制御部１０１−５、制御部１０１−６を備える。
【００１２】
制御部１０１−６は、ＣＰＵ１０１全体を制御する。振動情報解析部１０１−１は、ジャイロセンサ１１３から取得された撮像部１０２の振動情報（角速度情報）を解析して、撮像部１０２の振動波形を求める。パン・チルト防振制御部１０１−４は、振動情報解析部１０１−１によって求められた撮像部１０２の振動波形に基づき、アクチュエータ１１１を介して雲台１１０を制御する。
【００１３】
注視領域算出部１０１−２は、注視領域を算出（決定）する。注視領域は、プライバーマスク等の処理や圧縮データの生成処理に係る所定の指定領域、または顔検出、人物検出、動体検知、通過検知、混雑検知、軌跡検知、置き去り／持ち去り検知等の画像解析に係る検出領域のうちから決定される。撮像情報算出部１０１−３は、注視領域に対する画像補正処理の基準となる位置を示す補正点に基づいて、所定の撮像情報（例えば、後述する撮影角度の差）を算出する。画像補正制御部１０１−５は、撮像情報算出部１０１−３によって算出された撮像情報に基づいて、注視領域に対する画像補正処理に必要な情報（例えば、後述する画像の切り出し領域と幾何変換係数）を算出する。画像補正制御部１０１−５は、算出した情報を画像補正部１１８に通知する。
【００１４】
撮像部１０２は、被写体を撮影して撮像画像を出力する。撮像部１０２は、ズームレンズ１０２−１、フォーカスレンズ１０２−２、絞り１０２―３、およびイメージセンサ等を有する撮像素子１０２−４を備える。ズームレンズ１０２−１は、レンズ制御部１０８により、光軸に沿って駆動する。フォーカスレンズ１０２−２は、レンズ制御部１０８により、光軸に沿って駆動する。絞り１０２−３は、レンズ制御部１０８により駆動されて動作する。また、レンズ制御部１０８は、制御部１０１−６によって制御される。
【００１５】
雲台１１０は、パン駆動部とチルト駆動部とを有する。パン駆動部は、ボトムケースとターンテーブルとを有し、ターンテーブルが水平方向に回転することで、撮像部１０２を水平方向に回転駆動（パンニング）する。パン駆動部は、水平方向に−１７５度から＋１７５度まで回転することができる。チルト駆動部は、ターンテーブルの上に備えられた支柱と撮像部１０２とを有し、撮像部１０２を垂直方向に回転駆動（チルティング）する。チルト駆動部は、水平方向０度から真上方向９０度まで回転することができる。アクチュエータ１１１は、バス１０６を介したＣＰＵ１０１の制御にしたがって、雲台１１０を制御する。アクチュエータ１１１の制御にしたがって、雲台１１０が有するパン駆動部とチルト駆動部が、撮像部１０２を水平方向または垂直方向に回転駆動する。これにより、撮像部１０２が、撮像方向を変更して撮影することができる。また、前述したパン・チルト防振制御部１０１−４は、撮像部１０２に加わる振れに応じた雲台１１０の制御により、撮像部１０２を水平方向または垂直方向に回転駆動して、撮像画像に係る像ブレを補正（パン・チルト防振）する補正制御手段として機能する。
【００１６】
ジャイロセンサ１１３は、撮像部１０２のパンニング方向（水平方向）およびチルティング方向（垂直方向）の角速度を検出する。検出した角速度情報は、撮像部１０２に加わる振れに対応する。角速度情報は、バス１０６を介してＣＰＵ１０１によって取得され、パン・チルト防振に用いられる。撮像素子１０２−４は、ズームレンズ１０２−１、フォーカスレンズ１０２−２、および絞り１０２−３を通過した被写体光を光電変換して、撮像画像に係るアナログ画像信号を生成する。生成されたアナログ画像信号は、相関二重サンプリング等のサンプリング処理による増幅処理が施された後、Ａ／Ｄ変換部１０３に出力される。増幅処理に用いられるパラメータは、ＣＰＵ１０１によって制御される。
【００１７】
Ａ／Ｄ変換部１０３は、増幅されたアナログ画像信号をデジタル画像信号に変換する。Ａ／Ｄ変換部１０３は、変換によって得られたデジタル画像信号を画像入力コントローラ１０４に出力する。画像入力コントローラ１０４は、Ａ／Ｄ変換部１０３から出力されたデジタル画像信号を取り込み、画像信号処理部１０５に出力する。画像信号処理部１０５は、画像入力コントローラ１０４から入力されたデジタル画像信号に対して、撮像素子１０２−４から出力される撮像時の感度情報に基づいて、各種デジタル画像処理を施す。感度情報は、例えば、ＡＧＣ（自動利得制御）ゲインまたはＩＳＯ（国際標準化機構）感度である。デジタル画像処理が施された画像は、バス１０６を介してＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０７に格納される。デジタル画像処理は、例えばオフセット処理、ガンマ補正処理、ゲイン処理、ＲＧＢ補間処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等である。また、画像信号処理部１０５は、画像の所定の指定領域にマスク処理を施すプライバーマスク等の処理を実行する。
【００１８】
ＲＡＭ１０７は、ＳＲＡＭやＤＲＡＭ等の揮発性メモリである。ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０９は、ＥＥＰＲＯＭやフラッシュメモリ等の不揮発性メモリである。記憶装置１１２はＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、ｅＭＭＣ（組み込み用のマルチメディアカード）等の記憶装置である。撮像装置１００の機能を実現するためのプログラムや、当該プログラムが実行される際に用いられるデータは、ＲＯＭ１０９または記憶装置１１２に予め格納される。これらのプログラムやデータは、ＣＰＵ１０１による制御のもと、バス１０６を介して適宜ＲＡＭ１０７に取り込まれ、ＣＰＵ１０１によって実行される。
【００１９】
Ｉ／Ｆ１１４は入出力に係る各種インタフェースである。Ｉ／Ｆ１１４は、リレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、タッチパネル、キーボードやポインティングデバイス（例えばマウス）等の入力装置１１５と接続し、指示情報を受信する。そして、Ｉ／Ｆ１１４は、受信した指示情報を、バス１０６を介して、ＣＰＵ１０１に通知する。また、Ｉ／Ｆ１１４は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａ  Ｄｉｓｐｌａｙ）等の表示装置１１６と接続し、ＲＡＭ１０７に一時的に記録された画像や操作メニュー等の情報を表示する。Ｉ／Ｆ１１４は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）を介してネットワーク１２１と接続する。
【００２０】
画像補正部１１８は、画像補正制御部１０１−５から通知された情報に基づいて、注視領域に対して画像補正処理を行う。これにより、パン・チルト防振によって生じる被写体のあおり（形状変化）や大きさの変化（倍率変化）が補正される。具体的には、画像補正部１１８は、画像の幾何変形処理を行う。
【００２１】
画像解析部１１９は、所定の検出領域を対象に、顔検出、人物検出、動体検知、通過検知、混雑検知、軌跡検知、置き去り／持ち去り検知等の画像解析を行う。画像解析結果は、バス１０６を介してＣＰＵ１０１に通知される。圧縮伸長部１２０は、ＣＰＵ１０１の制御にしたがい、画像に圧縮処理を施して圧縮データを生成する。圧縮伸長部１２０は、所定の指定領域の圧縮率を変えて、圧縮データを生成する機能を有する。圧縮データは、Ｉ／Ｆ１１４を介して、表示装置１１６やネットワーク１２１に出力される。また、圧縮伸長部１２０は、記憶装置１１２に格納された圧縮データに所定形式の伸張処理を施して非圧縮データを生成する。圧縮伸長部１２０は、静止画像に対しては、ＪＰＥＧ規格に準拠した圧縮方式を、動画像に対しては、ＭＯＴＩＯＩＮ−ＪＰＥＧやＭＰＥＧ２、ＡＶＣ／Ｈ．２６４、ＡＶＣ／Ｈ．２６５の規格に準拠した圧縮伸長を行う。
【００２２】
図２は、実施例１の撮像装置が実行する画像補正処理を説明するフローチャートである。
実施例１の撮像装置１００は、パン・チルト防振を施したことによって発生する被写体のあおり（形状変化）や大きさの変化（倍率変化）を、注視領域に対する画像補正処理によって補正する。撮像装置１００は、注視領域に対応する補正点を決定し、決定した補正点と撮像部１０２の撮影点とに応じた撮像情報を算出し、撮像情報に応じて決まる画像の切り出し領域と幾何変形係数とに基づいて、切り出し領域の画像の幾何変形処理を実行する。撮影点は、撮像部１０２の撮影位置を示す。本実施形態では、撮像装置１００は、補正点を注視領域に係る幾何変換中心点に決定する。図２に示すＳは、ステップ番号を示す。
【００２３】
Ｓ２０１において、撮影情報算出部１０１−３が、制御部１０１−６およびバス１０６を介して、撮像情報を取得する。具体的には、撮影情報算出部１０１−３は、ＲＯＭ１０９または記憶装置１１２に格納されている焦点距離等のレンズに係る情報（レンズ情報）および撮影画角（ＦＯＶ）の情報を取得する。撮像装置１００が、交換式のレンズユニットを有する場合は、撮影情報算出部１０１−３は、制御部１０１−６およびバス１０６を介して、レンズ制御部１０８からレンズ情報を取得する。撮影情報算出部１０１−３が、レンズ制御部１０８からレンズ識別子を取得し、取得したレンズ識別子に応じて、ＲＯＭ１０９または記憶装置１１２に予め格納されているレンズ情報を取得してもよい。撮影情報算出部１０１−３が、制御部１０１−６、バス１０６、Ｉ／Ｆ１１４、およびネットワーク１２１を介して、レンズ識別子に応じたレンズ情報を、所定のサーバから取得してもよい。本実施例は、レンズ情報の取得方法を制限するものではない。
【００２４】
次に、Ｓ２０２において、振動情報解析部１０１−１が、制御部１０１−６およびバス１０６を介して、ジャイロセンサ１１３から現在の撮像部１０２の振動情報（角速度情報）を取得する。続いて、Ｓ２０３において、振動情報解析部１０１−１が、Ｓ２０２において取得した現在の撮像部１０２の振動情報（角速度情報）と、過去に取得した撮像部１０２の振動情報とに基づいて、撮像部１０２の振動波形を算出する。振動情報解析部１０１−１は、算出した撮像部１０２の振動波形に応じてパン・チルト防振する際の波形（パン・チルト防振波形）を算出する。Ｓ２０４において、パン・チルト防振制御部１０１−４が、Ｓ２０３において算出されたパン・チルト防振波形に基づき、制御部１０１−６、バス１０６およびアクチュエータ１１１を介して雲台１１０を制御する。これにより、パン・チルト防振制御部１０１−４は、現在の撮像部１０２の変位に応じたパン・チルト防振を実行する。
【００２５】
次に、Ｓ２０５において、注視領域算出部１０１−２が、注視領域を決定する。具体的には、注視領域算出部１０１−２は、バス１０６を介して、画像処理部１０５が用いるプライバシーマスクに係る所定の指定領域や、圧縮伸長部１２０が用いる圧縮率を任意に指定するための所定の指定領域等を取得する。また、注視領域算出部１０１−２は、バス１０６を介して、画像解析部１１９が実行する顔検出、人物検出、動体検知、通過検知、混雑検知、軌跡検知、置き去り／持ち去り検知等の所定の画像解析に係る検出領域を取得する。注視領域算出部１０１−２は、取得した領域から注視領域を決定する。実施例１では、注視領域算出部１０１−２は、取得した領域から一つの注視領域を決定する。注視領域算出部１０１−２は、決定した注視領域内に対応する補正点を決定する。具体的には、注視領域算出部１０１−２は、注視領域内の所定の位置を画像上の補正点に決定する。注視領域算出部１０１−２は、決定した注視領域と補正点の情報を撮像情報算出部１０１−３に通知する。
【００２６】
図５は、注視領域と補正点の一例を説明する図である。
図５（Ａ）に示す画像５００は、撮像装置１００が撮像部１０２によって基準撮影点から撮影した際に得られる撮像画像である。基準撮影点は、撮像部１０２の基準となる撮影位置を示す。注視領域５００−１は、所定の指定領域または所定の画像解析に係る検出領域である。補正点５００−１は、注視領域５００−１に対応する補正点である。図５（Ｂ）に示す画像５０１は、パン・チルト防振を施している際の撮像画像である。すなわち、画像５０１は、撮像装置１００が基準撮影点とは異なる撮影点から撮影した際の撮像画像である。注視領域５０１−１は、画像５０１から決定された注視領域である。補正点５０１−２は、注視領域５０１−１に対応する補正点である。図５に示す注視領域は、所定の指定領域または所定の画像解析に係る検出領域を制限するものではない。
【００２７】
図２の説明に戻る。Ｓ２０６において、撮像情報算出部１０１−３が、Ｓ２０１で取得されたレンズ情報と撮影画角（ＦＯＶ）の情報に基づき、Ｓ２０５で決定した画像上の補正点に対応する実空間上の補正点を算出する。そして、撮像情報算出部１０１−３は、算出した実空間上の補正点と、Ｓ２０４においてパン・チルト防振が施されている現在の撮影点との距離を算出する。また、撮像情報算出部１０１−３は、実空間上の補正点と基準撮影点との距離を算出する。そして、撮像情報算出部１０１−３は、現在の撮影点からの撮影と基準撮影点からの撮影との間での倍率差を撮像情報として算出する。
【００２８】
図６は、図２のＳ２０６の処理を説明する図である。
撮影点６００は、基準撮影点を示す。撮影点６０１は、パン・チルト防振を施している場合の、基準撮影点とは異なる現在の撮影点を示す。補正点６０２は、画像上の補正点が座標変換された、実空間での補正点を示す。撮像情報算出部１０１−３は、撮影点６００と補正点６０２の距離である撮影距離６００−２を算出する。また、撮像情報算出部１０１−３は、撮影点６０１と補正点６０２の距離である撮影距離６０１−２を算出する。そして、撮像情報算出部１０１−３は、撮影距離６００−２と撮影距離６０１−２との差分から、基準撮影点からの撮影と現在の撮影点からの撮影との間の倍率比ｆｄｉｆｆを算出する。倍率比ｆｄｉｆｆは、撮影距離６００−２をｆｂａｓｅ、撮影距離６０１−２をｆｎとして、以下の式（１）により求めることができる。
ｆｄｉｆｆ＝ｆｂａｓｅ／ｆｎ・・・式（１）
【００２９】
図２の説明に戻る。Ｓ２０７において、撮像情報算出部１０１−３が、Ｓ２０５で決定した画像上の補正点に対応する実空間上の補正点と、Ｓ２０４においてパン・チルト防振が施されている現在の実空間上の撮影点とに応じて決まる撮影角度θｂａｓｅを算出する。また、撮像情報算出部１０１−３は、実空間上の補正点と基準撮影点とに応じて決まる撮影角度θｎを算出する。そして、撮像情報算出部１０１−３は、以下の式（２）に基づいて、現在の撮影点からの撮影と基準撮影点からの撮影との間での、撮影点と補正点とに応じて決まる撮影角度の差θｄｉｆｆを撮像情報として算出する。
θｄｉｆｆ＝θｎ−θｂａｓｅ・・・式（２）
【００３０】
図６中の撮影角度６００−１は、撮影点６００から補正点６０２を撮影する際の撮影角度θｂａｓｅを示す。撮影角度６０１−１は、撮影点６０１から補正点６０２を撮影する際の撮影角度θｎを示す。
【００３１】
次に、図２のＳ２０８において、画像補正制御部１０１−５が、画像補正処理を行うか否かを判断する。前述したｆｄｉｆｆまたはθｄｉｆｆのうちの一つ以上が所定の閾値を超えている場合、画像補正制御部１０１−５が、画像補正処理を行うと判断して、処理がＳ２０９に進む。ｆｄｉｆｆまたはθｄｉｆｆのうちの一つ以上が所定の閾値を超えていない場合、画像補正制御部１０１−５が、画像補正処理を行わないと判断して、処理がＳ２１１に進む。
【００３２】
Ｓ２０９において、画像補正制御部１０１−５が、Ｓ２０６で算出した倍率比ｆｄｉｆｆとＳ２０７で算出した角度差θｄｉｆｆに基づいて、画像の切り出し領域と、幾何変換係数を算出する。切り出し領域Ａは、ステップＳ２０６で算出した倍率比ｆｄｉｆｆおよびステップＳ２０１で取得した撮影画角（ＦＯＶ）を用いて、式（３）のように表現できる。
Ａ＝ｆｄｉｆｆ＊ＦＯＶ・・・式（３）
【００３３】
図７は、画像の切り出し領域を説明する図である。
画像補正制御部１０１−５は、図７（Ａ）に示すように、倍率比ｆｄｉｆｆと撮影画角（ＦＯＶ）とに基づいて、補正点を基準とした画像の切り出し領域を算出する。算出した切り出し領域は、注視領域に対応している。
【００３４】
次に、幾何変換係数の算出について説明する。撮像装置１００は、画像補正処理として、透視変換による画像の幾何変換処理を実行する。透視変換に係る手法は、公知であるので省略する。また、撮像装置１００は、アフィン変換や射影変換等の任意の幾何変換を用いてもよい。補正角度は、図２のＳ２０７で算出した角度差θｄｉｆｆと同等であり、補正角度から幾何変換係数を算出することができる。補正角度から幾何変換係数を算出する手段は、幾何変換手法に依存し、公知であるので、省略する。また、本実施例は、幾何変換の手法を制限するものではない。
【００３５】
図２のＳ２１０において、画像補正部１１８が、Ｓ２０９で算出された画像の切り出し領域と幾何変換係数とに基づいて、画像の幾何変換を実行する。画像補正部１１８は、例えば、図７（Ａ）に示す切り出し領域の画像に対して幾何変換処理を実行する。これにより、図７（Ｂ）に示すように、被写体のあおり（形状変化）や大きさの変化（倍率変化）が補正された補正画像が得られる。
【００３６】
Ｓ２１１において、ＣＰＵ１０１が、像ブレ補正処理（防振処理）が継続されるかを判断する。防振機能が無効に設定された場合、ＣＰＵ１０１は、防振処理が継続されないと判断する。そして、処理が終了する。防振機能が無効に設定されておらず、有効である場合、ＣＰＵ１０１は、防振処理が継続されると判断する。そして、処理がＳ２０２に戻る。防振機能の有効または無効は、入力装置１１５もしくはネットワーク１２１を介して任意に設定することができる。本実施例の撮像装置１００によれば、パン・チルト防振によって発生する被写体のあおり（形状変化）や大きさの変化（倍率変化）を、注視領域に応じて効果的に補正することができる。
【００３７】
（実施例２）
図３は、実施例２の撮像装置が実行する画像補正処理を説明するフローチャートである。
実施例２の撮像装置は、複数の注視領域の各々に対応する補正点の重心を、画像補正処理の基準とする補正点として、ｆｄｉｆｆとθｄｉｆｆの算出に用いる。図２に示すＳは、ステップ番号を示す。
【００３８】
Ｓ３０１乃至Ｓ３０４は、図２のＳ２０１乃至Ｓ２０４と同様である。Ｓ３０５において、注視領域算出部１０１−２が、複数の注視領域と、各々の注視領域に対応する補正点を決定する。これにより、複数の補正点が決定される。Ｓ３０６において、撮像情報算出部１０１−３が、Ｓ３０５で決定された複数の補正点に対して重み付けを行う。撮像情報算出部１０１−３は、例えば、補正点と、重み付けに用いられる係数とが対応付けられたテーブルである重み付けテーブルを参照して、複数の補正点に対して重み付けを行う。重み付けテーブルは、例えば、ＲＯＭ１０９または記憶装置１１２に記憶される。
【００３９】
図８は、重み付けテーブルの一例を示す図である。
図８に示す重み付けテーブル７００には、領域１乃至５のそれぞれが示す注視領域の補正点ごとに、関連機能、機能優先係数７０１、検出利用頻度係数７０２、優先度設定係数７０３、重み付け係数７０４が設定される。
関連機能は、各々の注視領域の機能を示す。例えば、領域２に対応する関連機能は、人物検出であるので、領域２は、画像解析部１１９による人物検出という機能に用いられることがわかる。
【００４０】
機能優先係数７０１は、注視領域の機能に応じて決まる優先度を示す係数である。検出利用頻度係数７０２は、画像解析部１１９による注視領域の画像解析結果の利用頻度に応じた係数である。画像解析結果の利用方法としては、通知イベントと紐付けて、表示装置１１６へ画像解析結果を表示する方法、ネットワーク１２１を介してメール等で通知する方法等がある。また、画像解析結果に応じて、所定のアクションイベントを発生させてもよい。例えば、画像解析結果に応じて、雲台１１０を駆動してパン・チルトするようにしてもよい。画像解析結果の利用方法は、公知であるので、詳細な説明を省略する。
【００４１】
優先度設定係数７０３は、入力装置１１５もしくはネットワーク１２１を介して任意に設定される優先度である。重み付け係数７０４は、重み付けの際に各注視領域の補正点に対して付与される係数である。撮像情報算出部１０１−３は、機能優先度係数７０１乃至優先度設定係数７０３に基づいて、重み付け係数７０４を算出する。撮像情報算出部１０１−３は、算出した重み付け係数に基づき、それぞれの補正点に対して重み付けを実行した後、全ての補正点の重心を、補正点として決定する。当該決定された補正点が、画像補正処理の基準となり、ｆｄｉｆｆとθｄｉｆｆの算出に用いられる。本実施例は、重み付けの係数の演算方法を制限するものではない。図３のＳ３０７乃至Ｓ３１２は、図２のＳ２０８乃至Ｓ２１１と同様の処理である。実施例２の撮像装置１００によれば、パン・チルト防振によって発生する被写体のあおり（形状変化）や大きさの変化（倍率変化）を、複数の注視領域に応じて効果的に補正することができる。
【００４２】
（実施例３）
図４は、実施例３の撮像装置が実行する画像補正処理を説明するフローチャートである。
実施例３の撮像装置１００は、前述した注視領域に対する画像補正処理を、処理の負荷に応じて制限する。具体的には、撮像装置１００は、幾何変換係数の大きさに応じて、画像の幾何変換処理を制限する。図３に示すＳは、ステップ番号を示す。
【００４３】
Ｓ４０１乃至Ｓ４０９は、図２のＳ２０１乃至Ｓ２０９と同様である。Ｓ４１０において、撮像情報算出部１０１−３が、幾何変形処理を実行するかを判断する。Ｓ４０９で算出された幾何変換係数が、所定の閾値を超えていない場合は、幾何変形処理に関する撮像装置１００の負荷は低い。したがって、この場合は、画像補正制御部１０１−５は、幾何変形処理を実行すると判断する。閾値は、ＣＰＵ１０１の稼働状況や同画像のフレームレートなどから算出される。幾何変換係数が、所定の閾値を超えている場合は、幾何変形処理に関する撮像装置１００の負荷は高い。したがって、この場合は、画像補正制御部１０１−５は、幾何変形処理を実行しない（制限する）と判断して、処理がＳ４１１に進む。Ｓ４１１は、図２のＳ２１０と同様である。なお、図４に示す例では、幾何変換係数の大きさに応じて、画像の幾何変換処理を制限しているが、画像の幾何変換処理を制限する条件は、幾何変換係数の大きさに限定されない。
【００４４】
次に、Ｓ４１２において、画像補正制御部１０１−５が、画像補正部１１８による画像補正処理（幾何変換処理）に関する情報である幾何変換補正情報を生成する。Ｓ４０８またはＳ４１０で、幾何変換による画像補正処理を実行しないと判断された場合は、Ｓ４１２において、画像補正制御部１０１−５は、未補正に係る幾何変換補正情報を生成する。また、Ｓ４０８、Ｓ４１０で、幾何変換による画像補正処理を実行すると判断された場合は、画像補正制御部１０１−５は、補正点と幾何変換補正係数等を含む幾何変換補正情報を生成する。
【００４５】
画像補正制御部１０１−５は、幾何変換補正情報を、画像補正処理の後に処理を実行する所定の処理部に通知する。例えば、画像補正制御部１０１−５は、幾何変換補正情報を画像解析部１１９、圧縮伸張部１２０に通知する。例えば、圧縮伸張部１２０は、画像の圧縮処理の実行と共に、幾何変換補正情報をメタデータとして統合し、圧縮データを生成する。また、ＣＰＵ１０１が、バス１０６およびＩ／Ｆ１１４、ネットワーク１２１を介して、画像解析装置等の外部装置に圧縮データを通知してもよい。当該通知を受けた画像解析装置は、幾何変換補正情報に基づく解析処理を実行することができる。Ｓ４１３は、図２のＳ２１１と同様である。
【００４６】
実施例３の撮像装置１００によれば、パン・チルト防振によって発生する被写体のあおり（形状変化）や大きさの変化（倍率変化）を、注視領域に対して効果的に補正することができるとともに、処理の負荷に応じて画像補正処理を制限することができる。上述した実施例１乃至３を任意に組み合わせてもよい。例えば、実施例３の変形例として、実施例２と同様に、複数の注視領域の各々の補正点の重心を画像補正処理の基準として、ｆｄｉｆｆおよびθｄｉｆｆを算出するようにしてもよい。
【００４７】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４８】
１００  撮像装置
１０１  ＣＰＵ
１０２  撮像部
【図１】
2020118758.tif 000003
【図２】
2020118758.tif 000004
【図３】
2020118758.tif 000005
【図４】
2020118758.tif 000006
【図５】
2020118758.tif 000007
【図６】
2020118758.tif 000008
【図７】
2020118758.tif 000009
【図８】
2020118758.tif 000010