(57)【要約】撮影領域が大きくずれた場合でも、効率的にかつ正確に撮像装置の画角を補正できる撮像装置を提供する。本撮像装置１は、基準位置からの傾きを検知して角度データとして出力する傾き検知部５と、基準位置画像および現在位置画像に基づき特徴点を抽出する特徴点抽出部９と、角度データに基づき傾き角度を算出し、特徴点に基づき画素ずれ量を算出するずれ量算出部６と、傾き角度が補正可能な下限値以上かつ上限値以下の範囲内であると判定した場合には、傾き角度を補正してから、画角傾斜を微調整する補正を指令し、傾き角度が下限値未満である場合には、画角傾斜を微調整する補正を指令する補正方法決定部７とを備える。
2020016921.tif 000002
【特許請求の範囲】
【請求項１】
雲台機構と、
レンズ機構と、
前記レンズ機構から送られた画像をアナログ−デジタル変換する撮像部と、前記撮像部から送られたデジタル信号を画像処理する画像入力部と、前記画像入力部で処理された画像を記録するメモリと、基準位置からの傾きを検知して角度データとして出力する傾き検知部と、基準位置画像および現在位置画像に基づき特徴点を抽出する特徴点抽出部と、前記角度データに基づき傾き角度を算出し、前記特徴点に基づき画素ずれ量を算出するずれ量算出部と、前記傾き角度が角度補正可能な下限値以上かつ上限値以下の範囲内であると判定した場合には、前記傾き角度を補正してから、画角傾斜を微調整する補正を指令し、前記傾き角度が前記下限値未満である場合には、前記画角傾斜を微調整する補正を指令する補正方法決定部と、前記補正方法決定部の指令に基づき、前記雲台機構と前記レンズ機構を制御するパンチルトズーム操作部と、を有する制御部と、
を備える撮像装置。
【請求項２】
雲台機構と、
レンズ機構と、
前記レンズ機構から送られた画像をアナログ−デジタル変換する撮像部と、前記撮像部から送られたデジタル信号を画像処理する画像入力部と、前記画像入力部で処理された画像を記録するメモリと、基準位置からの傾きを検知して角度データとして出力する傾き検知部と、基準位置画像および現在位置画像に基づき特徴点を抽出する特徴点抽出部と、前記角度データに基づき傾き角度を算出し、前記特徴点に基づき画素ずれ量を算出するずれ量算出部と、前記傾き角度が角度補正可能な下限値以上かつ上限値以下の範囲内であると判定した場合には、前記傾き角度を補正してから画角傾斜を微調整する補正を実行するのに要する処理時間と、前記画角傾斜を微調整する補正のみを実行するのに要する処理時間を比較して処理時間の短い補正方法を選択するように指令し、前記傾き角度が前記下限値未満である場合には、前記画角傾斜を微調整する補正を指令する補正方法決定部と、前記補正方法決定部の指令に基づき、前記雲台機構と前記レンズ機構を制御するパンチルトズーム操作部と、を有する制御部と、
を備える撮像装置。
【請求項３】
前記補正方法決定部は、前記傾き角度が前記上限値より大きい場合は、前記画像入力部にて画面上にマーキングを表示させることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記補正方法決定部は、前記画素ずれ量が微調整下限値未満の場合は、前記画像入力部にて画面上に前記画素ずれ量が前記微調整下限値未満であることを表すメッセージと表示させることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記傾き検知部は、基準位置に対するＸ軸、Ｙ軸、Ｚ軸方向の傾きをそれぞれ検知することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記傾き検知部は、ジャイロセンサ、あるいは加速度センサで構成されることを特徴とする、請求項１から５のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外力、振動などで生じた画角の傾きを高精度に補正する撮像装置に関する。
【背景技術】
【０００２】
従来のＣＣＤ等の撮像素子を備えた撮像装置では、回転する雲台を有し、ＰＴＺ（ＰＡＮ（パン）方向／ＴＩＬＴ（チルト）方向／ＺＯＯＭ（ズーム）方向）操作が可能であり、通常監視用途向けに屋外や屋内環境に設置されている。
撮像装置を設置する際、所望の被写体像が撮像できるように画角を調整してから撮像を開始するが、監視カメラが設置されている土台、あるいは、支柱自体が、天候・災害・経年劣化等の影響を受けて大きな傾きが発生した場合、オペレータが、監視カメラが撮像した映像を見て変化を判断し、現地に赴いて、施設時の撮影方向と画角に手動で再調整を行う必要があった。そのような人手による修復により、画像がずれる前の状態に戻すまでに時間を要するだけでなく、人件費もかかった。しかも、監視システムを目的とする撮像装置では厳格な画角調整が要求されているため、作業員の技能に左右される部分が大きく、元の画角に精度よく合わせることが非常に困難であった。
一方、撮像画像のずれを検出した場合にはアラームを表示する技術が提案され、例えば特許文献１では、現在位置画像中の特徴点を抽出し、以前の領域設定において抽出された撮像画像の特徴点と比較して対応する特徴点の位置の誤差が閾値以上である場合に、領域設定の変化ありと判定し、領域変化検知情報を後段のサーバに送信することができるカメラ装置を提供する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−２０４８２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示されているような撮像装置では、基準画像の設定領域内の変化を検知できるが、設定領域外までの大きなずれがある場合、撮像画像の特徴点による補正ができない問題がある。また、設定領域内のずれであっても、例えばずれ角が大きい場合、特徴点を抽出して画角補正のみを実施すると補正に時間がかかり、効率がよくない問題がある。
さらに、撮影領域が大きくずれた場合、画像処理で補正できない、あるいは補正時間がかかる問題がある。この対策として、角速度センサなどにより検出されたずれ角を調整する方法も考えられるものの、かかる方法では、画像処理の微調整ができないため、撮影画像が正確に得られない問題点がある。【０００５】
本発明は、上述のような問題を解決するためになされたもので、効率的かつ高精度に補正できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、雲台機構と、レンズ機構と、レンズ機構から送られた画像をアナログ−デジタル変換する撮像部と、撮像部から送られたデジタル信号を画像処理する画像入力部と、画像入力部で処理された画像を記録するメモリと、基準位置からの傾きを検知して角度データとして出力する傾き検知部と、基準位置画像および現在位置画像に基づき特徴点を抽出する特徴点抽出部と、角度データに基づき傾き角度を算出し、特徴点に基づき画素ずれ量を算出するずれ量算出部と、傾き角度が角度補正可能な下限値以上かつ上限値以下の範囲内であると判定した場合には、傾き角度を補正してから、画角傾斜を微調整する補正を指令し、傾き角度が下限値未満である場合には、画角傾斜を微調整する補正を指令する補正方法決定部と、補正方法決定部の指令に基づき、雲台機構とレンズ機構を制御するパンチルトズーム操作部とを有する制御部とを備える。
【発明の効果】
【０００７】
本発明によれば、撮像装置の基準位置からの角度ずれの度合いに応じて、最適な補正方法を選択するように動作するので、撮像装置の画角傾斜を効率的かつ高精度に補正できる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態１と２による撮像装置の機能構成を示すブロック図である。
【図２】本発明の実施の形態１と２に係る一例の撮像装置とＸ軸、Ｙ軸、Ｚ軸との関係を示す説明図である。
【図３】本発明の実施の形態１と２に係る一例の撮像装置とＸ軸、Ｙ軸、Ｚ軸との関係を示す説明図である。
【図４】本発明の実施の形態１に係る撮像装置の動作を説明するフローチャートである。
【図５】本発明の実施の形態２に係る撮像装置の動作を説明するフローチャートである。
【図６】実施の形態２における傾き角度と画素ずれ量により補正方法を判定する処理を説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１
図１は、本発明の実施の形態１による撮像装置の構成を示すブロック図である。
図１に示すように、撮像装置１は、撮像装置制御部１a、レンズ機構２および雲台機構２２で構成されている。雲台機構２２は撮像装置１の姿勢を維持する。レンズ機構２は被写体の画像を撮像装置制御部１aに送る。撮像装置制御部１aは、撮像部３、画像入力部４、傾き検知部５、ずれ量算出部６、補正方法決定部７、ＰＴＺ操作部（パンチルトズーム操作部）８、特徴点抽出部９、およびメモリ１０とを備える。
【００１０】
また、実施の形態１に係る撮像装置１は、一例として、インターネットなどの通信網を介して制御を行う旋回監視カメラを想定している。図２は、撮像装置の一例である旋回監視カメラと、Ｘ軸、Ｙ軸、Ｚ軸との関係を示す説明図である。点線枠が撮像装置１であり、所望の方向に向け、画角を調整して被写体を撮像する。図２に、撮像装置１を中心とした３軸（Ｘ、Ｙ、Ｚ）およびぞれぞれの向きを示し、３０ａはＸ軸回りの回転、３０ｂはＹ軸回りの回転、３０ｃはＺ軸回りの回転を表している。雲台機構２２はＰＡＮ雲台２０とＴＩＬＴ雲台２１とで構成されている。ＰＡＮ雲台２０はＺ軸回りの回転（３０ｃ）を、ＴＩＬＴ雲台２１はＹ軸回りの回転（３０ｂ）を、またレンズ機構２はＸ軸回りの回転（３０ａ）を、それぞれ操作することができる。
【００１１】
図３は図２とは外形が異なる撮像装置１ｂと、Ｘ軸、Ｙ軸、Ｚ軸との関係を示す説明図である。撮像装置１ｂはヘッド部４０ａと、筐体部４０ｂで構成される。ＴＩＬＴ雲台は筐体部に内蔵されており、ヘッド部４０ａをＹ軸回りに回転させることができる。この場合もＸ軸、Ｙ軸、Ｚ軸の交点位置に傾き検知部５（ジャイロセンサ）がある。
【００１２】
次に、図１に基づき、撮像装置制御部１aの各部の構成および動作を説明する。
撮像部３は、レンズ機構２を通した被写体の画像を取り込み、光電変換ならびにＡＤ変換（アナログ−デジタル変換）を行う。
【００１３】
画像入力部４はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）またはＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）で構成され、撮像部３から送られたデジタル信号に対して、色補間処理、自動露光処理、およびホワイトバランス処理等画像処理を施すことで人が認識可能な画像とした上で、後段のシステム機器やモニタに画像を送る。
【００１４】
傾き検知部５は、撮像装置１内に内蔵された撮像装置１の傾き角度を検知するハードウェアであり、ジャイロセンサ等の角速度センサで構成される。ジャイロセンサはセンサに掛かる角度データの一種である角速度（Ｘ軸、Ｙ軸、Ｚ軸方向に回転する速度）を、アナログデータ、もしくはデジタルデータ（例えば１０ｂｉｔデータ）として出力する。
【００１５】
ずれ量算出部６は、例えばＣＰＵで構成されるハードウェアである。傾き検知部５から送られてきた角度データをずれ量算出部６で積分することにより、Ｘ軸、Ｙ軸、Ｚ軸方向に傾き角度をそれぞれ算出する。ジャイロセンサの出力がアナログデータの場合は、ＣＰＵ内でＡＤ変換（アナログからデジタルデータへの変換）を実施した後に積分し、Ｘ軸、Ｙ軸、Ｚ軸方向に傾き角度としてそれぞれ算出する。
【００１６】
補正方法決定部７は、本発明の撮像装置のずれ補正処理の制御部として動作する。補正方法決定部７は、例えば、ＣＰＵで構成されるハードウェアである。補正方法決定部７では、ずれ量算出部６から送られてきた傾き角度に相当するデジタルデータ（例えば１０ｂｉｔデータ）に基づき、撮像装置１の現在位置を傾いた前の角度に補正するか否かを判定するとともに、撮像装置１の現在位置を傾いた前に戻す場合は、まず、必要な雲台機構２２のＰＡＮ雲台２０とＴＩＬＴ雲台２１（共に図２）との動き量を算出し、ＰＡＮ雲台２０とＴＩＬＴ雲台２１が動作した後のズーム調整量も算出し、算出したデジタルデータをＰＴＺ操作部８に送り、補正指令を出力する。
【００１７】
ＰＴＺ操作部８は、補正方法決定部７からの補正方法に従って、撮像装置１の姿勢をパンチルトズーム操作する。
補正方法決定部７において、撮像装置１の位置を傾いた前に戻すか否かは、Ｘ軸、Ｙ軸、Ｚ軸におけるそれぞれの傾き角度によって決定する。すなわち、Ｘ軸、Ｙ軸、Ｚ軸のいずれか1つの軸における傾き角度が下限値Ａ（例えば、Ａ＝５度）以上、かつ、Ｘ軸、Ｙ軸、Ｚ軸の全ての軸における傾き角度が上限値Ｂ（例えば、Ｂ＝９０度）以下である場合は、撮像装置の姿勢を傾いた前の角度まで補正する。同時に、後段のシステムに「撮像装置が傾いたため、補正を行う」ことを示す信号を送る。
【００１８】
補正方法決定部７において、撮像装置１の姿勢を傾いた前に戻すか否かの決定は、Ｘ軸、Ｙ軸、Ｚ軸のいずれか１つの軸における傾き角度が下限値Ａ（例えば、５度）以上であるとしたが、Ｘ軸、Ｙ軸、Ｚ軸それぞれに後段のシステムから基準値を設定して、これらの組み合わせで決定してもよい。例えば、Ｘ軸は下限値ＡＸ、Ｙ軸は下限値ＡＹ、Ｚ軸は下限値ＡＺとし、ＡＸ、ＡＹ、ＡＺの全ての角度が＋５度以上あるいはー５度以下の場合に姿勢を傾いた前に戻すとしてもよい。いずれの場合も、Ｘ軸、Ｙ軸、Ｚ軸という多軸を使って、全方位に撮像装置の姿勢を補正することができる。
【００１９】
Ｘ軸、Ｙ軸、Ｚ軸のいずれか１つの軸における傾き角が上限値Ｂより大きい場合は、ＰＡＮ雲台２０、ＴＩＬＴ雲台２１の操作でずれる前の姿勢に戻すことは不可能と判断し、後段のシステムに「撮像装置が傾いたが、補正可能な角度より大きかったため補正を行わなかった」ことを示す信号を送るとともに、画像入力部４のＣＰＵ、またはＤＳＰに電気信号を送り、画像入力部４ではその電気信号に基づいて画面上の任意の場所に、撮像装置の姿勢を補正しなかったことを示すマーキングを重畳させる。このマーキング信号は一定時間（例えば１０分）表示し続けてもよいし、画像入力部４で後段のシステムからの通信を受信すると表示を止めるようにすることもできる。
【００２０】
後段のシステムでは「撮像装置が傾いたが、補正可能な角度より大きかったため補正を行わなかった」ことを知ることにより、無駄なＰＴＺ動作を行わないことで、傾き修復までの時間を短縮できる。さらに、画角内に被写体を捉えられず監視不能となった場合でも、画面上に表示されるマーキングにより即座に該撮像装置を特定でき、傾き修復のための作業者を現地に向わせるなど、早期に対処することができる。
【００２１】
一方、上記の傾き角度を補正すると決定して補正した後、または、傾き角度が下限値Ａに満たなく姿勢を補正しない場合は、補正方法決定部７は特徴点抽出部９に特徴点を抽出するように指令し、画角の微調整を実施する。
初期設置時に画像入力部４で処理された画像を、基準位置画像としてメモリ１０に記録する。特徴点抽出部９は、この基準位置画像に基づいて基準画像特徴点Ｃｈ１を抽出し、および画像入力部４から送られてくる現在位置画像（現画像）に基づいて現画像特徴点Ｃｈ２を抽出する。
【００２２】
特徴点抽出部９において特徴点を得るためには、例えば、画像にＨＰＦ（Ｈｉｇｈ  Ｐａｓｓ  Ｆｉｌｔｅｒ）を掛けて、全周波数成分から低周波成分を減算することにより高周波成分のみとして、エッジを抽出する方法がある。あるいは、エッジの向きに基づいて固有ベクトルを算出してもよい。さらは、画像の急峻な輝度変化量を抽出し、画像に対して１次微分、あるいは２次微分を実施した結果でもよい。
特徴点抽出部９から抽出された特徴点Ｃｈ１、Ｃｈ２の画像データをずれ量算出部６へ送り、ずれ量算出部６で特徴点Ｃｈ１、Ｃｈ２に基づいて画素ずれ量βを算出し、補正方法決定部７に送る。画素ずれ量βは、画面上における水平方向の画素ずれ量βｘと垂直方向の画素ずれ量βｙで構成されている。
【００２３】
メモリ１０は、画像入力部４で処理された基準位置画像および現在位置画像を記録する。
【００２４】
補正方法決定部７はさらに、特徴点Ｃｈ１、Ｃｈ２のずれ量によって、撮像装置１の画角傾斜を微調整するか否かを判定する。撮像画像の特徴点の水平方向の画素ずれ量βｘ、垂直方向の画素ずれ量βｙのいずれかの１つが微調整下限値Ｃ以上である場合は、撮像装置１の画角傾斜を微調整することを決定する。まず、画素ずれ量βによって必要な雲台機構２２のＰＡＮ雲台２０とＴＩＬＴ雲台２１（共に図２）との微調整量を算出して、ＰＡＮ雲台２０とＴＩＬＴ雲台２１が動いた後のズーム微調整量も算出し、算出したデジタルデータをＰＴＺ操作部８に送る。ＰＴＺ操作部８は、補正方法決定部７からの補正方法に従って、撮像装置１をＰＡＮ（パン）方向／ＴＩＬＴ（チルト）方向／ＺＯＯＭ（ズーム）方向に操作する。
【００２５】
水平方向の画素ずれ量βｘと垂直方向の画素ずれ量βｙとも微調整下限値Ｃより小さい場合には、画角の微調整をせず、後段のシステムに「画素ずれ量が微調整下限値Ｃより小さいため、画角微調整の必要なし」ということを表すメッセージを表示するための信号を送り、終了する。
【００２６】
図４は、本発明の実施の形態１に係る撮像装置１の動作を説明するフローチャートである。撮像装置の画角位置がずれた際の補正方法に関し、順を追って述べる。
まず、撮像装置１の設置時に、予め設定された時点で、メモリ１０に基準位置情報および画像情報の登録処理を行う。制御開始の指示を受付けると、現在位置情報の取得を実施する（ステップＳ１０１）。
【００２７】
次に、撮像装置１内に内蔵された傾き検知部５のジャイロセンサ等の角速度センサで、傾き角度の有無を検知する（ステップＳ１０２）。傾き角度が検知されない場合は、ステップＳ１０１に戻る。傾き角度が検知された場合は、ずれ量算出部６でジャイロセンサによる角度データを積分し、傾き角度αを算出する（ステップＳ１０３）。傾き角度はＸ軸、Ｙ軸、Ｚ軸それぞれについて求め、フロー処理を行う。
【００２８】
次に、補正方法決定部７がずれ量算出部６から送られた傾き角度αが、下限値Ａ以上か否かを判定する（ステップＳ１０４）。
ステップＳ１０４でＮＯとなった場合は、傾き角度αが下限値Ａより小さい場合である。この場合は、姿勢の傾きを補正する必要がなく、画角の微調整を実施するため、ステップＳ１０９に進む。
【００２９】
傾き角度αが下限値Ａ以上の場合は、更に傾き角度αが上限値Ｂ以下か否かを判定する（ステップＳ１０５）。
ステップＳ１０５でＮＯとなった場合、つまり、撮像装置の姿勢の傾き角度αが上限値Ｂより大きい場合は、撮像装置の姿勢の補正が不可能と判断し、補正を行わなかったことを後段のシステムに通知するとともに、画面上に補正を行わなかったことを示すためのマーキングを重畳させ（ステップＳ１０６）、終了する。後段のシステムでは「撮像装置が傾いたが、補正可能な角度より大きかったため補正を行わなかった」ことを知る結果となるため、ＰＴＺ動作を行わない。さらに、画角内に被写体を捉えられず監視不能となった場合でも、画面上に表示されるマーキングにより傾いた撮像装置がどれかを容易に特定できるため、傾き修復のための作業者を現地に向わせるなど、早期に対処することができる。
【００３０】
ステップＳ１０４で傾き角度αが下限値Ａ以上、かつ、ステップＳ１０５でαが上限値B以下である場合は、傾き補正が実施可能と判断し、ＰＡＮ雲台、ＴＩＬＴ雲台、およびズームレンズを動かす電気信号をＰＴＺ操作部８内の駆動回路に送り、ＰＴＺ操作を行う指示を出力する（ステップＳ１０７）。補正方法決定部７から送られてきた、撮像装置１の角度を傾いた前に戻すために必要なＰＡＮ雲台２０およびＴＩＬＴ雲台２１の動き量に関するデジタルデータに基づき、ＰＴＺ操作部８は、ＰＡＮ雲台２０およびＴＩＬＴ雲台２１を動かす駆動回路に電気信号を送り、撮像装置１の傾きを補正する。雲台機構２２を補正した後に、メモリ１０に記録された、撮像装置１の姿勢を傾いた前のレンズ機構２の位置を示すデジタルデータと、撮像装置１の姿勢が傾いた後のレンズ機構２の位置を示すデジタルデータとを比較し、撮像装置１の姿勢が傾いた前のズーム位置と同じとなるように、レンズ機構２の補正を行う（ステップＳ１０８）。
【００３１】
以上の動作で撮像装置の姿勢の傾きを補正する。次に、撮像画像の画角を補正するため、ステップＳ１０９に進み、画角の微調整を実施する。具体的には、傾き検知部５から撮像装置１に画角の微調整要否判定であるというイベント信号を生成し、特徴点抽出部９にこのイベント信号を送る。特徴点抽出部９では、このイベント信号を受けると、メモリ１０に記録されている基準位置画像を読出し、基準位置画像に基づいて基準画像特徴点Ｃｈ１を抽出するとともに、現在位置画像（現画像）に基づいて現画像特徴点Ｃｈ２を抽出し（ステップＳ１０９）、特徴点Ｃｈ１、Ｃｈ２の画像データをずれ量算出部６へ送る。
【００３２】
ずれ量算出部６では、特徴点Ｃｈ１、Ｃｈ２の比較（マッチング処理）を行い、画素ずれ量βを算出する（ステップＳ１１０）。
次に、補正方法決定部７では、ずれ量算出部６から送られたデータに基づき、撮像装置１の画角傾斜を微調整するか否かを判定する（ステップＳ１１１）。ステップＳ１１１でＮＯとなった場合は、すなわち、ずれ量（画素）βが微調整下限値Ｃより小さい場合は、画角の微調整を実施する必要がないと判断し、後段のシステムに微調整下限値未満で画角補正を行わなかったことを通知し（ステップＳ１１２）、終了する。
【００３３】
画素ずれ量βが微調整下限値Ｃ以上である場合は、画角微調整の指令を出力する（ステップＳ１１３）。雲台機構２２およびレンズ機構２のＰＴＺ操作を行い、画角の微調整を行う（ステップＳ１１４）。
ステップＳ１１４で画角傾斜を微調整した後、後段のシステムに画角補正完了を通知（ステップＳ１１５）して終了する。
【００３４】
実施の形態１の撮像装置では、以上のように構成され、また、動作するので、撮影領域のずれが大きい場合においても、ジャイロセンサなどにより検出された撮像装置の傾きを自動的に補正した後、画角傾斜を微調整して、撮影画像を効率よく、かつ、正確に得る効果を奏する。
【００３５】
実施の形態２
実施の形態１では、撮像装置１は、定期的に姿勢の変化を観察して、傾きが検出されて画角の調整が必要と判定すると、自動的に撮像装置の姿勢の傾きを補正してから、画角の微調整を行うようにしていた。
【００３６】
実施の形態２に係る撮像装置では、撮像装置１は、傾きが検出された場合、実施の形態１のように姿勢の傾き補正から実施するか、あるいは、画角の微調整のみを行うかを、処理時間の短い補正方法を判定した上で選択することで実行する。
この実施の形態２に係る撮像装置の構成は、図１に示された実施の形態１に係る撮像装置の構成と同一であるため、説明を省略する。
【００３７】
図５は、実施の形態２に係る撮像装置の動作を説明するフローチャートである。実施の形態２に係る撮像装置の補正方法に関して、順を追って述べる。
【００３８】
実施の形態１と同様に、撮像装置の設置時に、予め設定された時点で、メモリ１０に基準位置情報および画像情報の登録処理を行う。制御開始の指示を受付けると現在位置情報の取得を実施する（ステップＳ２０１）。
次に、撮像装置１に内蔵された傾き検知部５のジャイロセンサ等の角速度センサで、傾き角度の有無を検知する（ステップＳ２０２）。傾き角度が検知されない場合は、ステップＳ２０１に戻る。傾き角度が検知された場合は、ずれ量算出部６でジャイロセンサから得られた角速度（角度データの一形態）を積分し、傾き角度αを算出する（ステップＳ２０３）。かかる傾き角度はＸ軸、Ｙ軸、Ｚ軸それぞれについて求め、フロー処理を行う。
【００３９】
次に、補正方法決定部７がずれ量算出部６から送られた傾き角度αが下限値Ａ以上か否かを判定する（ステップＳ２０４）。
ステップＳ２０４でＮＯとなった場合、つまり、傾き角度αが下限値Ａより小さい場合は、姿勢の傾きを補正する必要はなく、ステップＳ２１２に進み、画角の微調整のみを実施する。以降は実施の形態１のステップＳ１０９以下の処理と同様である。
【００４０】
傾き角度αが下限値Ａ以上の場合は、さらに、傾き角度αが上限値Ｂ（例えば、Ｂ＝±９０度）以下か否かを判定する（ステップＳ２０５）。
ステップＳ２０５でＮＯとなった場合、つまり、撮像装置の姿勢の傾き角度αが上限値Ｂより大きい場合は、姿勢の傾きの補正が不可能と判断し、補正を行わなかったことを後段のシステムに通知するとともに、画面上に補正を行わなかったことを示すためのマーキングを重畳させ（ステップＳ２０６）、終了する。
【００４１】
ステップＳ２０４で傾き角度αが下限値Ａ以上、かつ、ステップＳ２０５で傾き角度αが上限値Ｂ以下である場合は、傾き補正が実施可能と判断し、傾き検知部５から撮像装置１に傾きが発生したというイベント信号を生成し、特徴点抽出部９にこのイベント信号を送る。特徴点抽出部９ではイベント信号を受けると、メモリ１０に記録してある基準位置画像を読出し、この基準位置画像に基づいて特徴点Ｃｈ１を抽出するとともに、現在位置画像（現画像）に基づいて特徴点Ｃｈ２を抽出し（ステップＳ２０７）、特徴点Ｃｈ１、Ｃｈ２の画像データをずれ量算出部６へ送る。例えば、現画像が大きくずれて、特徴点Ｃｈ２の抽出が不可能な信号も同時にずれ量算出部６へ送る。
【００４２】
ずれ量算出部６では、特徴点Ｃｈ１、Ｃｈ２の比較（マッチング処理）を行い、画素ずれ量βを算出する（ステップＳ２０８）。
補正方法決定部７が、ずれ量算出部６から送られた傾き角度αおよび画素ずれ量βにより補正方法を判定する（ステップＳ２０９）。
【００４３】
図６にステップＳ２０９の処理工程のフローチャートを示す。ステップＳ２０９において、傾き角度αを補正してから、画角の微調整を実施する場合のＰＴＺ操作軌道および補正動作に必要な時間を算出し（ステップＳ２１９）、画素ずれ量βのみ補正する場合のＰＴＺ操作軌道および補正動作に必要な時間も算出する（ステップＳ２２９）。両者の補正時間を比較し、より効率的な補正方法を判定する（ステップＳ２３９）。
【００４４】
撮像装置の傾き角度の補正から実施する方が、補正時間が短いと判定された場合、あるいは、傾きが大きくて特徴点Ｃｈ２の抽出が不可能な場合は、ステップＳ２１０において傾き角度を補正した後、再度特徴点を抽出して画角の微調整を実施する。傾き角度の補正が必要でなく、画角の微調整のみの方が、補正時間が短いと判定された場合は、ステップＳ２１４に進む。
【００４５】
ステップＳ２１０では、補正方法決定部７が、撮像装置１の角度を傾いた前に戻す指令を出力する。ここからは実施の形態１のステップＳ１０７からのフローチャートと同様である。
【００４６】
ＰＴＺ操作部８は、補正方法決定部７から送られてきた、撮像装置１の角度を傾いた前に戻すために必要なＰＡＮ雲台２０、ＴＩＬＴ雲台２１の動き量に関するデジタルデータに基づき、ＰＡＮ雲台２０、ＴＩＬＴ雲台２１を動かすＰＴＺ操作部８内の駆動回路に電気信号を送り、撮像装置１の傾きを補正する。雲台機構２２を補正した後に、メモリ１０に記録された、撮像装置１の姿勢を傾いた前のレンズ機構２の位置を示すデジタルデータと、撮像装置１の姿勢が傾いた後のレンズ機構２の位置を示すデジタルデータとを比較し、撮像装置１の姿勢が傾いた前のズーム位置と同じとなるように、レンズ機構２の補正を行う（ステップＳ２１１）。  
【００４７】
以上の動作で姿勢の傾きを補正する。次に、撮像画像の画角を補正するため、ステップＳ２１２に進み、画角の微調整を実施する。具体的には、傾き検知部５から撮像装置に画角の微調整要否判定というイベント信号を生成し、特徴点抽出部９にこのイベント信号を送る。特徴点抽出部９では、このイベント信号を受けると、傾き角度を補正した後の画像、すなわち、現在撮像中の最新画像により新特徴点Ｃｈ３を抽出し（ステップＳ２１２）、Ｃｈ３の画像データをずれ量算出部６へ送る。
ずれ量算出部６では、すでに送られた基準位置画像の特徴点Ｃｈ１と最新画像の新特徴点Ｃｈ３との比較（マッチング処理）を行い、画素ずれ量β′を算出する（ステップＳ２１３）。
【００４８】
次に、補正方法決定部７では、ずれ量算出部６から送られたデータに基づき、撮像装置１の画角傾斜を微調整するか否かを判定する（ステップＳ２１４）。ステップＳ２１４でＮＯとなった場合は、画素ずれ量β′が微調整下限値Ｃより小さい場合である。この場合は、画角の微調整を実施する必要がないと判断し、後段のシステムに微調整下限値未満で画角の微調整を行わなかったことを通知し（ステップＳ２１５）、終了する。
【００４９】
画素ずれ量β′が微調整下限値Ｃ以上である場合には、画角の微調整指示を出力する（ステップＳ２１６）。雲台機構２２、レンズ機構２のＰＴＺ操作を行い、画角の微調整を行う（ステップＳ２１７）。
ステップＳ２１７で画角傾斜を微調整した後、後段のシステムに画角補正完了を通知（ステップＳ２１８）して終了する。
【００５０】
一方、ステップＳ２０９で、画角の微調整のみを実施する補正時間の方がより短く、傾き角度から補正する必要がないと判定する場合は、ステップＳ２１０〜ステップＳ２１３を実行せず、ステップＳ２１４から実行する。
【００５１】
補正方法決定部７では、ステップS２０８ですでに算出されたずれ量（画素）βを微調整下限値Ｃに比較して（ステップＳ２１４）、画角の微調整の可否を判定する。その後のステップＳ２１４からステップＳ２１８は実施の形態１と同様であるため、詳細な説明を省略する。
【００５２】
実施の形態２に係る撮像装置では、以上のように構成され、また動作するので、実施の形態１に係る撮像装置と同様に、自動的に角度センサなどにより撮影領域の傾きを検出して補正するが、実施の形態１における自動的に撮像装置の傾き角度を補正してから画角傾斜を微調整する場合と異なり、傾き角度と同時に画素ずれ量も算出して比較し、効率の良い補正方法を判定する。それにより、撮像装置の傾き量により、傾き角度を補正してから画角傾斜を微調整するか、画素ずれ量により画角の微調整のみを実施するか、補正時間の短い補正方法を判定して実施できるため、より効率よく、かつ、高精度に撮影画像を得ることができる。
【００５３】
なお、実施の形態１と実施の形態２では、傾き検知部５はジャイロセンサで構成される例を示したが、この限りではなく、例えば加速度センサを使用してもよい。加速度センサを使用した場合、１軸から３軸方向の加速度の計測データ（角度データの一形態）により、撮像装置の傾き角度を算出することができる。
あるいは、ジャイロセンサと加速度センサ両方を使用してもよい。その場合、ＨＰＦ（Ｈｉｇｈ  Ｐａｓｓ  Ｆｉｌｔｅｒ）やＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）との組合せでより高精度に撮像装置の傾きを検出することができる。
【符号の説明】
【００５４】
１  撮像装置、１a  撮像装置制御部、２  レンズ機構、３  撮像部、４  画像入力部、５  傾き検知部、  ６  ずれ量算出部、７  補正方法決定部、８  ＰＴＺ操作部、９  特徴点抽出部、１０  メモリ、２０  ＰＡＮ雲台、２１  ＴＩＬＴ雲台、２２  雲台機構、３０ａ  Ｘ軸回り回転角、  ３０ｂ  Ｙ軸回り回転角、３０ｃ  Ｚ軸回り回転角
【図１】
2020016921.tif 000003
【図２】
2020016921.tif 000004
【図３】
2020016921.tif 000005
【図４】
2020016921.tif 000006
【図５】
2020016921.tif 000007
【図６】
2020016921.tif 000008
【国際調査報告】
2020016921.tif 000009
2020016921.tif 000010
2020016921.tif 000011
2020016921.tif 000012