(57)【要約】【課題】シフトレンズなどの像振れ補正機構を用いることで、動画撮影中に撮影者が意図した通りのパンニング撮影を容易な設定で行えるようにする。【解決手段】撮像光学系により結像された被写体像を撮像する撮像部と、撮像部により撮像される撮像画像の構図を変更する構図変更部と、撮影者により入力される構図の変更に関する設定情報を取得する取得部と、設定情報に基づいて、構図変更を行いながら撮影を行うか、撮影の前に構図変更の確認のための表示を行うかを切り替える。【選択図】  図１
2014220597.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系により結像された被写体像を撮像する撮像手段と、
前記撮像手段により撮像される撮像画像の構図を変更する構図変更手段と、
撮影者により入力される構図の変更に関する設定情報を取得する取得手段と、
前記設定情報に基づいて、前記構図変更手段により構図変更を行いながら撮影を行うか、当該撮影の前に前記構図変更の確認のための表示を行うかを切り替える切替手段とを備えることを特徴とする撮像装置。
【請求項２】
前記構図変更手段により構図変更を行いながら撮影を行うためにかかる時間よりも、前記構図変更を撮影者が確認するためにかかる時間の方が短くなることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像画像における輝度値に基づいて露出調整量を算出し、前記露出調整量に基づいて撮像画像の露出調整を行う露出調整手段と、
前記構図変更を撮影者が確認する際に、前記輝度値と前記露出調整量とに基づいて補正露出量を算出する補正量算出手段とをさらに備え、
前記露出調整手段は、前記構図変更手段により構図変更を行いながら撮影を行う際には、前記補正露出量に基づいて露出調整を行うことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記撮像手段により撮像される撮像画像における被写体に対する合焦度合いを取得する合焦度合い取得手段と、
前記合焦度合いに基づいて前記撮像光学系のフォーカスレンズの駆動量を算出する駆動量算出手段と、
前記駆動量に基づいて前記フォーカスレンズを駆動するよう指示する駆動指示手段と、
前記構図変更を撮影者が確認する際に前記合焦度合いと前記フォーカスレンズの駆動量とに基づいて前記フォーカスレンズの補正駆動量を算出する補正駆動量算出手段とをさらに備え、
前記駆動指示手段は、前記構図変更手段により構図変更を行いながら撮影を行う際には、前記補正駆動量に基づいて前記フォーカスレンズを駆動するよう指示することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
撮像装置の振れを検出する、または撮像装置の振れ情報を受信する振れ検出手段をさらに備え、
該振れ検出手段の出力に基づいて前記構図変更手段が構図を変更することにより、前記撮像装置の振れによる像振れを補正することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記構図変更手段は、撮像光学系に設けられた補正レンズ、前記撮像手段を移動させるシフト機構、画像の出力範囲を変更する電子的像振れ補正機構のうち少なくとも１つであることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
撮像光学系により結像された被写体像を撮像する撮像手段と、前記撮像手段により撮像される撮像画像の構図を変更する構図変更手段とを備える撮像装置を制御する方法であって、
撮影者により入力される構図の変更に関する設定情報を取得する取得工程と、
前記設定情報に基づいて、前記構図変更手段により構図変更を行いながら撮影を行うか、当該撮影の前に前記構図変更の確認のための表示を行うかを切り替える切替工程とを備えることを特徴とする撮像装置の制御方法。
【請求項８】
請求項７に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項９】
請求項７に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像振れを補正するための像振れ補正光学系を備える撮像装置において、補正光学系を用いてパンニング及びチルティングを行う技術に関する。
【背景技術】
【０００２】
撮影者が撮像装置でパンニング撮影を行う場合、等速なパンニングを手動で行うことは非常に困難である。従来、等速で滑らかなパンニングを実現するためには雲台による撮像装置の移動が必要であったが、この方法は装置の大型化を招く点や余計なコストがかかるという点で撮影者にとってデメリットとなる要素を含んでいた。
【０００３】
そこで、簡易的に撮影画の構図を変更させるという方法に関して従来から様々な方法が提案されている。例えば、撮像素子を含む可動部や撮像光学系の一部のシフトレンズなどによって光軸を傾動させる機構を設け、撮像素子やシフトレンズを移動させながら撮影を行うことにより、撮像装置全体を移動することなく撮影画の構図を変更させる方法がある。特許文献１には、撮像素子を含む可動部を移動させて構図を調整する方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１７１９４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された構図調整方法では、撮像装置に備わる調整キーを操作することによって撮像素子を光軸に対して垂直な平面上で移動させて構図調整を行うことができる。
【０００６】
しかしながら、上述の特許文献１に記載の撮像装置は、静止画撮影時の構図調整を想定しているため、動画の記録中は構図変更を行わない。すなわち、構図調整中はスルー画を表示するだけであるため、動画撮影中の構図変更を意図するものではない。
【０００７】
本発明は上述した課題に鑑みてなされたものであり、その目的は、シフトレンズなどの像振れ補正機構を用いることで、動画撮影中に撮影者が意図した通りのパンニング撮影を容易な設定で行えるようにすることである。
【課題を解決するための手段】
【０００８】
本発明に係わる撮像装置は、撮像光学系により結像された被写体像を撮像する撮像手段と、前記撮像手段により撮像される撮像画像の構図を変更する構図変更手段と、撮影者により入力される構図の変更に関する設定情報を取得する取得手段と、前記設定情報に基づいて、前記構図変更手段により構図変更を行いながら撮影を行うか、当該撮影の前に前記構図変更の確認のための表示を行うかを切り替える切替手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、シフトレンズなどの像振れ補正機構を用いることで、動画撮影中に撮影者が意図した通りの自動パンニング撮影を容易な設定で行なうことが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。
【図２】第１の実施形態における自動パンニングモード時の処理を説明するためのフローチャートである。
【図３】第１の実施形態における自動パンニングパラメータ設定（自動パンニング開始位置設定）の一例を示す図である。
【図４】第１の実施形態における自動パンニングモード時および自動パンニングリハーサルモード時の絞り制御を説明するための図である。
【図５】第１の実施形態における自動パンニングモード時および自動パンニングリハーサルモード時のフォーカスレンズ駆動制御を説明するための図である。
【図６】本発明の第２の実施形態に係わる撮像装置の構成を示すブロック図である。
【図７】本発明の第３の実施形態に係わる撮像装置の構成を示すブロック図である。
【図８】第３の実施形態における自動パンニングリハーサルモード時の処理を説明するためのフローチャートである。
【図９】第３の実施形態における自動パンニングリハーサルモード時の画像合成および自動パンニングパラメータ表示画像を説明するための図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００１２】
（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置としてのデジタルビデオカメラの構成を示すブロック図である。図１の撮像装置１００（たとえばデジタルビデオカメラとする）の構成において、各構成部とその一例の動作について具体的に説明する。以下、撮像装置１００はパンニング（画像の左右方向への構図変更）およびチルティング（画像の上下方向への構図変更）が可能である。ただし、以下の説明では、チルティングは構図変更の方向がパンニングと異なるだけであり、その制御の方法はパンニングの場合とまったく同じであるため、チルティングに関する記載は省略する。
【００１３】
撮像装置１００は撮像装置の振れに起因する画像振れを補正する像振れ補正機構を備えている。モード切替スイッチ１０１は撮影者が所望の撮影モードを選択するためのスイッチである。選択可能なモードとしては、「像振れ補正オンモード」、「像振れ補正オフモード」、「自動パンニングモード（構図変更撮影モード）」、「自動パンニングリハーサルモード」、「自動フォーカスモード」、「リハーサル合焦フォーカスモード」、「自動露出モード」、「リハーサル露出モード」などがある。
【００１４】
「像振れ補正オンモード」とは、撮像装置の振れを検出し、その振れに基づいてシフトレンズ群１１２（補正レンズ、補正部材）を移動させることで像振れを防ぐためのモードである。「像振れ補正オフモード」とは、シフトレンズ群１１２を光軸中心位置に固定した状態で撮影するモードである。
【００１５】
「自動パンニングモード」とは、シフトレンズ群１１２を移動させながら撮影を行うことにより、撮影者が撮像装置をパンニングさせて撮影したときと同様の映像を撮影することが可能なモードである。また、「自動パンニングリハーサルモード」とは、自動パンニングモードでの撮影用に設定したパラメータ（自動パンニングパラメータ）で撮影前にシフトレンズ群１１２を移動させて、このときの映像を表示部１１８に表示することで事前に自動パンニングの構図を確認することができるモードである。ここで、本実施形態における撮影とは、不図示の記録ボタンの押下により映像を記録することを指し、撮像素子１１４から出力される画像信号を表示部１１８にリアルタイムに表示するライブビューなどの動作は撮影と表現しないものとする。
【００１６】
「自動フォーカスモード」は、自動パンニングモード時における被写体との合焦度合いに基づいてフォーカスレンズ群１１３の制御を行うモードである。「リハーサル合焦フォーカスモード」は、自動パンニングリハーサルモード時に被写体に対する合焦度合いが合焦状態であったときのフォーカスレンズ位置に基づいて自動パンニングモード時にフォーカスレンズ群１１３の制御を行うモードである。
【００１７】
「自動露出モード」は、自動パンニングモード時に映像信号の光量に基づいて絞り１１１の制御を行うモードである。「リハーサル露出モード」は、自動パンニングリハーサルモード時の露出量および後述の絞り制御量に基づいて絞り１１１の制御を行うモードである。ただし、本実施形態においては絞り制御による露出調整について説明するが、露出調整方法としては、シャッター速度変更、ゲイン変更による調整方法を用いてもよい。
【００１８】
なお、「自動フォーカスモード」、「リハーサル合焦フォーカスモード」、「自動露出モード」、「リハーサル露出モード」の時の詳細な説明は後述する。また、本実施例においてはモード切替スイッチ１０１によって撮影者が所望の撮影モードを選択する構成となっている。しかしながら、撮影者がモード切替スイッチ１０１を操作する構成に代わって、自動でモードを判定して切り換える方法であっても良い。また、モードを持たずに所定の操作部材（ボタンやタッチパネルなど）を操作すると自動パンニングリハーサルモードや自動フォーカスモードの制御を実行しても良い。
【００１９】
モード切替スイッチ１０１は撮影者により選択される撮影モードを入力処理して撮影モード情報としてμＣＯＭ１０３に出力する。パラメータ設定部１０２（設定情報入力部）は撮影者により設定される自動パンニングに関するパラメータを入力処理して自動パンニングパラメータとしてμＣＯＭ１０３に出力する。自動パンニングパラメータは、例えば自動パンニングの開始位置、終了位置、自動パンニング速度、自動パンニング時間、さらには撮影開始後の自動パンニング開始までの時間、自動パンニング終了後の撮影停止までの時間などである。パラメータ設定部１０２は十字キーもしくはボタンでも、タッチパネル上に配置されるアイコンでもよい。μＣＯＭ１０３は、以下に示す入力制御部１０４、レンズ駆動量算出部１０５、制御フィルタ１０６、デジタル画像処理部１１７、絞り制御部１２６、フォーカスレンズ制御部１２４を構成する。
【００２０】
入力制御部１０４は撮影モードに応じてレンズ駆動量算出部１０５への出力を選択する。撮影モードが「像振れ補正オンモード」のときは後述の振れ信号データを出力する。また、撮影モードが自動パンニングモード、自動パンニングリハーサルモードのときは自動パンニングパラメータを出力する。なお、像振れ補正オフモード時には、シフトレンズ群１１２を光軸中心位置に保持するためのレンズ中心位置データを出力する。こうすることで、像振れ補正オフモード時には、シフトレンズ群１１２は光軸中心位置に電気的に保持されるように制御される。
【００２１】
レンズ駆動量算出部１０５は入力制御部１０４から出力されるデータに基づいてシフトレンズ群１１２の駆動量であるレンズ駆動量を算出する。ここで、シフトレンズ群１１２を実際に移動させるための駆動量は、レンズ駆動量算出部１０５の出力（シフトレンズ群１１２の目標位置）から位置検出センサ１２０が検出するシフトレンズ群の現在位置を差し引いた値である。本実施形態の記載では、以後明記しなくとも、シフトレンズ群１１２をレンズ駆動量に基づいて移動させる場合は、前述の通りシフトレンズ群１１２の目標位置からシフトレンズ群１１２の現在位置を差し引くフィードバック制御を行うものとする。制御フィルタ１０６はフィードバック制御における位相のズレ補正など周波数特性を制御するためのものである。
【００２２】
パルス幅変調部１０７はレンズ駆動量に基づいてレンズ駆動制御用のパルス波を生成する。シフトレンズドライバ１０８はパルス幅変調部１０７により出力されるパルス波に基づいてシフトレンズ群１１２を駆動させる。
【００２３】
撮像装置１００の撮像光学系は、固定レンズ群１０９、ズームレンズ群１１０、絞り１１１、シフトレンズ群１１２、フォーカスレンズ群１１３を備えて構成されている。撮像素子１１４は、撮像光学系を通過し結像される被写体像を光電変換することで画像信号を出力する。画像信号に対し、アナログ信号処理部１１５は所定の処理を施しアナログ撮像信号を生成する。この処理は、例えばＣＤＳ（co-related double sampling：相関二重サンプリング）処理、ＡＧＣ（Automatic Gain Control）処理等から構成される。Ａ／Ｄ変換部１１６ではアナログ撮像信号をデジタル信号に変換し、デジタル画像処理部１１７はデジタル信号に所定の画像処理を施す。この画像処理は、ガンマ補正やホワイトバランス処理、さらに撮影素子１１４により撮像された画像から所定の解像度画像を得るための画像切り出し、もしくは隣接画素の平均化による画像縮小などである。また、デジタル画像処理部１１７は、焦点検出に必要なコントラスト信号を抽出し、前記コントラスト信号を後述のフォーカスレンズ制御部１２４に送る処理を行う。さらにデジタル画像処理部１１７は絞り制御に必要な映像の輝度信号を抽出し、前記輝度信号を後述の絞り制御部１２６に送る処理を行う。ただし、コントラスト信号および輝度信号の抽出は、アナログ信号処理部１１５で行ってもよく、専用の回路で行ってもよいものとする。表示部１１８は画像処理が施されたデジタル映像信号に基づいて撮影した画像を表示する。
【００２４】
振れ検出手段である角速度センサ１１９は撮像装置１００の振れを検出し、検出した振れに基づいて振れ信号を出力する。なお、振れ検出手段としては角速度センサのほかにも加速度センサなどの振れ検出センサであってもよい。振れ信号は増幅部１２０で受信されて増幅され、Ａ／Ｄ変換部１２１によりアナログ信号からデジタル信号に変換され、デジタルの振れ信号データとして出力される。像振れ補正オンモード時には、振れ信号データに基づいてシフトレンズ群１１２を移動させることで、撮像素子１１４上の結像位置の変化、すなわち像振れを防ぐことが可能となる。
【００２５】
位置検出センサ１２０はシフトレンズ群１１２の位置を検出し、検出位置に基づいてレンズ位置信号を出力する。レンズ位置信号は増幅器１２１で増幅され、Ａ／Ｄ変換部１２２でデジタルのレンズ位置データとして出力される。
【００２６】
絞り制御部１２６はデジタル信号処理部１１７から出力される輝度信号に基づいて絞り１１１を制御する絞り制御量を算出し、ＩＧメータ１２３は絞り制御量に基づいて絞り１１１を駆動する。また、フォーカスレンズ制御部１２４はデジタル信号処理部１１７から出力されるコントラスト信号に基づいてフォーカスレンズ群１１３の駆動量を算出して駆動指示し、フォーカスレンズドライバ１２５はフォーカスレンズの駆動量に基づいてフォーカスレンズ群１１３を駆動する。
【００２７】
［自動パンニングモード時動作フロー］
次に、撮像装置１００の自動パンニングモード選択時のμＣＯＭ１０３の動作について図２に示すフローチャートを用いて説明する。
【００２８】
撮像装置の電源がオンされ、モード切替スイッチ１０１で自動パンニングモードが選択されると、μＣＯＭ１０３は自動パンニングモード処理を開始する。
【００２９】
ステップＳ１００では、レンズ駆動量算出部１０５はシフトレンズ群１１２の位置を初期状態、すなわち光軸中心位置に戻すように駆動量を演算する。これによってシフトレンズ群１１２は初期状態、すなわち光軸中心位置に戻る様に制御される。ステップＳ１０１では撮影者により設定される自動パンニングパラメータをパラメータ設定部１０２で処理する。ここで、フローチャートには不図示であるが、ステップＳ１０１におけるパラメータ設定で、自動パンニング開始位置、自動パンニング終了位置を設定する際には、シフトレンズ群１１２を移動させて自動パンニング開始位置、自動パンニング終了位置の構図を表示部１１８に表示する処理を行う。
【００３０】
自動パンニング開始位置、自動パンニング終了位置を設定する際の処理を図３を用いて説明する。図３（ａ）は自動パンニング開始位置選択画面を表した図である。図３（ｂ）は図３（ａ）における撮像装置１００、被写体、光軸、撮影可能範囲などの位置関係を模式的に表現している。なお、撮影可能範囲とは、撮像装置１００により撮像可能な範囲である。また、図３（ａ）に示す自動パンニング開始位置選択画面で表示部１１８に表示する画像は、撮影可能範囲の画像を画像処理部１１７で縮小処理した画像である。また、図３（ａ）の自動パンニング開始構図とは、自動パンニング開始位置を画像中心として前述の画像切り出しが行われたときに表示部１１８に表示される範囲を表している。これにより、撮影者が自動パンニング開始位置を選択すると、撮像可能な範囲上からどのような構図で画像切り出しが行われるか、撮影者が容易に判断することができる。また、本実施形態では表示部１１８はタッチパネルを想定しており、パラメータ設定部１０２の機能も有する構成としている。
【００３１】
撮影者が図３（ａ）に示すように自動パンニング開始位置をタッチパネル上で選択すると、レンズ駆動量算出部１０５は選択位置が画角中心となるようにレンズ駆動量を算出する。そして、レンズ駆動量に応じてシフトレンズ群１１２が移動させる。図３（ｃ）は、シフトレンズ群１１２が自動パンニング開始位置に基づいて移動したときに表示される画像である。図３（ｄ）は、シフトレンズ群１１２が自動パンニング開始位置に基づいて移動したときの光軸及び撮影可能範囲を示した図である。図３（ｄ）に示すように、シフトレンズ群１１２が移動することで光軸が傾動し、光軸の傾動に伴って撮影可能範囲も変化する。図３（ｃ）は、撮影者がパラメータ設定部１０２によって自動パンニング開始位置を選択した際に表示部１１８に表示される画像である。この図３（ｃ）の画像は、撮影開始位置（自動パンニング開始位置）にシフトレンズ群１１２を移動して撮影される画像である。こうすることで、撮影者が直観的に自動パンニング開始位置を選択できるようにする。なお、図３（ｃ）で表示する画像は、現在設定されている画像フォーマットの解像度に合わせて画像切り出し（画像の出力範囲の変更）が行われた後の画像である。自動パンニング終了位置選択時も自動パンニング開始位置選択時と同様の制御内容であるため、説明は省略する。
【００３２】
ステップＳ１０２において、レンズ駆動量算出部１０５はステップＳ１０１で得られた自動パンニングパラメータに基づいてレンズ駆動量を算出する。ステップＳ１０３において、まず入力制御部１０４は撮影モードを判定する。入力制御部１０４は、撮影モードが自動パンニングリハーサルモードと判定するときは処理をステップＳ１０４に移す。入力制御部１０４は自動パンニングリハーサルモードが選択されないと判定する場合は処理をステップＳ１０７に移す。
【００３３】
自動パンニングリハーサルモードが選択されたとき、ステップＳ１０４において、シフトレンズドライバ１０８はレンズ駆動量に基づいてシフトレンズ群１１２を移動する。ステップＳ１０５で、シフトレンズドライバ１０８はシフトレンズ群１１２の駆動を終了する。これらステップＳ１０４、Ｓ１０５の処理によって、撮影者は設定された自動パンニングパラメータによってどのように自動構図変更、すなわち自動パンニング動作がなされるかを、自動パンニング撮影の前に確認することが可能となる。ここで、パンニングリハーサルモードでは撮影者によって設定されたパンニング時間よりも短い時間で移動を終える簡易リハーサルモードを備えてもよい。ただし、簡易リハーサルモードはパラメータ設定時の選択肢のひとつであり、モード切替スイッチで選択する構成であっても、そうでなくとも良い。簡易リハーサルモードによって、短いパンニング時間でリハーサル動作を終えることで、撮影者はより短い時間で構図を確認できる。
【００３４】
ステップＳ１０６において、パラメータ設定部１０２は撮影者によるパラメータの再設定を判定する。ステップＳ１０６において、パラメータ設定部１０２がパラメータ設定入力があると判断した場合は処理をステップＳ１０１に移す。ステップＳ１０６において、パラメータ設定部１０２がパラメータ設定がない場合は処理をステップＳ１０７に移す。なお、パラメータ設定がない場合の判定方法として不図示のＲＥＣボタンが押されることを条件とする。
【００３５】
ステップＳ１０７において、撮像装置１００は撮影を開始する。ステップＳ１０７での撮影開始から所定時間経過後にステップＳ１０８ではシフトレンズ群１１２を移動させながら撮影することでパンニング効果のある画像を撮影することが可能となる。ここで、ステップＳ１０８が開始されるまでの所定時間は、例えば製品に予め設定されている値でもよく、撮影者が選択可能なパンニングパラメータの一つとしてもよい。ステップＳ１０９ではシフトレンズ群１１２の位置がパンニング終了位置に移動した場合、シフトレンズ群１１２の移動を終了する。なお、ステップＳ１０９でシフトレンズ群１１２の移動が終了した後はシフトレンズ群１１２の位置を移動終了位置に保持する。ステップＳ１１０で撮影を停止し、自動パンニングモードの処理を終了する。ここでの撮影停止条件は、撮影者による不図示のＲＥＣボタンが押されること、もしくはシフトレンズ駆動終了から撮影終了までの時間を自動パンニングパラメータのひとつとして撮影者が設定し、その時間が経過することである。
【００３６】
［自動露出モード、リハーサル露出モードの説明］
ここで、自動露出モードおよびリハーサル露出モードの説明を行う。自動露出モードおよびリハーサル露出モードは自動パンニング撮影時の露出調整方法に関するモードである。前述のとおり本実施形態においては露出調整方法として絞り１１１の制御で説明を行う。しかし、絞り制御のみでなく、シャッター速度変更、ゲイン変更により露出調整が行われてもよい。以下では説明を簡単にするため、絞り制御量をＡｖ値と表す。
【００３７】
自動露出モードとは、自動パンニングモード時に映像信号の輝度値を取得し（輝度値取得）、取得した輝度値に基づいてＡｖ値（露出調整量）をリアルタイムに算出する（調整量算出）モードである。詳しく述べると、ステップＳ１０８からＳ１０９におけるシフトレンズ群１１２の移動時に被写体光量が変化することで映像の輝度値が変化する。このとき、デジタル画像処理部１１７から出力される輝度情報に基づいて、絞り制御部１２６は都度適正なＡｖ値を算出し、算出されたＡｖ値に応じてＩＧメータ１２３が絞り１１１を駆動する。ただし、自動露出モードでは、映像における急激な輝度変化などを回避するために必ずしも最適なＡｖ値となっていない。
【００３８】
例えば、図４（ａ）に示すような被写体光量変化（以下、リハーサル時被写体光量と記載）に対して、絞り制御部１２６は図４（ｂ）に示すようなＡｖ値（以下、リハーサル時Ａｖ値と記載）を算出したものとする。ここで、横軸はシフトレンズ群１１２の位置を示すものとし、以下ではＸｎとする値はシフトレンズ群１１２の位置であり、ΔＸはシフトレンズ群１１２の位置移動量とする。シフトレンズ群１１２が位置Ｘ１にある場合において、リハーサル時被写体光量が変化し始める。そしてシフトレンズ群１１２が位置Ｘ２になると、再度略一定の光量となる。またシフトレンズ群１１２が位置Ｘ２において、絞り制御部１２６はリハーサル時Ａｖ値はΔＸだけ移動した（Ｘ１＋ΔＸ）でＡｖ値を変更開始する。そしてシフトレンズ群１１２が位置Ｘ３にある場合に、絞り制御部１２６はＡｖ値変更を終えるものとする。
【００３９】
図４（ｂ）に示すリハーサル時Ａｖ値でＩＧメータ１２３が絞り１１１を駆動したとき、図４（ｃ）に示すように映像信号の輝度値（以下、リハーサル時映像輝度値）が変化する。ここで、理想的には図４（ｃ）において理想輝度値で示すような略一定の輝度値になることが好ましい。そこで、例えばシフトレンズ群１１２が位置（Ｘ１＋ΔＸ）にある場合、リハーサル時映像輝度値と理想輝度値との差分をΔＹとし、ΔＹに基づいて算出されるＡｖ値をΔＡｖとする。この差分ΔＹおよびΔＡｖの算出を補正量算出とする。そして、図４（ｄ）に示すようにリハーサル時Ａｖ値にΔＡｖ値を加えることで、絞り制御部１２６は適正なＡｖ値（以下、補正Ａｖ値（補正露出量）と記載）を算出する（補正量算出）。自動パンニングモード時には、自動パンニングリハーサルモード時と被写体が変わらないとすると、ＩＧメータ１２３が補正Ａｖ値に基づいて絞り１１１を駆動すれば、このときの映像の輝度値を略一定にする最適な露出制御が可能となる。
【００４０】
［自動フォーカスモード、リハーサル合焦フォーカスモードの説明］
次に、自動フォーカスモードおよびリハーサル合焦フォーカスモードの説明を行う。自動フォーカスモードおよびリハーサル合焦フォーカスモードは自動パンニング撮影時のフォーカスレンズ群１１３の制御方法に関するモードである。制御の方針は前述の自動絞りモードおよびリハーサル適正露出絞りモードと同じであるため詳細な説明は省略する。
【００４１】
自動フォーカスモードとは、自動パンニングモード時に映像信号からフォーカスレンズ駆動量をリアルタイムに算出するフォーカスレンズ制御のモードである。すなわち、ステップＳ１０８からＳ１０９におけるシフトレンズ群１１２の移動時にデジタル画像処理部１１７から出力されるコントラスト信号、すなわち被写体像における合焦度合いに基づいてフォーカスレンズ制御部１２７がフォーカスレンズ駆動量を算出する。そして、フォーカスレンズ駆動量に応じてフォーカスレンズドライバ１２５がフォーカスレンズ群１１３を駆動する。
【００４２】
リハーサル合焦フォーカスモードを図５を用いて以下に説明する。図５（ａ）は自動パンニングリハーサルモード時の被写体像における合焦度合いに基づいてフォーカスレンズ駆動量算出部１２７で算出されるフォーカスレンズ駆動量（ここではリハーサルフォーカスレンズ駆動量として記載）と被写体像が合焦状態になるフォーカスレンズ駆動量との関係を表している。なお、図５（ａ）において、点線がシフトレンズ群１１２の位置に対するリハーサルフォーカスレンズ駆動量であり、実線がシフトレンズ群１１２の位置に対する合焦状態となるフォーカスレンズ駆動量である。合焦状態となるフォーカスレンズ駆動量とは、シフトレンズ位置に対して図５（ａ）の実線のようなフォーカスレンズ駆動量に基づいてフォーカスレンズ群１１３の駆動を行えば被写体像の合焦度合いが合焦状態となる理想値である。
【００４３】
図５（ｂ）は自動パンニングリハーサルモード時に被写体に対して合焦状態となったときのフォーカスレンズ駆動量を黒い丸印でプロットした図である。図５の黒い丸印で示す箇所のシフトレンズ群１１２の位置とリハーサルフォーカスレンズ駆動量とをフォーカスレンズ駆動量算出部１２７で不図示の記憶手段に記憶する。この処理により自動パンニングリハーサルモード時のシフトレンズ群１１２の移動が終わったときは、合焦状態となったときのフォーカスレンズ駆動量（補正駆動量）のみが記憶される（補正駆動量算出）こととなる。
【００４４】
ここで、自動パンニングリハーサルモード時に合焦状態とならなかったときはシフトレンズ群１１２の位置に対するフォーカスレンズ駆動量は記憶されない。記憶されないフォーカスレンズ制御量に関しては、記憶されているリハーサルフォーカスレンズ駆動量をフォーカスレンズ駆動量算出部１２７で補間処理を行う。補間処理を施して記憶されているフォーカスレンズ駆動量を合焦フォーカスレンズ駆動量として図５（ｃ）に示す。自動パンニングモード時にはフォーカスレンズドライバ１２５が合焦フォーカスレンズ駆動量に基づいてフォーカスレンズ群１１３を駆動することで、映像信号からフォーカスレンズ駆動量をリアルタイムに算出する場合と比べ、より早く被写体像に合焦する制御が可能である。
【００４５】
以上説明したとおり、本実施形態においては、像振れ補正機構を利用して自動パンニング撮影を行う際に、撮影者が設定した自動パンニングパラメータに基づいてブレ補正機構をリハーサル駆動する。これによって、自動パンニングパラメータに基づいて撮影されるパンニング映像を撮影者が事前に確認できるため、余分な撮り直しを回避することができる。また、自動パンニングパラメータ設定も直観的に分かりやすくすることができる。さらに、リハーサル駆動時に算出される絞り制御量、フォーカスレンズ駆動量をより適切な値に修正することで、適正露出への切り替え、被写体像への合焦をより早く適切に行うことが可能となり、映像の品位を向上させることができる。なお、像振れ補正機構としてはシフトレンズを駆動するものに限らず、画像の切り出し位置を変更することにより像振れを補正する電子的像振れ補正機構を用いてもかまわない。
【００４６】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【００４７】
図６は、本発明の第２の実施形態に係わる撮像装置の構成を示すブロック図である。本実施形態は、第１の実施形態で説明した撮像装置の像振れ補正機能を、補正部材としてシフトレンズ群ではなく、撮像素子および撮像素子を保持する部材を光軸に直交する方向にシフトするにより実現したものである。本実施形態は、この撮像素子シフト機構を自動パンニング撮影に利用することを特徴としている。本実施形態では、第１の実施形態との差異がある撮像素子シフトに関する構成の説明のみを行う。
【００４８】
撮像装置２００は撮像素子１３０の位置を光軸に垂直な平面上で移動させることで被写体結像位置を変化させる像振れ補正機構を備えている。ただし、撮像素子１３０はＣＭＯＳセンサまたはＣＣＤなどの撮像素子を光軸に垂直な平面上での移動を可能にするステージ上に配置した構成である。しかし、本実施形態ではＣＭＯＳセンサまたはＣＣＤと移動可能なステージを合わせたものを撮像素子１３０と記述している。
【００４９】
撮像装置２００は撮像装置１００と同じく像振れ補正オンモード、像振れ補正オフモード、自動パンニングモード、および自動パンニングリハーサルモードを備えている。像振れ補正オンモード時には、撮像素子駆動量算出部１３２は角速度センサ１１９が検出した撮像装置の振れに基づいて撮像素子１３０の駆動量を算出する。また像振れ補正オフモード時には、撮像素子を光軸中心位置に保持するための撮像素子１３０の駆動量を算出する。自動パンニングモード、自動パンニングリハーサルモード時には、撮影者によって入力される自動パンニングパラメータに基づいて撮像素子１３０の駆動量を算出する。制御フィルタ１２７は後述する撮像素子１３０のフィードバック制御により生じる位相のズレ補正など、周波数特性を制御するためのフィルタである。パルス幅変調部１２８は制御フィルタの出力に基づいて撮像素子駆動制御用のパルス波を生成する。撮像素子シフトドライバ１２９はパルス幅変調部１２８により出力されるパルス波に基づいて撮像素子１３０を駆動させる。
【００５０】
以上、第２の実施形態によれば移動可能な撮像素子により像振れ補正を行う構成の撮像装置において、第１の実施形態で示した効果と同様の効果を得ることが可能となる。
【００５１】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
【００５２】
本実施形態は、第１の実施形態で説明した自動パンニングリハーサルモード時の制御に対し、さらに画像合成による自動パンニングリハーサル制御を実現したものである。図７は、本発明の第３の実施形態に係わる撮像装置の構成を示すブロック図である。図７に示す撮像装置３００は、第１の実施形態における撮像装置１００に画像マッチング部３０１および画像合成部３０２を加え、入力制御部１０４に画像合成用信号出力機能を追加した入力制御部３０３を備えて構成される。画像マッチング部は不図示の記憶部に記憶された撮像画像に対してマッチング処理を行い、画像間の相関情報を取得する。ここで、マッチング処理とは例えば従来提案されているブロックマッチング法などを用いる。ブロックマッチング法は、画像をブロックと呼ばれる領域に分割し、２枚の画像間での類似箇所をブロック単位で検出する方法である。このような処理によって画像の相関情報や、動きベクトルといった位置ずれ情報が取得できる。
【００５３】
画像合成部３０２は、画像間の相関情報に基づいて、画像間を繋ぎ合わせて合成を行い全体画像を生成する。入力制御部３０３は画像合成部３０２に自動パンニングパラメータを出力する。また、画像合成部３０２は自動パンニングパラメータに基づき自動パンニング開始位置、自動パンニング終了位置、自動パンニング範囲などの構図枠を全体画像に対しさらに加えた自動パンニングパラメータ表示画像を表示部１１８に出力する。
【００５４】
［パンニングリハーサルモード時動作フロー］
次に、撮像装置３００の自動パンニングモード選択時の動作について図８に示すフローチャートを用いて説明する。
【００５５】
自動パンニングリハーサルモードが開始されると、ステップＳ２００で、シフトレンズ群１１２の周辺移動による画像取得を行う。周辺移動とは中心位置（移動しない）、上、下、左、右、右上、右下、左上、左下の９点へのシフトレンズ群１１２の移動とする。自動パンニングリハーサルモードが撮影者により選択されたとき、入力制御部３０３から上記の９点の位置にそれぞれシフトレンズ群１１２を移動するように制御命令が出され、レンズ駆動量算出部１０５で９点移動用のレンズ駆動量がそれぞれ算出される。シフトレンズ群１１２は９点移動用のレンズ駆動量に基づいて移動される。また、シフトレンズ群１１２の移動箇所の１点ごとに撮像素子１１４から出力される画像データを不図示の記憶部に記憶する。
【００５６】
ステップＳ２０１ではデジタル画像処理部１１７でステップＳ２００で取得された９点の画像を合成し、通常撮影時に得られる画像よりも画角の大きい全体画像を生成する。シフトレンズ群１１２の移動時に取得した９枚の画像に対し、画像マッチング部３０１でそれぞれ隣接位置に相当する画像間でマッチング処理を行う。隣接位置とは、例えばシフトレンズ群１１２を右上に移動したときに取得した画像に対してはシフトレンズ群１１２が右、上、中心位置にあるときに取得した画像それぞれとマッチング処理を行う。マッチング処理によりそれぞれの画像間の類似箇所を検出し、類似箇所が重なるように合成処理を行う。
【００５７】
図９（ａ）は、図９（ｃ）に示すように撮像装置３００の撮像光学系の光軸方向がシフトレンズ群１１２の移動により光軸Ａで示す方向に傾動された状態で撮影された画像である。図９（ｂ）も同様に撮像装置３００の光軸方向が光軸Ｂで示す方向に傾動された状態で撮影された画像である。図９（ａ）の画像をブロック分割し、図９（ｂ）の画像から類似箇所を検出する。類似箇所の検出により図９（ａ）、図９（ｂ）に示す類似箇所１、類似箇所２が検出される。類似箇所１および類似箇所２が重なるように合成処理を行って生成される合成画像は図９（ｄ）のようになる。マッチング処理および合成処理で９枚の画像を合成することにより全体画像が得られる。
【００５８】
ステップＳ２０２では、全体画像に対し自動パンニングパラメータに基づき構図枠を合成した自動パンニングパラメータ表示画像を生成する。入力制御部３０３は自動パンニングパラメータにおける自動パンニング開始位置、自動パンニング終了位置情報から全体画像上の自動パンニング開始位置、自動パンニング終了位置を算出し、さらに自動パンニング範囲を算出する。全体画像上の自動パンニング開始位置、自動パンニング終了位置、自動パンニング範囲などの自動パンニングパラメータ表示情報を画像合成部３０２に出力する。画像合成部３０２は自動パンニングパラメータ表示情報に基づき、全体画像上に構図枠を合成して自動パンニングパラメータ表示画像を生成する。
【００５９】
図９（ｅ）は自動パンニングパラメータ表示画像を示している。なお、図９（ｅ）では自動パンニング範囲、自動パンニング開始位置、自動パンニング終了位置を合成しているが、これら以外の自動パンニングパラメータに関する情報を表示してもよい。前述の処理まででは自動パンニングパラメータ表示画像は画像合成により従来の表示画像よりも大きいものであるため、表示用に縮小処理を行う。縮小処理とは、例えば近傍画素を平均化して解像度を小さくする処理である。
【００６０】
ステップＳ２０３では、表示用に縮小された自動パンニングパラメータ表示画像の表示を行い、自動パンニングリハーサルモードの処理を終了する。
【００６１】
ただし、ステップＳ２０３以降は図２のフローチャートで示したステップＳ１０６にあるように自動パンニングパラメータ再設定判定を行う。ここで、自動パンニングパラメータの再設定を行う場合、図３（ａ）に示す表示部１１８に表示する画像を全体画像とする。これにより、第１の実施形態で説明した自動パンニングパラメータ設定方法よりもさらに広い画角において自動パンニングパラメータ設定が行えるため、撮影者はより容易に構図確認を行うことができる。
【００６２】
なお、本実施形態においては、画像合成用の９枚の画像をシフトレンズ群１１２の移動により取得する方法について説明したが、撮像装置３００において第２の実施形態で説明したような移動可能な撮像素子により合成用画像取得を行ってもよい。
【００６３】
以上説明したとおり、本実施形態においては、画像合成により生成した大きい画角の画像上で自動パンニングリハーサルモード時のパンニングの構図表示を行う。これによって、全体画像上で自動パンニング時の構図を撮影者が確認できるため、構図確認および自動パンニングパラメータ設定の容易性が向上する。 
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００６４】
（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014220597.tif 000003
【図２】
2014220597.tif 000004
【図３】
2014220597.tif 000005
【図４】
2014220597.tif 000006
【図５】
2014220597.tif 000007
【図６】
2014220597.tif 000008
【図７】
2014220597.tif 000009
【図８】
2014220597.tif 000010
【図９】
2014220597.tif 000011