(57)【要約】【課題】品位の良好な撮像画像を得ることができるようにする。【解決手段】位置調整機構であるジンバル機構１５やレンズシフト機構３５は、撮像光学系３２の撮像方向や、撮像光学系３２で形成される被写体光学像と被写体光学像に基づいた画像信号を生成する撮像部５０における撮像領域との相対位置の少なくとも一方を調整する。画像処理部６１は、撮像部５０で生成された画像信号を用いて被写体認識を行う。振れ検出部８０は、撮像装置１０の振れを検出する。制御部９０は、被写体認識結果に基づいて位置調整機構を駆動する被写体追尾処理と、振れ検出結果に基づいて位置調整機構を駆動する像振れ補正処理との何れの処理を優先するか判別して、優先しない処理に対する位置調整機構の調整量を制限する。【選択図】        図７
2015136035.tif 000002
【特許請求の範囲】
【請求項１】
撮像部で撮像される領域の位置調整を行う位置調整機構と、
前記撮像部で生成された画像信号を用いて被写体認識を行う画像処理部と、
当該撮像装置の振れを検出する振れ検出部と、
前記画像処理部の認識結果に基づいて前記位置調整機構を駆動する被写体追尾処理と、前記振れ検出部の検出結果に基づいて前記位置調整機構を駆動する像振れ補正処理との何れの処理を優先するか判別して、優先しない処理に対する前記位置調整機構の調整量を制限する制御部と
を備える撮像装置。
【請求項２】
前記制御部は、前記撮像部で得られる撮像画像内での動きが少なくなる処理を優先する
請求項１記載の撮像装置。
【請求項３】
前記制御部は、前記撮像光学系のズーム位置、追尾対象の被写体である前記画像処理部で認識された注目被写体の撮像画像内におけるサイズ、前記注目被写体の移動速度の少なくとも何れかに基づいて、前記被写体追尾処理と前記像振れ補正処理の何れを優先するか判別する
請求項２記載の撮像装置。
【請求項４】
前記制御部は、前記撮像光学系のズーム位置が所定位置よりも広角側である場合、および前記注目被写体が所定以上のサイズでないとき前記像振れ補正処理を優先する
請求項３記載の撮像装置。
【請求項５】
前記制御部は、前記注目被写体が所定の移動速度以下でないとき前記像振れ補正処理を優先する
請求項４記載の撮像装置。
【請求項６】
前記制御部は、撮像画像内における前記注目被写体の速度と前記振れ検出部で検出した被写体追尾方向の速度に基づいて前記注目被写体の移動速度を算出する
請求項３記載の撮像装置。
【請求項７】
前記制御部は、前記撮像光学系のズーム位置が所定位置よりも広角側である場合、前記画像処理部で前記注目被写体が認識されていない場合、前記注目被写体が前記所定以上のサイズでない場合、前記注目被写体が所定の移動速度以下でない場合の何れかであるとき、前記追尾対象の被写体を前記画像処理部で認識された背景被写体として、前記被写体追尾処理を優先する
請求項３記載の撮像装置。
【請求項８】
前記制御部は、優先する処理で用いる前記位置調整機構の調整可能量の割り当てを行い、残りの調整可能量を他方の処理に割り当てることで、前記優先しない処理に対する前記位置調整機構の調整量を制限する
請求項１記載の撮像装置。
【請求項９】
前記制御部は、前記被写体追尾処理における被写体追尾量または前記像振れ補正処理における像ぶれ補正量に対して制限処理を行うことで、前記位置調整機構の調整量を割り当てられた調整可能量に制限して、前記被写体追尾量と前記制限処理後の像振れ補正量または前記像振れ補正量と前記制限処理後の被写体追尾量の合成結果に基づいて前記位置調整機構を駆動する
請求項８記載の撮像装置。
【請求項１０】
前記制御部は、前記像振れ補正処理を優先する場合、所定期間の前記振れ検出部の振れ検出結果に基づき、前記位置調整機構の調整可能量の割り当てを行う
請求項８記載の撮像装置。
【請求項１１】
前記制御部は、前記振れ検出部の振れ検出結果の周波数成分を判別して、判別結果に基づき前記所定期間の長さを設定する
請求項１０記載の撮像装置。
【請求項１２】
表示部をさらに設け、
前記制御部は、前記位置調整機構の調整限界を識別可能とする限界識別情報を前記表示部に表示する
請求項１記載の撮像装置。
【請求項１３】
前記制御部は、前記限界識別情報をライブビュー画像と共に前記表示部に表示する
請求項１２記載の撮像装置。
【請求項１４】
前記位置調整機構は、撮像光学系の撮像方向、または前記撮像光学系で形成される被写体光学像と前記被写体光学像に基づいた画像信号を生成する撮像部における撮像領域との相対位置の少なくとも一方を調整して、前記撮像領域の位置調整を行う
請求項１記載の撮像装置。
【請求項１５】
位置調整機構によって、撮像部で撮像される領域の位置調整を行う工程と、
画像処理部によって、前記撮像部で生成された画像信号を用いて被写体認識を行う工程と、
振れ検出部によって、振れを検出する工程と、
制御部によって、前記被写体認識の認識結果に基づいて前記位置調整機構を駆動する被写体追尾処理と、前記振れ検出の検出結果に基づいて前記位置調整機構を駆動する像振れ補正処理との何れの処理を優先するか判別して、優先しない処理に対する前記位置調整機構の調整量を制限する工程と
を含む撮像方法。
【請求項１６】
撮像装置における撮像動作をコンピュータで制御するためのプログラムであって、
位置調整機構を用いて、撮像部で撮像される領域の位置調整を行う手順と、
前記撮像部で生成された画像信号を用いて行われた被写体認識の認識結果に基づいて前記位置調整機構を駆動する被写体追尾処理と、前記撮像装置の振れ検出結果に基づいて前記位置調整機構を駆動する像振れ補正処理との何れの処理を優先するか判別して、優先しない処理に対する前記位置調整機構の調整量を制限する手順と
を前記コンピュータで実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、撮像装置と撮像方法およびプログラムに関し、品位の良好な撮像画像を得られるようにする。
【背景技術】
【０００２】
従来、撮像装置では、被写体追尾機能を備えた撮像装置が種々提案されている。例えば特許文献１の撮像装置は、撮像した動画像上で、所定の条件を満たす注目領域を検出して追跡する。また、この撮像装置は、追跡している注目領域が動画像上で、画像上の外側に移動するか画像上の端部に位置すると、撮像部が撮像する方向を注目領域の移動又は位置に応じて変化させており、撮像する方向の変化は、像振れ補正機構を利用して行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１３５２８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、像振れ補正機構は、補正可能量（補正可能範囲）に限りがある。このため、像振れ補正機構を用いて被写体追尾と像振れ補正を行うようにした場合、被写体追尾のために補正可能量が使い果たされて像振れ補正が突然効かなくなるおそれがある。例えば、注目被写体の動きが大きいシーン（例えば運動会やサッカーなど）の撮像時に、補正可能量が被写体追尾のために使い果たされると像振れ補正が突然効かなくなり、撮像画像は品位の低下した画像となってしまうおそれがある。
【０００５】
そこで、この技術では被写体追尾と像振れ補正を行う場合に、品位の良好な撮像画像を得ることができる撮像装置と撮像方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
この技術の第１の側面は、撮像部で撮像される領域の位置調整を行う位置調整機構と、前記撮像部で生成された画像信号を用いて被写体認識を行う画像処理部と、当該撮像装置の振れを検出する振れ検出部と、前記画像処理部の認識結果に基づいて前記位置調整機構を駆動する被写体追尾処理と、前記振れ検出部の検出結果に基づいて前記位置調整機構を駆動する像振れ補正処理との何れの処理を優先するか判別して、優先しない処理に対する前記位置調整機構の調整量を制限する制御部とを備える撮像装置にある。
【０００７】
この技術においては、位置調整機構によって、撮像光学系の撮像方向、または撮像光学系で形成される被写体光学像と被写体光学像に基づいた画像信号を生成する撮像部における撮像領域との相対位置の少なくとも一方を調整することで、被写体追尾や像振れ補正が可能とされている。画像処理部では撮像部で生成された画像信号を用いて被写体認識が行われて、振れ検出部では当該撮像装置の振れの検出が行われる。
【０００８】
制御部では、被写体認識結果に基づいて位置調整機構を駆動する被写体追尾処理と、振れ検出結果に基づいて位置調整機構を駆動する像振れ補正処理の何れの処理を優先するかの判別が行われて、例えば撮像部で得られる撮像画像内での動きが少なくなる処理が優先する処理と判別される。制御部は、例えば撮像光学系のズーム位置が所定位置よりも広角側である場合や、認識された注目被写体の撮像画像内におけるサイズが所定以上でない場合、撮像画像内における注目被写体の速度と振れ検出部で検出した被写体追尾方向の速度に基づいて算出された注目被写体の移動速度が所定の移動速度以下でない場合に像振れ補正処理を優先する。また、制御部は、例えば撮像光学系のズーム位置が所定位置よりも広角側である場合、画像処理部で注目被写体が認識されていない場合、注目被写体が前記所定以上のサイズでない場合、注目被写体が所定の移動速度以下でない場合の何れかであるとき、画像処理部で認識された背景被写体を追尾対象の被写体として被写体追尾処理を優先する。さらに、制御部では、優先する処理の判別結果に基づき、優先しない処理に対する位置調整機構の調整量の制限が行われる。制御部は、撮像部で得られる撮像画像内での動きが少なくなる処理で用いる位置調整機構の調整可能量の割り当てを行い、残りの調整可能量を優先しない処理に割り当てることで、優先しない処理に対する位置調整機構の調整量を制限する。制御部は、例えば被写体追尾処理における被写体追尾量または像振れ補正処理における像ぶれ補正量に対して制限処理を行うことで、位置調整機構の調整量を割り当てられた調整可能量に制限して、被写体追尾量と制限処理後の像振れ補正量または像振れ補正量と制限処理後の被写体追尾量の合成結果に基づいて位置調整機構を駆動する制御を行う。また、制御部は、位置調整機構の調整限界を識別可能とする限界識別情報を表示部に表示する。
【０００９】
この技術の第２の側面は、位置調整機構によって、撮像部で撮像される領域の位置調整を行う工程と、画像処理部によって、前記撮像部で生成された画像信号を用いて被写体認識を行う工程と、振れ検出部によって、振れを検出する工程と、制御部によって、前記被写体認識の認識結果に基づいて前記位置調整機構を駆動する被写体追尾処理と、前記振れ検出の検出結果に基づいて前記位置調整機構を駆動する像振れ補正処理との何れの処理を優先するか判別して、優先しない処理に対する前記位置調整機構の調整量を制限する工程とを含む撮像方法にある。
【００１０】
この技術の第３の側面は、撮像装置における撮像動作をコンピュータで制御するためのプログラムであって、位置調整機構を用いて、撮像部で撮像される領域の位置調整を行う手順と、前記撮像部で生成された画像信号を用いて行われた被写体認識の認識結果に基づいて前記位置調整機構を駆動する被写体追尾処理と、前記撮像装置の振れ検出結果に基づいて前記位置調整機構を駆動する像振れ補正処理との何れの処理を優先するか判別して、優先しない処理に対する前記位置調整機構の調整量を制限する手順とを前記コンピュータで実行させるプログラムにある。
【００１１】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【発明の効果】
【００１２】
この技術によれば、位置調整機構によって、撮像部で撮像される領域の位置調整が行われる。また、撮像部で生成された画像信号を用いた被写体認識結果に基づいて位置調整機構を駆動する被写体追尾処理と、撮像装置の振れ検出結果に基づいて位置調整機構を駆動する像振れ補正処理との何れの処理を優先するか判別される。さらに、優先しない処理に対する位置調整機構の調整量が制限される。このため、例えば像振れ補正の優先時には被写体追尾処理に対する位置調整機構の調整量が制限されるので、被写体追尾が調整限界に達しても像振れ補正が可能である。したがって、被写体追尾が調整限界となったとき像振れ補正が突然効かなくなり、撮像画像が品位の低下した画像となってしまうことを防止できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１３】
【図１】撮像装置の外観を例示した図である。
【図２】ジンバル機構の斜視図である。
【図３】ジンバル機構の分解斜視図である。
【図４】図３とは異なる方向から見た状態のジンバル機構の斜視図である。
【図５】図４とは異なる方向から見た状態で示すジンバル機構の分解斜視図である。
【図６】レンズシフト機構の分解斜視図である。
【図７】撮像装置の構成を示す図である。
【図８】被写体追尾動作を示すフローチャートである。
【図９】優先処理の判定の動作を例示したフローチャートである。
【図１０】撮像状態と優先される処理の関係を例示した図である。
【図１１】優先処理の判定の他の動作を例示したフローチャートである。
【図１２】優先処理の判定の他の動作を行った場合を説明するための図である。
【図１３】限界識別情報の提示例を示した図である。
【発明を実施するための形態】
【００１４】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の外観例
２．画像位置調整装置の構成と動作
３．撮像装置の構成
４．撮像装置の動作
４−１．優先処理の判定の他の動作
４−２．優先処理の判定の他の動作
５．撮像装置の他の動作
６．追尾支援動作
【００１５】
＜１．撮像装置の外観例＞
図１は、本技術の撮像装置例えばビデオカメラの外観を例示している。なお、本技術の撮像装置は、ビデオカメラに限らず、撮像機能を有する携帯電話や通信端末装置、車載カメラ等にも適用することができる。
【００１６】
撮像装置１０の上面には、マイクロフォン１０１、ズームレバー１０２や撮影ボタン１０３等が配置されている。撮像装置１０の後面にはバッテリー１０４が装着されている。撮像装置１０の前面上部にはフラッシュ１０５が配置されており、フラッシュ１０５から補助光が前方へ向けて出射される。撮像装置１０の側面部には、回動自在かつ回転自在に表示パネル部１０６が連結されている。また、撮像装置１０の前部にはレンズユニット３０が設けられており、後端部にはファインダー部１０７が連結されている。
【００１７】
＜２．位置調整機構の構成と動作＞
次に、撮像装置１０の撮像部で撮像される領域の位置調整を行う位置調整機構について説明する。位置調整機構は、被写体追尾や像振れ補正において、所望の被写体が撮像画像の一定位置となるように位置調整を行うための機構である。
【００１８】
位置調整機構は、振れ検出結果や被写体検出結果に基づき、レンズユニット、調整レンズ、撮像部で用いられている撮像素子等の位置、撮像素子において画像の読み出しが行われる撮像領域の位置等の少なくとも何れかを制御する。位置調整機構は、このような制御を行うことで、撮像部で撮像される所望の被写体が撮像画像の一定位置となるように位置調整を行う。
【００１９】
位置調整機構は、例えば撮像光学系の撮像方向、または撮像光学系で形成される被写体光学像と被写体光学像に基づいた画像信号を生成する撮像部における撮像領域との相対位置の少なくとも一方を調整して、撮像部で撮像される領域の位置調整を行う。
【００２０】
ここで、位置調整機構の構成として、撮像光学系の撮像方向の調整を行う場合について説明する。位置調整機構は、レンズユニット、振れ検出部、位置調整部、調整制御部を有している。レンズユニットは、撮像光学系と撮像画像の画像信号を生成する撮像部を有している。振れ検出部は、レンズユニットに加わる振れを検出する。位置調整部は、ジンバル機構を備えている。ジンバル機構は、撮像光学系の光軸に直交する第１の支点軸の軸回り方向である第１の方向と、光軸および第１の支点軸に共に直交する第２の支点軸の軸回り方向である第２の方向とにレンズユニットを回動させて撮像位置の調整を行う。ジンバル機構は、例えばレンズユニットをヨーイング方向およびピッチング方向へ回動させることで撮像位置の調整を行う。
【００２１】
図２乃至図５は、ジンバル機構の斜視図と分解斜視図を例示している。ジンバル機構１５は、外フレーム１６と内フレーム１７と保持フレーム１８を有している。
【００２２】
外フレーム１６は、第１の部材１６０と第２の部材１６５とが結合されて構成されている。
【００２３】
第１の部材１６０は、上下方向を向く第１の面部１６１の右端部と左右方向を向く第２の面部１６２の上端部を連続させて構成されている。第１の面部１６１の中央部には挿通孔１６１ａが形成されている。第２の面部１６２は、前後に位置し略上下に延びる一対の柱部１６３と、柱部１６３の各下端部を連結し前後に延びる連設部１６４とを有している。
【００２４】
第２の部材１６５は、上下方向を向く第１の面状部１６６の左端部と左右方向を向く第２の面状部１６７の下端部を連続させて構成されている。第１の面状部１６６の中央部には配置孔１６６ａが形成されている。第２の面状部１６７の中央部には挿入配置孔１６７ａが形成されている。
【００２５】
第１の部材１６０における第２の面部１６２の下端部と第２の部材１６５における第１の面状部１６６の右端部とはネジ止め等によって結合されている。
【００２６】
内フレーム１７は外フレーム１６の内側に配置され、第１の支持部材１７０と第２の支持部材１７３とが結合されて構成されている。
【００２７】
第１の支持部材１７０は、上下方向を向く天面部１７１の右端部と左右方向を向く右側面部１７２の上端部を連続させて構成されている。天面部１７１の中央部には挿入配置孔１７１ａが形成されている。右側面部１７２の中央部には挿入孔１７２ａが形成されている。
【００２８】
第２の支持部材１７３は、上下方向を向く底面部１７４の左端部と左右方向を向く左側面部１７５の下端部を連続させて構成されている。底面部１７４の中央部には副軸２０１を取り付ける取付孔が形成されている。左側面部１７５の中央部には配置孔１７５ａが形成されている。
【００２９】
第１の支持部材１７０における右側面部１７２の下端部と第２の支持部材１７３における底面部１７４の右端部とはネジ止め等によって結合されている。第１の支持部材１７０における天面部１７１の左端部と第２の支持部材１７３における左側面部１７５の上端部はネジ止め等によって結合されている。
【００３０】
保持フレーム１８は内フレーム１７の内側に配置され、第１の取付部材１８１と第２の取付部材１８４とが結合されて構成されている。
【００３１】
第１の取付部材１８１は、上下方向を向く上面部１８２の右端部と左右方向を向く右横面部１８３の上端部を連続させて構成されている。右横面部１８３の中央部には挿入配置孔１８３ａが形成されている。
【００３２】
第２の取付部材１８４は、上下方向を向く下面部１８５の左端部と左右方向を向く左横面部１８６の下端部を連続させて構成されている。左横面部１８６の中央部には副軸２０２を取り付ける取付孔が形成されている。
【００３３】
第１の取付部材１８１における右横面部１８３の下端部と第２の取付部材１８４における下面部１８５の右端部とはネジ止め等によって結合されている。第１の取付部材１８１における上面部１８２の左端部と第２の取付部材１８４における左横面部１８６の上端部とはネジ止め等によって結合されている。
【００３４】
レンズユニット３０は保持フレーム１８の内側に配置され、鏡筒３１と鏡筒３１の内部において前後に並んで配置された複数のレンズで構成されている撮像光学系３２と鏡筒３１の後端部に取り付けられた撮像部５０とを有している。鏡筒３１は前後に長い筒状に形成されている。撮像部５０はＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子（図示せず）を有している。
【００３５】
レンズユニット３０の上方には第１の駆動モーター１９１が配置されている。また、レンズユニット３０の右方には第２の駆動モーター１９２が配置されている。第１の駆動モーター１９１と第２の駆動モーター１９２は、例えば扁平モーターである。
【００３６】
内フレーム１７における底面部１７４の取付孔には副軸２０１が取り付けられている。副軸２０１は上端部が取付孔に取り付けられ、上端部以外の部分が底面部１７４から下方へ突出されている。
【００３７】
保持フレーム１８における左横面部１８６の取付孔には副軸２０２が取り付けられている。副軸２０２は右端部が取付孔に取り付けられ、右端部以外の部分が左横面部１８６から左方へ突出されている。
【００３８】
外フレーム１６における第１の面状部１６６の配置孔１６６ａには軸受が挿入された状態で取り付けられている。また、内フレーム１７における左側面部１７５の配置孔１７５ａには軸受が挿入された状態で取り付けられている。
【００３９】
レンズユニット３０の外周面には保持フレーム１８がネジ止め等によって取り付けられる。レンズユニット３０に保持フレーム１８が取り付けられた状態においては、レンズユニット３０の前後両端部がそれぞれ保持フレーム１８の前後に突出される。
【００４０】
保持フレーム１８における右横面部１８３の外面には第２の駆動モーター１９２がネジ止め等によって取り付けられ、第２の駆動モーター１９２が保持フレーム１８の右方に配置される。
【００４１】
保持フレーム１８の外周側には内フレーム１７が配置される。保持フレーム１８の外周側に内フレーム１７が配置された状態においては、保持フレーム１８の左横面部１８６に取り付けられた副軸２０２が内フレーム１７の左側面部１７５の配置孔１７５ａに挿入された軸受に回転自在に支持される。
【００４２】
内フレーム１７における天面部１７１の上面には第１の駆動モーター１９１がネジ止め等によって取り付けられ、第１の駆動モーター１９１が内フレーム１７の上方に配置される。
【００４３】
内フレーム１７の外周側に外フレーム１６が配置された状態においては、内フレーム１７の底面部１７４に取り付けられた副軸２０１が外フレーム１６の第１の面状部１６６の配置孔１６６ａに挿入されている軸受に回転自在に支持される。
【００４４】
上記のように構成されたジンバル機構１５においては、第１の駆動モーター１９１の出力軸１９１ａの中心軸と副軸２０１の中心軸とを結ぶ軸が第１の支点軸とされている。また、第２の駆動モーター１９２の出力軸１９２ａの中心軸と副軸２０２の中心軸とを結ぶ軸が第２の支点軸とされる。すなわち、ジンバル機構１５において、第１の駆動モーター１９１を駆動すると、レンズユニット３０がヨーイング方向に駆動されて、第２の駆動モーター１９２を駆動すると、レンズユニット３０がピッチング方向に駆動される。
【００４５】
このようにジンバル機構１５を用いた位置調整機構は、レンズユニット３０をヨーイング方向やピッチング方向に駆動して、撮像される領域の位置調整を行う。
【００４６】
次に、位置調整機構の他の構成として、被写体光学像と撮像部における撮像領域との相対位置の調整を行う場合について説明する。図６は、調整レンズの位置を制御して撮像位置の調整を行うレンズシフト機構の分解斜視図である。レンズシフト機構３５は、調整レンズ３６と、調整レンズ保持枠３７と、ベース３８と、カバー３９と、調整レンズ支持機構４０と、調整レンズ移動機構４１とを含んだ構成されている。
【００４７】
調整レンズ３６は、レンズユニットの光軸と直交する平面上で、直交する２方向であるＸ軸方向とＹ軸方向に駆動させて、上述の撮像部５０に設けられている撮像素子の撮像面に結像される被写体像の位置を調整する。
【００４８】
調整レンズ保持枠３７は、枠状の本体３７１、本体３７１の側面から突出された第１の突出部３７２および第２の突出部３７３とを備えている。本実施の形態では、調整レンズ保持枠３７は、合成樹脂材料により一体成形されている。
【００４９】
調整レンズ３６は、枠状の本体３７１で支持されている。第１の突出部３７２は、本体３７１の一方の側面から調整レンズ３６の半径方向外側にＸ軸方向に沿って突出形成されている。第２の突出部３７３は、本体３７１の一方の側面に対して光軸を中心に９０度回転した位置の側面から第１の突出部３７２と直交する方向でＹ軸方向に沿って突出形成されている。
【００５０】
第１の突出部３７２と第２の突出部３７３は、カバー３９に対向する面にそれぞれ第１のコイル３７４と第２のコイル３７５とが取り付けされている。
【００５１】
ベース３８は、光軸を中心とした光路形成用の開口３８１が形成された後壁３８２と、後壁３８２の周囲から前方に起立した側壁３８３とを有している。なお、本実施の形態において、ベース３８は、合成樹脂材料により一体成形されている。
【００５２】
第１のコイル３７４と第２のコイル３７５に対向する後壁３８２の箇所にそれぞれ第１、第２の磁石４１４，４１５が取り付けられている。
【００５３】
本実施の形態では、それらコイル３７４，３７５と磁石４１４，４１５により調整レンズ移動機構４１が構成されている。
【００５４】
カバー３９は、光軸を中心とした光路形成用の開口３９１が形成された前壁３９２を有している。
【００５５】
ベース３８とカバー３９とが組み付けられることにより、それらの内部に調整レンズ保持枠３７、調整レンズ支持機構４０、調整レンズ移動機構４１とを収容する収容空間が設けられる。ベース３８とカバー３９との組み付けは、ネジ結合、接着剤による接着など従来公知の様々な手段によりなされる。
【００５６】
調整レンズ支持機構４０は、３つの支持部４０１と、３つの支持部４０１にそれぞれ支持された３つの転動体４０２と維持手段４０３を含んで構成されている。３つの支持部４０１は、調整レンズ保持枠３７とベース３８とが対向する箇所で互いに間隔をおいた３箇所（複数箇所）にそれぞれ設けられており、調整レンズ保持枠３７を光軸と直交する平面上で、直交する方向に駆動可能に支持する。
【００５７】
維持手段４０３は、光軸に沿った調整レンズ保持枠３７とベース３８の距離を一定に維持するものである。維持手段４０３は、調整レンズ保持枠３７とカバー３９との間に介設されたコイルスプリングと、３つの円柱状の転動体４０２とを含んで構成されている。
【００５８】
本実施の形態では、コイルスプリングは単一であり、コイルスプリングは調整レンズ３６よりも大きい内径で形成され、コイルスプリングの内側に撮像光路が位置するように配置されている。
【００５９】
維持手段４０３は調整レンズ保持枠３７を常にベース３８方向に付勢し、この付勢力により光軸に沿った調整レンズ保持枠３７とベース３８の距離が一定に維持される。
【００６０】
本実施の形態では、維持手段４０３により３つの転動体４０２ががたつくことなく各支持部４０１で支持される。
【００６１】
なお、維持手段４０３は、光軸に沿った調整レンズ保持枠３７とベース３８の距離を一定に維持するものであればよく、上述の構成に限定されず従来公知の様々な構造が採用可能であるが、上述のように構成すると部品点数を削減する上で有利となる。
【００６２】
レンズシフト機構３５では、コイル３７４，３７５と磁石４１４，４１５により、光軸と直交する平面上で、調整レンズ３６を直交する方向に移動する。
【００６３】
このようにレンズシフト機構３５を用いた位置調整機構は、例えばレンズユニット３０に設けられた調整レンズ３６を撮像光学系の光軸と直交する方向に駆動して、撮像される領域の位置調整を行う。
【００６４】
以上のように、位置調整機構としてジンバル機構を用いる場合、レンズユニットを移動することから、レンズシフト機構を用いる場合に比べて位置調整量（位置調整範囲）を大きくできる。また、位置調整機構としてレンズシフト機構を用いる場合、調整レンズを移動して位置調整が行われることから、ジンバル機構を用いる場合に比べて少ない駆動力で位置調整が可能となる。さらに、位置調整機構は、ジンバル機構とレンズシフト機構を用いて構成してもよい。この場合、位置調整機構は、調整量が大きいときにレンズユニットを移動させて、調整量が小さいときに調整レンズを移動させることで、位置調整を効率よく行うことができる。
【００６５】
なお、位置調整機構は、ジンバル機構のみを用いる構成やレンズシフト機構のみを用いる構成、ジンバル機構とレンズシフト機構を用いる構成に限られない。位置調整機構は、例えば調整レンズを移動させる代わりに撮像光学系の光軸と直交する方向に撮像部の撮像素子を移動させるセンサーシフト機構を用いて位置調整を行ってもよい。また、位置調整機構は、ジンバル機構とセンサーシフト機構を用いる構成としてもよい。さらに、位置調整機構は、撮像部における画像読出位置を制御して撮像領域を電子的に移動して、被写体光学像と撮像領域との相対位置の調整する構成を用いてもよく、レンズユニット等を移動させる構成に画像読出位置の制御を行う構成を加えた構成としてもよい。
【００６６】
＜３．撮像装置の構成＞
図７は、撮像装置の構成を示す図である。なお、撮像装置で用いた位置調整機構は、ジンバル機構とレンズシフト機構を用いた構成とする。
【００６７】
撮像装置１０は、レンズユニット３０、画像処理部６１、表示処理部６３、表示部６４、記録再生処理部６５、記録部６６、ユーザーインタフェース（ユーザーＩ／Ｆ）部６７、振れ検出部８０、位置調整駆動部８５、制御部９０を有している。また、撮像装置１０は、レンズ駆動部１４とジンバル機構１５を有している。さらに、レンズユニット３０には、撮像光学系３２とレンズシフト機構３５および撮像部５０が設けられている。
【００６８】
撮像光学系３２は、フォーカスレンズやズームレンズ等で構成されている。撮像光学系３２では、例えばズームレンズを光軸方向に移動して焦点距離を可変する。またフォーカスレンズを光軸方向に移動してフォーカス調整を行う。
【００６９】
レンズシフト機構３５は、後述する位置調整駆動部８５からの第２駆動信号に基づき、上述のように調整レンズ３６を光軸に対して直交方向に調整レンズ移動機構４１によって移動させて被写体追尾や像振れ補正を行う。
【００７０】
撮像部５０は、撮像素子、前処理部、撮像駆動部等で構成されている。撮像素子は、光電変換処理を行い、撮像光学系３２および調整レンズ３６によって撮像面に結像された光学像を電気信号に変換する。撮像素子は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ、またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等が用いられる。前処理部は、撮像素子で生成された電気信号に対してＣＤＳ（correlated double sampling：相関２重サンプリング）等のノイズ除去処理を行う。また、前処理部は、電気信号の信号レベルを所望の信号レベルとするゲイン調整を行う。さらに、前処理部は、Ａ／Ｄ変換処理を行い、ノイズ除去処理やゲイン調整が行われた電気信号であるアナログの画像信号をディジタルの画像信号に変換して、画像処理部６１へ出力する。撮像駆動部は、後述する制御部９０からの制御信号に基づき、撮像素子を駆動するために必要な動作パルス等の生成を行う。例えば、電荷を読み出すための電荷読出パルス、垂直方向や水平方向の転送を行うための転送パルス、電子シャッター動作を行うためのシャッターパルス等の生成を行う。
【００７１】
レンズ駆動部１４は、制御部９０からの制御信号に基づきフォーカスレンズやズームレンズの駆動を行う。また、レンズ駆動部１４は、レンズ位置を示す情報を制御部９０へ出力する。
【００７２】
ジンバル機構１５は、後述する位置調整駆動部８５からの第１駆動信号に基づき、上述のようにレンズユニット３０をヨーイング方向およびピッチング方向へ回動させることで被写体追尾や像振れ補正を行う。
【００７３】
画像処理部６１は、撮像部５０から出力された画像信号に対してカメラプロセス処理等を行う。画像処理部６１は、例えば画像信号に対してガンマ補正やニー補正等の非線形処理、色補正処理、輪郭強調処理等を行う。画像処理部６１は処理後の画像信号を表示処理部６３や記録再生処理部６５へ出力する。さらに、画像処理部６１は、画像信号を用いて被写体認識を行い、注目被写体が撮像画像の何れの位置にあるか検出する。画像処理部６１は、例えば顔認識等を行い、所望の人物を注目被写体として検出する。また、画像処理部６１は、被写体認識を行い撮像画像に含まれている背景被写体、例えば背景の建物や空との境界を示す地平線等を検出する。画像処理部６１は、検出した注目被写体や背景被写体の撮像画像上の位置を示す座標情報を生成する。また、画像処理部６１は、撮像画像上における注目被写体のサイズを判別する。画像処理部６１は、注目被写体や背景被写体に認識結果や認識された注目被写体や背景被写体の座標情報、判別された注目被写体のサイズ等を被写体認識結果として制御部９０へ出力する。
【００７４】
表示処理部６３は、画像処理部６１から出力された画像信号を表示部６４の表示素子に対応した画像信号とする処理を行う。例えば表示処理部６３は、画像処理部６１から出力された画像信号に介して解像度変換を行い、表示部６４の表示素子に対応した解像度の画像信号を生成して表示部６４へ出力する。
【００７５】
表示部６４は、上述の表示パネル部１０６やファインダー部１０７を用いて構成されている。表示部６４は、表示処理部６３から出力された画像信号に基づきカメラスルー画像の表示等を行う。また、表示部６４は、撮像装置１０の動作設定を行うためのメニュー表示や動作状態表示、後述する限界識別情報等の表示も行う。
【００７６】
記録再生処理部６５は、画像処理部６１から出力された画像信号を用いて所定のファイル形式の記録信号として記録部６６へ出力する。また、記録再生処理部６５は、画像信号の符号化処理や、符号化信号の復号処理を行うようにしてもよい。さらに、記録再生処理部６５は、記録部６６で記録媒体から読み出された信号を処理して、得られた再生画像の画像信号を表示処理部６３へ出力して、再生画像を表示部６４で表示させてもよい。
【００７７】
記録部６６は、記録再生処理部６５から出力された記録信号を記録媒体に記録する。記録媒体としては、メモリカードや光ディスク、磁気テープ等のように着脱可能であってもよく、固定タイプのＨＤＤ（Hard Disk Drive）や半導体メモリモジュール等であってもよい。また、記録部６６は、記録媒体に記録されている信号を読み出して記録再生処理部６５へ出力する。
【００７８】
ユーザーインタフェース部６７は、図１に示すズームレバー１０２や撮影ボタン１０３等で構成されている。ユーザーインタフェース部６７は、ユーザー操作に応じた操作信号を生成して制御部９０に出力する。
【００７９】
振れ検出部８０は、撮像装置１０（レンズユニット３０）に加わる振れを検出する。振れ検出部８０は、ジャイロセンサや三次元加速度センサ等を用いて構成されており、振れの検出結果を制御部９０へ出力する。
【００８０】
位置調整駆動部８５は、制御部９０から供給された制御信号に基づき第１駆動信号と第２駆動信号を生成する。位置調整駆動部８５は、第１駆動信号をジンバル機構１５へ出力して、第２駆動信号をレンズシフト機構３５における調整レンズ移動機構４１へ出力する。
【００８１】
制御部９０は、例えばＣＰＵ(Central Processing Unit)と、ＲＯＭ(Read Only Memory)と、ＲＡＭ(Random Access Memory)を備えている。ＣＰＵは、ＲＯＭに格納されている制御プログラムを必要に応じて読み出して実行する。ＲＯＭには、ＣＰＵにおいて実行されるプログラムや各種の処理において必要となるデータ等が予め記憶されている。ＲＡＭは、処理の途中結果などを一時記憶するいわゆる作業領域として用いられるメモリである。また、ＲＯＭまたはＲＡＭは、各種の設定パラメータの情報等を記憶する。制御部９０は、ユーザーインタフェース部６７からの操作信号等に応じて各部の制御を行い、ユーザー操作に応じた動作を撮像装置１０で行わせる。さらに、制御部９０は、画像処理部６１から供給された被写体認識結果に基づいて位置調整機構であるジンバル機構１５やレンズシフト機構３５を駆動する被写体追尾処理と、振れ検出部８０の振れ検出結果に基づいて上述の位置調整機構を駆動する像振れ補正処理との何れの処理を優先するか判別して、優先しない処理に対する位置調整機構の調整量を制限する。さらに、制御部９０は、被写体追尾量と制限処理後の像振れ補正量または像振れ補正量と制限処理後の被写体追尾量の合成結果に基づいて、位置調整機構を駆動するための制御信号を位置調整駆動部８５へ出力する。
【００８２】
なお、制御部９０における位置調整制御部分は、振れ検出部と共にレンズユニット側に設けてもよい。この場合、レンズユニットを交換可能に構成すれば、このレンズユニットを、被写体認識等を行うことができる撮像装置本体部に装着するだけで、被写体追尾と像振れ補正を行い品位の良好な撮像画像を得ることができるようになる。
【００８３】
＜４．撮像装置の動作＞
次に、撮像装置の動作について説明する。図８は、撮像装置における被写体追尾動作を示すフローチャートである。なお、説明を簡単とするため、ジンバル機構１５とレンズシフト機構３５の両方を用いた場合における位置調整の最大調整可能量を、位置調整機構の最大調整可能量Ｖmaxとする。式（１）において、「Ｖmax_y」はヨーイング方向の最大調整可能量、「Ｖmax_p」はピッチング方向の最大調整可能量を示している。
Ｖmax＝（Ｖmax_y，Ｖmax_p）      ・・・（１）
【００８４】
撮像装置は、所望の被写体（以下「注目被写体」という）を追尾する指示がユーザー等から行われたとき、図８に示す被写体追尾動作を行う。撮像装置は、動画の撮像モードである場合、例えば起動時あるいは録画開始時に注目被写体を追尾する指示が行われたとして追尾動作を開始する。また、撮像装置は、静止画の撮像モードである場合、例えばシャッターボタンの半押し操作が行われたとき、注目被写体を追尾する指示が行われたとして追尾動作を開始する。なお、追尾動作の開始は上述のタイミングに限らず他のタイミングで行うようにしてもよい。
【００８５】
図８のステップＳＴ１で制御部９０は、被写体追尾量演算を行う。制御部９０は、被写体認識結果等に基づいて、撮像画像面内において注目被写体が停止した位置となるように撮像位置を調整するための位置調整量を算出する。制御部９０は、例えば注目被写体の位置を示す座標情報のフレーム間の変化量と撮像光学系３２における現在のズーム位置から、注目被写体のヨーイング方向とピッチング方向の移動量を推定する。さらに制御部９０は、移動量推定結果に基づき、注目被写体を停止した位置とするために必要なヨーイング方向の位置調整量を被写体追尾量「Ｖtrack_y」、ピッチング方向の位置調整量を被写体追尾量「Ｖtrack_y」とする。制御部９０は、式（２）に示すように、被写体追尾量「Ｖtrack_y」，「Ｖtrack_y」を被写体追尾量ＶtrackとしてステップＳＴ２に進む。
Ｖtrack＝（Ｖtrack_y，Ｖtrack_p）      ・・・（２）
【００８６】
ステップＳＴ２で制御部９０は像振れ補正量演算を行う。制御部９０は、振れ検出結果に基づき、振れを生じていない撮像画像が得られるように撮像位置を調整するための位置調整量を算出する。制御部９０は、振れ検出結果に基づき注目被写体のヨーイング方向とピッチング方向の振れ量を推定する。さらに制御部９０は、振れ量推定結果に基づき、注目被写体の振れが生じないようにするために必要なヨーイング方向の位置調整量を像振れ補正量「Ｖsteady_y」、ピッチング方向の位置調整量を像振れ補正量「Ｖsteady_y」とする。制御部９０は、式（３）に示すように、像振れ補正量「Ｖsteady_y」，「Ｖsteady_y」を像振れ補正量Ｖsteadyとする。
Ｖsteady＝（Ｖsteady_y，Ｖsteady_p）      ・・・（３）
【００８７】
また、制御部９０は、所定期間（例えば直前の一定期間）における像振れ補正量ＶsteadyのＰＰ値（peak to peak value）を示す像振れ補正ＰＰ値ｄＶsを算出して保持しておく。式（４）において、「ｄＶs_y」はヨーイング方向の像振れ補正ＰＰ値、「ｄＶs_p」はピッチング方向の像振れ補正ＰＰ値を示している。
ｄＶs＝（ｄＶs_y，ｄＶs_p）      ・・・（４）
【００８８】
制御部９０は、像振れ補正量Ｖsteadyおよび像振れ補正ＰＰ値ｄＶsを算出してステップＳＴ３に進む。
【００８９】
ステップＳＴ３で制御部９０は、優先処理の判定を行う。制御部９０は、被写体追尾処理と像振れ補正処理の何れを優先させて行うか判定する。制御部９０は、優先度判定処理において、撮像画像内での動きが少なくなる処理を優先して、品位の良好な撮像画像を得ることができるようにする。
【００９０】
図９は、優先処理の判定の動作を例示したフローチャートである。ステップＳＴ１１で制御部９０は、撮像光学系のズーム位置が所定画角よりも広角側であるか判別する。制御部９０は、レンズ駆動部１４から取得したズームレンズ位置情報に基づき現在のズーム位置が所定画角よりも広角側でない場合はステップＳＴ１２に進み、所定画角よりも広角側である場合はステップＳＴ１５に進む。制御部９０は、例えば所定画角となるズーム位置（焦点距離）を閾値Ｚwide_thrとして、現在のズーム位置（焦点距離）Ｚpが式（５）の条件を満たす場合に所定画角よりも広角側であると判別する。
Ｚｐ＜Ｚwide_thr      ・・・（５）
【００９１】
ステップＳＴ１２で制御部９０は、注目被写体がアップ状態であるか判別する。制御部９０は、被写体認識結果で示された注目被写体サイズに基づき、注目被写体がアップ状態であるか判別する。例えば注目被写体サイズは、撮像画像における注目被写体の画像領域の画素数Ｔsを示しているとする。この場合、制御部９０は、画素数Ｔsが式（６）に示すように所定サイズの画像領域の画素数である閾値Ｔs_thrより多い場合、注目被写体がアップ状態であると判別してステップＳＴ１３に進む。また、制御部９０は、画素数Ｔsが閾値Ｔs_thr以下である場合は、注目被写体がアップ状態でないと判別してステップＳＴ１５に進む。
Ｔs＞Ｔs_thr        ・・・（６）
【００９２】
ステップＳＴ１３で制御部９０は、注目被写体の移動速度が所定速度以下であるか判別する。制御部９０は、被写体認識結果と振れ検出結果等に基づき、注目被写体の移動速度を算出する。制御部９０は、例えば注目被写体の位置情報に基づきフレーム間で何れの位置に注目被写体が移動したか判別して、判別結果に基づき撮像画像内の移動量を算出する。なお、撮像画像内の移動量の算出は、画像処理部６１で行うようにしてもよい。
【００９３】
位置調整機構を用いた被写体追尾が有効に機能している場合、注目被写体は撮像画像内において静止した位置となり、注目被写体の移動速度は、位置調整機構で被写体追尾が行われている場合の追尾成分と等しくなる。また、撮像画像内で注目被写体が移動する場合、注目被写体の移動速度は、追尾成分よりも速い速度または遅い速度である。したがって、制御部９０は、追尾成分と撮像画像内の移動速度に基づき被写体速度Ｔv_realを算出する。例えば、撮像画像内において、注目被写体の位置が追尾方向に対して逆方向に移動している場合は、追尾成分に基づく移動速度よりも注目被写体の速度が遅れている。したがって、追尾成分に基づく速度から撮像画像内の移動量に基づく速度を減算して被写体速度Ｔv_realとする。また、注目被写体の位置が追尾方向に移動している場合は、追尾成分に基づく移動速度よりも注目被写体の速度が速いので、追尾成分に基づく速度に撮像画像内の移動量に基づく速度を加算して被写体速度Ｔv_realとする。制御部９０は、算出した被写体速度Ｔv_realが式（７）に示すように、所定速度である閾値Ｔv_thr以下であると判別した場合はステップＳＴ１４に進み、閾値Ｔv_thrよりも速いと判別した場合はステップＳＴ１５に進む。
Ｔv_real≦Ｔv_thr        ・・・（７）
【００９４】
ステップＳＴ１４で制御部９０は被写体追尾優先と判定する。制御部９０は、被写体追尾処理を優先させると判定して図８のステップＳＴ４に進む。
【００９５】
ステップＳＴ１１乃至ステップＳＴ１３からステップＳＴ１５に進むと、制御部９０は像振れ補正優先と判定する。制御部９０は、像振れ補正処理を優先させると判定して図８のステップＳＴ４に進む。
【００９６】
なお、ステップＳＴ１１からステップＳＴ１３の処理順序は、図９に示す順序に限らず、他の順序で行うようにしてもよい。また、ステップＳＴ１１からステップＳＴ１３の処理を選択的に行うようにしてもよい。例えばステップＳＴ１３の処理を省略することも可能である。
【００９７】
図８のステップＳＴ４で制御部９０は、被写体追尾処理を優先するか判別する。制御部９０は、ステップＳＴ３の優先処理の判定によって被写体追尾優先と判定された場合はステップＳＴ５に進み、像振れ補正優先と判定された場合はステップＳＴ６に進む。
【００９８】
ステップＳＴ５で制御部９０は、像振れ補正量リミット演算を行う。制御部９０は、被写体追尾処理を優先させて、優先しない像振れ補正処理に対する位置調整機構の調整量を制限する。例えば、制御部９０は、被写体追尾方向に対する位置調整機構の調整可能量を被写体追尾処理に全て割り当てて、像振れ補正処理に対しては被写体追尾方向に対する位置調整機構の調整可能量を「０」とする。制御部９０は、被写体追尾方向がヨーイング方向である場合、被写体追尾方向の像振れ補正を行わないようにヨーイング方向の像振れ補正量を「Ｖsteady_y＝０」とする。また、制御部９０は、被写体追尾方向がピッチング方向の成分を含む場合、被写体追尾方向の像振れ補正を行わないようにピッチング方向の像振れ補正量を「Ｖsteady_p＝０」とする。なお、調整量の制限は、制限率を「１００％」として像振れ補正処理に対する位置調整機構の調整可能量を「０」とする場合に限らず、所定の制限率で制限してもよい。例えば像振れ補正処理に対する位置調整機構の調整可能量が、被写体追尾方向に対する位置調整機構の調整可能量に比べて少なくなる制限率で調整量の制限を行うようにしてもよい。また、制限率は、予め設定されていてもよく、ユーザが設定できるようにしてもよい。このように、制御部９０は、優先しない像振れ補正処理に対する位置調整機構の調整量を制限してステップＳＴ７に進む。
【００９９】
ステップＳＴ６で制御部９０は、被写体追尾量リミット演算を行う。制御部９０は、像振れ補正処理を優先させて、優先しない被写体追尾処理に対する位置調整機構の調整量を制限する。例えば、上述のステップＳＴ２の処理を制御部９０で行うと、所定期間（例えば直前の一定期間）における像振れ補正量ＶsteadyのＰＰ値（peak to peak value）を示す像振れ補正ＰＰ値ｄＶsが保持される。したがって、制御部９０は、保持されている像振れ補正ＰＰ値ｄＶsを像振れ補正対応量として、この像振れ補正対応量の位置調整を行えるように位置調整機構の調整可能量を割り当てて、残りの調整可能量を被写体追尾処理で用いるようにする。制御部９０は、被写体追尾方向がヨーイング方向である場合、ヨーイング方向の被写体追尾量Ｖtrack_yが式（８）の条件を満たす場合、式（９）に示すように、被写体追尾量Ｖtrack_yを制限する。また、被写体追尾方向がピッチング方向の成分を含む場合、ピッチング方向の被写体追尾量Ｖtrack_pについても式（１０）（１１）に示すようにして制限を行う。なお、「ｄＶs_y」は像振れ補正ＰＰ値ｄＶsのヨーイング方向の成分、「ｄＶs_p」は像振れ補正ＰＰ値ｄＶsのピッチング方向の成分である。
Ｖtrack_y＞（Ｖmax_y−ｄＶs_y）    ・・・（８）
Ｖtrack_y＝（Ｖmax_y−ｄＶs_y）    ・・・（９）
Ｖtrack_p＞（Ｖmax_p−ｄＶs_p）    ・・・（１０）
Ｖtrack_p＝（Ｖmax_p−ｄＶs_p）    ・・・（１１）
【０１００】
このように、制御部９０は、優先しない像振れ補正処理に対する位置調整機構の調整量を制限してステップＳＴ７に進む。
【０１０１】
ステップＳＴ７で制御部９０は、合成調整量演算を行う。制御部９０は、被写体追尾優先の場合には被写体追尾量とステップＳＴ５で制限された像振れ補正量、また像振れ補正優先の場合には像振れ補正量とステップＳＴ６で制限された被写体追尾量から、式（１２）〜（１４）に基づき合成調整量Ｖmを算出する。このように制御部９０は、合成調整量演算を行い、合成調整量Ｖmを算出してステップＳＴ８に進む。
Ｖm  ＝（Ｖm_y，Ｖm_p）         ・・・（１２）
Ｖm_y＝（Ｖsteady_y＋Ｖtrack_y）  ・・・（１３）
Ｖm_p＝（Ｖsteady_p＋Ｖtrack_p）  ・・・（１４）
【０１０２】
ステップＳＴ８で制御部９０は、位置調整機構を駆動する制御信号の出力を行う。制御部９０はステップＳＴ７で算出した合成調整量Ｖmの位置調整を位置調整機構で行うように制御信号を生成して、位置調整駆動部８５へ出力してステップＳＴ１に戻る。このように、制御部９０から制御信号が位置調整駆動部８５へ出力されることで、位置調整駆動部８５はジンバル機構１５やレンズシフト機構３５を駆動して、品位の良好な撮像画像を得られるようにする。
【０１０３】
図１０は、撮像状態と優先される処理の関係を例示している。図１０の（Ａ）に示すように、例えば撮像光学系のズーム位置が所定画角よりも広角側とされて注目被写体ＯＢが小さく写っている撮像状態では、撮像画像内において、静止して表示されるべき背景部分が多くなる。この場合、ズーム位置が所定画角よりも広角側であることから、撮像装置では像振れ補正処理が優先される。したがって、撮像画像内における背景の動き量が小さくなり、品位の良好な撮像画像を得られるようになる。さらに、像振れ補正処理が優先される場合は像振れ補正対応量の位置調整が可能とされる。したがって、注目被写体ＯＢを追尾し続けたときに、位置調整の調整可能量が被写体追尾のために使い果たされて像振れ補正が突然効かなくなってしまうことを防止することが可能となる。
【０１０４】
また、図１０の（Ｂ）に示すように、注目被写体ＯＢがアップで写っている撮像状態では、撮像画像内において、静止して表示されるべき注目被写体部分が多くなる。この場合、注目被写体の移動速度が所定速度以下であるとき、撮像装置では被写体追従処理が優先される。したがって、撮像画像内における注目被写体の動き量が小さくなり、品位の良好な撮像画像を得られるようになる。また、像振れ補正処理に対する位置調整機構の調整量の制限を大きくすることで、被写体追尾が可能な範囲を広くできる。
【０１０５】
さらに、注目被写体の移動速度が速い場合、位置調整機構の調整可能量を短時間で使い果たしてしまうおそれがあり、また、被写体追尾をユーザー操作に委ねることが好ましいと考えられる。このようなシーンの場合、像振れ補正処理が優先されるので、位置調整機構を有効に活用できる。
【０１０６】
このように、本技術によれば、同一の調整機構を用いて被写体追尾と像振れ補正を行う場合、位置調整機構の限られた調整可能量を、撮影シーンによって適切に、被写体追尾処理と像振れ補正処理に振り分けることができる。したがって、運動会やサッカーなど、被写体の動きが大きいシーンの撮影において、位置調整機構の調整可能量が被写体追尾のために使い果たされて突然手ブレ補正が効かなくなり、品位の悪い撮像画像となってしまうのを回避することができる。
【０１０７】
また、所定期間における像振れが小さい場合には位置調整機構の調整可能量を被写体追尾により多く割り当てられるので、三脚などを使用した撮影では、性能のよい被写体追尾を行うことが可能となる。
【０１０８】
上記撮像装置では、位置調整機構としてジンバル機構とレンズシフト機構を用いる場合を説明したが、上述の通り位置調整機構としてジンバル機構のみ、またはレンズシフト機構のみ、センサーシフト機構のみを有する撮像装置等にも適用することができる。
【０１０９】
なお、位置調整機構としてジンバル機構とレンズシフト機構（またはセンサーシフト機構）の両方を有した撮像装置の場合には、レンズシフト機構（またはセンサーシフト機構）よりもジンバル機構の方が位置調整量（位置調整範囲）を大きくできる特徴を活かし、優先判定処理の結果、優先すべきと判断された動作をジンバル機構を用いておこない、制限されるべきと判断された動作をレンズシフト機構（またはセンサーシフト機構）を用いておこなうように制御してもよい。例えば優先判定処理によって被写体を追尾する動作を優先すべきと判定された場合、被写体の追尾をジンバル機構を用いておこない、制限すべきと判定された振れ補正動作をレンズシフト機構（またはセンサーシフト機構）を用いておこなうことができる。またその逆に優先判定処理によって振れ補正動作を優先すべきと判定された場合、振れ補正をジンバル機構を用いておこない、制限すべきと判定された被写体の追尾動作をレンズシフト機構（またはセンサーシフト機構）を用いておこなうことができる。
【０１１０】
＜４−１．優先処理の判定の他の動作＞
次に、優先処理の判定の他の動作について説明する。図１１は、優先処理の判定の他の動作を例示したフローチャートである。
【０１１１】
ステップＳＴ２１で制御部９０は、撮像光学系のズーム位置が所定画角よりも広角側であるか判別する。制御部９０は、ステップＳＴ１１と同様に処理を行い、レンズ駆動部１４から取得したズームレンズ位置情報に基づき現在のズーム位置が所定画角よりも広角側でない場合はステップＳＴ２２に進み、所定画角よりも広角側である場合はステップＳＴ２５に進む。
【０１１２】
ステップＳＴ２２で制御部９０は、注目被写体が存在するか判別する。制御部９０は、画像処理部６１からの被写体認識結果によって、注目被写体を認識していることが示されている場合はステップＳＴ２３に進み、注目被写体を認識していることが示されていない場合はステップＳＴ２５に進む。
【０１１３】
ステップＳＴ２３で制御部９０は、注目被写体がアップ状態であるか判別する。制御部９０は、ステップＳＴ１２と同様な処理を行い、被写体認識結果で示された注目被写体サイズに基づき注目被写体がアップ状態であるか判別する。制御部９０は、注目被写体がアップ状態であると判別した場合はステップＳＴ２４に進み、注目被写体がアップ状態でないと判別した場合はステップＳＴ２５に進む。
【０１１４】
ステップＳＴ２４で制御部９０は、注目被写体の移動速度が所定速度以下であるか判別する。制御部９０は、ステップＳＴ１３と同様な処理を行い、注目被写体の移動速度を算出する。制御部９０は、算出した被写体速度が所定速度以下であると判別した場合はステップＳＴ２７に進み、所定速度以下でないと判別した場合はステップＳＴ２５に進む。
【０１１５】
ステップＳＴ２５で制御部９０は、背景被写体を検出できたか判別する。制御部９０は、画像処理部６１からの被写体認識結果によって、背景被写体を認識していることが示されている場合はステップＳＴ２６に進み、背景被写体を認識していることが示されていない場合はステップＳＴ２９に進む。
【０１１６】
ステップＳＴ２６で制御部９０は、背景被写体を追尾対象に設定する。制御部９０は画像処理部６１で認識されている背景被写体を追尾対象に設定してステップＳＴ２８に進む。
【０１１７】
ステップＳＴ２７で制御部９０は、注目被写体を追尾対象に設定する。制御部９０は画像処理部６１で認識されている注目被写体を追尾対象に設定してステップＳＴ２８に進む。
【０１１８】
ステップＳＴ２８で制御部９０は被写体追尾優先と判定する。制御部９０は、ステップＳＴ２６またはステップＳＴ２７で設定した追尾対処の被写体を追尾する被写体追尾処理を優先させると判定して図８のステップＳＴ４に進む。
【０１１９】
ステップＳＴ２９で制御部９０は像振れ補正優先と判定して図８のステップＳＴ４に進む。
【０１２０】
なお、ステップＳＴ２１からステップＳＴ２４の処理順序は、図１１に示す順序に限らず、他の順序で行うようにしてもよい。また、ステップＳＴ２１からステップＳＴ２４の処理を選択的に行うようにしてもよい。例えばステップＳＴ２４の処理を省略することも可能である。
【０１２１】
このような動作を行うと、画角が所定画角よりも広角側である場合や注目被写体が検出されていない等の場合に、背景被写体が検出されると背景被写体が追尾被写体に設定される。図１２は、優先処理の判定の他の動作を行った場合を説明するための図である。なお、図１２では、例えば家などが背景被写体として認識された場合を例示している。撮像光学系のズーム位置が所定画角よりも広角側とされて図１２の（Ａ）に示す画像が取得されている状態で、例えば撮像装置が下向きとなったとする。この場合、背景被写体ＯＨに対して追従動作が行われていないと、図１２の（Ｂ）に示すように、撮像位置が下方向に移動した画像となってしまう。しかし、図１１に示す動作を行うようにすれば、背景被写体ＯＨに対して追従動作が行われて、撮像装置が下向きとなっても引き続き図１２の（Ａ）に示す画像を取得できるようになる。
【０１２２】
＜４−２．優先処理の判定の他の動作＞
上述の優先処理の判定では、被写体追尾処理と像振れ補正処理の何れを優先するか、ズームレンズ位置や注目被写体のサイズ等に基づいて自動的する判別する動作を例示したが、何れの処理を優先するかユーザーが設定できるようにしてもよい。撮像装置は、例えば表示部６４でメニュー表示を行い、被写体追尾処理と像振れ補正処理の何れを優先するか、ユーザーによって選択可能とする。撮像装置は、ユーザーが被写体追尾処理を優先する処理として選択した場合は像振れ補正処理における調整量を制限して、像振れ補正処理を優先する処理として選択した場合は被写体追尾処理における調整量を制限する。このようにすれば、ユーザーの意図する処理が優先して行われるように撮像動作を行うことができる。
【０１２３】
＜５．撮像装置の他の動作＞
ところで、撮像装置の上述の動作では、予め設定された所定期間（例えば直前の一定期間）における像振れ補正量ＶsteadyのＰＰ値を像振れ補正ＰＰ値ｄＶsとして保持する。また、保持した像振れ補正ＰＰ値ｄＶsを像振れ補正対応量として、この像振れ補正対応量の位置調整を行えるように位置調整機構の調整可能量を割り当てている。しかし、像振れ補正対応量は、予め設定された所定期間における像振れ補正量ＶsteadyのＰＰ値に限られない。例えば振れ周波数の検出を行い、検出結果に基づき像振れ補正ＰＰ値ｄＶsを算出するための期間を変化させてもよい。この場合、振れ周波数が高い周波数である場合は、像振れ補正量ＶsteadyのＰＰ値を求める対象期間を短く設定することで、被写体追尾量の制限の応答性を良好にできる。また、振れ周波数が低い周波数である場合は、像振れ補正量ＶsteadyのＰＰ値を求める対象期間を長く設定することで、振れに対応して位置調整機構の調整可能量をより確実に割り当てることが可能となる。
【０１２４】
＜６．追尾支援動作＞
ところで、上述の動作を行えば、位置調整機構の調整可能量を撮像シーンに応じて適切に割り振ることができるので、突然像振れ補正が効かなくなるような状況をより多く回避することができる。しかし、調整可能量は限りがあるので、注目被写体が大きく動いた場合等では、ユーザー自身で撮像装置を注目被写体の移動方向に動かさないと、注目被写体は撮像範囲から外れた位置となってしまうおそれがある。
【０１２５】
そこで、撮像装置は、被写体追尾動作において、位置調整機構の調整可能量の限界となる前に撮像装置を注目被写体の移動方向に動かすことが可能なように限界識別情報を提示する。限界識別情報の提示は、例えばライブビュー画像を表示する表示部６４を利用してライブビュー画像と共に限界識別情報を表示する。このように限界識別情報を表示すれば、ユーザーは撮像動作中に限界識別情報を容易に確認できる。
【０１２６】
図１３は、限界識別情報の提示例を示した図である。制御部９０は、追尾方向の調整可能量が所定量よりも少なくなった場合、例えば追尾方向の調整可能量が所定量よりも少なくなっていることを示す情報を表示部６４で表示する。なお、図１３では、注目被写体ＯＢの移動方向を矢印ＭＡ方向とする。
【０１２７】
図１３の（Ａ）は、限界識別情報として現在の調整位置を示す情報をライブビュー画像に重畳させて表示した場合を例示している。制御部９０は、追尾方向の調整可能量が所定量よりも少なくなった場合に限界識別情報を表示する。限界識別情報は、例えば調整可能な範囲を示す画像ＬＧa1に現在の調整位置を示す位置表示ＬＧa2を設けた構成とされている。このように、調整可能な範囲に対して現在の調整位置が何れの位置であるか判別できるので、ユーザーは、どの方向にどれくらいの余裕があるかを容易に把握できるようになる。したがって、ユーザーは、調整可能量の限界となる前に撮像装置や撮像方向を注目被写体の移動方向に移動させることで、撮像装置によって注目被写体を追尾し続けることが可能となる。
【０１２８】
図１３の（Ｂ）は、限界識別情報として撮像装置または撮像方向の移動方向を示す指示情報をライブビュー画像に重畳させて表示した場合を例示している。制御部９０は、追尾方向の調整可能量が所定量よりも少なくなった場合に限界識別情報を表示する。例えば、限界識別情報として、調整可能量の限界とならないように撮像装置または撮像方向の移動方向を示す指示画像ＬＧbを表示する。このように指示画像ＬＧbを表示すれば、ユーザーは、指示画像ＬＧbで示された方向に撮像装置または撮像方向を移動させることで、撮像装置によって注目被写体を追尾し続けることが可能となる。また、制御部９０は指示画像ＬＧbの矢印の長さや色を調整可能量に応じて調整してもよい。例えば、調整可能量が少なくなるに伴い矢印を長くしたり、矢印の色を赤色等に変更する。この場合、ユーザーは矢印の長さや色によって調整可能量がどの程度残存しているか判別できるようになる。
【０１２９】
図１３の（Ｃ）は、限界識別情報として、調整可能量の限界をライブビュー画像によって表示した場合を例示している。制御部９０は、追尾方向の調整可能量が所定量よりも少なくなった場合に、ライブビュー画像に対して処理を行い、例えば調整可能量の限界方向の端部から調整可能量の限界に応じた所定範囲の画像ＬＧcに対して輝度や彩度の変更を行う。このように、端部から所定範囲の画像ＬＧcの輝度や彩度を変更する。この場合、ユーザーは、端部から所定範囲の画像ＬＧcが例えば輝度の低下した画像となったときや白黒画像となったときに、画像ＬＧcの方向に撮像装置または撮像方向を移動させることで、撮像装置によって注目被写体を追尾し続けることが可能となる。また、制御部９０は、画像ＬＧcにおける端部からの幅ＷＤを調整可能量に応じて調整してもよい。例えば、調整可能量が少なくなるに伴い幅ＷＤを広くする。この場合、ユーザーは画像ＬＧcの領域幅に調整限界がどの程度近づいているか容易に判別できるようになる。
【０１３０】
このような追尾支援動作を撮像装置で行うようにすれば、ユーザーは、位置調整機構における追尾方向の調整可能量が少なくなったときに、調整可能量を確保できるように撮像装置または撮像方向を移動させることが容易にできる。したがって、撮像装置の操作性を向上できるようになる。
【０１３１】
さらに、上述の実施の形態では、本技術の撮像装置がビデオカメラである場合について例示したが、本技術の撮像装置は、像振れを生じる環境で被写体追尾を行う機器に適用できる。例えば、本技術の撮像装置を車載カメラに適用してもよい。この場合、例えば前方の車を注目被写体として被写体追尾と像振れ補正を行えば、品位の良好な撮像画像を取得できるので、撮像画像に基づいて自動運転等の制御を行う場合に、制御処理を容易とすることが可能となる。また、本技術の撮像装置を船舶等に搭載されるカメラに適用すれば、被写体追尾と像振れ補正を同時に行いながら品位の良好な撮像画像を取得できるので、周囲の船の監視等を容易に行うことができるようになる。
【０１３２】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１３３】
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１３４】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１３５】
なお、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１３６】
また、本技術の撮像装置は以下のような構成も取ることができる。
（１）  撮像部で撮像される領域の位置調整を行う位置調整機構と、
前記撮像部で生成された画像信号を用いて被写体認識を行う画像処理部と、
当該撮像装置の振れを検出する振れ検出部と、
前記画像処理部の認識結果に基づいて前記位置調整機構を駆動する被写体追尾処理と、前記振れ検出部の検出結果に基づいて前記位置調整機構を駆動する像振れ補正処理との何れの処理を優先するか判別して、優先しない処理に対する前記位置調整機構の調整量を制限する制御部と
を備える撮像装置。
（２）  前記制御部は、前記撮像部で得られる撮像画像内での動きが少なくなる処理を優先する（１）に記載の撮像装置。
（３）  前記制御部は、前記撮像光学系のズーム位置、追尾対象の被写体である前記画像処理部で認識された注目被写体の撮像画像内におけるサイズ、前記注目被写体の移動速度の少なくとも何れかに基づいて、前記被写体追尾処理と前記像振れ補正処理の何れを優先するか判別する（２）に記載の撮像装置。
（４）  前記制御部は、前記撮像光学系のズーム位置が所定位置よりも広角側である場合、および前記注目被写体が所定以上のサイズでないとき前記像振れ補正処理を優先する（３）に記載の撮像装置。
（５）  前記制御部は、前記注目被写体が所定の移動速度以下でないとき前記像振れ補正処理を優先する（３）または（４）に記載の撮像装置。
（６）  前記制御部は、撮像画像内における前記注目被写体の速度と前記振れ検出部で検出した被写体追尾方向の速度に基づいて前記注目被写体の移動速度を算出する（３）乃至（５）の何れかに記載の撮像装置。
（７）  前記制御部は、前記撮像光学系のズーム位置が所定位置よりも広角側である場合、前記画像処理部で前記注目被写体が認識されていない場合、前記注目被写体が前記所定以上のサイズでない場合、前記注目被写体が所定の移動速度以下でない場合の何れかであるとき、前記追尾対象の被写体を前記画像処理部で認識された背景被写体として、前記被写体追尾処理を優先する（３）乃至（６）の何れかに記載の撮像装置。
（８）  前記制御部は、優先する処理で用いる前記位置調整機構の調整可能量の割り当てを行い、残りの調整可能量を他方の処理に割り当てることで、前記優先しない処理に対する前記位置調整機構の調整量を制限する（１）乃至（７）の何れかに記載の撮像装置。
（９）  前記制御部は、前記被写体追尾処理における被写体追尾量または前記像振れ補正処理における像ぶれ補正量に対して制限処理を行うことで、前記位置調整機構の調整量を割り当てられた調整可能量に制限して、前記被写体追尾量と前記制限処理後の像振れ補正量または前記像振れ補正量と前記制限処理後の被写体追尾量の合成結果に基づいて前記位置調整機構を駆動する（８）に記載の撮像装置。
（１０）  前記制御部は、前記像振れ補正処理を優先する場合、所定期間の前記振れ検出部の振れ検出結果に基づき、前記位置調整機構の調整可能量の割り当てを行う（８）または（９）に記載の撮像装置。
（１１）  前記制御部は、前記振れ検出部の振れ検出結果の周波数成分を判別して、判別結果に基づき前記所定期間の長さを設定する（１０）に記載の撮像装置。
（１２）  表示部をさらに設け、
前記制御部は、前記位置調整機構の調整限界を識別可能とする限界識別情報を前記表示部に表示する（１）乃至（１１）の何れかに記載の撮像装置。
（１３）  前記制御部は、前記限界識別情報をライブビュー画像と共に前記表示部に表示する（１２）に記載の撮像装置。
（１４）  前記位置調整機構は、撮像光学系の撮像方向、または前記撮像光学系で形成される被写体光学像と前記被写体光学像に基づいた画像信号を生成する撮像部における撮像領域との相対位置の少なくとも一方を調整して、前記撮像領域の位置調整を行う（１）乃至（１３）の何れかに記載の撮像装置。
【産業上の利用可能性】
【０１３７】
この技術の撮像装置と撮像方法およびプログラムでは、位置調整機構によって、撮像部で撮像される領域の位置調整が行われる。また、撮像部で生成された画像信号を用いた被写体認識結果に基づいて位置調整機構を駆動する被写体追尾処理と、撮像装置の振れ検出結果に基づいて位置調整機構を駆動する像振れ補正処理との何れの処理を優先するか判別して、優先しない処理に対する位置調整機構の調整量が制限される。このため、例えば像振れ補正の優先時には被写体追尾処理に対する位置調整機構の調整量が制限されるので、被写体追尾が調整限界に達しても像振れ補正が可能であり、被写体追尾が調整限界となったとき像振れ補正が突然効かなくなり、撮像画像が品位の低下した画像となってしまうことを防止することが可能となる。したがって、ビデオカメラや車載カメラ等に適している。
【符号の説明】
【０１３８】
１０・・・撮像装置、１４・・・レンズ駆動部、１５・・・ジンバル機構、３０・・・レンズユニット、３１・・・鏡筒、３２・・・撮像光学系、３５・・・レンズシフト機構、５０・・・撮像部、６１・・・画像処理部、６３・・・表示処理部、６４・・・表示部、６５・・・記録再生処理部、６６・・・記録部、６７・・・ユーザーインタフェース部、８０・・・振れ検出部、８５・・・位置調整駆動部、９０・・・制御部
【図１】
2015136035.tif 000003
【図２】
2015136035.tif 000004
【図３】
2015136035.tif 000005
【図４】
2015136035.tif 000006
【図５】
2015136035.tif 000007
【図６】
2015136035.tif 000008
【図７】
2015136035.tif 000009
【図８】
2015136035.tif 000010
【図９】
2015136035.tif 000011
【図１０】
2015136035.tif 000012
【図１１】
2015136035.tif 000013
【図１２】
2015136035.tif 000014
【図１３】
2015136035.tif 000015