(57)【要約】【課題】撮像手段によって得られる画像信号に係る画質を保ちつつ、画像信号から得られる動きベクトルの検出精度を上げることを可能にする撮像装置を提供する。【解決手段】撮像装置１００が備えるＣＰＵ１０３が、撮像素子１０２が出力する画像信号を取得し、画像信号に基づいて、被写体の動きベクトルを検出する。ＣＰＵ１０３が、被写体の動きベクトルの検出結果に基づいて、被写体の追尾状態を判定する。そして、ＣＰＵ１０３が、被写体の追尾状態に応じて、撮像素子１０２への露光時間及び画像信号の取得レートの少なくとも一方を制御する。【選択図】図１
2019159172.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段が出力する画像信号を取得する取得手段と、
前記画像信号に基づいて、被写体の動きベクトルを検出する検出手段と、
前記被写体の動きベクトルの検出結果に基づいて、前記被写体の追尾状態を判定する判定手段と、
前記被写体の追尾状態に応じて、前記撮像手段への露光時間及び前記画像信号に係るフレームレートの少なくとも一方を制御する制御手段とを備える
ことを特徴とする撮像装置。
【請求項２】
前記判定手段は、撮像準備操作がされたことに応じて、前記被写体の追尾状態を判定する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記撮像装置が第１の駆動を行うように制御しているときに、前記被写体の動きベクトルが検出され、かつ、前記被写体の動きベクトルが０ベクトル付近でない場合、前記第１の駆動よりも前記露光時間を短くするまたは前記フレームレートを高くする第２の駆動を行うように制御する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記撮像装置が第１の駆動を行うように制御しているときに検出された前記被写体の動きベクトルが０ベクトル付近であっても、前記被写体の角加速度の変化量が閾値以上である場合には、前記第２の駆動を行うように制御する
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記制御手段は、前記撮像装置が第１の駆動を行うように制御しているときに検出された前記被写体の動きベクトルが０ベクトル付近であって、かつ、前記被写体の角加速度の変化量が閾値以上でない場合には、前記第１の駆動を維持する
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記判定手段は、前記被写体の動きベクトルの度数に基づいて、前記被写体の動きベクトルが検出されたか否かを判定する
ことを特徴とする請求項３乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記制御手段は、前記被写体の動きベクトルが検出されなかった場合には、前記第１の駆動を維持する。
ことを特徴とする請求項３乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記被写体の動きベクトルに基づいて算出される被写体の角速度と、前記撮像装置に加わる振れに係る振れ検出信号とに基づいて、前記被写体に係る像ブレを補正する補正手段を備える
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
撮像手段が出力する画像信号を取得する工程と、
前記画像信号に基づいて、被写体の動きベクトルを検出する工程と、
前記被写体の動きベクトルの検出結果に基づいて、前記被写体の追尾状態を判定する工程と、
前記被写体の追尾状態に応じて、前記撮像手段への露光時間及び前記画像信号に係るフレームレートの少なくとも一方を制御する工程とを有する
ことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
移動している被写体のスピード感を表現する静止画撮影技術として、流し撮り撮影がある。流し撮り撮影では、撮影者は被写体の動きに合わせて撮像装置をパンニングしながら撮影を行う。これにより、移動している被写体を静止させつつ背景のみが流れたような画像を得ることができる。しかし、パンニング速度が速すぎたり遅すぎたりすることで、被写体の移動速度とパンニング速度の間に差が発生してしまうと、撮像画像に、被写体に係る画像のブレ（像ブレ）が生じてしまう。また、流し撮り撮影では、通常の撮影よりも撮像素子（撮像手段）への露光時間を長く設定するほうが、より撮影結果の流し効果を得やすいので、被写体に係る像ブレが生じ易い。
【０００３】
特許文献１は、被写体の移動速度とパンニング速度の差を露光中のシフトレンズの移動によって補正することで、流し撮り撮影を補助する（流し撮りアシスト撮影を行う）撮像装置を開示している。被写体の移動速度は、撮像素子によって得られる画像信号から動きベクトルを検出することによって求めることができる。特許文献２は、画像信号から動きベクトルを検出する装置を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３１７８４８号公報
【特許文献２】特開平８−８８８５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動きベクトルの検出対象となる画像は、ライブビュー用のスルー画像としても用いることができる。そして、撮像前に得られたスルー画像を動画として閲覧することが可能である。動きベクトルの検出精度を高めるためには、撮像間隔が短く、ブレの少ない画像（フレーム）同士を比較する方が望ましい。したがって、撮像装置において、スルー画像の露光期間（ＴＶ）を短くするか、または、フレームレートを高く設定することで、ブレの少ない画像信号が得られるようにする。
【０００６】
また、動画を閲覧する場合には、ノイズ感の少ない高画質な画像を得ることが必要になる。したがって、ノイズ感を低減するために、撮影者は、ＩＳＯ感度を低感度に設定して、ＴＶ設定を伸長させることで、適正露出の画像を得る。また、フレームレートについては、映像表現に合わせて撮影者が遅いレートを設定し得る。フレームレートは、設定可能なＴＶ長に対して制約を与える。例えば、フレームレートが６０ｆｐｓの場合は、最長ＴＶが１／６０ｓｅｃであり、３０ｆｐｓの場合は、最長ＴＶが１／３０ｓｅｃとなる。以上のように、流し撮りアシスト撮影のために動きベクトルの検出精度を優先し、短時間露光、高いフレームレートを設定するライブビュー駆動と、画質を優先して、長時間露光、遅いフレームレートを設定するライブビュー駆動とで、トレードオフの関係がある。本発明は、撮像手段によって得られる画像信号に係る画質を保ちつつ、画像信号から得られる動きベクトルの検出精度を上げることを可能とする撮像装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態の撮像装置は、撮像手段が出力する画像信号を取得する取得手段と、前記画像信号に基づいて、被写体の動きベクトルを検出する算出手段と、前記被写体の動きベクトルの検出結果に基づいて、前記被写体の追尾状態を判定する判定手段と、前記被写体の追尾状態に応じて、前記撮像手段への露光時間及び前記画像信号に係るフレームレートの少なくとも一方を制御する制御手段とを備える。
【発明の効果】
【０００８】
本発明の撮像装置によれば、撮像手段によって得られる画像信号に係る画質を保ちつつ、画像信号から得られる動きベクトルの検出精度を上げることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】撮像装置の構成例を示す図である。
【図２】流し撮りアシスト撮影時の全体処理を説明するフローチャートである。
【図３】被写体角速度の算出を説明する図である。
【図４】撮像装置を用いた流し撮り撮影の一例を示す図である。
【図５】ＴＶ設定とＩＳＯ感度を説明する図である。
【図６】フレームのキャプチャ結果の一例を示す図である。
【図７】流し撮りアシスト撮影時の処理の詳細を説明するフローチャートである。
【図８】駆動切り替え処理を説明するフローチャートである。
【図９】動きベクトルのヒストグラムの一例を示す図である。
【図１０】動きベクトルのヒストグラムの一例を示す図である。
【図１１】被写体角加速度の変化量を説明する図である。
【図１２】被写体角加速度の変化量を説明する図である。
【図１３】撮像装置の駆動が切り替えられた場合に取得されるフレームである。
【発明を実施するための形態】
【００１０】
図１は、本実施形態の撮像装置の構成例を示す図である。
撮像装置１００は、例えば、デジタルカメラ、デジタルビデオカメラである。但し、本発明は、カメラ機能付き携帯電話、カメラ付きコンピュータなど、撮像機能を備える任意の光学機器に適用可能である。撮像装置１００は、撮像光学系１０１乃至動きベクトル検出部１１１を備える。
【００１１】
撮像光学系１０１は、レンズ、シャッター、絞りを有しており、ＣＰＵ１０３の制御によって、被写体からの光を撮像素子１０２に結像させる。撮像光学系１０１が備えるレンズには、シフトレンズが含まれる。シフトレンズは、ＣＰＵ１０３の制御によって、光軸と直交する方向に移動することで、撮像装置に加わる振れにより生じる画像のブレ（像ブレ）を補正する。
【００１２】
撮像素子１０２は、光学系１０１を通って結像した光を画像信号に変換して出力する撮像手段である。撮像素子１０２として、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなど任意のデバイスを用いることができる。ＣＣＤは、Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅの略称である。また、ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略称である。ＩＳＯ感度、ＴＶ設定によって、上記結像した光の露出が制御される。ＴＶ設定によって、露光時間が設定される。以下の説明では、高速なＴＶ設定は、高速なシャッター速度による短秒（短時間）露光の設定に対応する。低速なＴＶ設定は、低速なシャッター速度による長秒（長時間）露光の設定に対応する。
【００１３】
ＣＰＵ１０３は、入力された信号や予め記憶されたプログラムに従い、撮像装置１００が備える各部を制御することで、撮像装置１００の機能を実現させる。ＣＰＵは、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略称である。一次記憶装置１０４は、一時的なデータを記憶し、ＣＰＵ１０３の作業用に用いられる。また、一次記憶装置１０４に記憶されている情報は、画像処理装置１０６で利用されたり、記録媒体１０７へ記録されたりする。一次記憶装置１０４としては、ＲＡＭのような揮発性装置が用いられる。ＲＡＭは、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略称である。
【００１４】
角速度センサ１０５は、撮像装置１００に加わる振れの量を示す角速度を検出し、電気信号（振れ検出信号）として変換して、ＣＰＵ１０３へ伝達する。検出された角速度情報は、一次記憶装置１０４に記憶される。角速度センサ１０５としては、ジャイロセンサなどの任意デバイスを用いることができる。
【００１５】
画像処理装置１０６は、一次記憶装置１０４に記憶された画像データに対して、デジタル現像処理などの画像処理を行い、撮影モードに応じた色調の調整なども行う。画像処理が終了した画像データは、一次記憶装置１０４に書き戻される。なお、画像処理装置１０６の機能の少なくとも一部は、ＣＰＵ１０３がソフトウェア的に実現しても良い。
【００１６】
記録媒体１０７は、一次記憶装置１０４に記憶されている画像処理済みのデータなどを記録する外部記憶装置である。なお、記録媒体１０７は、例えば、半導体メモリカードのように撮像装置１００から取り外し可能であり、記録されたデータはパーソナルコンピュータなどに装着してデータを読み出すことが可能である。二次記憶装置１０８は、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶し、ＣＰＵ１０３によって利用される。二次記憶装置１０８としては、例えば、ＥＥＰＲＯＭのような不揮発性記憶装置を用いることができる。ＥＥＰＲＯＭは、Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙの略称である。
【００１７】
表示部１０９は、撮影時のライブビュー画像を表示する。また、表示部１０９は、撮影されて記憶媒体１０７に記憶された画像、ライブビュー画像に重ねて、撮影者との対話的な操作のためのＧＵＩ画像などを表示する。操作部１１０は、撮影者の操作を受け付けて、ＣＰＵ１０３へ入力情報を伝達する入力デバイス群である。操作部１１０としては、ボタン、レバー、タッチパネル等や、音声や視線などを用いた入力機器を用いることができる。また、操作部１１０は、レリーズボタン（ＳＷ）を有する。撮影者がレリーズボタンを半押しする（ＳＷ１をＯＮにする）ことは、撮像準備操作がされたことに該当する。ＳＷ１がＯＮになると、撮像準備が開始される。撮影者がレリーズボタンを全押し（ＳＷ２をＯＮ）にすると、撮像素子１０２への露光が開始され、ＣＰＵ１０３は、撮像素子１０２が出力した画像信号を取得する。動きベクトル検出部１１１は、画像信号をＣＰＵ１０３から取得し、取得した画像信号に基づいて、動きベクトルの検出を行う。検出された動きベクトルは一次記憶装置１０４に保存される。動きベクトルの検出方法として、連続撮影された２枚以上の画像を比較するパターンマッチング手法が用いられる。
【００１８】
図２は、流し撮りアシスト撮影時の全体処理を説明するフローチャートである。
Ｓ２０１において、ＣＰＵ１０３が、ライブブビュー表示の更新を行う。具体的には、ＣＰＵ１０３は、撮像素子１０２から取得した画像信号を一次記憶装置１０４に配置する。画像信号は、画像処理装置１０６によって画像処理されて、ライブビュー表示用画像へと変換された後、表示部１０９によって表示される。続いて、Ｓ２０２において、ＣＰＵ１０３が、像面上の被写体角速度を算出する。
【００１９】
図３は、被写体角速度の算出を説明する図である。
図３では、被写体がｔ秒の間に点Ａから点Ｂへ移動し、被写体の移動に応じて、センサ（撮像素子１０２）上に結像した被写体像が点Ｃから点Ｄへと移動した場合を想定している。点Ｃと点Ｄとの距離をν［ｐｉｘｅｌ］、焦点距離をｆ［ｍｍ］、センサの画素ピッチをｐ［μｍ／ｐｉｘｅｌ］とした時、像面上の被写体角速度ω［ｒａｄ／ｓｅｃ］は、以下の式１で表わされる。
【数１】
2019159172.tif 000003
点Ｃと点Ｄとの距離は、ＣＰＵ１０３が、動きベクトル検出部１１１によって画像信号から検出された動きベクトルのうち、被写体の動きベクトル（被写体ベクトル）を検出することで算出できる。
【００２０】
被写体ベクトルを検出する手法については、様々な手法が提案されているため任意の方法を用いることができる。例えば、図９を参照して後述するように、ＣＰＵ１０３が、動きベクトル検出部１１１で検出された動きベクトルのうち、背景ベクトルを除外し、度数が閾値以上である動きベクトルを被写体ベクトルとして検出してもよい。
【００２１】
焦点距離ｆ［ｍｍ］には、光学系１０１に接続されたレンズに応じた値を用いる。センサの画素ピッチとしては、撮像素子１０２の画素ピッチを用いる。ｔ［秒］には、フレームレートなど撮影間隔の時間を用いる。なお、像面上の被写体角速度として、予め操作部１１０によって指定された値を用いることも可能である。
【００２２】
次に、ＣＰＵ１０３が、撮像装置１００のパンニング角速度を取得する。パンニング角速度情報は、角速度センサ１０５が検出した振れ検出信号として一次記憶装置１０４に記憶されている。ＣＰＵ１０３は、式２を用いて、像面上の被写体角速度ωと、パンニング角速度ωp とを加算して、被写体角速度ωs を算出する。
ωs ＝ω＋ωp       式２
【００２３】
次に、Ｓ２０３において、ＣＰＵ１０３が、ＳＷ２がＯＮであるかを判定する。ＳＷ２がＯＮでない場合は、処理がＳ２０１に戻る。ＳＷがＯＮである場合は、処理がＳ２０４へ進む。Ｓ２０４において、ＣＰＵ１０３が、撮像素子１０２への露光を開始する。具体的には、ＣＰＵ１０３は、撮像光学系１０１に含まれる絞りを駆動し、シャッターを開くことで、露光を開始する。Ｆ値やＴＶ値は操作部１１０から撮影者が任意に設定してもよいし、カメラが自動で選択してもよい。
【００２４】
次に、Ｓ２０５において、ＣＰＵ１０３が、式３に基づいて、補正角速度を算出する。Ｓ２０２で算出された被写体角速度ωs からパンニング角速度ωp を減算した値が補正角速度ωr ［ｒａｄ／ｓｅｃ］となる。
ωr ＝ωs −ωp       式３
【００２５】
次に、Ｓ２０６において、ＣＰＵ１０３が、シフトレンズを駆動させる。具体的には、ＣＰＵ１０３は、Ｓ２０６で求めた補正角速度ωr をシフトレンズの駆動量に変換し、変換によって得られた駆動量でシフトレンズを駆動する。これにより、被写体に係る像ブレが補正され、流し撮り撮影のアシストが行われる。続いて、Ｓ２０７において、ＣＰＵ１０３が、露光時間が経過したかを判断する。露光時間が経過していない場合は、処理がＳ２０５に戻る。露光時間が経過した場合は、流し撮りアシスト撮影を終了する。
【００２６】
図４は、本実施形態の撮像装置を用いた流し撮り撮影の一例を示す図である。
カメラ４００は、撮像装置１００に対応する。撮影者は、撮像装置１００の表示部１０９に表示されたライブビュー用のスルー画像で、移動している被写体を捕捉しながら、撮像装置１００をパンニングする。任意のタイミングで操作部１１０に含まれる静止画撮影ボタンが押下されると、撮像装置１００が、静止画撮影を行う。撮影者は、静止画撮影の最中、パンニング動作を継続する。
【００２７】
次に、ライブビュー撮影における、撮像装置１００の流し撮り優先駆動と、画質優先駆動について説明する。
画質優先駆動は、撮像素子１０２が出力する画像信号に係る画質を優先する駆動（第１の駆動）である。流し撮り優先駆動は、流し撮り撮影のアシストを優先する駆動である。流し取り撮影のアシストのために被写体に係る像ブレを補正するために用いられるシフトレンズの駆動量は、画像信号から検出される動きベクトル（被写体ベクトル）に基づいて算出される。したがって、流し撮り優先駆動は、画像信号からの被写体ベクトルの検出精度を優先する駆動（第２の駆動）となる。以下のように、流し撮り優先駆動では、画質優先駆動よりも露光時間を短くするまたはフレームレートを高くする。
【００２８】
流し撮り優先駆動と画質優先駆動とでは、ライブビュー用のフレーム（ライブビューフレーム）をキャプチャするためのＴＶ設定と、撮像素子１０２が出力する画像信号に係るフレームレート設定がそれぞれ異なる。まず、ＴＶ設定に関して説明する。ライブビューフレームの適正露出は、撮像光学系１０１のＦ値、撮像素子１０２のＩＳＯ感度の設定、撮像素子１０２のＴＶ設定の組み合わせによって決定される。ＴＶ設定は、高速であるほど、撮影されたフレーム群も被写体に係る像ブレが少ない画像になって、フレーム間比較で動きベクトルを求めた際の検出精度が上がる。他方、ＩＳＯ感度は、低感度であるほどノイズ感の少ない画質を得ることができる。したがって、流し撮り優先駆動では、ＣＰＵ１０３は、ＴＶ設定を高速に設定して露光時間を短くし、ＩＳＯ感度の増減によって適正露出を調整する。画質優先駆動では、ＣＰＵ１０３は、ＩＳＯ感度を低感度に設定して、ＴＶ値の伸長によって適正露出を調整する。
【００２９】
図５は、流し撮り優先駆動、画質優先駆動に応じたＴＶ設定とＩＳＯ感度を説明する図である。
縦軸は、ＩＳＯ感度を示す。縦軸に沿って下から上に遷移するほど高感度から低感度に遷移する。撮像素子１０２はＩＳＯ感度の設定レンジ５００の範囲内でＩＳＯ感度を設定することが可能である。横軸はＴＶ設定を示す。横軸に沿って左から右に遷移するほど、短時間露光から長時間露光に遷移する。撮像素子１０２はＴＶ設定レンジ５０１の範囲でＴＶ値を設定することが可能である。図５中の斜線は、輝度を表現している。図５のグラフにおいて、左上から右下に遷移するほど、低輝度から高輝度に遷移する。図５に示す例では、Ｆ値は、解放固定、フレームレート設定は、固定とする。この例では、撮像光学系１０１のＦ値（絞り値）を解放値で固定するが、撮像光学系の特性に合わせてＦ値を可変にして適正露出を得るようにしてもよい。
【００３０】
点線５１０は、流し撮り優先駆動の露出設定を示す。輝度がＥＶ５３０からＥＶ５３１に遷移すると、適正露出を得るためのＩＳＯ感度とＴＶ設定の組み合わせを示す点は、点５２０から点５２１へ遷移する。この間、ＣＰＵ１０３は、ＩＳＯ感度設定を低感度から高感度に切り替える。点５２１において、ＩＳＯ設定レンジ５００が高感度の設定限界値となる。その後、輝度がＥＶ５３１からＥＶ５３２に遷移すると、ＩＳＯ感度とＴＶ設定の組み合わせを示す点は、点５２１から点５２２へ遷移する。この間、ＣＰＵ１０３は、ＴＶ設定を短秒から長秒に切り替える。
【００３１】
また、実線５１１は、画質優先駆動の露出設定を示す。輝度がＥＶ５３０からＥＶ５３１に遷移すると、適正露出を得るためのＩＳＯ感度とＴＶ設定の組み合わせを示す点は、点５２０から点５２３へ遷移する。この間、ＴＶ設定を短秒から長秒に切り替える。点５２３において、ＴＶ設定レンジ５０１が長秒の設定限界値となる。その後、輝度がＥＶ５３１からＥＶ５３２に遷移すると、ＩＳＯ感度とＴＶ設定の組み合わせを示す点は、点５２３から点５２２へ遷移する。この間、ＣＰＵ１０３は、ＩＳＯ感度設定を低感度から高感度へ切り替える。
【００３２】
次に、フレームレート設定に関して説明する。動きベクトル検出部１１１は、ライブビューフレーム同士を比較することで、動きベクトル量を求める。したがって、検出可能な動きベクトル量には限界がある。例えば、比較するフレームのいずれか一方にのみ被写体が映っており、もう一方に同一の被写体がいなくなっている場合、比較対象がいないため、その被写体の動きベクトルを検出できない。低速なフレームレートでキャプチャ間隔が離れると、フレーム間の被写体移動量が増加し、動きベクトルの検出限界を迎え易くなる。逆に、高速なフレームレートにするほどフレーム間の被写体移動量は減少する。
【００３３】
等速度運動をしている動体を被写体として撮影した場合、フレームレートが３０ｆｐｓの時は、撮影間隔の間に、被写体は１／３０ｓｅｃの移動時間を移動することになる。同様に、フレームレートが６０ｆｐｓの場合は、被写体は、１／６０ｓｅｃの移動時間を移動する。フレームレートが倍になると移動時間が半分になるので、フレーム間の被写体の移動量は半分になり、動きベクトル検出部１１１で検出される動きベクトル量も半分になる。
【００３４】
また、フレームレート設定は、ＴＶ設定に対して制約を与える。例えば、フレームレートが６０ｆｐｓの場合は、設定できるＴＶ値の設定限界は１／６０ｓｅｃである。フレームレートが３０ｆｐｓの場合は、設定できるＴＶ値の設定限界は１／３０ｓｅｃである。適正露出を保つためのＴＶ設定が一段分長く設定可能であると、ＩＳＯ感度を一段分低感度に設定可能にできる。ＩＳＯ感度を低感度にすると、ノイズ感が低減された画質を得ることができる。その他、ライブビューフレームを記録する際などは、動画記録フォーマットや映像表現に応じてユーザー任意のフレームレートを設定して、動画像の画質を指定することもある。
【００３５】
以上説明したことから、流し撮り優先駆動では、ＣＰＵ１０３は、設定可能なフレームレートのうち、なるべく高速な設定を優先して設定する。画質優先駆動では、ＣＰＵ１０３は、設定可能なフレームレートのうち、なるべく低速な設定を優先して設定するか、ユーザーが任意に指定した設定を適用する。流し撮りアシスト撮影で静止画を得ることを目的とする場合、ＴＶ設定、フレームレート設定それぞれにおいて、流し撮り優先駆動での撮影を行うほうが、動きベクトルの検出精度、レンジの点で有利である。一方、高画質なライブビューフレームを撮影することを目的とする場合、画質優先駆動での撮影を行うほうが、ＩＳＯ感度の点で有利である。なお、流し撮り優先駆動では、ＴＶ設定を高速にすること、フレームレートを高くすること、のいずれか一方を優先するだけでも動きベクトルの検出精度、レンジの点で有利である。すなわち、流し撮り優先駆動は画質優先駆動よりも、露光時間を短くすること及びフレームレートを高くすることの少なくとも一方を優先する。
【００３６】
図６は、流し撮り優先駆動の場合と、画質優先駆動の場合の、フレームのキャプチャ結果の一例を示す図である。具体的には、図６（Ａ）は、図４に示す撮影シーンを、流し撮り優先駆動で撮影した場合のフレームを示す。図６（Ｂ）は、図４に示す撮影シーンを、画質優先駆動で撮影した場合のフレームを示す。
【００３７】
Ｆ６００とＦ６０１は、流し撮り優先駆動のＴＶ設定、フレームレート設定でキャプチャされたフレームを示す。Ｆ６０２とＦ６０３は、画質優先駆動のＴＶ設定、フレームレート設定でキャプチャされたフレームを示す。
【００３８】
流し撮り優先駆動で得られたフレームＦ６００、Ｆ６０１については、適正露出を求めるために、それぞれ、高感度のＩＳＯ設定、高速なＴＶ設定がされている。高速なＩＳＯを用いるので、ノイズ感が出やすくなるが、動体は停止しているように撮影される。フレームＦ６００とＦ６０１とを比較して求められる動きベクトルＶ６１０は、停止している画像同士を比較しているので、検出精度が高い。
【００３９】
画質優先駆動で得られたフレームＦ６０２、Ｆ６０３については、適正露出を求めるために、低感度のＩＳＯ設定、低速なＴＶ設定がされている。低感度のＩＳＯを用いるので、ノイズ感を抑えた画像になるが、低速なＴＶ設定のため、動体はブレたように撮影される。フレームＦ６０２、Ｆ６０３を比較して求められる動きベクトルＶ６１１は、ブレた画像同士を比較しているので、検出精度が低い。
【００４０】
撮像装置１００は、流し撮り優先駆動では、フレームレートを、例えば６０ｆｐｓに設定して撮像している。撮像装置１００は、画質優先駆動では、フレームレートを、例えば３０ｆｐｓに設定して撮像している。ＴＶ値の低速限界は、流し撮り優先では１／６０ｓｅｃである。ＴＶ値の低速限界は、画質優先駆動では１／３０ｓｅｃまでとなる。したがって、ＩＳＯの設定限界は、画質優先駆動の方が、流し撮り優先駆動に比べて低感度になる。フレームＦ６００、Ｆ６０１間の撮影間隔は、１／６０ｓｅｃとなり、フレームＦ６０２、Ｆ６０３間の撮影間隔は１／３０ｓｅｃとなる。撮影間隔が短いと、被写体移動距離が小さくなるので、動きベクトルＶ６１０の値のほうが、動きベクトルＶ６１１の値よりも小さくなる。したがって、流し撮り優先駆動の方が、画質優先駆動に比べてベクトル検出レンジが広くなる。
【００４１】
図７は、本実施形態の撮像装置が実行する、流し撮りアシスト撮影時の処理の詳細を説明するフローチャートである。
Ｓ７０１において、ＣＰＵ１０３が、流し撮り優先駆動でのライブビュー撮影を開始する。具体的には、ＣＰＵ１０３は、撮像素子１０２に対して、流し撮り優先駆動に対応するＴＶ設定、フレームレート設定を行う。
【００４２】
次に、Ｓ７０２において、ＣＰＵ１０３が、画質優先駆動を行うかを判断する。例えば、ライブビューフレームを動画として記録する設定がされた場合に、ＣＰＵ１０３は、撮像装置１００が画質優先駆動を行うように制御する。画質優先駆動を行う場合は、処理がＳ７０３に進む。画質優先駆動を行わない場合は、処理がＳ７０４に進む。
【００４３】
Ｓ７０３において、ＣＰＵ１０３が、撮像素子１０２に対して、画質優先駆動に対応するＴＶ設定、フレームレート設定を行う。続いて、Ｓ７０４において、ＣＰＵ１０３が、ライブビュー表示の更新を行う。Ｓ２０１と同様の処理を行う。Ｓ７０４におけるライブビュー表示の更新は、図２のＳ２０１におけるライブビュー表示の更新に対応する。
【００４４】
Ｓ７０５において、ＣＰＵ１０３が、図２のＳ２０２と同様に、被写体角速度を算出する。続いて、Ｓ７０６において、ＳＷ１がＯＮになったかを判断する。ＳＷ１がＯＮになっていない場合は、処理がＳ７０２に戻る。ＳＷ１がＯＮになった場合は、処理がＳ７０７に進む。
【００４５】
次に、Ｓ７０７において、ＣＰＵ１０３が、駆動切り替え処理を実行する。具体的には、ＣＰＵ１０３は、被写体の追尾状態に応じて、ＴＶ設定またはフレームレート設定を変更して、撮像装置１００の駆動を画質優先駆動から流し撮り優先駆動に切り替える。
【００４６】
次に、Ｓ７０８において、ＣＰＵ１０３が、ＳＷ２がＯＮになったかを判断する。ＳＷ２がＯＮになっていない場合は、処理がＳ７０２に戻る。ＳＷ２がＯＮになった場合は、処理がＳ７０９に進む。
【００４７】
Ｓ７０９において、ＣＰＵ１０３が、図２のＳ２０４と同様に、露光を開始する。Ｓ７１０において、ＣＰＵ１０３が、図２のＳ２０５と同様に、補正角速度を算出する。続いて、Ｓ７１１において、ＣＰＵ１０３が、図２のＳ２０６と同様に、シフトレンズを駆動させる。Ｓ７１２において、ＣＰＵ１０３が、図２のＳ２０７と同様に、露光時間が経過したかを判断する。露光時間が経過していない場合は、処理がＳ７０９に戻る。露光時間が経過した場合は、処理を終了する。
【００４８】
図８は、図７のＳ７０７における駆動切り替え処理を説明するフローチャートである。
以下の駆動切り替え処理において、ＣＰＵ１０３は、撮像素子１０２から取得される画像信号から検出された動きベクトルを用いて被写体の追尾状態を判定し、判定結果に応じて、画質優先駆動から流し撮り優先駆動に切り替える。まず、Ｓ７２１において、ＣＰＵ１０３が、被写体の有無を判定する。
【００４９】
図９は、被写体の有無の判定に用いる動きベクトルのヒストグラムの一例を示す図である。
ＣＰＵ１０３は、動きベクトル検出部１１１によって検出された動きベクトルのうち、背景ベクトルを取り除き、度数が閾値以上である動きベクトルを被写体ベクトルとして検出する。ＣＰＵ１０３は、角速度センサ１０５から得られた撮像装置１００の振れを示す角速度信号を像面移動量に変換することで、背景ベクトルを求める。動きベクトルから被写体ベクトルを抽出する手法については、様々な手法が提案されており、上記以外の方法を用いても構わない。図９（Ａ）に示すヒストグラムでは、背景領域と被写体ベクトルの両方が検出されている。また、図９（Ｂ）に示すヒストグラムでは、背景ベクトルは検出されたが、被写体ベクトルは検出されていない。
【００５０】
図８の説明に戻る。図８のＳ７２１の処理において、被写体ベクトルが検出されなかった場合は、撮像装置１００の駆動の切り替えは行われない。被写体ベクトルが検出された場合は、処理がＳ７２２に進む。Ｓ７２２において、ＣＰＵ１０３が、被写体ベクトルが０ベクトル付近であるかを判断する。
【００５１】
図１０は、被写体ベクトルが０ベクトル付近であるかの判断に用いる動きベクトルのヒストグラムの一例を示す図である。
図１０（Ａ）は、動きベクトル検出部１１１で検出された動きベクトルに含まれる被写体ベクトルが０ベクトル付近であるヒストグラムを示す。被写体ベクトルが０付近である場合、撮像装置１００のパンニング角速度と被写体角速度の差が小さいので、ＣＰＵ１０３は、撮像装置１００が被写体を追従できている可能性が高いと判断する。したがって、この場合には、処理が図８のＳ７２３に進む。
【００５２】
図１０（Ｂ）は、被写体ベクトルが０ベクトル付近でない場合のヒストグラムを示す。被写体ベクトルが０ベクトル付近でない場合、撮像装置１００のパンニング角速度と被写体角速度の差が大きいので、ＣＰＵ１０３は、撮像装置１００が被写体を追従できていない可能性が高いと判断する。したがって、この場合には、処理が図８のＳ７２４に進む。検出レンジの内どこまでを０ベクトル付近とおくかは、任意に定めることができる。
【００５３】
図８のＳ７２３において、ＣＰＵ１０３が、像面上の被写体の角加速度（被写体角加速度）の変化量が閾値以上であるかを判断する。ＣＰＵ１０３は、フレーム毎に算出される被写体角加速度の絶対値を積分することで、被写体角加速度の変化量を求める。この例では、ＣＰＵ１０３は、被写体角加速度の変化量が大きい値であるほど、追従するのが困難である被写体であると判断する。被写体角加速度の変化量が閾値以上である場合は、処理がＳ７２４に進む。被写体角加速度の変化量が閾値以上でない場合は、処理が終了する（画質優先駆動が維持される）。
【００５４】
図１１および図１２は、像面上の被写体角加速度の変化量を説明する図である。
図１１（Ａ）および図１２（Ａ）は、像面上の被写体角速度を示す。図１１（Ｂ）および図１２（Ｂ）は、像面上の被写体角加速度を示す。図１１（Ｃ）および図１２（Ｃ）は、フレーム番号および時間とに応じた、被写体角加速度の変化量（積分値Ｓ）を示す。
【００５５】
ＣＰＵ１０３は、サンプリング周期Δｔ［ｓｅｃ] で連続して取得されたフレームのうち、連続した所定フレーム数Ｆをサンプリング区間として、像面上の被写体角速度ω［ｒａｄ／ｓｅｃ］を一時記憶装置１０４に保存する。図１１では、サンプリング周期Δｔと所定フレームレートを以下のように定義する。
・サンプリング周期Δｔ［ｓｅｃ］＝１／３０
・所定フレーム数Ｆ＝５フレーム
【００５６】
ＣＰＵ１０３は、像面上の被写体角速度ω［ｒａｄ／ｓｅｃ］としては、図７のＳ７０５の被写体角速度の算出処理で求めた値を用いる。ＣＰＵ１０３は、像面上の被写体角加速度α［ｒａｄ／ｓｅｃ２］を、被写体角速度［ｒａｄ／ｓｅｃ］とサンプリング周期Δｔとに基づいて求める。ＣＰＵ１０３は、像面上の被写体角加速度αを絶対値｜α｜に変換する。最後に、ＣＰＵ１０３が、｜α｜を積分して、積分値Ｓを求める。積分値Ｓは、像面上の被写体角加速度の変化量を示す。以上のように求められた積分値Ｓに閾値を設け、積分値Ｓが閾値以上の場合は、ＣＰＵ１０３は、流し撮り優先駆動への切り替えを行う。閾値以下の場合は、流し撮り優先駆動への切り替えを行わないように制御する。この例では、積分値Ｓの閾値を以下のように定義する。
・積分値Ｓの閾値＝１０００
【００５７】
図１１（Ｃ）に示す表では、５フレーム目が取得された時点で、積分値Ｓは３６０であり、閾値１０００よりも小さい。一方、図１２（Ｃ）に示す表では、５フレーム目が取得された時点で、積分値Ｓが１２００となっており、閾値１０００よりも大きい。なお、本実施形態では、被写体角加速度の変化量を求める方法として、被写体の所定区間内の角加速度の積分値を用いる方法を適用するが、被写体角加速度の変化量を、上述した方法以外の任意の方法を用いて構わない。
【００５８】
図８の説明に戻る。Ｓ７２４において、ＣＰＵ１０３が、撮像素子１０２に対して、流し撮り優先駆動に対応するＴＶ設定、フレームレート設定を行う。具体的には、ＣＰＵ１０３は、露光時間を短くするか、またはフレームレートを高くする。これにより、撮像装置１００の駆動が、流し撮り優先駆動に切り替えられる。
【００５９】
図１３は、撮像装置の駆動が切り替えられた場合に取得されるフレームの一例を示す図である。
フレームＦ１１０１〜Ｆ１１０５は、画質優先駆動で撮像されたフレームである。フレームレート設定は、３０ｆｐｓ、ＩＳＯ感度は低感度、ＴＶ設定は低速である。また、動きベクトルＶ１１０１〜Ｖ１１０４は、フレームＦ１１０１〜Ｆ１１０５をそれぞれ比較することによって得られる動きベクトルである。切り替えタイミングＴ１１００は、図８のＳ７２４において、流し撮り優先駆動への切り替えが行われて、読み出されるフレームが切り替わるタイミングである。
【００６０】
フレームＦ１１０６およびＦ１１０７は、撮像装置１００の駆動の切り替え後に流し撮り優先駆動で撮影されたフレームである。フレームレート設定は、６０ｆｐｓ、ＩＳＯ感度は高感度、ＴＶ設定は高速である。また、動きベクトルＶ１１０５は、フレームＦ１１０６およびＦ１１０７を比較することによって得られる動きベクトルである。
【００６１】
Ｔ１１００までは、フレームＦ１１０１〜Ｆ１１０５のように、低感度のＩＳＯ感度でノイズ感を抑えたフレームを取得することができる。フレームＦ１１０６およびＦ１１０７は、高感度のＩＳＯ感度であるので、フレームにノイズ感が出てしまうが、限られた区間に限定される。一方、動きベクトルＶ１１０１〜Ｖ１１０４は、流し撮り優先駆動に比べてベクトル検出精度が低く検出レンジも狭くなってしまうが、Ｔ１１００からは、動きベクトルの検出精度が高くなり、検出レンジも広くすることができる。
【００６２】
以上説明したように、本実施形態の撮像装置は、流し撮り撮影前のライブビューにおいて、被写体ベクトルの検出結果を用いて被写体の追尾状態を判定し、その判定結果に応じて画質優先駆動から流し撮りアシスト優先駆動へとライブビューの駆動を切り替える。これにより、ライブビュー用のスルー画像の画質を保ちつつ、動きベクトルの検出精度、検出レンジを損なわない流し撮りアシスト撮影が可能になる。以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００６３】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６４】
１００  撮像装置
１０３  ＣＰＵ
【図１】
2019159172.tif 000004
【図２】
2019159172.tif 000005
【図３】
2019159172.tif 000006
【図４】
2019159172.tif 000007
【図５】
2019159172.tif 000008
【図６】
2019159172.tif 000009
【図７】
2019159172.tif 000010
【図８】
2019159172.tif 000011
【図９】
2019159172.tif 000012
【図１０】
2019159172.tif 000013
【図１１】
2019159172.tif 000014
【図１２】
2019159172.tif 000015
【図１３】
2019159172.tif 000016