(57)【要約】【課題】  流し撮り中に被写体領域が検出できなかった場合でも、被写体に適した測光値の算出を可能とする。【解決手段】  撮像装置は、撮像装置の動きを検出する検出手段と、撮像された画像に含まれる被写体領域を検知する領域検知手段と、撮像装置の動きと、過去に撮像された画像の間における被写体領域の動きから、被写体領域の位置を予測する領域予測手段と、被写体の測光演算を行う測光手段と、を備える。測光手段は、画像から被写体領域を検知できたときには、領域検知手段により検知された被写体領域に基づき第１の測光値を算出し、画像から被写体領域を検知できないときには、領域予測手段により予測された被写体領域に基づき第２の測光値を算出する。【選択図】  図３
2020136845.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置の動きを検出する検出手段と、
撮像された画像に含まれる被写体領域を検知する領域検知手段と、
前記撮像装置の動きと、過去に撮像された画像の間における前記被写体領域の動きから、前記被写体領域の位置を予測する領域予測手段と、
被写体の測光演算を行う測光手段と、を備え、
前記測光手段は、
前記画像から前記被写体領域を検知できたときには、前記領域検知手段により検知された前記被写体領域に基づき第１の測光値を算出し、
前記画像から前記被写体領域を検知できないときには、前記領域予測手段により予測された前記被写体領域に基づき第２の測光値を算出する
ことを特徴とする撮像装置。
【請求項２】
前記測光手段は、前記画像から前記被写体領域を検知できないときに、過去に算出された前記第１の測光値と、前記第２の測光値とを重みづけ加算して第３の測光値を算出する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記領域予測手段は、前記被写体領域の予測の信頼度を算出し、
前記測光手段は、前記画像から前記被写体領域を検知できないときに、過去に算出された前記第１の測光値と、前記第２の測光値とを前記信頼度に応じて重みづけ加算して前記第３の測光値を算出する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記測光手段は、前記信頼度が高い場合には、前記第１の測光値よりも前記第２の測光値の重みを大きくして前記第３の測光値を算出する
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記測光手段は、前記第１の測光値を算出した時点と、前記第２の測光値を算出した時点との時間差が大きいときに、前記第１の測光値よりも前記第２の測光値の重みを大きくして前記第３の測光値を算出する
ことを特徴とする請求項２から請求項４のいずれか１項に記載の撮像装置。
【請求項６】
前記測光手段は、前記第１の測光値の算出に用いた前記画像と、前記第２の測光値の算出に用いた前記画像との輝度差が大きいときに、前記第１の測光値よりも前記第２の測光値の重みを大きくして前記第３の測光値を算出する
ことを特徴とする請求項２から請求項５のいずれか一項に記載の撮像装置。
【請求項７】
前記測光手段は、前記第１の測光値を算出した時点と現在の時点との時間差が所定期間を超えるときには、前記画像から前記被写体領域が検知できなくても前記第２の測光値を算出せずに、評価測光により第４の測光値を算出する
ことを特徴とする請求項２から請求項６のいずれか一項に記載の撮像装置。
【請求項８】
前記測光手段は、前記所定期間内に前記被写体領域を検知した回数が所定回数未満であるときに、前記評価測光により前記第４の測光値を算出する
ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記測光手段は、過去に算出された測光値と、前記評価測光により算出された測光値とを重みづけ加算して前記第４の測光値を算出する
ことを特徴とする請求項７または請求項８に記載の撮像装置。
【請求項１０】
前記測光手段は、撮影モードが連写モードである場合に、過去に算出された測光値との重みづけ加算を行う
ことを特徴とする請求項２から請求項９のいずれか１項に記載の撮像装置。
【請求項１１】
撮像装置の動きを検出する検出工程と、
撮像された画像に含まれる被写体領域を検知する領域検知工程と、
前記撮像装置の動きと、過去に撮像された画像の間における前記被写体領域の動きから、前記被写体領域の位置を予測する領域予測工程と、
被写体の測光演算を行う測光工程と、を含み、
前記測光工程では、
前記画像から前記被写体領域を検知できたときには、前記領域検知工程により検知された前記被写体領域に基づき第１の測光値を算出し、
前記画像から前記被写体領域を検知できないときには、前記領域予測工程により予測された前記被写体領域に基づき第２の測光値を算出する
ことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像装置の制御方法に関する。
【背景技術】
【０００２】
カメラの撮影方法の一つである流し撮りは、移動している被写体をカメラで追従しながら撮影する手法である。流し撮りによると、被写体を静止させながら、背景を流すことで躍動感のある写真を撮影することができる。しかし、流し撮りは、被写体の移動速度とカメラを振る速度（以下、パンニング速度とも称する）を合わせることが困難である。そのため、流し撮りに不慣れなユーザが撮影を行った場合、被写体が静止せずにブレ残りが生じる可能性が高い。
【０００３】
近年、この流し撮りを初心者でも簡単に行えるように、流し撮りアシスト機能を備えた撮像装置も提案されている。例えば、特許文献１では、露光前の撮像装置に対する被写体の相対角速度と露光前の角速度センサから得た撮像装置の角速度に基づいて、露光中の被写体のブレを補正する。撮像装置に対する被写体の相対角速度は、画像から検出した被写体の像面上の移動量と角速度センサによって算出している。また、特許文献１は、流し撮り時に、撮像画面の動きベクトル検知とパンニング速度から動きベクトルの変化のない被写体部を算出することも開示する。
【０００４】
一方で、流し撮り中は、移動する被写体をカメラで追従しているため、背景部分の輝度変動が大きくなる傾向がある。このことから、流し撮り中には、通常の静止画撮影時と比較して被写体の輝度を重視した測光演算をすることが好ましい。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−１７１５４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、例えば、低コントラストの被写体を撮影する場合や、撮像画面の輝度変化などにより、撮像画面に含まれる被写体の動きベクトルを取得できないことがある。この場合、被写体領域を算出することができず、流し撮りに適した測光値を算出することが困難となる。
【０００７】
本発明は、上記の状況に鑑みてなされたものであって、流し撮り中に被写体領域が検出できなかった場合でも、被写体に適した測光値の算出を可能とする撮像装置を提供する。
【課題を解決するための手段】
【０００８】
本発明の一例である撮像装置は、撮像装置の動きを検出する検出手段と、撮像された画像に含まれる被写体領域を検知する領域検知手段と、撮像装置の動きと、過去に撮像された画像の間における被写体領域の動きから、被写体領域の位置を予測する領域予測手段と、被写体の測光演算を行う測光手段と、を備える。測光手段は、画像から被写体領域を検知できたときには、領域検知手段により検知された被写体領域に基づき第１の測光値を算出し、画像から被写体領域を検知できないときには、領域予測手段により予測された被写体領域に基づき第２の測光値を算出する。
【発明の効果】
【０００９】
本発明の一例である撮像装置によれば、流し撮り中に被写体領域が検出できなかった場合でも、被写体に適した測光値を算出できる。
【図面の簡単な説明】
【００１０】
【図１】撮像装置の構成例を示すブロック図である。
【図２】撮像装置の装置構成例を示す図である。
【図３】流し撮りアシスト機能の動作時における測光演算の一例を説明するフローチャートである。
【図４】被写体角速度の算出を説明する図である。
【図５】ステップＳ３０９の被写体領域の予測手法を説明するフローチャートである。
【図６】被写体の角速度と角加速度の例を示す図である。
【図７】流し撮りアシスト機能の動作時における測光演算の別例を説明するフローチャートである。
【図８】ステップＳ７１７の過去測光値との加重平均の処理例を説明するフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を図面などに基づいて詳細に説明する。
【００１２】
＜第１実施形態＞
図１は、第１実施形態の撮像装置１００の構成例を示すブロック図である。
本実施形態の撮像装置１００は、流し撮りに適した撮影補助機能である流し撮りアシスト機能を有する。なお、以下の説明での流し撮りは、撮像装置を水平方向に動かすパンニングの場合を前提とするが、撮像装置を垂直方向に動かすチルティングの場合でも本発明を同様に適用できる。
【００１３】
ここで、撮像装置１００は、デジタルカメラ、デジタルビデオカメラといったカメラのほか、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であってもよい。なお、実施形態で示す撮像装置の構成はあくまで例示であって、実施形態で説明されている特徴の組み合わせ全てが本発明に必須とは限らない。
【００１４】
撮像装置１００は、光学系１０１、撮像素子１０２、焦点検出回路１０３、ＣＰＵ(Central Processing Unit)１０４、一次記憶装置１０５、角速度センサ１０６および画像処理部１０７を備える。また、撮像装置１００は、記録媒体１０８のインターフェース、二次記憶装置１０９、表示部１１０、操作部１１１、動きベクトル検出部１１２および被写体角加速度計算部１１３を備える。
【００１５】
光学系１０１は、レンズ、シャッタ、絞りを含み、被写体からの光を撮像素子１０２に結像させる。光学系１０１のレンズ、シャッタ、絞りは、ＣＰＵ１０４の制御によって駆動される。また、光学系１０１のレンズには、フォーカスレンズ、ズームレンズ、シフトレンズ等が含まれる。上記のシフトレンズは、光学的に像ブレを補正する補正手段の一例である。
【００１６】
撮像素子１０２は、光学系１０１を通って結像した光を画像信号に変換するデバイスである。撮像素子１０２の例として、ＣＣＤ（電荷結合素子）型またはＣＭＯＳ（相補型金属酸化膜半導体）型のイメージセンサが挙げられる。
焦点検出回路１０３は、焦点検出処理（Auto Focus）を実行して、焦点距離の情報をＣＰＵ１０４に出力する。
【００１７】
ＣＰＵ１０４は、入力された信号や予め記憶されたプログラムに従い、撮像装置１００を構成する各部を制御する制御装置である。ＣＰＵ１０４の制御により、撮像装置１００の各種の機能が実現される。
【００１８】
一次記憶装置１０５は、例えばＲＡＭ(Random access memory)等の揮発性記憶装置である。一次記憶装置１０５は、一時的なデータを記憶し、ＣＰＵ１０４の作業用に使われる。また、一次記憶装置１０５に記憶された情報は、画像処理部１０７での利用に供され、あるいは記録媒体１０８へ記録される。
【００１９】
角速度センサ１０６は、撮像装置１００の移動量を表す角速度を検出し、検出した角速度を電気信号に変換してＣＰＵ１０４へ伝達する。角速度センサ１０６の例として、ジャイロセンサが挙げられる。例えば、後述するように撮像装置がレンズ交換型カメラである場合、角速度センサ１０６は、レンズ側の構成要素であってもよく、撮像装置の本体側の構成要素であってもよい。
【００２０】
画像処理部１０７は、いわゆる現像処理と呼ばれる画像処理や、撮影モードに応じた色調の調整などを行う画像処理用のプロセッサである。画像処理部１０７の機能の少なくとも一部は、ＣＰＵ１０４がソフトウェア的に実現してもよい。
また、画像処理部１０７は、撮像画像に適用される画像処理のパターンを複数有している。画像処理のパターンは、それぞれ異なる撮影モードと紐づけされており、画像処理部１０７は、設定された撮影モードに応じて画像処理のパターンを変化させる。
【００２１】
記録媒体１０８は、撮像装置１００に対して着脱可能で、かつデータの読み書きが可能な不揮発性記憶媒体である。記録媒体１０８の例として、半導体メモリカードが挙げられる。記録媒体１０８は、例えば、一次記憶装置１０５に記憶された、撮影により得られた画像のデータなどを記録する。記録媒体１０８に記録されたデータは、記録媒体１０８とのインターフェースを有するパーソナルコンピュータなどで読み出すことが可能である。
【００２２】
二次記憶装置１０９は、例えばＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)等の不揮発性記憶装置である。二次記憶装置１０９は、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶する。二次記憶装置１０９の情報は、ＣＰＵ１０４によって利用される。
【００２３】
表示部１１０は、撮影時のビューファインダ画像の表示、撮影した画像の表示、対話的な操作のためのＧＵＩ画像の表示などを行う。
操作部１１１は、ユーザ（撮影者）の操作を受け付けてＣＰＵ１０４へ入力情報を伝達する入力デバイス群である。操作部１１１は、例えば、ＳＷ１、ＳＷ２を有するレリーズスイッチ、ボタン、レバー、タッチパネルに加えて、音声や視線などを用いた入力機器を含んでいてもよい。また、操作部１１１の操作により、撮影モードの設定が行われる。
【００２４】
動きベクトル検出部１１２は、撮影により得られた画像を用いて動きベクトルを検出する。
被写体角加速度計算部１１３は、一次記憶装置１０５に蓄積される被写体角速度の履歴を読み出し、時間軸方向に連続的な被写体角加速度の変化量を計算する。ここで、被写体角速度は、被写体の撮像装置１００に対する角速度である。
【００２５】
図２は、撮像装置の具体的な装置構成例を示す図である。図２では、撮像装置の一例として、カメラ本体２００に対してレンズユニット４００を交換可能なレンズ交換式カメラの構成を説明する。
【００２６】
まず、図２に示すカメラ本体２００の構成を説明する。
カメラ本体２００は、カメラマイコン２０１、メモリ２０２、撮像素子２０３、シャッタ２０４、ハーフミラー２０５、ピント板２０６、表示素子２０７、測光センサ２０８、ペンタプリズム２０９を備える。また、カメラ本体２００は、焦点検出回路２１０、ＡＦミラー２１１、ＡＰＵ２１２、メモリ２１３を備える。
【００２７】
カメラマイコン２０１は、カメラ本体２００の各要素を制御するプロセッサである。図２の例では、カメラマイコン２０１が、露光時の被写体角速度を算出する機能を担う。
メモリ２０２は、カメラマイコン２０１に接続されているＲＡＭやＲＯＭ等の記憶装置である。
【００２８】
撮像素子２０３は、図１の撮像素子１０２に対応する要素であって、撮影時に被写体からの光を光電変換するイメージセンサである。撮像素子２０３は、赤外カットフィルタやローパスフィルタ等を撮像面に有する。
シャッタ２０４は、非撮影時には撮像素子２０３の撮像面を遮光し、撮影時には開いて撮像素子２０３の撮像面へ光を導く。
【００２９】
ハーフミラー２０５は、撮像素子２０３による撮影を行わないときにはミラーダウン状態となり、撮像素子２０３による撮影を行うときにはミラーアップ状態となって光路から退避するように駆動する。図２では、ミラーダウン状態のハーフミラー２０５の配置を示している。
ハーフミラー２０５は、ミラーダウン状態においてレンズユニット４００より入射する光の一部を反射して光学ファインダ側に導き、残りの一部の光を透過させる。ハーフミラー２０５で反射された光は、ピント板２０６に被写体の像を結像させる。
【００３０】
表示素子２０７は、光学ファインダを覗くユーザに対して、焦点検出（ＡＦ）している位置を示すための表示を行う。表示素子２０７は、例えば、ＰＮ液晶等で構成され、ピント板２０６の被写体の像に焦点検出対象の点（ＡＦ測距点）を重畳して表示する。
【００３１】
測光センサ２０８は、撮像素子を内蔵したセンサであって、ミラーダウン状態のハーフミラー２０５で反射された光に基づいて被写体の測光を行う。ペンタプリズム２０９は、ピント板２０６の被写体の像を測光センサ２０８および光学ファインダに導く。なお、図２に示すように、測光センサ２０８は、ペンタプリズム２０９を介してピント板２０６に結像された被写体像を斜めの位置から見込んでいる。
【００３２】
ＡＦミラー２１１は、レンズユニット４００から入射し、ミラーダウン状態のハーフミラー２０５を透過した光の一部を焦点検出回路２１０内のＡＦセンサに導く。焦点検出回路２１０は、図１の焦点検出回路１０３に対応する。焦点検出回路２１０は、ＡＦミラー２１１を介して入射した光に基づいて、焦点検出（測距）を行う。なお、ＡＦミラー２１１は、ミラーアップ状態のときにはハーフミラー２０５とともに光路から退避する。
【００３３】
ＡＰＵ２１２は、測光センサ２０８の出力を用いて信号処理を行うプロセッサである。ＡＰＵ２１２は、例えば、図１に示した画像処理部１０７、動きベクトル検出部１１２の機能を備える。メモリ２１３は、ＡＰＵ２１２に接続されているＲＡＭやＲＯＭ等の記憶装置である。なお、図２の例では、測光センサ２０８専用のプロセッサとしてＡＰＵ２１２を設ける構成を説明したが、カメラマイコン２０１が、ＡＰＵ２１２の行う処理を実行してもよい。
【００３４】
次に、図２に示すレンズユニット４００の構成を説明する。
レンズユニット４００は、ＬＰＵ４０１、角速度センサ４０２、レンズ４０３を有する。
【００３５】
ＬＰＵ４０１は、レンズユニット４００内の各部を制御するためのプロセッサである。ＬＰＵ４０１は、例えば、図示しない電気接点を介して、被写体との距離情報や、後述する角速度情報等をカメラマイコン２０１に送信する。
【００３６】
角速度センサ４０２は、撮像装置の移動量を表す角速度を検出し、角速度情報を電気信号として変換してＬＰＵ４０１へ伝達する。角速度センサ４０２は、例えばジャイロセンサで構成される。この角速度センサ４０２は、図１の角速度センサ１０６に対応する要素であって、検出手段の一例である。
【００３７】
ここで、ＬＰＵ４０１は、カメラマイコン２０１との通信によって得られる被写体角速度に基づいて、レンズ４０３に含まれるシフトレンズの駆動量を算出する。そして、ＬＰＵ４０１は、この駆動量に基づいてシフトレンズを駆動することで、被写体に係る像ブレ（被写体ブレ）を補正する。これにより、流し撮りアシスト機能の動作時においては、撮影者のパンニング動作が被写体の動きに対してずれている場合でも被写体ブレを抑えつつ背景を流す撮影が実現しやすくなる。
【００３８】
図３は流し撮りアシスト機能の動作時における測光演算の例を説明するフローチャートである。
流し撮りアシスト機能をオンにして撮像装置を起動させると、図３に示すフローチャートの処理が開始される。なお、以下のフローチャートにおいては、ミラーダウン状態で測光センサ２０８の出力を用いて測光演算が行われてもよく、ミラーアップ状態で撮像素子２０３の出力を用いて測光演算が行われてもよい。
【００３９】
ステップＳ３０１にて、カメラマイコン２０１は、撮影者によるレリーズスイッチの半押し操作を受け付けたか（ＳＷ１がＯＮになったか）を判断する。ＳＷ１がＯＮの場合には処理がステップＳ３０２に移行し、流し撮り用の測光演算が開始される。一方、ＳＷ１がＯＮになっていない場合には、カメラマイコン２０１は、ＳＷ１がＯＮになるまで待機する。
【００４０】
ステップＳ３０２にて、カメラマイコン２０１は、角速度センサ４０２によって検出された角速度から撮像装置のパンニング角速度の情報を取得する。
【００４１】
ステップＳ３０３にて、カメラマイコン２０１は、測光演算のために取得される画像から被写体の領域（被写体領域）を検知する。上記のように、測光演算のために取得される画像は、ミラーアップ状態での撮影時には撮像素子２０３によって取得され、ミラーダウン状態での撮影時には測光センサ２０８によって取得される。
【００４２】
例えば、ミラーダウン状態の場合、ＡＰＵ２１２内の動きベクトル検出部が、測光センサ２０８で得られた画像から動きベクトルを検出する。また、ミラーアップ状態の場合、カメラマイコン２０１内の動きベクトル検出部が、撮像素子２０３で得られた画像から動きベクトルを検出する。そして、カメラマイコン２０１は、動きベクトル検出部で検出した動きベクトルと、パンニング角速度の情報（Ｓ３０２）を用いて被写体の領域を検知する。つまり、カメラマイコン２０１は、領域検知手段の一例である。
なお、被写体の領域の決定に関しては、例えばテンプレートマッチング等様々な手法が提案されている。そのため、ステップＳ３０３において、これらの公知の手法も適宜利用して被写体の領域を決定してもよい。
【００４３】
ステップＳ３０４にて、カメラマイコン２０１は、被写体の領域を検知したかを判断する。被写体の領域を検知した場合にはステップＳ３０５に処理が移行する。一方、被写体の領域を検知できない場合にはステップＳ３０９に処理が移行する。
【００４４】
ステップＳ３０４で被写体の領域を検知した場合、ステップＳ３０５にて、カメラマイコン２０１は、撮像面上の被写体角速度を取得する。
そして、ステップＳ３０６にて、カメラマイコン２０１は、被写体角速度を算出する。
【００４５】
ここで、ステップＳ３０５およびＳ３０６の処理は以下のように行われる。
図４は、本実施形態における被写体角速度の算出について説明する図である。
例えば、被写体がｔ秒の間に点Ａから点Ｂへ移動した場合を考える。この場合に、上記の被写体の移動に応じて、撮像装置のセンサ上に結像する被写体の像は点Ｃから点Ｄへと移動する。点Ｃと点Ｄの距離（撮像面上の移動量）をｄ［pixel］、焦点距離をｆ［mm］、センサの画素ピッチをｐ［μm/pixel］としたとき、撮像面上の被写体の角速度ω［rad/sec］は、以下の式１で表わすことができる。
【００４６】
【数１】
2020136845.tif 000003
【００４７】
撮影者が撮像装置をパンニングしていた場合、撮像面上の被写体の角速度ωは、被写体自身の角速度（被写体角速度）ωSからパンニング角速度ωpを減算したものとなる。したがって、撮像面上の被写体の角速度ωは、以下の式２で表わすことができる。
ω＝ωS−ωp    式２
【００４８】
したがって、カメラマイコン２０１は、角速度センサ４０２で検出された撮像装置のパンニング角速度ωpと撮像面上の被写体の角速度ωを用いて、以下の式３により被写体角速度ωSを算出できる。
ωS＝ω＋ωp    式３
【００４９】
図３の説明に戻って、ステップＳ３０７にて、カメラマイコン２０１は、ステップＳ３０３で求めた被写体領域の情報（例えば被写体領域の形状、大きさ、位置の情報）を、当該情報の生成時点を示す情報と紐づけした状態で被写体領域履歴に保存する。
一例として、カメラマイコン２０１は、撮像素子２０３で撮像された画像より被写体領域を求めた場合にはメモリ２０２に被写体領域履歴を保存し、測光センサ２０８で得られた画像から被写体領域を求めた場合にはメモリ２１３に被写体領域履歴を保存する。なお、被写体領域履歴の保存先は一例にすぎず、適宜変更することができる。
【００５０】
ステップＳ３０８にて、カメラマイコン２０１は、ステップＳ３０６で算出した被写体角速度の情報を、当該情報の生成時点を示す情報と紐づけした状態で被写体角速度履歴に保存する。ステップＳ３０８の処理が終了すると、ステップＳ３１０に処理が移行する。なお、被写体角速度履歴の保存先は、上記の被写体領域履歴の保存先と同様であるので説明を省略する。
【００５１】
ステップＳ３０９は、ステップＳ３０４で被写体の領域を検知できない場合の処理である。カメラマイコン２０１は、動きベクトルとパンニング角速度の情報から被写体が検知されなかった場合、被写体領域を検出できない。この場合、カメラマイコン２０１は、過去の検出結果から被写体領域の移動量を予測する。ステップＳ３０９の処理の詳細は、図５を用いて後述する。ステップＳ３０９の処理が終了すると、ステップＳ３１０に処理が移行する。
【００５２】
ステップＳ３１０にて、カメラマイコン２０１は、撮像素子２０３または測光センサ２０８で取得された画像を用いて、被写体領域に基づく測光値を算出する。ステップＳ３１０で測光値を算出する被写体領域は、ステップＳ３０３で検知された被写体領域、またはステップＳ３０９の処理で予測された被写体領域のいずれかである。なお、被写体領域における測光値の算出手法自体は公知であるため、詳細な説明は省略する。
【００５３】
ステップＳ３１１にて、カメラマイコン２０１は、撮影者によるレリーズスイッチの全押し操作を受け付けたか（ＳＷ２がＯＮになったか）を判断する。ＳＷ２がＯＮの場合、カメラマイコン２０１は、ステップＳ３０９で算出された測光値を用いて撮影動作を開始する。
【００５４】
一方、ＳＷ２がＯＮになっていない場合には、ステップＳ３０１に処理が戻る。なお、レリーズスイッチの全押し操作がされる前に、再びレリーズスイッチの半押し操作がなされると、カメラマイコン２０１は再度ステップＳ３０２以降の処理を実行し、被写体領域に基づく測光値を算出する。以上で、図３の説明を終了する。
【００５５】
次に、図５を参照しつつ、ステップＳ３０９で行われる被写体領域の予測手法を説明する。
以下の例では、等速直線運動で離れていく物体を被写体として、被写体角速度の算出を行う場合を説明する。なお、被写体角速度の履歴から被写体角速度の予想が可能であれば本手法を適用した被写体領域の予測は可能であり、被写体の動きは上記の例に限定されない。
【００５６】
図６は、被写体の角速度と角加速度の例を示す図である。
被写体が等速直線運動をしている場合でも、撮像装置から見た角速度として計算すると被写体は加速する。したがって、被写体領域が最後に検知された画像（フレーム）の時点で取得された被写体角速度ωlastと、現時点の被写体角速度ωtは異なる値になる。
そこで、図５の処理におけるカメラマイコン２０１は、ステップＳ３０５で保存した被写体角速度履歴を用いて、最後に被写体領域が検知されたフレームからの被写体領域の撮像面上の移動量を予測する。
【００５７】
ステップＳ５０１にて、カメラマイコン２０１は、メモリ２０２またはメモリ２１３に記憶されている被写体角速度履歴の情報を読み出す。
【００５８】
ステップＳ５０２にて、カメラマイコン２０１は、被写体角速度の変化量である被写体角加速度を算出する。ある時点での被写体角速度をωnとすると、ある時点での被写体角加速度ωanは、以下の式４で算出することができる。
ωan＝ωn−ωn-1    式４
【００５９】
ステップＳ５０３にて、カメラマイコン２０１は、ステップＳ５０２で求めた被写体角加速度に基づいて、現在の被写体角加速度を予測する。
被写体角加速度の予測方法としては、任意の履歴から線形的に近似する方法や、予め一般化した所定の近似式をメモリ２０２もしくはメモリ２１３に登録しておいて読み出す方法等、任意の手法を採用することができる。本実施形態では、Ｎ点での最小二乗法により被写体角加速度を近似予測する方法を採用する。最新の被写体角加速度をωa、時刻をｔとすると、予測近似式は以下の式５のようになる。
【００６０】
【数２】
2020136845.tif 000004
【００６１】
以上の近似式から、最後に被写体が検知されたフレームの時刻ｔから現在の時刻ｔaまでに変動した角度θs[rad]は、以下の式６を用いて算出できる。
【００６２】
【数３】
2020136845.tif 000005
【００６３】
ステップＳ５０４にて、カメラマイコン２０１は、ステップＳ５０３で算出した角度とパンニング量を用いて、被写体の撮像面上の移動量を算出する。
現在までに被写体が変動した角度（角変動量）をθSとし、最後に被写体が検知されたフレームから現在のフレームまでのパンニングによる角変動量をθpとする。このとき、撮像面上のベクトル変化量θ[rad]は、以下の式７を用いて求めることができる。
θ＝θs−θp    式７
【００６４】
また、撮像面上のベクトル変化量をθ[rad]、焦点距離をｆ［mm］、センサの画素ピッチをｐ［μm/pixel］とすると、撮像面上の移動量ｄ［pixel］は、以下の式８で表わすことができる。
【００６５】
【数４】
2020136845.tif 000006
【００６６】
ステップＳ５０５にて、カメラマイコン２０１は、メモリ２０２またはメモリ２１３に記憶されている被写体領域履歴の情報を読み出す。
ステップＳ５０６にて、カメラマイコン２０１は、最後に被写体が検知されたフレームの被写体領域の位置を基準として、ステップＳ５０４で算出した撮像面上の移動量分移動した被写体領域の位置を求める。これにより、カメラマイコン２０１は、撮像面上の移動量から現在の被写体領域の位置を予測する。以上で、図５の処理が終了する。
【００６７】
以上のように、カメラマイコン２０１は、被写体領域を検知できなかった場合に、被写体の角変動量およびパンニングによる角変動量から被写体の撮像面上の移動量を算出する（Ｓ５０４）。そして、カメラマイコン２０１は、最後に被写体が検知されたフレームの被写体領域の位置と、撮像面上の移動量を用いて現在の被写体領域の位置を予測する（Ｓ５０６）。これにより、本実施形態においては、流し撮りの撮影において被写体領域の検知に失敗した場合でも、被写体に適した測光値を算出することができる。
【００６８】
ここで、上記の例では一種類の被写体角速度の算出方法を適用しているが、必要に応じて複数種類の被写体角速度の算出方法を適宜場合によって切り替えてもよい。また、被写体角加速度の予測方法で適用される近似式についても、最小二乗法に限定されることなく、様々な近似式を適用することができる。
【００６９】
＜第２実施形態＞
第１実施形態では、撮影対象の被写体が想定した被写体角速度で移動していることを前提として被写体領域を予測している。しかし、被写体の動きは想定と完全に一致することは少ない。被写体が想定外の動きをした際に第１実施形態のような被写体領域の予測を行うと、正しい被写体領域の位置を予測できずに流し撮りに適した測光値を算出できない場合がある。以上の理由から、被写体領域の予測の精度（信頼度）に応じて測光値を変化させることが好ましい。
【００７０】
図７は、第２実施形態として、流し撮りアシスト機能の動作時における測光演算の別例を説明するフローチャートである。なお、第２実施形態の撮像装置の構成は、第１実施形態と同様であるので重複説明は省略する。
第２実施形態においては、図３に示す制御の代わりに、図７に示す以下の制御が行われる。図７の制御では、被写体領域が検知されていない場合において、所定期間内に被写体領域が所定回数検知されているか否かで処理が分岐する。また、図７の制御では、被写体領域を予測するときには、被写体領域の予測の信頼度に基づいて被写体領域に基づく測光値の重みづけを変化させる。
【００７１】
図７のステップＳ７０１からＳ７０３の処理は、図３のステップＳ３０１からＳ３０３の処理にそれぞれ対応する。そのため、図７の説明ではこれらの処理の重複説明は省略する。
ステップＳ７０４にて、カメラマイコン２０１は、最新のフレームで被写体の領域を検知したかを判断する。被写体の領域を検知した場合にはステップＳ７０５に処理が移行する。一方、被写体の領域を検知できない場合にはステップＳ７１１に処理が移行する。
【００７２】
図７のステップＳ７０５からＳ７０８の処理は、図３のステップＳ３０５からＳ３０８の処理にそれぞれ対応する。そのため、図７の説明ではこれらの処理の重複説明は省略する。ステップＳ７０５からＳ７０８の一連の処理が終了すると、ステップＳ７０９に処理が移行する。
【００７３】
ステップＳ７０９にて、カメラマイコン２０１は、被写体領域の測光値の重みづけを設定する。なお、後述するステップＳ７１０で測光値の加重平均をしない場合には、ステップＳ７０９の処理を省略することができる。
【００７４】
例えば、カメラマイコン２０１は、過去のフレームの測光値と現在のフレームの測光値を加重平均する場合、フレーム間の平均輝度差や、現在のフレームからの時間差に基づいて被写体領域の測光値の重みづけを行ってもよい。
【００７５】
例えば、フレーム間の平均輝度差が大きいほど、過去のフレームに基づく測光値の重みが低く設定される。また、例えば、現在のフレームとの時間差が大きいほど、過去のフレームに基づく測光値の重みが低く設定される。
【００７６】
ステップＳ７１０にて、カメラマイコン２０１は、撮像素子２０３または測光センサ２０８で取得された画像を用いて、ステップＳ７０３で検知された被写体領域の測光値を算出する。被写体領域における測光値の算出手法自体は公知であるため、詳細な説明は省略する。
なお、ステップＳ７１０において、カメラマイコン２０１は、上記の重みづけの設定（Ｓ７０９）に基づき、過去に算出された測光値と現時点で算出された測光値との加重平均を求め、最終的な測光値を算出してもよい。例えば、撮影モードの設定が、測光の安定性が特に重視される連写モードに設定されている場合には、過去に算出された測光値と現時点で算出された測光値との加重平均による加算を行うことが好ましい。
このステップＳ７１０の処理が終了すると、ステップＳ７１９に処理が移行する。
【００７７】
一方、ステップＳ７０４で被写体の領域を検知できない場合には、上記のようにステップＳ７１１の処理が行われる。ステップＳ７１１にて、カメラマイコン２０１は、所定期間内に被写体領域が所定回数以上検知されているか判定する。
所定期間内に被写体領域が所定回数以上検知されている場合には、ステップＳ７１２に処理が移行する。一方、所定期間内に被写体領域が検知された回数が所定回数未満の場合には、ステップＳ７１８に処理が移行する。
【００７８】
本実施形態のステップＳ７１１では、例えば、現在のフレームを基準としてそれよりも過去の５フレーム分を所定期間とし、当該５フレームの間に２回以上被写体領域が検知されているかが判定される。
ステップＳ７１１の所定期間および所定回数は、被写体角速度が算出できずに領域予測ができない場合を除外するためのパラメータであり、例えば、被写体領域の予測方法などに応じて適宜変更できる。なお、所定期間はフレーム単位でカウントしてもよく、経過時間でカウントしてもよい。
【００７９】
ステップＳ７１２にて、カメラマイコン２０１は、過去の検出結果から被写体領域の移動量を予測する。ステップＳ７１２の処理は、図３のステップＳ３０９および図５の処理に対応するので重複説明は省略する。
【００８０】
ステップＳ７１３にて、カメラマイコン２０１は、被写体領域の予測の信頼度を算出する。例えば、カメラマイコン２０１は、ステップＳ５０３で算出した近似曲線ｆ（ｘ）と、被写体角速度履歴において予測に用いた各計測値（ｘi，ｙi）、ｙiの平均値ｙaveを用いて決定係数を算出し、被写体領域の予測の信頼度Ｔとする。Ｔは以下の式９で求められ、０≦Ｔ≦１が成立する。
【００８１】
【数５】
2020136845.tif 000007
【００８２】
なお、本実施形態では、上記の式９から求まる決定係数によって被写体領域の予測の信頼度を算出した。しかし、かかる信頼度の算出方法についても、自由度調整済みの決定係数を用いる、データの母数によって信頼度を変更するなど、適宜変更してもよい。
【００８３】
ステップＳ７１４にて、カメラマイコン２０１は、ステップＳ７０３で検出されている被写体領域と、ステップＳ７１３で算出した予測の信頼度を紐づけした情報を、当該情報の生成時点を示す情報と紐づけした状態で予測信頼性履歴に保存する。予測信頼性履歴の保存先は、例えば、被写体領域履歴および被写体角速度履歴の保存先と同様であるので説明を省略する。
【００８４】
ステップＳ７１５にて、カメラマイコン２０１は、被写体領域の測光値の重みづけを設定する。カメラマイコン２０１は、過去のフレームの測光値と現在のフレームの測光値を加重平均する場合、フレーム間の平均輝度差や、現在のフレームからの時間差に基づいて被写体領域の測光値の重みづけを行ってもよい。
例えば、フレーム間の平均輝度差が大きいほど、過去のフレームに基づく被写体領域の測光値の重みは低く設定されてもよい。つまり、Ｓ７１５において、フレーム間の平均輝度差が大きい場合、予測された被写体領域に基づく測光値の重みを相対的に大きくしてもよい。
また、例えば、現在のフレームとの時間差が大きいほど、過去のフレームに基づく被写体領域の測光値の重みは低く設定されてもよい。つまり、Ｓ７１５において、過去のフレームに基づく測光値の重みを小さくし、予測された被写体領域に基づく測光値の重みを相対的に大きくしてもよい。
【００８５】
ステップＳ７１６にて、カメラマイコン２０１は、撮像素子２０３または測光センサ２０８で取得された画像を用いて、ステップＳ７１２で予測された被写体領域の測光値を算出する。測光値の算出手法は上記のステップＳ７１０と同様であるので、重複説明は省略する。
【００８６】
ステップＳ７１７にて、カメラマイコン２０１は、ステップＳ７１６で取得した測光値と、過去に算出された測光値（過去測光値）との加重平均による加算を行い、最終的な測光値を算出する。例えば、撮影モードの設定が、測光の安定性が特に重視される連写モードに設定されている場合には、過去に算出された測光値と現時点で算出された測光値との加重平均を行うことが好ましい。
ステップＳ７１７の処理が終了すると、ステップＳ７１９に処理が移行する。
【００８７】
図８は、ステップＳ７１７における過去測光値との加重平均の処理例を説明するフローチャートである。
【００８８】
ステップＳ８０１にて、カメラマイコン２０１は、過去測光値の情報を記憶した測光値履歴を読み出す。なお、測光値履歴は、被写体領域履歴、被写体角速度履歴および予測信頼性履歴と同様にメモリ２０２またはメモリ２１３に記憶される。
ステップＳ８０２にて、カメラマイコン２０１は、メモリ２０２またはメモリ２１３から予測信頼性履歴を読み出す。
【００８９】
ステップＳ８０３にて、カメラマイコン２０１は、過去測光値とステップＳ７１６で算出された測光値を加重平均する。ステップＳ８０３の処理が終了すると、図７の処理に戻る。
【００９０】
ここで、ステップＳ８０３において、被写体領域の予測の信頼度に基づいて測光値の加重平均を行うときの算出例を、具体的に説明する。なお、ステップＳ７１５でも述べたように、フレーム間の平均輝度差や現在のフレームとの時間差などの要素に基づいて、ステップＳ７１６で取得した測光値と、過去測光値との重みづけをさらに調整してもよい。
【００９１】
最後に被写体が検知されたフレームをｉ＝０、最新のフレームをｉ＝ｎ、ｉ番目の測光値をＢｖi、ｉ番目の被写体予測の信頼性Ｔiとする。このとき、最後に被写体領域が検知されたフレームの測光値から最新のフレームの測光値を加重平均した結果の測光値Ｂｖvalは、以下の式１０で求めることができる。
【００９２】
【数６】
2020136845.tif 000008
【００９３】
ステップＳ８０３の処理によれば、被写体領域の予測の信頼度が高い場合には、予測された被写体領域の測光値の重みが大きくなる。一方、被写体領域の予測の信頼度が低い場合には、最後に被写体領域が検知されたフレームの測光値の重みが大きくなる。
すなわち、被写体領域の予測が外れている可能性が高い場合には、最後に被写体領域が検知されたフレームの測光値の重みが大きくなるので、被写体の位置の予測失敗により測光値が適正露出から離れることを抑制できる。
【００９４】
図７に戻って、ステップＳ７１１で所定期間内に被写体領域が所定回数以上検知されていない場合には、上記のようにステップＳ７１８の処理が行われる。
ステップＳ７１８にて、カメラマイコン２０１は、現在のフレームに対して測光モードに応じた評価測光で測光値を算出する。評価測光による測光値の算出手法自体は公知であるため、詳細な説明は省略する。
ステップＳ７１８の処理が終了すると、ステップＳ７１９に処理が移行する。
【００９５】
ここで、ステップＳ７１８のように、被写体予測ができずに測光モードに応じた評価測光で測光値を算出する場合、前回の測光値との安定性を優先するために、過去測光値との加重平均による加算をしてもよい。例えば、カメラマイコン２０１は、過去のフレームの測光値と現在のフレームの測光値を加重平均する場合、フレーム間の平均輝度差や、現在のフレームからの時間差に基づいて測光値の重みづけを行ってもよい。これらの処理は、ステップＳ７０９でも述べているため、重複説明は省略する。
【００９６】
ステップＳ７１９にて、カメラマイコン２０１は、ステップＳ７１０、Ｓ７１７、Ｓ７１８のいずれかで算出された測光値の情報を、当該情報の生成時点を示す情報と紐づけした状態でメモリ２０２またはメモリ２１３に記憶される測光値履歴に保存する。これにより、次回以降の測光演算のときには、今回算出された測光値を過去測光値として参照することが可能になる。
【００９７】
ステップＳ７２０にて、カメラマイコン２０１は、撮影者によるレリーズスイッチの全押し操作を受け付けたか（ＳＷ２がＯＮになったか）を判断する。ＳＷ２がＯＮの場合、カメラマイコン２０１は、ステップＳ７１０、Ｓ７１７、Ｓ７１８のいずれかで算出された測光値を用いて撮影動作を開始する。一方、ＳＷ２がＯＮになっていない場合には、ステップＳ７０２に処理が戻る。以上で、図７の説明を終了する。
【００９８】
第２実施形態においては、最後に被写体領域が検知されたフレームの測光値と、被写体領域を予測したフレームの測光値を加重平均する（Ｓ７１７）。このとき、被写体領域の予測の信頼度（Ｓ７１３）に基づいて、被写体領域を予測したフレームの測光値を調整する。そのため、例えば、被写体が想定外の動きをしたときのように、被写体の位置の予測が失敗しても測光値が適正露出から離れることを抑制できる。
【００９９】
＜むすび＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１００】
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【０１０１】
２０１  カメラマイコン
２０３  撮像素子
２０８  測光センサ
４０２  角速度センサ
【図１】
2020136845.tif 000009
【図２】
2020136845.tif 000010
【図３】
2020136845.tif 000011
【図４】
2020136845.tif 000012
【図５】
2020136845.tif 000013
【図６】
2020136845.tif 000014
【図７】
2020136845.tif 000015
【図８】
2020136845.tif 000016