(57)【要約】【課題】状況に応じた動きブレ報知を実行可能にする技術を提供する。【解決手段】所定の時間間隔で繰り返し行われる第１の撮影により得られた画像から被写体の動き量を検出する検出手段と、前記所定の時間間隔と第２の撮影の露光時間とに基づいて、前記動き量を前記第２の撮影で生じる動きブレ量に換算する換算手段と、所定の報知条件に基づいて、動きブレ報知を実行するか否かを判定する判定手段と、前記動きブレ報知を実行すると判定された場合に、前記動きブレ量に基づいて動きブレを報知する報知手段と、を備えることを特徴とする報知装置を提供する。【選択図】図２
2020108120.tif 000002
【特許請求の範囲】
【請求項１】
所定の時間間隔で繰り返し行われる第１の撮影により得られた画像から被写体の動き量を検出する検出手段と、
前記所定の時間間隔と第２の撮影の露光時間とに基づいて、前記動き量を前記第２の撮影で生じる動きブレ量に換算する換算手段と、
所定の報知条件に基づいて、動きブレ報知を実行するか否かを判定する判定手段と、
前記動きブレ報知を実行すると判定された場合に、前記動きブレ量に基づいて動きブレを報知する報知手段と、
を備えることを特徴とする報知装置。
【請求項２】
前記判定手段は、前記第２の撮影の撮影条件を変更するユーザ操作の内容に基づいて、前記動きブレ報知を実行するか否かを判定する
ことを特徴とする請求項１に記載の報知装置。
【請求項３】
前記判定手段は、前記第２の撮影の露光時間を変更するユーザ操作が行われた場合に、前記動きブレ報知を実行すると判定する
ことを特徴とする請求項２に記載の報知装置。
【請求項４】
前記判定手段は、前記被写体が閾値以上の速さで移動している場合に、前記動きブレ報知を実行すると判定する
ことを特徴とする請求項１乃至３のいずれか１項に記載の報知装置。
【請求項５】
所定の時間間隔で繰り返し行われる第１の撮影により得られた画像から被写体の動き量を検出する検出手段と、
前記所定の時間間隔と第２の撮影の露光時間とに基づいて、前記動き量を前記第２の撮影で生じる動きブレ量に換算する換算手段と、
所定の報知条件に基づいて、動きブレ報知、及び前記動きブレ報知と異なる第２の報知のうちのいずれを実行するかを判定する判定手段と、
前記動きブレ報知を実行すると判定された場合に、前記動きブレ量に基づいて動きブレを報知し、前記第２の報知を実行すると判定された場合に、前記第２の報知を実行する報知手段と、
を備えることを特徴とする報知装置。
【請求項６】
前記判定手段は、前記第２の撮影の撮影条件を変更するユーザ操作の内容に基づいて、前記動きブレ報知及び前記第２の報知のうちのいずれを実行するかを判定する
ことを特徴とする請求項５に記載の報知装置。
【請求項７】
前記判定手段は、前記第２の撮影の露光時間を変更するユーザ操作が行われた場合に、前記動きブレ報知を実行すると判定する
ことを特徴とする請求項６に記載の報知装置。
【請求項８】
前記第２の報知は、合焦度合報知であり、
前記判定手段は、前記第２の撮影の絞り値を変更するユーザ操作が行われた場合に、前記第２の報知を実行すると判定する
ことを特徴とする請求項６又は７に記載の報知装置。
【請求項９】
前記第２の報知は、合焦度合報知であり、
前記判定手段は、前記第２の撮影のフォーカスを変更するユーザ操作が行われた場合に、前記第２の報知を実行すると判定する
ことを特徴とする請求項６乃至８のいずれか１項に記載の報知装置。
【請求項１０】
前記判定手段は、前記被写体が閾値以上の速さで移動している場合に、前記動きブレ報知を実行すると判定する
ことを特徴とする請求項５に記載の報知装置。
【請求項１１】
前記判定手段は、前記被写体が撮影光学系の光軸と直交する方向に移動している場合に、前記動きブレ報知を実行すると判定する
ことを特徴とする請求項５又は１０に記載の報知装置。
【請求項１２】
前記第２の報知は、合焦度合報知であり、
前記判定手段は、前記被写体が撮影光学系の光軸の方向に移動している場合に、前記第２の報知を実行すると判定する
ことを特徴とする請求項５に記載の報知装置。
【請求項１３】
前記第２の報知は、合焦度合報知であり、
前記判定手段は、前記被写体の合焦度合が閾値未満の場合に、前記第２の報知を実行すると判定する
ことを特徴とする請求項５又は１２に記載の報知装置。
【請求項１４】
前記第２の報知は、飽和度合報知であり、
前記判定手段は、前記第２の撮影により得られる画像における飽和領域の割合が閾値以上の場合に、前記第２の報知を実行すると判定する
ことを特徴とする請求項５に記載の報知装置。
【請求項１５】
前記判定手段は、ユーザ指示に従って、前記動きブレ報知を実行すると判定するか前記第２の報知を実行すると判定するかを切り替える
ことを特徴とする請求項５に記載の報知装置。
【請求項１６】
所定の時間間隔で繰り返し行われる第１の撮影により得られた画像から被写体の動きブレ量と撮影光学系に起因するボケ量とを取得する取得手段と、
前記動きブレ量に基づく動きブレ報知及び前記ボケ量に基づくボケ報知の優先度を決定する決定手段と、
前記優先度に従って前記動きブレ報知及び前記ボケ報知の一方又は両方を実行する報知手段と、
を備えることを特徴とする報知装置。
【請求項１７】
前記取得手段は、前記所定の時間間隔と第２の撮影の露光時間とに基づいて前記動き量を換算することにより、前記動きブレ量として前記第２の撮影で生じる動きブレ量を取得する
ことを特徴とする請求項１６に記載の報知装置。
【請求項１８】
前記取得手段は、前記撮影光学系に起因する前記ボケ量として、前記撮影光学系の絞り値の変動に起因するボケ量の変動量を取得する
ことを特徴とする請求項１６又は１７に記載の報知装置。
【請求項１９】
前記決定手段は、前記動きブレ量と前記ボケ量との間の大小関係に基づいて前記優先度を決定する
ことを特徴とする請求項１６乃至１８のいずれか１項に記載の報知装置。
【請求項２０】
前記決定手段は、撮影画面内の画素毎に前記動きブレ量と前記ボケ量のいずれが大きいかを判定し、前記動きブレ量が前記ボケ量よりも大きい画素については前記動きブレ報知が優先的に実行され、前記ボケ量が前記動きブレ量よりも大きい画素については前記ボケ報知が優先的に実行されるように、前記優先度を決定する
ことを特徴とする請求項１９に記載の報知装置。
【請求項２１】
前記決定手段は、撮影画面において前記動きブレ量が閾値以上である画素の割合が閾値以上の場合、前記ボケ報知を実行せずに前記動きブレ報知を実行するように前記優先度を決定する
ことを特徴とする請求項１６乃至２０のいずれか１項に記載の報知装置。
【請求項２２】
前記決定手段は、前記撮影光学系の絞り値が変動していない場合、前記ボケ報知を実行せずに前記動きブレ報知を実行するように前記優先度を決定する
ことを特徴とする請求項１６乃至２１のいずれか１項に記載の報知装置。
【請求項２３】
前記第１の撮影により得られた前記画像を表示する表示手段を更に備え、
前記動きブレ報知は、前記表示手段により表示される前記画像において動きブレが生じているエッジ領域を第１の態様で強調表示することを含み、
前記ボケ報知は、前記表示手段により表示される前記画像において前記撮影光学系に起因するボケが生じているエッジ領域を前記第１の態様と異なる第２の態様で強調表示することを含む
ことを特徴とする請求項１６乃至２２のいずれか１項に記載の報知装置。
【請求項２４】
第１の撮影条件で第１の撮影により得られた第１の撮影画像及び前記第１の撮影画像における被写体の動き情報を取得する取得手段と、
前記第１の撮影条件とは独立して第２の撮影条件を設定する設定手段と、
前記動き情報及び前記第２の撮影条件から、前記第２の撮影条件で第２の撮影が行われる場合に得られる第２の撮影画像における前記被写体の動きブレ量を推定する推定手段と、
所定の報知条件に基づいて、動きブレ報知を実行するか否かを判定する判定手段と、
前記動きブレ報知を実行すると判定された場合に、前記動きブレ量に基づいて動きブレを報知する報知手段と、
を備えることを特徴とする報知装置。
【請求項２５】
第１の撮影条件で第１の撮影により得られた第１の撮影画像及び前記第１の撮影画像における被写体の動き情報を取得する取得手段と、
前記第１の撮影条件とは独立して第２の撮影条件を設定する設定手段と、
前記動き情報及び前記第２の撮影条件から、前記第２の撮影条件で第２の撮影が行われる場合に得られる第２の撮影画像における前記被写体の動きブレ量を推定する推定手段と、
所定の報知条件に基づいて、動きブレ報知、及び前記動きブレ報知と異なる第２の報知のうちのいずれを実行するかを判定する判定手段と、
前記動きブレ報知を実行すると判定された場合に、前記動きブレ量に基づいて動きブレを報知し、前記第２の報知を実行すると判定された場合に、前記第２の報知を実行する報知手段と、
を備えることを特徴とする報知装置。
【請求項２６】
請求項１乃至２５のいずれか１項に記載の報知装置と、
撮像手段と、
を備えることを特徴とする撮像装置。
【請求項２７】
報知装置が実行する報知方法であって、
所定の時間間隔で繰り返し行われる第１の撮影により得られた画像から被写体の動き量を検出する検出工程と、
前記所定の時間間隔と第２の撮影の露光時間とに基づいて、前記動き量を前記第２の撮影で生じる動きブレ量に換算する換算工程と、
所定の報知条件に基づいて、動きブレ報知を実行するか否かを判定する判定工程と、
前記動きブレ報知を実行すると判定された場合に、前記動きブレ量に基づいて動きブレを報知する報知工程と、
を備えることを特徴とする報知方法。
【請求項２８】
報知装置が実行する報知方法であって、
所定の時間間隔で繰り返し行われる第１の撮影により得られた画像から被写体の動き量を検出する検出工程と、
前記所定の時間間隔と第２の撮影の露光時間とに基づいて、前記動き量を前記第２の撮影で生じる動きブレ量に換算する換算工程と、
所定の報知条件に基づいて、動きブレ報知、及び前記動きブレ報知と異なる第２の報知のうちのいずれを実行するかを判定する判定工程と、
前記動きブレ報知を実行すると判定された場合に、前記動きブレ量に基づいて動きブレを報知し、前記第２の報知を実行すると判定された場合に、前記第２の報知を実行する報知工程と、
を備えることを特徴とする報知方法。
【請求項２９】
報知装置が実行する報知方法であって、
所定の時間間隔で繰り返し行われる第１の撮影により得られた画像から被写体の動きブレ量と撮影光学系に起因するボケ量とを取得する取得工程と、
前記動きブレ量に基づく動きブレ報知及び前記ボケ量に基づくボケ報知の優先度を決定する決定工程と、
前記優先度に従って前記動きブレ報知及び前記ボケ報知の一方又は両方を実行する報知工程と、
を備えることを特徴とする報知方法。
【請求項３０】
報知装置が実行する報知方法であって、
第１の撮影条件で第１の撮影により得られた第１の撮影画像及び前記第１の撮影画像における被写体の動き情報を取得する取得工程と、
前記第１の撮影条件とは独立して第２の撮影条件を設定する設定工程と、
前記動き情報及び前記第２の撮影条件から、前記第２の撮影条件で第２の撮影が行われる場合に得られる第２の撮影画像における前記被写体の動きブレ量を推定する推定工程と、
所定の報知条件に基づいて、動きブレ報知を実行するか否かを判定する判定工程と、
前記動きブレ報知を実行すると判定された場合に、前記動きブレ量に基づいて動きブレを報知する報知工程と、
を備えることを特徴とする報知方法。
【請求項３１】
報知装置が実行する報知方法であって、
第１の撮影条件で第１の撮影により得られた第１の撮影画像及び前記第１の撮影画像における被写体の動き情報を取得する取得工程と、
前記第１の撮影条件とは独立して第２の撮影条件を設定する設定工程と、
前記動き情報及び前記第２の撮影条件から、前記第２の撮影条件で第２の撮影が行われる場合に得られる第２の撮影画像における前記被写体の動きブレ量を推定する推定工程と、
所定の報知条件に基づいて、動きブレ報知、及び前記動きブレ報知と異なる第２の報知のうちのいずれを実行するかを判定する判定工程と、
前記動きブレ報知を実行すると判定された場合に、前記動きブレ量に基づいて動きブレを報知し、前記第２の報知を実行すると判定された場合に、前記第２の報知を実行する報知工程と、
を備えることを特徴とする報知方法。
【請求項３２】
コンピュータを、請求項１乃至２５のいずれか１項に記載の報知装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、報知装置、撮像装置、報知方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、製品化されているデジタルスチルカメラ等の撮像装置の中には、シャッタースピード優先モードという撮影モードを搭載している機種がある。このシャッタースピード優先モードは、撮影者が所望のシャッタースピードを設定し、絞り値やＩＳＯ感度といったシャッタースピード以外の露出設定値は撮像装置が自動で設定する撮影モードである。撮影者は、このようなシャッタースピード優先モードを用いることにより、好みのシャッタースピードで撮影することができる。例えば、撮影前に高速なシャッタースピードを設定し、シャッタースピード優先モードで撮影を行うことにより、動きブレが少ない画像を撮影することができる。
【０００３】
特許文献１には、準備撮影中において、撮影者が動き領域を目視確認できる技術が開示されている。ここで、準備撮影とは、撮影者が撮像装置の電子ビューファインダーや背面液晶を見ながら構図合わせや撮影条件の設定を行うための撮影のことである。特許文献１では、準備撮影中に撮像した時系列的な画像間の動き領域を検出し、その動き領域を強調表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１７２６６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術によれば、撮影者が撮影対象の動きブレに着目して撮影条件の設定を行う場合に動き領域を把握しやすい表示を行うことが可能になる。一方で、動き領域を強調表示することが常に撮影者にとって望ましいとは限らない。例えば、撮影者がピント調整などに着目して撮影条件の設定を行う場合には、動き領域の強調表示が撮影者にとって煩わしい可能性もある。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、状況に応じた動きブレ報知を実行可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、所定の時間間隔で繰り返し行われる第１の撮影により得られた画像から被写体の動き量を検出する検出手段と、前記所定の時間間隔と第２の撮影の露光時間とに基づいて、前記動き量を前記第２の撮影で生じる動きブレ量に換算する換算手段と、所定の報知条件に基づいて、動きブレ報知を実行するか否かを判定する判定手段と、前記動きブレ報知を実行すると判定された場合に、前記動きブレ量に基づいて動きブレを報知する報知手段と、を備えることを特徴とする報知装置を提供する。
【発明の効果】
【０００８】
本発明によれば、状況に応じた動きブレ報知を実行することが可能となる。
【０００９】
なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【図面の簡単な説明】
【００１０】
【図１】報知装置を備える撮像装置１００の構成を示すブロック図。
【図２】第１の実施形態に係る撮影処理のフローチャート。
【図３】第１の実施形態に係る画像処理部１０７が具備する報知画像生成部３００の構成例を示す図。
【図４】動きブレ報知画像を生成する処理（図２のＳ２０４）のフローチャート。
【図５】（ａ）準備撮影画像の例を示す図、（ｂ）準備撮影画像の動きベクトルの例を示す図。
【図６】動きベクトルの算出処理（図４のＳ４０２）のフローチャート。
【図７】動きベクトルの算出処理（図４のＳ４０２）を説明する図。
【図８】準備撮影の動きベクトルと、準備撮影の動きベクトルから換算された本撮影の動きブレ（換算動きブレ）とを示す図。
【図９】動きブレ報知画像の３つの例を説明する図。
【図１０】第２の実施形態に係る撮影処理のフローチャート。
【図１１】第３の実施形態に係る撮影処理のフローチャート。
【図１２】第３の実施形態に係る画像処理部１０７が具備する報知画像生成部１２００の構成例を示す図。
【図１３】ブレ報知プレーンを生成する処理（図１１のＳ１１０４）のフローチャート。
【図１４】ボケ報知プレーンを生成する処理（図１１のＳ１１０６）のフローチャート。
【図１５】ボケ報知プレーンの３つの例を説明する図。
【図１６】視差画像を取得するための撮像素子の１つの画素の構成を簡略的に示す図。
【図１７】ボケ量の算出処理（図１４のＳ１４０２）のフローチャート。
【図１８】報知の優先度を決定して動きブレ報知プレーン及びボケ報知プレーンの一方又は両方を優先度に応じて準備撮影画像に重畳する処理（図１１のＳ１１０７）のフローチャート。
【図１９】動きブレ報知とボケ報知とを異なる態様で実行する例を示す図。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明の実施形態を説明する。添付図面の全体を通じて、同一の参照符号が付与された要素は、特に断らない限り同一又は同様の要素を表す。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。
【００１２】
［第１の実施形態］
図１は、報知装置を備える撮像装置１００の構成を示すブロック図である。第１の実施形態では、動きブレの報知のＯＮ／ＯＦＦを切り替える構成について説明する。
【００１３】
制御部１０１は、例えばＣＰＵであり、撮像装置１００が備える各ブロックを制御するための制御プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行する。これにより、制御部１０１は、撮像装置１００が備える各ブロックの動作を制御することができる。ＲＯＭ１０２は、電気的に消去・記録可能な不揮発性メモリであり、撮像装置１００が備える各ブロックを制御するための制御プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、制御部１０１等が実行する制御プログラムの展開や、撮像装置１００が備える各ブロックの動作により生成等されたデータの一時的な記憶等に用いられる。
【００１４】
光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の撮像部１０５の撮像面上に結像する。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０４により撮像部１０５の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像データに変換する。Ａ／Ｄ変換部１０６から出力されたデジタル画像データは、ＲＡＭ１０３に一時的に記憶される。
【００１５】
画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、ガンマ処理など、様々な画像処理を適用する。また、画像処理部１０７は、後述の報知画像生成部３００を具備し、ＲＡＭ１０３に記憶されている画像に対して、動きブレが容易に確認できる画像プレーンを重畳し、動きブレ報知画像を生成する。
【００１６】
記録部１０８は、着脱可能なメモリカード等である。記録部１０８は、画像処理部１０７で処理された画像データを、ＲＡＭ１０３を介し、記録画像として記録する。表示部１０９は、ＬＣＤ等の表示デバイスであり、ＲＡＭ１０３に記憶されている画像や記録部１０８に記録されている画像の表示、ユーザからの指示を受け付けるための操作ユーザインタフェースの表示等を行う。また、表示部１０９は、準備撮影中に構図合わせ等のために撮像部１０５が撮像した画像を表示する。指示入力部１１０は、タッチパネルやマウス等である。ユーザは、指示入力部１１０を用いて撮像装置１００に対する指示を入力する。
【００１７】
次に、図２を参照して、撮像装置１００が実行する撮影処理について説明する。本フローチャートの各ステップの処理は、特に断らない限り、制御部１０１が前述した制御プログラムを実行することにより実現される。ユーザが撮像装置１００の電源を入れ、撮像装置１００の動作モードが撮影モードになると、本フローチャートの処理が開始する。
【００１８】
Ｓ２０１で、制御部１０１は、準備撮影（第１の撮影）を開始する。この準備撮影の期間中は、撮像装置１００は動画のような連続画像（準備撮影画像）を撮像して表示部１０９に表示する。即ち、準備撮影の期間中は、所定の時間間隔で繰り返し準備撮影が行われる。ユーザは、表示された準備撮影画像を見ながら構図合わせなどを行う。なお、後述するＳ２０２〜Ｓ２０６の処理は、準備撮影の期間中に行われる。
【００１９】
Ｓ２０２で、制御部１０１は、指示入力部１１０を用いるユーザ指示（ユーザ操作）に従い、本撮影（第２の撮影）の撮影条件を設定する。撮影条件は露出条件を含み、露出条件としては、シャッタースピード、ＩＳＯ感度、Ｆ値などがある。
【００２０】
Ｓ２０３で、制御部１０１は、動きブレ報知のＯＮ／ＯＦＦを判断する。動きブレ報知のＯＮ／ＯＦＦの判断は、Ｓ２０２におけるユーザ操作の内容に応じて行うものとする。ここでの判断の詳細については後述する。動きブレ報知をＯＮにすると判断された場合、処理はＳ２０４に進み、そうでない場合、処理はＳ２０５に進む。
【００２１】
Ｓ２０４で、報知画像生成部３００は、制御部１０１による制御に従い、準備撮影画像に対して動きブレ報知プレーンを重畳した動きブレ報知画像を生成する。即ち、動きブレ報知画像は、動きブレ報知プレーンが重畳された準備撮影画像である。Ｓ２０４の処理の詳細については、図４を参照して後述する。
【００２２】
Ｓ２０５で、制御部１０１は、表示部１０９に画像表示を行う。具体的には、Ｓ２０４において動きブレ報知画像が生成された場合（Ｓ２０３において動きブレ報知をＯＮにすると判断された場合）、制御部１０１は、動きブレ報知画像（動きブレ報知プレーンが重畳された準備撮影画像）を表示部１０９に表示する。動きブレ報知画像が生成されていない場合（Ｓ２０３において動きブレ報知をＯＦＦにすると判断された場合）、制御部１０１は、準備撮影画像（動きブレ報知プレーンが重畳されていない準備撮影画像）を表示部１０９に表示する。
【００２３】
Ｓ２０６で、制御部１０１は、ユーザによりシャッターボタンが押下されたか否かを判定する。シャッターボタンは、例えば指示入力部１１０に含まれる。シャッターボタンが押下された場合、処理はＳ２０７に進み、そうでない場合、処理はＳ２０２に戻る。
【００２４】
ユーザは、表示部１０９に表示された準備撮影画像又は動きブレ報知画像を見ながらシャッターチャンス時にシャッターボタンを押下することができる。表示部１０９に動きブレ報知画像が表示されている場合、ユーザは、準備撮影中に容易に動きブレを確認することができる。確認した動きブレがユーザの好みの動きブレになっていない場合、ユーザはシャッターボタンを押下しないことで処理をＳ２０２に戻し、本撮影のシャッタースピード（露光時間）を変更（再設定）することが可能である。このように、準備撮影中に、ユーザは、表示部１０９に表示される動きブレ報知画像を確認しながら好みの動きブレになるまで本撮影のシャッタースピード（露光時間）の変更を繰り返し、シャッターチャンス時にシャッターボタンを押下することができる。
【００２５】
Ｓ２０６においてシャッターボタンが押下されると、Ｓ２０７で、制御部１０１は本撮影を行い、本撮影画像を記録部１０８に記録する。
【００２６】
ここで、Ｓ２０３における動きブレ報知のＯＮ／ＯＦＦの判断の詳細について説明する。前述の通り、制御部１０１は、Ｓ２０２におけるユーザ操作の内容に応じて動きブレ報知のＯＮ／ＯＦＦを判断する。ユーザの操作によって動きブレの程度が変わる場合は、制御部１０１は、ユーザが動きブレを確認したい状況であると判断して動きブレ報知をＯＮにする。例えば、ユーザが指示入力部１１０に含まれるＴｖダイヤルを操作している場合は、シャッタースピードの変化に応じて動きブレの程度が変わる。そのため、制御部１０１は、ユーザが動きブレを確認したい状況であると判断して動きブレ報知をＯＮにする。反対に、ユーザの操作によって動きブレの程度が変わらない場合は、制御部１０１は、動きブレの確認が不要な状況であると判断して動きブレ報知をＯＦＦにする。例えば、ユーザが指示入力部１１０に含まれるＡｖダイヤルを操作している場合は、動きブレの程度は変わらない。そのため、制御部１０１は、動きブレの確認が不要な状況であると判断して動きブレ報知をＯＦＦにする。このように、ユーザ操作の内容に応じて動的に動きブレ報知のＯＮ／ＯＦＦを切り替えることで、適切なタイミングで撮影アシストを行うことができる。
【００２７】
次に、図３を参照して、画像処理部１０７が具備する報知画像生成部３００の構成例について説明する。報知画像生成部３００は、動きベクトル算出部３０１、換算動きブレ算出部３０２、動きブレ報知プレーン作成部３０３、及び画像重畳部３０４を含む。報知画像生成部３００の動作の詳細については、図４を参照して後述する。
【００２８】
次に、図４を参照して、報知画像生成部３００が動きブレ報知画像を生成する処理（図２のＳ２０４）の詳細について説明する。
【００２９】
Ｓ４０１で、報知画像生成部３００は、撮像装置１００が準備撮影中に撮像した準備撮影画像を取得する。取得した準備撮影画像は、動きベクトル算出部３０１及び画像重畳部３０４に入力される。
【００３０】
図５（ａ）は、準備撮影画像の例を示す図である。本実施形態では、図５（ａ）に示すように、左方向に走っている犬５０１と止まっている犬５０２を含むシーンを撮影している例について説明する。
【００３１】
Ｓ４０２で、動きベクトル算出部３０１は、動き情報として準備撮影画像の画像間における動きベクトルを算出する。動きベクトルとは、準備撮影画像の画像間における被写体の水平方向の移動量と垂直方向の移動量とをベクトルで表したものである。動きベクトルの算出方法について、図６及び図７を参照して詳しく説明する。
【００３２】
図６は、動きベクトル算出部３０１による動きベクトルの算出処理（図４のＳ４０２）のフローチャートである。なお、本実施形態では、動きベクトルの算出手法としてブロックマッチング法を例に挙げて説明するが、動きベクトルの算出手法はこの例に限定されず、例えば勾配法でもよい。
【００３３】
Ｓ６０１で、動きベクトル算出部３０１は、時間的に隣接する２枚の準備撮影画像を取得する。そして、動きベクトル算出部３０１は、Ｍ番目フレームの準備撮影画像を基準フレームとして設定し、Ｍ＋１番目フレームの準備撮影画像を参照フレームとして設定する。
【００３４】
Ｓ６０２で、動きベクトル算出部３０１は、図７に示すように、基準フレーム７０１において、Ｎ×Ｎ画素の基準ブロック７０２を配置する。
【００３５】
Ｓ６０３で、動きベクトル算出部３０１は、図７に示すように、参照フレーム７０３に対し、基準フレーム７０１の基準ブロック７０２の中心座標と同じ座標７０４の周囲（Ｎ＋ｎ）×（Ｎ＋ｎ）画素を、探索範囲７０５として設定する。
【００３６】
Ｓ６０４で、動きベクトル算出部３０１は、基準フレーム７０１の基準ブロック７０２と、参照フレーム７０３の探索範囲７０５内に存在する各座標のＮ×Ｎ画素の参照ブロック７０６との相関演算を行い、相関値を算出する。相関値は、基準ブロック７０２及び参照ブロック７０６の画素に対するフレーム間差分絶対値和に基づき算出される。即ち、フレーム間差分絶対値和の値が最も小さい座標が、最も相関値が高い座標となる。なお、相関値の算出方法は、フレーム間差分絶対値和を求める方法に限定されず、例えばフレーム間差分二乗和や正規相互相関値に基づく相関値を算出する方法でもよい。図７の例では、参照ブロック７０６が最も相関が高いことを示しているものとする。
【００３７】
Ｓ６０５で、動きベクトル算出部３０１は、Ｓ６０４で求めた最も高い相関値を示す参照ブロック座標に基づき、動きベクトルを算出する。図７の例の場合、参照フレーム７０３の探索範囲７０５の中で、基準フレーム７０１の基準ブロック７０２の中心座標に対応した座標７０４と、参照ブロック７０６の中心座標とに基づき動きベクトルが求められる。即ち、座標７０４から参照ブロック７０６の中心座標までの座標間距離及び方向が動きベクトルとして求められる。
【００３８】
Ｓ６０６で、動きベクトル算出部３０１は、基準フレーム７０１の全画素について動きベクトルを算出したか否かを判定する。動きベクトル算出部３０１は、Ｓ６０６において全画素の動きベクトルを算出していないと判定した場合には、Ｓ６０２に処理を戻し、全画素の動きベクトルを算出したと判定した場合には、図４のフローチャートに処理を戻す。
【００３９】
処理がＳ６０２に戻ると、動きベクトル算出部３０１は、動きベクトルがまだ算出されていない画素を中心として前述した基準フレーム７０１にＮ×Ｎ画素の基準ブロック７０２を配置する。その後、Ｓ６０３からＳ６０５の処理が同様に行われる。即ち、動きベクトル算出部３０１は、図７の基準ブロック７０２を移動させながら、Ｓ６０２からＳ６０５までの処理を繰り返して、基準フレーム７０１の全画素の動きベクトルを算出する。
【００４０】
こうして算出された動きベクトルの例を図５（ｂ）に示す。図５（ｂ）は、図５（ａ）の準備撮影画像の動きベクトルの例を示す図である。図５（ａ）の準備撮影画像では、犬５０１が左方向に走っている例を示している。図５（ｂ）は、このように被写体が移動している場合の動きベクトルの例を示している。図５（ｂ）の例では、走っている犬５０１の領域では左方向の動きベクトルが検出され、それ以外の止まっている犬５０２や背景の柵の領域では動きベクトルとして「０」が検出される。「０」の動きベクトルについては図示していない。
【００４１】
なお、動きベクトル算出部３０１は、全画素の動きベクトルを算出するのではなく、所定画素毎に動きベクトルを算出してもよい。
【００４２】
以上の処理により、動きベクトル算出部３０１は、時間的に隣接する準備撮影画像間における動きベクトルを算出する。
【００４３】
図４に戻り、Ｓ４０３で、換算動きブレ算出部３０２は、撮影条件として、図２のＳ２０２で設定された本撮影のシャッタースピード（露光時間）、及び準備撮影における画像間の時間間隔を取得する。
【００４４】
Ｓ４０４で、換算動きブレ算出部３０２は、Ｓ４０３で取得した本撮影の露光時間及び準備撮影における画像間の時間間隔に基づき、Ｓ４０２で算出した画素毎の動きベクトルを本撮影の動きブレに換算する。準備撮影の動きベクトルを本撮影の動きブレに換算する方法について、図８を参照して詳しく説明する。
【００４５】
図８は、準備撮影の動きベクトルと、準備撮影の動きベクトルから換算された本撮影の動きブレ（換算動きブレ）とを示す図である。図８では、準備撮影の画像間の時間間隔として１／６０秒を例示しており、本撮影の露光時間として１／１２０秒及び１／３０秒を例示している。
【００４６】
換算動きブレ算出部３０２は、下記の式（１）及び式（２）に示すような換算式に基づき、画素毎の動きベクトルを本撮影の動きブレに換算する。
【００４７】
ＣＯＮＶ＿ＧＡＩＮ＝ＥＸＰ＿ＴＩＭＥ／ＩＮＴ＿ＴＩＭＥ・・・（１）
ＣＯＮＶ＿ＢＬＵＲ＝ＶＥＣ＿ＬＥＮ×ＣＯＮＶ＿ＧＡＩＮ・・・（２）
ここで、式（１）において、ＣＯＮＶ＿ＧＡＩＮは準備撮影の動きベクトルを本撮影の動きベクトルに換算するための換算ゲインを示し、ＥＸＰ＿ＴＩＭＥは本撮影の露光時間を示し、ＩＮＴ＿ＴＩＭＥは準備撮影の画像間の時間間隔を示す。また、式（２）において、ＣＯＮＶ＿ＢＬＵＲは本撮影の換算動きブレを示し、ＶＥＣ＿ＬＥＮは準備撮影の動きベクトルの長さを示す。
【００４８】
式（１）において、換算ゲインＣＯＮＶ＿ＧＡＩＮは、本撮影の露光時間ＥＸＰ＿ＴＩＭＥを準備撮影の画像間の時間間隔ＩＮＴ＿ＴＩＭＥで除算することにより算出される。そして、式（２）において、本撮影の換算動きブレＣＯＮＶ＿ＢＬＵＲは、動きベクトルの長さＶＥＣ＿ＬＥＮに換算ゲインＣＯＮＶ＿ＧＡＩＮを乗算することにより算出される。
【００４９】
具体的には、図８のように、準備撮影における動きベクトルの長さＶＥＣ＿ＬＥＮが１０画素、本撮影の露光時間ＥＸＰ＿ＴＩＭＥが１／１２０秒の場合、換算ゲインＣＯＮＶ＿ＧＡＩＮが１／２倍であるため、換算動きブレは５画素となる。また、本撮影の露光時間ＥＸＰ＿ＴＩＭＥが１／３０秒の場合、換算ゲインＣＯＮＶ＿ＧＡＩＮが２倍であるため、換算動きブレは２０画素となる。
【００５０】
図４に戻り、Ｓ４０５で、動きブレ報知プレーン作成部３０３は、Ｓ４０４において算出した画素毎の換算動きブレに基づき、動きブレを報知するための画像プレーン（動きブレ報知プレーン）を作成する。
【００５１】
Ｓ４０６で、画像重畳部３０４は、準備撮影画像にＳ４０５において作成した動きブレ報知プレーンを重畳し、動きブレ報知画像を生成する。
【００５２】
ここで、図９を参照して、動きブレ報知画像の３つの例を説明する。準備撮影中に動きブレ報知画像を表示部１０９に表示することにより、ユーザは動きブレを容易に確認することができる。
【００５３】
図９（ａ）は、アイコン表示により動きブレを報知する例を示す。ここで、アイコン表示による動きブレ報知画像の生成方法について説明する。Ｓ４０５において、動きブレ報知プレーン作成部３０３は、画素毎の換算動きブレのうち、所定値以上の換算動きブレを持つ画素の数が画面全体に占める割合を算出する。その割合が所定割合以上の場合に、動きブレ報知プレーン作成部３０３は、図９（ａ）に示すような動きブレ報知アイコン９０１を動きブレ報知プレーンとして作成する。Ｓ４０６において、画像重畳部３０４は、動きブレ報知アイコン９０１を含む動きブレ報知プレーンを準備撮影画像に重畳することにより、図９（ａ）のような動きブレ報知画像を生成する。
【００５４】
図９（ｂ）は、枠表示により動きブレを報知する例を示す。ここで、枠表示による動きブレ報知画像の生成方法について説明する。Ｓ４０５において、動きブレ報知プレーン作成部３０３は、撮影画面の分割領域内の画素のうち、所定値以上の換算動きブレを持つ画素の数が分割領域全体に占める割合を算出する。動きブレ報知プレーン作成部３０３は、その割合が所定割合以上の分割領域に対して、図９（ｂ）に示すような動きブレ報知枠９０２を動きブレ報知プレーンとして作成する。Ｓ４０６において、画像重畳部３０４は、動きブレ報知枠９０２を含む動きブレ報知プレーンを準備撮影画像に重畳することにより、図９（ｂ）のような動きブレ報知画像を生成する。
【００５５】
図９（ｃ）は、動きブレが発生したエッジを強調表示することにより動きブレを報知する例を示す。ここで、動きブレが発生したエッジの強調表示による動きブレ報知画像の生成方法について説明する。Ｓ４０５において、動きブレ報知プレーン作成部３０３は、準備撮影画像のエッジ強度を検出する。エッジ強度の算出は、ソーベルフィルタなどの既存の方法を用いるものとし、説明は省略する。そして、動きブレ報知プレーン作成部３０３は、エッジ強度が所定値以上、且つ、換算動きブレが所定値以上の画素を抽出する。動きブレ報知プレーン作成部３０３は、抽出した画素に対して、図９（ｃ）の動きブレ報知エッジ９０３に示すような、動きブレが発生したエッジ領域を強調表示する動きブレ報知プレーンを作成する。Ｓ４０６において、画像重畳部３０４は、動きブレ報知エッジ９０３を含む動きブレ報知プレーンを準備撮影画像に重畳することにより、図９（ｃ）のような動きブレ報知画像を生成する。図９（ｃ）では、動きブレ報知エッジ９０３が他のエッジよりも太く表示される例を示している。強調表示方法の他の例としては、エッジ強度が所定値以上、且つ、換算動きブレが所定値以上の画素を抽出し、抽出した画素を赤く塗るような強調表示が挙げられる。
【００５６】
以上説明したように、第１の実施形態によれば、撮像装置１００は、準備撮影により得られた画像から被写体の動き量を検出し、動き量を本撮影で生じる動きブレ量に換算する。また、撮像装置１００は、所定の報知条件に基づいて、動きブレ報知を実行するか否かを判定し、動きブレ報知を実行すると判定された場合に、例えば図９に示すように動きブレ量に基づいて動きブレを報知する。動きブレ報知を実行するか否かを判定するための所定の報知条件とは、例えば本撮影の撮影条件を変更するユーザ操作の内容である。上で説明した例においては、撮像装置１００は、本撮影の露光時間を変更するユーザ操作（例えば、指示入力部１１０に含まれるＴｖダイヤルの操作）が行われた場合に、動きブレ報知を実行すると判定する。これにより、状況に応じた動きブレ報知を実行することが可能となる。
【００５７】
なお、本実施形態では、ユーザ操作の内容に応じて動きブレ報知のＯＮ／ＯＦＦを判断する構成について説明したが、動きブレ報知のＯＮ／ＯＦＦの判断基準（所定の報知条件）はこれに限定されない。例えば、撮影している被写体が閾値以上の速さで移動している場合はユーザが動きブレを確認したい状況であると判断して動きブレ報知をＯＮにする構成を採用してもよい。被写体の速さとしては、例えば前述した動きベクトルの大きさを用いることができる。この場合、制御部１０１は、動きベクトルの大きさが閾値以上の場合に動きブレ報知をＯＮにする。なお、被写体の速さとして動きベクトルの大きさを用いる場合は、図２においてＳ２０３の処理の前に動きベクトルを算出する処理が行われるように、図２における処理順が変更される。
【００５８】
また、本実施形態では、図９を参照して換算動きブレが所定値以上の場合に動きブレが報知される例について説明した。しかしながら、換算動きブレが所定値未満の場合にも動きブレを報知する構成を採用してもよい。これにより、ユーザが動きブレを動感として表現することを望む長秒露光撮影の場合に、ユーザが動きブレの不足を準備撮影期間中に確認しやすくなる。
【００５９】
また、本実施形態では、動きブレ報知プレーンの例として、動きブレ報知アイコン９０１、動きブレ報知枠９０２、動きブレ報知エッジ９０３の３つの例について説明したが、動きブレ報知プレーンの種類はこれに限ったものではない。例えば、エッジ領域だけではなく平坦な領域も含めて、動きブレが発生している領域を強調表示する構成を採用してもよい。具体的には、動きブレ報知プレーン作成部３０３は、画素毎の換算動きブレが所定値以上の画素を赤く塗るような強調表示を行う。このように、エッジ領域だけではなく、エッジ領域以外の領域も強調表示を行うことにより、被写体全体が強調表示されるため、より動きブレを確認しやすくなる。
【００６０】
また、本実施形態では、動きブレの報知方法として、表示部１０９に動きブレ報知画像を表示する構成について説明したが、動きブレの報知方法はこれに限ったものではない。例えば、音により動きブレを報知する構成を採用してもよい。この場合、例えば、制御部１０１は、画素毎の換算動きブレのうち、所定値以上の換算動きブレを持つ画素の数が画面全体に占める割合が所定割合以上の場合に、スピーカ（不図示）から動きブレ報知音を出力してもよい。
【００６１】
また、本実施形態では、準備撮影により得られた画像から被写体の動き量を検出し、動き量を本撮影で生じる動きブレ量に換算することにより、本撮影で生じる動きブレ量を推定する構成について説明した。しかしながら、本撮影で生じる動きブレ量を推定する方法はこれに限定されない。また、準備撮影及び本撮影の２つの撮影は、任意の種類の２つの撮影（第１の撮影及び第２の撮影）であってもよい。例えば、撮像装置１００は、第１の撮影条件で第１の撮影により得られた第１の撮影画像及び第１の撮影画像における被写体の動き情報を取得してもよい。ここで取得される動き情報は、第１の撮影画像における被写体の速度（例えば、単位時間の移動量を画素数で表現したもの）である。そして、撮像装置１００は、動き情報及び第２の撮影条件から、第２の撮影条件で第２の撮影が行われる場合に得られる第２の撮影画像における被写体の動きブレ量を推定してもよい。第２の撮影条件は、第１の撮影条件とは独立して設定されるものである。この点は、後述する第２の実施形態及び第３の実施形態においても同様である。
【００６２】
［第２の実施形態］
第１の実施形態では、動きブレ報知のＯＮ／ＯＦＦを切り替える構成について説明した。第２の実施形態では、動きブレ報知と合焦度合報知とを切り替える構成について説明する。第２の実施形態において、撮像装置１００の基本的な構成は第１の実施形態（図１）と同様である。以下、主に第１の実施形態と異なる点について説明する。
【００６３】
図１０は、第２の実施形態に係る、撮像装置１００が実行する撮影処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、制御部１０１が前述した制御プログラムを実行することにより実現される。ユーザが撮像装置１００の電源を入れ、撮像装置１００の動作モードが撮影モードになると、本フローチャートの処理が開始する。
【００６４】
Ｓ１００１で、制御部１０１は、Ｓ２０２におけるユーザ操作の内容に基づいて、動きブレ報知ＯＮ、合焦度合報知ＯＮ、報知ＯＦＦのうちのいずれの報知モードで動作するかを判定する。動きブレ報知ＯＮの場合、処理はＳ２０４に進み、合焦度合報知ＯＮの場合、処理はＳ１００２に進み、報知ＯＦＦの場合、処理はＳ１００３に進む。
【００６５】
Ｓ１００２で、報知画像生成部３００は、制御部１０１による制御に従い、準備撮影画像に対して合焦度合報知プレーンを重畳した合焦度合報知画像を生成する。即ち、合焦度合報知画像は、合焦度合報知プレーンが重畳された準備撮影画像である。なお、報知画像生成部３００は、任意の既知の方法を用いて合焦度合報知プレーンを作成することができる。例えば、報知画像生成部３００は、特開２０１６−９２５９６号公報に開示されているようにエッジ検出結果に基づいて合焦度合報知プレーンを作成する方法を用いてもよい。
【００６６】
Ｓ１００３で、制御部１０１は、表示部１０９に画像表示を行う。具体的には、Ｓ２０４において動きブレ報知画像が生成された場合（Ｓ１００１において動きブレ報知ＯＮの報知モードで動作すると判定された場合）、制御部１０１は、動きブレ報知画像（動きブレ報知プレーンが重畳された準備撮影画像）を表示部１０９に表示する。Ｓ１００２において合焦度合報知画像が生成された場合（Ｓ１００１において合焦度合報知ＯＮの報知モードで動作すると判定された場合）、制御部１０１は、合焦度合報知画像（合焦度合報知プレーンが重畳された準備撮影画像）を表示部１０９に表示する。動きブレ報知画像が生成されていない場合（Ｓ１００１において報知ＯＦＦの報知モードで動作すると判定された場合）、制御部１０１は、準備撮影画像（いずれの報知プレーンも重畳されていない準備撮影画像）を表示部１０９に表示する。
【００６７】
ここで、Ｓ１００１における報知モードの判定の詳細について説明する。前述の通り、制御部１０１は、Ｓ２０２におけるユーザ操作の内容に基づいて、動きブレ報知ＯＮ、合焦度合報知ＯＮ、報知ＯＦＦのうちのいずれの報知モードで動作するかを判定する。ユーザの操作によって動きブレの程度が変わる場合は、制御部１０１は、ユーザが動きブレを確認したい状況であると判断して動きブレ報知ＯＮを選択する。例えば、ユーザが指示入力部１１０に含まれるＴｖダイヤルを操作している場合は、シャッタースピードの変化に応じて動きブレの程度が変わる。そのため、制御部１０１は、ユーザが動きブレを確認したい状況であると判断して動きブレ報知ＯＮを選択する。一方で、ユーザの操作によって合焦度合が変わる場合は、制御部は、ユーザが合焦度合を確認したい状況であると判断して合焦度合報知ＯＮを選択する。例えば、ユーザが指示入力部１１０に含まれるＡｖダイヤルやフォーカスリングを操作している場合は、制御部１０１は、ユーザが合焦度合を確認したい状況であると判断して合焦度合報知ＯＮを選択する。また、ユーザがＩＳＯ感度を調節している場合は、動きブレの程度及び合焦度合はいずれも変わらない。そのため、制御部１０１は、動きブレ及び合焦度合の確認が不要な状況であると判断して動き報知ＯＦＦを選択する。このように、ユーザ操作の内容に応じて動的に報知モード（動きブレ報知ＯＮ、合焦度合報知ＯＮ、又は報知ＯＦＦ）を切り替えることで、適切なタイミングで撮影アシストを行うことができる。
【００６８】
以上説明したように、第２の実施形態によれば、撮像装置１００は、準備撮影により得られた画像から被写体の動き量を検出し、動き量を本撮影で生じる動きブレ量に換算する。また、撮像装置１００は、所定の報知条件に基づいて、動きブレ報知、及び動きブレ報知と異なる第２の報知（上の例では、合焦度合報知）のうちのいずれを実行するかを判定する。撮像装置１００は、動きブレ報知を実行すると判定された場合に、動きブレ量に基づいて動きブレを報知し、第２の報知を実行すると判定された場合に、第２の報知を実行する。動きブレ報知及び第２の報知のうちのいずれを実行するかを判定するための所定の報知条件とは、例えば本撮影の撮影条件を変更するユーザ操作の内容である。上で説明した例においては、撮像装置１００は、本撮影の露光時間を変更するユーザ操作（例えば、指示入力部１１０に含まれるＴｖダイヤルの操作）が行われた場合に、動きブレ報知を実行すると判定する。また、撮像装置１００は、本撮影の絞り値又はフォーカスを変更するユーザ操作（例えば、指示入力部１１０に含まれるＡｖダイヤルやフォーカスリングの操作）が行われた場合に、合焦度合報知を実行すると判定する。これにより、状況に応じた動きブレ報知を実行することが可能となる。また、状況に応じて異なる種類の報知を実行することが可能となる。
【００６９】
なお、図１０においてはユーザ操作の内容に応じて報知モード（動きブレ報知ＯＮ、合焦度合報知ＯＮ、又は報知ＯＦＦ）を切り替える構成について説明したが、報知モードの切り替え基準（所定の報知条件）はこれに限定されない。例えば、撮影している被写体が平面方向（撮影光学系の光軸と直交する方向）に移動している場合、制御部１０１は、ユーザが動きブレを確認したい状況であると判断して動きブレ報知ＯＮを選択してもよい。また、撮影している被写体が奥行き方向（撮影光学系の光軸の方向）に移動している場合、制御部１０１は、ユーザが合焦度合を確認したい状況であると判断して合焦度合報知ＯＮを選択してもよい。また、撮影している被写体が所定度合以上に合焦していない場合（合焦度合が閾値未満の場合）は、制御部１０１は、ユーザが合焦度合を優先的に確認したい状況であると判断して合焦度合報知ＯＮを選択してもよい。
【００７０】
被写体が平面方向・奥行き方向のどちらに移動しているかの判断は、例えば動きベクトル及び距離情報を用いて行うことができる。動きベクトルに関しては、制御部１０１は、第１の実施形態で説明した算出方法により動きベクトルを算出する。そして、制御部１０１は、算出した動きベクトルの大きさを平面方向の移動量として用いる。また、距離情報に関しては、制御部１０１は、後述するように撮像面位相差情報に基づいてＭ番目フレーム及びＭ＋１番目フレームの被写体の距離情報をそれぞれ算出する。そして、制御部１０１は、これらの距離情報間の差分を奥行き方向の移動量として用いる。制御部１０１は、算出した２つの方向の移動量を比較して、平面方向の移動量の方が大きい場合は被写体が平面方向に移動していると判断し、奥行き方向の移動量の方が大きい場合は被写体が奥行き方向に移動していると判断する。
【００７１】
制御部１０１は、後述する第３の実施形態において図１６を参照して説明するＡ像及びＢ像から撮像面位相差情報を取得することができる。具体的には、制御部１０１は、Ａ像及びＢ像の相関演算に基づき位相差を検出する。そして、制御部１０１は、検出した位相差に基づき距離情報を算出する。
【００７２】
また、撮像装置１００の露出設定がオートに設定されている場合、シャッタースピード及び合焦度合が同時に変化する場合がある。このような場合には、動きブレ報知と合焦度合報知とのどちらを優先して表示させるかを予め設定可能なように撮像装置１００を構成してもよい。これにより、ユーザの好みに合わせて報知を行うことができる。
【００７３】
なお、本実施形態では、動きブレ報知と合焦度合報知とを切り替える構成について説明したが、合焦度合報知に限らず他の報知との切り替えを行う構成を採用してもよい。例えば、制御部１０１は、動きブレ報知と飽和度合報知とを切り替えてもよい。この場合、図１０のＳ１００１で、制御部１０１は、Ｓ２０２におけるユーザ操作の内容に基づいて、動きブレ報知ＯＮ、飽和度合報知ＯＮ、報知ＯＦＦのうちのいずれの報知モードで動作するかを判定する。そして、動きブレ報知ＯＮの場合、処理はＳ２０４に進み、飽和度合報知ＯＮの場合、処理はＳ１００２に進み、報知ＯＦＦの場合、処理はＳ１００３に進む。Ｓ１００３では、合焦度合報知画像の代わりに飽和度合報知画像を生成する処理が行われる。また、制御部１０１は、ユーザ操作の内容や被写体の動きに加えて画像内に含まれる飽和領域の面積も考慮して、報知モードを決定してもよい。例えば、制御部１０１は、本撮影により得られる画像における飽和領域の割合が閾値以上の場合に、飽和度合報知ＯＮを選択してもよい。
【００７４】
また、本実施形態では、ユーザ操作の内容や被写体の動きなどに応じて動きブレ報知と合焦度合報知とを切り替える構成について説明したが、切替ボタンなどの報知切替用部材を設けておき、切替ボタンの操作によるユーザ指示に応じて切り替えを行う構成を採用してもよい。例えば、ユーザが切替ボタンを押下する毎に、制御部１０１は、動きブレ報知ＯＮ→合焦度合報知ＯＮ→報知ＯＦＦのように報知モードを切り替えることができる。例えば、子供のように断続的に動き続けている被写体を撮影する際には、最初に動きブレが生じないようにシャッタースピードを調整しておき、その後随時ピントを合わせて撮影することが想定される。そのため、この順番に報知モードが切り替わる構成を採用することにより、操作性が向上する。或いは、ユーザが切替ボタンを押下する毎に、制御部１０１は、合焦度合報知ＯＮ→動きブレ報知ＯＮ→報知ＯＦＦのように報知モードを切り替えてもよい。例えば、電車を流し撮りする場合は、最初に電車にピント合わせておき、その後動きブレを考慮してシャッタースピードを決めて撮影することが想定される。そのため、この順番に報知モードが切り替わる構成を採用することにより、操作性が向上する。
【００７５】
［第３の実施形態］
背景技術において説明した通り、動きブレが少ない画像を撮影するためには高速なシャッタースピードで撮影する必要がある。そのため、ユーザによるシャッタースピードの設定をアシストする報知を行うと操作性が向上する。
【００７６】
しかしながら、シャッタースピードを上げつつ露出を維持するためには、レンズの絞りを開くかＩＳＯ感度を上げる必要がある。例えば、ユーザがシャッタースピードを上げて動きブレを低減した場合に、露出を維持するために絞りが開かれた場合、ピント位置にない被写体にボケが発生して、ユーザにとって好ましくないボケ具合の画像になってしまうことがある。従って、状況によっては、ユーザは動きブレ報知の代わりに、又はこれに加えて、ボケ報知が実行されることを望む可能性がある。
【００７７】
このような状況に鑑み、第３の実施形態では、動きブレ報知及びボケ報知の優先度を決定し、優先度に従って動きブレ報知及びボケ報知の一方又は両方を実行する構成について説明する。なお、ボケ報知とは、撮影光学系に起因するボケの情報に基づいて画像のボケを報知することである。第３の実施形態において、撮像装置１００の基本的な構成は第１の実施形態（図１）と同様である。以下、主に第１の実施形態と異なる点について説明する。
【００７８】
第３の実施形態において、撮像部１０５は、後述する瞳分割画素を備える撮像素子を含む。また、画像処理部１０７は、報知画像生成部３００の代わりに後述する報知画像生成部１２００を具備する。そして、画像処理部１０７は、ＲＡＭ１０３に記憶されている画像に対して、動きブレと光学系に起因するボケとが容易に確認できる画像プレーンを重畳し、動きブレ／ボケ報知画像を生成する。
【００７９】
次に、図１１を参照して、撮像装置１００が実行する撮影処理について説明する。本フローチャートの各ステップの処理は、特に断らない限り、制御部１０１が前述した制御プログラムを実行することにより実現される。ユーザが撮像装置１００の電源を入れ、撮像装置１００の動作モードが撮影モードになると、本フローチャートの処理が開始する。
【００８０】
Ｓ１１０１で、制御部１０１は、準備撮影を開始する。この準備撮影の期間中は、撮像装置１００は連続画像（準備撮影画像）を撮像して表示部１０９に表示する。ユーザは、表示された準備撮影画像を見ながら構図合わせなどを行う。なお、後述するＳ１１０２〜Ｓ１１０９の処理は、準備撮影の期間中に行われる。
【００８１】
Ｓ１１０２で、制御部１０１は、指示入力部１１０を用いるユーザ指示に従い、本撮影の撮影条件を設定する。撮影条件は露出条件を含み、露出条件としては、シャッタースピード、ＩＳＯ感度、Ｆ値などがある。
【００８２】
Ｓ１１０３で、制御部１０１は、動きブレ報知のＯＮ／ＯＦＦを判断する。動きブレ報知のＯＮ／ＯＦＦは、例えば、ユーザが指示入力部１１０を用いて設定することができる。ユーザにより動きブレ報知のＯＮ／ＯＦＦの設定が行われると、ＯＮ／ＯＦＦに関する設定値がＲＡＭ１０３に保持される。制御部１０１は、この設定値に従って動きブレ報知のＯＮ／ＯＦＦを判断する。動きブレ報知がＯＮであると判断された場合、処理はＳ１１０４に進み、そうでない場合、処理はＳ１１０５に進む。
【００８３】
Ｓ１１０４で、報知画像生成部３００は、制御部１０１による制御に従い、準備撮影画像に対して重畳するための動きブレ報知プレーンを生成する。Ｓ１１０４の処理の詳細については、図１３を参照して後述する。
【００８４】
Ｓ１１０５で、制御部１０１は、光学系によるボケの報知（ボケ報知）のＯＮ／ＯＦＦを判断する。ボケ報知のＯＮ／ＯＦＦは、例えば、ユーザが指示入力部１１０を用いて設定することができる。ユーザによりボケ報知のＯＮ／ＯＦＦの設定が行われると、ＯＮ／ＯＦＦに関する設定値がＲＡＭ１０３に保持される。制御部１０１は、この設定値に従ってボケ報知のＯＮ／ＯＦＦを判断する。ボケ報知がＯＮであると判断された場合、処理はＳ１１０６に進み、そうでない場合、処理はＳ１１０７に進む。
【００８５】
Ｓ１１０６で、報知画像生成部３００は、制御部１０１による制御に従い、準備撮影画像に対して重畳するためのボケ報知プレーンを生成する。Ｓ１１０６の処理の詳細については、図１４を参照して後述する。
【００８６】
Ｓ１１０７で、報知画像生成部３００は、制御部１０１による制御に従い、動きブレ報知とボケ報知の優先度を決定し、動きブレ報知プレーン及びボケ報知プレーンの一方又は両方を優先度に応じて準備撮影画像に重畳する。優先度の決定方法の詳細については後述する。
【００８７】
Ｓ１１０８で、制御部１０１は、Ｓ１１０７において動きブレ報知プレーン及びボケ報知プレーンの一方又は両方が重畳された準備撮影画像（報知画像）を表示部１０９に表示する。
【００８８】
なお、動きブレ報知がＯＦＦに設定されている場合、報知画像としてボケ報知プレーンのみが重畳された準備撮影画像が表示される。また、ボケ報知がＯＦＦに設定されている場合、報知画像として動きブレ報知プレーンのみが重畳された準備撮影画像が表示される。また、動きブレ報知及びボケ報知の両方がＯＦＦに設定されている場合、動きブレ報知プレーン及びボケ報知プレーンのいずれも重畳されていない準備撮影画像が表示される。
【００８９】
Ｓ１１０９で、制御部１０１は、ユーザによりシャッターボタンが押下されたか否かを判定する。シャッターボタンは、例えば指示入力部１１０に含まれる。シャッターボタンが押下された場合、処理はＳ１１１０に進み、そうでない場合、処理はＳ１１０２に戻る。
【００９０】
表示部１０９に動きブレ報知プレーンが重畳された準備撮影画像が表示されている場合、ユーザは、準備撮影中において容易に動きブレを確認することができる。確認した動きブレがユーザの好みの動きブレになっていない場合、ユーザはシャッターボタンを押下しないことで処理をＳ１１０２に戻し、本撮影のシャッタースピード（露光時間）を変更（再設定）することが可能である。
【００９１】
また、表示部１０９にボケ報知プレーンが重畳された準備撮影画像が表示されている場合、ユーザは、準備撮影中において容易に光学系によるボケを確認することができる。確認したボケがユーザの好みのボケになっていない場合、ユーザはシャッターボタンを押下しないことで処理をＳ１１０２に戻し、本撮影の絞り値（Ｆ値）を変更（再設定）することが可能である。
【００９２】
ユーザは、好みのシャッタースピードと絞り値を設定した後、ＩＳＯ感度を変更することにより露出をコントロールすることも可能である。また、表示部１０９に動きブレ報知プレーンとボケ報知プレーンの両方が重畳された準備撮影画像が表示されている場合は、ユーザは、好みの動きブレ／ボケになるよう、シャッタースピード、Ｆ値、ＩＳＯ感度の変更（再設定）を行うことが可能である。
【００９３】
このように、準備撮影中に、ユーザは、表示部１０９に表示される動きブレ報知プレーン及びボケ報知プレーンが重畳された準備撮影画像を確認しながら、好みの動きブレ／ボケになるまで本撮影のシャッタースピード、Ｆ値、ＩＳＯ感度の変更を繰り返し、シャッターチャンス時にシャッターボタンを押下することができる。
【００９４】
Ｓ１１０９においてシャッターボタンが押下されると、Ｓ１１１０で、制御部１０１は本撮影を行い、本撮影画像を記録部１０８に記録する。
【００９５】
次に、図１２を参照して、第３の実施形態に係る画像処理部１０７が具備する報知画像生成部１２００の構成例について説明する。
【００９６】
報知画像生成部１２００は、動きベクトル算出部１２０１、動きブレ算出部１２０２、動きブレ報知プレーン作成部１２０３、ボケ量算出部１２０４、ボケ報知プレーン作成部１２０５、報知優先度決定部１２０６、及び画像重畳部１２０７を含む。報知画像生成部１２００の動作の詳細については、図１３を参照して後述する。
【００９７】
次に、図１３を参照して、報知画像生成部１２００が動きブレ報知プレーンを生成する処理（図１１のＳ１１０４）の詳細について説明する。
【００９８】
Ｓ１３０１で、報知画像生成部１２００は、撮像装置１００が準備撮影中に撮像した準備撮影画像を取得する。取得した準備撮影画像は、動きベクトル算出部１２０１及び画像重畳部１２０７に入力される。第１の実施形態と同様、準備撮影画像の例として図５（ａ）に示すものを用いる。
【００９９】
Ｓ１３０２で、動きベクトル算出部１２０１は、動き情報として準備撮影画像の画像間における動きベクトルを算出し、動きブレ算出部１２０２は、算出された動きベクトルを動きブレ量に換算する。動きベクトルの算出方法は、第１の実施形態（図４のＳ４０２）において説明した算出方法と同様である。但し、Ｓ１３０２では、動きベクトルを算出する処理に加えて、算出された動きベクトルを動きブレ量に換算する処理が行われる。本実施形態では、動きベクトルの大きさが動きブレ量そのものであり、単位は「画素」となる。また、動きベクトル及び動きブレ量は画素毎に算出される。
【０１００】
ところで、第１の実施形態では動きベクトルの算出処理（Ｓ４０２）に続いて動きベクトルを本撮影の動きブレに換算する処理（Ｓ４０３〜Ｓ４０４）が行われたが、本実施形態ではこれらの動きベクトルを本撮影の動きブレに換算する処理は行われない。代わりに、本実施形態では、算出された動きベクトルを動きブレ量に換算する処理が行われる。しかしながら、本実施形態においても、第１の実施形態と同様に、動きベクトルを本撮影の動きブレに換算する処理（Ｓ４０３〜Ｓ４０４）を行ってもよい。この場合、報知画像生成部１２００は、動きブレ算出部１２０２の代わりに、換算動きブレ算出部３０２を備える。
【０１０１】
Ｓ１３０３で、動きブレ報知プレーン作成部１２０３は、Ｓ１３０２において算出した画素毎の動きブレに基づき、動きブレを報知するための画像プレーン（動きブレ報知プレーン）を作成する。動きブレ報知プレーンの作成方法は、換算動きブレの代わりに動きブレが使用される点を除き、第１の実施形態において図９を参照して説明した作成方法と同様である。
【０１０２】
次に、図１４を参照して、報知画像生成部１２００がボケ報知プレーンを生成する処理（図１１のＳ１１０６）について詳細に説明する。
【０１０３】
Ｓ１４０１で、報知画像生成部１２００は、撮像装置１００が準備撮影中に撮像した準備撮影画像に対応する視差画像を取得する。取得した視差画像は、ボケ量算出部１２０４に入力される。視差画像を取得する処理の詳細については、図１６を参照して後述する。
【０１０４】
Ｓ１４０２で、ボケ量算出部１２０４は、ボケ情報として光学系に起因する準備撮影画像のボケ量を算出する。ボケ量は画素毎に算出される。ボケ量の算出方法の詳細については、図１６及び図１７を参照して後述する。
【０１０５】
Ｓ１４０３で、ボケ報知プレーン作成部１２０５は、Ｓ１４０２において算出した画素毎のボケ量に基づき、ボケを報知するための画像プレーン（ボケ報知プレーン）を作成する。
【０１０６】
ここで、図１５を参照して、ボケのみを報知した際の表示について詳細に説明する。図１５は、ボケ報知プレーンの３つの例を説明する図である。図１５（ａ）〜図１５（ｃ）においては、画面左下部の犬にピントが合っており、画面右上部の犬はピント位置より後ろにいるものとする。準備撮影中にボケ報知プレーンが重畳された準備撮影画像を表示部１０９に表示することにより、ユーザは光学系に起因するボケを容易に確認することができる。
【０１０７】
図１５（ａ）は、アイコン表示によりボケを報知する例を示す。ここで、アイコン表示によるボケ報知プレーンの生成方法について説明する。Ｓ１４０３において、ボケ報知プレーン作成部１２０５は、画素毎のボケ量のうち、所定値以上のボケ量を持つ画素の数が画面全体に占める割合を算出する。その割合が所定割合以上の場合に、ボケ報知プレーン作成部１２０５は、図１５（ａ）に示すようなボケ報知アイコン１５０１をボケ報知プレーンとして作成する。このボケ報知プレーンが準備撮影画像に重畳されると、図１５（ａ）のようなボケ報知画像が得られる。このとき、動きブレ報知アイコン９０１（図９）とボケ報知アイコン１５０１とを区別するために、ボケ報知アイコン１５０１は動きブレ報知アイコン９０１とは異なる外観を持つ。また、ボケ報知アイコン１５０１を動きブレ報知アイコン９０１とは異なる位置に重畳するように報知画像生成部１２００を構成してもよい。
【０１０８】
図１５（ｂ）は、枠表示によりボケを報知する例を示す。ここで、枠表示によるボケ報知プレーンの生成方法について説明する。Ｓ１４０３において、ボケ報知プレーン作成部１２０５は、撮影画面の分割領域内の画素のうち、所定値以上のボケ量を持つ画素の数が分割領域全体に占める割合を算出する。ボケ報知プレーン作成部１２０５は、その割合が所定割合以上の分割領域に対して、図１５（ｂ）に示すようなボケ報知枠１５０２をボケ報知プレーンとして作成する。このボケ報知プレーンが準備撮影画像に重畳されると、図１５（ｂ）のようなボケ報知画像が得られる。このとき、動きブレ報知枠９０２（図９）とボケ報知枠１５０２とを区別するために、ボケ報知枠１５０２は動きブレ報知枠９０２とは枠の色や線の種類が異なるように構成される。
【０１０９】
図１５（ｃ）は、ボケが発生したエッジを強調表示することによりボケを報知する例を示す。ここで、ボケが発生したエッジの強調表示によるボケ報知プレーンの生成方法について説明する。Ｓ１４０３において、ボケ報知プレーン作成部１２０５は、準備撮影画像のエッジ強度を検出する。エッジ強度の算出は、ソーベルフィルタなどの既存の方法を用いるものとし、説明は省略する。そして、ボケ報知プレーン作成部１２０５は、エッジ強度が所定値以上、且つ、ボケ量が所定値以上の画素を抽出する。ボケ報知プレーン作成部１２０５は、抽出した画素に対して、図１５（ｃ）のボケ報知エッジ１５０３に示すような、ボケが発生したエッジ領域を強調表示するボケ報知プレーンを作成する。このボケ報知プレーンが準備撮影画像に重畳されると、図１５（ｃ）のようなボケ報知画像が得られる。図１５（ｃ）では、ボケ報知エッジ１５０３が他のエッジよりも太く表示される例を示している。強調表示方法の他の例としては、エッジ強度が所定値以上、且つ、ボケ量が所定値以上の画素を抽出し、抽出した画素を特定の色で塗るような強調表示が挙げられる。このとき、動きブレ報知エッジ９０３（図９）とボケ報知エッジ１５０３とを区別するために、ボケ報知エッジ１５０３は動きブレ報知エッジ９０３とは異なる態様（例えば、色）で強調表示される。
【０１１０】
ここで、図１６及び図１７を参照して、視差画像を取得する処理（図１４のＳ１４０１）及びボケ量を算出する処理（図１４のＳ１４０２）の詳細について説明する。本実施形態においては、視差画像からボケ量の算出を行う。
【０１１１】
図１６（ａ）は、視差画像を取得するための撮像素子の１つの画素の構成を簡略的に示している。１６００が撮影レンズの射出瞳、１６０１がＡ像瞳領域、１６０２がＢ像瞳領域、１６０３が撮像素子の受光素子直上のマイクロレンズ、１６０４がＡ像用受光素子、１６０５がＢ像用受光素子である。Ａ像用受光素子１６０４は、Ａ像瞳領域１６０１を透過した光を受光し、Ｂ像用受光素子１６０５は、Ｂ像瞳領域１６０２を透過した光を受光する。このように、１つの画素領域に異なる瞳領域を通過した光を受光する素子をそれぞれ持つことにより、視差のある２つの画像信号を得ることができる。これらの画像信号の視差量から、デフォーカス量の推定、距離画像の生成等が可能となる。図１６（ａ）のようにＡ像用受光素子１６０４とＢ像用受光素子１６０５が水平方向に配列されている場合、水平方向の視差量を求めることができる。図１６（ａ）では簡略化のためにＡ像用受光素子１６０４とＢ像用受光素子１６０５の２つの受光素子で瞳分割を行う構成を示しているが、より多数の受光素子で１つの画素を構成することも可能である。本実施形態では、図１６（ｂ）のように、４つの受光素子で１つの画素を構成しているものとする。
【０１１２】
図１６（ｂ）において、１６００はマイクロレンズ、１６０４はＡ像用受光素子、１６０５はＢ像用受光素子、１６０６はＣ像用受光素子、１６０７はＤ像用受光素子を示している。これらＡ〜Ｄの受光素子は、４つの異なる瞳領域を透過した光をそれぞれ受光する。図１６（ｂ）のような視差検出用画素の場合、１度の撮像によりＡ像、Ｂ像、Ｃ像、Ｄ像の４枚の画像信号を取得することができる。図１６（ｂ）のようにＡ像用受光素子１６０４、Ｂ像用受光素子１６０５、Ｃ像用受光素子１６０６、Ｄ像用受光素子１６０７が水平、垂直方向に格子状に分かれている場合を考える。この場合、Ａ像とＣ像を加算平均したＡ＋Ｃ像と、Ｂ像とＤ像を加算平均したＢ＋Ｄ像とを用いて水平方向の視差量を求めることができる。また、Ａ像とＢ像を加算平均したＡ＋Ｂ像と、Ｃ像とＤ像を加算平均したＣ＋Ｄ像とを用いて垂直方向の視差量を求めることができる。
【０１１３】
なお、図１２に示した動きベクトル算出部１２０１及び画像重畳部１２０７に入力される準備撮影画像は、Ａ像、Ｂ像、Ｃ像、Ｄ像を加算平均した画像であり、これは瞳分割を行わない構成の撮像素子で受光を行った場合と同等の画像である。
【０１１４】
図１７は、ボケ量算出部１２０４によるボケ量の算出処理（図１４のＳ１４０２）の詳細を示すフローチャートである。
【０１１５】
Ｓ１７０１で、ボケ量算出部１２０４は、図１４のＳ１４０１において入力された視差画像に対応するＡ像、Ｂ像、Ｃ像、Ｄ像を取得する。
【０１１６】
Ｓ１７０２で、ボケ量算出部１２０４は、加算平均処理によりＡ＋Ｃ像、Ｂ＋Ｄ像、Ａ＋Ｂ像、Ｃ＋Ｄ像を生成する。
【０１１７】
Ｓ１７０３で、ボケ量算出部１２０４は、Ａ＋Ｃ像の基準画素を設定する。Ｓ１７０４で、ボケ量算出部１２０４は、Ａ＋Ｃ像とＢ＋Ｄ像との間の水平視差量の算出を行う。視差量の算出については、例えば特開２００８−１５７５４号公報に記述されているような手法がある。具体的には、ボケ量算出部１２０４は、Ａ＋Ｃ像とＢ＋Ｄ像の相対的な水平位置関係をずらしていき、画像信号間の相関が最も高くなったときの画素シフト量より視差量を算出する。このように算出したＡ＋Ｃ像とＢ＋Ｄ像との間の水平視差量をＬｈとする。
【０１１８】
Ｓ１７０５で、ボケ量算出部１２０４は、Ａ＋Ｂ像の基準画素を設定する。Ｓ１７０６で、ボケ量算出部１２０４は、Ａ＋Ｂ像とＣ＋Ｄ像との間の垂直視差量の算出を行う。視差量の算出については、Ｓ１７０４と同様の手法を使用することができる。具体的には、ボケ量算出部１２０４は、Ａ＋Ｂ像とＣ＋Ｄ像の相対的な垂直位置関係をずらしていき、画像信号間の相関が最も高くなったときの画素シフト量より視差量を算出する。このように算出したＡ＋Ｂ像とＣ＋Ｄ像との間の垂直視差量をＬｖとする。
【０１１９】
Ｓ１７０７で、ボケ量算出部１２０４は、水平視差量及び垂直視差量からボケ量を算出する。具体的には、ボケ量をＧとしたとき、ボケ量算出部１２０４は、下記の式（３）に従ってボケ量を算出する。ボケ量の単位は「画素」となる。
【０１２０】
Ｇ＝√（Ｌｈ２＋Ｌｖ２）・・・（３）
【０１２１】
Ｓ１７０８で、ボケ量算出部１２０４は、画面内の全画素についてボケ量の算出が完了したか否かを判定する。画面内の全画素についてボケ量の算出が完了した場合、本フローチャートの処理は終了する。そうでない場合、処理はＳ１７０３に戻り、ボケ量算出部１２０４は、まだボケ量が算出されていない画素を基準画素としてＳ１７０３〜Ｓ１７０７の処理を行う。以下同様に、ボケ量算出部１２０４は、基準画素を移動させながら、すべての画素位置においてボケ量の算出を行う。こうして算出された画素毎のボケ量が、図１５を参照して説明したボケ報知プレーンの作成のために使用される。
【０１２２】
なお、本実施形態においては視差量をボケ量の算出に用いたが、他の方法を用いてボケ量を算出してもよい。例えば、準備撮影中に絞りを開いた場合、絞りを開く前の視差量と絞りを開いた後の視差量の差分（絞り値の変動に起因するボケ量の変動量）をボケ量としてもよい。具体的には、視差量が前フレームと比べて大きくなるほど、大きいボケ量を示すようにする。これにより、準備撮影中の絞り変化によるボケの変動量が大きいときに、ボケの報知を行うことができる。
【０１２３】
また、視差画像を取得できない場合は、ボケ量算出部１２０４は、視差情報を用いずにボケ量を算出してもよい。例えば、準備撮影中に絞りを開いた場合、ボケ量算出部１２０４は、絞りを開く前と絞りを開いた後の準備撮影画像のエッジ強度の変動量をボケ量の算出に用いてもよい。具体的には、前フレームからのエッジ強度の減少量が大きいほど、大きいボケ量を示すようにする。
【０１２４】
次に、図１８を参照して、報知画像生成部１２００が報知の優先度を決定して動きブレ報知プレーン及びボケ報知プレーンの一方又は両方を優先度に応じて準備撮影画像に重畳する処理（図１１のＳ１１０７）の詳細について説明する。
【０１２５】
Ｓ１８０１で、報知優先度決定部１２０６は、動きブレ量が閾値以上である画素の数が撮影画面全体に占める割合が所定割合以上（閾値以上）かどうかを判定する。閾値以上の場合、処理はＳ１８０８へ進み、閾値未満の場合、処理はＳ１８０２へ進む。例えば、撮像装置１００がパンを行っている場合や、画面内で動いている被写体が多いときには、動きブレ量が閾値以上である画素の数が撮影画面全体に占める割合が所定割合以上になり、処理はＳ１８０８へ進む。この場合、報知優先度決定部１２０６は、全画面において動きブレ報知プレーンを優先することを示す優先度を画像重畳部１２０７へ出力する。そして、画像重畳部１２０７は、準備撮影画像にボケ報知プレーンを重畳せずに、動きブレ報知プレーンを重畳する。このように、動きブレによる影響が大きいシーンには、ユーザに対して動きブレ報知のみが行われ、ボケ報知は行われない。
【０１２６】
Ｓ１８０２で、報知優先度決定部１２０６は、準備撮影中に絞り値が変動したか否かを判定する。絞り値の変動があった場合、処理はＳ１８０３へ進み、絞り値の変動がなかった場合、処理はＳ１８０８へ進む。準備撮影中に絞り値の変動がなかった場合には、ユーザの意図せぬボケが発生しづらいため、報知優先度決定部１２０６は、全画面において動きブレ報知プレーンを優先することを示す優先度を画像重畳部１２０７へ出力する。その結果、Ｓ１８０８の処理によりユーザに対して動きブレ報知のみが行われ、ボケ報知は行われない。一方、絞り値の変動があった場合には、ユーザの意図せぬボケが発生している可能性がある。そのため、報知優先度決定部１２０６は、後述する方法で動きブレ量とボケ量との間の大小関係に応じて優先度を決定する。
【０１２７】
Ｓ１８０３で、報知優先度決定部１２０６は、準備撮影画像に基準画素を設定する。Ｓ１８０４で、報知優先度決定部１２０６は、基準画素において動きブレ量がボケ量よりも大きいか否かを判定する。動きブレ量は、動きブレ算出部３０２により算出された動きブレ量であり、前フレームからの移動量である。ボケ量は、ボケ量算出部１２０４により視差量から算出されたボケ量、又は前フレームからの視差量の差分から算出されたボケ量である。動きブレ量及びボケ量の単位はいずれも「画素」である。動きブレ量がボケ量よりも大きい場合、処理はＳ１８０５へ進み、そうでない場合、処理はＳ１８０６へ進む。
【０１２８】
Ｓ１８０５で、報知優先度決定部１２０６は、基準画素において動きブレ報知プレーンを優先することを示す優先度を画像重畳部１２０７へ出力する。そして、画像重畳部１２０７は、準備撮影画像の基準画素に動きブレ報知プレーンを優先して重畳する。即ち、撮影画面において動きブレ量がボケ量よりも大きい画素については動きブレ報知が優先的に実行される。
【０１２９】
Ｓ１８０６で、報知優先度決定部１２０６は、基準画素においてボケ報知プレーンを優先することを示す優先度を画像重畳部１２０７へ出力する。そして、画像重畳部１２０７は、準備撮影画像の基準画素にボケ報知プレーンを優先して重畳する。即ち、撮影画面においてボケ量が動きブレ量よりも大きい画素についてはボケ報知が優先的に実行される。
【０１３０】
Ｓ１８０７で、報知優先度決定部１２０６は、撮影画面内の全画素について優先度の決定が完了したか否かを判定する。撮影画面内の全画素について優先度の決定が完了した場合、本フローチャートの処理は終了する。そうでない場合、処理はＳ１８０３に戻り、報知優先度決定部１２０６は、優先度が決定されていない画素を基準画素としてＳ１８０３〜Ｓ１８０６の処理を行う。以下同様に、報知優先度決定部１２０６は、基準画素を移動させながら、すべての画素位置において優先度の決定を行う。その結果、すべての画素位置において優先度に応じた重畳処理が行われた準備撮影画像（動きブレ／ボケ報知画像）が得られる。こうして得られた準備撮影画像（動きブレ／ボケ報知画像）は、図１１のＳ１１０７において表示部１０９に表示される。
【０１３１】
Ｓ１８０３〜Ｓ１８０６から理解できるように、動きブレとボケの両方が発生している画素においては、動きブレ量とボケ量のうちの大きい方が優先して報知される。従って、本実施形態では、動きブレとボケのうちの画像に対する影響が大きい方の報知を行うことが可能となる。
【０１３２】
なお、図１８には示されていないが、状況によっては、報知優先度決定部１２０６は、全画面においてボケ報知プレーンを優先することを示す優先度を画像重畳部１２０７へ出力してもよい。例えば、報知優先度決定部１２０６は、動きブレが発生する可能性が低い場合（例えば、シャッタースピードが閾値以上の場合）に、全画面においてボケ報知プレーンを優先することを示す優先度を画像重畳部１２０７へ出力する。この場合、画像重畳部１２０７は、準備撮影画像に動きブレ報知プレーンを重畳せずに、ボケ報知プレーンを重畳する。その結果、ユーザに対してボケ報知のみが行われ、動きブレ報知は行われない。
【０１３３】
以上説明したように、第３の実施形態によれば、撮像装置１００は、準備撮影により得られた画像から被写体の動きブレ量と撮影光学系に起因するボケ量とを取得する。そして、撮像装置１００は、ブレ報知及びボケ報知の優先度を決定し、優先度に従って動きブレ報知及びボケ報知の一方又は両方を実行する。これにより、状況に応じた動きブレ報知及びボケ報知を実行することが可能となる。
【０１３４】
なお、本実施形態では、ボケ報知の方法として、アイコン表示、枠表示、エッジの強調表示の３つの例について説明した。また、本実施形態において参照した第１の実施形態では、動きブレ報知の方法として、アイコン表示、枠表示、エッジの強調表示の３つの例について説明した。ここで、動きブレ報知とボケ報知で報知の方法を揃える必要はない。例えば、動きブレ報知についてはエッジの強調表示を用い、ボケ報知についてはアイコン表示を用いてもよい。その他の組み合わせで報知を行ってもよい。例えば、図１９に示す例では、動きブレ報知は動きブレ報知エッジ１９０１により報知が行われ、ボケ報知についてはボケ報知アイコン１９０２により報知が行われている。このようにすることで、ユーザが動きブレ報知とボケ報知とを判別しやすくなる。
【０１３５】
また、本実施形態では、動きブレとボケの報知方法として、表示部１０９に動きブレ／ボケ報知画像を表示する構成について説明したが、報知方法はこれに限ったものではない。例えば、音により動きブレとボケを報知する構成を採用してもよい。この場合、例えば、制御部１０１は、所定値以上の動きブレを持つ画素の数が画面全体に占める割合が所定割合以上の場合に、スピーカ（不図示）から動きブレ報知音を出力してもよい。また、制御部１０１は、所定値以上のボケ量を持つ画素の数が画面全体に占める割合が所定割合以上の場合に、スピーカ（不図示）からボケ報知音を出力してもよい。
【０１３６】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１３７】
１００…撮像装置、１０１…制御部、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…光学系、１０５…撮像部、１０６…Ａ／Ｄ変換部、１０７…画像処理部、１０８…記録部、１０９…表示部、１１０…指示入力部
【図１】
2020108120.tif 000003
【図２】
2020108120.tif 000004
【図３】
2020108120.tif 000005
【図４】
2020108120.tif 000006
【図５】
2020108120.tif 000007
【図６】
2020108120.tif 000008
【図７】
2020108120.tif 000009
【図８】
2020108120.tif 000010
【図９】
2020108120.tif 000011
【図１０】
2020108120.tif 000012
【図１１】
2020108120.tif 000013
【図１２】
2020108120.tif 000014
【図１３】
2020108120.tif 000015
【図１４】
2020108120.tif 000016
【図１５】
2020108120.tif 000017
【図１６】
2020108120.tif 000018
【図１７】
2020108120.tif 000019
【図１８】
2020108120.tif 000020
【図１９】
2020108120.tif 000021