(57)【要約】      （修正有）【課題】映像の視認性の低下状態を予めユーザへ通知すること。【解決手段】再生装置のメモリ１０４は、撮像時の振れ量と共に映像データを記憶する。制御部１１０のフレーム先読み部１１１は、メモリ１０４からから表示対象となるフレームと後続のフレームのデータを読み出して取得する。振れ量算出部１１２は、先読みが行われたフレームから振れ量を算出し、振れ補正量算出部１１３は振れ量に基づき、像ブレの補正量を算出する。低視認性フレーム検出部１２０は、読み出されたフレームの画像データと、振れ量算出部１１２が算出した振れ量と、振れ補正量算出部１１３が算出した補正量を用いて各フレームについて映像の視認性が低下するかどうかを検出する。低視認性フレーム検出部１２０により、映像の視認性の低下状態が検出された場合、ユーザ通知部１１６は再生前に表示装置１０６を介して、ユーザへの通知処理を行う。【選択図】図１
2017220800.tif 000002
【特許請求の範囲】
【請求項１】
撮像時の振れ量の情報と共に映像データを取得して再生する再生装置であって、
前記振れ量の情報から映像の像ブレを補正する補正量を算出する補正量算出手段と、
前記補正量を取得して像ブレが補正された映像データを生成する画像処理手段と、
前記映像データ、前記振れ量、前記補正量を取得して映像の視認性が低下した状態を検出する検出手段により前記映像の視認性が予め定められた状態よりも低下した状態が検出された場合、前記映像の視認性の低下を再生前に通知する処理を行う通知手段と、を備えることを特徴とする再生装置。
【請求項２】
前記振れ量の情報および前記映像データを記憶する記憶手段と、
前記記憶手段から前記映像データを構成する複数の画像のデータを取得する取得手段と、
前記複数の画像のデータから前記振れ量を算出して前記補正量算出手段に出力する振れ量算出手段を備えることを特徴とする請求項１に記載の再生装置。
【請求項３】
前記取得手段は、複数のフレームの前記映像データを前記記憶手段から先読みして、前記検出手段および振れ量算出手段に出力し、
前記補正量算出手段は、前記記憶手段から読み出されたフレームの前記映像データに係る像ブレを補正する補正量を算出することを特徴とする請求項２に記載の再生装置。
【請求項４】
前記検出手段は、
前記フレームの映像データを取得し、当該フレームの映像内に特定の被写体の画像が存在するかどうかを検出する第１の検出と、
前記フレームの映像内に前記特定の被写体の画像が検出され、かつ像ブレが補正されたフレームの映像内に前記特定の被写体の画像が検出されない場合に、前記特定の被写体の画像が画面の枠外に位置することを検出する第２の検出と、
前記複数のフレームにおいて前記第２の検出により前記特定の被写体の画像が画面の枠外に位置することを検出する第３の検出を行うことを特徴とする請求項３に記載の再生装置。
【請求項５】
前記第３の検出にて前記特定の被写体の画像が画面の枠外に位置することを前記検出手段が検出した場合、前記特定の被写体の画像を含むフレームの映像の視認性が低下した状態であることを前記通知手段が通知する処理を行うことを特徴とする請求項４に記載の再生装置。
【請求項６】
前記補正量算出手段は、
前記振れ量の情報を取得して第１の補正量を算出する第１の補正量算出手段と、
前記検出手段の検出結果を取得して第２の補正量を算出する第２の補正量算出手段を備えることを特徴とする請求項３乃至５のいずれか１項に記載の再生装置。
【請求項７】
前記検出手段は、前記記憶手段から読み出された複数のフレームに対してそれぞれ取得された前記振れ量の最大値と最小値との差分を算出し、当該差分が閾値より大きい場合に振れが大きいことを示す検出結果を前記第２の補正量算出手段に出力し、前記画像処理手段は前記第２の補正量を取得した場合、像ブレが補正される前の映像データを出力することを特徴とする請求項６に記載の再生装置。
【請求項８】
前記第３の検出にて、前記特定の被写体の画像が画面の枠外に位置することを前記検出手段が検出した場合に枠外判定を行い、前記記憶手段から読み出された複数のフレームに対してそれぞれ取得された前記振れ量の最大値と最小値との差分を算出し、当該差分が閾値より大きいことを前記検出手段が検出した場合に振れ量判定を行う判定手段を備えることを特徴とする請求項４に記載の再生装置。
【請求項９】
前記判定手段は、前記枠外判定にて前記特定の被写体の画像が画面の枠外に位置することを示す第１の検出結果が得られたと判定し、かつ、前記振れ量判定にて前記差分が閾値より大きいことを示す第２の検出結果が得られていないと判定した場合、前記第１の検出結果を前記通知手段に出力し、
前記通知手段は前記第１の検出結果を取得し、前記特定の被写体のフレームアウトを通知する処理を行うことを特徴とする請求項８に記載の再生装置。
【請求項１０】
前記判定手段は、前記枠外判定にて前記特定の被写体の画像が画面の枠外に位置することを示す第１の検出結果が得られていないと判定し、かつ、前記振れ量判定にて前記差分が閾値より大きいことを示す第２の検出結果が得られたと判定した場合、前記第２の検出結果を前記通知手段に出力し、
前記通知手段は前記第２の検出結果を取得し、前記像ブレの補正を行わないことを推奨する通知処理を行うことを特徴とする請求項８または請求項９に記載の再生装置。
【請求項１１】
前記判定手段は、前記第１および第２の検出結果が得られたと判定した場合、予め定められた設定にしたがって前記第１または第２の検出結果を前記通知手段に出力し、前記第１および第２の検出結果が得られていないと判定した場合、前記第１および第２の検出結果は前記通知手段に出力されないことを特徴とする請求項９または請求項１０に記載の再生装置。
【請求項１２】
前記第３の検出にて前記特定の被写体の画像が画面の枠外に位置することを前記検出手段が検出した場合、前記特定の被写体の画像および画面の枠を表示する表示手段を備えることを特徴とする請求項４に記載の再生装置。
【請求項１３】
前記差分が閾値より大きい場合に振れが大きいことを示す検出結果が得られたフレームの、全体に占める割合を画面に表示する表示手段を備えることを特徴とする請求項７に記載の再生装置。
【請求項１４】
撮像時の振れ量の情報と共に映像データを取得して再生する再生装置にて実行される制御方法であって、
補正量算出手段が前記振れ量の情報から映像の像ブレを補正する補正量を算出する工程と、
前記補正量を取得して像ブレが補正された映像データを画像処理手段が生成する工程と、
前記映像データ、前記振れ量、前記補正量を取得して映像の視認性が低下した状態を検出する検出手段により前記映像の視認性が予め定められた状態よりも低下した状態が検出された場合、前記映像の視認性の低下を再生前に通知手段が通知する処理を行う工程と、を有することを特徴とする再生装置の制御方法。
【請求項１５】
コンピュータを請求項１乃至１３のいずれか１項に記載の再生装置が備える各手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の視認性の低下状態を検出してユーザに通知する技術に関する。
【背景技術】
【０００２】
ビデオカメラ等の撮像記録装置を把持したユーザの手振れ等によって、映像のブレ（いわゆる像ブレ）が記録される場合がある。映像再生時に像ブレを補正するために、映像の拡大表示をすることで実際に表示される映像領域の外側に映像部分を生じさせて、映像の切り出し位置を変更する技術が知られている（特許文献１参照）。また、撮像時にビデオカメラの振れをセンサで検出して振れデータを映像データと共に記録し、映像再生時に振れデータを利用して像ブレを補正する技術がある（特許文献２参照）。また、撮影時に特定の被写体が撮影範囲に収まっているかどうかを検出し、収まっていない場合には撮像装置の移動を促す通知を行う技術がある（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−１４３３８０号公報
【特許文献２】特開平１０−４２２３３号公報
【特許文献３】特開２００７−１４２８６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、被写体画像が画面端に位置している時に像ブレ補正の目的で映像の拡大を行うと、被写体画像が画面内に表示されなくなる現象（フレームアウト）が発生する。また、撮影者の誤操作に起因する非常に大きな振れを伴う像ブレを補正する場合、映像の拡大率を大幅に上げることで解像度が極めて粗くなり、見難い映像となってしまう現象が発生する。映像の視認性の低下を招く可能性のある現象に対して、従来の技術では映像の再生後に視認性の低下が発生したことをユーザが気付くこととなる。映像の再生前に視認性が低下していることをユーザが知ることはできなかったため、電子倍率値や画角の設定によっては、着目している被写体の画像が画面枠から外れて表示されない可能性がある。
本発明は、映像の視認性の低下状態を予めユーザへ通知することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一実施形態に係る装置は、撮像時の振れ量の情報と共に映像データを取得して再生する再生装置であって、前記振れ量の情報から映像の像ブレを補正する補正量を算出する補正量算出手段と、前記補正量を取得して像ブレが補正された映像データを生成する画像処理手段と、前記映像データ、前記振れ量、前記補正量を取得して映像の視認性が低下した状態を検出する検出手段により前記映像の視認性が予め定められた状態よりも低下した状態が検出された場合、前記映像の視認性の低下を再生前に通知する処理を行う通知手段と、を備える。
【発明の効果】
【０００６】
本発明によれば、映像の視認性の低下状態を予めユーザへ通知することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係る再生装置の構成例を示すブロック図である。
【図２】第１の実施形態のＵＩ（ユーザ・インターフェース）画面例を示す図である。
【図３】第２の実施形態のＵＩ画面例を示す図である。
【図４】第３の実施形態の検出および通知処理を説明するフローチャートである。
【発明を実施するための形態】
【０００８】
以下に、本発明の各実施形態に共通する事項を説明してから、各実施形態を詳説する。
図１は本発明の実施形態に係る再生装置の構成例を示すブロック図である。本実施形態の再生装置は、映像再生部１００を備える。映像再生部１００は映像データに含まれるフレームを先読みして像ブレを補正し、補正されたデータを再生して出力する。映像再生部１００は再生前にフレームの視認性を確認し、像ブレを補正した結果、特定の被写体がフレームアウトする可能性があると判断した場合、該当するフレームを予めユーザへ通知する処理を行う。以下、各部を詳細に説明する。
【０００９】
記録メディア１０１には、映像データが記録されている。例えば、映像データに対して、手振れ等の振れ情報および映像のシーン番号がメタデータとして付加されている。なお、振れ情報および映像のシーン番号については、映像データへの付加情報ではなく、映像データとは別に記録された情報でもよい。
【００１０】
ドライブユニット１０２は、記録メディア１０１から、映像データおよびメタデータを取得する。復号化ユニット１０３は、記録メディア１０１から取得した映像データを復号化し、復号化されたデジタルビデオ信号を、取得されたメタデータと共にメモリ１０４へ出力する。メモリ１０４は、復号化された映像データおよびメタデータを、所定時間分（例えば数秒分）記憶する容量をもった記憶デバイスである。メモリ１０４に所定時間分の映像データを記憶しておくことにより、表示装置１０６に出力されている再生画像（再生中の画像）に対して時間的に先となる画像データをメモリ１０４から取得する、いわゆる先読みが可能となる。
【００１１】
制御部１１０はマイクロコンピュータを備える。図１にはマイクロコンピュータが実行するプログラムによって実現される機能ブロックを示している。画像処理部１０５は、制御部１１０の処理により決定された画像の切り出し位置および切り出しサイズに従って映像データを再生する。具体的には、画像処理部１０５は、映像データが表す映像を構成する複数の単位画像（この例では、フレーム画像）それぞれについて、単位画像の所定の切り出し位置から所定の切り出しサイズの画像を順次切り出す。そして、画像処理部１０５は、切り出した画像に対して電子ズーム処理を施し、表示装置１０６へ出力する。映像を構成する単位画像としてはフレーム画像に代えて、フィールド画像でもよい。表示装置１０６は、画像処理部１０５から出力された画像および該画像に後続する画像を順次表示することによって、映像表示を行う。
【００１２】
次に制御部１１０の構成を説明する。制御部１１０は、フレーム先読み部１１１、振れ量算出部１１２、第１の振れ補正量算出部１１３、第２の振れ補正量算出部１１４、ユーザ入力部１１５、低視認性フレーム検出部１２０を備える。
【００１３】
フレーム先読み部１１１は、メモリ１０４に記憶されたデジタル画像データから、複数のフレームのデータを時系列に抽出することで先読みを行う。先読みを行うフレーム数は予め決められており、読み出された複数のフレームに亘るデータは振れ量算出部１１２および低視認性フレーム検出部１２０に出力される。
【００１４】
振れ量算出部１１２は、先読みが行われた複数のフレームのうち、現在出力するフレーム（表示対象のフレーム）の前後のフレーム間での比較処理によって、動きベクトルを検出する。検出した動きベクトルに基づいて、フレームのベクトル振れ量が算出される。このベクトル振れ量の情報については、記録時に映像データと共に記録メディア１０１に記録しておき、再生時に読み出して使用してもよい。この他にも、予めジャイロセンサ情報（角速度センサ値等）を映像データと共に記録メディア１０１に記録しておき、再生時に読み出して使用してもよい。またフレームのベクトル振れ量については、同方向に対して所定の閾値を下回る低周波成分の振れを一定時間検出した場合、パンニング検出時にて一般的な処理のように、全体の振れ量から低周波成分の振れ量を減算してもよい。この場合、所定の周波数帯域成分の振れ量が算出されて、パンニングやチルティング等の撮影者による意図的な動きの振れ成分を除外することができる。
【００１５】
第１の振れ補正量算出部１１３は、振れ量算出部１１２からベクトル振れ量またはジャイロセンサによる振れ量、あるいはその両方に基づいて、像ブレの補正量を算出する。像ブレ補正処理は、出力フレームの振れを補正するために、画像の切り出し位置および切り出しサイズを算出し、画像処理部１０５へ通知する処理である。
【００１６】
低視認性フレーム検出部１２０は、フレーム内被写体検出部１２１、被写体補正枠外検出部１２２、連続被写体補正枠外検出部１２３、連続被写体振れ量検出部１２４を備える。低視認性フレーム検出部１２０は、フレーム先読み部１１１により先読みが行われた任意のフレームの視認性の低下状態を検出する。低視認性フレームの検出は、第１の実施形態にてフレーム内被写体検出部（以下、単に被写体検出部という）１２１と被写体補正枠外検出部１２２と連続被写体補正枠外検出部（以下、連続枠外検出部という）１２３により行われる。第２の実施形態では、低視認性フレームの検出が連続被写体振れ量検出部１２４により行われる。第３の実施形態では、被写体検出部１２１、被写体補正枠外検出部１２２、連続枠外検出部１２３、連続被写体振れ量検出部１２４により行われる。
【００１７】
［第１の実施形態］
本実施形態では、低視認性フレーム検出部１２０がフレーム先読み部１１１から画像データを取得し、被写体検出部１２１は、先読みが行われた任意のフレーム内に、特定の被写体が表示されるかどうかを検出する。被写体補正枠外検出部１２２は、任意のフレーム画像を補正した場合に特定の被写体が表示されるかどうかを検出する。この補正は、第１の振れ補正量算出部１１３により算出された振れ補正量に基づいて行われ、算出された切り出し位置と切り出しサイズにより画像を補正する処理である。特定の被写体とは、例えばフレーム画像内で検出される着目被写体である。特定の被写体が被写体検出部１２１で検出され、かつ被写体補正枠外検出部１２２では検出されない場合のみ、特定の被写体が「枠外であることを検出された」ものとする。枠とは所定の画面枠であり、図２を用いて具体例を後述する。
【００１８】
連続枠外検出部１２３は、先読みが行われた任意のフレームの内、所定枚数以上のフレームにおいて、被写体検出部１２１および被写体補正枠外検出部１２２で「枠外であることを検出された」場合に特定の被写体を、枠外被写体として検出する。連続枠外検出部１２３は、検出した枠外被写体の情報と、当該枠外被写体がどの程度（例えば何画素）枠外へ出ているのかを示す情報（以下、枠外サイズ情報という）とを、後段の処理部に対して通知する。
【００１９】
制御部１１０はユーザ通知部１１６を備える。ユーザ通知部１１６は、連続枠外検出部１２３から枠外被写体の情報および枠外サイズ情報を取得し、表示装置１０６により枠外被写体とその枠外へのはみ出し状態を画面に表示し、ユーザに通知する処理を行う。例えば表示装置１０６は、枠外被写体が検出された場合の該当フレームを強調する表示を行い、枠外サイズ情報を同時に表示する。
【００２０】
制御部１１０は、第２の振れ補正量算出部１１４とユーザ入力部１１５を備える。第２の振れ補正量算出部１１４は、特定の被写体が枠外被写体として表示されていることが検出された場合、連続枠外検出部１２３から取得した枠外サイズ情報に基づき、振れ補正量を算出する。振れ補正量の算出は、検出された特定の被写体の画像が枠内に収まるように画像の切り出し位置と切り出しサイズを再計算することにより行われる。また、第２の振れ補正量算出部１１４は、ユーザ入力部１１５により指示された切り出し位置と切り出しサイズを取得して処理を行う。この場合、ユーザは画面上で枠外被写体の画像とそれが枠外へ出ている状態を確認して、第２の振れ補正量算出部１１４に指示することができる。
【００２１】
画像処理部１０５は、以下の振れ補正量を第１または第２の振れ補正量算出部から取得する。
・第２の振れ補正量算出部１１４が第２の振れ補正量を算出しない場合に、第１の振れ補正量算出部１１３が算出した第１の振れ補正量。
・第２の振れ補正量算出部１１４が第２の振れ補正量を算出した場合の、当該第２の振れ補正量。
【００２２】
画像処理部１０５は、取得した第１または第２の振れ補正量に基づいて、電子ズーム処理により画角を変更し、像ブレが補正された画像データを生成する。なお、低視認性種別判定部１３０（枠外判定部１３１、振れ量判定部１３２）については、後述の実施形態にて説明する。
【００２３】
次に図２を参照して、表示装置１０６による画面表示の具体例を説明する。表示画面上の画面枠２００は、記録された映像のサムネイル表示を行う範囲を示す。この例では、ユーザが映像２０１をカーソル２０２により選択し、さらにメニュー２０３により画面設定メニュー２０４を選択したことを示している。この時、特定の被写体として被写体２０５が選択されていることを前提とする。つまり、被写体２０５はフレーム画像内で着目している被写体である。
【００２４】
ユーザが画面設定メニュー２０４を選択した場合、画面枠２１０が表示される。画面枠２１０には複数の画像がフレーム毎に表示される。領域２１１にはフレーム２１３、フレーム２１５に示すように、各フレームの画像が左から右に時系列に表示されている。各フレームについては複数のフレームをまとめて表示してもよい。枠内に表示しきれない画像は、ユーザがスライドバー２１２を左右に移動させる操作を行うことで表示可能である。
【００２５】
連続枠外検出部１２３が枠外被写体を検出した場合、カーソル２１４により自動的に該当するフレームが指示される。この例では、時系列的に最初に見つかったフレームを優先して指示しているが、同時に他の対象フレーム（次に検出されたフレーム等）を強調表示してもよい。指示されたフレームは領域２２０に表示される。領域２２０はフレーム先読み部１１１により先読みが行われたフレームのままで、振れが補正されていない画角として表示される。
【００２６】
破線の矩形枠２２１は、第１の振れ補正量算出部１１３により計算された振れ補正量に基づいて像ブレを補正する場合の補正枠である。被写体２２２は枠外被写体であり、その画像が矩形枠２２１の枠外に表示されている。ユーザ入力部１１５のスライドバー２３０は切り出し拡大率の変更に使用し、ユーザ入力部１１５の十字キー２４０は切り出し位置の変更に使用する操作部分である。ユーザは、スライドバー２３０の操作により切り出し拡大率を変更し、十字キー２４０により切り出し位置を変更することで画角修正を行う。ここで変更された切り出し拡大率と切り出し位置は映像２０１内の全てのフレームに適用される。画角の変更により枠外被写体の全部または一部が所定の画面枠内に収まるように修正することができる。あるいは枠外被写体の全部または一部が所定の画面枠内に収まるように自動的に画角を修正した画像を表示装置１０６が表示することで、当該画像をユーザが確認できる。なお、設定された切り出し位置がそれ以降に固定位置となってしまうと、視認性に問題が発生する場合もあり得る。この場合には、ユーザは切出し位置を操作しないことで、切り出し位置については第１の振れ補正量算出部１１３による振れ補正量に基づき、像ブレが補正される。このことは後述する実施形態においても同様である。また、画角修正については第２の振れ補正量算出部１１４により計算された振れ補正量に基づき自動的に行い、領域２２０や矩形枠２２１、および映像２０１内の全てのフレームに適用してもよい。
【００２７】
本実施形態の再生装置は、映像の視認性について、特定の被写体がフレームアウトするかどうかや、映像の拡大率が極端に大きくなっていないか等の検出を映像の再生前に行う。これらの検出は像ブレが補正された状態で生成される画像データに基づいて行われる。ユーザは撮影された着目被写体が画面枠内にて常に表示されるように画角の修正が可能となる。本実施形態によれば、映像の視認性が予め定められた状態よりも低下している可能性があると判断された場合の映像内のフレームを予め視聴者へ通知できるので、利便性が向上する。
【００２８】
［第２の実施形態］
以下に本発明の第２の実施形態を説明する。本実施形態と第１の実施形態との相違点は、低視認性フレーム検出部１２０内の処理である。主に連続被写体振れ量検出部１２４による検出処理を説明し、第１の実施形態の場合と同様の構成部については既に使用した符号を用いることで、それらの詳細な説明を省略する。
【００２９】
図１の低視認性フレーム検出部１２０は、フレーム先読み部１１１によって先読みが行われた任意のフレームの内、所定枚数以上のフレームにおいて、振れ量算出部１１２により算出された振れ量をそれぞれ取得する。連続被写体振れ量検出部１２４は、取得された振れ量の最大値と最小値を比較して、最大値と最小値との差分が所定の閾値を上回る場合に振れが大きいことを検出する。低視認性フレーム検出部１２０は、振れが大きいことが検出された場合、この振れはユーザの誤操作によるものと判断する。この場合、映像として振れを補正する必要がないと判断される。そのため連続被写体振れ量検出部１２４は、ユーザ通知部１１６に指示し、像ブレ補正を行わないことを推奨する通知を行う。そして、第２の振れ補正量算出部１１４に対して連続被写体振れ量検出部１２４は、振れが大きいことを示す検出結果と補正すべき振れ量を通知する。この場合の補正すべき振れ量はゼロである（つまり、ユーザの誤操作による振れであるため、補正の必要はない）。
【００３０】
画像処理部１０５は、第２の振れ補正量算出部１１４が第２の振れ補正量を算出した場合には、当該第２の振れ補正量を取得して処理を行う。すなわち、第２の振れ補正量算出部１１４により算出された第２の振れ補正量がゼロであったとしても、振れ補正量が算出されているので、第１の振れ補正量算出部１１３による第１の振れ補正量ではなく、第２の振れ補正量が取得される。
【００３１】
図３を参照して、本実施形態における画面表示の具体例を説明する。画面枠３００は選択された映像をフレーム毎に表示したものである。表示領域３０１は、各フレームを左から右に時系列に表示している様を、振れの大きさを色分け（図３ではハッチング線種の違いとして示す）で区別して表現している。本例では、振れの大きさ別に、色３０２と色３０３と色３０４で色分けをして横棒グラフで表している。色３０２は振れが小さいこと、色３０３は振れが中程度であること、色３０４は振れが大きいことをそれぞれ示している。連続被写体振れ量検出部１２４が所定の閾値以上の振れ量を検出した場合、カーソル３０５により該当するフレームが指示される。振れが大きいことを示す検出結果が得られたフレームの、全体に占める割合を画面に表示することにより、ユーザは全体中の振れの割合を容易に把握できる。フレーム３０６は、カーソル３０５が示すフレームの箇所を見やすいように部分的にフレーム表示したものである。
【００３２】
指示されたフレームの画像は領域３１０に表示される。領域３１０には、フレーム先読み部１１１によって先読みが行われたフレーム画像のままで、振れを補正していない画角として画像が表示される。破線の矩形枠３１１は、第１の振れ補正量算出部１１３により計算された振れ補正量に基づいて振れを補正する場合の補正枠である。
【００３３】
ユーザ入力部１１５のスライドバー３２０により切り出し拡大率を変更し、ユーザ入力部１１５の十字キー３３０により切り出し位置を変更することで、ユーザは画角修正を行える。変更された切り出し拡大率と切り出し位置は映像２０１内の全てのフレームに適用される。画角修正については第２の振れ補正量算出部１１４により計算された第２の振れ補正量に基づいて自動的に行い、領域３１０や矩形枠３１１、および映像内の全てのフレームに適用してもよい。
【００３４】
本実施形態では、撮像時の振れが非常に大きいことが検出された場合に、像ブレ補正を行わないことを推奨する通知が行われるので、状況に応じて像ブレ補正を適切に実行可能である。
【００３５】
［第３の実施形態］
以下に本発明の第３の実施形態を説明する。本実施形態では、低視認性フレーム検出部１２０は、第１の実施形態と第２の実施形態で説明した両方の検出を行う。図１の低視認性種別判定部１３０は低視認性フレーム検出部１２０から、２種類の検出結果を取得する。第１の検出結果は連続枠外検出部１２３の検出結果であり、第２の検出結果は連続被写体振れ量検出部１２４の検出結果である。ユーザ通知処理では、これらの検出結果に応じて、第１の実施形態の処理、または第２の実施形態の処理が実行される。具体的には、以下の（１）から（４）に示す４通りの場合分けとなる。
【００３６】
（１）第１の検出結果は検出有りと判定され、第２の検出結果は検出有りと判定されない場合
低視認性種別判定部１３０は、連続枠外検出部１２３の検出のみが発生していると判断する。枠外判定部１３１は連続枠外検出部１２３により、特定の被写体が枠外被写体であることが検出された場合に枠外判定を行い、第１の検出結果有りと判定する。この場合、ユーザ通知部１１６に対しては連続枠外検出部１２３の検出結果である前述の枠外サイズ情報が出力される。また第２の振れ補正量算出部１１４に対しても同様に、連続枠外検出部１２３の検出結果である前述の枠外サイズ情報が通知される。この後の処理については第１の実施形態と同様である。つまり、第２の振れ補正量算出部１１４により第２の振れ補正量が算出された場合、第１の振れ補正量算出部１１３による第１の振れ補正量ではなく、第２の振れ補正量が画像処理部１０５へ通知される。画面表示例は、第１の実施形態の場合と同様に図２で説明したとおりに行われる。
【００３７】
（２）第１の検出結果は検出有りと判定されず、第２の検出結果は検出有りと判定される場合
低視認性種別判定部１３０は、連続被写体振れ量検出部１２４の検出のみが発生していると判断する。振れ量判定部１３２は連続被写体振れ量検出部１２４により振れ量の差分が大きいことが検出された場合に振れ量判定を行い、第２の検出結果有りと判定する。この場合、ユーザ通知部１１６に対して連続被写体振れ量検出部１２４の検出結果である振れ量、すなわちゼロが出力される。また第２の振れ補正量算出部１１４に対しても同様に、連続被写体振れ量検出部１２４の検出結果である振れ量（０）が通知される。この後の処理については第２の実施形態と同様である。つまり、第２の振れ補正量算出部１１４による第２の振れ補正量が算出された場合、第１の振れ補正量算出部１１３による第１の振れ補正量ではなく、第２の振れ補正量が画像処理部１０５へ通知される。画面表示例は、第２の実施形態の場合と同様に図３で説明したとおりに行われる。
【００３８】
（３）第１および第２の検出結果ともに検出有りと判定される場合
枠外判定部１３１は第１の検出結果有りと判定し、振れ量判定部１３２は第２の検出結果有りと判定する。この場合には、予めユーザにより定められた設定に従って処理が実行される。つまり、（１）の場合の処理、または（２）の場合の処理が選択される。
【００３９】
（４）第１および第２の検出結果ともに検出有りと判定されない場合
枠外判定部１３１は第１の検出結果の検出有りと判定せず、振れ量判定部１３２は第２の検出結果の検出有りと判定しない。この場合、ユーザへの通知処理は行わない。あるいは、（３）の場合と同様に、予めユーザにより定められた設定に従って処理が実行される。（４）の場合、第１および第２の検出結果が存在しないので、図２におけるカーソル２１４による指示や、図３におけるカーソル３０５による指示は行われない。
【００４０】
図４のフローチャートを参照して、以上の処理を説明する。Ｓ４００〜Ｓ４０６の各ステップは低視認性種別判定部１３０が行う処理を示している。連続枠外検出部１２３による第１の検出結果と、連続被写体振れ量検出部１２４による第２の検出結果との、二通りの検出結果を用いて説明する。
【００４１】
Ｓ４００では、第１および第２の検出結果ともに検出有りであるかどうかの判定処理が行われる。つまり、（３）の場合について判定され、（３）の判定条件を満たす場合、Ｓ４０１へ遷移し、当該判定条件を満たさない場合にはＳ４０２へ遷移する。Ｓ４０１では、予めユーザにより定められた設定に従う処理が実行される。すなわち、（１）の場合の処理、または（２）の場合の処理のうち、いずれかの処理が行われる。
【００４２】
Ｓ４０２は、第１の検出結果が検出有りであるかどうかの判定処理である。第１の検出結果が検出有りと判定される場合、Ｓ４０３へ遷移し、第１の検出結果が検出有りと判定されない場合にはＳ４０４へ遷移する。Ｓ４０３の処理は、（１）の場合の処理に相当し、連続枠外検出部１２３の検出結果である前述の枠外サイズ情報がユーザ通知部１１６に対して出力される。また第２の振れ補正量算出部１１４に対しても同様に、連続枠外検出部１２３の検出結果である前述の枠外サイズ情報が出力される。
【００４３】
Ｓ４０４は、第２の検出結果が検出有りであるかどうかの判定処理である。第２の検出結果が検出有りと判定される場合、Ｓ４０５へ遷移し、第２の検出結果が検出有りと判定されない場合にはＳ４０６へ遷移する。Ｓ４０５の処理は、（２）の場合の処理に相当し、連続被写体振れ量検出部１２４の検出結果である振れ量（０）がユーザ通知部１１６に対して出力される。また第２の振れ補正量算出部１１４に対しても同様に、連続被写体振れ量検出部１２４の検出結果である振れ量（０）が出力される。
【００４４】
Ｓ４０６は、いずれの検出もされなかった場合であり、（４）の場合の処理に相当する。この場合、ユーザへの通知は行わない。あるいは、予めユーザにより定められた設定に従って所定の処理が実行される。
【００４５】
本実施形態によれば、第１および第２の検出結果の判定に基づいて、第１の実施形態の処理と第２の実施形態の処理により、像ブレ補正を適切に実行可能である。
【００４６】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４７】
１００ ・・・・映像再生部
１０４ ・・・・ メモリ
１０５ ・・・・ 画像処理部
１０６ ・・・・ 表示装置
１１０ ・・・・ 制御部
１１２ ・・・・ 振れ量算出部
１１３ ・・・・ 第１の振れ補正量算出部
１１４ ・・・・ 第２の振れ補正量算出部
１１６ ・・・・ ユーザ通知部
１２０ ・・・・ 低視認性フレーム検出部
１３０ ・・・・ 低視認性種別判定部
【図１】
2017220800.tif 000003
【図２】
2017220800.tif 000004
【図３】
2017220800.tif 000005
【図４】
2017220800.tif 000006