(57)【要約】【課題】撮像した画像に電子的にモーションブラーを付与可能な撮像装置にて、品質が良好な動画を得られるようにする。【解決手段】設定されるシャッタースピードで撮像するセンサーを有し、連続的に撮像された画像から取得した画像間の動きに係る情報に基づいて、撮像された画像へのモーションブラー付与に係る難易度を算出し、予め設定される判断基準に対し、算出された難易度が低い場合には高速なシャッタースピードでセンサーに撮像させ、算出された難易度が高い場合には低速なシャッタースピードでセンサーに撮像させるように制御する。【選択図】図２
2020065157.tif 000002
【特許請求の範囲】
【請求項１】
設定されるシャッタースピードで撮像する第１の撮像手段と、
連続的に撮像された画像から画像間の動きに係る情報を取得する取得手段と、
取得された前記動きに係る情報に基づいて、撮像された画像へのモーションブラー付与に係る難易度を算出する難易度算出手段と、
予め設定される判断基準に対し、算出された前記難易度が低い場合には第１のシャッタースピードで前記第１の撮像手段に撮像させ、前記難易度が高い場合には前記第１のシャッタースピードよりも低速な第２のシャッタースピードで前記第１の撮像手段に撮像させる制御手段とを有することを特徴とする撮像装置。
【請求項２】
前記動きに係る情報は、前記連続的に撮像された画像から取得したオプティカルフローであることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記制御手段は、前記判断基準に対して前記難易度が高い場合には、前記撮像装置に設定されたモードに応じたシャッタースピードで前記第１の撮像手段に撮像させることを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記制御手段は、設定された前記モードが低速シャッターのモードである場合には前記第２のシャッタースピードで前記第１の撮像手段に撮像させ、設定された前記モードが高速シャッターのモードである場合には前記第２のシャッタースピードよりも高速な第３のシャッタースピードで前記第１の撮像手段に撮像させることを特徴とする請求項３記載の撮像装置。
【請求項５】
前記難易度算出手段は、前記動きに係る情報及び撮像された画像を用いて生成された画像と対応する画像との相関を前記難易度として算出し、
前記制御手段は、算出された前記相関が前記判断基準より高い場合に前記難易度が低いと判定することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項６】
前記難易度算出手段は、撮像された画像におけるオクルージョン領域の割合を前記難易度として算出し、
前記制御手段は、算出された前記オクルージョン領域の割合が前記判断基準より低い場合に前記難易度が低いと判定することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項７】
前記動きに係る情報は、前記連続的に撮像された画像から取得したオプティカルフローであり、
前記難易度算出手段は、前記オプティカルフローを構成する動きベクトルの差の大きさの積算値を前記難易度として算出し、
前記制御手段は、算出された前記積算値が前記判断基準より小さい場合に前記難易度が低いと判定することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項８】
前記動きに係る情報は、前記連続的に撮像された画像から取得したオプティカルフローであり、
前記難易度算出手段は、前記オプティカルフローを構成する動きベクトルのばらつきを前記難易度として算出し、
前記制御手段は、算出された前記ばらつきが前記判断基準より小さい場合に前記難易度が低いと判定することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項９】
前記第１のシャッタースピードで連続的に撮像された画像に、画像間の前記動きに係る情報に基づいてモーションブラーを付与する付与手段を有することを特徴とする請求項１〜８の何れか１項に記載の撮像装置。
【請求項１０】
前記第１の撮像手段とは独立した撮影条件で撮像する第２の撮像手段を有し、
前記取得手段は、前記第２の撮像手段により撮像された画像から画像間の動きに係る情報を取得することを特徴とする請求項１〜９の何れか１項に記載の撮像装置。
【請求項１１】
光信号から前記オプティカルフローを生成し出力するセンサーを有し、
前記難易度算出手段は、前記センサーが出力した前記オプティカルフローを用いて、前記難易度を算出することを特徴とする請求項２記載の撮像装置。
【請求項１２】
前記高速シャッターのモードは画像の鮮鋭度を優先させるモードであり、前記低速シャッターのモードは、ジャーキネスを抑制するモードであることを特徴とする請求項４記載の撮像装置。
【請求項１３】
設定されるシャッタースピードで撮像する撮像手段を有する撮像装置の制御方法であって、
連続的に撮像された画像から画像間の動きに係る情報を取得する取得工程と、
取得された前記動きに係る情報に基づいて、撮像された画像へのモーションブラー付与に係る難易度を算出する難易度算出工程と、
予め設定される判断基準に対し、算出された前記難易度が低い場合には第１のシャッタースピードで前記撮像手段に撮像させ、前記難易度が高い場合には前記第１のシャッタースピードよりも低速な第２のシャッタースピードで前記撮像手段に撮像させる制御工程とを有することを特徴とする撮像装置の制御方法。
【請求項１４】
設定されるシャッタースピードで撮像する撮像手段を有する撮像装置のコンピュータに、
連続的に撮像された画像から画像間の動きに係る情報を取得する取得ステップと、
取得された前記動きに係る情報に基づいて、撮像された画像へのモーションブラー付与に係る難易度を算出する難易度算出ステップと、
予め設定される判断基準に対し、算出された前記難易度が低い場合には第１のシャッタースピードで前記撮像手段に撮像させ、前記難易度が高い場合には前記第１のシャッタースピードよりも低速な第２のシャッタースピードで前記撮像手段に撮像させる制御ステップとを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像装置の制御方法、及びプログラムに関する。
【背景技術】
【０００２】
運動選手や自動車等の高速で動く被写体を静止画として撮影する場合、モーションブラーと呼ばれるボケを抑制するために、（１／８０００）秒〜（１／５００）秒といった比較的高速なシャッタースピードで撮像することが多い。一方で、毎秒６０フレームで撮像される動画を例えば（１／８０００）秒の高速なシャッタースピードで撮像して視聴した場合、被写体の像が鮮明になりすぎて、ジャーキネスと呼ばれる動き不連続性が知覚できてしまう。
【０００３】
そのため、毎秒６０フレームで撮像される動画は、モーションブラーを画像中に残して視覚的に違和感がない滑らかな動画として撮影するために、（１／６０）秒〜（１／１２５）秒といった比較的低速なシャッタースピードで撮像することが多い。つまり、通常の動画撮影方法である低速なシャッタースピードで撮像した動画の１フレームを切り出した画像は、モーションブラーが発生していて、静止画として視聴するには適さない。
【０００４】
この問題を解決する１つの方法として、動画であっても高速なシャッタースピードで撮像し、画素毎にオプティカルフローを使って、撮像した画像に後処理として電子的にモーションブラーを付与する技術が提案されている（特許文献１参照）。つまり、擬似的に低速なシャッタースピードによる撮像を再現し、ジャーキネスの少ない滑らかな動画を生成する。これによれば、ユーザーは、静止画用の高速なシャッタースピードでの撮像に相当する画像と動画用の低速なシャッタースピードでの撮像に相当する画像との、両方の画像を視聴可能となる。
【０００５】
オプティカルフローは、被写体の動きを表す高密度の動きベクトル情報であり、例えば、画素毎に動きベクトルのマップとして表現される。オプティカルフローは、連続する画像から算出することができる。オプティカルフローの算出方法としては、例えば非特許文献１に記載のＬｕｃａｓ  Ｋａｎａｄｅ法（以下、「ＬＫ法」とも称す。）がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２８５２４号公報
【非特許文献】
【０００７】
【非特許文献１】Ｂ．Ｄ．Ｌｕｃａｓ  ａｎｄ  Ｔ．Ｋａｎａｄｅ，（１９８１），“Ａｎ  ｉｔｅｒａｔｉｖｅ  ｉｍａｇｅ  ｒｅｇｉｓｔｒａｔｉｏｎ  ｔｅｃｈｎｉｑｕｅ  ｗｉｔｈ  ａｎ  ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  ｓｔｅｒｅｏ  ｖｉｓｉｏｎ”，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｉｍａｇｉｎｇ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  Ｗｏｒｋｓｈｏｐ，ｐａｇｅｓ  １２１−１３０
【発明の概要】
【発明が解決しようとする課題】
【０００８】
動画と静止画の品質を両立するために、オプティカルフローを使って後処理で電子的にモーションブラーを付与するシステムにおいて、撮像するシーン内での被写体の動きが複雑であると、検出したオプティカルフローに誤りが生じることがある。誤ったオプティカルフローを使って、撮像した画像にモーションブラーを付与すると、同一シーンを低速なシャッタースピードで撮像した場合には発生しないアーティファクトが、モーションブラー付与後の画像に発生することがある。本発明は、このような事情に鑑みてなされたものであり、撮像した画像に電子的にモーションブラーを付与可能な撮像装置にて、品質が良好な動画を得られるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る撮像装置は、設定されるシャッタースピードで撮像する第１の撮像手段と、連続的に撮像された画像から画像間の動きに係る情報を取得する取得手段と、取得された前記動きに係る情報に基づいて、撮像された画像へのモーションブラー付与に係る難易度を算出する難易度算出手段と、予め設定される判断基準に対し、算出された前記難易度が低い場合には第１のシャッタースピードで前記第１の撮像手段に撮像させ、前記難易度が高い場合には前記第１のシャッタースピードよりも低速な第２のシャッタースピードで前記第１の撮像手段に撮像させる制御手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、撮像した画像に電子的にモーションブラーを付与可能な撮像装置にて、アーティファクトの発生が抑制された良好な品質の動画を得ることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態における撮像装置の構成例を示す図である。
【図２】第１の実施形態における撮像装置の制御例を示すフローチャートである。
【図３】第２の実施形態における撮像装置の構成例を示す図である。
【図４】第２の実施形態におけるマップ生成処理の例を示すフローチャートである。
【図５】第３の実施形態における撮像装置の制御例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態を図面に基づいて説明する。以下に説明する各実施形態における撮像装置は、連続的に撮像された画像から取得した画像間の動きに係る情報に基づいて、撮像した画像に電子的にモーションブラーを付与する機能を有する。なお、以下では画像間の動きに係る情報としてオプティカルフローを一例に説明するが、これに限定されるものではなく、モーションブラーの付与に使用できる画像間の動きを示す任意の情報が適用可能である。
【００１３】
（第１の実施形態）
本発明の第１の実施形態について説明する。図１は、第１の実施形態における撮像装置の構成例を示すブロック図である。本実施形態における撮像装置は、ＣＰＵ１０２、メモリ１０３、不揮発メモリ１０４、ＧＵＩ部１０５、及び画像処理エンジン１０６を有する。また、本実施形態における撮像装置は、レンズユニット１０８とセンサー１０９とを有するセンサーユニット１０７、オプティカルフロー生成部１１０、難易度算出部１１１、モーションブラー付与部１１２、及び情報記憶部１１３を有する。撮像装置が有する各モジュール１０２〜１１３は、バス１０１を介して接続され、各モジュール間のデータの入出力はバス１０１を介して行われる。
【００１４】
ＣＰＵ（Central Processing Unit：中央演算処理装置）１０２は、撮像装置が有するそれぞれのモジュールを制御する。ＣＰＵ１０２は、制御手段の一例である。メモリ１０３は、例えばＣＰＵ１０２の主記憶装置として使用されるメモリである。不揮発メモリ１０４には、例えばＯＳ（オペレーティングシステム）やアプリケーション等のプログラム及び画像データ等の各種データが格納される。本実施形態では、例えば不揮発メモリ１０４に格納されたプログラムをメモリ１０３へと読み込み、読み込んだプログラムをＣＰＵ１０２が実行することで、各種処理が実行される。
【００１５】
ＧＵＩ（Graphical User Interface：グラフィカルユーザーインターフェース）部１０５は、ユーザーからの撮像装置に対する操作を受け付けたり、ユーザーに撮像装置の情報等を提供したりするためのインターフェース部である。例えば、ユーザーはＧＵＩ部１０５を使って後述のモードを設定する。ＧＵＩ部１０５は、例えばタッチパネル付ディスプレイである。しかし、ＧＵＩ部１０５は、これに限定されず、例えば十字キー、ダイアル、ボタン等で設定を行うＧＵＩであってもよい。
【００１６】
画像処理エンジン１０６は、センサーユニット１０７から出力されるデジタル画像信号を画像データに変換してメモリ１０３に記憶する。また、画像処理エンジン１０６は、画像データを符号化データに変換して不揮発メモリ１０４に記録する。本実施形態では、画像データは、横１９２０画素及び縦１０８０画素のＲＧＢ各８ビットのデータであるものとするが、これに限定されるものではない。また、符号化データは、画像データをＨＥＶＣ（High Efficiency Video Coding）方式により変換されたものとするが、符号化方式に限定はなく、また非圧縮データであっても本実施形態での動作を実行することは可能である。
【００１７】
センサーユニット１０７は、被写体に係る光学像を電気信号に変換してデジタル画像信号を出力する。センサーユニット１０７は、レンズ及び絞りを含むレンズユニット１０８と、ＣＭＯＳイメージセンサーやＣＣＤイメージセンサー等のセンサー（撮像素子）１０９とを有する。レンズユニット１０８を通して取り込まれた光は、センサー１０９によってデジタル画像信号に変換される。なお、図１には、撮像装置がレンズユニット１０８及びセンサー１０９を有する例を示しているが、レンズユニット１０８が撮像装置とは別体で着脱可能（交換可能）に構成されていてもよい。
【００１８】
撮像装置による撮像では、最適な露出になるように、シャッタースピードを示すＴｖ（Time Value）値、絞りを示すＡｖ（Aperture Value）値、及び感度を制御する。本実施形態では、はじめにＴｖ値を決定し、それに応じたＡｖ値と感度を決定するものとする。Ｔｖ値の決定方法については後述する。また、Ａｖ値と感度の決定方法については、広く知られる技術であるため、説明を省略する。撮像においては、決定したＡｖ値に応じてレンズユニット１０８の絞りが制御され、Ｔｖ値に応じてセンサー１０９の電子シャッターが制御され、感度に応じてセンサー１０９のアナログゲインが制御される。本実施形態では、撮像から、画像データの記憶、符号化データの記録、Ｔｖ値の制御、Ａｖ値の制御、及び感度の制御は、毎秒６０フレームのレートで連続的に行われるものとする。
【００１９】
オプティカルフロー生成部１１０は、メモリ１０３に記憶された画像データが連続的に入力され、入力される画像データに基づいて画素毎に連続する画像間の動きを表すオプティカルフローを生成する。オプティカルフロー生成部１１０は、取得手段の一例である。本実施形態において、オプティカルフロー生成部１１０は、ＬＫ法によりオプティカルフローを生成するものとするが、オプティカルフローの生成方法はＬＫ法に限定されるものではない。難易度算出部１１１は、オプティカルフロー生成部１１０により生成されたオプティカルフローを使って、撮像した画像に電子的にモーションブラーを付与する際のモーションブラー付与の難易度を算出する。
【００２０】
モーションブラー付与部１１２は、撮像した画像に電子的にモーションブラーを付与する。モーションブラー付与部１１２は、大きなＴｖ値、すなわち高速なシャッタースピードで撮像した画像に対して、オプティカルフロー生成部１１０により生成されたオプティカルフローを使って、電子的にモーションブラーを付与する。情報記憶部１１３は、撮像装置のユーザーによりＧＵＩ部１０５を介して設定されるユーザー設定情報等を記憶する。情報記憶部１１３は、例えばユーザーにより設定された撮像装置のモードを示す情報を記憶する。
【００２１】
以下、本実施形態におけるＴｖ値の決定方法について、図２を参照して説明する。図２は、第１の実施形態における撮像装置でのセンサー１０９のＴｖ値の決定に係る制御例を示すフローチャートである。図２に示すフローチャートにおける各ステップでの動作は、撮像装置のＣＰＵ１０２が実行するものとする。
【００２２】
まず、ステップＳ２０１にて、ＣＰＵ１０２は、シャッタースピードが高速なＴｖ値（以下、「高速Ｔｖ値」とも称す。）、及びシャッタースピードが低速なＴｖ値（以下、「低速Ｔｖ値」とも称す。）を情報記憶部１１３から取得する。本実施形態では、一例として、高速Ｔｖ値は（１／１０００）秒のシャッタースピードを示す値であるとし、低速Ｔｖ値は（１／１２０）秒のシャッタースピードを示す値であるとする。なお、高速Ｔｖ値及び低速Ｔｖ値は、これに限定されるものではない。高速Ｔｖ値は、スポーツシーン等を静止画で撮影する場合のＴｖ値が設定されればよく、一般には（１／５００）秒以下のシャッタースピードを示す値であればよい。また、低速Ｔｖ値は、一般にシャッタースピードがフレームレートの逆数又はその半分となる値が用いられることが多いため、その程度の値が設定されればよい。
【００２３】
次に、ステップＳ２０２にて、ＣＰＵ１０２は、後述するようにして難易度算出部１１１により算出されたモーションブラー付与に係る難易度情報を取得する。ＣＰＵ１０２は、撮像した画像に電子的にモーションブラーを付与する際のモーションブラー付与の難易度を難易度算出部１１１から取得する。
【００２４】
次に、ステップＳ２０３にて、ＣＰＵ１０２は、ステップＳ２０２において取得したモーションブラー付与の難易度と予め定めた判断基準（しきい値）とを比較して、モーションブラー付与の難易度が低いか否かを判定する。モーションブラー付与の難易度が低いとＣＰＵ１０２が判定した場合、ステップＳ２０４にて、ＣＰＵ１０２は、センサー１０９のシャッタースピードを高速Ｔｖ値に設定する。また、モーションブラー付与の難易度が高いとＣＰＵ１０２が判定した場合、ステップＳ２０５にて、ＣＰＵ１０２は、センサー１０９のシャッタースピードを低速Ｔｖ値に設定する。センサーユニット１０７は、ＣＰＵ１０２により設定されたＴｖ値等に従って撮像を行う。
【００２５】
続いて、撮像した画像に対するモーションブラー付与の難易度の算出方法について説明する。モーションブラー付与の難易度は、難易度算出部１１１によって算出される。なお、難易度算出部１１１は、回路であってもＣＰＵ（プログラマブルな回路）がソフトウェア処理を行う構成のどちらであってもよい。ソフトウェア処理により実現する場合、ＣＰＵ１０２が演算することも可能である。
【００２６】
オプティカルフローは、２枚の画像間の動きを表すため、連続する２つの入力画像を第１フレームと第２フレームとし、第１フレームの画素が第２フレームでどのように動いたかを２次元のベクトルで表現するものとして説明する。第１フレーム、第２フレームにおける座標（ｘ，ｙ）の画素の輝度を、それぞれＩ1（ｘ，ｙ）、Ｉ2（ｘ，ｙ）と表現する。輝度は、事前に輝度画像を作っておいても、ＲＧＢからその都度計算してもよい。
【００２７】
第１フレームの座標（ｘ，ｙ）において、第１フレームから第２フレームへの動きを表現する動きベクトルを（ｕ（ｘ，ｙ），ｖ（ｘ，ｙ））とする。このとき、第１フレームの画像と、第１フレームの画素をオプティカルフローでワーピングして生成した画像（ワーピング画像）との画素値の平均二乗誤差（ＭＳＥ：Mean Square Error）は、下記式（１）により算出される。
【００２８】
【数１】
2020065157.tif 000003
【００２９】
ただし、式（２）に示す｛要素｜条件｝という表現は、条件を満足する要素の集合を表現するものとする。また、式（２）において、ｗ及びｈは画像の幅及び高さであり、関数ｒｏｕｎｄ（ａ）は、実数ａを四捨五入した値を返す関数である。
【００３０】
式（１）により算出される画素値の平均二乗誤差（ＭＳＥ）は、２つの画像間の相関を示しており、難易度算出部１１１は、この画素値の平均二乗誤差（ＭＳＥ）をモーションブラー付与の難易度として算出する。画素値の平均二乗誤差（ＭＳＥ）が小さいほど、画像の相関が高く、オプティカルフローが高い精度で算出できている、つまりモーションブラー付与の難易度が低いことを示す。そこで、本実施形態では、図２に示したステップＳ２０３において、ＣＰＵ１０２は、例えば画素値の平均二乗誤差（ＭＳＥ）が８未満である場合、オプティカルフローの精度が高く、モーションブラー付与の難易度が低いと判定する。
【００３１】
なお、前述した例では、モーションブラー付与の難易度として、画素値の平均二乗誤差（ＭＳＥ）を算出しているが、画像の相関を示す他の指標を用いてもよい。例えば、下記式（３）に示すように、ピーク信号対雑音比（ＰＳＮＲ：Peak Signal Noise Ratio）をモーションブラー付与の難易度として算出するようにしてもよい。
【００３２】
【数２】
2020065157.tif 000004
【００３３】
式（３）により算出されるピーク信号対雑音比（ＰＳＮＲ）を用いる場合、図２に示したステップＳ２０３において、ＣＰＵ１０２は、例えばピーク信号対雑音比（ＰＳＮＲ）が３０以上であるときにモーションブラー付与の難易度が低いと判定する。
【００３４】
また、他にも、構造的類似性（ＳＳＩＭ：structual similarity）をモーションブラー付与の難易度として用いるようにしてもよい。構造的類似性（ＳＳＩＭ）を用いる場合、図２に示したステップＳ２０３において、ＣＰＵ１０２は、例えば構造的類似性（ＳＳＩＭ）が０．９５以上であるときにモーションブラー付与の難易度が低いと判定する。
【００３５】
なお、本実施形態では、前述した式（１）においてｒｏｕｎｄ関数を利用している。これは、動きベクトルに従って移動した位置でのニアレストネイバー（その位置の最近傍の画素）における画素値の参照を表している。しかし、これに限定されるものではなく、演算量の増加を許容できるのであれば、例えば、バイリニア補間やバイキュービック補間法で移動した座標位置での仮想の画素値を算出してもよい。また、本実施形態では、全画素の比較結果の積分値から相関値を算出するようにしているが、必ずしも全画素を処理する必要はない。例えば、縦横１０画素ずつでサンプリングし、全体の１％の画素を用いて相関値を算出するようにしてもよい。
【００３６】
本実施形態では、センサー１０９のシャッタースピードはＴｖ値が即座に反映されるものとして説明したが、実際のセンサー１０９が撮像するシャッタースピードは徐々に変化するようにしてもよい。また、本実施形態では、センサー１０９のＴｖ値を制御して、撮影、記録する装置として説明したが、撮像時にリアルタイムで電子的にモーションブラーを画像に付与する構成であってもよい。この場合、撮像時にリアルタイムでオプティカルフローを生成し、モーションブラー付与部１１２が、そのオプティカルフローに従って画像データにモーションブラーを付与することになる。モーションブラーが付与された画像は、符号化されて不揮発メモリ１０４に記録される。静止画と動画の両立という点から、不揮発メモリ１０４には、静止画用の高速なシャッタースピード（高速Ｔｖ値）で撮像した画像の符号化データと、動画用の低速なシャッタースピードを再現した画像の符号化データが記録されることになる。
【００３７】
第１の実施形態における撮像装置は、高速なシャッタースピードで撮像しつつ、フレーム毎にモーションブラー付与の難易度を算出し、難易度が高い場合にはシャッタースピードを低速化する機能を有している。これにより、モーションブラーの少ない動画を記録しつつ、後に電子的なモーションブラー付与を施して低速なシャッタースピードによる撮像を再現することが難しいと判断される場合、動画用として低速なシャッタースピードで画像を撮影、記録できる。そのため、ユーザーは、アーティファクトの発生が抑制され、ジャーキネスの少ない滑らかな動画を視聴することが可能となる。
【００３８】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態においては、センサーユニットとは異なるサブセンサーユニットから出力される信号を用いて、センサーユニットが有するセンサーのシャッタースピードを制御する。以下では、第２の実施形態における撮像装置において、前述した第１の実施形態と異なる点について説明する。
【００３９】
図３（ａ）は、第２の実施形態における撮像装置の構成例を示すブロック図である。図３（ａ）において、図１に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。本実施形態における撮像装置は、ＣＰＵ１０２、メモリ１０３、不揮発メモリ１０４、ＧＵＩ部１０５、及び画像処理エンジン１０６を有する。また、本実施形態における撮像装置は、センサーユニット１０７、オプティカルフロー生成部１１０、難易度算出部１１１、モーションブラー付与部１１２、及び情報記憶部１１３に加え、さらにサブセンサーユニット３０１を有する。撮像装置が有する各モジュール１０２〜１１３、３０１は、バス１０１を介して接続され、各モジュール間のデータの入出力はバス１０１を介して行われる。
【００４０】
サブセンサーユニット３０１は、レンズと画像を撮像するセンサーとを有し、センサーユニット１０７とは独立した撮影条件で撮像する。つまり、サブセンサーユニット３０１は、センサーユニット１０７に依存しない撮影条件で撮像を行う。サブセンサーユニット３０１が有するセンサーは、例えば（１／１０００）秒の高速なシャッタースピードで撮像を行う。本実施形態においても、図２に示したフローチャートに従って処理を行い、メインセンサーであるセンサーユニット１０７が有するセンサー１０９のシャッタースピードが決定される。ただし、オプティカルフロー生成部１１０は、センサー１０９が撮像した画像からではなく、サブセンサーユニット３０１が撮像した画像からオプティカルフローを生成する。
【００４１】
第２の実施形態では、モーションブラー付与の難易度の判定にオクルージョンマップを用いる。オクルージョンマップは、入力画像サイズと同じ解像度を持ちオクルージョン領域であるか否かを示すマップである。ここで、オクルージョン領域とは、動きベクトルの算出において終点位置にあるべき被写体（画素）が、前景の被写体に隠れて、動きベクトルの算出ができない領域のことである。以下の説明では、オクルージョンマップにおいて、“０”がオクルージョンを示し、“１”以上が非オクルージョンを示すものとする。
【００４２】
オクルージョンマップの生成は、難易度算出部１１１が行う。本実施形態では、難易度算出部１１１は、ＣＰＵ（プログラマブルな回路）として説明するが、同様の処理を行う回路であってもよい。図４は、オクルージョンマップを生成するマップ生成処理の例を示すフローチャートである。前述したように、オクルージョンマップは、入力画像サイズと同じ解像度を有する。第１フレームの座標（ｘ，ｙ）において、第２フレームから第１フレームへの動きを表現する動きベクトルを（ｕ’（ｘ，ｙ），ｖ’（ｘ，ｙ））とする。
【００４３】
まず、ステップＳ４０１にて、難易度算出部１１１は、オクルージョンマップＯｃのすべての値を“０”で初期化する。次に、ステップＳ４０２にて、難易度算出部１１１は、画像を走査しながら、着目画素の座標（ｘ，ｙ）を取得する。難易度算出部１１１は、例えば画像の左上から、ステップＳ４０２の処理が実行される毎に右へ１画素分シフトし、１ラインの右端に達したら１つ下のラインの左端から、再度、走査を始めるようにして着目画素を設定する。
【００４４】
ステップＳ４０３にて、難易度算出部１１１は、ステップＳ４０２において取得した着目画素の座標（ｘ，ｙ）に係る動きベクトル（ｕ’（ｘ，ｙ），ｖ’（ｘ，ｙ））を取得する。次に、ステップＳ４０４にて、難易度算出部１１１は、オクルージョンマップの座標（ｒｏｕｎｄ（ｘ＋ｕ’（ｘ，ｙ）），ｒｏｕｎｄ（ｙ＋ｖ’（ｘ，ｙ）））の値を１だけインクリメントする。すなわち、難易度算出部１１１は、動きベクトル（ｕ’（ｘ，ｙ），ｖ’（ｘ，ｙ））が算出された画素に対応するオクルージョンマップの座標の値を１増加させる。
【００４５】
ステップＳ４０５にて、難易度算出部１１１は、画像の全画素の走査が終了したか否かを判定する。例えば画像の左上から、右方向にシフトし、１ラインの右端に達したら１つ下のラインの左端から右方向に再度走査するように走査した場合には、難易度算出部１１１は、画像の右下の画素を着目画素とした処理が終了したか否かを判定する。難易度算出部１１１は、画像の全画素の走査が終了したと判定した場合にはマップ生成処理を終了し、画像の全画素の走査が終了していないと判定した場合にはステップＳ４０２へ遷移して、ステップＳ４０２以降の処理を実行する。
【００４６】
前述したようにオクルージョン領域とは、動きベクトルの算出において終点位置にあるべき被写体（画素）が、前景被写体に隠れて、動きベクトルの算出ができない領域のことである。図４に示したようにして生成したオクルージョンマップは、値“０”が多いほど、オクルージョンが多い、つまり、正しい動きベクトルを算出できないことを示す。したがって、オクルージョンマップにおいて値“０”が多いほど、モーションブラー付与の難易度が高いと判断できる。本実施形態では、図２に示したステップＳ２０３にて、ＣＰＵ１０２は、オクルージョンマップにおいて値“０”の数が全体の５％を超えた場合に、モーションブラー付与の難易度が高いと判断する。
【００４７】
前述した説明では、サブセンサーにより画像が撮像されるものとして説明したが、これに限定されるものではない。例えば、図３（ｂ）に示すように、光信号から直接オプティカルフローを生成可能なオプティカルフローセンサー３０２を用いるようにしてもよい。この場合、オプティカルフロー生成部は不要となり、オプティカルフローセンサー３０２が生成し出力したオプティカルフローを使って、難易度算出部１１１は、モーションブラー付与の難易度を算出する。
【００４８】
以上のように、オクルージョン領域の割合をモーションブラー付与の難易度とみなすことによっても、第１の実施形態と同様の効果が得られ、ユーザーは、アーティファクトの発生が抑制され、ジャーキネスの少ない滑らかな動画を視聴することが可能となる。
【００４９】
なお、サブセンサーユニット３０１の出力結果を利用して、第１の実施形態のように画像の相関からモーションブラー付与の難易度を算出する構成としてもよい。この場合も第１の実施形態と同様に、ユーザーは、アーティファクトの発生が抑制され、ジャーキネスの少ない滑らかな動画を視聴可能となる効果を得ることができる。このとき、サブセンサーユニット３０１におけるＴｖ値は固定であるため、センサー１０９のＴｖ値に依存せず、同じ画質の画像からオプティカルフローを生成することができる。そのため、センサー１０９のＴｖ値が高速Ｔｖ値から低速Ｔｖ値へ切り替わる場合も、低速Ｔｖ値から高速Ｔｖ値へ切り替わる場合も、同一の撮像条件で算出したモーションブラー付与の難易度を使っての判定が可能となり、判定の安定性が高まる。
【００５０】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第３の実施形態における撮像装置の構成は、前述した第１の実施形態における撮像装置と同様であるので、その説明は省略する。以下では、第３の実施形態における撮像装置の制御において、前述した第１の実施形態と異なる点について説明する。図５は、第３の実施形態における撮像装置でのセンサー１０９のＴｖ値の決定に係る制御例を示すフローチャートである。図５に示すフローチャートにおける各ステップでの動作は、撮像装置のＣＰＵ１０２が実行するものとする。
【００５１】
まず、ステップＳ５０１にて、ＣＰＵ１０２は、図２に示したステップＳ２０１と同様にして、シャッタースピードが高速なＴｖ値（高速Ｔｖ値）、及びシャッタースピードが低速なＴｖ値（低速Ｔｖ値）を情報記憶部１１３から取得する。次に、ステップＳ５０２にて、ＣＰＵ１０２は、撮像装置に設定されたモードの情報を情報記憶部１１３から取得する。本実施形態では、設定されたモードが、低ジャーキネス優先モード、又は鮮鋭度優先モードのいずれかのモードであるかを示す情報を取得する。なお、ステップＳ５０１、Ｓ５０２の処理は順不同であり、ステップＳ５０２に示す処理を行った後にステップＳ５０１に示す処理を行ってもよいし、ステップＳ５０１、Ｓ５０２の処理を並行して行ってもよい。
【００５２】
ここで、低ジャーキネス優先モードは、動画向けの低速なシャッタースピードで撮像を行う、ジャーキネスを抑制する低速シャッターのモードである。また、鮮鋭度優先モードは、静止画向けの高速なシャッタースピードで撮像を行う、画像の鮮鋭度を優先させる高速シャッターのモードである。モードは、予めユーザーがＧＵＩ部１０５を使って指定しておき、指定されたモードを示す情報が情報記憶部１１３に記憶されている。
【００５３】
次に、ステップＳ５０３にて、ＣＰＵ１０２は、難易度算出部１１１により算出された、撮像した画像に電子的にモーションブラーを付与する際のモーションブラー付与の難易度を取得する。次に、ステップＳ５０４にて、ＣＰＵ１０２は、ステップＳ５０３において取得したモーションブラー付与の難易度と予め定めた判断基準（しきい値）とを比較して、モーションブラー付与の難易度が低いか否かを判定する。モーションブラー付与の難易度が低いとＣＰＵ１０２が判定した場合にはステップＳ５０６に遷移し、モーションブラー付与の難易度が高いとＣＰＵ１０２が判定した場合にはステップＳ５０５に遷移する。
【００５４】
モーションブラー付与の難易度が高いとＣＰＵ１０２が判定した場合に遷移するステップＳ５０５にて、ＣＰＵ１０２は、ステップＳ５０２において取得した情報に基づいて、モード判定を行う。設定されたモードが鮮鋭度優先モードであるとＣＰＵ１０２が判定した場合にはステップＳ５０６に遷移し、設定されたモードが低ジャーキネスモードであるとＣＰＵ１０２が判定した場合にはステップＳ５０７に遷移する。
【００５５】
モーションブラー付与の難易度が低い、又は設定されたモードが鮮鋭度優先モードであるとＣＰＵ１０２が判定した場合に遷移するステップＳ５０６にて、ＣＰＵ１０２は、センサー１０９のシャッタースピードを高速Ｔｖ値に設定する。また、モーションブラー付与の難易度が高く、かつ設定されたモードが低ジャーキネスモードであるとＣＰＵ１０２が判定した場合に遷移するステップＳ５０７にて、ＣＰＵ１０２は、センサー１０９のシャッタースピードを低速Ｔｖ値に設定する。
【００５６】
前述した説明では、後処理で電子的にモーションブラーを付与することを前提に、低ジャーキネス優先モード、又は鮮鋭度優先モードをユーザーに選ばせる構成としているが、ユーザーが選択するモードは、これに限定されるものではない。例えば、さらにＴｖ値固定モード及びＡｖ値固定モードを加えた４つのモードから選択される構成としてもよい。Ｔｖ値固定モードは、Ｔｖ値を固定してＡｖ値と感度が変わるモードであり、Ａｖ値固定モードは、Ａｖ値を固定してＴｖ値と感度が変わるモードである。Ｔｖ値固定モード及びＡｖ値固定モードが選択された場合、図５に示したフローチャートの処理は実行せず、露出の自動計算式により算出される各値を設定する。
【００５７】
第３の実施形態では、難易度算出部１１１は、以下に示す式を利用して、モーションブラー付与の難易度を算出する。難易度算出部１１１は、以下の式を計算できる機能を有する回路として説明するが、ＣＰＵ（プログラマブルな回路）がソフトウェア処理を行う構成のどちらであってもよい。ソフトウェア処理により実現する場合、ＣＰＵ１０２が実行することも可能である。
【００５８】
【数３】
2020065157.tif 000005
【００５９】
式（４）に示す関数は、２つの変数の差を比較して、差の絶対値がしきい値ｔｈより大きい場合は差の二乗を返し、そうでない場合には０を返す関数である。本実施形態では、しきい値ｔｈは３とするがこれに限定されない。ただし、入力画像の幅の０．１％〜０．５％程度が好ましい。
【００６０】
式（５）は、隣接画素に対応する動きベクトルの差の大きさを式（４）に示した関数を用いて算出し、それを積算して正規化する式である。式（５）における変数及び記号は、第１の実施形態での説明と同様である。式（５）によって算出される、動きベクトルの差の大きさの積算値Ｐが大きい場合、隣接する動きベクトルの差が大きいことを示す。一般に、オプティカルフローでは隣接する画素に対応する動きベクトルは似る（差が小さい）傾向にあるため、積算値Ｐが大きい場合には、画像において動きの検出に失敗している可能性が高く、被写体の動きベクトルが複雑にバラついて動きの検出が難しい。そこで、本実施形態では、ステップＳ５０４において、ＣＰＵ１０２は、例えば積算値Ｐが２以下である場合、モーションブラー付与の難易度が低いと判定する。
【００６１】
本実施形態のように、オプティカルフローに含まれる動きベクトルの差の大きさを計算することでも、動きのばらつき、つまり、モーションブラー付与の難易度を算出することができる。なお、動きベクトルの差の大きさを計算して、モーションブラー付与の難易度を算出する方法は、前述した例に限定されない。例えば、以下に示すような式を用いて、動きベクトルの差の大きさの積算値Ｐ’を、モーションブラー付与の難易度として算出するようにしてもよい。
【００６２】
【数４】
2020065157.tif 000006
【００６３】
本実施形態において重要な点は、着目画素に対応する動きベクトルに対して、近傍の動きベクトルとの差の大きさを積算していることである。ただし、ここでの差の大きさとは、ノルムやノルムの累乗を示す。
また、以下に示すような式を用いてモーションブラー付与の難易度を算出するようにしてもよい。
【００６４】
【数５】
2020065157.tif 000007
【００６５】
式（８）では、画像全体の動きベクトルの分散、つまり、動きベクトルのばらつき具合を直接、算出する。動きベクトルのばらつきが大きい場合にも、動きの検出が難しく、モーションブラー付与の難易度が高いと判定できる。例えば、式（８）により算出される分散ｖａｒが４００を超えた場合には、モーションブラー付与の難易度が高いと判定できる。
【００６６】
前述した第１の実施形態や第２の実施形態では、モーションブラー付与の難易度が高い場合、動画用にセンサーのシャッタースピードとして低速Ｔｖ値を設定した。しかし、ユーザーが、動画よりも静止画を優先して記録したいこともある。そこで、第３の実施形態では、ユーザーがモードを設定しておき、Ｔｖ値を決定する処理においてモード判定をする。これによって、ユーザーの判断に応じて、モーションブラー付与の難易度が高い場合に高速Ｔｖ値と低速Ｔｖ値のどちらを設定するかを選択できるようにして、利便性を高めている。この場合、第１の実施形態や第２の実施形態のように、画像の相関やオクルージョン領域の割合をモーションブラー付与の難易度とみなして、処理を行っても同様の効果を得ることができる。
【００６７】
また、第３の実施形態では、動きのばらつきを計算しているが、このように動きの情報を直接解析することでも、モーションブラー付与の難易度を算出することができる。よって、ユーザーにより設定された情報を利用しなければ第１の実施形態と同様の効果を得ることができ、ユーザーが設定したモードを示す情報を利用することで、さらにユーザーの利便性も高まる。
【００６８】
（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６９】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００７０】
１０１：バス  １０２：ＣＰＵ  １０３：メモリ  １０４：不揮発メモリ  １０５：ＧＵＩ部  １０７：センサーユニット  １０９：センサー  １１０：オプティカルフロー生成部  １１１：難易度算出部  １１２：モーションブラー付与部  １１３：情報記憶部  ３０１：サブセンサーユニット  ３０２：オプティカルフローセンサー
【図１】
2020065157.tif 000008
【図２】
2020065157.tif 000009
【図３】
2020065157.tif 000010
【図４】
2020065157.tif 000011
【図５】
2020065157.tif 000012