(57)【要約】【課題】動きブレの影響を低減したＷＤＲ画像を生成する撮像装置を提供すること。【解決手段】被写体を撮像する撮像手段と、長時間露光のフレームと短時間露光のフレームを順次取得する時分割画像取得モードと長時間露光の画素と短時間露光の画素が混在するフレームを取得する空間分割画像取得モードとを切り換える画像取得モード切り替え手段と、時分割画像取得モードで取得した画像群、もしくは、空間分割画像取得モードで取得した画像群に対してワイドダイナミックレンジ処理を実行するワイドダイナミックレンジ処理手段と、を備えた撮像装置において、時分割画像取得モードから空間分割画像取得モードへの切り替えと空間分割画像取得モードから時分割画像取得モードへの切り替えに用いる情報の検出方法が異なることを特徴とする。【選択図】図８
2017224905.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像手段と、
長時間露光のフレームと短時間露光のフレームを順次取得する時分割画像取得モードと長時間露光の画素と短時間露光の画素が混在するフレームを取得する空間分割画像取得モードとを切り換える画像取得モード切り替え手段と、
時分割画像取得モードで取得した画像群、もしくは、空間分割画像取得モードで取得した画像群に対してワイドダイナミックレンジ処理を実行するワイドダイナミックレンジ処理手段と、
を備えた撮像装置において、
時分割画像取得モードから空間分割画像取得モードへの切り替えと空間分割画像取得モードから時分割画像取得モードへの切り替えに用いる情報の検出方法が異なることを特徴とする撮像装置。
【請求項２】
前記時分割画像取得モードにおいて検出する前記情報は複数の短時間露光画像から算出した動き量から検出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記空間分割画像取得モードにおいて検出する前記情報は短時間露光画像と長時間露光画像から算出したブレ量から検出することを特徴とする請求項１に記載の撮像装置。
【請求項４】
時分割画像取得モードから空間分割画像取得モードへの画像取得モードの切り替えには、画像データ間の動き量から検出した前記情報を用い、空間分割画像取得モードから時分割画像取得モードへの画像取得モードの切り替えにはブレ量から検出した前記情報を用いる
ことを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
【請求項５】
前記画像取得モード切り替え手段において、画像取得モードの切り替えしきい値とする前記情報をワイドダイナミックレンジ画像の解像感から決定することを特徴とする請求項１乃至請求項４の何れか一項に記載の撮像装置。
【請求項６】
前記ワイドダイナミックレンジ画像の解像感は画像コントラストであることを特徴とする請求項５に記載の撮像装置。
【請求項７】
請求項１乃至請求項６の何れか一項に記載の撮像装置と、前記撮像装置で取得された画像を処理する情報処理装置と、を有することを特徴とする撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法に関する。
【背景技術】
【０００２】
従来の撮像装置において、撮像装置のダイナミックレンジを超える撮影シーンでは、輝度の高い被写体の画像が白飛びする、もしくは、輝度の低い被写体の画像が黒つぶれする、などの課題があった。
【０００３】
そこで、露光時間の長い画像と露光時間の短い画像の２枚の画像を合成して、擬似的にダイナミックレンジの大きな画像を生成するＷＤＲ（Ｗｉｄｅ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ、ワイドダイナミックレンジ）技術が提案されている。ＷＤＲ技術により、ダイナミックレンジが大きいシーンの撮影であっても、白飛びや黒つぶれを低減した画像を提示できる。
【０００４】
一方、撮像装置、もしくは、被写体に動きがある場合にＷＤＲ処理を実施すると、露光時間の異なる２枚の画像それぞれで、撮像装置と被写体の相対的な動きによる動きブレの影響が発生し、合成画像の画質が劣化する可能性がある、という課題があった。
【０００５】
本課題を解決する技術として、撮像装置、もしくは、被写体の動き量に応じて、複数枚の異なる露光時間の画像を用いたＷＤＲ処理（フレーム間ＷＤＲ）と同一フレームの異なる露光時間の画像を用いたＷＤＲ処理（フレーム内ＷＤＲ）を選択する技術が提案されている（特許文献１）。
【０００６】
同様に、撮像装置、もしくは、被写体の動きに応じて、フレーム間ＷＤＲ、フレーム内ＷＤＲを選択できる技術が提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１４−１４６８５０号公報
【特許文献２】特開２０１０−２３９２７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１、及び、特許文献２で示された技術により、ＷＤＲ処理の動きブレの影響を低減することができる。
【０００９】
しかしながら、特許文献１、及び、特許文献２に示された技術は、フレーム間ＷＤＲの画像取得モード（領域ごとに異なる露光時間を有する単一のフレームを取得するモード）とフレーム内ＷＤＲの画像取得モード（複数枚の異なる露光時間のフレームを取得するモード）の取得画像の違いによる動き量の検出精度の違いを考慮していない。
【００１０】
本発明は、上記従来の課題を鑑み、ＷＤＲ処理を行うための画像取得モードの違いを考慮して、フレーム内ＷＤＲとフレーム間ＷＤＲのそれぞれの画像取得モードに応じた撮像装置、もしくは、被写体の動きに相当する情報の検出を行う撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明に係る撮像装置は、
被写体を撮像する撮像手段と、長時間露光のフレームと短時間露光のフレームを順次取得する時分割画像取得モードと長時間露光の画素と短時間露光の画素が混在するフレームを取得する空間分割画像取得モードとを切り換える画像取得モード切り替え手段と、時分割画像取得モードで取得した画像群、もしくは、空間分割画像取得モードで取得した画像群に対してワイドダイナミックレンジ処理を実行するワイドダイナミックレンジ処理手段と、を備えた撮像装置において、時分割画像取得モードから空間分割画像取得モードへの切り替えと空間分割画像取得モードから時分割画像取得モードへの切り替えに用いる情報の検出方法が異なることを特徴とする。
【００１２】
本発明に係る撮像システムは、
本発明に係る撮像装置と、前記撮像装置で取得された画像を処理する情報処理装置と、を有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、動きブレの影響を低減したＷＤＲ画像を生成する撮像装置を提供することができる。特に、画像取得モードそれぞれで異なる動き情報を用いることで、動きが大きい場合であっても安定して動き情報を取得することができる。
【図面の簡単な説明】
【００１４】
【図１】撮像システムの装置構成の全体図
【図２】撮像装置の機能ブロック図
【図３】時分割画像取得モードでのＷＤＲ処理を説明する模式図
【図４】空間分割画像取得モードでのＷＤＲ処理を説明する模式図
【図５】基本的なＷＤＲ処理フローを説明するフローチャート
【図６】時分割画像取得モードから空間分割画像取得モードへの切り替えを説明する模式図
【図７】空間分割画像取得モードから時分割画像取得モードへの切り替えを説明する模式図
【図８】動き量、もしくは、ブレ量による画像取得モードの切り替えを説明するフローチャート
【図９】動き量、もしくは、ブレ量と解像感の関係を説明する模式図
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら本発明の実施の形態を説明する。
【実施例１】
【００１６】
（撮像システムの装置構成）
本発明の撮像システムの構成を、図１を用いて説明する。
【００１７】
撮像システムは、撮像装置（監視カメラ、または、ネットワークカメラ）１０１、情報処理装置１０２、表示装置１０３から構成される。撮像装置１０１と情報処理装置１０２との間は、汎用Ｉ／Ｆのケーブル１０４、ネットワーク１０５、汎用Ｉ／Ｆのケーブル１０６で接続される。情報処理装置１０２と表示装置１０３との間は、汎用のＩ／Ｆのケーブル１０７で接続される。
【００１８】
撮像装置１０１は、パン・チルト・ズーム・ローテーション・フォーカス機能などを有する監視カメラ、または、ネットワークカメラである。撮像装置１０１は、所定画角の動画像を撮像し、動画像データを含む各種データを汎用Ｉ／Ｆのケーブル１０４、ネットワーク１０５、汎用Ｉ／Ｆのケーブル１０６を介して情報処理装置１０２に配信する。各種データには、パン角、チルト角、ローテーション角や、ズーム倍率、フォーカス位置、露出、ホワイトバランスなどの撮像設定などが含まれる。
【００１９】
情報処理装置１０２は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部、各種Ｉ／Ｆなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。撮像装置１０１から配信される動画像データや各種データを取得し、表示装置１０３にそれらの情報を表示する。また、撮像装置１０１に対して、パン角、チルト角、ローテーション角や、ズーム倍率、フォーカス位置、露出、ホワイトバランスなどの撮像設定などを制御する制御コマンドを送信して、撮像装置１０１の動作を制御する。
【００２０】
表示装置１０３は、情報処理装置１０２が処理した結果である動画像データや各種データを表示するディスプレイであり、液晶ディスプレイなどが用いられる。
【００２１】
汎用Ｉ／Ｆのケーブル１０４、１０６は、例えばＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）などの通信規格を満足するツイストペアケーブル、光ファイバーケーブルなどの、所謂、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）ケーブルである。なお、汎用Ｉ／Ｆのケーブル１０４、１０６は有線ＬＡＮに限らず、無線ＬＡＮで構成しても良い。
【００２２】
ネットワーク１０５は、ルータ、スイッチ、ケーブルなどで構成されるＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）である。
【００２３】
本発明の撮像システムは、撮像装置１０１をサーバ、情報処理装置１０２をクライアントとしたクライアントサーバシステムを構成できる。撮像装置１０１は複数の情報処理装置１０２と接続でき、複数の情報処理装置１０２が撮像装置１０１の動画像データを取得できる。また、撮像装置１０１の制御権の受け渡しを管理することで、複数の情報処理装置１０２が撮像装置１０１を制御できる。
【００２４】
図１の例では、撮像装置１０１、情報処理装置１０２と表示装置１０３の３つの装置により撮像システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、ノートＰＣやタブレット型端末のように表示装置と一体化した情報処理装置を用いても良い。また、情報処理装置の機能を撮像装置に組み込んでも良い。
【００２５】
（撮像装置の機能構成）
図２は撮像装置１０１の機能ブロック図である。
【００２６】
撮像装置１０１は、概略、レンズユニット２０１、画像処理ユニット２０２、メイン制御部２０３から構成される。
【００２７】
レンズユニット２０１は、概略、撮像ユニット２０４、撮像レンズ２０５から構成される。
【００２８】
撮像ユニット２０４は、撮像センサとアナログフロントエンド（ＡＦＥ）から構成される。撮像センサは２次元の光学像を光電変換によって電気的な物理量へ変える２次元のイメージセンサであり、例えば、ＣＣＤやＣＭＯＳデバイスが用いられる。撮像センサからは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像データとしてカラー画像データが所望される場合は、例えば、Ｂａｙｅｒ配列のカラーフィルタが取り付けられた単板のイメージセンサを用いれば良い。ＡＦＥは、撮像センサの動作を制御する回路、及び、撮像センサから出力されたアナログ信号をデジタル信号へ変換する回路である。
【００２９】
ＡＦＥは、Ｈ／Ｖドライバ、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）、アンプ、ＡＤ変換器およびタイミングジェネレータによって構成される。Ｈ／Ｖドライバは、撮像センサを駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。ＣＤＳは、固定パターンのノイズを除去する相関２重サンプリング回路である。アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。ＡＤ変換器は、アナログ信号をデジタル信号に変換する。撮像装置最終段での出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはＲＡＷデータと呼ばれる。ＲＡＷデータは後段の画像処理ユニット２０２で現像処理される。タイミングジェネレータは、撮像センサのタイミングおよび後段の画像処理ユニット２０２のタイミングを調整する信号を生成する。撮像センサとしてＣＣＤを用いる場合、上記ＡＦＥは必須となるが、デジタル出力可能なＣＭＯＳイメージセンサの場合は、上記ＡＦＥの機能をセンサに内包できる。
【００３０】
撮像レンズ２０５は、複数のレンズ群により構成される。ズーム機能やフォーカス機能を実現する場合には、群ごとにレンズが移動するモータ機構などの駆動部が追加される。
【００３１】
画像処理ユニット２０２は、現像処理ユニット２０６、ＷＤＲ処理ユニット２０７、通信ユニット２０８から構成される。
【００３２】
現像処理ユニット２０６は、黒補正部、デモザイキング処理部、ホワイトバランス調整部、フィルタ処理部、ガンマ補正部などから構成される。なお、黒補正部、デモザイキング処理部、ホワイトバランス調整部、フィルタ処理部、ガンマ補正部は不図示である。黒補正部は、ＲＡＷデータの各画素の値から、バックグラウンド（遮光時に得られた黒補正データ）を減算する処理を行う。デモザイキング処理部は、Ｂａｙｅｒ配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。デモザイキング処理部は、ＲＡＷデータにおける周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。また、デモザイキング処理部は、欠陥画素の補正処理（補間処理）も実行する。なお、撮像センサがカラーフィルタを有しておらず、単色の画像データが得られている場合、デモザイキング処理は不要となり、欠陥画素の補正処理を実行する。ホワイトバランス調整部は、撮像環境の色温度に応じて、ＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。フィルタ処理部は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。ガンマ補正部は、画像に一般的な表示デバイスの階調表現特性の逆特性を付加する処理や、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行する。
【００３３】
ＷＤＲ処理ユニット２０７は、画像回復処理部、画像合成部から構成される。なお、画像回復処理部、画像合成部は不図示である。本撮像装置１０１でＷＤＲ処理を実行する場合には、画像取得のモードとして、時分割画像取得モード、もしくは、空間分割画像取得モードが実行される。ＷＤＲ処理ユニット２０７では、それぞれの画像取得モードに応じたＷＤＲ処理を実行する。時分割画像取得モードでは、短時間露光画像のフレームデータと長時間露光画像のフレームデータが順々に入力される。ＷＤＲ処理ユニット２０７の画像合成部では、それらの２フレーム分のフレームデータを合成してＷＤＲ画像を生成する処理を実行する。（時分割画像取得モードでは、画像回復処理は実行されない。）空間分割画像取得モードでは、単一フレーム内に短時間露光領域と長時間露光領域を有するフレームデータが入力される。まず、ＷＤＲ処理ユニット２０７の画像回復処理部では、単一フレーム内の短時間露光領域を用いて補間処理により短時間露光フレームデータを生成し、同様に、単一フレーム内の長時間露光領域を用いて補間処理により長時間露光フレームデータを生成する。そして、画像合成部では、画像合成部では、それらの２フレーム分のフレームデータを合成してＷＤＲ画像を生成する処理を実行する。時分割画像取得モードでのＷＤＲ処理、及び、空間分割画像取得モードでのＷＤＲ処理については、それぞれ、図３、図４で説明する。
【００３４】
通信ユニット２０８は、圧縮処理部、通信Ｉ／Ｆから構成される。現像処理ユニット２０６によって生成された画像データに圧縮処理を行い、圧縮処理された画像データをネットワーク１０５を介して情報処理装置１０２に送信する。圧縮処理部は、２次元画像データの伝送の効率化および保存する際の容量削減が目的で行われる圧縮の符号化処理を実行する。動画像の圧縮手法として、Ｈ．２６４やＨ．２６５などの規格化された符号化方式が広く一般に知られている。また、静止画像の圧縮手法として、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、ＪＰＥＧを改良、進化させたＪＰＥＧ２０００やＪＰＥＧ  ＸＲ等の規格化された符号化方式が広く一般に知られている。通信Ｉ／Ｆは、圧縮処理された画像データをネットワーク１０５を介して情報処理装置１０２に送信するためのインターフェースである。
【００３５】
メイン制御部２０３は、情報処理装置１０２から送信される各種制御コマンドを通信ユニット２０８を介して取得し、取得した制御コマンドを解析する。解析結果に応じて、制御コマンドを撮像ユニット２０４、現像処理ユニット２０６、ＷＤＲ処理ユニット２０７に送信する。また、撮像ユニット２０４、現像処理ユニット２０６、ＷＤＲ処理ユニット２０７から制御コマンドに対する応答コマンドを受信し、受信した応答コマンドを通信ユニット２０８を介して情報処理装置１０２に送信する。メイン制御部２０３で制御する内容には、画像取得モードの切り替え制御も含まれる。画像取得モードの切り替え制御については図６から図９で説明する。
【００３６】
（時分割画像取得モード）
図３は時分割画像取得モードでのＷＤＲ処理を説明する模式図である。
【００３７】
時分割画像取得モードでは、短時間露光画像のフレームデータと長時間露光画像のフレームデータを順次撮像する。それらの２フレーム分のフレームデータを合成してＷＤＲ画像を生成する処理を実行する。
【００３８】
時分割画像取得モードでは、画像撮像レートと比べてＷＤＲ画像出力レートは低速となるが、合成処理前の元画像データの情報量が多いため、空間分割画像取得モードでのＷＤＲ処理と比較して高画質なＷＤＲ画像が生成できるという特徴がある。
【００３９】
（空間分割画像取得モード）
図４は空間分割画像取得モードでのＷＤＲ処理を説明する模式図である。
【００４０】
空間分割画像取得モードでは、単一フレーム内に短時間露光領域と長時間露光領域を有するフレームデータを順次撮像する。そして、単一フレーム内の短時間露光領域を用いて補間処理により短時間露光フレームデータを生成し、同様に、単一フレーム内の長時間露光領域を用いて補間処理により長時間露光フレームデータを生成する。それらの２フレーム分のフレームデータを合成してＷＤＲ画像を生成する処理を実行する。
【００４１】
単一フレーム内の短時間露光領域と長時間露光領域とは、例えば、偶数ラインが長時間露光領域に対応し、奇数ラインが短時間露光領域に対応する。短時間露光領域と長時間露光領域の分割方法に限定はなく、市松模様の領域分割でも良い。
【００４２】
空間分割画像取得モードでは、合成処理前の元画像データの情報量が少ないため、時分割画像取得モードでのＷＤＲ処理と比較してＷＤＲ画像の画質が劣化する可能性がある。一方、画像撮像レートとＷＤＲ画像出力レートは同一にでき、時分割画像取得モードでのＷＤＲ処理と比較して高速撮像ができる。
【００４３】
図３、図４では、合成処理を実行する元画像データを、短時間露光画像と長時間露光画像の２フレーム分のフレームデータとして説明したが、それに限定されず、露光時間が異なる複数フレーム分のフレームデータを用いることができる。また、合成処理を実行する元画像データは、ゲインの異なる複数フレーム分のフレームデータ、絞り状態の異なる複数フレーム分のフレームデータなど、明るさの異なる複数フレーム分のフレームデータを用いることができる。
【００４４】
（ＷＤＲ処理フロー）
図５は基本的なＷＤＲ処理フローを説明するフローチャートである。
【００４５】
図５（ａ）は時分割画像取得モードでのＷＤＲ処理フローを説明するフローチャートである。
【００４６】
ステップＳ５０１では、画像取得モードを設定する。メイン制御部２０３が撮像ユニット２０４、現像処理ユニット２０６、ＷＤＲ処理ユニット２０７に制御コマンドを送信して、時分割画像取得モードで画像データを取得するためのパラメータ設定を各ユニットで実行する。撮像ユニット２０４は短時間露光画像データと長時間露光画像データを順次取得する動作設定となり、現像処理ユニット２０６は各画像データに適した現像処理を実行する設定となる。
【００４７】
ステップＳ５０２では、ＷＤＲ処理ユニット２０７が短時間露光画像データを取得する。
【００４８】
ステップＳ５０３では、ＷＤＲ処理ユニット２０７が長時間露光画像データを取得する。
ステップＳ５０４では、ＷＤＲ処理ユニット２０７の画像合成部にて、短時間露光画像データと長時間露光画像データの合成処理を実行し、ＷＤＲ画像を生成する。
【００４９】
ステップＳ５０５では、ＷＤＲ処理ユニット２０７で生成したＷＤＲ画像を通信ユニット２０８へ送信する。
【００５０】
ステップＳ５０６では、ＷＤＲ処理を終了するか否かを判断し、終了する場合には本フローを終了する。終了しない場合には、Ｓ５０２に戻って処理フローを継続する。
【００５１】
図５（ｂ）は空間分割画像取得モードでのＷＤＲ処理フローを説明するフローチャートである。
【００５２】
ステップＳ５０７では、画像取得モードを設定する。Ｓ５０１と同様の処理内容のため説明を省略する。
【００５３】
ステップＳ５０８では、ＷＤＲ処理ユニット２０７が露光時間混在画像データを取得する。露光時間混在画像データとは、単一フレーム内に短時間露光領域と長時間露光領域を有するフレームデータであり、図４の空間分割画像（１）、空間分割画像（２）、空間分割画像（３）がそれに該当する。
【００５４】
ステップＳ５０９では、ＷＤＲ処理ユニット２０７の画像回復部にて、単一フレーム内の短時間露光領域を用いて補間処理により短時間露光フレームデータを生成する。同様に、単一フレーム内の長時間露光領域を用いて補間処理により長時間露光フレームデータを生成する。
【００５５】
ステップＳ５１０では、ＷＤＲ処理ユニット２０７の画像合成部にて、Ｓ５０９で生成した短時間露光画像データと長時間露光画像データの合成処理を実行し、ＷＤＲ画像を生成する。
【００５６】
ステップＳ５１１では、ＷＤＲ処理ユニット２０７で生成したＷＤＲ画像を通信ユニット２０８へ送信する。
【００５７】
ステップＳ５１２では、ＷＤＲ処理を終了するか否かを判断し、終了する場合には本フローを終了する。終了しない場合には、Ｓ５０８に戻って処理フローを継続する。
【００５８】
（画像取得モード切り替え）
図６は時分割画像取得モードから空間分割画像取得モードへの切り替えを説明する模式図である。
【００５９】
時分割画像取得モードでは、短時間露光画像のフレームデータと長時間露光画像のフレームデータを順次撮像する。空間分割画像取得モードへの画像取得モード切り替えの時点で、単一フレーム内に短時間露光領域と長時間露光領域を有するフレームデータの順次撮像に切り替わる。画像取得モード切り替えのきっかけとする被写体動き情報の検出には、２枚の短時間露光画像データを用いる。図６では、短時間露光画像（１）と短時間露光画像（２）を用いて動き量から被写体動き情報を検出することになる。動き量による画像取得モードの切り替えフローは、図８で説明する。
【００６０】
（画像取得モード切り替え）
図７は空間分割画像取得モードから時分割画像取得モードへの切り替えを説明する模式図である。
【００６１】
空間分割画像取得モードでは、単一フレーム内に短時間露光領域と長時間露光領域を有するフレームデータを順次撮像する。時分割画像取得モードへの画像取得モード切り替えの時点で、短時間露光画像のフレームデータと長時間露光画像のフレームデータの順次撮像に切り替わる。画像取得モード切り替えのきっかけとする被写体動き情報の検出には、短時間露光画像データを用いる。短時間露光画像（１）や短時間露光画像（２）を用いてブレ量から被写体動き情報を検出することになる。ブレ量による画像取得モードの切り替えフローは、図８で説明する。
【００６２】
（発明のポイント）
本発明のポイントは、画像取得モードの切り替え判断に用いる被写体動き情報の検出に、時分割画像取得モードでは動き量を用い、空間分割画像取得モードではブレ量を用いる点である。被写体、もしくは、撮像装置の変化量が大きくなると、ブレ量（動きボケ量）が増加してエッジが不明瞭になり物体認識が難しくなる、且つ、フレーム内の移動距離が長くなり同一物体のマッチング処理の負荷が増える、という課題が想定される。これらを解決するために、本発明では、被写体、もしくは、撮像装置の変化量が小さい時には被写体動き情報の検出に動き量（動きベクトル）を用い、変化量が大きい時には被写体動き情報の検出にブレ量（動きボケ）を用いる。なお、本発明では、被写体動き情報という用語を用いるが、これは、被写体、もしくは、撮像装置の相対的な変化量に相当する情報という意味である。
【００６３】
（画像取得モード切り替えのフロー）
図８は動き量、もしくは、ブレ量による画像取得モードの切り替えを説明するフローチャートである。
【００６４】
図８（ａ）は時分割画像取得モードでの動き量による画像取得モードの切り替えを説明するフローチャートである。
【００６５】
ステップＳ８０１では、連続する２枚の短時間露光画像データを取得する。当該画像データは、図６に示す短時間露光画像（１）と短時間露光画像（２）に相当する。
【００６６】
ステップＳ８０２では、２枚の短時間露光画像データを用いて動き量から被写体動き情報を検出する。２枚の画像データ間の局所的な動きベクトルを抽出し、それらの動きベクトルを用いて大域的な動き情報を算出する。動きベクトルの抽出には、微小区間では輝度勾配が一定であることを利用した勾配法や、フレーム間での小領域の類似度を探索するブロックマッチング法が適用できる。
【００６７】
ステップＳ８０３では、Ｓ８０２で検出した動き情報がしきい値を越えたか否かを判断する。動き情報のしきい値は、図９で説明する。動き情報が動き変化量が大きいほうにしきい値を超えた場合にはＳ８０４に進み、しきい値を超えていない場合にはＳ８０１に戻って処理を繰り返す。
【００６８】
ステップＳ８０４では、空間分割画像取得モードに切り替え、処理を終了する。図６で説明した時分割画像取得モードから空間分割画像取得モードへの切り替えに対応する。
【００６９】
図８（ｂ）は空間分割画像取得モードでのブレ量による画像取得モードの切り替えを説明するフローチャートである。
【００７０】
ステップＳ８０５では、短時間露光画像データを取得する。当該画像データは、図７に示す短時間露光画像（２）に相当する。
【００７１】
ステップＳ８０６では、短時間露光画像データを用いてブレ量から被写体動き情報を検出する。画像データ内の局所的なブレカーネル（モーション・ブラー・カーネル）のパラメータ値を抽出し、それらを用いて大域的な動き情報を算出する。
【００７２】
ステップＳ８０７では、Ｓ８０６で検出した動き情報がしきい値を越えたか否かを判断する。動き情報のしきい値は、図９で説明する。動き情報が動き変化量が小さいほうにしきい値を超えた場合にはＳ８０８に進み、しきい値を超えていない場合にはＳ８０５に戻って処理を繰り返す。
【００７３】
ステップＳ８０８では、時分割画像取得モードに切り替え、処理を終了する。図７で説明した空間分割画像取得モードから時分割画像取得モードへの切り替えに対応する。
【００７４】
ここで，図８のＳ８０６におけるブレカーネル（モーション・ブラー・カーネル）による動き情報の抽出手法について補足する。被写体、もしくは、撮像装置の動きによって生じるボケは以下の式で表現できる。
【００７５】
【数１】
2017224905.tif 000003
ｆ（ｘ、ｙ）は原画像、ｇ（ｘ、ｙ）は劣化画像、ｈ（ｘ、ｙ）はＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ、点拡がり関数）、＊は畳み込み演算である。被写体、もしくは、撮像装置の動きが複雑な場合にはＰＳＦ形状も複雑な形状となるが、短時間露光画像の場合には動きを単純な等速直線運動に近似できる。このときＰＳＦ形状は、動きの大きさと動きの方向の２つのパラメータで決定できる。等速直線運動のＰＳＦは、ｈ（ｘ、ｙ）のフーリエ変換をＨ（ｘ’、ｙ’）、動きの大きさをａとすると、
【００７６】
【数２】
2017224905.tif 000004
と表現できる。動きの方向は、ｈ（ｘ、ｙ）を回転させて表現すれば良い。本発明では、この動きの大きさを推定することになる。単純な方法としては、まず、幾つかのＰＳＦ（ｈ（ｘ、ｙ））を仮定して、デコンボリューション処理により、それぞれの原画像ｆ（ｘ、ｙ）を推定する。デコンボリューション処理は、フーリエ空間上での単純な逆フィルタの他、ウィーナフィルタ、ルーシー・リチャードソン法など汎用の手法が適用できる。次に、評価関数として原画像ｆ（ｘ、ｙ）の画像コントラストを示す指標を用意して、画像コントラストが最大となる（画像としてモーション・ブラーが少ないと想定される）ＰＳＦ（ｈ（ｘ、ｙ））を選択すれば良い。このＰＳＦ（ｈ（ｘ、ｙ））の動きの大きさを表すパラメータを抽出すれば良い。
【００７７】
図７、及び図８では、被写体動き情報の検出に短時間露光画像データのブレ量を用いる例を説明したが、長時間露光画像データのブレ量を用いても良い。また、被写体動き情報検出の精度向上のために、単一の画像データではなく短時間露光画像データと長時間露光画像データのブレ量を用いても良い。
【００７８】
（被写体動き情報と解像感の関係）
図９は動き変化量（被写体動き情報）と解像感の関係を説明する模式図である。横軸は動き変化量（被写体動き情報）であり、縦軸は解像感である。画像取得モードの違いによる動き変化量（被写体動き情報）と解像感の関係を示している。
【００７９】
実線は空間分割画像取得モードでのＷＤＲ画像であり、点線は時分割画像取得モードでのＷＤＲ画像である。動き変化量が小さいとき、すなわち、動き量、もしくは、ブレ量が小さいときには、空間分割画像取得モードでのＷＤＲ画像と比較して時分割画像取得モードでのＷＤＲ画像のほうが解像感が高いことを示している。同様に、動き変化量が大きいとき、すなわち、動き量、もしくは、ブレ量が大きいときには、時分割画像取得モードでのＷＤＲ画像と比較して空間分割画像取得モードでのＷＤＲ画像のほうが解像感が高いことを示している。
【００８０】
画像取得モードの切り替えしきい値は、解像感の高いＷＤＲ画像が得られるように設定する。動き変化量（被写体動き情報）のしきい値の設定は、時分割画像取得によるＷＤＲ画像と空間分割画像取得によるＷＤＲ画像の解像感を比較して実験的に決定すれば良い。ＷＤＲ画像の解像感は、画像コントラストで判断すれば良い。画像コントラストは画像データから算出するが、その算出にはどのようなアルゴリズムを用いてよい。例えば、コントラストや正規化自乗強度和などのアルゴリズム、自己相関や正規化分散などの統計アルゴリズム、Ｂｒｅｎｎｅｒ微分、Ｖｏｌｌａｔｈ−５などの微分アルゴリズム、エントロピーなどのヒストグラムを利用するアルゴリズムを用いることができる。
【００８１】
図９では、動き量から検出した動き変化量と解像感の関係、及び、ブレ量から検出した動き変化量と解像感の関係を同一の模式図で説明したが、これらが同一である必要はない。すなわち、画像取得モードの切り替えしきい値を、時分割画像取得モードから空間分割画像取得モードへの切り替えと空間分割画像取得モードから時分割画像取得モードへの切り替えとで異ならせて、画像取得モード切り替えにヒステリシス特性を持たせても良い。
【００８２】
以上の図１から図９で説明した実施の形態により、動きブレの影響を低減したＷＤＲ画像を生成する撮像装置を提供することができる。
【００８３】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８４】
１０１  撮像装置、１０２  情報処理装置、１０３  表示装置、
１０４  汎用Ｉ／Ｆのケーブル、１０５  ネットワーク、
１０６  汎用Ｉ／Ｆのケーブル、１０７  用のＩ／Ｆのケーブル、
２０１  レンズユニット、２０２  画像処理ユニット、２０３  メイン制御部、
２０４  撮像ユニット、２０５  撮像レンズ、２０６  現像処理ユニット、
２０７  ＷＤＲ処理ユニット、２０８  通信ユニット
【図１】
2017224905.tif 000005
【図２】
2017224905.tif 000006
【図３】
2017224905.tif 000007
【図４】
2017224905.tif 000008
【図５】
2017224905.tif 000009
【図６】
2017224905.tif 000010
【図７】
2017224905.tif 000011
【図８】
2017224905.tif 000012
【図９】
2017224905.tif 000013