(57)【要約】【課題】露出などの撮像条件を変更せずに、撮像光量の急激な変化が生じるシーンにおける違和感の少ない動画データを得ることができる技術を提供する。【解決手段】本発明の画像処理装置は、第１動画データを取得する第１取得手段と、撮像光量に関する光量情報を第１動画データの各フレームについて取得する第２取得手段と、光量情報に基づいて、撮像光量が急変する急変タイミングを検出する検出手段と、第１動画データの各フレームを対応変換特性で変換することにより、第２動画データへ第１動画データを変換する変換手段と、第１動画データと第２動画データの差分に関する差分データを生成する生成手段と、を有し、変換手段は、検出手段による検出の結果にさらに基づいて、急変タイミングを含む急変期間においてフレーム変換特性を急変期間の最後のフレームの対応変換特性へ徐々に変更する。【選択図】図１
2018046478.tif 000002
【特許請求の範囲】
【請求項１】
撮像部による撮像を少なくとも含む処理により生成された、第１のダイナミックレンジを有する第１動画データを取得する第１取得手段と、
前記第１動画データのフレームに対応する撮像において前記撮像部に入射した光の光量である撮像光量に関する光量情報を、前記第１動画データの各フレームについて取得する第２取得手段と、
前記光量情報に基づいて、前記撮像光量が急変する急変タイミングを、前記第１動画データの期間から検出する検出手段と、
前記第１動画データの各フレームについて、そのフレームに基づく変換特性である対応変換特性で当該フレームを変換することにより、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジを有する第２動画データへ前記第１動画データを変換する変換手段と、
前記第１動画データと前記第２動画データから、前記第１動画データと前記第２動画データの差分に関する差分データを生成する生成手段と、
を有し、
前記変換手段は、前記検出手段による検出の結果にさらに基づいて、前記急変タイミングを含み且つ３つ以上のフレームからなる期間である急変期間において、前記第１動画データのフレームを前記第２動画データのフレームへ変換するフレーム変換特性を、前記急変期間の最後のフレームの対応変換特性へ徐々に変更する
ことを特徴とする画像処理装置。
【請求項２】
前記変換手段は、
前記第１動画データのフレームに基づいて、前記第１のダイナミックレンジの一部を部分範囲として決定し、
前記部分範囲に対応する階調性が閾値以上であるフレームへ変換する変換特性を、前記対応変換特性として決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変換手段は、画像領域の一部である所定領域における前記第１動画データのフレームの階調値に基づいて、前記部分範囲を決定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記急変期間は、前記急変タイミングからの期間である
ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記検出手段は、所定数前のフレームとの間における撮像光量の差が第１閾値以上または第２閾値以下のフレームのタイミングを、前記急変タイミングとして検出し、
前記第１閾値は、前記第２閾値よりも大きい
ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記急変期間において前記フレーム変換特性を前記急変期間の最後のフレームの対応変換特性へ徐々に変更する動作モードを含む複数の動作モードの間で前記画像処理装置の動作モードを切り替える切替手段、をさらに有する
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記複数の動作モードは、前記急変期間か否かに拘らず前記フレーム変換特性として前記対応変換特性を用いる動作モードをさらに含む
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記変換手段は、前記急変タイミングにおける撮像光量の変化が大きいほど多いフレームからなる期間を、前記急変期間として設定する
ことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記変換手段は、前記急変タイミングのフレームに対応する撮像光量と、前記急変タイミングのフレームの所定数前のフレームに対応する撮像光量との差が大きいほど多いフレームからなる期間を、前記急変期間として設定する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記第２取得手段は、撮像光量に対応する光を検出する光センサの検出値を、前記光量情報として取得する
ことを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記第２取得手段は、前記撮像部のシャッター速度、前記撮像部の絞り値、及び、前記撮像部のＩＳＯ感度値の少なくともいずれかを含む撮像条件の情報を、前記光量情報として取得する
ことを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１２】
前記第２取得手段は、前記第１動画データのフレームの各階調値に基づく特徴量を、前記光量情報として取得する
ことを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１３】
前記特徴量は、前記第１動画データのフレームの平均階調値である
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
撮像部による撮像を少なくとも含む処理により生成された、第１のダイナミックレンジを有する第１動画データを取得する第１取得ステップと、
前記第１動画データのフレームに対応する撮像において前記撮像部に入射した光の光量である撮像光量に関する光量情報を、前記第１動画データの各フレームについて取得する第２取得ステップと、
前記光量情報に基づいて、前記撮像光量が急変する急変タイミングを、前記第１動画データの期間から検出する検出ステップと、
前記第１動画データの各フレームについて、そのフレームに基づく変換特性である対応変換特性で当該フレームを変換することにより、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジを有する第２動画データへ前記第１動画データを変換する変換ステップと、
前記第１動画データと前記第２動画データから、前記第１動画データと前記第２動画データの差分に関する差分データを生成する生成ステップと、
を有し、
前記変換ステップでは、前記検出ステップによる検出の結果にさらに基づいて、前記急変タイミングを含み且つ３つ以上のフレームからなる期間である急変期間において、前記第１動画データのフレームを前記第２動画データのフレームへ変換するフレーム変換特性を、前記急変期間の最後のフレームの対応変換特性へ徐々に変更する
ことを特徴とする画像処理方法。
【請求項１５】
請求項１４に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
撮像センサの高性能化、画像処理技術の向上、等により、被写体を表す画像データ（撮像画像データ）として、広いダイナミックレンジ（階調値の範囲）を有する画像データを生成する技術が普及してきている。広いダイナミックレンジは「ＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）」などと呼ばれ、ＨＤＲを有する画像データは「ＨＤＲ画像データ」などと呼ばれる。高性能な撮像センサを用いることにより、ＨＤＲ画像データを得ることができる。また、撮像時の露出（露出条件）が互いに異なる複数の画像データを合成することによっても、ＨＤＲ画像データを得ることができる。
【０００３】
ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、等の従来の圧縮技術では、圧縮後の画像データの階調値は、８〜１２ビットの階調値である。そのため、上記従来の圧縮技術では、圧縮後の画像データとして、ＨＤＲ画像データを十分に表現した画像データを得ることはできない。
【０００４】
そのため、多ビットのＨＤＲ画像データを十分に表現したデータを得る技術として、上記従来の圧縮技術を拡張した技術が提案されている（特許文献１）。特許文献１に開示の技術では、ＨＤＲ画像データが、ベース画像データと差分データによって表現される。ベース画像データは、ＨＤＲ画像データの階調圧縮（トーンマッピング；ダウンサンプリング）により得られる少ビットの画像データであり、標準デコーダで復号可能な圧縮データである。差分データは、ベース画像データとＨＤＲ画像データの差分に関するデータであり、ＨＤＲデコーダで復号可能な圧縮データである。標準デコーダは、ＪＰＥＧ、ＭＰＥＧ、等の従来の圧縮技術で圧縮されたデータ（圧縮データ）を復号するためのデコーダである。ＨＤＲデコーダは、圧縮データである差分データを復号するためのデコーダである。特許文献１に開示の技術を用いることにより、標準デコーダとＨＤＲデコーダを有する装置は、ベース画像データと差分データからＨＤＲ画像データを復元することができる。そして、標準デコーダのみを有する装置は、ベース画像データを用いた処理を行うことができる。
【０００５】
ＨＤＲ画像データのダイナミックレンジが表示装置のダイナミックレンジ（表示装置が表示可能な画像データのダイナミックレンジの上限）よりも広いことがある。そのため、表示装置がＨＤＲ画像データを表示する場合に、表示装置のダイナミックレンジと同じダイナミックレンジを有する画像データへＨＤＲ画像データが変換され、変換後の画像データが表示されることがある。
【０００６】
表示装置が標準デコーダのみを有する場合には、表示装置がベース画像データを表示することが想定される。表示装置が標準デコーダとＨＤＲデコーダを有する場合には、表示装置が、ベース画像データと差分データからＨＤＲ画像データを復元し、ＨＤＲ画像データの再階調圧縮を行い、再階調圧縮後の画像データを表示することが想定される。再階調圧縮（再トーンマッピング；再ダウンサンプリング）は、表示装置のダイナミックレンジと同じダイナミックレンジを有する画像データへＨＤＲ画像データを変換する処理である。そして、ＨＤＲ画像データが動画データであるか否かに拘らず、表示装置の処理として上述した処理が想定される。
【０００７】
表示装置は再階調圧縮を自由に行うことができるが、再階調圧縮の基準としてベース画像データが使用されることが考えられる。ＨＤＲ画像データの階調圧縮の方法として、様々な方法が存在する。例えば、以下の方法１，２が存在する。方法２では、画像領域の一部である所定領域において適正露出の画像がベース画像データで表されるように、ＨＤＲ画像データのダイナミックレンジの一部が、部分範囲として定められる。方法１では、絵画のような画像を表すベース画像データが得られる。方法２では、ＨＤＲよりも狭いダイナミックレンジを有する撮像画像データしか生成できない撮像装置によって生成された撮像画像データと同様のベース画像データが得られる。ＨＤＲよりも狭いダイナミックレンジは「ＳＤＲ（Ｓｔａｎｄａｒｄ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）」などと呼ばれ、ＳＤＲを有する画像データは「ＳＤＲ画像データ」などと呼ばれる。多くの場合において、撮像画像データであるＨＤＲ画像データからベース画像データを生成する階調圧縮の方法として、方法２が採用される。
方法１：ＨＤＲ画像データのダイナミックレンジ全体において、ＨＤＲ画像データの階調値の増加に対してベース画像データの階調値が増加するように、ＨＤＲ画像データのダイナミックレンジをベース画像データのダイナミックレンジに対応付ける方法
方法２：部分範囲に対応するベース画像データの階調性が閾値以上となるように、ＨＤＲ画像データのダイナミックレンジをベース画像データのダイナミックレンジに対応付ける方法
【０００８】
撮像において、撮像装置の周囲の環境（被写体、被写体を照らす光、等）の急激な変化により、所定時間あたりに撮像センサに入射する光の光量である撮像光量が急激に変化することがある。例えば、撮像装置の周囲の環境が急激に明るくなると、撮像光量が急激に増加し、撮像装置の周囲の環境が急激に暗くなると、撮像光量が急激に低下する。
【０００９】
ＳＤＲ撮像装置（ＳＤＲ画像データしか生成できない撮像装置）では、撮像光量の急激な変化が生じた場合に、撮像センサから出力される値（センサ値）が上限または下限に制限される。そのため、ＳＤＲ撮像装置によって生成されたＳＤＲ動画データ（ＳＤＲ画像データである動画データ）では、撮像光量の急激な変化が生じるシーンにおいて、白飛びまたは黒潰れが生じる。このような画像変化（白飛びの発生、黒潰れの発生、等）は、人間の目に入る光量（所定時間あたりの光量）の急激な変化により目の状態が順応状態から非順応状態へ変化する視覚特性に近い特性を表す。そのため、上記画像変化は、人間にとって違和感のない画像変化である。
【００１０】
しかしながら、ＨＤＲ撮像装置（ＨＤＲ画像データを生成可能な撮像装置）では、撮像光量の急激な変化が生じた場合におけるセンサ値の制限は生じ難い。そのため、ＨＤＲ撮像装置によって生成されたＨＤＲ動画データ（ＨＤＲ画像データである動画データ）では、撮像光量の急激な変化が生じるシーンにおいて、白飛びや黒潰れは生じ難く、上記視覚特性は高精度に表現されない。ＨＤＲ撮像装置によって生成されたＨＤＲ動画データでは、撮像光量の急激な変化が生じるシーンにおいて、人間にとって違和感のある画像変化（撮像光量の急激な変化を高精度に表す画像変化）が表現される。ＨＤＲ動画データから得られるベース動画データ（ベース画像データである動画データ）と差分データのそれぞれにおいても、撮像光量の急激な変化が生じるシーンにおいて、人間にとって違和感のある画像変化が表現される。
【００１１】
ここで、一例として、暗い部屋のシーンから明るい室外のシーンへシーンが切り替わる場合を考える。人間が暗い部屋から明るい室外へ移動すると、人間の目が室外に順応するまで、人間による室外の見え方は、コントラスト分解能が低下した見え方（白飛びが生じた見え方）となる。
【００１２】
ＳＤＲ撮像装置によって生成されたＳＤＲ動画データでは、上記シーンの切り替わりによりセンサ値が上限に制限されるため、白飛びが発生する。即ち、ＳＤＲ動画データでは、上記シーンの切り替わりが生じた場合に、人間による見え方と同様に、低いコントラスト分解能が表現される。即ち、ＳＤＲ動画データでは、上記シーンの切り替わりが生じた場合に、人間にとって違和感のない画像変化が表現される。
【００１３】
しかしながら、ＨＤＲ撮像装置によって生成されたＨＤＲ動画データでは、上記シーンの切り替わりが生じてもセンサ値が上限に制限されないため、白飛びは発生しない。そのため、ＨＤＲ動画データから得られるベース動画データと差分データのそれぞれにおいても、白飛びは表現されない。その結果、ＨＤＲ動画データ、ベース動画データ、及び、差分データのそれぞれでは、上記シーンの切り替わりが生じた場合に、人間による見え方とは異なり、高いコントラスト分解能が表現される。即ち、ＨＤＲ動画データ、ベース動画データ、及び、差分データのそれぞれでは、上記シーンの切り替わりが生じた場合に、人間にとって違和感のある画像変化が表現される。
【００１４】
明るい室外のシーンから暗い部屋のシーンへシーンが切り替わる場合にも、上記課題と同様の課題が生じる。即ち、撮像光量が急激に増加する場合と、撮像光量が急激に低下する場合との両方の場合において、上記課題と同様の課題が生じる。具体的には、「ＨＤＲ動画データ、ベース動画データ、及び、差分データのそれぞれにおいて、高いコントラスト分解能が表現され、人間にとって違和感のある画像変化が表現される」などの課題が生じる。
【００１５】
撮像光量の変化を考慮した技術は、例えば、特許文献２に開示されている。特許文献２に開示の技術では、画像データの時間変化に基づいて露出が制御される。特許文献２に開示の技術によれば、撮像光量の急激な変化が頻繁に起こる場合において、露出がゆっくり変更される。その結果、ＳＤＲ撮像装置によって生成されたＳＤＲ動画データとして、人間にとって違和感のない動画データを得ることができる。
【００１６】
上述したように、ＨＤＲ動画データ、ベース動画データ、及び、差分データでは、撮像光量の急激な変化が生じるシーンにおいて、人間にとって違和感のある画像変化が表現される。特許文献２に開示の技術を用いることで、画像変化の違和感を低減することができる。しかしながら、画像変化の違和感を低減するためには、ＨＤＲ動画データの階調値の上限よりも高い階調値に対応する露出での撮像を行い、故意に白飛びを発生させる必要がある。そのため、ＨＤＲ撮像装置の利点を活かした撮像が行えない。ＨＤＲ撮像装置の利点としては、「階調性の高い撮像画像データを得ることができる」、「白飛び、黒潰れ、等が少ない撮像画像データを得ることができる」、等がある。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開２０１１−１９３５１１号公報
【特許文献２】特開平３−１７９８７９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
本発明は、露出などの撮像条件を変更せずに、撮像光量の急激な変化が生じるシーンにおける違和感の少ない動画データを得ることができる技術を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明の第１の態様は、
撮像部による撮像を少なくとも含む処理により生成された、第１のダイナミックレンジを有する第１動画データを取得する第１取得手段と、
前記第１動画データのフレームに対応する撮像において前記撮像部に入射した光の光量である撮像光量に関する光量情報を、前記第１動画データの各フレームについて取得する第２取得手段と、
前記光量情報に基づいて、前記撮像光量が急変する急変タイミングを、前記第１動画データの期間から検出する検出手段と、
前記第１動画データの各フレームについて、そのフレームに基づく変換特性である対応変換特性で当該フレームを変換することにより、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジを有する第２動画データへ前記第１動画データを変換する変換手段と、
前記第１動画データと前記第２動画データから、前記第１動画データと前記第２動画データの差分に関する差分データを生成する生成手段と、
を有し、
前記変換手段は、前記検出手段による検出の結果にさらに基づいて、前記急変タイミングを含み且つ３つ以上のフレームからなる期間である急変期間において、前記第１動画データのフレームを前記第２動画データのフレームへ変換するフレーム変換特性を、前記急変期間の最後のフレームの対応変換特性へ徐々に変更する
ことを特徴とする画像処理装置である。
【００２０】
本発明の第２の態様は、
撮像部による撮像を少なくとも含む処理により生成された、第１のダイナミックレンジを有する第１動画データを取得する第１取得ステップと、
前記第１動画データのフレームに対応する撮像において前記撮像部に入射した光の光量である撮像光量に関する光量情報を、前記第１動画データの各フレームについて取得する第２取得ステップと、
前記光量情報に基づいて、前記撮像光量が急変する急変タイミングを、前記第１動画データの期間から検出する検出ステップと、
前記第１動画データの各フレームについて、そのフレームに基づく変換特性である対応変換特性で当該フレームを変換することにより、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジを有する第２動画データへ前記第１動画データを変換する変換ステップと、
前記第１動画データと前記第２動画データから、前記第１動画データと前記第２動画データの差分に関する差分データを生成する生成ステップと、
を有し、
前記変換ステップでは、前記検出ステップによる検出の結果にさらに基づいて、前記急変タイミングを含み且つ３つ以上のフレームからなる期間である急変期間において、前記第１動画データのフレームを前記第２動画データのフレームへ変換するフレーム変換特性を、前記急変期間の最後のフレームの対応変換特性へ徐々に変更する
ことを特徴とする画像処理方法である。
【００２１】
本発明の第３の態様は、本発明の第２の態様である画像処理方法の各ステップをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００２２】
本発明によれば、露出などの撮像条件を変更せずに、撮像光量の急激な変化が生じるシーンにおける違和感の少ない動画データを得ることができる。
【図面の簡単な説明】
【００２３】
【図１】実施例１に係る撮像装置の構成例を示すブロック図
【図２】実施例１に係る光量情報の一例を示す図
【図３】実施例１に係る急変タイミングが検出されるパターンの一例を示す図
【図４】実施例１に係る対応変換特性の一例を示す図
【図５】実施例１に係るＨＤＲ階調値と撮像光量との対応関係の一例を示す図
【図６】実施例１に係る急変期間のフレーム数の一例を示す図
【図７】実施例１に係る想定露出の時間変化の一例を示す図
【図８】実施例１に係る撮像装置の処理フローの一例を示すフローチャート
【図９】実施例２に係る撮像装置の構成例を示すブロック図
【図１０】実施例２に係る想定露出の時間変化の一例を示す図
【発明を実施するための形態】
【００２４】
＜実施例１＞
以下、本発明の実施例１について説明する。以下では、撮像を行うことにより撮像画像データ（被写体を表す画像データ）を生成可能な撮像装置に、本実施例に係る画像処理装置が設けられている例を説明するが、本実施例に係る画像処理装置は、撮像装置とは別体の装置であってもよい。例えば、本実施例に係る画像処理装置は、パーソナルコンピュータ（ＰＣ）であってもよい。
【００２５】
図１は、本実施例に係る撮像装置の構成例を示すブロック図である。
【００２６】
撮像部１０１は、撮像を行うことにより、撮像画像データを生成する。撮像部１０１は、例えば、撮像装置に対してユーザが行った操作に応じて撮像を行ったり、所定のスケジュールに従って撮像を行ったりする。本実施例では、撮像画像データとして、動画データ（撮像動画データ）が生成される。そして、撮像部１０１は、撮像動画データを、ＨＤＲ画像生成部１０４に出力する。撮像部１０１の構成、撮像の方法、等は特に限定されない。例えば、撮像部１０１は、絞り機構、シャッター速度、等を制御する。そして、撮像部１０１は、撮像センサを用いて、レンズを介して入力された情報（被写体からの光；被写体の情報）から、撮像画像データを生成する。撮像センサとしては、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、等を用いることができる。
【００２７】
また、撮像部１０１は、撮像動画データのフレームに対応する撮像において撮像部１０１に入射した光の光量である撮像光量に関する光量情報を、撮像動画データの各フレームについて生成する。そして、撮像部１０１は、各フレームの光量情報を、撮像光量取得部１０２に出力する。「撮像光量」は、例えば、「被写体の明るさ」とも言える。
【００２８】
光量情報は、撮像光量に関する情報であれば、どのような情報であってもよい。例えば、撮像光量に対応する光を検出する光センサの検出値が、光量情報として使用されもよい。「撮像光量に対応する光を検出する光センサ」は、例えば、「撮像装置の周囲の明るさを検出する光センサ」とも言える。撮像部１０１のシャッター速度、撮像部１０１の絞り値、及び、撮像部１０１のＩＳＯ感度値の少なくともいずれかを含む撮像条件の情報が、光量情報として使用されてもよい。「シャッター速度」、「絞り値」、「ＩＳＯ感度値」、等は、例えば、「撮像装置の露出に関する制御値」とも言える。撮像動画データのフレームの各階調値に基づく特徴量が、光量情報として使用されてもよい。特徴量は、例えば、フレームの階調値の代表値（平均値（平均階調値）、最大値、最小値、最頻値、中間値、等）、フレームの階調値のヒストグラム、等である。
【００２９】
本実施例では、光センサの検出値を光量情報として用いる。具体的には、光センサの検出値を変換することにより得られたＬＶ（Ｌｉｇｈｔ  Ｖａｌｕｅ）値を、光量情報（撮像光量）として用いる。
【００３０】
なお、撮像光量に関する説明において、「撮像動画データ」は、後述する「ＨＤＲ動画データ」と読み替えることができる。例えば、「撮像光量」は「ＨＤＲ動画データのフレームに対応する撮像において撮像部１０１に入射した光の光量」とも言える。「撮像動画データの各フレーム」は「ＨＤＲ動画データの各フレーム」とも言える。そして、「撮像動画データのフレームの各階調値に基づく特徴量」は「ＨＤＲ動画データのフレームの各階調値に基づく特徴量」とも言える。
【００３１】
撮像光量取得部１０２は、各フレームの光量情報を撮像部１０１から取得し、各フレームの光量情報を記憶する。そして、撮像光量取得部１０２は、急変検出部１０３からの要求に応じて、要求されたフレームの光量情報を急変検出部１０３に出力する。図２は、撮像光量取得部１０２が記憶している光量情報の一例を示す。図２の例では、フレーム番号によってフレームが示されており、フレーム番号に光量情報（ＬＶ値）が対応付けられている。
【００３２】
本実施例では、急変検出部１０３、ＨＤＲ画像生成部１０４、階調圧縮部１０５、ベース圧縮部１０６、差分圧縮部１０７、及び、圧縮ＨＤＲフレーム生成部１０８のそれぞれは、撮像動画データの各フレームについて処理を行う。
【００３３】
急変検出部１０３は、光量情報に基づいて、撮像光量が急変するタイミングである急変タイミングを、撮像動画データ（ＨＤＲ動画データ）の期間から検出する。急変タイミングは、目の状態が順応状態から非順応状態へ変化するタイミングに対応し、目のコントラスト分解能が低下するタイミングに対応する。
【００３４】
急変タイミングの検出方法は、特に限定されない。本実施例では、急変検出部１０３は、所定数前のフレームとの間における撮像光量の差が第１閾値以上または第２閾値以下のフレームのタイミングを、急変タイミングとして検出する。具体的には、急変検出部１０３は、現フレーム（現在のフレーム）の光量情報と、前フレーム（現フレームの所定数前のフレーム）の光量情報とを、撮像光量取得部１０２に要求する。そして、急変検出部１０３は、現フレームと前フレームとの間における撮像光量の差（光量差）が第１閾値以上または第２閾値以下であるか否かを判断し、判断の結果を階調圧縮部１０５に出力する。
【００３５】
なお、光量差は、現フレームの撮像光量から前フレームの撮像光量を減算して得られる差分値であってもよいし、前フレームの撮像光量から現フレームの撮像光量を減算して得られる差分値であってもよい。光量差の絶対値と、第１閾値と第２閾値を兼ねる閾値とを用いて、急変タイミングが検出されてもよい。具体的には、光量差の絶対値が閾値以上のフレームのタイミングが、急変タイミングとして検出されてもよい。
【００３６】
前フレームが現フレームよりも前のフレームであれば、前フレームと現フレームの間のフレーム数は特に限定されないが、本実施例では、前フレームは、現フレームの１つ前のフレームである。また、第１閾値が第２閾値よりも大きければ、第１閾値と第２閾値のそれぞれは特に限定されないが、本実施例では、第１閾値は「８」であり、第２閾値は「−８」である。なお、第１閾値と第２閾値のそれぞれは、予め定められた固定値であってもよいし、適宜変更される値であってもよい。例えば、前フレームの撮像光量、現フレームの撮像光量、または、それらの組み合わせに応じて第１閾値と第２閾値のそれぞれが適宜変更されてもよい。第１閾値の絶対値は、第２閾値の絶対値と異なっていてもよい。
【００３７】
図３は、急変タイミングが検出されるパターン（前フレームの撮像光量と、現フレームの撮像光量との組み合わせ）の一例を示す。図３に示すように、本実施例では、光量差の絶対値が８以上である場合に、現フレームのタイミングが急変タイミングとして検出され
る。例えば、前フレームの撮像光量が４であり、且つ、現フレームの撮像光量が１２以上である場合に、現フレームのタイミングが、暗い状態から明るい状態への急激な変化のタイミングである急変タイミングとして検出される。前フレームの撮像光量が１５であり、且つ、現フレームの撮像光量が７以下である場合に、現フレームのタイミングが、明るい状態から暗い状態への急激な変化のタイミングである急変タイミングとして検出される。前フレームの撮像光量が９であり、且つ、現フレームの撮像光量が１７以上である場合に、現フレームのタイミングが、暗い状態から明るい状態への急激な変化のタイミングである急変タイミングとして検出される。そして、前フレームの撮像光量が９であり、且つ、現フレームの撮像光量が１以下である場合に、現フレームのタイミングが、明るい状態から暗い状態への急激な変化のタイミングである急変タイミングとして検出される。
【００３８】
ＨＤＲ画像生成部１０４は、撮像部１０１から出力された撮像動画データから、第１のダイナミックレンジ（階調値の範囲）を有する第１動画データを生成する。そして、ＨＤＲ画像生成部１０４は、第１動画データを、階調圧縮部１０５と差分圧縮部１０７に出力する。第１のダイナミックレンジは特に限定されないが、例えば、第１のダイナミックレンジは、「ＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）」などと呼ばれる広いダイナミックレンジである。本実施例では、第１のダイナミックレンジはＨＤＲである。以後、第１動画データを「ＨＤＲ動画データ」と記載する。
【００３９】
本実施例では、ＨＤＲ画像生成部１０４は、撮像フレームデータからＨＤＲフレームデータを生成し、ＨＤＲフレームデータを階調圧縮部１０５と差分圧縮部１０７に出力する。この処理が、撮像動画データの各フレームについて行われる。撮像フレームデータは、撮像動画データのフレームの画像データであり、ＨＤＲフレームデータは、ＨＤＲ動画データのフレームの画像データである。
【００４０】
ＨＤＲフレームデータの生成方法は特に限定されない。例えば、高性能な撮像センサを用いれば、ダイナミックレンジが広い撮像フレームデータを得ることができる。ダイナミックレンジが広い撮像フレームデータが得られた場合には、撮像フレームデータの各画素値を、所定のフォーマットを有する画素値に変換することにより、ＨＤＲフレームデータを得ることができる。所定のフォーマットを有する画素値は、例えば、ＹＣｂＣｒ値（輝度値であるＹ値、色差値であるＣｂ値、及び、色差値であるＣｒ値の組み合わせ）である。
【００４１】
また、撮像時の露出（露出条件）が互いに異なる複数の画像データを合成することによっても、ＨＤＲ画像データを得ることができる。例えば、撮像時の露出が互いに異なり、且つ、同じフレームに対応する複数の撮像フレームデータが得られてもよい。そして、複数の撮像フレームデータのそれぞれがＹＣｂＣｒフレームデータ（各画素値がＹＣｂＣｒ値である画像データ）に変換され、複数のＹＣｂＣｒフレームデータを合成することにより、ＨＤＲフレームデータが生成されてもよい。
【００４２】
なお、ＨＤＲ動画データの取得方法は特に限定されない。例えば、本実施例に係る画像処理装置とは異なる装置によってＨＤＲ動画データが生成されてもよい。そして、本実施例に係る画像処理装置が、画像処理装置の外部からＨＤＲ動画データを取得してもよい。また、ＨＤＲ動画データの画素値は、ＹＣｂＣｒ値に限られない。例えば、ＨＤＲ動画データの画素値は、ＲＧＢ値であってもよい。
【００４３】
階調圧縮部１０５は、ＨＤＲ画像生成部１０４から出力されたＨＤＲ動画データの階調圧縮（トーンマッピング；ダウンサンプリング）を行う。それにより、ＨＤＲ（第１のダイナミックレンジ）よりも狭い第２のダイナミックレンジを有する第２動画データへ、ＨＨＤＲ動画データが変換される。そして、階調圧縮部１０５は、第２動画データを、ベー
ス圧縮部１０６と差分圧縮部１０７に出力する。以後、第２のダイナミックレンジを「非ＨＤＲ」と記載し、第２動画データを「ベース動画データ」と記載する。
【００４４】
本実施例では、階調圧縮部１０５は、ＨＤＲフレームデータからベースフレームデータを生成し、ベースフレームデータをベース圧縮部１０６と差分圧縮部１０７に出力する。この処理が、ＨＤＲ動画データの各フレームについて行われる。ベースフレームデータは、ベース動画データのフレームの画像データである。
【００４５】
本実施例では、階調圧縮部１０５は、ＨＤＲフレームデータに基づく変換特性である対応変換特性で当該ＨＤＲフレームデータをベースフレームデータへ変換する。本実施例では、階調圧縮部１０５は、画像領域の一部である所定領域において適正露出の画像がベースフレームデータで表されるように、対応変換特性を決定する。「適正露出」は、例えば、「白飛び、黒潰れ、等が抑制される露出」とも言える。本実施例では、所定領域が画像の中央部である。なお、所定領域は特に限定されない。例えば、画像の上部、画像の下部、画像の左部、画像の右部、所定の被写体の画像領域、等が、所定領域として使用されてもよい。
【００４６】
図４は、本実施例に係る対応変換特性４０１の一例を示す。図４の横軸は、ＨＤＲフレームデータの階調値（ＨＤＲ階調値）を示し、図４の縦軸は、ベースフレームデータの階調値（ベース階調値）を示す。ＨＤＲ階調値のビット数は特に限定されないが、図４の例では、ＨＤＲ階調値は、１６ビットの値（０〜６５５３５）である。ベース階調値のビット数は特に限定されないが、図４の例では、ベース階調値は、８ビットの値（０〜２５５）である。
【００４７】
本実施例では、ＨＤＲ（ＨＤＲ階調値の範囲；０から６５５３５までの範囲）に対応する撮像光量範囲（撮像光量の範囲）が、０から１８までの１９段階分の範囲である。そして、非ＨＤＲ（ベース階調値の範囲；０から２５５までの範囲）に対応する撮像光量範囲が、１０段階分の範囲である。非ＨＤＲに対応する撮像光量範囲のサイズ（幅）は、例えば、通常の撮像センサ（ダイナミックレンジが広い撮像画像データを生成できない撮像センサ）によって生成された撮像画像データが表現可能な輝度範囲のサイズに対応する。
【００４８】
本実施例では、階調圧縮部１０５は、ＨＤＲフレームデータに基づいて、ＨＤＲの一部を部分範囲として決定する。具体的には、階調圧縮部１０５は、１９段階分の撮像光量範囲における１０段階分の範囲を、部分範囲として決定する。そして、階調圧縮部１０５は、部分範囲に対応する階調性が閾値以上であるベースフレームデータへＨＤＲフレームデータを変換する変換特性を、対応変換特性として決定する。その後、階調圧縮部１０５は、決定した対応変換特性を用いて、ＨＤＲフレームデータの各ＨＤＲ階調値をベース階調値に変換する。それにより、ＨＤＲフレームデータがベースフレームデータに変換される。
【００４９】
本実施例では、画像の中央部におけるベース階調値が中間値１２８となるように、部分範囲が決定される。それにより、画像の中央部におけるベースフレームデータの階調性を高めることができ、画像の中央部において適正露出の画像を表すベースフレームデータを得ることができる。
【００５０】
なお、「部分範囲に対応する階調性」は、例えば、「部分範囲に対応するベース階調値の数」、「部分範囲における、ＨＤＲ階調値の変化に対するベース階調値の変化の傾き」、等と言うこともできる。また、階調性の閾値は、予め定められた固定値であってもよいし、適宜変更される値であってもよい。
【００５１】
図４の対応変換特性４０１では、部分範囲４０２に属すＨＤＲ階調値の最小値から、部分範囲４０２に属すＨＤＲ階調値の最大値までのＨＤＲ階調値の増加に対して、ベース階調値が下限０から上限２５５まで線形に増加する。そして、部分範囲４０２に属すＨＤＲ階調値の最小値よりも小さいＨＤＲ階調値に対して、ベース階調値の下限が対応付けられており、部分範囲４０２に属すＨＤＲ階調値の最大値よりも大きいＨＤＲ階調値に対して、ベース階調値の上限が対応付けられている。図４の例では、画像の中央部におけるＨＤＲ階調値が３００００である。そのため、ＨＤＲ階調値３００００にベース階調値１２８が対応付けられるように、部分範囲４０２が決定される。そして、決定された部分範囲４０２に基づいて、図４の対応変換特性４０１が決定される。
【００５２】
なお、対応変換特性は図４の対応変換特性４０１に限られない。例えば、部分範囲において、ＨＤＲ階調値の増加に対して、ベース階調値が非線形に増加してもよい。部分範囲の外側において、ＨＤＲ階調値の変化に対するベース階調値の変化の傾きは、０より大きくてもよい。上記所定領域（画像領域の一部）におけるベース階調値は中間値１２８より高くても低くてもよい。部分範囲の決定方法は上記方法に限られない。例えば、所定領域が複数の画素を含む画像領域である場合には、所定領域におけるＨＤＲ階調値の代表値、所定領域におけるＨＤＲ階調値のヒストグラム、等に基づいて部分範囲が決定されてもよい。ＨＤＲフレームデータのＨＤＲ階調値の代表値、ＨＤＲフレームデータのＨＤＲ階調値のヒストグラム、等に基づいて、部分範囲が決定されてもよい。ベースフレームデータは、所定領域において適正露出の画像を表す画像データでなくてもよい。ＨＤＲに対応する撮像光量範囲のサイズ、非ＨＤＲに対応する撮像光量範囲のサイズ、部分範囲のサイズ、等は特に限定されない。部分範囲のサイズは、非ＨＤＲに対応する撮像光量範囲のサイズより小さくても大きくてもよい。ＨＤＲ階調値と撮像光量との対応関係は、例えば、撮像部１０１の撮像センサに応じて予め定められる。図５は、ＨＤＲ階調値と撮像光量との対応関係の一例を示す。図５の例では、ＨＤＲ階調値の増加に対して撮像光量が線形に増加する。
【００５３】
本実施例では、階調圧縮部１０５は、ＨＤＲフレームデータをベースフレームデータへ変換する際に、急変検出部１０３による検出の結果をさらに考慮する。具体的には、階調圧縮部１０５は、急変期間において、ＨＤＲフレームデータをベースフレームデータへ変換するフレーム変換特性を、急変期間の最後のフレームの対応変換特性へ徐々に変更する。急変期間は、急変タイミングを含み且つ３つ以上のフレームからなる期間である。なお、急変期間以外の期間では、対応変換特性がフレーム変換特性として使用される。
【００５４】
本実施例では、階調圧縮部１０５は、現フレームのタイミングが急変タイミングとして検出された場合に、当該急変タイミングからの期間である急変期間を設定する。そして、階調圧縮部１０５は、急変前フレームの光量情報と、現フレーム（急変タイミングのフレーム）の光量情報とを取得する。急変前フレームは、急変タイミングのフレームの所定数前のフレームである。本実施例では、急変前フレームは、急変タイミングのフレームの１つ前のフレームである。その後、階調圧縮部１０５は、急変期間において、急変前フレームの対応変換特性から、急変期間の最後のフレームの対応変換特性へ、フレーム変換特性を徐々に変える。
【００５５】
現フレームのタイミングが急変タイミングとして検出された場合における階調圧縮部１０５の処理について、より詳細に説明する。
【００５６】
まず、階調圧縮部１０５は、急変期間を設定する。本実施例では、階調圧縮部１０５は、急変タイミングにおける撮像光量の変化が大きいほど多いフレームからなる期間を、急変期間として設定する。具体的には、急変前フレームの撮像光量、急変タイミングのフレームの撮像光量、及び、急変期間のフレーム数の対応関係を示す情報（テーブル、関数、
等）が予め用意されている。本実施例では、図６の対応関係を示す情報が予め用意されている。そして、階調圧縮部１０５は、急変前フレームの撮像光量、急変タイミングのフレームの撮像光量、及び、図６の対応関係から、急変期間のフレーム数を決定する。その後、階調圧縮部１０５は、決定したフレーム数の期間であり、且つ、急変タイミングからの期間である急変期間を設定する。図６の対応関係によれば、急変前フレームの撮像光量と、急変タイミングのフレームの撮像光量との差（絶対値）が大きいほど多いフレームからなる期間が、急変期間として設定される。
【００５７】
次に、階調圧縮部１０５は、設定した急変期間において、急変前フレームの対応変換特性から、急変期間の最後のフレームの対応変換特性へ、フレーム変換特性を徐々に変える。例えば、急変前フレームの撮像光量が１５であり、且つ、急変タイミングのフレームの撮像光量が６である場合には、図６の対応関係を用いて、２０フレームの急変期間が設定される。そして、２０フレームの急変期間において、急変前フレームの対応変換特性から、急変期間の最後のフレームの対応変換特性へ、フレーム変換特性が徐々に変えられる。
【００５８】
撮像光量が多いほどＨＤＲ階調値と適正露出とは大きい。そして、想定露出（撮像時の露出として想定される露出）は、フレーム変換特性に依存する。例えば、想定露出は、部分範囲に依存する。具体的には、ＨＤＲフレームデータに基づいて部分範囲を設定することで、適正露出が想定される。そして、大きいＨＤＲ階調値の側に部分範囲を設定することで、大きい露出が想定され、小さいＨＤＲ階調値の側に部分範囲を設定することで、小さい露出が想定される。そのため、ＨＤＲ階調値が一定である場合には、想定露出の増加によりベース階調値は低下し、想定露出の低下によりベース階調値は増加する。即ち、ＨＤＲフレームデータが一定である場合には、想定露出の増加によりベースフレームデータの輝度は低下し、想定露出の低下によりベースフレームデータの輝度は増加する。
【００５９】
図４において、フレーム変換特性４０３は、対応変換特性４０１に対応する想定露出に比べ小さい想定露出に対応し、フレーム変換特性４０４は、対応変換特性４０１に対応する想定露出に比べ大きい想定露出に対応する。図４から、ＨＤＲ階調値が一定である場合において、対応変換特性４０１で得られるベース階調値が、フレーム変換特性４０３で得られるベース階調値よりも小さいことがわかる。また、ＨＤＲ階調値が一定である場合において、対応変換特性４０１で得られるベース階調値が、フレーム変換特性４０４で得られるベース階調値よりも大きいこともわかる。
【００６０】
急変前フレームの撮像光量が１５であり、且つ、急変タイミングのフレームの撮像光量が６である上記場合には、急変前フレームの適正露出は、急変タイミングのフレームの適正露出よりも大きい。そのため、急変タイミングのフレームについて、適正露出よりも大きい露出を想定してベースフレームデータが得られる。即ち、対応変換特性を用いて得られるベースフレームデータよりも暗いベースフレームデータが得られる。その後、急変期間において、想定露出が適正露出まで徐々に変更される。
【００６１】
同様の例として、図４の対応変換特性４０１が急変期間の対応変換特性であり、且つ、フレーム変換特性４０４が急変前フレームの対応変換特性である例を考える。この場合には、急変期間において、フレーム変換特性４０４から対応変換特性４０１へフレーム変換特性が徐々に変更される。その結果、急変期間において、ベース画像データの輝度が、対応変換特性を用いた場合の輝度よりも低い輝度から、対応変換特性を用いた場合の輝度まで、徐々に増加する。このような輝度の変化は、人間が明るい場所から暗い場所へ移動した際の視覚特性をよく表している。
【００６２】
他の例として、図４の対応変換特性４０１が急変期間の対応変換特性であり、且つ、フレーム変換特性４０３が急変前フレームの対応変換特性である例を考える。この場合には
、急変期間において、フレーム変換特性４０３から対応変換特性４０１へフレーム変換特性が徐々に変更される。その結果、急変期間において、ベース画像データの輝度が、対応変換特性を用いた場合の輝度よりも高い輝度から、対応変換特性を用いた場合の輝度まで、徐々に低下する。このような輝度の変化は、人間が暗い場所から明るい場所へ移動した際の視覚特性をよく表している。
【００６３】
図７は、撮像光量、想定露出、及び、フレームの対応関係の一例を示す。図７は、上記他の例の対応関係を示す。図７の例では、急変期間における時間経過に対して、想定露出が、急変前フレームの適正露出から、急変期間の最後のフレームの適正露出まで線形に増加している。
【００６４】
なお、急変期間、急変期間における想定露出の変化、等は上記例に限られない。例えば、急変期間の最初のフレームは、急変タイミングのフレームより前のフレームであってもよい。急変前フレームの撮像光量と、急変タイミングのフレームの撮像光量との組み合わせに対応するフレーム数（急変期間のフレーム数）は、図６に示すフレーム数に限られない。急変期間のフレーム数は特に限定されない。急変期間のフレーム数は、予め定められた固定数であってもよいし、上記方法とは異なる方法で決定されてもよい。ユーザに指定されたフレーム数の期間が、急変期間として設定されてもよい。急変期間における時間経過に対して想定露出が非線形に変化してもよい。また、急変前フレームが急変タイミングのフレームよりも前のフレームであれば、急変前フレームと急変タイミングのフレームとの間のフレーム数は特に限定されない。急変前フレームと急変タイミングのフレームとの間のフレーム数は、現フレームと前フレームとの間のフレーム数と異なっていてもよい。
【００６５】
なお、現フレームと前フレームの間のフレーム数が多い場合には、急変タイミングが複数回連続して検出されることがある。その場合には、例えば、複数の急変タイミングにそれぞれ対応する複数の急変期間を合成した合成期間を、１つの急変期間とみなせばよい。
【００６６】
ベース圧縮部１０６は、各フレームについて、階調圧縮部１０５から出力されたベースフレームデータのデータ圧縮を行い、データ圧縮後のベースフレームデータ（圧縮ベースフレームデータ）を圧縮ＨＤＲフレーム生成部１０８に出力する。なお、データ圧縮の方法は特に限定されない。例えば、ＪＰＥＧ、ＭＰＥＧ、等の一般的な圧縮技術を用いることができる。本実施例では、データ圧縮により、圧縮ベースフレームデータとして、ＪＰＥＧ画像データ（ＪＰＥＧフォーマットの画像データ；ＪＰＥＧで圧縮された画像データ）が生成される。
【００６７】
差分圧縮部１０７は、ＨＤＲ画像生成部１０４からのＨＤＲ動画データと、階調圧縮部１０５からのベース動画データとを用いて、ＨＤＲ動画データとベース動画データの差分に関する差分データを生成する。本実施例では、差分圧縮部１０７は、ＨＤＲフレームデータとベースフレームデータから、ＨＤＲフレームデータとベースフレームデータの差分に関する差分フレームデータを生成する。差分フレームデータは、１フレームに対応する差分データである。そして、差分圧縮部１０７は、差分フレームデータのデータ圧縮を行い、データ圧縮後の差分フレームデータ（圧縮差分フレームデータ）を圧縮ＨＤＲフレーム生成部１０８に出力する。差分圧縮部１０７は、これらの処理を各フレームについて行う。なお、データ圧縮の方法は特に限定されない。例えば、ＪＰＥＧ、ＭＰＥＧ、等の一般的な圧縮技術を用いることができる。
【００６８】
例えば、差分圧縮部１０７は、各画素について、ＨＤＲフレームデータの画素値とベースフレームデータの画素値との比率を算出する。それにより、各画素の比率を表す差分フレームデータが生成される。なお、差分フレームデータ、差分フレームデータの生成方法、等は特に限定されない。例えば、各画素について、ＨＤＲフレームデータの画素値とベ
ースフレームデータの画素値との一方から他方を減算することで得られる差分値を算出することにより、各画素の差分値を表す差分フレームデータが生成されてもよい。
【００６９】
圧縮ＨＤＲフレーム生成部１０８は、ベース圧縮部１０６からの圧縮ベースフレームデータと、差分圧縮部１０７からの圧縮差分フレームデータとを、１つの圧縮ＨＤＲフレームデータに合成する。そして、圧縮ＨＤＲフレーム生成部１０８は、圧縮ＨＤＲフレームデータを動画ファイル生成部１０９に出力する。圧縮ＨＤＲフレーム生成部１０８は、これらの処理を各フレームについて行う。
【００７０】
なお、圧縮ＨＤＲフレームデータのフォーマット、圧縮ＨＤＲフレームデータの生成方法、等は特に限定されない。但し、圧縮ベースフレームデータを復号でき且つ圧縮差分フレームデータを復号できないデコーダを想定し、圧縮ベースフレームデータの拡張情報として、圧縮差分フレームデータが圧縮ベースフレームデータに合成（付加）されることが好ましい。圧縮ベースフレームデータがＪＰＥＧ画像データである場合を考える。その場合には、ＪＰＥＧ画像データ（ＪＰＥＧファイル）のＡｐｐｌｉｃａｔｉｏｎ  Ｍａｒｋｅｒ  Ｓｅｇｍｅｎｔに圧縮差分フレームデータを付加すればよい。それにより、上記デコーダにおいて、圧縮ベースフレームデータが復号可能となる。また、圧縮ベースフレームデータも圧縮差分フレームデータも復号できるデコーダにおいて、圧縮ベースフレームデータも圧縮差分フレームデータも復号可能となる。
【００７１】
動画ファイル生成部１０９は、各フレームについて、圧縮ＨＤＲフレーム生成部１０８から出力された圧縮ＨＤＲフレームデータを取得する。そして、動画ファイル生成部１０９は、各フレームの圧縮ＨＤＲフレームデータを合成することにより、１つの動画ファイルを生成する。なお、動画ファイルのデータフォーマット、動画ファイルの生成方法、等は特に限定されない。圧縮差分フレームデータが拡張情報として付加されているＪＰＥＧ画像データが、圧縮ＨＤＲフレームデータとして取得される場合を考える。その場合には、各フレームがＪＰＥＧ画像データで表現された動画ファイルのデータフォーマットであるＭｏｔｉｏｎ  ＪＰＥＧフォーマットなどを用いることができる。
【００７２】
上述したように、本実施例では、急変期間において、露出などの撮像条件を変更せずに、急変期間の最後のフレームの対応変換特性へフレーム変換特性が徐々に変更される。それにより、撮像光量の急激な変化が生じるシーンにおける違和感の少ないベース動画データを得ることができる。具体的には、人間の視覚特性をよく表すベース動画データを得ることができる。そのため、ベース動画データしか復号できない表示装置において、撮像光量の急激な変化が生じるシーンにおける違和感の少ない動画を表示することができる。また、元のＨＤＲ動画データは変更されないため、ベース動画データと差分データの両方を復号可能な装置では、元のＨＤＲ動画データを高精度に復元することができる。そして、元のＨＤＲ動画データの再階調圧縮をベース画像データに基づいて行うことにより、撮像光量の急激な変化が生じるシーンにおける違和感の少ない動画データを得ることができる。ベース動画データと差分データの両方を復号可能な表示装置では、元のＨＤＲ動画データに忠実な動画を表示することができる。ベース画像データ、ベース画像データに基づく再階調圧縮により得られた動画データ、等を用いて、撮像光量の急激な変化が生じるシーンにおける違和感の少ない動画を表示することもできる。
【００７３】
次に、本実施例に係る撮像装置の処理フローの一例について、図８のフローチャートを用いて説明する。ここでは、急変検出部１０３と階調圧縮部１０５の処理について説明する。
【００７４】
まず、急変検出部１０３が、撮像光量取得部１０２から現フレームの撮像光量を取得する（Ｓ７０１）。次に、急変検出部１０３は、撮像光量取得部１０２から前フレームの撮
像光量を取得する（Ｓ７０２）。そして、急変検出部１０３は、現フレームの撮像光量と前フレームの撮像光量とを比較する（Ｓ７０３）。具体的には、急変検出部１０３は、現フレームの撮像光量と前フレームの撮像光量との一方から他方を減算して得られる光量差を算出する。次に、急変検出部１０３は、Ｓ７０３の比較結果（光量差）が第１閾値以上または第２閾値以下であるか否かを判断する。
【００７５】
光量差が第１閾値以上でも第２閾値以下でもない場合には、Ｓ７０７へ処理が進められる。そして、Ｓ７０７にて、階調圧縮部１０５は、現フレームのＨＤＲフレームデータに基づく対応変換特性を用いて、現フレームのＨＤＲフレームデータをベースフレームデータへ変換する（階調圧縮）。
【００７６】
光量差が第１閾値以上または第２閾値以下である場合には、Ｓ７０５へ処理が進められる。そして、Ｓ７０５〜Ｓ７０７の処理が行われる。Ｓ７０５にて、階調圧縮部１０５は、現フレーム（急変タイミングのフレーム）の撮像光量、前フレーム（急変前フレーム）の撮像光量、及び、図６の対応関係に基づいて、急変期間のフレーム数を決定する。Ｓ７０６にて、階調圧縮部１０５は、急変期間のフレーム数、前フレームの対応変換特性、現フレームの対応変換特性、等に基づいて、現フレームのフレーム変換特性を決定する。Ｓ７０７にて、階調圧縮部１０５は、決定したフレーム変換特性を用いて、現フレームのＨＤＲフレームデータをベースフレームデータへ変換する。急変期間では、例えば、現フレームが順次更新されながら、前フレームのフレーム変換特性と、現フレームの対応変換特性との差が徐々に低減されるように、現フレームのフレーム変換特性が順次決定される。
【００７７】
以上述べたように、本実施例によれば、露出などの撮像条件、元のＨＤＲ動画データ、等を変更せずに、撮像光量の急激な変化が生じるシーンにおける違和感の少ない動画データを得ることができる。
【００７８】
＜実施例２＞
以下、本発明の実施例２について説明する。本実施例では、急変期間においてフレーム変換特性を急変期間の最後のフレームの対応変換特性へ徐々に変更する動作モード（視覚特性再現モード）を含む複数の動作モードを撮像装置（画像処理装置）が有する例を説明する。なお、以下では、実施例１と異なる点（構成、処理、等）について詳しく説明し、実施例１と同じ点についての説明は省略する。
【００７９】
図９は、本実施例に係る撮像装置の構成例を示すブロック図である。図９において、実施例１（図１）と同じ機能部には、実施例１と同じ符号が付されている。
【００８０】
モード切替部９０１は、撮像装置に対してユーザが行った操作に応じて、複数の動作モードの間で撮像装置の動作モードを切り替える。なお、動作モードの切り替え方法は特に限定されない。例えば、撮像動画データの特徴、ＨＤＲ動画データの特徴、等に応じて、動作モードが切り替えられてもよい。操作の方法も特に限定されない。例えば、複数の動作モードのいずれかを選択させるＧＵＩ（グラフィカルユーザインタフェース）が画面に表示され、動作モードを選択する操作がＧＵＩを用いて行われてもよい。
【００８１】
本実施例では、モード切替部９０１は、視覚特性再現モードとＨＤＲ再現モードとの間で動作モードを切り替える。ＨＤＲ再現モードは、急変期間か否かに拘らずにフレーム変換特性として対応変換特性を用いる動作モードである。なお、撮像装置の複数の動作モードは特に限定されない。撮像装置は、複数の動作モードとして、３つ以上の動作モードを有していてもよい。撮像装置の複数の動作モードは、ＨＤＲ再現モードを含んでいなくてもよい。
【００８２】
スイッチ９０２は、階調圧縮部１０５に対する急変検出部１０３の接続の状態を、急変検出部１０３が階調圧縮部１０５に接続された接続状態と、急変検出部１０３が階調圧縮部１０５に接続されていない非接続状態との間で切り替える。
【００８３】
視覚特性再現モードを指定する操作が行われた場合には、モード切替部９０１は、スイッチ９０２の状態を接続状態に切り替える。それにより、撮像装置の動作モードが視覚特性再現モードに切り替えられる。視覚特性再現モードが設定されている場合には、各機能部において、実施例１と同様の処理が行われる。
【００８４】
ＨＤＲ再現モードを指定する操作が行われた場合には、モード切替部９０１は、スイッチ９０２の状態を非接続状態に切り替える。それにより、撮像装置の動作モードがＨＤＲ再現モードに切り替えられる。ＨＤＲ再現モードが設定されている場合には、階調圧縮部１０５は、急変検出部１０３による検出の結果を考慮しない。階調圧縮部１０５は、急変期間か否かに拘らずにフレーム変換特性として対応変換特性を用いる。そのため、図１０に示すように、想定露出として常に適正露出が使用され、急変タイミングにおいて想定露出が急変する。撮像装置の他の機能部は実施例１と同様の処理を行う。この場合には、得られた動画データ（ベース動画データなど）に基づいて、視覚特性の輝度変化と異なる輝度変化を表す動画が表示されるが、常に適正露出の動画を表示することができる。なお、ＨＤＲ再現モードが設定されている場合には、撮像光量取得部１０２の処理と、急変検出部１０３の処理とが省略されてもよい。
【００８５】
以上述べたように、本実施例によれば、視覚特性再現モードを含む複数の動作モードの間で動作モードが切り替えられる。それにより、実施例１と同様の効果が得られるだけでなく、撮像装置（画像処理装置）の利便性をより向上することができる。
【００８６】
なお、実施例１，２の装置の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
【００８７】
なお、実施例１，２はあくまで一例であり、本発明の要旨の範囲内で実施例１，２の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１，２の構成を適宜組み合わせて得られる構成も、本発明に含まれる。
【００８８】
＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８９】
１０２：撮像光量取得部  １０３：急変検出部  １０４：ＨＤＲ画像生成部
１０５：階調圧縮部  １０６：ベース圧縮部  １０７：差分圧縮部
【図１】
2018046478.tif 000003
【図２】
2018046478.tif 000004
【図３】
2018046478.tif 000005
【図４】
2018046478.tif 000006
【図５】
2018046478.tif 000007
【図６】
2018046478.tif 000008
【図７】
2018046478.tif 000009
【図８】
2018046478.tif 000010
【図９】
2018046478.tif 000011
【図１０】
2018046478.tif 000012