(57)【要約】【課題】Ｒａｗ動画像の撮影時または再生時に、撮影内容の変化に伴って変動する現像パラメータの補正処理を行うことで現像パラメータの調整の追従遅れが解消された動画像を得る画像処理装置を提供する。【解決手段】画像処理装置が、Ｒａｗ動画像データを取得し、取得したＲａｗ動画像データに基づいて、現像パラメータを生成し、Ｒａｗ動画像データが有するフレーム画像データの変化期間と、現像パラメータの変化量と、現像パラメータの変化期間とに基づいて、現像パラメータに対して、フレーム画像データの変化期間中に現像パラメータの変化が収まるように補正処理を実行する。【選択図】図１
2014036348.tif 000002
【特許請求の範囲】
【請求項１】
Ｒａｗ動画像データに基づいて生成された、前記Ｒａｗ動画像データの現像用の現像パラメータを取得する取得手段と、
前記現像パラメータに対して補正処理を行う補正手段とを備え、
前記補正手段は、前記Ｒａｗ動画像データが有するフレーム画像データの変化期間と、前記現像パラメータの変化量と、前記現像パラメータの変化期間とに基づいて、前記現像パラメータに対して、前記フレーム画像データの変化期間中に前記現像パラメータの変化が収まるように前記補正処理を実行する
ことを特徴とする画像処理装置。
【請求項２】
前記フレーム画像データの変化は、前記Ｒａｗ動画像データに対応する被写体の撮影内容の変化により生じた変化である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フレーム画像データの変化は、パンニング、ズーミング、露出制御、または顔検出のいずれかにより生じた変化である
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
被写体を撮影して動画像を取り込み、前記取り込んだ動画像に応じた前記Ｒａｗ動画像データを出力する撮像手段と、前記出力されたＲａｗ動画像データに基づいて前記現像パラメータを生成する生成手段とを備える撮像装置として構成される
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記パンニングの検出、前記ズーミングの検出、前記露出制御の検出、または前記顔検出を行う検出手段を備え、
前記補正手段は、前記検出手段による検出結果に基づいて決まるフレーム画像データの変化期間を用いて、前記補正処理を実行する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記現像パラメータに基づいて、前記Ｒａｗ動画像データに対して現像処理を行う現像手段を備える
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記現像手段によって現像された画像データを表示する表示手段を備える
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
Ｒａｗ動画像データを取得し、前記取得したＲａｗ動画像データに基づいて、現像パラメータを生成する生成工程と、
前記現像パラメータに対して補正処理を行う補正工程とを有し、
前記補正工程では、前記Ｒａｗ動画像データが有するフレーム画像データの変化期間と、前記現像パラメータの変化量と、前記現像パラメータの変化期間とに基づいて、前記現像パラメータに対して、前記フレーム画像データの変化期間中に前記現像パラメータの変化が収まるように前記補正処理を実行する
ことを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびその制御方法に関する。
【背景技術】
【０００２】
撮像素子の信号をそのまま記録したＲａｗ静止画データに対して、ユーザが様々な現像パラメータを指定することで、現像パラメータに対応した結果画像を得る、いわゆるＲａｗ現像処理を行う画像処理装置が提案されている。
【０００３】
一方、近年、デジタルビデオカメラ（以下、カメラ）の普及やパーソナルコンピュータの性能向上などにより、動画像の様々な編集技術が提案されている。このような背景から、今後は静止画だけでなく、動画についてもＲａｗ形式のデータを扱うようになり、さらにＲａｗ形式でファイル保存ができるカメラも一般的に普及していくと予想される。
【０００４】
Ｒａｗ動画を現像する場合、動画を構成する各フレーム画像に対して、静止画の現像処理と同様に、現像パラメータを与える必要がある。現像パラメータとは、例えば、ホワイトバランス調整や露出補正といった処理を行うために必要な情報である。
【０００５】
ここで、現像パラメータの一つとして、ホワイトバランス調整パラメータを例にとって説明する。一般に、ビデオカメラ等の撮像装置は、撮像素子によって得られる映像信号から色温度情報を算出し、算出した色温度情報に基づいて画面内のホワイトバランス調整を行う、いわゆるオートホワイトバランス（ＡＷＢ）機能を備えている。
【０００６】
そして、動画像の撮影において、一時的な色温度の変化（例えば何らかの物体が画面内を横切った場合など）によるハンチングを防止するためのＡＥＢ機能を実現する撮像装置が提案されている。例えば、特許文献１は、数画面分の色温度情報を時間方向に積分した結果をＷＢ調整値として用いることで、急激かつ頻繁なゲイン変化を抑制するオートホワイトバランス装置を開示している。
【０００７】
また、特許文献２は、撮影中にＷＢ調整パラメータに基づいてＷＢの変化点を検出し、変化点に対応する時刻を示す時刻情報に基づき、ＷＢ調整に対する電子マークデータを生成することで、撮影後の動画像の編集作業をアシストする撮像装置を提案している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平６−３５１０３７号公報
【特許文献２】特開２００６−６０７３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
動画像の撮影においては、例えば、屋内から屋外へパンニングする場合のように、撮影対象の色温度が急に切り替わる場合がある。このような場合には、カメラ内部のＡＷＢ処理において前述のような時間方向の積分処理に要する時間が加味される関係で、ＷＢ調整値が最終値に安定する（収束する）までにはある程度の時間を要することになる。
【００１０】
ここで、撮影時に取得したＷＢ調整パラメータがＲａｗ動画像に関連付けて保存され、当該Ｒａｗ動画像を再生する際に現像パラメータとして用いられるケースを想定する。前述のＷＢ調整パラメータをそのまま用いて現像処理を行うと、パンニングの直後においては、ＷＢ調整の追従が遅れた映像が得られることになるので、ユーザにとって好適ではない。
【００１１】
特許文献１が開示するオートホワイトバランス装置は、露光量や検出色温度情報に応じて積分時間を変化させることにより、ホワイトバランス調整の応答速度を自由に変化させる。しかし、このオートホワイトバランス装置では、前記のようにパンニングした直後におけるＷＢ調整の追従遅れを解消することはできない。
【００１２】
また、特許文献２が開示する撮像装置は、撮影後の編集作業において例えば映像カットの抽出などを容易に行うことを目的とし、記録された変化点情報を用いてＷＢ調整値に対して補正処理を行ってはいない。したがって、前述したようなＷＢ調整の追従遅れを解消することはできない。
【００１３】
パンニングの際のＷＢ調整の追従遅れの問題に限らず、撮影内容の変化に伴って現像パラメータの急激な変化が発生する場合に、現像パラメータの調整の追従が遅れた映像が出力されてしまうという問題は、ユーザにとって好適ではない。したがって、撮影内容の変化に伴って変動する現像パラメータを補正して、撮影内容の変化の終了直後に適切な現像パラメータで現像できるようにする必要がある。
【００１４】
本発明は、Ｒａｗ動画像の撮影時または再生時に、撮影内容の変化に伴って変動する現像パラメータの補正処理を行うことで現像パラメータの調整の追従遅れが解消された動画像を得る画像処理装置の提供を目的とする。
【課題を解決するための手段】
【００１５】
本発明の一実施形態の画像処理装置は、Ｒａｗ動画像データを取得し、前記取得したＲａｗ動画像データに基づいて、現像パラメータを生成する生成手段と、前記現像パラメータに対して補正処理を行う補正手段とを備える。前記補正手段は、前記Ｒａｗ動画像データが有するフレーム画像データの変化期間と、前記現像パラメータの変化量と、前記現像パラメータの変化期間とに基づいて、前記現像パラメータに対して、前記フレーム画像データの変化期間中に変化が収まるように前記補正処理を実行する。
【発明の効果】
【００１６】
本発明によれば、パンニングなどによる撮影内容の変化の直後においても適切な現像パラメータを得ることが可能となる。その結果、ユーザに対して、現像パラメータの追従遅れを解消したより好適な動画像を提供することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】実施例１の画像処理装置の構成例を示す図である。
【図２】撮像装置による現像パラメータ生成処理の例を説明する図である。
【図３】画像フレームと現像パラメータとを示す図である。
【図４】現像パラメータの補正処理を示すフローチャートである。
【図５】画像フレームと現像パラメータとを示す図である。
【図６】実施例２の画像処理装置の構成例を示す図である。
【図７】動画像再生装置によるＲａｗ動画像の再生処理の例を説明する図である。
【発明を実施するための形態】
【００１８】
（実施例１）
図１は、実施例１の画像処理装置の構成例を示す図である。実施例１の画像処理装置は、撮像装置１０である。
【００１９】
なお、本明細書では、Ｒａｗ形式で取得または記録された動画像データを、Ｒａｗ動画像データまたはＲａｗ動画像ファイルと記述する。つまり、Ｒａｗ動画像データは、未現像の状態の動画像データである。また、Ｒａｗ動画像データまたはＲａｗ動画像ファイルを構成するフレーム画像データを、Ｒａｗ画像データまたはＲａｗ画像フレームと記述する。
【００２０】
撮像装置１０は、撮像部１０１、Ａ（Analog）／Ｄ（Digital）変換部１０２、現像パラメータ生成部１０３、Ｒａｗ動画像ファイル生成部１０４、現像パラメータファイル生成部１０５を備える。また、撮像装置１０は、操作部１０６、制御部１０７、記録メディアＩ／Ｆ（Interface）部１０８、記録メディア１０９、メモリ１１０、現像パラメータ補正部１１１、画像変化検出部１１２を備える。
【００２１】
撮像部１０１は、ＣＣＤ，ＣＭＯＳなどの撮像素子及びレンズを有しており、入射された光を撮像素子に結像し、電気信号に変換する。ＣＣＤは、Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ  Ｉｍａｇｅ  Ｓｅｎｓｏｒの略称である。ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略称である。Ａ／Ｄ変換部１０２は、撮像部１０１からフレーム単位で順次出力されたアナログの電気信号をデジタル変換してＲａｗ画像データ（Ｒａｗ動画像データ）を出力する。すなわち、撮像部１０１およびＡ／Ｄ変換部１０２は、被写体を撮影して動画像を取り込み、取り込んだ動画像に応じたＲａｗ動画像データを出力する撮像手段として機能する。現像パラメータ生成部１０３は、Ａ／Ｄ変換部１０２から出力されたＲａｗ画像データを取得し、このＲａｗ画像データに基づいて、Ｒａｗ画像データを現像する際の画像処理に必要となる現像パラメータをフレーム単位で生成し、出力する。
【００２２】
現像パラメータは、Ｒａｗ形式の動画像データであるＲａｗ動画像データを現像する際に、現像後の画質を決定するためのパラメータである。現像パラメータには、例えば、ホワイトバランス、色空間、トーンカーブ、輪郭強調などの調整項目がある。
【００２３】
Ｒａｗ動画像ファイル生成部１０４は、Ａ／Ｄ変換部１０２から出力されたフレーム単位のＲａｗ画像データに基づいて、Ｒａｗ動画像ファイルを生成する。生成されたＲａｗ動画像ファイルは、記録メディアＩ／Ｆ部１０８を介して記録メディア１０９に記録される。
【００２４】
現像パラメータファイル生成部１０５は、現像パラメータ生成部１０３から出力された現像パラメータに基づいて、現像パラメータファイルを生成する。現像パラメータファイルを構成する各種現像パラメータは、Ａ／Ｄ変換部１０２から出力されたＲａｗ画像データの対応するフレームに関連付けられる。操作部１０６は、撮影開始ボタン、撮影終了ボタン等を有し、ユーザが撮像装置１０の各種動作設定を行うために使用される。
【００２５】
制御部１０７は、撮像装置１０全体を制御する。制御部１０７は、例えば、ユーザが操作部１０６によって設定した各種動作の実行を当該処理部に知らせたり、各処理部間の実行順序を制御したりする。
【００２６】
記録メディアＩ／Ｆ部１０８は、記録メディア１０９への動画像データの書き込み、又は記録メディア１０９に記録された動画像データや設定情報などの読み出しを制御する。メモリ１１０は、例えば、ＳＤＲＡＭ等の半導体記憶素子を有する。ＳＤＲＡＭは、Ｓｙｎｃｈｒｏｎｏｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略称である。メモリ１１０は、Ａ／Ｄ変換部１０２から出力されるＲａｗ画像データや、現像パラメータ生成部１０３から出力される現像パラメータを一時的に記憶する記憶手段である。
【００２７】
現像パラメータ補正部１１１は、現像パラメータ生成部１０３が出力した現像パラメータを取得する。そして、現像パラメータ補正部１１１は、制御部１０７の指示にしたがって、取得した現像パラメータに対して、後述する画像変化検出部１１２によって検出されたパンニングなどによる撮影内容の変化に応じた補正処理を行う。画像変化検出部１１２は、Ａ／Ｄ変換部１０２から出力されたフレーム単位の画像データを解析して、パンニングなどに起因する画像変化を検出する。画像変化検出部１１２が、パンニングの検出の他に、ズーミングの検出、露出制御の検出、または顔検出を行うようにしてもよい。
【００２８】
図２および図３を参照して、実施例１の現像パラメータ生成処理を説明する。図２は、撮像装置による現像パラメータ生成処理の例を説明するフローチャートである。また、図３は、図２に示すフローチャートにしたがって撮像装置１０が生成したＲａｗ動画像コンテンツを構成する画像フレームと、その各々に対応する現像パラメータとを、撮影された時間軸に沿って並べて示した図である。図３中に示すパラメータｎは、画像フレームのフレーム番号である。
【００２９】
図３に示す例では、屋内の撮影を行っているときにパンニングが行われ（ｎ＝Ｎ１）、屋外の撮影に切り替えられている（ｎ＝Ｎ２）。また、本実施例では、補正処理対象とする現像パラメータをホワイトバランス調整のパラメータとする。もちろん、本発明が適用対象とする現像パラメータは、ホワイトバランス調整のパラメータに限定されない。本発明は、任意の現像パラメータに適用することができる。なお、図３のホワイトバランス調整パラメータの値は、後述する現像パラメータの補正処理が行われる前の値を示している。
【００３０】
以下に、図２に示すフローチャートに従う動作処理について説明する。なお、図２の説明において、各種処理を実行する処理部を具体的に明示していない場合は、制御部１０７が処理を実行しているものとする。
【００３１】
まず、ユーザが、撮影開始ボタンを操作して、動画像の撮影を開始させる（ステップＳ２０１）。次に、制御部１０７が、フレーム番号ｎを０に初期化する（ステップＳ２０２）。フレーム番号は、Ｒａｗ動画像データに含まれるフレーム画像データを一意に識別する識別情報である。
【００３２】
次に、制御部１０７が、ｎの値を＋１だけインクリメントする（ステップＳ２０３）。される。制御部１０７は、撮影が開始されたフレームに対しては、ｎ＝１を設定する。
【００３３】
次に、制御部１０７が、撮像部１０１とＡ／Ｄ変換部１０２とを介して、第ｎフレームのＲａｗ画像データを生成する（ステップＳ２０４）。続いて、現像パラメータ生成部１０３が、生成された第ｎフレームのＲａｗ画像データを読み込み、読み込んだＲａｗ画像データに基づいて、第ｎフレームに対する現像パラメータを生成する。
【００３４】
次に、Ｒａｗ動画像ファイル生成部１０４が、生成された第ｎフレームのＲａｗ画像データをＲａｗ動画像ファイルへ記録する（ステップＳ２０６）。この例では、ステップＳ２０６におけるＲａｗ動画像ファイルの記録処理において、フレーム毎に画像データがファイルに追記される。他の実施形態においては、画像データをメモリ１１０にバッファリングしておき、Ｒａｗ動画像ファイル生成部１０４が、所定時間間隔ごとに、メモリ１１０内の画像データをファイルに追記するようにしてもよい。
【００３５】
次に、現像パラメータファイル生成部１０５が、第ｎフレームに対応する現像パラメータを記録し（ステップＳ２０７）、ステップＳ２０８へ進む。この例では、ステップＳ２０７における現像パラメータの記録処理において、フレーム毎に現像パラメータがファイルに追記される。他の実施形態においては、現像パラメータをメモリ１１０にバッファリングしておき、現像パラメータファイル生成部１０５が、所定時間間隔ごとに、メモリ１１０内の現像パラメータをファイルに追記するようにしてもよい。
【００３６】
次に、制御部１０７が、ユーザの撮影終了ボタンの押下により撮影終了指示が入力されたかを判断する（ステップＳ２０８）。ユーザによって撮影が継続されている間（撮影終了が指示されるまで）は、ステップＳ２０３へ処理が戻り、以上説明した一連の処理が各処理部によってフレーム単位で実行される。ユーザによって撮影終了ボタンが押下されると、制御部１０７が、撮影終了指示が入力されたことを検知し、一連の撮影処理が終了する。
【００３７】
図４は、実施例１における現像パラメータの補正処理を示すフローチャートである。また、図５は、図４のフローチャートにしたがう補正処理後の現像パラメータを、補正処理を行う前の現像パラメータと共に時間軸に沿って並べて示した図である。本実施例の撮像装置は、図２に示すフローチャートにしたがって生成する現像パラメータに対して、撮影内容の変化に応じて補正処理を行う。
【００３８】
図４のフローチャートにしたがう現像パラメータ補正処理は、ユーザによって動画撮影が開始された後に、図２のフローチャートにしたがう現像パラメータ生成処理と並行して実行される。つまり、撮像装置１０が動画像の撮影を開始すると、図２のフローチャートにしたがって現像パラメータが生成されつつ、図４のフローチャートにしたがって撮影中に随時現像パラメータの補正が行われる。
【００３９】
図４のステップＳ４０１において、制御部１０７が、フレーム番号ｎを初期化（ｎ＝０）する（ステップＳ４０１）。続いて、制御部１０７が、ｎの値を＋１だけインクリメントする（ステップＳ４０２）。撮影が開始された直後には、ｎ＝１に設定される。
【００４０】
次に、制御部１０７の指示にしたがって、画像変化検出部１１２が、第ｎフレームにおいて、撮影内容が変化したかを判断する（ステップＳ４０３）。この例では、画像変化検出部１１２は、第ｎフレームにおいて、パンニングが検出されたかを判断する。例えば、画像変化検出部１１２が、画像信号から動きベクトルを検出し、動きベクトルが一定方向に連続している期間をパンニングシーンとして検出するなど、従来の技術によりパンニングを検出する。本実施例では、パンニングの検出を行うが、ズーミングの検出、露出制御の検出、顔検出によって画像変化の検出を行い、その画像変化が検出されたことをもって撮影内容が変化したと判断して、後述する補正処理のトリガにすることも可能である。
【００４１】
ステップＳ４０３の判断処理によって、パンニングが検出されない場合は、ステップＳ４１０へ進み、制御部１０７が、ユーザによって撮影終了ボタンが押下されたかどうかを判断する。ユーザによって撮影が継続されている間（撮影終了が指示されるまで）は、ステップＳ４０２へ処理が戻り、ステップＳ４０２以降の処理が繰り返される。
【００４２】
ステップＳ４０３の判断処理によって、パンニングが検出された場合は、ステップＳ４０４に進む。ステップＳ４０４乃至Ｓ４０８は、制御部１０７が、パンニングが検出されてから所定期間内に現像パラメータの値が所定閾値以上変化し、さらにその変化が収束したかどうかを判断するステップである。
【００４３】
まず、制御部１０７が、パラメータ変化走査期間（Ｌ）が経過しているかを判断する（ステップＳ４０４）。パラメータ変化走査期間（Ｌ）は、前述した現像パラメータの値の変化とその収束を判断するための時間的な探索範囲である。制御部１０７が、撮影開始前にユーザによる設定操作にしたがって予めパラメータ変化走査期間（Ｌ）を設定する。
【００４４】
例えば、パラメータ変化走査期間（Ｌ）が２００フレームと設定されている場合は、ステップＳ４０３でパンニングが検出されてから２００フレーム後までが、ステップＳ４０５からＳ４０９までの処理の対象となるフレームとなる。なお、パラメータ変化走査期間（Ｌ）には、前述のようにフレーム単位の値を指定する以外にも、時間単位の値（例えば５秒など）を指定することも可能である。
【００４５】
ステップＳ４０４の判断処理において、制御部１０７が、パラメータ変化走査期間（Ｌ）を経過していると判断した場合は、ステップＳ４１０へ進み、撮影が継続されている間は、ステップＳ４０２以降の処理が繰り返される。
【００４６】
ステップＳ４０４の判断処理において、制御部１０７が、パラメータ変化走査期間（Ｌ）を経過していないと判断した場合は、ステップＳ４０５へ進む。
【００４７】
次に、制御部１０７が、第ｎフレームのＷＢ調整パラメータが、パンニングが検出されたフレームのＷＢ調整パラメータに比べて予め決められた閾値（ＶＧＡＰ）以上変化したかを判断する（ステップＳ４０４）。制御部１０７が、撮影開始前にユーザの設定操作にしたがって、予めＶＧＡＰを設定する。制御部１０７は、ＶＧＡＰとしては、例えば１０００Ｋ（ケルビン）を設定する。
【００４８】
制御部１０７が、第ｎフレームのＷＢ調整パラメータが、パンニングが検出されたフレームのＷＢ調整パラメータに比べてＶＧＡＰ以上変化していないと判断した場合は、ステップＳ４０７に進む。
【００４９】
制御部１０７が、第ｎフレームのＷＢ調整パラメータが、パンニングが検出されたフレームのＷＢ調整パラメータに比べてＶＧＡＰ以上変化したと判断した場合は、ステップＳ４０６へ進む。
【００５０】
ステップＳ４０６において、制御部１０７が、ＷＢ調整パラメータの変化が収束したかを判断する（ステップＳ４０６）。制御部１０７は、例えば、２０フレームに亘ってＷＢ調整パラメータの値がＶＧＡＰの１パーセント以上変化していないかを判断基準にして、ＷＢ調整パラメータの変化が収束したを判断する。上記判断基準となるフレーム数およびＶＧＡＰの変化割合として、任意の値を適用することができる。
【００５１】
ステップＳ４０６の判断処理において、制御部１０７が、ＷＢ調整パラメータの変化が収束したと判断した場合は、ステップＳ４０９に進む。制御部１０７が、ＷＢ調整パラメータの変化が収束していないと判断した場合は、ステップＳ４０７に進む。
【００５２】
ステップＳ４０７において、制御部１０７が、撮影の中断指示がされたかを判断する。撮影の中断指示がされた場合は、処理を終了する。撮影の中断指示がされていない場合は、ステップＳ４０８に進む。
【００５３】
ステップＳ４０８において、制御部１０７が、ｎの値を＋１だけインクリメントして（ステップＳ４０８）、ステップＳ４０４に進む。
【００５４】
ステップＳ４０６の判断処理において、制御部１０７が、ＷＢ調整パラメータの変化が収束していると判断した場合は、ステップＳ４０９へ進む。この例では、制御部１０７は、図５中のｎ＝Ｎ４のフレームにおいて現像パラメータの変化が収束したと判断したものとする。
【００５５】
ステップＳ４０９において、制御部１０７が、現像パラメータに対する補正処理を実行する。この例では、制御部１０７が、ＷＢ調整パラメータに対する補正処理を実行する。そして、制御部１０７が、撮影の中断指示がされたかを判断する（ステップＳ４１０）。撮影の中断指示がされた場合は、処理を終了する。撮影の中断指示がされていない場合は、ステップＳ４０２に戻る。
【００５６】
以下に、上記ステップＳ４１０におけるＷＢ調整パラメータに対する補正処理について説明する。この例では、図５中に示すように、ｎ＝Ｎ１においてパンニングが開始し、ｎ＝Ｎ２においてパンニングが終了したものとする。つまり、Ｎ１からＮ２までに対応する期間が、Ｒａｗ動画像データに含まれるフレーム画像データの変化期間である。フレーム画像データの変化期間は、画像変化検出部１１２による検出結果に基づいて決まる。
【００５７】
また、ｎ＝Ｎ３においてＷＢ調整パラメータの変化が開始し、ｎ＝Ｎ４においてＷＢ調整パラメータの変化が終了（収束）したものとする。以下に説明するＷＢ調整パラメータに対する補正処理は、並行して実行されている撮影処理において撮影対象がｎ＝Ｎ４となる時点以降に実行される。そして、制御部１０７は、パンニングシーン期間（パンニングの開始から終了まで）にＷＢ調整パラメータの変化が収まるように、ＷＢ調整パラメータに対する補正処理を実行する。
【００５８】
具体的には、制御部１０７は、フレーム番号ｎが「Ｎ１より大きく且つＮ２より小さい」値であるフレームに対応するＷＢ調整パラメータＷＢ（ｎ）を、以下の式（１）により算出する。
ＷＢ（ｎ）＝（（ＷＢ（Ｎ４）−ＷＢ（Ｎ３））／（ｎ−Ｎ１））＋ＷＢ（Ｎ１）
・・・式（１）
【００５９】
また、制御部１０７は、フレーム番号ｎが「Ｎ２以上且つＮ４より小さい」値であるフレームに対応するＷＢ調整パラメータＷＢ（ｎ）を、以下の式（２）により算出する。
ＷＢ（ｎ）＝ＷＢ（Ｎ４）・・・式（２）
【００６０】
式（１）および式（２）を参照すると、制御部１０７は、以下の情報に基づいて、ＷＢ調整パラメータを算出することがわかる。制御部１０７は、Ｒａｗ動画像データが有するフレーム画像データの変化期間と現像パラメータの変化量と現像パラメータの変化期間とに基づいて、フレーム画像データの変化期間中に現像パラメータの変化が収まるようにするためのＷＢ調整パラメータを算出する。フレーム画像データの変化は、Ｒａｗ動画像データに対応する被写体の撮影内容の変化により生じた変化である。具体的には、フレーム画像データの変化は、パンニング、ズーミング、露出制御、または顔検出のいずれかにより生じた変化である。
【００６１】
そして、現像パラメータ補正部１１１が、制御部１０７の指示にしたがって、図２のステップＳ２０７において既に現像パラメータファイルに記録されているＷＢ調整パラメータを、以上のように求められたＷＢ調整パラメータＷＢ（ｎ）で更新する。これにより、ＷＢ調整パラメータが補正される。
【００６２】
図５に示すように、補正処理後のＷＢ調整パラメータの変動は、パンニング開始からパンニング終了までの期間に収まり、パンニング終了直後には、適切にＷＢ調整された動画像を得ることができる。このように、本実施例によれば、動画像の撮影時に、例えばパンニング等による撮影内容の変更が完了した直後において、変動のない現像パラメータを得ることができる。したがって、従来の方法に比べ、ユーザにとってより好適な動画像を提供することが可能となる。
【００６３】
（実施例２）
図６は、実施例２の画像処理装置の構成例を示す図である。実施例２の画像処理装置は、動画像再生装置６０である。
【００６４】
前述した実施例１の画像処理装置は、動画像の撮影中に現像パラメータを生成しつつ、随時現像パラメータの補正を行う。一方、動画像再生装置６０は、予め撮影装置で撮影されたＲａｗ動画像を動画像再生装置６０で再生する時に、当該Ｒａｗ動画像に対応する現像パラメータに対して補正処理を行う。
【００６５】
動画像再生装置６０は、記録メディア６０１、記録メディアＩ／Ｆ部６０２、操作部６０３、制御部６０４、メモリ６０５、Ｒａｗ動画像処理部６０６、Ｒａｗ動画像現像部６０７、現像パラメータ処理部６０８を備える。また、動画像再生装置６０は、現像パラメータ補正部６０９、画像変化検出部６１０、表示部６１１を備える。
【００６６】
記録メディア６０１には、予め撮像装置（例えば、図１に示す撮像装置１０）で撮影されたＲａｗ動画ファイルと現像パラメータファイルとが記録されている。記録メディア６０１は、例えば、光学式記録媒体や半導体記録媒体などである。
【００６７】
記録メディアＩ／Ｆ部６０２は、記録メディア６０１に記録された動画像ファイルや現像パラメータファイルなどの読み出しを制御する。操作部６０３は、ユーザによる操作に応じて、動画像再生装置６０の各種動作設定を行う。操作部６０３は、再生開始ボタンなどを有する。
【００６８】
制御部６０４は、操作部６０３が設定した各種動作の実行を、対応する処理部に指示したり、各処理部間の実行順序を制御したりする。メモリ６０５は、Ｒａｗ動画像処理部６０６から出力されるＲａｗ画像データや、現像パラメータ処理部６０８から出力される現像パラメータを一時的に記憶する記憶手段である。メモリ６０５は、例えば、ＳＤＲＡＭ等の半導体記憶素子を含む。
【００６９】
Ｒａｗ動画像処理部６０６は、制御部６０４の指示に従って、記録メディアＩ／Ｆ部６０２から出力されたＲａｗ動画像ファイルから、フレーム単位のＲａｗ画像データを抽出する。
【００７０】
Ｒａｗ動画像現像部６０７は、Ｒａｗ動画像処理部６０６から出力されたＲａｗ画像データと、現像パラメータ補正部６０９から出力される、補正処理後の現像パラメータに基づいて、Ｒａｗ動画像の現像処理を行う。具体的には、Ｒａｗ動画像現像部６０７は、デモザイク処理、ＷＢ調整、露出補正、色空間処理、輪郭強調などの処理を実行して、表示部６１１に表示可能な動画像データを生成する。
【００７１】
現像パラメータ処理部６０８は、制御部６０４の指示に従って、記録メディアＩ／Ｆ部６０２から出力された現像パラメータファイルから、フレーム単位の現像パラメータを取得する。上記現像パラメータファイルは、Ｒａｗ動画像データに基づいて生成された、Ｒａｗ動画像データの現像用の現像パラメータのファイルである。
【００７２】
現像パラメータ補正部６０９は、現像パラメータ処理部６０８が取得した現像パラメータに対して、画像変化検出部６１０によって検出されたパンニングなどによる撮影内容の変化に応じて補正処理を行う。
【００７３】
画像変化検出部６１０は、Ｒａｗ動画像処理部６０６またはＲａｗ動画像現像部６０７から出力されたフレーム単位の画像データを解析して、例えばパンニングやズーミングなどに起因する画像変化を検出する。表示部６１１は、Ｒａｗ動画像現像部６０７によって実行された現像処理後の画像データを表示する。
【００７４】
図７は、動画像再生装置によるＲａｗ動画像の再生処理の例を説明するフローチャートである。なお、図７のフローチャートにおいて再生対象となるのは、図３中に示すような、現像パラメータに補正処理が行われていないＲａｗ動画像ファイルである。
【００７５】
まず、制御部６０４が、ユーザによる再生開始ボタンの押し下げ操作に応じて、動画像の再生を開始する（ステップＳ７０１）。続いて、制御部６０４が、後述するフレーム単位で繰り返し行う一連の処理におけるフレーム番号ｎを初期化（ｎ＝０）する。制御部１０７が、ｎの値を＋１だけインクリメントする。再生の開始時には、制御部６０４が、ｎ＝１に設定する。
【００７６】
次に、Ｒａｗ動画像現像部６０７が、第ｎフレームのＲａｗ画像データに対して現像処理を実行する（ステップＳ７０４）。そして、表示部６１１が、現像処理が施された第ｎフレームのＲａｗ画像データを表示する（ステップＳ７０５）。ユーザによって再生が継続されている間（再生終了が指示されるまで）は、ステップＳ７０３からＳ７０５の一連の処理が各処理部によってフレーム単位で実行される。ユーザによって再生終了ボタンが押下されると、制御部６０４が、再生終了指示が入力されたことを検知し（ステップＳ７０６）、本フローチャートに示す一連の再生処理が終了する。
【００７７】
以上のように、動画像再生装置６０により、例えば図３中に示すようなＲａｗ動画像ファイルの再生を行うことができる。
【００７８】
動画像再生装置６０の、動画再生開始後にＲａｗ動画像データと現像パラメータを先読みし、画像内容の変化に応じて現像パラメータの補正処理を行う動作について説明する。本実施例の現像パラメータの補正処理は、実施例１と同様であり、図４に示すフローチャートにしたがう。また、図４のフローチャートにしたがって動画像再生装置６０によって補正処理を行った現像パラメータも実施例１と同様であり、図５に示す通りである。
【００７９】
動画像再生装置６０によって行われる現像パラメータ補正処理は、図７のフローチャートで示した動画再生処理と並行して実行される。つまり、動画像再生装置６０は、動画像の再生が開始されると、図７のフローチャートにしたがって動画像の再生を行いつつ、図４のフローチャートにしたがって、再生中に、随時現像パラメータの補正処理を実行する。
【００８０】
本実施例においては、動画像再生装置６０は、図４のフローチャートに示す第ｎフレームの現像パラメータに対する補正処理を、図７のフローチャートにおいて第ｎフレームの再生処理が行われるときには既に終了しているように制御する。したがって、図４のフローチャートに示すフレーム番号ｎの値は、図７のフローチャートに示すフレーム番号ｎとは無関係にインクリメントされる。
【００８１】
実施例２における現像パラメータに対する補正処理は、処理主体が制御部６０４であること以外は、実施例１における現像パラメータに対する補正処理と同様である。なお、実施例２においては、図４のステップＳ４１０において、制御部６０４が、ユーザによって再生終了ボタンが押下されたかどうかを判断する。
【００８２】
また、実施例２では、図４のステップＳ４１０において、制御部６０４が、再生が継続されているかを判断する。また、ステップＳ４０７において、制御部６０４が、再生の中断指示がされたかを判断する。また、ステップＳ４１０において、制御部６０４が、再生の中断指示がされたかを判断する。
【００８３】
このように、本実施例によれば、例えばパンニング等による撮影内容の変更が完了した直後において、変動のない現像パラメータを得ることができる。したがって、Ｒａｗ動画像の再生時に、パンニングなどに起因するＷＢ調整の追従遅れを解消した動画像を再生することができる。その結果、従来の方法に比べ、ユーザーにとってより好適な動画像を提供することが可能となる。
【００８４】
なお、本明細書においては、現像パラメータが現像パラメータファイルとしてＲａｗ動画像ファイルとは別に記録される構成としているが、Ｒａｗ動画像ファイルと同一ファイルに記録されるような構成であってもよい。
【００８５】
また、現像パラメータを記録する際、対応するＲａｗ動画像のフレーム番号や撮影された時刻情報を一緒に記録しておくことも可能である。
【００８６】
また、現像パラメータとして主にホワイトバランス調整パラメータを例に挙げて説明したが、それに限定されるものではなく、自動露出制御に起因するγ係数の変化など、その他の現像パラメータの変化について補正処理を行うことも可能である。
【符号の説明】
【００８７】
１０  撮像装置
１０１  撮像部
１０２  Ａ／Ｄ変換部
１０３  現像パラメータ生成部
１０４  Ｒａｗ動画像ファイル生成部
１０５  現像パラメータファイル生成部
１０６  操作部
１０７  制御部
１０８  記録メディアＩ／Ｆ部
１０９  記録メディア
１１０  メモリ
１１１  現像パラメータ補正部
１１２  画像変化検出部
【図１】
2014036348.tif 000003
【図２】
2014036348.tif 000004
【図３】
2014036348.tif 000005
【図４】
2014036348.tif 000006
【図５】
2014036348.tif 000007
【図６】
2014036348.tif 000008
【図７】
2014036348.tif 000009