(57)【要約】【課題】ＲＡＷ画像データの現像に使用するパラメータを得る際の処理負荷を低減すること。【解決手段】本発明に係る画像処理装置は、ＲＡＷ画像データを解析して、ＲＡＷ画像データの現像で使用される第１のパラメータを生成する第１のパラメータ生成部と、ＲＡＷ画像データに付与されたＥｘｉｆ情報に基づいて、ＲＡＷ画像データの現像で使用される第２のパラメータを生成する第２のパラメータ生成部と、第１のパラメータ生成部によって生成された第１のパラメータと、第２のパラメータ生成部によって生成された第２のパラメータを使用して、ＲＡＷ画像データを現像するＲＡＷ画像現像部を備える。【選択図】図５
2016127505.tif 000002
【特許請求の範囲】
【請求項１】
ＲＡＷ画像データを解析して、前記ＲＡＷ画像データの現像で使用される第１のパラメータを生成する第１のパラメータ生成部と、
前記ＲＡＷ画像データに付与されたＥｘｉｆ情報に基づいて、前記ＲＡＷ画像データの現像で使用される第２のパラメータを生成する第２のパラメータ生成部と、
前記第１のパラメータ生成部によって生成された第１のパラメータと、前記第２のパラメータ生成部によって生成された第２のパラメータを使用して、前記ＲＡＷ画像データを現像するＲＡＷ画像現像部と、
を備えた画像処理装置。
【請求項２】
前記ＲＡＷ画像データは、撮影によって前記ＲＡＷ画像データを生成した際の撮影条件を示す撮影情報が付与されており、
前記画像処理装置は、さらに、前記撮影情報に基づいて、前記第１のパラメータを補正するパラメータ補正部を備えた、
請求項１に記載の画像処理装置。
【請求項３】
前記撮影情報は、撮影時における絞りを示す撮影絞り情報を含み、
前記第１のパラメータは、前記ＲＡＷ画像データの現像において実施されるエッジ強度補正で使用されるパラメータであり、
前記パラメータ補正部は、前記撮影絞り情報が示す絞りが強くなるに従って、前記エッジ強度補正においてエッジ強度がより強く補正されるように前記第１のパラメータを補正する、
請求項２に記載の画像処理装置。
【請求項４】
前記撮影情報は、撮影時におけるＩＳＯ感度を示す撮影ＩＳＯ感度情報を含み、
前記第１のパラメータは、前記ＲＡＷ画像データの現像において実施されるノイズ補正で使用されるパラメータであり、
前記パラメータ補正部は、前記第１のパラメータが所定の正常範囲外である場合、前記第１のパラメータを、前記ＩＳＯ感度情報が示すＩＳＯ感度に基づいて導出したパラメータに補正する、
請求項２に記載の画像処理装置。
【請求項５】
前記画像処理装置は、複数のＲＡＷ画像データを含むＲＡＷ動画データを現像するものであり、
前記画像処理装置は、さらに、前記第１のパラメータ及び前記第２のパラメータの少なくとも１つについて、第１のＲＡＷ画像データの現像に使用されたパラメータと、前記第１のＲＡＷ画像データの後の第２のＲＡＷ画像データから生成されたパラメータとを平均化したパラメータを生成するパラメータ平均化部を備え、
前記ＲＡＷ画像現像部は、前記第１のパラメータ及び前記第２のパラメータの少なくとも１つについて、前記パラメータ平均化部によって平均化されたパラメータを使用して、前記第２のＲＡＷ画像データを現像する、
請求項１に記載の画像処理装置。
【請求項６】
ＲＡＷ画像データを解析して、前記ＲＡＷ画像データの現像で使用される第１のパラメータを生成するとともに、前記ＲＡＷ画像データに付与されたＥｘｉｆ情報に基づいて、前記ＲＡＷ画像データの現像で使用される第２のパラメータを生成するパラメータ生成ステップと、
前記パラメータ生成ステップにおいて生成された第１のパラメータ及び第２のパラメータに基づいて、前記ＲＡＷ画像データを現像するＲＡＷ画像現像ステップと、
を備えた画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特にＲＡＷ画像データを現像する技術に関する。
【背景技術】
【０００２】
特許文献１には、ＲＡＷ動画像データの予め定められた間隔毎の飛び飛びのフレームに対する現像パラメータを生成し、ＲＡＷ動画像データと現像パラメータとを関連付けて記録媒体に格納するカメラシステムが開示されている。
【０００３】
また、特許文献２には、特許文献１に開示の技術と比較して、補間処理に必要となる現像パラメータを記録可能とすることを目的とした撮像装置が開示されている。この撮像装置は、この目的を達成するために、シーンチェンジが検出された前後のＲＡＷ画像フレームの現像パラメータを記録する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４８３１０１７号公報
【特許文献２】特許第５６０３６４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１及び特許文献２に開示の技術は、いずれもＲＡＷ画像データを解析することで、全ての現像パラメータを取得するようにしている。現像パラメータの全てをＲＡＷ画像データを解析することで取得するようにしてしまうと、現像パラメータを取得するための処理負荷が増大してしまうという問題がある。
【０００６】
本発明は、上述した知見に基づいてなされたものであり、ＲＡＷ画像データの現像に使用するパラメータを得る際の処理負荷を低減することができる画像処理装置及び画像処理方法を提供することができる。
【課題を解決するための手段】
【０００７】
本発明の第１の態様に係る画像処理装置は、ＲＡＷ画像データを解析して、前記ＲＡＷ画像データの現像で使用される第１のパラメータを生成する第１のパラメータ生成部と、前記ＲＡＷ画像データに付与されたＥｘｉｆ情報に基づいて、前記ＲＡＷ画像データの現像で使用される第２のパラメータを生成する第２のパラメータ生成部と、前記第１のパラメータ生成部によって生成された第１のパラメータと、前記第２のパラメータ生成部によって生成された第２のパラメータを使用して、前記ＲＡＷ画像データを現像するＲＡＷ画像現像部と、を備えたものである。
【０００８】
本発明の第２の態様に係る画像処理方法は、ＲＡＷ画像データを解析して、前記ＲＡＷ画像データの現像で使用される第１のパラメータを生成するとともに、前記ＲＡＷ画像データに付与されたＥｘｉｆ情報に基づいて、前記ＲＡＷ画像データの現像で使用される第２のパラメータを生成するパラメータ生成ステップと、前記パラメータ生成ステップにおいて生成された第１のパラメータ及び第２のパラメータに基づいて、前記ＲＡＷ画像データを現像するＲＡＷ画像現像ステップと、を備えたものである。
【発明の効果】
【０００９】
上述した本発明の各態様によれば、ＲＡＷ画像データの現像に使用するパラメータを得る際の処理負荷を低減することができる画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態に係るＲＡＷ動画データ処理システムの構成を示す図である。
【図２】実施の形態に係る撮像装置の構成を示す図である。
【図３】実施の形態に係る現像装置の構成を示す図である。
【図４】実施の形態に係るＲＡＷ動画データの構成と、そのＲＡＷ動画データから生成されるパラメータとの関係を示す図である。
【図５】実施の形態に係る現像装置の機能ブロックを示す図である。
【図６】実施の形態に係る現像装置の処理を示すシーケンス図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本発明の実施の形態について説明する。以下の実施の形態に示す具体的な数値などは、実施の形態の理解を容易とするための例示にすぎず、特に断る場合を除き、それに限定されるものではない。また、以下の記載及び図面では、説明の明確化のため、当業者にとって自明な事項などについては、適宜、省略及び簡略化がなされている。
【００１２】
＜ＲＡＷ動画データ処理システムの構成＞
まず、図１を参照して、本発明の実施の形態に係るＲＡＷ動画データ処理システム１の構成について説明する。ＲＡＷ動画データ処理システム１は、ＲＡＷ動画データからストリーミングで利用可能な動画データを生成するシステムである。図１に示すように、ＲＡＷ動画データ処理システム１は、撮像装置２と、ＰＣ（Personal Computer）３と、現像装置４とを有する。
【００１３】
撮像装置２は、被写体を撮像してＲＡＷ動画データを生成する。より具体的には、撮像装置２は、所定の時間間隔で被写体を撮像して複数のＲＡＷ画像データ（ＲＡＷ静止画データ）を生成する。すなわち、上述のＲＡＷ動画データは、複数のＲＡＷ画像データによって構成される。
【００１４】
ＰＣ３は、ＵＳＢケーブルによって撮像装置２と接続可能である。ＲＡＷ動画データは、ＵＳＢケーブルを介した通信によって撮像装置２からＰＣ３へ転送される。また、ＰＣ３は、ＵＳＢケーブルによって現像装置４と接続可能である。撮像装置２から転送されたＲＡＷ動画データは、ＵＳＢケーブルを介した通信によってＰＣ３から現像装置４へ転送される。
【００１５】
現像装置４は、ＰＣ３から転送されたＲＡＷ動画データを現像する。以下、このＲＡＷ動画データを現像することで生成された動画データを「現像動画データ」とも呼ぶ。現像動画データは、ＵＳＢケーブルを介した通信によって現像装置４からＰＣ３へ転送される。
【００１６】
ＰＣ３は、現像装置４から転送された現像動画データを再生して、ＰＣ３と接続された表示装置（図示せず）に表示することが可能である。この表示装置として、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、又はプラズマディスプレイ等の各種表示装置のうち、任意の表示装置を利用してよい。
【００１７】
＜撮像装置の構成＞
続いて、図２を参照して、本発明の実施の形態に係る撮像装置２の構成について説明する。図２に示すように、撮像装置２は、イメージセンサ１１と、プリプロセス回路１２と、ＣＰＵ（Central Processing Unit）１３と、ディスプレイ１４と、ＵＳＢ（Universal Serial Bus）ホストバスアダプタ１５と、ＲＡＭ（Random Access Memory）１６と、ＳＤカード１７と、画像処理ブロック１８とを有する。以下、ＵＳＢホストバスアダプタを「ＵＳＢアダプタ」とも呼ぶ。
【００１８】
イメージセンサ１１は、レンズ（図示せず）を介して被写界の画像を電圧値で示す画像情報を生成する。
【００１９】
プリプロセス回路１２は、イメージセンサ１１によって生成された画像情報をデジタルデータ化するとともに、イメージセンサ１１の欠陥画素補正などの前処理を行うことで、画像情報からＲＡＷ画像データを生成する。なお、欠陥画素補正は、予め認識されているイメージセンサ１１の欠陥画素に対応する情報を、周辺の画素の情報に基づいて補完する処理である。プリプロセス回路１２は、生成したＲＡＷ画像データをＲＡＭ１６に格納する。ここで、プリプロセス回路１２は、所定の一定時間間隔毎にＲＡＷ画像データを繰り返し生成する。これにより、複数のＲＡＷ画像データによって構成されるＲＡＷ動画データが生成される。
【００２０】
ＣＰＵ１３は、撮像装置２を統括的に制御する。ＣＰＵ１３は、例えば、ＲＡＭ１６に格納されたプログラムを実行することによって、撮像装置２を制御する処理を実行する。すなわち、ＲＡＭ１６に格納されたプログラムは、撮像装置２を制御する処理をＣＰＵ１３に実行させるコードを含む。なお、このプログラムは、撮像装置２が有する不揮発性記憶装置（例えばフラッシュメモリ又はハードディスク等）からＲＡＭ１６にロードされてＣＰＵ１３によって実行されてもよいことは言うまでもない。
【００２１】
ディスプレイ１４は、任意の画像を表示する表示装置である。ディスプレイ１４として、上述の各種表示装置のうち、任意の表示装置を利用してよい。
【００２２】
ＵＳＢアダプタ１５は、上述のＵＳＢケーブルが接続される。ＵＳＢアダプタ１５は、ＣＰＵ１３からの制御に応じて、後述のようにＳＤカード１７に格納されたＲＡＷ動画データをＰＣ３に転送する。
【００２３】
ＲＡＭ１６は、撮像装置２で利用される任意のデータが格納される揮発性メモリである。ＲＡＭ１６は、上述したようにＲＡＷ動画データ（複数のＲＡＷ画像データ）及びプログラム等が格納される。
【００２４】
ＳＤカード１７は、ＲＡＷ動画データが格納されるメモリカードである。プリプロセス回路１２によってＲＡＭ１６に順次格納される複数のＲＡＷ画像データは、最終的にＲＡＷ動画データとしてＳＤカード１７に格納される。
【００２５】
より具体的には、ＣＰＵ１３は、所定のタイミングで、ＲＡＭ１６に蓄積された複数のＲＡＷ画像データをＳＤカード１７に書き出す。所定のタイミングは、例えば、所定の一定時間間隔毎のタイミング又はＲＡＭ１６に格納された複数のＲＡＷ画像データの合計サイズが所定量に達したタイミング等である。また、このときに、ＣＰＵ１３は、撮影条件などに基づいて撮影情報及びＥｘｉｆ情報を生成し、ＲＡＷ画像データに付与する。これにより、撮影が終了するまでに生成された全てのＲＡＷ画像データと、それらに付与された撮影情報及びＥｘｉｆ情報とを含むＲＡＷ動画データがＳＤカード１７に格納される。なお、撮影情報及びＥｘｉｆ情報は、１つのＲＡＷ画像データに対して１つ付与してもよく、複数のＲＡＷ画像データに対して１つ付与するようにしてもよい。
【００２６】
画像処理ブロック１８は、ＣＰＵ１３からの制御に応じて、ＲＡＭ１６に格納されたＲＡＷ動画データの画像処理を行う回路である。この画像処理は、ＲＡＷ動画データに含まれる複数のＲＡＷ画像データのそれぞれを、現像する処理と、ディスプレイ１４のサイズに合わせて縮小する処理とが含まれる。すなわち、プリプロセス回路１２によってＲＡＭ１６に順次格納される複数のＲＡＷ画像データは、上述したようにＳＤカード１７に書き出されるとともに、画像処理ブロック１８によって順次画像処理が行われる。画像処理ブロック１８は、画像処理においてＲＡＷ画像データを現像することで生成した画像データをディスプレイ１４に出力する。以下、ＲＡＷ画像データを現像することで生成された画像データを「現像画像データ」とも呼ぶ。ディスプレイ１４は、画像処理ブロック１８から出力された現像画像データが示す画像を表示する。これにより、複数の現像画像データによって構成される現像動画データのプレビュー動画がディスプレイ１４に表示される。
【００２７】
＜現像装置の構成＞
続いて、図３を参照して、本発明の実施の形態に係る現像装置４の構成について説明する。図３に示すように、現像装置４は、ＣＰＵ２１と、ＵＳＢアダプタ２２と、ＲＡＭ２３と、ＲＡＷ解析ブロック２４と、画像処理ブロック２５と、動画コーデック２６とを有する。
【００２８】
ＣＰＵ２１は、現像装置４を統括的に制御する。ＣＰＵ２１は、例えば、ＲＡＭ２３に格納されたプログラムを実行することによって、現像装置４を制御する処理を実行する。すなわち、ＲＡＭ２３に格納されたプログラムは、現像装置４を制御する処理をＣＰＵ２１に実行させるコードを含む。なお、このプログラムは、現像装置４が有する不揮発性記憶装置（例えばフラッシュメモリ又はハードディスク等）からＲＡＭ２３にロードされてＣＰＵ２１によって実行されてもよいことは言うまでもない。
【００２９】
ＵＳＢアダプタ２２は、上述のＵＳＢケーブルが接続される。ＵＳＢアダプタ２２は、ＣＰＵ２１からの制御に応じて、ＰＣ３から転送されたＲＡＷ動画データを受信し、ＲＡＭ２３に格納する。また、ＵＳＢアダプタ２２は、ＣＰＵ２１からの制御に応じて、後述のようにＲＡＷ動画データから生成された現像動画データをＲＡＭ２３から取得し、ＰＣ３に転送する。
【００３０】
ＲＡＭ２３は、撮像装置２で利用される任意のデータが格納される揮発性メモリである。ＲＡＭ２３は、上述したようにＲＡＷ動画データ（複数のＲＡＷ画像データ）、現像動画データ（複数の現像画像データ）、及びプログラム等が格納される。
【００３１】
ＲＡＷ解析ブロック２４は、ＣＰＵ２１からの制御に応じて、ＲＡＭ２３に格納されたＲＡＷ動画データを解析する回路である。ＲＡＷ解析ブロック２４は、ＲＡＷ動画データに含まれる複数のＲＡＷ画像データのそれぞれを解析して、その複数のＲＡＷ画像データのそれぞれの特徴量を抽出する。ＣＰＵ２１は、ＲＡＷ解析ブロック２４によって生成された特徴量に基づいて、ＲＡＷ画像データの現像に使用するパラメータを生成する。なお、１つのＲＡＷ画像データからそのＲＡＷ画像データに対する特徴量を算出してもよく、複数のＲＡＷ画像データからそれら複数のＲＡＷ画像データのそれぞれに対する特徴量を算出してもよい。
【００３２】
画像処理ブロック２５は、ＣＰＵ２１からの制御に応じて、ＲＡＭ３に格納されたＲＡＷ動画データの画像処理を行う回路である。この画像処理は、ＲＡＷ動画データに含まれる複数のＲＡＷ画像データのそれぞれを現像する現像処理が含まれる。この現像処理は、ＲＡＷ画像データに対する各種補正をする処理が含まれる。ＣＰＵ２１は、ＲＡＷ画像データに付与されたＥｘｉｆ情報に基づいて生成したパラメータと、ＲＡＷ画像データの特徴量に基づいて生成したパラメータとを指定して、そのＲＡＷ画像データの画像処理を画像処理ブロック２５に行わせる。これにより、画像処理ブロック２５は、ＣＰＵ２１から指定されたパラメータを使用して適切な現像処理を行う。画像処理ブロック２５は、ＲＡＷ動画データを現像することで生成した現像動画データをＲＡＭ２３に格納する。
【００３３】
動画コーデック２６は、ＣＰＵ２１からの制御に応じて、ＲＡＭ２３に格納された現像動画データを、ストリーミングで利用可能な現像動画データに変換する。以下、このストリーミングで利用可能な動画データを「動画ストリーム」とも呼ぶ。動画コーデック２６は、現像動画データを変換することで生成した動画ストリームをＲＡＭ２３に格納する。動画ストリームは、例えば、ＭＰＥＧ（Moving Picture Experts Group）形式の動画データである。
【００３４】
＜現像装置におけるパラメータ生成方法＞
続いて、図４及び図５を参照して、本発明の実施の形態に係る撮像装置２および現像装置４におけるパラメータ生成方法について説明する。図４は、本発明の実施の形態に係るＲＡＷ動画データの構成と、そのＲＡＷ動画データから生成されるパラメータとの関係を示す図である。図５は、本発明の実施の形態に係る現像装置４の機能ブロックを示す図である。
【００３５】
図４に示すように、ＲＡＷ動画データは、撮影情報と、複数のＥｘｉｆ情報と、複数のＲＡＷ画像データとを有する。
【００３６】
撮影情報は、ＲＡＷ動画データのヘッダに含まれる。すなわち、図４では、ＲＡＷ動画データに含まれる全てのＲＡＷ画像データに対して１つの撮影情報が付与されている例を示している。撮影情報は、撮影によってＲＡＷ動画データを生成した際の撮影条件を示す情報である。撮影情報は、例えば、被写体輝度情報、ＩＳＯ感度情報、レンズ情報、光源情報、撮影絞り情報、及び、撮影シャッタースピード情報などの情報が含まれる。これらの情報は、例えば、Ｅｘｉｆに準じた形式で撮影情報に含まれている。
【００３７】
被写体輝度情報は、撮影した被写体の輝度を示す情報である。ＩＳＯ感度情報は、撮影時におけるＩＳＯ感度を示す情報である。レンズ情報は、例えばレンズの種類及び焦点距離などを示す情報である。光源情報は、例えば撮影時における光源の種類及び色温度などを示す情報である。撮影絞り情報は、撮影時における絞り値（Ｆ値）を示す情報である。撮影シャッタースピード情報は、撮影時におけるシャッタースピードを示す情報である。
【００３８】
複数のＥｘｉｆ情報のそれぞれは、所定数単位のＲＡＷ画像データのそれぞれに付与されている。図４では、Ｎ個のＲＡＷ画像データに対して１つＥｘｉｆ情報が付与されている例を示している（Ｎは、所定の正整数）。Ｅｘｉｆ情報は、例えば、その中のメーカノート部分において、ホワイトバランス（ＷＢ）係数、オプティカルブラック（ＯＢ）係数、及び、カラーマトリクス（ＣＣＭ）等の情報が含まれている。
【００３９】
また、図５に示すように、現像装置４は、機能ブロックとして、情報取得部３１と、ＲＡＷ画像解析部３２と、第１のパラメータ算出部３３と、第２のパラメータ算出部３４と、ＲＡＷ画像現像部３５とを有する。
【００４０】
ここで、ＣＰＵ２１が、情報取得部３１、第１のパラメータ算出部３３、第２のパラメータ算出部３４として機能する。ＲＡＷ解析ブロック２４が、ＲＡＷ画像解析部３２として機能する。画像処理ブロック２５が、ＲＡＷ画像現像部３５として機能する。
【００４１】
情報取得部３１は、ＲＡＭ２３に格納されたＲＡＷ動画データから撮影情報及びＥｘｉｆ情報を取得する。
【００４２】
ＲＡＷ画像解析部３２は、ＲＡＷ動画データに含まれる複数のＲＡＷ画像データのそれぞれを解析する。ＲＡＷ画像解析部３２は、ＲＡＷ画像データを解析して、その特徴量を抽出する。この特徴量として、例えば、ＲＡＷ画像データにおける、ノイズ量、色再現性、輝度分布、軸外色収差、及びエッジ強度などが抽出される。
【００４３】
第１のパラメータ算出部３３は、ＲＡＷ画像解析部３２によって抽出された特徴量に基づいて、その特徴量が抽出されたＲＡＷ画像データの現像に使用する第１のパラメータを生成する。すなわち、ＲＡＷ画像データにおける、ノイズ量、色再現性、輝度分布、軸外色収差、及び、エッジ強度のそれぞれを補正する補正量である第１のパラメータ群（第１のパラメータセット）が生成される。
【００４４】
なお、第１のパラメータは、既存の技術のうち、任意の技術を利用して生成するようにしてよいが、例えば、概略的には以下のように生成される。
【００４５】
ノイズ量に対する第１のパラメータは、画像処理ブロック２５による画像処理におけるノイズ量の補正処理（ノイズリダクション）で使用される補正量である。ノイズ量に対する第１のパラメータとして、特徴量として抽出されたノイズ量が大きくなるに従って、ノイズを低減する強さをより強くするような補正量が算出される。
【００４６】
色再現性に対する第１のパラメータは、画像処理ブロック２５による画像処理における色再現性の補正処理で使用される補正量である。色再現性に対する第１のパラメータとして、特徴量として抽出された色再現性に基づいて、画素が明るくなる又は暗くなるに従って、より色を落とすような補正量が算出される。
【００４７】
輝度分布に対する第１のパラメータは、画像処理ブロック２５による画像処理における輝度分布の補正処理（ガンマ補正）で使用される補正量である。すなわち、輝度補正処理は、ガンマカーブ（トーンカーブ）を補正する処理である。輝度分布に対する第１のパラメータとして、特徴量として抽出された輝度分布に基づいて、ガンマカーブの補正量が算出される。
【００４８】
軸外色収差に対する第１のパラメータは、画像処理ブロック２５による画像処理における軸外色収差の補正処理で使用される補正量である。軸外色収差に対する第１のパラメータとして、特徴量として抽出された軸外色収差に基づいて、ＲＡＷ画像データにおける赤色と青色の位置のずれを修正する補正量が算出される。
【００４９】
エッジ強度に対する第１のパラメータとして、画像処理ブロック２５による画像処理におけるエッジ強度の補正処理で使用される補正量である。エッジ強度に対する第１のパラメータは、特徴量として抽出されたエッジ強度が小さくなるに従って、よりエッジ強度を強くする補正量が算出される。
【００５０】
この際に、第１のパラメータ算出部３３は、情報取得部３１によって取得された撮影情報のうち、任意の情報を利用して第１のパラメータを補正する。ここでは、撮影情報のうち、（１）撮影絞り情報を利用して第１のパラメータを補正する場合と、（２）ＩＳＯ感度情報を利用して第１のパラメータを補正する場合の例について説明する。
【００５１】
（１）撮影絞り情報
一般的に、撮影時の絞りで画像のシャープさが分かる。撮影時における絞りが強くなるに従って、画像のボケが強くなることが知られている。これは回折現象と呼ばれる。そこで、第１のパラメータ算出部３３は、撮影絞り情報が示す撮影絞りが強くなるに従って、よりエッジ強度を強くするように、エッジ強度に対する第１のパラメータを補正する。これによれば、エッジ強度に対する第１のパラメータとして、より最適な補正量を算出することができる。
【００５２】
（２）ＩＳＯ感度情報
ノイズ量の解析では、ＲＡＷ画像データにおいて画素値が平坦な部分を検出し、その部分の画素値を基準とした画素値の変化をノイズ量として算出する。しかしながら、上手に画素値が平坦な部分を検出することができなかった場合には、正常な画素値の変化をノイズとして誤検出してしまう場合がある。
【００５３】
一方で、一般的に、撮影時におけるＩＳＯ感度が強くなるに従って、ノイズが強くなることが知られている。そこで、第１のパラメータ算出部３３は、ノイズ量に対する第１のパラメータが所定の正常範囲内であるか否かを判定し、正常範囲外であると判定した場合には、その第１のパラメータをＩＳＯ感度情報が示すＩＳＯ感度に基づいて導出した第１のパラメータに補正する。一方、第１のパラメータ算出部３３は、ノイズ量に対する第１のパラメータが所定の正常範囲内であると判定した場合には、この第１のパラメータの補正は行わない。
【００５４】
なお、上述したようにＩＳＯ感度とノイズ量との関係が知られており、ＩＳＯ感度からノイズ量を推定することができる。言い換えると、ＩＳＯ感度に基づいて、ノイズ量の補正処理に対する補正量を予め推定することができる。そこで、ＩＳＯ感度と、そのＩＳＯ感度で推定されるノイズ量に対する第１のパラメータとを対応付けた情報を撮像装置２内に予め用意しておく。この情報は、例えば、現像装置４のＲＡＭ２３又は不揮発性記憶装置などに格納しておく。そして、第１のパラメータ算出部３３は、その情報に基づいて、ＩＳＯ感度情報が示すＩＳＯ感度から第１のパラメータを導出するようにすればよい。
【００５５】
第２のパラメータ算出部３４は、情報取得部３１によって取得されたＥｘｉｆ情報に基づいて、そのＥｘｉｆ情報が付与されたＲＡＷ画像データの現像に使用する第２のパラメータを生成する。すなわち、Ｅｘｉｆ情報に含まれる、ホワイトバランス係数、オプティカルブラック係数、及び、カラーマトリクスのそれぞれが第２のパラメータ群（第２のパラメータセット）として生成される。
【００５６】
ホワイトバランス係数で示される第２のパラメータは、画像処理ブロック２５による画像処理における色再現性の補正処理で使用される補正量となる。オプティカルブラック係数で示される第２のパラメータは、画像処理ブロック２５による画像処理における輝度分布の補正処理で使用される補正量となる。カラーマトリクスで示される第２のパラメータは、画像処理ブロック２５による画像処理における色再現性の補正処理で使用される補正量となる。
【００５７】
なお、以上の説明では、ノイズ量、色再現性、輝度分布、軸外色収差、及び、エッジ強度の全てを補正する例について説明したが、これに限られない。これらのうち、少なくとも１つについて補正を行うようにしてもよい。その場合、実施する補正に対応する特徴量のみを抽出するようにすればよい。
【００５８】
また、第１のパラメータ算出部３３と第２のパラメータ算出部３４は、パラメータが急激な変化をしないように、パラメータに対してヒステリシス制御を行う。以下、その方法について、図４を参照して説明する。
【００５９】
図４では、Ｅｘｉｆ情報に基づいて、２つの第２のパラメータ「パラメータＡ」、「パラメータＢ」が生成され、そのＥｘｉｆ情報が付与されたＮ個のＲＡＷ画像データを解析することで、２つの第１のパラメータ「パラメータＣ」、「パラメータＤ」が生成される例について示している。
【００６０】
１つ目の情報群「Ｅｘｉｆ情報１」、「ＲＡＷ画像データ１−１」〜「ＲＡＷ画像データ１−Ｎ」に基づいて、第２のパラメータ「パラメータＡ１」、「パラメータＢ１」と、第１のパラメータ「パラメータＣ１」、「パラメータＤ１」とが生成される。これらのパラメータに基づいて、画像処理ブロック２５において「ＲＡＷ画像データ１−１」〜「ＲＡＷ画像データ１−Ｎ」の現像処理が行われる。
【００６１】
２つ目の情報群「Ｅｘｉｆ情報２」、「ＲＡＷ画像データ２−１」〜「ＲＡＷ画像データ２−Ｎ」に基づいて、第２のパラメータ「パラメータＡ２」、「パラメータＢ２」と、第１のパラメータ「パラメータＣ２」、「パラメータＤ２」とが生成される。
【００６２】
このときに、第２のパラメータ算出部３４は、今回生成した「パラメータＡ２」、「パラメータＢ２」のそれぞれと、前回生成した「パラメータＡ１」、「パラメータＢ１」のそれぞれとを平均化する。より具体的には、「パラメータＡ２」と「パラメータＡ１」とを加算して、それらのパラメータ数「２」で割った結果を最終的なパラメータ「パラメータＡ２’」とする。「パラメータＢ２」と「パラメータＢ１」とを加算して、それらのパラメータ数「２」で割った結果を最終的なパラメータ「パラメータＢ２’」とする。
【００６３】
また、第１のパラメータ算出部３３も、今回生成した「パラメータＣ２」、「パラメータＤ２」のそれぞれと、前回生成した「パラメータＣ１」、「パラメータＤ１」のそれぞれとを平均化する。より具体的には、「パラメータＣ２」と「パラメータＣ１」とを加算して、それらのパラメータ数「２」で割った結果を最終的なパラメータ「パラメータＣ２’」とする。「パラメータＤ２」と「パラメータＤ１」とを加算して、それらのパラメータ数「２」で割った結果を最終的なパラメータ「パラメータＤ２’」とする。
【００６４】
これらのパラメータ「パラメータＡ２’」、「パラメータＢ２’」、「パラメータＣ２’」、「パラメータＤ２’」に基づいて、画像処理ブロック２５において「ＲＡＷ画像データ１−２」〜「ＲＡＷ画像データ２−Ｎ」の現像処理が行われる。
【００６５】
３つ目の情報群「Ｅｘｉｆ情報３」、「ＲＡＷ画像データ３−１」〜「ＲＡＷ画像データ３−Ｎ」に基づいて、第２のパラメータ「パラメータＡ３」、「パラメータＢ３」と、第１のパラメータ「パラメータＣ３」、「パラメータＤ３」とが生成される。
【００６６】
このときに、第２のパラメータ算出部３４は、今回生成した「パラメータＡ３」、「パラメータＢ３」のそれぞれと、前回生成した「パラメータＡ２’」、「パラメータＢ２’」のそれぞれとを平均化する。より具体的には、「パラメータＡ３」と「パラメータＡ２’」とを加算して、それらのパラメータ数「２」で割った結果を最終的なパラメータ「パラメータＡ２’」とする。「パラメータＢ３」と「パラメータＢ２’」とを加算して、それらのパラメータ数「２」で割った結果を最終的なパラメータ「パラメータＢ３’」とする。
【００６７】
また、第１のパラメータ算出部３３も、今回生成した「パラメータＣ３」、「パラメータＤ３」のそれぞれと、前回生成した「パラメータＣ２’」、「パラメータＤ２’」のそれぞれとを平均化する。より具体的には、「パラメータＣ３」と「パラメータＣ２’」とを加算して、それらのパラメータ数「２」で割った結果を最終的なパラメータ「パラメータＣ３’」とする。「パラメータＤ３」と「パラメータＤ２’」とを加算して、それらのパラメータ数「２」で割った結果を最終的なパラメータ「パラメータＤ３’」とする。
【００６８】
これらのパラメータ「パラメータＡ３’」、「パラメータＢ３’」、「パラメータＣ３’」、「パラメータＤ３’」に基づいて、画像処理ブロック２５において「ＲＡＷ画像データ１−２」〜「ＲＡＷ画像データ２−Ｎ」の現像処理が行われる。
【００６９】
以降も同様にして、第１のパラメータ算出部３３及び第２のパラメータ算出部３４は、今回生成したパラメータと前回生成したパラメータを平均化したパラメータを最終的なパラメータとして生成する。これによれば、ＲＡＷ動画データに含まれる一連のＲＡＷ画像データのそれぞれに対するパラメータの急激な変化を抑制することができる。そのため、それらのパラメータを使用して生成される現像動画データにおいて急激な画像の変化を抑制し、より自然かつ画質の良い動画の再生を可能とすることがきる。
【００７０】
なお、以上の説明では、パラメータの平均化として、パラメータの相加平均を算出する例について説明したが、これに限られない。パラメータの平均化として、相乗平均及び加重平均などの他の平均化の手法を採用するようにしてよい。また平均化処理に追加して、クリッピング処理によりParameterの範囲を制限する処理を行っても良い。
【００７１】
また、以上の説明では、第１のパラメータと第２のパラメータの両方についてヒステリシス制御を実施する例について説明したが、これに限られない。第１のパラメータと第２のパラメータのうち、少なくとも１つについてヒステリシス制御を実施するようにしてもよい。しかしながら、好ましくは、上述したように第１のパラメータと第２のパラメータの両方についてヒステリシス制御を実施することで、より自然かつ画質の良い動画の再生を可能とすることがきる。
【００７２】
ＲＡＷ画像現像部３５は、第１のパラメータ算出部３３によって生成された第１のパラメータと、第２のパラメータ算出部３４によって生成された第２のパラメータに基づいて、ＲＡＷ画像データを現像する。
【００７３】
＜現像装置の処理＞
続いて、図６を参照して、本発明の実施の形態に係る現像装置４の処理の流れについて説明する。
【００７４】
ＵＳＢアダプタ２２は、ＰＣ３から受信したＲＡＷ動画データをＲＡＭ２３に格納する（Ｓ１）。ＲＡＷ解析ブロック２４（ＲＡＷ画像解析部３２）は、ＲＡＭ２３に格納されたＲＡＷ動画データを取得し、解析する（Ｓ２、Ｓ３）。ＲＡＷ解析ブロック２４は、解析結果となる特徴量をＣＰＵ２１に出力する（Ｓ４）。
【００７５】
ＣＰＵ２１（情報取得部３１、第１のパラメータ算出部３３、第２のパラメータ算出部３４）は、ＲＡＭ２３に格納されたＲＡＷ動画データから取得した撮影情報及びＥｘｉｆ情報と、ＲＡＷ解析ブロック２４から出力された特徴量に基づいて、パラメータを生成する（Ｓ５、Ｓ６）。ＣＰＵ２１は、生成したパラメータを画像処理ブロック２５に出力する（Ｓ７）。
【００７６】
画像処理ブロック２５（ＲＡＷ画像現像部３５）は、ＲＡＭ２３に格納されたＲＡＷ動画データを取得し、ＣＰＵ２１から出力されたパラメータに基づいて現像する（Ｓ８、Ｓ９）。画像処理ブロック２５は、現像することで生成した現像動画データをＲＡＭ２３に格納する（Ｓ１０）。
【００７７】
動画コーデック２６は、ＲＡＭ２３に格納された現像動画データを取得し、動画ストリームに変換する（Ｓ１１、Ｓ１２）。動画コーデック２６は、生成した動画ストリームをＲＡＭ２３に格納する（Ｓ１３）。ＵＳＢアダプタ２２は、ＲＡＭ２３に格納された動画ストリームを取得し、ＰＣ３に送信する（Ｓ１４）。
【００７８】
＜本実施の形態の効果＞
以上に説明したように、本実施の形態では、第１のパラメータ算出部３３は、ＲＡＷ画像データを解析して、ＲＡＷ画像データの現像で使用される第１のパラメータを生成し、第２のパラメータ算出部３４は、ＲＡＷ画像に含まれるＥｘｉｆ情報に基づいて、ＲＡＷ画像データの現像で使用される第２のパラメータを生成するようにしている。そして、ＲＡＷ画像現像部３５は、第１のパラメータ算出部３３によって生成された第１のパラメータと、第２のパラメータ算出部によって生成された第２のパラメータを使用して、ＲＡＷ画像データを現像するようにしている。
【００７９】
これによれば、ＲＡＷ画像データの現像に使用するパラメータのうち、一部のパラメータ（第２のパラメータ）についてＲＡＷ画像データを解析して生成することなく、ＲＡＷ画像データの現像を行うことが可能となる。よって、本実施の形態によれば、ＲＡＷ画像データの現像に使用するパラメータを得る際の処理負荷を低減することができる。例えば、ＲＡＷ画像データを解析してホワイトバランスの特徴量を算出し、その特徴量に基づいて第２のパラメータ（ホワイトバランス係数）を算出するといった手間を省くことが可能となる。
【００８０】
また、本実施の形態では、第１のパラメータ算出部３３は、ＲＡＷ画像データを生成した際の撮影条件を示す撮影情報に基づいて、第１のパラメータを補正するようにしている。これによれば、第１のパラメータをより適切な値に補正して、現像画像データの画質をより向上することができる。
【００８１】
また、本実施の形態では、第１のパラメータ算出部３３及び第２のパラメータ算出部３４は、第１のパラメータ及び第２のパラメータの少なくとも１つについて、第１のＲＡＷ画像データの現像に使用されたパラメータと、第１のＲＡＷ画像データの後の第２のＲＡＷ画像データから生成されたパラメータとを平均化したパラメータを生成するようにしている。そして、ＲＡＷ画像現像部３５は、第１のパラメータ算出部３３及び第２のパラメータ算出部３４によって平均化されたパラメータを使用して、第２のＲＡＷ画像データを現像するようにしている。
【００８２】
これによれば、第１のＲＡＷ画像データに対して使用されるパラメータと、第１のＲＡＷ画像データの後の第２のＲＡＷ画像データに対して使用されるパラメータとで急激な変化を無くすことができる。これによれば、パラメータを動画に適した値に補正することができる。
【００８３】
また、本実施の形態では、ＲＡＷ動画データから動画ストリームを生成するときに、リアルタイムでＲＡＷ動画データを解析して適切なパラメータを自動的に設定するようにしている。よって、ＲＡＷ動画データを解析して得たパラメータをそのＲＡＷ動画データに予め含めておく技術と比較して、本実施の形態では、ＲＡＷ動画データにそのようなパラメータが含めていないため、ＲＡＷ動画データのデータ量を低減することができる。また、ＲＡＷ動画データに含まれるパラメータに対して、ユーザーが複雑なＥｄｉｔ操作をする必要がなく、簡単にＲＡＷ動画データから高画質な動画ストリームを得ることができる。また、ＲＡＷ動画データにパラメータを含めない構成とすることができるため、ＲＡＷ動画データの現像に使用するパラメータが予め固定されることなく、現像を特定の現像装置に限らず実行することができる。
【００８４】
なお、本発明は上述の実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【００８５】
上述の実施の形態では、現像装置４によってＲＡＷ動画データから動画ストリームを生成する例について説明したが、撮像装置２が現像装置４の機能を有するようにし、撮像装置２によってＲＡＷ動画データから動画ストリームを生成するようにしてもよい。
【００８６】
上述の実施の形態では、ＲＡＷ動画データ処理システムが１つの現像装置４を有する例について説明したが、ＲＡＷ動画データ処理システムが複数の現像装置４を有するようにしてもよい。
【００８７】
上述の実施の形態では、ＣＰＵ２１がパラメータを生成する例について説明したが、ＣＰＵ２１とは別途設けられた専用のハードウェアブロック（回路）によってパラメータを生成するようにしてもよい。
【００８８】
上述の実施の形態では、動画ストリームをＲＡＭ２３に格納する例について説明したが、これに限られない。例えば、現像装置４がＳＤカードを有するようにし、そのＳＤカードに動画ストリームを格納するようにしてもよい。
【００８９】
上述の実施の形態では、動画を対象とした例について説明したが、静止画を対象としてもよい。例えば、写真撮影によって生成されたＲＡＷ画像データについても同様に現像をすることができる。
【００９０】
また、上述した現像装置４のＣＰＵ２１によって実行されるプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）を用いて格納され、コンピュータ（現像装置４）に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ  ｓｔｏｒａｇｅ  ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【００９１】
１  ＲＡＷ動画データ処理システム
２  撮像装置
３  ＰＣ
４  現像装置
１１  イメージセンサ
１２  プリプロセス回路
１３  ＣＰＵ
１４  ディスプレイ
１５  ＵＳＢアダプタ
１６  ＲＡＭ
１７  ＳＤカード
１８  画像処理ブロック
２１  ＣＰＵ
２２  ＵＳＢアダプタ
２３  ＲＡＭ
２４  ＲＡＷ解析ブロック
２５  画像処理ブロック
２６  動画コーデック
３１  Ｅｘｉｆ情報取得部
３２  ＲＡＷ画像解析部
３３  第１のパラメータ算出部
３４  第２のパラメータ算出部
３５  ＲＡＷ画像現像部
【図１】
2016127505.tif 000003
【図２】
2016127505.tif 000004
【図３】
2016127505.tif 000005
【図４】
2016127505.tif 000006
【図５】
2016127505.tif 000007
【図６】
2016127505.tif 000008