(57)【要約】      （修正有）【課題】色空間変換処理に伴う画質劣化を抑制する画像処理装置及び方法を提供する。【解決手段】画像信号変換処理は、入力されたＲＧＢ信号からＬＭＳ信号へ変換するＳ３０２。入力されたＬＭＳ信号に対して、ＩＴＵ勧告ＢＴ．２１００において規定されているＰＱ  ＯＥＴＦに従って第１の階調変換処理を行うＳ３０３。ＬＭＳ色空間をＩＰ’Ｔ’色空間に変換するＳ３０４。入力された画像信号を輝度成分（Ｉ信号）と、色信号（Ｐ’Ｔ’信号）とに分離し、色信号を水平方向にサブサンプリングする４２２変換処理を行うＳ３０５。中間色空間（ＩＰ’Ｔ’色空間）から出力色空間（ＩＰＴ色空間）への変換処理を行うＳ３０６。ＬＭＳ色空間をＩＰ’Ｔ’色空間に変換する処理により画像信号に適用されるゲインは、ＬＭＳ色空間をＩＰＴ色空間に変換する処理をＬＭＳ色空間の画像信号に適用した場合に画像信号に適用されるゲインよりも小さい。【選択図】図３
2020005067.tif 000002
【特許請求の範囲】
【請求項１】
第１の色空間を輝度成分と色成分とが分離された第２の色空間に変換する第２の色空間変換処理により、前記第１の色空間の第１の画像信号を前記第２の色空間の第２の画像信号に変換する第２の色空間変換手段と、
前記第２の色空間の前記第２の画像信号に画像処理を適用することにより前記第２の色空間の第３の画像信号を生成する画像処理手段と、
前記第２の色空間を第３の色空間に変換する第３の色空間変換処理により、前記第２の色空間の前記第３の画像信号を前記第３の色空間の第４の画像信号に変換する第３の色空間変換手段と、
を備え、
前記第１の色空間を前記第２の色空間に変換する前記第２の色空間変換処理により前記第１の色空間の前記第１の画像信号に適用されるゲインは、前記第１の色空間を前記第３の色空間に変換する色空間変換処理を前記第１の画像信号に適用した場合に前記第１の画像信号に適用されるゲインよりも小さい
ことを特徴とする画像処理装置。
【請求項２】
前記第２の色空間変換手段は、前記第１の画像信号に第１の変換行列を乗じることにより前記第１の画像信号を前記第２の画像信号に変換し、
前記第３の色空間変換手段は、前記第３の画像信号に第２の変換行列を乗じることにより前記第３の画像信号を前記第４の画像信号に変換し、
前記第１の変換行列の要素の絶対値の少なくとも一部は、前記第１の変換行列に前記第２の変換行列を乗じた場合に得られる第３の変換行列において対応する要素の絶対値よりも小さい
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の色空間は、前記第３の色空間を彩度方向に圧縮した色空間である
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第３の色空間は、ＩＰＴ色空間である
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
第２の階調特性に従う第２の階調変換処理により、第１の色空間の第１の画像信号を前記第１の色空間の第２の画像信号に変換する第２の階調変換手段と、
前記第１の色空間を輝度成分と色成分とが分離された第４の色空間に変換する第４の色空間変換処理により、前記第１の色空間の前記第２の画像信号を前記第４の色空間の第３の画像信号に変換する第４の色空間変換手段と、
前記第４の色空間の前記第３の画像信号に画像処理を適用することにより前記第４の色空間の第４の画像信号を生成する画像処理手段と、
前記第４の色空間を前記第１の色空間に変換する第５の色空間変換処理により、前記第４の色空間の前記第４の画像信号を前記第１の色空間の第５の画像信号に変換する第５の色空間変換手段と、
第３の階調特性に従う第３の階調変換処理により、前記第１の色空間の前記第５の画像信号を前記第１の色空間の第６の画像信号に変換する第３の階調変換手段と、
前記第１の色空間を第６の色空間に変換する第６の色空間変換処理により、前記第１の色空間の前記第６の画像信号を前記第６の色空間の第７の画像信号に変換する第６の色空間変換手段と、
を備え、
前記第２の階調特性は、前記第２の階調特性と前記第３の階調特性とを合成した階調特性よりも非線形性の度合いが小さい
ことを特徴とする画像処理装置。
【請求項６】
前記第４の色空間と前記第６の色空間とは同じ色空間である
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第１の色空間を前記第４の色空間に変換する前記第４の色空間変換処理により前記第１の色空間の前記第２の画像信号に適用されるゲインは、前記第１の色空間を前記第６の色空間に変換する色空間変換処理を前記第２の画像信号に適用した場合に前記第２の画像信号に適用されるゲインよりも小さい
ことを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記第２の階調特性は、Ｌｏｇガンマである
ことを特徴とする請求項５乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記第２の階調特性と前記第３の階調特性とを合成した前記階調特性は、ＰＱガンマ又はＨＬＧガンマである
ことを特徴とする請求項５乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
請求項１乃至４のいずれか１項に記載の画像処理装置と、
撮像手段と、
前記撮像手段により撮像された画像に基づいて前記第１の色空間の前記第１の画像信号を生成する生成手段と、
を備えることを特徴とする撮像装置。
【請求項１１】
請求項５乃至９のいずれか１項に記載の画像処理装置と、
撮像手段と、
前記撮像手段により撮像された画像に基づいて前記第１の色空間の前記第１の画像信号を生成する生成手段と、
を備えることを特徴とする撮像装置。
【請求項１２】
画像処理装置が実行する画像処理方法であって、
第１の色空間を輝度成分と色成分とが分離された第２の色空間に変換する第２の色空間変換処理により、前記第１の色空間の第１の画像信号を前記第２の色空間の第２の画像信号に変換する第２の色空間変換工程と、
前記第２の色空間の前記第２の画像信号に画像処理を適用することにより前記第２の色空間の第３の画像信号を生成する画像処理工程と、
前記第２の色空間を第３の色空間に変換する第３の色空間変換処理により、前記第２の色空間の前記第３の画像信号を前記第３の色空間の第４の画像信号に変換する第３の色空間変換工程と、
を備え、
前記第１の色空間を前記第２の色空間に変換する前記第２の色空間変換処理により前記第１の色空間の前記第１の画像信号に適用されるゲインは、前記第１の色空間を前記第３の色空間に変換する色空間変換処理を前記第１の画像信号に適用した場合に前記第１の画像信号に適用されるゲインよりも小さい
ことを特徴とする画像処理方法。
【請求項１３】
画像処理装置が実行する画像処理方法であって、
第２の階調特性に従う第２の階調変換処理により、第１の色空間の第１の画像信号を前記第１の色空間の第２の画像信号に変換する第２の階調変換工程と、
前記第１の色空間を輝度成分と色成分とが分離された第４の色空間に変換する第４の色空間変換処理により、前記第１の色空間の前記第２の画像信号を前記第４の色空間の第３の画像信号に変換する第４の色空間変換工程と、
前記第４の色空間の前記第３の画像信号に画像処理を適用することにより前記第４の色空間の第４の画像信号を生成する画像処理工程と、
前記第４の色空間を前記第１の色空間に変換する第５の色空間変換処理により、前記第４の色空間の前記第４の画像信号を前記第１の色空間の第５の画像信号に変換する第５の色空間変換工程と、
第３の階調特性に従う第３の階調変換処理により、前記第１の色空間の前記第５の画像信号を前記第１の色空間の第６の画像信号に変換する第３の階調変換工程と、
前記第１の色空間を第６の色空間に変換する第６の色空間変換処理により、前記第１の色空間の前記第６の画像信号を前記第６の色空間の第７の画像信号に変換する第６の色空間変換工程と、
を備え、
前記第２の階調特性は、前記第２の階調特性と前記第３の階調特性とを合成した階調特性よりも非線形性の度合いが小さい
ことを特徴とする画像処理方法。
【請求項１４】
コンピュータを、請求項１乃至４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１５】
コンピュータを、請求項５乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、ディスプレイで表示可能な最大輝度が高くなったことに伴って、従来は圧縮された状態で表示していた高輝度側の階調を、より見た目に近い階調で再現できるＨＤＲカメラシステムが提案されている。また、ＨＤＲカメラシステムにおいて、従来よりも広い輝度範囲を表現するため、従来とは特性の異なる新たなガンマカーブや色空間についての提案もなされている。
【０００３】
例えば、特許文献１では、ハイダイナミックレンジを持つ画像信号（ＨＤＲ画像信号）を表現するのに適した特性を持ち、かつ、従来から用いられてきた色空間（例えば、ＹＣｂＣｒ色空間）との互換性を有する色空間（ＩＣｔＣｐ色空間）が提案されている。特許文献１に記載の色空間のようなＨＤＲ画像信号用に提案されている色空間は、画像信号を色成分と輝度成分とに分離する際の色輝度分離特性が良いため、色成分と輝度成分との間のクロストークが生じにくい。このため、ＨＤＲカメラシステムにおいて、特に、ＨＤＲ画像信号の色成分と輝度成分とを分離して画像処理を行う際には、ＨＤＲ画像信号用の色空間を用いることが適している。
【０００４】
また、ＨＤＲ画像信号用に提案されているガンマカーブ（例えば、ＩＴＵ勧告  ＢＴ．２１００に規定されているＰＱ、ＨＬＧ）は、広い輝度範囲の信号を効率よく量子化するのに適したガンマ形状となっている。このため、ＨＤＲカメラシステムにおいて、ＨＤＲ画像信号を符号化、伝送する際には、ＨＤＲ画像信号用に提案されているガンマカーブを用いることが適している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１７−３３５３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般的に、既存のカメラシステムは、従来のガンマカーブや色空間を用いることを想定して最適化された構成となっている場合が多い。そのようなカメラシステムにおいて、ＨＤＲ画像信号用のガンマカーブや色空間を用いると、ノイズの強調や疑似輪郭などの画質劣化の原因となる場合がある。
【０００７】
例えば、カメラ内での画像処理においてＨＤＲ画像信号用の色空間を用いた場合、従来のＳＤＲ画像信号用の色空間を用いる場合と比較して、ノイズ成分が強調された状態で出力されることとなる。なぜなら、特許文献１で提案されている色空間を含め、ＨＤＲ画像信号用の色空間は、色空間変換処理時に画像信号に適用される信号変換のゲイン値が、従来の色空間を用いる場合に比べて大きな値である場合が多いからである。なお、色空間変換処理時のゲイン値とは、例えば、色空間変換処理に用いる変換マトリクスの係数の絶対値を指している。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、色空間変換処理に伴う画質劣化を抑制する技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、第１の色空間を輝度成分と色成分とが分離された第２の色空間に変換する第２の色空間変換処理により、前記第１の色空間の第１の画像信号を前記第２の色空間の第２の画像信号に変換する第２の色空間変換手段と、前記第２の色空間の前記第２の画像信号に画像処理を適用することにより前記第２の色空間の第３の画像信号を生成する画像処理手段と、前記第２の色空間を第３の色空間に変換する第３の色空間変換処理により、前記第２の色空間の前記第３の画像信号を前記第３の色空間の第４の画像信号に変換する第３の色空間変換手段と、を備え、前記第１の色空間を前記第２の色空間に変換する前記第２の色空間変換処理により前記第１の色空間の前記第１の画像信号に適用されるゲインは、前記第１の色空間を前記第３の色空間に変換する色空間変換処理を前記第１の画像信号に適用した場合に前記第１の画像信号に適用されるゲインよりも小さいことを特徴とする画像処理装置を提供する。
【発明の効果】
【００１０】
本発明によれば、色空間変換処理に伴う画質劣化を抑制することが可能となる。
【００１１】
なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【図面の簡単な説明】
【００１２】
【図１】デジタルカメラ１００の構成を示すブロック図。
【図２】第１の実施形態に係る、画像処理部１０５の色信号及び輝度信号に対する画像処理に関係する機能を示すブロック図。
【図３】第１の実施形態に係る、画像処理部１０５が実行する画像信号変換処理のフローチャート。
【図４】（ａ）ＲＧＢ信号からＬＭＳ信号へ変換する係数値を示す図、（ｂ）ＬＭＳ色空間からＹＣｂＣｒ色空間への変換係数を示す図、（ｃ）ＬＭＳ色空間からＩＰＴ色空間への変換係数を示す図、（ｄ）ＬＭＳ色空間からＩＰＴ色空間への変換係数を調整するスケール係数を示す図、（ｅ）図４（ｄ）においてスケール係数を０．５とした場合の変換係数を示す図、（ｆ）ＩＰ’Ｔ’色空間からＩＰＴ色空間への変換係数を示す図。
【図５】第２の実施形態に係る、画像処理部１０５の色信号及び輝度信号に対する画像処理に関係する機能を示すブロック図。
【図６】第２の実施形態に係る、画像処理部１０５が実行する画像信号変換処理のフローチャート。
【図７】（ａ）第２の階調変換処理部５０１が行う非線形の階調変換処理の特性の例を示す図、（ｂ）Ｓ６０１で画像信号に適用したガンマ特性（Ｌｏｇ）からＰＱ特性への変換特性を示す図。
【図８】第３の実施形態に係る、画像処理部１０５が実行する画像信号変換処理のフローチャート。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して、本発明の実施形態を説明する。添付図面の全体を通じて、同一の参照符号が付与された要素は、同一又は同様の要素を表す。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。
【００１４】
［第１の実施形態］
図１は、画像処理装置の一例であるデジタルカメラ１００の構成を示すブロック図である。図１において、レンズ群１０１は、フォーカスレンズ及びズームレンズを含む。絞り機能を備えるシャッター１０２が、レンズ群１０１と撮像部１０３との間に設けられている。撮像部１０３は、レンズ群１０１によって撮像面に形成される光学像を画素単位の電気信号に変換するＣＣＤ又はＣＭＯＳイメージセンサなどの撮像素子を有する。Ａ／Ｄ変換器１０４は、撮像部１０３が出力するアナログ信号をデジタル信号（画像データ）に変換する。
【００１５】
画像処理部１０５は、Ａ／Ｄ変換器１０４から出力される画像データに対し、色補間（デモザイク）、ホワイトバランス調整などの各種画像処理を行う。また、画像処理部１０５は、後述する通り、ガンマ変換や色空間変換を行う構成を持つ。画像メモリ１０６は、画像データを一時的に記憶する。メモリ制御部１０７は、画像メモリ１０６の読み書きを制御する。Ｄ／Ａ変換器１０８は、画像データをアナログ信号に変換する。表示部１０９は、ＬＣＤや有機ＥＬディスプレイ等の表示装置を有し、各種ＧＵＩやライブビュー画像、記録媒体１１２から読み出して再生した画像などを表示する。コーデック部１１０は、画像メモリ１０６に記憶されている画像データを記録媒体に記録するために予め定められた方法で符号化したり、画像ファイルに含まれる符号化画像データを例えば表示のために復号したりする。
【００１６】
Ｉ／Ｆ１１１（インタフェース）は、例えば半導体メモリカードやカード型ハードディスクなどの着脱可能な記録媒体１１２を、デジタルカメラ１００と機械的及び電気的に接続する。システム制御部５０は、例えばＣＰＵやＭＰＵなどのプログラマブルなプロセッサであってよい。システム制御部５０は、例えば不揮発性メモリ１２１に記録されたプログラムを実行して必要なブロックや回路を制御することにより、デジタルカメラ１００の機能を実現する。
【００１７】
不揮発性メモリ１２１は、電気的に消去・記録可能な、例えばＥＥＰＲＯＭ等であってよい。不揮発性メモリ１２１には、各種の設定値、ＧＵＩデータが記録される。また、システム制御部５０がＭＰＵやＣＰＵである場合には、不揮発性メモリ１２１には、システム制御部５０が実行するためのプログラムが記録される。システムメモリ１２２は、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読みだしたプログラム等を展開するために用いられる。
【００１８】
操作部１２０は、ユーザがデジタルカメラ１００に各種の指示を入力するためのボタンやスイッチなどの入力デバイスをまとめて示すブロックである。表示部１０９がタッチディスプレイである場合、タッチパネルは操作部１２０に含まれる。また、音声入力や視線入力など、非接触で指示を入力するタイプの入力デバイスが操作部１２０に含まれてもよい。
【００１９】
次に、上記のように構成されたデジタルカメラ１００における被写体撮影時の基本動作について説明する。撮像部１０３は、シャッター１０２が開いている際にレンズ群１０１が撮像面に形成する被写体像を撮像素子によって光電変換し、アナログ画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は、撮像部１０３から出力されるアナログ画像信号をデジタル画像信号（画像データ）に変換し画像処理部１０５に出力する。
【００２０】
画像処理部１０５は、Ａ／Ｄ変換器１０４からの画像データ、又は、メモリ制御部１０７からの画像データに対し、同時化処理（デモザイク処理）、ホワイトバランス調整などの各種画像処理を行う。また、画像処理部１０５では、撮影で得られた画像データを用いて輝度やコントラストなどに関する所定の演算処理を行う。システム制御部５０は、得られた演算結果に基づいて焦点調節（ＡＦ）や露光制御（ＡＥ）を行う。
【００２１】
画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、撮像部１０３から出力された画像データや、表示部１０９に表示するための画像データを格納する。
【００２２】
Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤ等の表示装置に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。
【００２３】
コーデック部１１０は、画像メモリ１０６に記録された画像データをＪＰＥＧやＭＰＥＧなどの規格に基づき符号化する。システム制御部５０は、符号化した画像データに対して予め定められたヘッダなどを付与して画像ファイルを形成し、Ｉ／Ｆ１１１を介して記録媒体１１２に記録する。
【００２４】
なお、デジタルカメラ１００は、撮影スタンバイ状態においては動画撮影を行い、撮影された動画を表示部１０９に表示し続けることにより表示部１０９を電子ビューファインダ（ＥＶＦ）として機能させるように構成されていてもよい。この場合、デジタルカメラ１００は、撮影スタンバイ状態においてシャッター１０２を開いた状態とし、撮像部１０３のいわゆる電子シャッターを用いて例えば３０フレーム／秒の撮影を行う。そして、操作部１２０に含まれるシャッターボタンが半押しされると上述のＡＦ及びＡＥの制御が行われ、シャッターボタンが全押しされると本撮影により記録用の静止画撮影が実行され、記録媒体１１２に記録される。また、動画撮影ボタンなどにより動画撮影が指示された場合は、デジタルカメラ１００は、記録媒体１１２への動画記録を開始する。
【００２５】
図２は、第１の実施形態に係る、画像処理部１０５の色信号及び輝度信号に対する画像処理に関係する機能を示すブロック図である。画像処理部１０５は、画像信号生成部２０１、第１の色空間変換処理部２０２、第１の階調変換処理部２０３、第２の色空間変換処理部２０４、色輝度別信号処理部２０５、第３の色空間変換処理部２０６を備える。なお、図２に示す機能ブロックの１つ以上は、マイクロプロセッサとソフトウェアの組み合わせよって実現されてもよいし、ＡＳＩＣ(Application Specific Integrated Circuit)やＰＬＤ(Programmable Logic Device)のようなハードウェアによって実現されてもよい。ＰＬＤにはＦＰＧＡ(Field-Programmable Gate Array）、ＰＬＡ(Programmable Logic Array)などが含まれる。
【００２６】
次に、図３を参照して、第１の実施形態に係る、画像処理部１０５が実行する画像信号変換処理の流れを説明する。以下では、画像処理部１０５の最終的な出力信号としてＰＱガンマを適用したＩＰＴ色空間の画像信号を生成する場合を例にとって説明を行う。即ち、以下の説明において、画像処理部１０５が最終的に出力する画像信号の階調特性（以下、「出力階調特性」と呼ぶ）及び色空間（以下、「出力色空間」と呼ぶ）は、それぞれＰＱ及びＩＰＴである。しかしながら、本実施形態の出力階調特性及び出力色空間は、ＰＱ及びＩＰＴに限定されず、他の階調特性（ガンマ）や他の色空間を採用してもよい。なお、以下の説明では、画像信号に対応する階調特性と色空間とをハイフンで結んで、例えば「ＰＱ−ＩＰＴ」のように表記する。
【００２７】
Ｓ３０１で、画像信号生成部２０１は、画素あたり１色（Ｒ，Ｇ，Ｂのいずれか１つ）の情報を有する画像信号に同時化処理（デモザイク処理）を行い、各画素が３色（ＲＧＢ）の情報を有する画像信号を生成する。また、画像信号生成部２０１は、画像が見た目に好ましい色再現となるよう、画像信号の彩度や輝度を調整する処理を行ってもよい。画像信号生成部２０１は、生成した画像信号を第１の色空間変換処理部２０２へ出力する。
【００２８】
Ｓ３０２で、第１の色空間変換処理部２０２は、入力された画像信号の各色（Ｒ、Ｇ、Ｂ）に対して所定の係数を乗算することにより、第１の色空間変換処理を行う。例として、特許文献１に記載されているＢＴ．２０２０のＲＧＢ信号からＬＭＳ信号へ変換する係数値を図４（ａ）に示した。ＬＭＳ信号は、人の視覚系におけるＬＭＳ錐体の応答をモデル化したものである。このため、第１の色空間変換処理によって、撮像部１０３から出力された画像信号を、より人の視覚特性に合致した特性の信号へと変換することができる。第１の色空間変換処理部２０２は、変換した色信号（ＬＭＳ信号）を第１の階調変換処理部２０３へ出力する。
【００２９】
Ｓ３０３で、第１の階調変換処理部２０３は、入力された画像信号（ＬＭＳ信号）に対して、第１の階調変換処理を行う。第１の階調変換処理では、出力階調特性である、ＩＴＵ勧告  ＢＴ．２１００において規定されているＰＱ  ＯＥＴＦに従って変換が行われる。第１の階調変換処理部２０３は、ＰＱ  ＯＥＴＦに従う非線形階調変換を適用した画像信号（ＰＱ−ＬＭＳ）を、第２の色空間変換処理部２０４へ出力する。
【００３０】
Ｓ３０４で、第２の色空間変換処理部２０４は、入力された画像信号（ＰＱ−ＬＭＳ）に対して、第２の色空間変換処理を行う。第２の色空間変換処理における変換方法について詳しく説明する。第２の色空間変換処理部２０４は、入力された画像信号を、色信号と輝度信号とに分離した形式へと変換する。色信号（色成分）と輝度信号（輝度成分）とが分離された形式（色空間）の例として、従来のＳＤＲカメラシステムで用いられてきたＹＣｂＣｒ色空間（ＢＴ．２０２０色域）と、ＨＤＲカメラシステムに適した色空間の例であるＩＰＴ色空間とが挙げられる。
【００３１】
ここで、ＹＣｂＣｒ色空間への変換係数を図４（ｂ）に示し、ＩＰＴ色空間への変換係数を図４（ｃ）に示す。ＹＣｂＣｒ色空間において、色信号とはＣｂ，Ｃｒ信号を表し、輝度信号とはＹ信号を表している。同様に、ＩＰＴ色空間において、色信号とはＰ，Ｔ信号を表し、輝度信号とはＩ信号を表している。図４（ｂ）と図４（ｃ）とを比較すると、従来のＣｂ，Ｃｒ信号を算出する変換係数に比べて、Ｐ，Ｔ信号を算出する変換係数の絶対値が大きな値であることが分かる。従って、ＩＰＴ色空間への変換が行われる場合、第２の色空間変換処理部２０４に入力された画像信号に重畳しているノイズ成分や誤差成分がより強調され、出力される信号に疑似輪郭やノイズなどの画質劣化が生じる原因となる。
【００３２】
色空間の変換に伴う画質劣化を抑制するために、第２の色空間変換処理では、画像処理部１０５の出力色空間（ＩＰＴ色空間など）に変換する場合に比べて入力信号に適用されるゲインが小さくなる別の色空間（以下、「中間色空間」と呼ぶ）への変換を行う。具体的には、図４（ｄ）に示したように、色空間変換係数の絶対値を小さくするためのスケール係数として０＜ｂ＜１の範囲で定めた定数ｂを用いて、色空間変換係数を調整する。例として、ｂ＝０．５とした場合の変換係数を図４（ｅ）に示した。図４（ｃ）と図４（ｅ）とを比較すると、図４（ｅ）の方が変換係数の絶対値が小さくなっており、画像信号に重畳されるノイズ成分や誤差成分の強調の度合いが小さくなることが分かる。また、図４（ｅ）の変換係数による変換が行われた場合、入力信号は彩度方向に圧縮された状態に変換されることとなるが、色相の特性や色輝度分離特性に関しては出力色空間（ＩＰＴ色空間）と同等である。そのため、図４（ｅ）の変換係数に対応する中間色空間は、以降の画像処理に用いるのに適した色空間であると言える。
【００３３】
ここで、ＩＰＴ色空間への変換係数にスケール係数を乗じることにより新たに定めた色空間変換係数によって規定された色空間を、ＩＰＴ色空間と区別するため、ＩＰ’Ｔ’色空間と表記することとする。第２の色空間変換処理部２０４は、変換により得られた画像信号（ＰＱ−ＩＰ’Ｔ’）を、色輝度別信号処理部２０５へ出力する。
【００３４】
Ｓ３０５で、色輝度別信号処理部２０５は、入力された画像信号を輝度成分（Ｉ信号）と、色信号（Ｐ’Ｔ’信号）とに分離し、分離した成分のそれぞれに対する信号処理（色輝度別信号処理）を行う。具体的には、色輝度別信号処理部２０５は、色信号（Ｐ’Ｔ’信号）を水平方向にサブサンプリングする４２２変換などの処理を行う。また、色輝度別信号処理部２０５は、出力画像が見た目に好ましい色再現となるよう、画像信号の彩度や輝度を調整する処理を行ってもよい。
【００３５】
なお、Ｓ３０４において説明した通り、処理対象の画像信号は予め色輝度分離特性の良い色空間（ＩＰ’Ｔ’）へ変換されている。そのため、Ｓ３０５において輝度成分と色成分のそれぞれに対して異なる画像処理を適用した場合でも、輝度成分と色成分との間のクロストークが生じにくく、画質劣化が抑制される。色輝度別信号処理部２０５は、色輝度別信号処理後の画像信号（ＰＱ−ＩＰ’Ｔ’）を、第３の色空間変換処理部２０６へ出力する。
【００３６】
Ｓ３０６で、第３の色空間変換処理部２０６は、入力された画像信号に対して、第２の色空間変換処理部２０４での変換に対応する中間色空間（ＩＰ’Ｔ’色空間）から出力色空間（ＩＰＴ色空間）への変換処理（第３の色空間変換処理）を行う。具体的には、第３の色空間変換処理部２０６は、図４（ｄ）に示す変換マトリクスの逆変換を行えばよい。第３の色空間変換処理部２０６が用いる変換式を図４（ｆ）に示した。第３の色空間変換処理部２０６は、変換により得られた画像信号（ＰＱ−ＩＰＴ）を画像メモリ１０６に出力する。図４（ｃ）〜（ｆ）から理解できるように、第２の色空間変換処理の変換行列の要素の絶対値の少なくとも一部は、第２の色空間変換処理の変換行列に第３の色空間変換処理の変換行列を乗じた場合に得られる変換行列において対応する要素の絶対値よりも小さい。
【００３７】
以上説明したように、第１の実施形態によれば、デジタルカメラ１００は、ＬＭＳ色空間の画像信号をＩＰ’Ｔ’色空間の画像信号に変換し、ＩＰ’Ｔ’色空間の画像信号に画像処理を適用する。その後、デジタルカメラ１００は、画像処理が適用されたＩＰ’Ｔ’色空間の画像信号をＩＰＴ色空間の画像信号に変換する。ＬＭＳ色空間をＩＰ’Ｔ’色空間に変換する処理によりＬＭＳ色空間の画像信号に適用されるゲインは、ＬＭＳ色空間をＩＰＴ色空間に変換する処理をＬＭＳ色空間の画像信号に適用した場合にＬＭＳ色空間の画像信号に適用されるゲインよりも小さい。これにより、色空間変換処理に伴う画質劣化を抑制することが可能となる。
【００３８】
なお、上の説明では、出力階調特性及び出力色空間がＰＱ及びＩＰＴである場合について説明した。しかしながら、本実施形態において、出力階調特性及び出力色空間はＰＱ及びＩＰＴに限定されない。例えば、出力階調特性として、ＩＴＵ勧告  ＢＴ．２１００で規定されているＨＬＧガンマ(Hybrid Log Gamma)を用いてもよい。また、出力色空間として、例えば特許文献１に記載の、ＩＴＵ勧告  ＢＴ．２１００で規定されているＩＣｔＣｐ色空間を用いてもよい。出力階調特性及び出力色空間の種類に関わらず、デジタルカメラ１００は、入力画像信号の色空間を第２の色空間変換処理によりゲイン値が小さい中間色空間へ一旦変換してから、色輝度別信号処理を行う。その後、デジタルカメラ１００は、第３の色空間変換処理により、中間色空間から出力色空間への変換を行う。
【００３９】
また、上の説明では、第２の色空間変換処理のためのゲイン値が小さい中間色空間として、元の色空間を彩度方向に圧縮した色空間を用いる場合について説明した。しかしながら、本実施形態の中間色空間は、元の色空間を彩度方向に圧縮した色空間に限定されない。例えば、出力色空間の変換係数に対して、０から１の間の値の所定の係数を乗算することで、変換係数の絶対値を小さくするよう制御しても構わない。また、出力色空間の変換係数を調整することにより規定される色空間の代わりに、出力色空間の変換係数よりも小さいゲインに対応する、出力色空間とは全く異なる色空間を中間色空間として用いてもよい。
【００４０】
また、色空間変換処理を、マトリクスの乗算ではなく、３ＤＬＵＴなど別の手法で行うようにしても構わない。この場合、第２の色空間変換処理においては、３ＤＬＵＴでの出力色空間への変換処理において適用されるゲイン値よりも小さいゲイン値に対応する３ＤＬＵＴを使用することにより中間色空間への変換を行えばよい。
【００４１】
［第２の実施形態］
ＨＤＲ画像信号用に提案されているガンマカーブ（ＰＱなど）は、従来用いられてきたガンマカーブよりも非線形性の度合いが大きいガンマ形状となっている場合が多い。このため、従来の非線形性の度合いの小さいガンマ形状に対して最適化された処理回路を持つ既存のカメラシステムでは、ＨＤＲ画像信号用のガンマカーブに従った階調変換の演算を正確に行うことができない場合がある。その結果、画像信号に誤差成分が重畳し、画質劣化が生じる場合があった。
【００４２】
第２の実施形態では、このようなガンマカーブの特性に起因する画質劣化を抑制するための構成について説明する。本実施形態において、デジタルカメラ１００の基本的な構成は第１の実施形態と同様である（図１参照）。以下、主に第１の実施形態と異なる点について説明する。
【００４３】
第１の実施形態では、画像処理部１０５は、色空間変換処理を色輝度別信号処理の前後で段階的に行った。一方、第２の実施形態では、画像処理部１０５は、非線形の階調変換処理を色輝度別信号処理の前後で段階的に行う。
【００４４】
図５は、第２の実施形態に係る、画像処理部１０５の色信号及び輝度信号に対する画像処理に関係する機能を示すブロック図である。画像処理部１０５は、画像信号生成部２０１、第１の色空間変換処理部２０２、第２の階調変換処理部５０１、第４の色空間変換処理部５０２、色輝度別信号処理部２０５を備える。画像処理部１０５はまた、第５の色空間変換処理部５０３、第３の階調変換処理部５０４、第６の色空間変換処理部５０５を備える。なお、図５に示す機能ブロックの１つ以上は、マイクロプロセッサとソフトウェアの組み合わせよって実現されてもよいし、ＡＳＩＣ(Application Specific Integrated Circuit)やＰＬＤ(Programmable Logic Device)のようなハードウェアによって実現されてもよい。ＰＬＤにはＦＰＧＡ(Field-Programmable Gate Array）、ＰＬＡ(Programmable Logic Array)などが含まれる。
【００４５】
次に、図６を参照して、第２の実施形態に係る、画像処理部１０５が実行する画像信号変換処理の流れを説明する。なお、第１の実施形態と同様、出力階調特性及び出力色空間はＰＱ及びＩＰＴであるものとして説明を行うが、本実施形態の出力階調特性及び出力色空間はＰＱ及びＩＰＴに限定されない。
【００４６】
図６のＳ３０１〜Ｓ３０２の処理は、第１の実施形態において説明した図３のＳ３０１〜Ｓ３０２の処理と同様である。
【００４７】
Ｓ６０１で、第２の階調変換処理部５０１は、第１の色空間変換処理部２０２が出力した画像信号（ＬＭＳ信号）に対して、第２の階調変換処理を行う。ここでの階調変換処理の特性について、図７を用いて詳しく説明する。図７（ａ）は、第２の階調変換処理部５０１が行う非線形の階調変換処理の特性の例を示す。図７（ａ）のガンマカーブ７０１は、ＨＤＲカメラシステムにおいて用いられる非線形階調特性の例としてＰＱのカーブ特性を示す。図７（ａ）のガンマカーブ７０２は、第２の階調変換処理部５０１が行う非線形の階調変換処理の階調特性の例を示す。ガンマカーブ７０２は、ＨＤＲ画像信号を表現する際に一般的に用いられるＬｏｇガンマを用いることで規定することができる。Ｌｏｇガンマの一般的な式は、下記に示す通りである。
ＯＵＴ＝Ａ×Ｌｏｇ（Ｂ×ＩＮ＋Ｃ）＋Ｄ
ここで、Ａ、Ｂ、Ｃ、Ｄは予め定められた所定の係数であり、ＨＤＲカメラシステムにおける入出力の輝度範囲全体において階調が失われることなく表現できるよう係数が設定される。
【００４８】
既存のカメラシステムでの階調変換回路は、ＨＤＲ画像信号用のガンマ（ＰＱ）に比べて非線形性の度合いが小さいガンマ特性を設定する処理に最適化されている場合がある。そのような構成を持つ回路では、ＨＤＲ画像信号用のガンマ（ＰＱ）の非線形性を正確に演算することができず、画像信号に誤差成分が重畳する原因となる。このため、第２の階調変換処理部５０１では、ガンマカーブ７０２に例示した通り、非線形性の度合いが比較的小さくなるように調整された階調特性を設定する。このようにすることで、既存のカメラシステムにおいても、画像信号に誤差成分が重畳することを抑制することが可能となる。第２の階調変換処理部５０１は、非線形の階調変換を適用した画像信号（Ｌｏｇ−ＬＭＳ）を、第４の色空間変換処理部５０２へ出力する。
【００４９】
Ｓ６０２で、第４の色空間変換処理部５０２は、入力された画像信号（Ｌｏｇ−ＬＭＳ）に対して、第４の色空間変換処理を行う。第４の色空間変換処理では、第４の色空間変換処理部５０２は、図４（ｃ）に記載した変換係数を用いて、ＩＰＴ色空間への変換を行う。第４の色空間変換処理部５０２は、変換により得られた画像信号（Ｌｏｇ−ＩＰＴ）を、色輝度別信号処理部２０５へ出力する。
【００５０】
図６のＳ３０５の処理は、第１の実施形態において説明した図３のＳ３０５の処理と同様である。但し、第１の実施形態では処理対象の画像信号の形式がＰＱ−ＩＰ’Ｔ’であったのに対し、第２の実施形態では処理対象の画像信号の形式はＬｏｇ−ＩＰＴである。
【００５１】
Ｓ６０３で、第５の色空間変換処理部５０３は、入力された画像信号（Ｌｏｇ−ＩＰＴ）に対して、第５の色空間変換処理を行う。第５の色空間変換処理は、Ｓ６０２の第４の色空間変換処理の逆の変換処理である。第５の色空間変換処理は、変換により得られた画像信号（Ｌｏｇ−ＬＭＳ）を、第３の階調変換処理部５０４へ出力する。
【００５２】
Ｓ６０４で、第３の階調変換処理部５０４は、入力された画像信号（Ｌｏｇ−ＬＭＳ）に対して、第３の階調変換処理を行う。第３の階調変換処理は、入力された画像信号の階調特性（Ｌｏｇ）を出力階調特性（ＰＱ）へ変換する処理である。Ｓ６０１で画像信号に適用したガンマ特性（Ｌｏｇ）からＰＱ特性への変換特性を図７（ｂ）に示す。図７（ｂ）にガンマカーブ７０３として示される通り、Ｌｏｇガンマを適用した状態からＰＱ特性へと変換するため、変換特性の非線形性の度合いはそれほど大きくならず、既存のカメラシステムにおいても正確に演算することが可能である。第３の階調変換処理部５０４は、変換により得られた画像信号（ＰＱ−ＬＭＳ）を、第６の色空間変換処理部５０５へ出力する。
【００５３】
Ｓ６０５で、第６の色空間変換処理部５０５は、入力された画像信号（ＰＱ−ＬＭＳ）に対して、第６の色空間変換処理を行う。第６の色空間変換処理は、処理対象の画像信号の階調特性がＬｏｇではなくＰＱである点を除き、Ｓ６０２で説明した第４の色空間変換処理と同様である。第６の色空間変換処理部５０５は、変換により得られた画像信号（ＰＱ−ＩＰＴ）を画像メモリ１０６に出力する。
【００５４】
以上説明したように、第２の実施形態によれば、デジタルカメラ１００は、ＬＭＳ色空間の画像信号に対して、Ｌｏｇガンマに従う第２の階調変換処理を行い、更に、ＬＭＳ色空間をＩＰＴ色空間に変換する第４の色空間変換処理を行う。その後、デジタルカメラ１００は、Ｌｏｇガンマが適用されたＩＰＴ色空間の画像信号に画像処理を適用し、画像処理が適用されたＩＰＴ色空間の画像信号をＬＭＳ色空間の画像信号に変換する。次いで、デジタルカメラ１００は、ＬＭＳ色空間の画像信号に対し、ＬｏｇガンマをＰＱガンマに変換する階調特性に従う第３の階調変換処理を行い、更に、ＬＭＳ色空間をＩＰＴ色空間に変換する第６の色空間変換処理を行う。これにより、非線形な階調変換処理に伴う画質劣化を抑制することが可能となる。
【００５５】
なお、上の説明では、出力階調特性及び出力色空間がＰＱ及びＩＰＴである場合について説明した。しかしながら、本実施形態において、出力階調特性及び出力色空間はＰＱ及びＩＰＴに限定されない。例えば、出力階調特性として、ＩＴＵ勧告  ＢＴ．２１００で規定されているＨＬＧガンマ(Hybrid Log Gamma)を用いてもよい。また、出力色空間として、例えば特許文献１に記載のＩＣｔＣｐ色空間を用いてもよい。出力階調特性及び出力色空間の種類に関わらず、デジタルカメラ１００は、入力画像信号の階調特性を第２の階調変換処理により非線形性の度合いの小さいガンマ特性（中間階調特性）へと一旦変換してから、色輝度別信号処理を行う。その後、デジタルカメラ１００は、第３の階調変換処理により、中間階調特性から出力階調特性への変換を行う。即ち、中間階調特性は、出力階調特性（中間階調特性と中間階調特性から出力階調特性への変換を行う階調特性とを合成した階調特性）よりも非線形性の度合いが小さい。
【００５６】
［第３の実施形態］
第３の実施形態では、第１の実施形態における色空間変換処理を段階的に行う構成と第２の実施形態における階調変換処理を段階的に行う構成とを組み合わせた構成について説明する。本実施形態において、デジタルカメラ１００及び画像処理部１０５の基本的な構成は第２の実施形態と同様である（図１及び図５参照）。但し、第４の色空間変換処理部５０２、第５の色空間変換処理部５０３が実行する処理は，第２の実施形態と異なる。以下、主に第２の実施形態と異なる点について説明する。
【００５７】
図８は、第３の実施形態に係る、画像処理部１０５が実行する画像信号変換処理のフローチャートである。なお、第２の実施形態と同様、出力階調特性及び出力色空間はＰＱ及びＩＰＴであるものとして説明を行うが、本実施形態の出力階調特性及び出力色空間はＰＱ及びＩＰＴに限定されない。
【００５８】
図８のＳ３０１〜Ｓ３０２及びＳ６０１の処理は、第２の実施形態において説明した図６のＳ３０１〜Ｓ３０２及びＳ６０１の処理と同様である。
【００５９】
Ｓ８０１で、第４の色空間変換処理部５０２は、入力された画像信号（Ｌｏｇ−ＬＭＳ）に対して、第４の色空間変換処理を行う。第４の色空間変換処理では、第４の色空間変換処理部５０２は、第１の実施形態において説明した図３のＳ３０４の処理と同様に、ＬＭＳ色空間から中間色空間（ＩＰ’Ｔ’色空間）への変換を行う。第４の色空間変換処理部５０２は、変換により得られた画像信号（Ｌｏｇ−ＩＰ’Ｔ’）を、色輝度別信号処理部２０５へ出力する。
【００６０】
図８のＳ３０５の処理は、第２の実施形態において説明した図６のＳ３０５の処理と同様である。但し、第２の実施形態では処理対象の画像信号の形式がＬｏｇ−ＩＰＴであったのに対し、第３の実施形態では処理対象の画像信号の形式はＬｏｇ−ＩＰ’Ｔ’である。
【００６１】
Ｓ８０２で、第５の色空間変換処理部５０３は、入力された画像信号（Ｌｏｇ−ＩＰ’Ｔ’）に対して、Ｓ８０１における色空間変換の逆変換を行う。第５の色空間変換処理部５０３は、変換により得られた画像信号（Ｌｏｇ−ＬＭＳ）を、第３の階調変換処理部５０４へ出力する。
【００６２】
図８のＳ６０４〜Ｓ６０５の処理は、第２の実施形態において説明した図６のＳ６０４〜Ｓ６０５の処理と同様である。
【００６３】
以上説明したように、第３の実施形態によれば、デジタルカメラ１００は、色空間変換処理及び階調変換処理の両方を段階的に行う。これにより、色空間変換処理及び非線形な階調変換処理に伴う画質劣化を抑制することが可能となる。
【００６４】
なお、上の説明では、出力階調特性及び出力色空間がＰＱ及びＩＰＴである場合について説明した。しかしながら、本実施形態において、出力階調特性及び出力色空間はＰＱ及びＩＰＴに限定されない。例えば、出力階調特性として、ＩＴＵ勧告  ＢＴ．２１００で規定されているＨＬＧガンマ(Hybrid Log Gamma)を用いてもよい。また、出力色空間として、例えば特許文献１に記載のＩＣｔＣｐ色空間を用いてもよい。
【００６５】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６６】
５０…システム制御部、１００…デジタルカメラ、１０５…画像処理部、１２１…不揮発性メモリ、１２２…システムメモリ、２０４…第２の色空間変換処理部、２０５…色輝度別信号処理部、２０６…第３の色空間変換処理部
【図１】
2020005067.tif 000003
【図２】
2020005067.tif 000004
【図３】
2020005067.tif 000005
【図４】
2020005067.tif 000006
【図５】
2020005067.tif 000007
【図６】
2020005067.tif 000008
【図７】
2020005067.tif 000009
【図８】
2020005067.tif 000010