(57)【特許請求の範囲】
【請求項１】
ＲＧＢ入力を、均等色空間であるＣＩＥＬＡＢ色空間におけるＬ＊ａ＊ｂ＊に変換する工程と、
ａ＊ｂ＊入力を彩度Ｃ＊、色相ｈに変換する工程と、
明度Ｌ＊及び前記色相ｈにおけるＢＴ．７０９およびＢＴ．２０２０色空間における最大彩度Ｃ＊ｍａｘ７０９、Ｃ＊ｍａｘ２０２０を計算する工程と、
明度Ｌ＊及び前記色相ｈにおける焦点明度Ｌ＊０に対する最大色差平均Ｊが最小となるような最適焦点明度Ｌ＊０を計算する工程と、
Ｌ＊ａ＊ｂ＊入力による色点と最適焦点明度Ｌ＊０を結ぶ直線上にある最大彩度Ｃ＊ｍａｘ７０９、Ｃ＊ｍａｘ２０２０、最大明度Ｌ＊ｍａｘ７０９、Ｌ＊ｍａｘ２０２０を計算する工程と、
前記Ｌ＊ａ＊ｂ＊入力による色点と最適焦点明度Ｌ＊０の間の距離、前記Ｌ＊ａ＊ｂ＊入力に対する最大彩度Ｃ＊ｍａｘ７０９、 Ｃ＊ｍａｘ２０２０、最大明度Ｌ＊ｍａｘ７０９、Ｌ＊ｍａｘ２０２０の距離によるソフトクリップ処理を前記Ｌ＊ａ＊ｂ＊入力に対して行う工程と、
前記ソフトクリップ処理結果のＬ＊’ａ＊’ｂ＊’出力をＲ’Ｇ’Ｂ’出力に変換する工程と、を有する
ことを特徴とする最適色域マッピング処理方法。
【請求項２】
請求項１に記載の最適色域マッピング処理方法において、
明度Ｌ＊及び前記色相ｈにおけるＢＴ．７０９およびＢＴ．２０２０色空間における最大彩度Ｃ＊ｍａｘ７０９、Ｃ＊ｍａｘ２０２０を計算する工程は、
ＲＧＢ表色系におけるＲＧＢ値が［０，１］区間に存在する区間下限彩度Ｃ＊１と存在しない区間上限彩度Ｃ＊２を初期値として定める工程と、
Ｃ＊１とＣ＊２の中間彩度Ｃ＊Ｍを求める工程と、
Ｃ＊ＭのＲＧＢ値が［０，１］区間に存在すればＣ＊１をＣ＊Ｍで置き換え、存在しなければＣ＊２をＣ＊Ｍで置き換える工程と、を含む、
ことを特徴とする最適色域マッピング処理方法。
【請求項３】
請求項２に記載の最適色域マッピング処理方法において、
前記Ｃ＊ＭのＲＧＢ値が［０，１］区間に存在すればＣ＊１をＣ＊Ｍで置き換え、存在しなければＣ＊２をＣ＊Ｍで置き換える工程の後に、
前記Ｃ＊１とＣ＊２の中間彩度Ｃ＊Ｍを求める工程に戻って操作を繰り返すことにより、最大彩度Ｃ＊ｍａｘに近づく工程をさらに含む、
ことを特徴とする最適色域マッピング処理方法。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載の最適色域マッピング処理方法において、
前記焦点明度Ｌ＊０に対する最大色差平均Ｊは、下記［数１］に従って算出される
【数１】
0006619994.tif 000013
ことを特徴とする最適色域マッピング処理方法。
但し、上記［数１］におけるＮは色相ｈにおける最大色差平均Ｊを算出するためのサンプル数であり、Ｃ＊ｍａｘ２０２０αは総和を算出するためのダミー変数αにおける明度Ｌ＊を変化させた場合の色相ｈにおけるBT.2020色空間での最大彩度であり、Ｌ＊ｍａｘ２０２０αは前記Ｃ＊ｍａｘ２０２０αに対する最大明度であり、Ｃ＊ｍａｘ７０９αは焦点明度Ｌ＊０と前記Ｃ＊ｍａｘ２０２０αを結ぶ直線上のBT.709色空間内で表される最大彩度であり、Ｌ＊ｍａｘ７０９αは前記Ｃ＊ｍａｘ７０９αに対する最大明度である。
【請求項５】
請求項１乃至請求項４のいずれか一項に記載の最適色域マッピング処理方法において、
前記ａ＊ｂ＊入力を彩度Ｃ＊、色相ｈに変換する工程は、
【数２】
0006619994.tif 000014
により算出される
ことを特徴とする最適色域マッピング処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色相毎の最大色差平均が最小の意味において最適な焦点明度の計算方法であって、極めて合理的であり、実際の処理結果も良好である最適色域マッピング処理方法に関する。
【背景技術】
【０００２】
色補正装置等において、簡易なＲＧＢ信号毎の色域外レベルをクリップする処理が、従来広く用いられてきた。従来、カラーマネジメント技術として、プリンタやディスプレイのために、色域マッピング処理として、 ＣＩＥＬＡＢ表色系における様々な方法も提案されている。
【０００３】
下記先行技術文献のように、モニタとプリン夕間でのカラーマネジメントとして、ＣＩＥＬＡＢ表色系における様々な方法も提案されている。特定の装置間で一方の装置の色域で再現できない色域外の色を、色差が最小になるような方向へ圧縮して再現する方法や白色点方向に圧縮して色域の縁にクリップ処理する方法が知られている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】J． Morovi c， Color Gamut Mapping， John Wiley & Sons Ltd.， August 2008.
【特許文献】
【０００５】
【特許文献１】特公平０５−０８８５８９号公報
【特許文献２】特開平０９−２７０９２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ＲＧＢ信号毎の単純なクリップ処理では、色域外の画像・映像の空間的なディテールが損なわれる。また、ＲＧＢによる色の表現は数値と色の関連がわかりづらく、人間の視覚特性に合わない。そのため、均等色空間であるＣＩＥＬＡＢ表色系が多く用いられている。これまでに提案されてきたＣＩＥＬＡＢ表色系における色差最小になる方向、無彩色点を焦点方向に圧縮してクリップ処理を行う方法は、その考え方としては妥当ではあるものの、その方向の決定に関しては、主観評価や恣意的・発見的な決定方法によるものであり、実際の処理結果は階調特性に歪みが生じる問題があった。
【課題を解決するための手段】
【０００７】
本発明は、ＲＧＢ入力を、均等色空間であるＣＩＥＬＡＢ色空間におけるＬ＊ａ＊ｂ＊に変換する工程と、  ａ＊ｂ＊入力を彩度Ｃ＊、色相ｈに変換する工程と、  色相ｈにおけるＢＴ．７０９およびＢＴ．２０２０色空間における最大彩度Ｃ＊ｍａｘ７０９、Ｃ＊ｍａｘ２０２０を計算する工程と、  色相ｈにおける焦点明度Ｌ＊０に対する最大色差平均Ｊが最小となるような最適焦点明度Ｌ＊０を計算する工程と、  Ｌ＊ａ＊ｂ＊入力による色点と最適焦点明度Ｌ＊０を結ぶ直線上にある最大彩度Ｃ＊ｍａｘ７０９、Ｃ＊ｍａｘ２０２０、最大明度Ｌ＊ｍａｘ７０９、Ｌ＊ｍａｘ２０２０を計算する工程と、  Ｌ＊ａ＊ｂ＊入力による色点と最適焦点明度Ｌ＊０の間の距離、Ｌ＊ａ＊ｂ＊入力に対する最大彩度Ｃ＊ｍａｘ７０９、 Ｃ＊ｍａｘ２０２０、最大明度Ｌ＊ｍａｘ７０９、Ｌ＊ｍａｘ２０２０の距離によるソフトクリップ処理をＬ＊ａ＊ｂ＊入力に対して行う工程と、  ソフトクリップ処理結果のＬ＊’ａ＊’ｂ＊’出力をＲ’Ｇ’Ｂ’出力に変換する工程と、を有する最適色域マッピング処理方法とすることを特徴とする。
【０００８】
本発明では、ＣＩＥＬＡＢ表色系における明度、および色相による最大彩度（色域限界）を二分法により決定する。そして、色相毎に明度を保存するように、彩度を色域限界である最大彩度値に基づき、ソフトクリップ処理により圧縮する。さらに、色相毎に無彩色点を焦点方向として、各色空間における色域限界値から計算される最大色差平均が最小となる焦点明度値を黄金分割法により最適に計算する。さらに、焦点明度以下の明度に関しては、明度を保存する最大色差平均が最小となる焦点明度値も同様に計算することができる。いずれの場合も、焦点方向における最適焦点明度との距離を計算することにより、ソフトクリップ処理による圧縮が可能となることを開示している。
【発明の効果】
【０００９】
本発明により、色相毎の最大色差平均が最小の意味において最適な焦点明度の計算方法は、従来の主観評価や恣意的・発見的な決定方法と比較して、極めて合理的であり、実際の処理結果も良好である。
【図面の簡単な説明】
【００１０】
【図１】本発明の色域マッピング処理を直接処理する場合について説明するブロック図である。
【図２】本発明の色域マッピング処理のＬＵＴ補間方式について説明するブロック図である。
【図３】ハイダイナミックレンジ（ＨＤＲ）映像に対応したＢＴ．２０２０色空間からＢＴ．７０９色空間への色域マッピング処理、およびＨＤＲからＳＤＲ（標準ダイナミックレンジ）への変換を同時に行う場合の実施例のブロック図である。
【図４】本発明のＨＤＲ対応色域マッピング処理ブロック図を説明する図であり、ＨＤＲ→ＳＤＲ変換、及びＳＤＲ ＯＥＴＦ処理を３次元ルックアップテーブルの３次元補間による色域マッピング処理に統一した場合について示すものである。
【図５】ｘｙ色度図の画像例であり、（ａ）が人力画像（Kodak Lossless True Color Image Suite, http://rok.us/graphics/kodak/）を示し、（ｂ）がＢＴ．７０９色域外画像を示し、（ｃ）が入力画像のｘｙ色度図を示す。
【図６】（ａ）はＣＩＥＬＡＢ表色系における明度保存する色域マッピングを示す図であり、（ｂ）は最大色差平均が最小となる無彩色点の焦点明度Ｌ＊０による色域マッピングを説明する図であり、（ｃ）は最大色差平均が最小となる焦点明度Ｌ＊０による色域マッピングを示す図である。
【図７】（ａ）は無彩色点を焦点方向とする最大色差平均最小の色域マッピングのための焦点明度Ｌ＊０に対する最大色差平均Ｊをプロットした図であり、（ｂ）は色相ｈに対する最大色差平均最小になる最適焦点明度Ｌ＊０をプロット（w/o const.L)した図であり、焦点明度Ｌ＊０以下の明度を保存する場合もプロット（w/ const.L）している。
【図８】色域マッピング結果を示す図であり、ＣＩＥＬＡＢ表色系において、色相毎にＢＴ．２０２０色空間の最大彩度の色点をＢＴ．７０９色空間の最大彩度の色点ヘマッピングした結果である。横軸が彩度Ｃ＊，縦軸が明度Ｌ＊である。左から明度保存、無彩色点を焦点方向とする最大色差平均の最小、焦点明度Ｌ＊０以下の明度を保存する最大色差平均の最小の色域マッピング結果。上段からそれぞれ色相ｈが０，９０，１８０，２７０度の場合を示す。
【図９】色域マッピング結果（画像例）を示す図であり、左から原画像、明度保存による色域マッピング結果、最大色差平均最小による色域マッピング結果、および焦点明度Ｌ＊０以下の明度を保存する場合の最大色差平均最小による色域マッピング結果と、そのＲＧＢ表色系における３次元ルックアップテーブル立方体補間［３］による処理結果（テーブルサイズ６５×６５×６５）を示す図である。
【図１０】ＲＧＢ表色系における３次元ルックアップテーブル立方体補間［３］による色域マッピング結果を示す図であり、３次元ルックアップテーブルのサイズ（ｓｉｚｅ）に対するＫｏｄａｋカラー評価画像（kodim（3dlut+intp））、およびMc-Masterデータセット（McM（3dlut+intp））の色域マッピング処理結果の平均色差（ΔＥ＊ａｂ）のグラフである。補間によらず直接最適な色域マッピング値を計算した結果もそれぞれ示す（kodim（opt）, McM（opt））。
【図１１】ソフトクリップ関数を示す図であり、ａ＝１００，ｂ＝１６０として、εを変化させてプロットしたものである。
【図１２】本発明の処理全体を説明するフローチャートである。
【図１３】本発明の最大彩度Ｃ＊ｍａｘを二分法により演算処理するフローを説明する図である。
【発明を実施するための形態】
【００１１】
（発明の概要）
本発明においては、次世代テレビ放送としての４Ｋ／８Ｋ（スーパーハイビジョン）におけるＢＴ．２０２０色空間から、現行地上デジタル放送におけるＢＴ．７０９色空間へ色域の変換を行うために、ＣＩＥＬＡＢ表色系にて、各色空間における明度、および色相による最大彩度（色域限界）を計算する。そして、より広い色域を持つＢＴ．２０２０色空間の画素値を、より狭い色域であるＢＴ．７０９色空間の画素値へ変換するために、色相毎に明度保存、および無彩色点を焦点方向とする最大色差平均が最小となる最適な色域マッピング値を計算する。実際の色域マッピング処理の計算はＣＩＥＬＡＢ表色系上で色域マッピング処理した結果のＬ＊ａ＊ｂ＊値の代表値をＲＧＢ値としてテーブル参照メモリに書き込み、それを読み出して、ＲＧＢ表色系における補間処理を行うことにより計算する。
【００１２】
本発明の新規な点として、ＣＩＥＬＡＢ表色系における明度、および色相による最大彩度（色域限界）を二分法により決定する方法、そして、色相毎に明度を保存するように、彩度を色域限界である最大彩度値に基づき、ソフトクリップ処理により圧縮する方法、がある。
【００１３】
さらに、色相毎に無彩色点を焦点方向として、各色空間における色域限界値から計算される最大色差平均が最小となる焦点明度値を黄金分割法により最適に計算する方法、さらに、焦点明度以下の明度に関しては、明度を保存する最大色差平均が最小となる焦点明度値を計算する方法も新しい点として挙げられる。さらに、焦点方向における最適焦点明度との距離を計算することにより、ソフトクリップ処理による圧縮を行う方法も新規な点である。
【００１４】
また、本発明の重要な要素として、ＣＩＥＬＡＢ表色系における色相毎に最大彩度（色域限界）を計算する二分法、及び、色相毎に色域限界値から計算される最大色差平均を最小とする最適な焦点明度を計算する方法、また、最適焦点明度との距離に応じて彩度、および明度のレベルを圧縮するソフトクリップ処理が挙げられる。  色相毎に色域限界値から計算される最大色差平均を最小とする最適焦点明度の計算には、黄金分割法に限らず、その他の最適化手法を用いることも可能である。
【００１５】
図１は、本発明の色域マッピング処理を直接処理する場合について説明するブロック図である。ＣＩＥＬＡＢ表色系における各色空間の最大彩度値Ｃ＊ｍａｘ７０９、Ｃ＊ｍａｘ２０２０を予め計算しておいたとしても、各表色系間の変換、逆変換のための処理が必要となる。そこで、実際の色域マッピング処理の計算としては、 ＣＩＥＬＡＢ表色系上で色域マッピング処理した結果のＬ＊ａ＊ｂ＊値の代表値をＲＧＢ値としてテーブル参照メモリに書き込み、実際の演算処理時にはそれを読み出して、 ＲＧＢ表色系における補間処理を行うことにより計算する。
【００１６】
図２は、本発明の色域マッピング処理のＬＵＴ補間方式について説明するブロック図である。ＲＧＢ入力信号における上位ビットＲｈｉ， Ｇｈｉ， Ｂｈｉは３次元ルックアップテーブルメモリ（ＲＧＢ→Ｒ’Ｇ’Ｂ’変換メモリ）に入力される。３次元ルックアップテーブルメモリには、予めＣＩＥＬＡＢ表色系において色域マッピング処理した結果のＬ＊ａ＊ｂ＊値をＲＧＢ値に変換した結果が格納されている。
【００１７】
ＲＧＢ入力信号の上位ビットＲｈｉ， Ｇｈｉ， Ｂｈｉにより読み出された色域マッピング処理結果のＲ’ｈｉ， Ｇ’ｈｉ，Ｂ’ｈｉと、 ＲＧＢ入力信号の下位ビットＲｌｏ，Ｇｌｏ，Ｂｌｏは３次元補間処理によって最終的な色域マッピング処理結果のＲ’Ｇ’Ｂ’出力となる。ＬＵＴ補間方式により最適色域マッピング処理の計算をリアルタイムに実現することが可能となる。
【００１８】
また、図３は、ハイダイナミックレンジ（ＨＤＲ）映像に対応したＢＴ．２０２０色空間からＢＴ．７０９色空間への色域マッピング処理、およびＨＤＲからＳＤＲ（標準ダイナミックレンジ）への変換を同時に行う場合の実施例のブロック図である。
【００１９】
ハイダイナミックレンジ変換された入力映像Ｒ２０２０ｉｎ， Ｇ２０２０ｉｎ， Ｂ２０２０ｉｎをハイダイナミックレンジＥＯＴＦ（電気光変換関数）（ＨＤＲ ＥＯＴＦ）により，線形ＲＧＢ信号に変換する。入力映像はハイダイナミックレンジＯＥＴＦ（光電気変換関数）により、ダイナミックレンジが圧縮されている。
【００２０】
その逆変換であるＨＤＲ ＥＯＴＦのよる変換結果の線形ＲＧＢ信号は、ダイナミックレンジが復元されたものであり、例えば、相対輝度方式（ハイブリッドＬｏｇガンマ方式）として提案されている。ＨＤＲ ＯＥＴＦを用いた場合，ピーク白レベル９４０（１０ビット）に対して、ダイナミックレンジは１２００％まで拡大されて、１１２８０になる。
【００２１】
相対輝度方式（ハイブリッドＬｏｇガンマ方式）によるハイダイナミックレンジ変換に関しては、例えば、"［非特許文献］Y．Kusakabe,Y.Ikeda,N.Shirai,K.Masaoka,T.Yamashita,Y.Nishida,T.Ikeda,and M.Sugawara、Extended Image Dynamic Range System for UHDTV Broadcasting,IBC2015 Conference Paper, September 2015."、及び"[非特許文献] ARIB STD-B67 Version 1.0, ESSENTIAL PARAMETER VALUES FOR THE EXTENDED IMAGE DYNAMIC RANGE TELEVISION(EIDRTV) SYSTEM FOR PROGRAMME PRODUCTION, July 3, 2015."をご参照戴きたい。
【００２２】
これは、ｌｏｇ１１２８０／ｌｏｇ２＝１３．４６であり、１４ビット階調である。これを、標準ダイナミックレンジ（ＳＤＲ）である１０ビット階調に変換するために、線形ＲＧＢ信号に対して、それぞれソフトクリップ処理を行う。ソフトクリップ処理におけるソフトクリップ関数は、ＣＩＥＬＡＢ表色系における色域マッピング処理で使用したものと同じである。
【００２３】
ＨＤＲ→ＳＤＲ変換した結果のＲＧＢ映像（ただし、ＢＴ．２０２０色空間である）をＲＧＢ表色系における３次元ルックアップテーブルの立方体補間により色域マッピング値を計算し、ＢＴ．７０９色空間へ変換する。
【００２４】
色域マッピング処理結果のＲＧＢ映像を標準ダイナミックレンジＯＥＴＦ（ＳＤＲ ＯＥＴＦ）により非線形変換したものが、最終的なＢＴ．７０９色空間における標準ダイナミックレンジのＲＧＢ映像出力Ｒ７０９ｏｕｔ，Ｇ７０９ｏｕｔ，Ｂ７０９ｏｕｔになるが、このような前処理としてのＨＤＲ→ＳＤＲ変換、後処理としてのＳＤＲ ＯＥＴＦ処理を、ＣＩＥＬＡＢ表色系における色域マッピング処理をＲＧＢ表色系における３次元ルックアップテーブルの立方体補間による計算に組み込んで、すべての処理を３次元ルックアップテーブル立方体補間により行うことが可能である（図４）。
【００２５】
図４は、本発明のＨＤＲ対応色域マッピング処理ブロック図を説明する図であり、ＨＤＲ→ＳＤＲ変換、及びＳＤＲ ＯＥＴＦ処理を３次元ルックアップテーブルの３次元補間による色域マッピング処理に統一した場合について示すものである。ハイダイナミックレンジの方式が異なる場合も、容易に対応が可能である。
【００２６】
（詳細な説明）
（ＢＴ．２０２０色空間からＢＴ．７０９色空間への最適色域マッピング）
（Ａｂｓｔｒａｃｔ）
次世代テレビ放送としての４Ｋ／８Ｋ（スーパーハイビジョン）におけるＢＴ．２０２０色空間から、現行地上デジタル放送におけるＢＴ．７０９色空間へ色域の変換を行うために、均等色空間であるＣＩＥＬＡＢ表色系にて、色相毎に最大色差平均が最小となるような無彩色点を焦点方向とする焦点明度を最適化により決定して、最適な色域マッピング値を計算する。そして、ＣＩＥＬＡＢ表色系における色域マッピング処理を、ＲＧＢ表色系における３次元ルックアップテーブルの立方体補間により行う。
【００２７】
（１  はじめに）
次世代テレビ放送としての４Ｋの試験放送が２０１４年６月２日より、ＣＳおよびケーブルテレビにて開始された（次世代放送推進フォーラム（ＮｅｘＴＶ−Ｆ）、http://www.nextv-f.jp/）。８Ｋ（スーパーハイビジョン［７］、ここで［７］は後述の参考文献の文献番号を示す、以下同様）も含め、２０１８年（可能な限り早期に）の実用放送開始へ向けて加速している（総務省「４Ｋ・８Ｋ  ロードマップに関するフォローアップ会合（第６回会合）配布資料」，平成２７年７月．http://www.soumu.go.jp/main_sosiki/kenkyu/４k８kroadmap/02ryut sull_03000046.html）。
【００２８】
４Ｋ／８Ｋは、現行地上デジタル放送であるＨＤ解像度を超える解像度を持つことが注目されているが、それだけではなく、表現可能な色の範囲が広がった広色域であることも、大きな特徴のひとつである。
【００２９】
４Ｋ／８Ｋ放送におけるＨＤコンテンツのリパーパスのためには、解像度変換が必要になる。近年、超解像技術が盛んに研究されている［８］。その処理の多くは反復によるものであるが、松永は画像の局所的な時間空間方向による補間の重み付け平均とマルチスケール化した非線形エンハンサによる１パスビデオ超解像を提案した［５］。趙・松永［１１］は、１パスビデオ超解像処理をＧＰＵにより高速化した。
【００３０】
放送事業者は、現行地上デジタル放送はＨＤであっても、将来を見据えた４Ｋでのコンテンツ制作に取り組み始めている。４Ｋ・８Ｋ実用放送開始後も、ＨＤ放送を併存、継続していくことになると、４Ｋ／８Ｋ解像度・色域で収録した映像コンテンツを、逆にＨＤ解像度・色域へ変換しなければならない。ここで問題となるのは色域の変換であり、より広範囲な色域を持つ４Ｋ／８Ｋコンテンツを、より狭い色域のＨＤコンテンツに変換しなければならない。色域の変換は、プリンタやディスプレイヘカラー表示するための色域（ガマト）マッピング（ｇａｍｕｔ ｍａｐｐｉｎｇ）処理が、カラーマネジメント技術として研究されてきた［２，６］。
【００３１】
本文書は、均等色空間であるＣＩＥＬＡＢ表色系にて、色相毎に各色空間の色域限界である最大彩度間距離による最大色差平均が最小となるように無彩色点を焦点方向とする焦点明度を最適化により決定して、最適な色域マッピング値を計算する。実際の色域変換は、予めＣＩＥＬＡＢ表色系上で色域マッピングした結果のＬ＊ａ＊ｂ＊値の代表値をＲＧＢ値に変換してテーブル参照メモリに書き込み、ＲＧＢ表色系における３次元ルックアップテーブルの立方体補間処理［３］により計算する。
【００３２】
本文書の構成は、２章で、代表的な表色系であるＲＧＢ，ＸＹＺ，ＣＩＥＬＡＢ表色系とそれらの間の変換について纏める。３章で、ＣＩＥＬＡＢ表色系における無彩色点を焦点方向とする最適な焦点明度、および最大色差平均を最小とする最適な色域マッピング値を計算する方法を説明する。４章でシミュレーション実験の結果を示し、５章で纏める。
【００３３】
（２  ＲＧＢ，ＸＹＺ，ＣＩＥＬＡＢ表色系）
最もよく知られている色の表現方法は、ＲＧＢによるものであろう。コンピュータのディスプレイをはじめとして広く用いられているが、ＲＧＢをそれぞれ混ぜ合わせることによって、人間が知覚できる色を完全に表現することは、実はできない。その混合比率に負の値が生じることが実験的に確認されている［１］。混合比率が負の値では扱いにくいため、ＲＧＢを座標変換することにより混合比率が負の値を取らない仮想的な拡張色空間であるＸＹＺ表色系（日本工業規格JIS Z8701:1999, 色の表示方法−ＸＹＺ表色系及びＸ１０Ｙｌ０Ｚ１０表色系Colour specification − The CIE 1391 standard colorimetric system and the CIE 1964 supplementary standard colorimetric system）が考えられた［１］。
【００３４】
ＢＴ．２０２０（Recommendation ITU-R BT.2020-1, Parameter values for ultra-high definition television systems for production and international programme exchange (2014)）、およびＢＴ．７０９（Recommendation ITU-R BT.709-5, Parameter values for the HDTV standards for production and international programme exchange (2002)）色空間におけるＲＧＢ値からＸＹＺ値への変換は下記式（１），（２）のように計算される。なお、ＲＧＢ値は［０，１］区間に正規化されているものとする。
【００３５】
【数１】
0006619994.tif 000002
【００３６】
ＸＹＺ表色系は依然として３次元であり、数値と色の関連がわかりにくいため、ＸＹＺ表色系から絶対的な色合いを表現する次の式（３）（［数２］）ようなｘｙＹ表色系が考えられた［１］。
【００３７】
【数２】
0006619994.tif 000003
【００３８】
式（３）において、ＹはＸＹＺ値のＹの値をそのまま使う。このｘとｙを色度座標と呼び、すべての色はｘとｙによる２次元平面、および明度を示すＹで表現する。色度座標ｘ，ｙを座標軸にして図示したものをｘｙ色度図と呼ぶ。
【００３９】
そのようなＸＹＺ表色系、ｘｙ色度図は測色の基礎として用いられているが、色空間内における距離と実際の色の変化が場所によって大きく異なっている。そこで、均等色空間として、ＣＩＥ Ｌ＊ａ＊ｂ＊（ＣＩＥ ＬＡＢ）表色系（日本工業規格JIS Z8729:2004, 色の表示方法-L*a*b*表色系及びL*u*v*表色系Colour Specification−CIELAB and CIELUVcolour spaces）が考えられた［１０］。ＣＩＥＬＡＢ表色系における２色の色差を知るには、２色の座標のユークリッド距離を求めればよい。ＸＹＺ表色系におけるＸＹＺ値からＣＩＥＬＡＢ表色系におけるＬ＊ａ＊ｂ＊値への変換式は次の式（４）（５）（６）のようになる［１０］。
【００４０】
【数３】
0006619994.tif 000004
【００４１】
ここで、
【００４２】
【数４】
0006619994.tif 000005
【００４３】
Ｘｎ，Ｙｎ，Ｚｎは白色点（BT.2020，およびBT.709色空間ではいずれも白色点に色温度6500Kの自然光に相当する仮想光源D65を用いる。xD65＝0.3127, yD65＝0.3290であり, (Xn,Yn,Zn)=(0.95045592705167159,1.0,1.08905775075987843)になる。）におけるＸＹＺ値である。ａ＊，ｂ＊から彩度Ｃ＊、色相ｈは次の式（８），（９）のように計算される［１０］。
【００４４】
【数５】
0006619994.tif 000006
【００４５】
全ての変換には逆変換が存在する。［１０］（詳細省略）。
【００４６】
（３  最適色域マッピング）
図５はｘｙ色度図の画像例であり、（ａ）が人力画像（Kodak Lossless True Color Image Suite, http://rok.us/graphics/kodak/）を示し、（ｂ）がＢＴ．７０９色域外画像を示し、(ｃ）が入力画像のｘｙ色度図を示す。図５において、入力画像ＲＧＢ値は、ＢＴ．２０２０色空間としてＸＹＺ値へ変換した。また、水平垂直４画素４ラインおきにサンプリングした画素を色度図プロットした。また、ＢＴ．７０９色域外画像（ｂ）で赤色表示している画素がＢＴ．７０９色域外画素である。
【００４７】
入力画像（Kodak Lossless True Color Image Suite, http://rok.us/graphics/kodak/）(ａ）中のＲＧＢ画素値をＢＴ．２０２０色空間としてＸＹＺ値に変換して、ｘｙ色度図(ｃ）にプロットしたものである。色度図中、ＢＴ．２０２０、およびＢＴ．７０９色空間で表現可能な色域の範囲を三角形で表しているが、ＢＴ．７０９色空間では表せない画素が少なからず存在している。そのような画素をＢＴ．７０９色域外画像（ｂ）として、赤色表示している。
【００４８】
色域（ガマト）マッピング（gamut mapping）［２，６］とは、より広い色域を持つ色空間における画素値を、より狭い色域の色空間の画素値へ変換する技術である。色域マッピングの要件としては、
【００４９】
・色相変化が小さい
・より狭い色域（ここでは、ＢＴ．７０９色空間）内部の色は変化しない
・空間的なディテールの損失、明るさやコントラストの変化、彩度の低下がない
・明度、彩度、色相の明らかな不連続性がない
・数学的に定義可能な変換である
【００５０】
が挙げられているが［４］、すべての要求を厳密に満たすことは不可能である。これまでに、様々な手法が提案されてきたが［２，６］、本文書では、均等色空間であるＣＩＥＬＡＢ表色系にて、色相毎に各色空間の色域限界である最大彩度間距離による最大色差平均が最小となるような無彩色点を焦点方向とする焦点明度を最適化により決定して、最適な色域マッピング値を計算する（図６参照）。
【００５１】
ここで、図６（ａ）はＣＩＥＬＡＢ表色系における明度保存する色域マッピングを示す図であり、図６（ｂ）は最大色差平均が最小となる無彩色点の焦点明度Ｌ＊０による色域マッピングを説明する図であり、図６（ｃ）は最大色差平均が最小となる焦点明度Ｌ＊０による色域マッピングを示す図である。ただし、Ｌ＊０以下の明度は保存するものとし、最大色差平均は、図中青色矢印の距離の平均であるものとする。
【００５２】
無彩色点を焦点方向とする最大色差平均が最小になる最適焦点明度値の計算手順は次のようになる。
【００５３】
１．明度Ｌ＊、色相ｈにおけるＢＴ．２０２０色空間で表すことのできる最大彩度Ｃ＊ｍａｘ２０２０を二分法［９］により計算する。
【００５４】
２．無彩色点の焦点明度Ｌ＊０と最大彩度Ｃ＊ｍａｘ２０２０を結ぶ直線上にあるＢＴ．７０９色空間で表すことのできる最大彩度Ｃ＊ｍａｘ７０９、最大明度Ｌ＊ｍａｘ７０９を計算する。
【００５５】
３．これを、Ｌ＊を変えて、次の最大色差平均を計算する。
【００５６】
【数６】
0006619994.tif 000007
【００５７】
４．そして，最大色差平均Ｊが最小となる無彩色点の焦点明度Ｌ＊０を黄金分割法［９］により決定する。
【００５８】
ステップ１における二分法による最大彩度値の計算方法を付録Ａに示す。ステップ２におけるＣ＊ｍａｘ７０９を計算する方法は次のようにする。Ｌ＊０とＣ＊ｍａｘ２０２０を結ぶ直線の方向ベクトルをｄ＝(ｄｘ，ｄｙ）Ｔとすると、
【００５９】
【数７】
0006619994.tif 000008
【００６０】
と表される。ただし、ｄは焦点明度Ｌ＊０からＣ＊ｍａｘ２０２０へ向かう方向を正とする。式（１１），（１２）の右辺は、γ＝Ｃ＊ｍａｘ２０２０／ｄｘのとき、無彩色点の焦点明度（０、Ｌ＊０）であり、γ＝０のとき、（Ｃ＊ｍａｘ２０２０，Ｌ＊ｍａｘ２０２０）に一致する。したがって、０＜γ＜Ｃ＊ｍａｘ２０２０／ｄｘであり、ステップ１同様、二分法により、γを変化させたときのＣ＊，Ｌ＊のＲＧＢ値における［０，１］区間判定を繰り返し行い、Ｃ＊ｍａｘ７０９，Ｌ＊ｍａｘ７０９を決定する。
【００６１】
色相ｈに対する焦点明度Ｌ＊０が求まれば、任意の色点Ｌ＊ａ＊ｂ＊において、焦点明度Ｌ＊０に対するその色点の最大彩度Ｃ＊ｍａｘ７０９，Ｃ＊ｍａｘ２０２０、最大明度Ｌ＊ｍａｘ７０９，Ｌ＊ｍａｘ２０２０が計算できる。そして、Ｌ＊０との間の距離を計算すれば、ソフトクリップ処理も可能となる。ソフトクリップ関数を付録Ｂに示す。
【００６２】
（４  シミュレーション実験）
（４．１  最適焦点明度の計算結果）
【００６３】
はじめに、ＣＩＥＬＡＢ表色系における各色空間の最大彩度を二分法［９］により計算する（結果は後述）。そして、式（１０）の最大色差平均を計算する。図７（ａ）は、焦点明度Ｌ＊０に対する式（１０）の最大色差平均Ｊをプロットしたものである。最大色差平均は、明度Ｌ＊０を１０から９０まで間隔０．１で変化させたときの焦点明度Ｌ＊０とＣ＊ｍａｘ２０２０を結ぶ直線上のＣ＊ｍａｘ７０９との間の距離の平均として計算した。色相ｈによって、Ｊは変化するが、ほぼ極小値を持つことがわかる。焦点明度以下の明度を保存する場合の最大色差平均の変化もほぼ同様の結果である。この極小値を黄金分割法［９］により決定した。
【００６４】
また、図７（ｂ）は、色相ｈに対する最大色差平均最小になる最適焦点明度Ｌ＊０をプロットしたものである（w/o const.L）。最適焦点明度の黄金分割法による探索範囲は、３０から９５とした。色相によっては、探索範囲中に極小値を持たない場合もあるが、そのような場合は最小値を取る明度とした。焦点明度Ｌ＊０以下の明度を保存する場合もプロットする（w/ const.L）。
【００６５】
（４．２  最適焦点明度による最大色差平均最小の色域マッピング結果）
ＣＩＥＬＡＢ表色系における各色空間の最大彩度と色域マッピングの結果を図８に示す。ＣＩＥＬＡＢ表色系におけるＢＴ．２０２０色空間の最大彩度の色点をＢＴ．７０９色空間の最大彩度の色点ヘマッピングしている。明度Ｌ＊を２．５から９７．５まで２．５づつ変化させて計算した。横軸が彩度Ｃ＊、縦軸が明度Ｌ＊である。左から明度保存、無彩色点を焦点方向とする最大色差平均の最小、焦点明度以下の明度を保存する最大色差平均の最小の色域マッピング結果である。上段からそれぞれ色相ｈが０，９０，１８０，２７０度の場合であり、色相毎の最適焦点明度Ｌ＊０は、それぞれ４８．０５１２１３，８０．６８４３９９，９１．４７４８８１，６８．５４６４２０である。焦点明度以下の明度を保存する場合の最適焦点明度は、それぞれ４３．６８１６９１，７９．６７０５０９，９０．００００００，５７．５０６４３７である。
【００６６】
図９は、色域マッピング結果の画像例である。左から原画像、明度保存による色域マッピング結果、最大色差平均最小による色域マッピング結果、および焦点明度以下の明度は保存する最大色差平均最小による色域マッピング結果と、そのＲＧＢ表色系における３次元ルックアップテーブル立方体補間［３］による処理結果である。原画像のＲＧＢ画素値をＢＴ．２０２０色空間としてＸＹＺ値に変換して、ＣＩＥＬＡＢ表色系において色域マッピングした結果をＢＴ．７０９色空間としてＲＧＢ値に変換した。色域マッピングにおけるソフトクリップ関数のε直は、ＢＴ．７０９色空間における最大彩度、最大明度と焦点明度との間の距離を１００とする正規化に対して、いずれも１０に設定した。明度保存による色域マッピング画像の結果は、高輝度における彩度の低下が目立つ場合がある。最大色差平均最小の最適焦点明度による色域マッピング画像の結果は、色相は保存されていても、画像によっては、局所的に暗部が明るくなる場合がある。焦点明度以下の明度を保存する最大色差平均最小の色域マッピング画像の結果は、概ね良好に見える。いずれの色域マッピング方法も、すべての画素が、ＢＴ．７０９色域内に変換されていることを確認したが、ここでは、原画像と色域マッピング画像の間の画素毎のＣＩＥＬＡＢ表色系における色差の平均により評価する。表１に図９に示した画像を含むＫｏｄａｋカラー評価画像（Kodak Lossless True Color Image Suite, http://rok.us/graphics/kodak/）２４枚、およびＭｃＭａｓｔｅｒデータセット（McMaster dataset, http://www4.comP.polyu.edu.hk/~cslzhang/CDM_Dataset.htm）１８枚の平均色差の結果を示す。
【００６７】
【表１】
0006619994.tif 000009
【００６８】
図１０は、Ｋｏｄａｋカラー評価画像、およびＭｃＭａｓｔｅｒデータセットのＲＧＢ表色系における３次元ルックアップテーブル立方体補間による色域マッピング結果の平均色差ΔＥ＊ａｂのグラフである。横軸は３次元ルックアップテーブルのサイズであり、ＲＧＢ各［０，１］区間をそれぞれ、８，１６，３２，６４等分した値をＣＩＥＬＡＢ表色系における焦点明度以下の明度を保存する最大色差平均最小による色域マッピングの結果のＲＧＢ値として３次元ルックアップテーブルに格納した。
【００６９】
（５  まとめ）
本文書では、次世代テレビ放送としての４Ｋ／８Ｋ（スーパーハイビジョン）におけるＢＴ．２０２０色空間から、現行地上デジタル放送におけるＢＴ．７０９色空間へ色域変換を行うために、均等色空間であるＣＩＥＬＡＢ表色系にて、色相毎に最大色差平均が最小となるような無彩色点を焦点方向とする焦点明度を最適化により決定し、最適な色域マッピング値を計算した。さらに、焦点明度以下の明度を保存する最大色差平均が最小となるような焦点明度も最適化により決定し、最適な色域マッピング値も計算した。評価画像により、焦点明度以下の明度を保存する最大色差平均最小の色域マッピングの結果が平均色差最小になることを確認した。そして、ＣＩＥＬＡＢ表色系における色域マッピング処理を、ＲＧＢ表色系における３次元ルックアップテーブル立方体補間により計算し、テーブルサイズによる計算精度を評価した。
【００７０】
（参考文献）
［１］池田光男, 「色彩工学の基礎」, 朝倉書店, 1980年1月.
［２］画像電子学会編, 「カラーマネジメント技術−拡張色空間とカラーアピアランス」, 東京電機大学出版局, 2008年7月．
［３］H. R. Kang, Computational Color Technology, SPIE Publications, May 2006.
［４］K. Masaoka, T. Yamashita, Y. Nishida, and M. Sugawara, Color management for wide-color-gamut UHDTV production, SMPTE Motion Imaging Journal, 124-3(April 2015), 19-27.
［５］松永力, 時間空間方向性補間とマルチスケール非線形エンハンサによる１パスビデオ超解像, 第20回画像センシングシンポジウム(SSII2014)講演論文集, 横浜(パシフイコ横浜), 2014年6月.
［６］J. Morovic, Color Gamut Mapping, John Wiley & Sons Ltd., August 2008.
［７］日本放送協会, 「スーパーハイビジョン映像技術」特集号, NHK技研R&D, No. 137, 2013年1月.
［８］S. C. Park, M. K. Park, and M. G. Kang, Super-resolution image reconstruction: A technical overview, IEEE Signal Processing Magazine, 20-3 (May 2003), 21-36.
［９］W. H. Press, S. A. Teukolsky, W. T. Vetterling, and B. P. Flannery, Numerical Recipes 3rd Edition: The Art of Scientific Computing, Cambridge University Press, September 2007.
［１０］J. Schanda, Colorimetry: Understanding the CIE System, Wiley-Interscience, July 2007.
［１１］趙延軍, 松永力, MXFファイルに対応した１パスビデオ超解像アップ変換のＧＰＵによる高速化, ＧＰＵテクノロジ・カンファレンス(GTC Japan 2014), 2014-8008, 東京(東京ミッドタウンホール＆カンファレンス), 2014年7月．
【００７１】
（付録Ａ  二分法による最大彩度値の計算）（図１３に説明する演算フロー図の説明）
明度Ｌ＊，色相ｈにおける最大彩度Ｃ＊ｍａｘを二分法［９］により求める手順は次のようになる。
１．ＲＧＢ表色系におけるＲＧＢ値が［０，１］区間に存在する区間下限彩度Ｃ＊１と存在しない区間上限彩度Ｃ＊２を初期値として定める。
２．Ｃ＊１とＣ＊２の中間彩度Ｃ＊Ｍを求める。
３．Ｃ＊ＭのＲＧＢ値が［０，１］区間に存在すればＣ＊１をＣ＊Ｍで置き換え、存在しなければＣ＊２をＣ＊Ｍで置き換える。
４．ステップ２に戻って操作を繰り返すことにより、最大彩度Ｃ＊ｍａｘに近づく。
初期値として、Ｃ＊１＝０，Ｃ＊２＝５００とすると、３０回の反復により、５００×２−３０＝０.００００００４６６であることから、およそ６桁の精度が得られる。
【００７２】
（付録Ｂ  ソフトクリップ関数）
双曲線
【数８】
0006619994.tif 000010
は直線ｙ＝ｘとｘ軸に平行な定数ｙ＝ａが漸近線になる。εはｓ（ｘ）の上限値ａへの漸近速度を決めるパラメータであり、εが大きくなると、漸近速度は遅くなる。ｂを入力値ｘの取り得る上限値として、厳密にｓ（０）＝０，ｓ（ｂ）＝ａとなるようにゲイン／オフセットα，βを決めると、次のようになる。
【数９】
0006619994.tif 000011
したがって、ソフトクリップ関数を
【数１０】
0006619994.tif 000012
と定義する。ｓＡ（ｘ）は、ε＝０のとき、直線ｙ＝ｘとｘ軸に平行な定数ｙ＝ａを区分接続したものに一致する。ε→∞の極限で、直線ｙ＝（ａ／ｂ）ｘに一致する（図１１を参照）。
【００７３】
（本発明の全体的な処理フロー）
図１２に従って本発明の全体的な処理フローについて簡単に説明する。図１２は、最適色域マッピング処理の流れ全体を説明する図である。ＲＧＢ入力を、均等色空間であるＣＩＥＬＡＢ色空間におけるＬ＊ａ＊ｂ＊に変換する。
さらに、ａ＊ｂ＊入力を彩度Ｃ＊、色相ｈに変換する。そして、色相ｈにおけるＢＴ．７０９およびＢＴ．２０２０色空間における最大彩度Ｃ＊ｍａｘ７０９， Ｃ＊ｍａｘ２０２０を計算する。色相ｈにおける焦点明度Ｌ＊０に対する最大色差平均Ｊが最小となるような最適焦点明度Ｌ＊０を計算する。
Ｌ＊ａ＊ｂ＊入力による色点と最適焦点明度Ｌ＊０を結ぶ直線上にある最大彩度Ｃ＊ｍａｘ７０９， Ｃ＊ｍａｘ２０２０、最大明度Ｌ＊ｍａｘ７０９， Ｌ＊ｍａｘ２０２０を計算する。
Ｌ＊ａ＊ｂ＊入力による色点と最適焦点明度Ｌ＊０の間の距離、Ｌ＊ａ＊ｂ＊入力に対する最大彩度Ｃ＊ｍａｘ７０９， Ｃ＊ｍａｘ２０２０、最大明度Ｌ＊ｍａｘ７０９， Ｌ＊ｍａｘ２０２０の距離によるソフトクリップ処理をＬ＊ａ＊ｂ＊入力に対して行う。ソフトクリップ処理結果のＬ＊’ａ＊’ｂ＊’出力をＲ’Ｇ’Ｂ’出力に変換して終了する。
【産業上の利用可能性】
【００７４】
本発明は、異なる色空間の間の色域変換を伴うような画像・映像処理全般、４Ｋ／８ＫにおけるＢＴ．２０２０色空間から、現行地上デジタル放送におけるＢＴ．７０９色空間への色域変換についての結果を示しているが、その他の色域変換においても適用可能であり、具体的な製品としては、ダウンコンバータ装置等にも好適である。
【図１】
0006619994.tif 000015
【図２】
0006619994.tif 000016
【図３】
0006619994.tif 000017
【図４】
0006619994.tif 000018
【図５】
0006619994.tif 000019
【図６】
0006619994.tif 000020
【図７】
0006619994.tif 000021
【図８】
0006619994.tif 000022
【図９】
0006619994.tif 000023
【図１０】
0006619994.tif 000024
【図１１】
0006619994.tif 000025
【図１２】
0006619994.tif 000026
【図１３】
0006619994.tif 000027