(57)【要約】【課題】出力デバイスのダイナミックレンジを超える画素について、ダイナミックレンジ内の画素との識別が容易で、かつ、階調の変化を視認できるような出力を可能とするための技術を提供する。【解決手段】画像処理装置が、輝度レベルの閾値を設定する設定部と、第１画像の少なくとも一部の領域の輝度レベルを変換して第２画像を生成する画像処理部と、を備え、前記画像処理部は、前記第１画像のうち前記閾値よりも大きい第１輝度レベルを有する画素に対応する前記第２画像の画素の輝度レベルが、前記第１画像のうち前記第１輝度レベルよりも高い第２輝度レベルを有する画素に対応する前記第２画像の画素の輝度レベルよりも高くなるように、前記第２画像を生成する。【選択図】図１
2020190711.tif 000002
【特許請求の範囲】
【請求項１】
輝度レベルの閾値を設定する設定部と、
第１画像の少なくとも一部の領域の輝度レベルを変換して第２画像を生成する画像処理部と、
を備え、
前記画像処理部は、前記第１画像のうち前記閾値よりも大きい第１輝度レベルを有する画素に対応する前記第２画像の画素の輝度レベルが、前記第１画像のうち前記第１輝度レベルよりも高い第２輝度レベルを有する画素に対応する前記第２画像の画素の輝度レベルよりも高くなるように、前記第２画像を生成する
ことを特徴とする画像処理装置。
【請求項２】
前記画像処理部は、前記第１画像のうち前記閾値よりも低い第３輝度レベルを有する画素に対応する前記第２画像の画素の輝度レベルが、前記第１画像のうち前記第３輝度レベルよりも高い第４輝度レベルを有する画素に対応する前記第２画像の画素の輝度レベルよりも低くなるように、前記第２画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理部は、前記第１画像のうち前記閾値よりも大きい輝度レベルの画素に対して、変換後の輝度レベルが前記閾値以下となり、かつ、変換前の輝度レベルが前記閾値よりも大きい範囲のうちの少なくとも一部の範囲に関して、変換前の輝度レベルの増加に対して変換後の輝度レベルが減少となるように変換処理を施して、前記第２画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像処理部は、前記第１画像のうち前記閾値よりも大きい輝度レベルの画素に対して、変換後の輝度レベルが前記閾値以下となり、かつ、変換前の輝度レベルから変換後の輝度レベルへの写像が単調減少となるような変換処理を施して、前記第２画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記画像処理部は、前記第１画像のうち前記閾値よりも低い輝度レベルを有する画素に対して、変換前の輝度レベルが高いほど、変換後の輝度レベルが高くなるように変換処理を施して、前記第２画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記画像処理部は、前記第１画像のうち前記閾値よりも低い輝度レベルを有する画素に対しては、変換前の輝度レベルと変換後の輝度レベルが等しくなるような変換処理を施すことを特徴とする請求項１〜５のうちいずれか一項に記載の画像処理装置。
【請求項７】
前記第２画像は、表示装置への表示に用いられる画像であり、
前記第１画像は、前記表示装置のダイナミックレンジよりも広いダイナミックレンジをもつ画像である
ことを特徴とする請求項１〜６のうちいずれか一項に記載の画像処理装置。
【請求項８】
前記第１画像は、ハイダイナミックレンジ（ＨＤＲ）規格の画像である
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記輝度レベルの閾値は、前記表示装置で表示可能な最大輝度に対応する値に設定される
ことを特徴とする請求項７又は８に記載の画像処理装置。
【請求項１０】
前記写像は、輝度レベルの対数に対して、一次関数で表され又は近似される
ことを特徴とする請求項４に記載の画像処理装置。
【請求項１１】
前記一次関数の傾きが−１である
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記一次関数の傾きが−１より小さい
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１３】
前記一次関数の傾きが−１より大きい
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１４】
前記写像は、輝度レベルの対数に対して、区分線形関数で表され又は近似される
ことを特徴とする請求項４に記載の画像処理装置。
【請求項１５】
前記写像は、輝度レベルの対数に対して、曲線で表される
ことを特徴とする請求項４に記載の画像処理装置。
【請求項１６】
前記画像処理部は、変換前の輝度レベルが前記閾値以下の範囲と変換前の輝度レベルが前記閾値よりも大きい範囲とのあいだで、変換後の輝度レベルが連続となるように、前記第１画像の輝度レベルを変換する
ことを特徴とする請求項１〜１５のうちいずれか一項に記載の画像処理装置。
【請求項１７】
前記画像処理部は、変換前の輝度レベルが前記閾値以下の範囲と変換前の輝度レベルが前記閾値よりも大きい範囲とのあいだで、変換後の輝度レベルが不連続となるように、前記第１画像の輝度レベルを変換する
ことを特徴とする請求項１〜１５のうちいずれか一項に記載の画像処理装置。
【請求項１８】
前記第１画像の各画素は複数の色成分を有しており、
前記画像処理部は、前記複数の色成分のそれぞれに対して前記変換処理を行う
ことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項１９】
前記第１画像の各画素は複数の色成分を有しており、
前記画像処理部は、
前記複数の色成分のうち当該画素において最も比率の高い色成分に対してのみ前記変換処理を行い、
当該画素における前記複数の色成分の比率が維持されるように、残りの色成分の変換後の値を計算する
ことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項２０】
前記第２画像は、変換前の輝度レベルが前記閾値よりも大きい画素が変換後の輝度レベルに応じたモノクロの画素に置き換えられた画像である
ことを特徴とする請求項１〜１９のうちいずれか一項に記載の画像処理装置。
【請求項２１】
前記第２画像は、変換前の輝度レベルが前記閾値よりも大きい領域に、所定の画像パターンが重畳された画像である
ことを特徴とする請求項１〜２０のうちいずれか一項に記載の画像処理装置。
【請求項２２】
前記所定の画像パターンは縞状パターンである
ことを特徴とする請求項２１に記載の画像処理装置。
【請求項２３】
前記画像処理部は、複数の入力値に関して、入力値と変換後の出力値との対応関係が定義されたデータテーブルを用いて、前記第１画像から前記第２画像への変換を行う
ことを特徴とする請求項１〜２２のうちいずれか一項に記載の画像処理装置。
【請求項２４】
前記データテーブルに定義される複数の前記対応関係のうちの一つが、前記閾値に対応する入力値に関する対応関係である
ことを特徴とする請求項２３に記載の画像処理装置。
【請求項２５】
前記画像処理部は、前記第１画像のうち所定の除外輝度範囲に含まれる輝度レベルを有する画素に対しては、変換後の輝度レベルが所定の輝度レベルとなるような変換処理を施す
ことを特徴とする請求項１〜２４のうちいずれか一項に記載の画像処理装置。
【請求項２６】
輝度レベルの閾値を設定するステップと、
第１画像の少なくとも一部の領域の輝度レベルを変換して第２画像を生成する生成ステップと、を有し、
前記生成ステップは、前記第１画像のうち前記閾値よりも大きい第１輝度レベルを有する画素に対応する前記第２画像の画素の輝度レベルが、前記第１画像のうち前記第１輝度レベルよりも高い第２輝度レベルを有する画素に対応する前記第２画像の画素の輝度レベルよりも高くなるように、前記第２画像を生成する
ことを特徴とする画像処理方法。
【請求項２７】
コンピュータを請求項１〜２５のうちいずれか一項に記載の画像処理装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、テレビやモニタなどの表示装置において、従来よりも広いダイナミックレンジ（表示可能な輝度範囲）をもつ製品が登場している。それに伴い広いダイナミックレンジに対応したハイダイナミックレンジ（ＨＤＲ；Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）画像が普及しつつある。ＨＤＲ画像と対比して、従来の画像は、標準的なダイナミックレンジをもつ画像という意味で、ＳＤＲ（Ｓｔａｎｄａｒｄ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）画像と呼称される。
【０００３】
一方で、こうしたＨＤＲ画像の普及に伴い、ＨＤＲ規格に比べてダイナミックレンジが限定的なモニタ（つまり、ＨＤＲ画像よりもダイナミックレンジが狭いモニタ）でＨＤＲ画像を確認する用途が増えつつある。モニタのダイナミックレンジよりも広いダイナミックレンジに対応するＨＤＲ画像を表示する場合、モニタが表現できないレンジ（オーバーレンジ）に対応する画素は、いわゆる白飛びと表現されるような最大輝度（白色）で表示される処理が行われる。例えば、撮影時にカメラの背面モニタや電子ビューファインダなどで画像の確認が行われるが、この種のモニタはダイナミックレンジが限定的であるものが多い。
【０００４】
特許文献１には、閾値以上の輝度レベルの領域にゼブラパターンを重畳することでオーバーレンジの領域を表示する方法が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−１６７６０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の方法では、オーバーレンジの画素領域の有無やその値域は判別可能であるが、階調の連続的な変化やオーバーレンジに含まれる画像を視認するのには適していない。例えば、特許文献１の方法では、画像のうちオーバーレンジの画素領域にオブジェクトが含まれるか否かを、判断することができない。
【０００７】
本発明は上記実情に鑑みなされたものであり、出力デバイスのダイナミックレンジを超える画素について、ダイナミックレンジ内の画素との識別が容易で、かつ、階調の変化を視認できるような出力を可能とするための技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第一側面は、輝度レベルの閾値を設定する設定部と、第１画像の少なくとも一部の領域の輝度レベルを変換して第２画像を生成する画像処理部と、を備え、前記画像処理部は、前記第１画像のうち前記閾値よりも大きい第１輝度レベルを有する画素に対応する前記第２画像の画素の輝度レベルが、前記第１画像のうち前記第１輝度レベルよりも高い第２輝度レベルを有する画素に対応する前記第２画像の画素の輝度レベルよりも高くなるように、前記第２画像を生成することを特徴とする画像処理装置を提供する。
【０００９】
本発明の第二側面は、輝度レベルの閾値を設定するステップと、第１画像の少なくとも
一部の領域の輝度レベルを変換して第２画像を生成する生成ステップと、を有し、前記生成ステップは、前記第１画像のうち前記閾値よりも大きい第１輝度レベルを有する画素に対応する前記第２画像の画素の輝度レベルが、前記第１画像のうち前記第１輝度レベルよりも高い第２輝度レベルを有する画素に対応する前記第２画像の画素の輝度レベルよりも高くなるように、前記第２画像を生成することを特徴とする画像処理方法を提供する。
【００１０】
本発明の第三側面は、コンピュータを本発明の第一側面に係る画像処理装置の各部として機能させるためのプログラムを提供する。
【発明の効果】
【００１１】
本発明によれば、出力デバイスのダイナミックレンジを超える画素について、ダイナミックレンジ内の画素との識別が容易で、かつ、階調の変化を視認できるような出力が可能となる。
【図面の簡単な説明】
【００１２】
【図１】画像表示システムの構成を示すブロック図。
【図２】画像処理装置による画像変換処理のフローを示す図。
【図３】入力ダイナミックレンジと出力ダイナミックレンジとオーバーレンジとの関係の一例を示す図。
【図４】変換前の輝度レベルと変換後の輝度レベルの関係の一例を示す図。
【図５】変換前の輝度レベルと変換後の輝度レベルの関係の一例を示す図。
【図６】変換前の輝度レベルと変換後の輝度レベルの関係の一例を示す図。
【図７】変換前の輝度レベルと変換後の輝度レベルの関係の一例を示す図。
【図８】変換処理によって生成された出力画像の例を示す図。
【発明を実施するための形態】
【００１３】
本発明は、入力画像のダイナミックレンジ（以下「入力ダイナミックレンジ」）を、設定された閾値以下の輝度レベルからなるダイナミックレンジ（以下「出力ダイナミックレンジ」）に変換する処理によって、入力画像から出力画像を生成する技術に関する。このような技術は、入力ダイナミックレンジに比べて出力デバイスのダイナミックレンジが狭い場合に、入力画像から出力デバイスでの出力に適した出力画像を生成するために用いることができる。入力画像の輝度や階調を確認する目的においては、入力画像のうち、輝度レベルが出力ダイナミックレンジに含まれる画素（領域）は、出来る限り入力画像に忠実に再現されることが好ましい。その一方で、入力画像のうち、輝度レベルが出力ダイナミックレンジに含まれない画素（領域）については、オーバーレンジであることが容易に識別できることが望まれる。ここで、入力画像のうち、輝度レベルが出力ダイナミックレンジに含まれない画素（領域）を、オーバーレンジ画素（オーバーレンジ領域）と呼称する。しかし、オーバーレンジ領域を一律の輝度で表示したり、同一の警告色で表示したりするだけでは、オーバーレンジ領域に含まれる画像情報（階調情報）が失われてしまう。具体的には、オーバーレンジ領域内に含まれる階調変化を確認することができないことから、オーバーレンジ領域に含まれるオブジェクトや模様をユーザが確認することができない。したがって、入力画像の確認という目的を達成することができない。また、入力ダイナミックレンジの全部又は一部（例えば確認したい部分）を出力ダイナミックレンジに収まるように階調圧縮を行う方法では、入力画像のうち、輝度レベルが出力ダイナミックレンジに含まれる画素（領域）が本来とは異なる輝度で出力されてしまう。したがって、このような階調圧縮は、入力画像を確認する用途には不向きである。
【００１４】
そこで、本発明では、入力画像のうち出力ダイナミックレンジを超える輝度レベルを有する画素に対して、変換後の輝度レベルが出力ダイナミックレンジに含まれるように輝度レベルを変換する処理を行う。さらに、変換処理は、オーバーレンジのうち少なくとも一
部の範囲に関して、変換前の輝度レベルの増加に対して変換後の輝度レベルが減少する対応関係を用いる。換言すると、オーバーレンジのうち少なくとも一部の範囲に関して、変換前の輝度レベルから変換後の輝度レベルへの写像（関数）が単調減少となるような変換処理が行われる。すなわち、入力画像のうち輝度レベルが出力ダイナミックレンジに含まれる画素については、入力画像における輝度レベル（階調値）が大きくなるほど変換後の出力画像の輝度レベルが高くなる。そして、入力画像のうち輝度レベルが出力ダイナミックレンジに含まれない画素については、入力画像における輝度レベル（階調値）が大きくなるほど変換後の出力画像の輝度レベルが低くなる。これにより、入力画像のうち輝度レベルが出力ダイナミックレンジに含まれる画素については入力画像に忠実な再現が可能である。他方、入力画像のうち輝度レベルが出力ダイナミックレンジに含まれない画素については、入力画像のうち輝度レベルが出力ダイナミックレンジに含まれる画素との識別が容易で、かつ、階調の変化を視認することのできる出力が可能となる。
このようにして、変換前の画像の輝度レベルが高いほど、変換後の画像の輝度レベルが低くなるように変換する処理をポジネガ処理（ポジネガ反転処理）とも呼称する。また、単に反転処理ともいう。
【００１５】
なお、本明細書において、「輝度レベル」は、輝度を示す指標、具体的には、輝度に比例する値、の意味で用いる。例えば、絶対輝度の値でもよいし、輝度を規格化した値でもよいし、相対輝度の値でもよい。「変換前の輝度レベルから変換後の輝度レベルへの写像が単調減少」とは、変換前の輝度レベルが大きいほど変換後の輝度レベルが小さいこと、すなわち、写像をｆ、変換前の輝度レベルをＬｉ、変換後の輝度レベルをｆ（Ｌｉ）としたときに、
Ｌ１＜Ｌ２  ならば  ｆ（Ｌ１）≧ｆ（Ｌ２）
が成り立つことを意味する。この写像ｆは、単調非増加とも呼ばれる。写像ｆの定義域、すなわち、変換前の輝度レベルＬｉの範囲は、出力ダイナミックレンジを超える範囲の全部であってもよいし、出力ダイナミックレンジを超える範囲の一部であってもよい。例えば、出力ダイナミックレンジを超える範囲の全体に画素が分布していることは少ないので、オーバーレンジの画素が比較的多く集中している一部の範囲のみに上記の写像ｆによる変換を行ってもよい。写像は、変換前の輝度レベルと変換後の輝度レベルとの対応関係、もしくは変換前の輝度レベルを変換後の輝度レベルに変換するための関数（変換関数）ともいえる。
【００１６】
以下の実施形態では、ダイナミックレンジが限定的な表示装置でＨＤＲ画像を確認する用途に本発明を適用した例を説明する。
【００１７】
図１は本発明の実施形態に係る画像表示システムの構成を示すブロック図である。画像表示システムは、入力画像１２の確認などに利用されるシステムであって、画像処理装置１０と画像表示装置１１から構成される。画像処理装置１０は、入力画像１２と出力ダイナミックレンジ情報１３を入力として受けとり、入力画像１２に対し必要な処理を行って出力画像１４を生成し、画像表示装置１１に出力する。ユーザは画像表示装置１１に表示された出力画像１４を見ることで、入力画像１２の輝度や階調の確認を行う。なお、画像処理装置１０と画像表示装置１１は個別の装置であってもよいし、単体の装置であってもよい。
【００１８】
入力画像１２は、例えば、ＰＱ方式、ＨＬＧ方式などの規格に準拠したＨＤＲ画像である。ただし、ＳＤＲ画像の基準白を超える輝度レベルに対応する信号階調をもつ画像であれば、これらの規格以外の画像（例えばＬｏｇ方式といったカメラに独自の方式など）を入力画像１２としてもよい。例えば、ＨＬＧ方式のＨＤＲ画像では、ＳＤＲ画像の基準白の１２倍の輝度に相当する輝度レベルまでの信号階調が定義されている。またＰＱ方式のＨＤＲ画像では、ＳＤＲ画像の基準白が１００ｎｉｔであるとして、その１００倍の輝度
（１００００ｎｉｔ）に相当する輝度レベルまでの信号階調が定義されている。なお、１ｎｉｔは１ｃｄ／ｍ２に等しく、１平方メートルの面積が均一に１カンデラの明るさで光る輝度である。
【００１９】
階調値と輝度（明るさ）との対応関係はＥＯＴＦ（Ｅｌｅｃｔｒｏ−Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）と呼ばれる。入力画像１２のＥＯＴＦは、入力画像１２に関連付けられて、画像処理装置１０に入力されるとよい（ただし、入力画像１２のＥＯＴＦが既知の場合はＥＯＴＦの入力は必ずしも必要でない）。
【００２０】
出力ダイナミックレンジ情報１３は、画像処理装置１０から出力される出力画像１４のダイナミックレンジ（出力ダイナミックレンジ）を定めるための情報である。本実施形態のように出力画像１４が画像表示装置１１での表示に用いられる場合であれば、画像表示装置１１のダイナミックレンジを示す情報が出力ダイナミックレンジ情報１３として与えられてもよい。例えば、ＰＱ方式のＨＤＲ画像のように、入力画像１２の階調値が絶対輝度で定義されている場合、画像表示装置１１が表示可能な最大輝度（絶対輝度）の値が出力ダイナミックレンジ情報１３として与えられることが好適である。一方、ＨＬＧ方式やＬｏｇ方式のＨＤＲ画像のように、入力画像１２の階調値が相対輝度で定義されている場合には、画像表示装置１１が表示可能な最大輝度に対応付ける相対輝度の値が出力ダイナミックレンジ情報１３として与えられることが好適である。あるいは、絶対輝度や相対輝度の値ではなく、表示可能な最大輝度に対応する階調値（つまり、入力画像１２の階調範囲の中のどの階調値まで表示可能であるかを示す情報）が出力ダイナミックレンジ情報１３として与えられてもよい。画像処理装置１０は、画像表示装置１１のＥＤＩＤ情報を読み取り、画像表示装置１１が表示可能な最大輝度（絶対輝度）の値を示す情報を取得することも可能である。
【００２１】
画像表示装置１１は、画像処理装置１０から出力された出力画像１４を表示するための出力デバイスである。画像表示装置１１では、出力画像１４の画素毎にその階調値に応じた輝度（明るさ）の表示が行われる。画像表示装置１１は、例えば、液晶表示装置、有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置、プラズマ表示装置、ＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍ）シャッタ方式表示装置、等である。
【００２２】
画像処理装置１０は、主な機能部として、画像取得部１０１、設定部１０２、画像処理部１０３、通信部１０４を有する。画像取得部１０１は、入力画像１２のデータを取得する機能である。
【００２３】
設定部１０２は、出力ダイナミックレンジを設定する機能である。設定部１０２は、少なくとも出力ダイナミックレンジの上限値（閾値）を設定する。設定部１０２は、例えば、マウスやタッチパネルなどの入力装置から受け付けたユーザの指示に応じて、出力ダイナミックレンジの上限値を設定してもよい。設定部１０２は、画像表示装置１１から通信部１０４を介して取得した出力ダイナミックレンジ情報１３に基づいて、出力ダイナミックレンジの上限値を設定してもよい。出力画像１４の出力先となるデバイスが未定の場合には、前者の方法（ユーザによる入力ないし指定）が好ましい。入力画像１２と出力ダイナミックレンジの上限値は画像処理部１０３に与えられる。
【００２４】
画像処理部１０３は、入力画像１２が出力ダイナミックレンジの上限値よりも大きい輝度レベルの画素（オーバーレンジ画素）を含む場合に、入力画像１２の輝度レベルを変換し、変換後の輝度レベルに基づいて出力画像１４を生成する機能である。画像処理部１０３がオーバーレンジ画素に施す処理は、輝度レベル変換以外の処理、例えば、色変換、画像パターン（警告パターン）の重畳などを含んでいてもよい。輝度レベルが出力ダイナミ
ックレンジの上限値以下の画素（つまり、オーバーレンジでない画素）については、入力画像１２の値をそのまま出力画像１４に出力するとよい。入力画像１２における輝度や色などを忠実に再現するためである。
【００２５】
通信部１０４は、出力画像１４や画像表示装置１１の出力ダイナミックレンジを示す情報を、画像表示装置１１と送受信するための通信インターフェースである。
【００２６】
画像処理装置１０は、例えば、プロセッサ（ＣＰＵ）とメモリと不揮発性の記憶媒体を備えるコンピュータにより構成してもよい。この構成の場合、図１に示す機能部１０１〜１０３は、不揮発性の記憶媒体に格納されたプログラムをメモリにロードし、プロセッサが当該プログラムを実行することにより、実現される。ただし、この構成に限られず、画像処理装置１０の機能部の全部又は一部をＡＳＩＣやＦＰＧＡなどの回路により構成してもよい。あるいは、画像処理装置１０の機能部の全部又は一部をクラウドコンピューティングや分散コンピューティングにより実現しても構わない。
【００２７】
図２に画像処理装置１０による画像変換処理のフローを示す。ステップＳ２０１で画像取得部１０１は、入力画像１２を取得する。このとき、画像取得部１０１は、入力画像１２に関連付けられたＥＯＴＦも取得する。
【００２８】
ステップＳ２０２で、設定部１０２は、出力ダイナミックレンジ情報１３を取得し、出力ダイナミックレンジ情報１３に基づいて出力ダイナミックレンジの上限値（閾値）を設定する。入力画像１２と出力ダイナミックレンジの上限値は画像処理部１０３に与えられる。
【００２９】
ステップＳ２０３で、画像処理部１０３は、入力画像１２のＥＯＴＦに従い、入力画像１２の各画素の階調値を輝度レベルに変換する。
【００３０】
ステップＳ２０４で、画像処理部１０３は、入力画像１２のうち輝度レベルが閾値を超えている画素に対し、輝度レベルの変換処理を行う。このとき、出力ダイナミックレンジの上限値を超える範囲のうちの少なくとも一部の範囲については、単調減少写像による変換が行われる（具体例は後述する）。輝度レベルが出力ダイナミックレンジ内の画素については輝度レベルの変換は行われず、そのまま出力される。
【００３１】
ステップＳ２０５で、画像処理部１０３は、画像表示装置１１のＥＯＴＦに従い、変換後の各画素の輝度レベルを階調値に変換して、出力画像１４を生成する。画像表示装置１１のＥＯＴＦは、画像処理部１０３に予め設定されていてもよいし、出力ダイナミックレンジ情報１３に含まれていてもよいし、画像表示装置１１から直接的に取得してもよい。
【００３２】
なお、画像処理部１０３は、ステップＳ２０３〜Ｓ２０５の変換処理を関数により行ってもよいし、変換前後の値が対応付けられたデータテーブル（以後、ルックアップテーブル（ＬＵＴ）と呼ぶ）を用いて行ってもよい。ＬＵＴを用いる方法の方が、演算が少ないため処理時間の短縮を図ることができる。ステップＳ２０３〜Ｓ２０５の３つの変換処理のそれぞれについて個別の関数又はＬＵＴを用いてもよいし、３つの変換処理をまとめて行う関数又はＬＵＴを用いてもよい。ステップＳ２０３の変換処理の関数又はＬＵＴは、入力が階調値、出力が輝度レベルとなる。ステップＳ２０４の変換処理の関数又はＬＵＴは、入力も出力も輝度レベルである。ステップＳ２０５の変換処理の関数又はＬＵＴは、入力が輝度レベル、出力が階調値となる。また、ステップＳ２０３〜Ｓ２０５の３つの変換処理をまとめて行う関数又はＬＵＴは、入力も出力も階調値である。「入力画像のＥＯＴＦ」と「画像表示装置のＥＯＴＦ」と「出力ダイナミックレンジ」の組合せが決まれば、入力画像の階調値（入力階調）と出力画像の階調値（出力階調）の対応関係を予め計算
することができる。その計算値を用いることで、３つの変換処理をまとめて行う関数又はＬＵＴを生成することが可能である。３つの変換処理をまとめて行うことにより、処理時間のさらなる短縮を図ることができる。画像処理部１０３が用いる関数又はＬＵＴは、不揮発性の記憶媒体に予め格納されているものとする。また、ステップＳ２０４でオーバーレンジ画素に対して変換処理をするとしたが、例えば後述する図４に示すような入出力の対応関係を用いて、入力画像に対して輝度レベルによらず一括で変換処理を施してもよい。
【００３３】
すべての入力値に関して、入力値と出力値の対応関係（以下「入出力関係」という）を定義すると、ＬＵＴのデータサイズが膨大となる。そのため、離散的な入力値（限られた数の入力値；以下「離散入力値」という）についてのみ、入出力関係を定義したＬＵＴを用いるとよい。これによりＬＵＴのデータサイズを小さくでき、ＬＵＴを格納するのに必要なメモリサイズを小さくできる。ＬＵＴで定義されていない入力値が与えられた場合には、値の近い離散入力値を一つ以上選択し、その離散入力値の入出力関係を用いて、補間計算によって出力値を算出する。例えば、与えられた入力値を間に挟む二つの離散入力値に対応する二つの出力値をＬＵＴから取得し、与えられた入力値とそれぞれの離散入力値との距離に応じた比率で、二つの出力値を線形補間することによって、入力値に対応する出力値が計算される。
【００３４】
ステップＳ２０４の変換処理のＬＵＴ、及び、ステップＳ２０３〜Ｓ２０５の３つの変換処理をまとめて行うＬＵＴに関して、上述した離散的なＬＵＴと補間計算を適用する場合には注意が必要である。すなわち、本実施形態においては、入力値が出力ダイナミックレンジ内かその上限値を超えるかで、入力値と出力値の対応関係が不連続に変化する。例えば、出力ダイナミックレンジ内の場合は、入力値と出力値が単調増加の関係であったものが、出力ダイナミックレンジの上限値を超えると、単調減少の関係に切り替わる。そのため、補間計算を行う際に、出力ダイナミックレンジの上限値より小さい離散入力値と上限値より大きい離散入力値とが選択されると、補間計算の結果が所望の入出力関係から大きくずれてしまい、妥当でない変換画像が得られる可能性がある。このような意図しない変換を未然に防ぐため、ＬＵＴに、出力ダイナミックレンジの上限値に対応する入力値に関する入出力関係を含めることが有効である。言い換えると、ＬＵＴに定義される複数の入出力関係（入力値と出力値の対応関係）のうちの一つが、出力ダイナミックレンジの上限値（輝度レベルの閾値）に対応する入力値に関する入出力関係であるとよい。このようなＬＵＴを用いることで、出力ダイナミックレンジの上限値より小さい離散入力値と上限値より大きい離散入力値との間で補間計算が行われることがなくなり、妥当でない補間計算を排除することができる。なお、ＬＵＴの入力値及び出力値は、階調値でもよいし、輝度レベルでもよい。
【００３５】
図３に入力画像のダイナミックレンジと出力ダイナミックレンジとオーバーレンジとの関係の一例を示す。この例では入力画像がＰＱ方式であって１００００ｎｉｔまでの階調を備え、出力ダイナミックレンジの上限値が１００ｎｉｔである場合を示しており、１００ｎｉｔを超える階調範囲がオーバーレンジである。入力画像に含まれる各画素において、その階調値が出力ダイナミックレンジ内である画素（つまり、１００ｎｉｔに対応する階調値以下の画素）は入力画像のＥＯＴＦ情報に従って表示することが可能である。しかし、その階調値がオーバーレンジに該当する画素は表示できない。
【００３６】
さて、一般にウェーバー・フェヒナー（Ｗｅｂｅｒ−Ｆｅｃｈｎｅｒ）の法則として知られるように、画像表示における階調の感覚量は輝度の変化比に比例して知覚される。そのため、輝度の変化比を増加から同程度の減少へ変更しても階調間の相対関係は知覚することが可能である。そこで、画像表示装置１１で表示できない階調範囲の画素について、入力画像１２の階調増加に対する輝度変化の関係を増加から同程度の減少に代替する。こ
うすることで画像表示装置１１のダイナミックレンジを超える階調について、その階調間の相対関係を再現しつつ画像表示装置１１で表示することが可能となる。
【００３７】
図４にステップＳ２０４の輝度レベル変換処理における変換前の輝度レベルと変換後の輝度レベルの関係の一例を示す。図４の横軸は規格化入力輝度であり、変換前の輝度レベル（入力画像１２の輝度レベル）を出力ダイナミックレンジの上限値が１．０となるように規格化した値である。縦軸は規格化出力輝度であり、変換後の輝度レベル（出力画像１４の輝度レベル）を出力ダイナミックレンジの上限値が１．０となるように規格化した値である。横軸・縦軸とも対数軸である。
【００３８】
図４中の太線が、ステップＳ２０４の輝度レベル変換処理における、変換前の輝度レベルから変換後の輝度レベルへの写像（関数）を表している。出力ダイナミックレンジ内の輝度レベル（規格化輝度が１．０以下の範囲）は、変換されずに、そのまま出力されることを示している（変換されないのではなく、傾き１の一次関数で表される写像となるような変換が行われた、と考えることもできる）。一方、出力ダイナミックレンジを超える輝度レベル（規格化輝度が１．０よりも大きい範囲）については、輝度レベルの対数に対して傾きが−１の一次関数で表され又は近似される写像となるような変換が行われる。これにより、例えば規格化入力輝度１００（ＰＱ方式の入力画像で１００００ｎｉｔに対応）は、規格化出力輝度０．０１（１ｎｉｔに相当）に変換されることとなる。
【００３９】
このような輝度レベル変換によって、出力ダイナミックレンジ内の画素については、入力画像１２の輝度に忠実な再現が可能である。他方、出力ダイナミックレンジを超える画素については、出力ダイナミックレンジ内の画素との識別が容易で、かつ、階調の変化を視認することのできる出力画像が得られる。したがって、ユーザは、ダイナミックレンジが限定的な画像表示装置１１を用いて、ＨＤＲ画像の輝度や階調の確認、オーバーレンジとなる画素領域の確認などを好適に行うことができる。
【００４０】
オーバーレンジに対する輝度レベル変換は、図４に示すように、傾き−１の一次関数で表され又は近似される写像であるのが好例である。ただし、この写像は好適な一例にすぎず、他の写像を用いても同等の効果を得ることができる。以下に、他の写像の例を示す。
【００４１】
図５の符号５０は、傾きが−１より小さい一次関数で表され又は近似される写像の例である。写像５０で示される変換を行うことにより、オーバーレンジの階調のコントラストを高める効果が得られる。したがって、画像中のオーバーレンジ領域を強調表示したい場合は、写像５０が好適である。
【００４２】
図５の符号５１は、傾きが−１より大きい一次関数で表され又は近似される写像の例である（単調減少関数であることが前提なので、傾きは０より小さい）。写像５１で示される変換を行うことにより、オーバーレンジの階調のコントラストを弱める効果が得られる。したがって、画像中のオーバーレンジ領域を軟調表示したい場合は、写像５１が好適である。
【００４３】
図６は、一次関数以外の写像を用いる例である。図６の符号６０は、区分線形関数で表され又は近似される写像の例である。区分線形関数は、定義域が複数の区分に分けられ、各区分が一次関数で表されるものである。図６は、定義域（規格化入力輝度が１．０より大きい範囲）を２つの区分に分け、輝度レベルが低い方の区分の傾きを、輝度レベルが高い方の区分の傾きよりも小さくした例である。写像６０で示される変換を行うことにより、例えば規格化入力輝度が１〜１０の範囲を強調表示する一方で、１０を超える範囲を軟調表示する、という効果が得られる。一般に、オーバーレンジの画素は１０００ｎｉｔ以
下の範囲に多く分布する傾向にあり、１０００ｎｉｔを超える画素は非常に少ない。したがって、オーバーレンジの中でも輝度レベルが低い範囲に出力階調を多く割り当てることで、オーバーレンジの視認性をより高めることができる。
【００４４】
図６の符号６１は、曲線（例えばｎ次関数（ｎは２以上の整数））で表され又は近似される写像の例である（単調減少関数であることが前提なので、上に凸となる曲線である）。このような写像６１を用いても同様の効果を得ることができる。また、図６の例では、規格化入力輝度が１．０のときに規格化出力輝度が１．０となり、かつ、その傾き（導関数）が０となるようなｎ次関数を用いている。これにより、出力輝度が増加から減少に転じる変化が漸次的になるため、出力レベルの上限値の前後において、自然な印象を優先した階調表示が実現できる。
【００４５】
図４〜図６の例では、入力輝度レベルが上限値以下の範囲と上限値よりも大きい範囲とのあいだで出力輝度レベルが連続となるような、輝度レベル変換が行われる。すなわち、規格化入力輝度が１．０以下の範囲の写像（傾き１の一次関数）と規格化入力輝度が１．０より大きい範囲の写像とが連続している。これにより、出力レベルの上限値の前後において表示輝度の不連続が生じないため、表示の不自然さを緩和することができる。
【００４６】
これに対し、図７に示すように、入力輝度レベルが上限値以下の範囲と上限値よりも大きい範囲とのあいだで出力輝度レベルがあえて不連続となるようにしてもよい。これにより、出力レベルの上限値の前後において表示輝度が有意に変化するため、ユーザは、出力レベル内の画素とオーバーレンジの画素とを容易に識別できるようになるという利点がある。
【００４７】
図４〜図７に示したように、輝度レベルの変換方法は、オーバーレンジに含まれる対象の輝度レベルＬ１を変換して得られる輝度レベルｆ（Ｌ１）が、対象の輝度レベルＬ１よりも高い輝度レベルＬ２を変換して得られる輝度レベルｆ（Ｌ２）よりも高くなるように変換されるものであればよい。すなわち、閾値（出力ダイナミックレンジの上限値）をＬｔｈとしたときに、
Ｌｔｈ＜Ｌ１＜Ｌ２  ならば  Ｌｔｈ＞ｆ（Ｌ１）＞ｆ（Ｌ２）
を満足するような輝度レベルの変換方法であるとよい。
【００４８】
図４〜図７は、入力輝度レベルが上限値（閾値）より低い範囲、すなわち、規格化入力輝度が１．０より小さい範囲について、入力と出力の輝度レベルが等しくなるような変換処理を行う（つまり、輝度レベルの変換を行わない）例を示している。しかしこれに限らず、入力輝度レベルが上限値（閾値）より低い範囲について、入力輝度と出力輝度が異なるような変換処理を行ってもよい。輝度レベルの変換方法は、オーバーレンジに含まれない対象の輝度レベルＬ３を変換して得られる輝度レベルｆ（Ｌ３）が、対象の輝度レベルＬ３よりも高い輝度レベルＬ４を変換して得られる輝度レベルｆ（Ｌ４）よりも低くなるように変換されるものであればよい。すなわち、閾値（出力ダイナミックレンジの上限値）をＬｔｈとしたときに、
Ｌ３＜Ｌ４＜Ｌｔｈ  ならば  ｆ（Ｌ３）＜ｆ（Ｌ４）＜Ｌｔｈ
を満足するような輝度レベルの変換方法であるとよい。
具体的な変換方法は、画像の内容や視認性に応じて変更可能である。
【００４９】
入力画像１２の画素がＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）の３原色など複数の色成分から構成される場合においては、より好適な輝度レベル変換の方法が考えられる。最も簡易な方法は、複数の色成分のそれぞれに対して独立に輝度レベル変換処理を行う方法である。別の方法は、複数の色成分のうち、当該画素において最も比率の高い色成分に対してのみ前述の輝度レベル変換処理を行い、当該画素における複数の色成分の比率が変換
前と後で維持されるように、残りの色成分の変換後の値を計算する方法である。後者の方法では、変換前の画素と変換後の画素の色味がほぼ同じとなるため、見た目の印象が維持されるという利点がある。
【００５０】
また、オーバーレンジとなる画素については、輝度レベル変換に加えてモノクロに変換してもよい。具体的には、画像処理部１０３は、オーバーレンジの画素に対し輝度レベル変換を行った後、当該画素を変換後の輝度レベルに応じたモノクロの画素に置き換えるとよい。このときの輝度レベル変換処理には、前述した、色成分の比率が変換前と後で維持されるように、最大比率の色成分の変換結果に基づき残りの色成分の値を決める方法を用いることが好適である。また、オーバーレンジでない画素は、入力画像１２と同等の表現とする。すなわち、入力画像１２がカラー画像である場合には、オーバーレンジでない画素はカラー画素に変換する。このようにオーバーレンジの画素をモノクロで表示することにより、出力ダイナミックレンジ内の画素とオーバーレンジの画素との識別がきわめて容易となる。
【００５１】
また、画像処理部１０３は、オーバーレンジの画素領域に所定の画像パターン（例えば、ゼブラパターンと呼ばれる縞状パターンなど）を重畳してもよい。このような表示によっても、出力ダイナミックレンジ内の画素とオーバーレンジの画素との識別がきわめて容易となる。
【００５２】
図８は、入力画像をグラデーション画像とした場合に、本実施形態による変換処理によって生成された出力画像の例を示す模式図である。
【００５３】
図８の（ａ）は、入力画像を示す模式図である。入力画像は、黒から白へ徐々に変化するグラデーション画像である。なお、横軸は、入力画像の各位置における輝度レベルを示す。中間位置が入力画像のグラデーション画像において１００ｎｉｔの位置を示している。入力画像のダイナミックレンジは、０〜１００００ｎｉｔであるとする。出力ダイナミックレンジの上限値（閾値）は、１００ｎｉｔであるとする。
【００５４】
図８の（ｂ）は、入力画像のダイナミックレンジ（０〜１００００ｎｉｔ）を出力ダイナミックレンジ（０〜１００ｎｉｔ）に圧縮して変換した場合の出力画像を示す。この場合、入力画像において輝度レベルが１００００ｎｉｔの領域（図８の（ａ）の右端部）が、出力画像において１００ｎｉｔになるように、画像全体の輝度レベルが低減される。この場合、入力画像のうち輝度レベルが出力ダイナミックレンジに含まれる領域（つまり、入力画像において０〜１００ｎｉｔの輝度レベルの画素領域）の明るさが全体的に暗くなり、ユーザの視認性が低下する。このように処理した場合、入力画像における輝度レベルの差の有無をユーザは認識できる。したがって、ユーザは、入力画像に含まれるオブジェクト等を、出力画像を見て認識することが可能となる。しかし、画像が全体的に暗くなることから、ユーザは画像の詳細な表現を確認することが困難となる。
【００５５】
図８の（ｃ）は、入力画像のうち輝度レベルが出力ダイナミックレンジに含まれない領域（オーバーレンジ領域）を、出力ダイナミックレンジの上限値にクリップするように変換して生成された出力画像を示す。この場合、入力画像において輝度レベルが閾値（１００ｎｉｔ）を超える領域は、同一の輝度レベルに変換（クリップ）される。図８の（ｃ）の場合、入力画像における閾値に対応する輝度レベルに変換される。このように処理した場合、入力画像において輝度レベルが閾値（１００ｎｉｔ）より高い領域に含まれるオブジェクト等を、ユーザが出力画像を見て認識することができない。しかし、入力画像において輝度レベルが閾値（１００ｎｉｔ）以下の領域については、入力画像と同等の輝度レベルで表現される。したがって、ユーザは、入力画像において輝度レベルが閾値（１００ｎｉｔ）以下の領域については、画像の詳細な表現を確認することが可能となる。
【００５６】
図８の（ｄ）は、本実施形態に示すように、入力画像のオーバーレンジ領域に対してポジネガ処理を実行した場合の出力画像を示す。ポジネガ処理は、入力画像の輝度レベルが高いほど、出力画像の輝度レベルが低くなるように変換する処理であって、反転処理ともいう。例えば、入力画像の輝度レベルと、出力画像の輝度レベルとの関係は、図４に示す関係であるとする。この場合、入力画像において輝度レベルが閾値（１００ｎｉｔ）以下の領域については、出力画像においても入力画像と同等の輝度レベルで表現される。一方で、入力画像において輝度レベルが閾値（１００ｎｉｔ）より高い領域は、入力画像の輝度レベルが高いほど、出力画像の輝度レベルが低くなるように変換される。これにより、ユーザは、入力画像において輝度レベルが閾値（１００ｎｉｔ）以下の領域については、画像の詳細な表現を確認することが可能となる。さらに、入力画像のオーバーレンジ領域についても、入力画像の輝度レベル差に応じて輝度レベルが異なることから、入力画像に含まれるオブジェクト等を、出力画像を見て認識することが可能となる。
【００５７】
図８の（ｅ）は、本実施形態に示すように、入力画像のオーバーレンジ領域に対してポジネガ処理を実行した場合の出力画像を示す。入力画像の輝度レベルと、出力画像の輝度レベルとの関係は、図７に示す関係であるとする。この場合も、図８の（ｄ）で示した例と同様に、ユーザが出力画像を見ることにより、入力画像のダイナミックレンジの全域で、オブジェクトの有無や模様の様子等を確認することが可能となる。
【００５８】
図８の（ｆ）は、図８の（ｄ）で示した出力画像に対して、さらにオーバーレンジにゼブラパターンを付加した場合の出力画像を示す。入力画像がモノクロ画像である場合、輝度レベルの反転では、オーバーレンジ領域であるか否かが一見して判別しづらいことがある。オーバーレンジ領域にゼブラパターンを重畳することによって、ユーザは、オーバーレンジ領域のオブジェクトを認識することが可能となるとともに、オーバーレンジ領域であるか否かを容易に認識することが可能となる。
【００５９】
以上述べた本実施形態によれば、ダイナミックレンジが限定的な画像表示装置でＨＤＲ画像を確認する場合に、画像表示装置のダイナミックレンジ内の画像をオリジナルに忠実に再現しつつ、同時にオーバーレンジの画像をユーザが好適に視認することができる。例えば、本実施形態の方法により、コントラスト比１０００：１で最大表示輝度１００ｎｉｔの液晶モニタを用いて、ＰＱ方式の１００００ｎｉｔまでの階調をすべて表示可能である。また、入力画像の最大輝度に応じて階調変換の方法を変更する必要もないため、ＰＱ方式、ＨＬＧ方式、Ｌｏｇ方式など、さまざまな方式のＨＤＲ画像の表示が可能である。
【００６０】
また本発明は、オーバーレンジの画像を好適に視認することができるため、従来の画像変換方法との併用が考えられる。一例としては、カメラ撮影時のフォーカス調整に有用なピーキングである。ピーキングは、画像のエッジを検出して該当領域の画素を所定の色に置き換える（「画素を着色する」ともいう）ことで、合焦の度合いを視認しやすくする画像変換方法である。しかしながら、ピーキングによる着色には、一般に視認性を高くするために、彩度や明度の高い色が用いられる。そのような色の画素は高い階調値をもつため、輝度レベルが表示装置のダイナミックレンジを超える場合がある。その場合、ピーキングによる画像変換を実施した画像に対して、本実施形態による階調変換を実施すると、着色された画素の階調値が低い階調値に置き換えられ、着色された画素が目立たなくなるという課題が生じることがある。そこで、除外輝度範囲を設定値として設け、変換前の輝度レベルが前記除外輝度範囲に該当する画素については、所定の輝度レベル（例えば、出力ダイナミックレンジの上限値）に置き換えるとよい。これにより、ピーキングによる着色の視認性の高さを維持することができる。この方法は、ピーキングの他にもＯＳＤ（オンスクリーンディスプレイ）を画像に重畳する場合にも用いることができる。
【００６１】
（その他）
上記実施形態では、変換後の画像を出力する出力デバイスとして表示装置を例示したが、本発明適用範囲は表示装置に限られない。出力デバイスとしては、例えば、印刷装置（プリンタ、複合機など）、プロジェクタなども想定される。
また、閾値の設定は、出力デバイスの特性によらず、ユーザが設定することも可能である。ユーザが画像編集において想定した出力デバイスや表示環境に対応する閾値を設定してもよい。
【００６２】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６３】
１０：画像処理装置
１１：画像表示装置
１２：入力画像
１３：出力ダイナミックレンジ情報
１４：出力画像
１０１：画像取得部
１０２：設定部
１０３：画像処理部
【図１】
2020190711.tif 000003
【図２】
2020190711.tif 000004
【図３】
2020190711.tif 000005
【図４】
2020190711.tif 000006
【図５】
2020190711.tif 000007
【図６】
2020190711.tif 000008
【図７】
2020190711.tif 000009
【図８】
2020190711.tif 000010