(57)【要約】      （修正有）【課題】階調性の劣化の程度を抑制して、目的とする階調数の画像を生成する。【解決手段】Ｎ階調で表される画像データを、Ｍ階調（Ｍ＜Ｎ）に変換する画像処理装置であって、Ｎ階調の画像データにおける階調値を表す軸とコントラストを表す軸の座標空間における、各階調値に対する弁別閾を示す第１の曲線と、各階調値における、隣接する階調値との絶対輝度値の差を表す第２の曲線との交点を求める第１の算出部と、交点以下の輝度領域でＮ階調の各輝度値を順に仮出力階調の階調値に割り振り、交点を超える輝度領域では弁別閾に近似し且つ当該弁別閾を超えない階調値に応じた輝度値を仮出力階調の階調値に順に割り振ることで仮出力階調の範囲を求める第２の算出部と、仮出力階調の範囲が、Ｍ階調が表す範囲となるように第１の曲線を調整して階調変換曲線を生成する調整部と、該調整部により得られた階調変換曲線に従い、階調数を変換する変換部とを有する。【選択図】図１
2019096136.tif 000002
【特許請求の範囲】
【請求項１】
Ｎ階調で表される画像データを、Ｍ階調（Ｍ＜Ｎ）の画像データに変換する画像処理装置であって、
Ｎ階調の画像データにおける階調値を表す軸とコントラストを表す軸の座標空間における、各階調値に対する弁別閾を示す第１の曲線と、各階調値における、隣接する階調値との絶対輝度値の差を表す第２の曲線との交点を求める第１の算出手段と、
前記交点以下の輝度領域で前記Ｎ階調の各輝度値を順に仮出力階調の階調値に割り振り、前記交点を超える輝度領域では前記弁別閾に近似し且つ当該弁別閾を超えない階調値に応じた輝度値を前記仮出力階調の階調値に順に割り振ることで仮出力階調の範囲を求める第２の算出手段と、
前記仮出力階調の範囲が、前記Ｍ階調が表す範囲となるように前記第１の曲線を調整して階調変換曲線を生成する調整手段と、
該調整手段により得られた前記階調変換曲線に従い、前記Ｎ階調の画像を前記Ｍ階調の画像に変換する変換手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記Ｎよりも小さい、複数の値の中からユーザの指示に従って１つを選択し、選択した値を前記Ｍとする選択手段を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記調整手段は、予め設定された正の許容誤差をεとしたとき、前記階調変換曲線の出力する範囲が、Ｍ−ε乃至Ｍの範囲となるように前記第１の曲線を調整する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
Ｎ階調で表される画像データを、Ｍ階調（Ｍ＜Ｎ）の画像データに変換する画像処理装置の制御方法であって、
第１の算出手段が、Ｎ階調の画像データにおける階調値を表す軸とコントラストを表す軸の座標空間における、各階調値に対する弁別閾を示す第１の曲線と、各階調値における、隣接する階調値との絶対輝度値の差を表す第２の曲線との交点を求める第１の算出工程と、
第２の算出手段が、前記交点以下の輝度領域で前記Ｎ階調の各輝度値を順に仮出力階調の階調値に割り振り、前記交点を超える輝度領域では前記弁別閾に近似し且つ当該弁別閾を超えない階調値に応じた輝度値を前記仮出力階調の階調値に順に割り振ることで仮出力階調の範囲を求める第２の算出工程と、
調整手段が、前記仮出力階調の範囲が、前記Ｍ階調が表す範囲となるように前記第１の曲線を調整して階調変換曲線を生成する調整工程と、
変換手段が、該調整工程により得られた前記階調変換曲線に従い、前記Ｎ階調の画像を前記Ｍ階調の画像に変換する変換工程と
を有することを特徴とする画像処理装置の制御方法。
【請求項５】
コンピュータを請求項４に記載の方法の各工程を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタルカメラやディスプレイ等、画像入出力機器における画像データの階調変換技術に関するものである。
【背景技術】
【０００２】
デジタルカメラ等の、画像入力機器において、近年、撮影可能な輝度レンジであるダイナミックレンジ（以下Ｄレンジと記す）の拡大が進んでいる。一般的に、撮影Ｄレンジの拡大に伴い、撮影した画像データの記録、伝送に必要なビット数が増加する。
【０００３】
例えば、Ｄレンジ100:1の輝度リニアの画像を記録する場合、１成分に割り当てるビット数は8（256階調）で十分である。しかしながら、Ｄレンジが10,000:1に拡張した場合、輝度リニア画像を記録する場合には、最低でも、14ビット（15,384階調）が必要となる。
【０００４】
このように、Ｄレンジの広い画像データを少ないビット数で表すための階調変換技術が知られている（特許文献１）。この文献の技術は、非線形な変換により、階調特性の急峻な変化を改善する技術である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特願２０１２−５４９８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般に、映像記録時の入出力データの階調変換処理において、１画素あたりの記録ビット数を大きくすれば、階調性が向上するものの、記録するデータ量は増加する。逆に、記録ビット数を小さくすれば、記録するデータ量を少なくできるものの、階調性が低下する。実際にユーザが映像撮影を行う場合には、これらの階調性とデータ量との関係を考慮し、実際に記録する際のビット数を決定している。
【０００７】
ここで、特許文献１では、視覚特性を考慮していないため、Ｄレンジの広い画像データを少ないビット数で表すための階調変換をした結果、階調飛びが生じてしまう場合がある。
【０００８】
本発明は、かかる点に鑑みなされたものであり、変換対象の画像が有する階調性の劣化の程度を、これまでよりも抑制して、目的とする階調数の画像を生成する技術を提供しようとするものである。
【課題を解決するための手段】
【０００９】
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
Ｎ階調で表される画像データを、Ｍ階調（Ｍ＜Ｎ）の画像データに変換する画像処理装置であって、
Ｎ階調の画像データにおける階調値を表す軸とコントラストを表す軸の座標空間における、各階調値に対する弁別閾を示す第１の曲線と、各階調値における、隣接する階調値との絶対輝度値の差を表す第２の曲線との交点を求める第１の算出手段と、
前記交点以下の輝度領域で前記Ｎ階調の各輝度値を順に仮出力階調の階調値に割り振り、前記交点を超える輝度領域では前記弁別閾に近似し且つ当該弁別閾を超えない階調値に応じた輝度値を前記仮出力階調の階調値に順に割り振ることで仮出力階調の範囲を求める第２の算出手段と、
前記仮出力階調の範囲が、前記Ｍ階調が表す範囲となるように前記第１の曲線を調整して階調変換曲線を生成する調整手段と、
該調整手段により得られた前記階調変換曲線に従い、前記Ｎ階調の画像を前記Ｍ階調の画像に変換する変換手段とを有する。
【発明の効果】
【００１０】
本発明によれば、変換対象の画像が有する階調性の劣化の程度を、これまでよりも抑制して、目的とする階調数の画像を生成することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態の画像処理装置のブロック構成図。
【図２】第１の実施形態の画像処理装置における処理を示すフローチャート。
【図３】Bartenモデルに基づくJND算出方法を説明する図。
【図４】第１の実施形態の、入力データの1階調分のコントラストとJNDとの関係を説明する図。
【図５】第１の実施形態の、記録ビット数に応じた階調変換特性を説明する図。
【図６】第１の実施形態の、出力データの1階調分のコントラストとJNDとの関係を説明する図。
【図７】第２の実施形態の画像処理装置のブロック構成図。
【図８】第２の実施形態の画像処理装置における処理を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【００１３】
［第１の実施形態］
本実施形態では、Ｄレンジの広い画像データを少ないビット数で表すための階調変換技術として、JND（Just Noticeable Difference）と呼ばれる、人間の輝度弁別能力を考慮し、非線形な量子化を行う。これは、量子化対象画素の輝度が暗い場合には、明るい場合に比べ、JNDの絶対値が小さいため暗い輝度領域では細かく、逆に明るい輝度領域では粗く量子化することにより、視覚的に階調段差を生じさせない量子化を行う方法である。
【００１４】
図１に、本実施形態の画像処理システムのブロック構成図を示す。この画像処理システムは、Ｎ階調の画像データをＭ階調（Ｍ＜Ｎ）の画像データに変換する画像処理装置１、デジタルカメラの撮像センサ等の、画像データを取得し１成分当たりＮ階調の画像データを出力する画像取得装置２、及び、変換後のＭ階調の画像データを記憶する、ハードディスクやメモリカード等に代表される画像記憶部１２で構成される。なお、実施形態では、階調数Ｎは２p、階調数Ｍは２qと、２のべき乗であるものとする。ここで、ｐ、ｑは階調数を表すためのビット数を表すことになり、ビット数を決定することは階調数を決定することを意味することになる。また、実施形態では画像取得装置２が撮像を行うものとしているが、Ｎ階調の画像を記憶している記憶装置であっても良く、その種類は特に問わない。
【００１５】
画像処理装置１は、画像取得装置２からの画像を入力する画像入力部３、入力画像データの階調数Ｎ及び出力画像データ（変換後の画像データ）の階調数Ｍ（但し、Ｍ＜Ｎ）を表すビット数を設定する設定部４をはじめ、以下の構成を有する。
【００１６】
撮像条件取得部５は、画像取得装置２が画像を取得（撮像）した際の撮像条件を取得する。撮像条件は、露出設定およびセンサー感度を含むものである。絶対輝度値算出部６は、撮像条件取得部５にて取得した撮像条件に基づき、設定部４にて設定された入力Ｎ階調の画素値に対応する絶対輝度値を算出する。輝度差算出部７は、絶対輝度値算出部６にて算出した入力データの絶対輝度値に基づき、入力画像における１階調分の輝度差を算出する。JND算出部８は、絶対輝度値算出部６にて算出した入力画素値の絶対輝度値に対し、弁別閾（Just Noticeable Difference)、つまり、視覚が弁別可能な最小輝度差（以下、単に、JNDと記す）を算出する。変換曲線算出部９は、絶対輝度値算出部６にて算出した入力データの絶対輝度値と、JND算出部８にて算出されたJNDに基づき、Ｎ階調→Ｍ階調への階調変換曲線を算出する。階調変換部１０は、変換曲線算出部９にて算出した変換曲線を用いて、画像入力部３にて入力されたＮ階調の画像を、Ｍ階調の画像へ変換する。画像出力部１１は、階調変換部１０で得られたＭ階調の画像を画像記憶部１２に出力する。
【００１７】
上記構成における実施形態の画像処理装置１の処理内容を図２のフローチャートを参照して説明する。なお、画像処理に先立って、設定部４は画像取得装置２に対して１コンポーネント当たりの階調数Ｎを設定しているものとするが、画像取得装置２が取得する階調数Ｎは固定であっても構わない。また、設定部４は、ユーザからの入力を受け付けるための不図示のユーザインターフェースと接続され、装置全体の制御を司るものであり、プロセッサ並びに実行するプログラムを格納するメモリで構成される。
【００１８】
まず、Ｓ２０１にて、画像処理装置１は画像取得装置２に対し、取得する階調数Ｎ及び撮像指示を発行する。この指示を受けた画像取得装置２は、撮像を行い、センサ出力信号をＡ／Ｄ変換する際に、１コンポーネント当たりＮ階調する画像データを取得する。
【００１９】
Ｓ２０２にて、画像入力部３は、画像取得装置２が取得した画像データを画像処理装置１に取り込む。そして、Ｓ２０３にて、撮像条件取得部５は、入力した画像データを取得した際の露出条件（露出設定およびセンサー感度等）を、画像取得装置２より取得する。
【００２０】
次に、Ｓ２０４にて、設定部４が、ユーザが不図示のユーザインターフェースを介して設定した出力ビット数（画像データ記録時の階調数Ｍ）を設定する。Ｓ２０５にて、絶対輝度値算出部６は、Ｓ２０３で取得した画像取得条件に基づき、Ｓ２０２で読み込んだ入力画像（Ｎ階調の画像）の画素値と絶対輝度値との対応関係を算出する。Ｓ２０６にて、輝度差算出部７は、Ｓ２０５で算出した、入力画像の画素値と絶対輝度値との関係から、入力画像における画素値が１階調変化した場合の輝度差を算出する（詳細は後述）。Ｓ２０７にて、JND算出部８は、Ｓ２０５で算出された入力画像の画素値と絶対輝度値に基づき、各階調でのJNDを算出する（詳細は後述）。Ｓ２０８にて、変換曲線算出部９は、設定されや出力ビット数と、Ｓ２０５で算出した入力データの絶対輝度値、並びに、Ｓ２０６で算出したJNDとの関係に基づき、入出力階調変換曲線を算出する（詳細は後述）。
【００２１】
Ｓ２０９にて、階調変換部１０は、Ｓ２０８で算出した入出力階調変換曲線を用いて、Ｓ２０２で読み込んだ入力画像データについて、Ｎ階調からＭ階調への階調変換処理を行う。そして、Ｓ２１０にて、画像出力部１１は、Ｓ２０９にて階調変換処理で得たＭ階調の画像データを、画像記憶部１２に出力し、保存する。
【００２２】
＜露出条件取得方法＞
本実施形態において、画像の撮像条件を、画像撮影時の画像取得装置２から取得する方法を説明したが、これに限られるものではない。
【００２３】
例えば、ＥＸＩＦタグのように、一般的に、画像データに付加されているメタデータから、その画像データの撮像時の絞り／シャッタースピード／ISO感度の条件を取得するようにしても良い。あるいは、図示しないユーザーインターフェースを用い、ユーザが手動設定で、絞り／シャッタースピード／ISO感度の条件を取得するようにしても良い。すなわち、画像を撮影した際の、画素値と絶対輝度との対応関係を算出すために必要な情報を取得可能であれば、その方法を限定するものではない。
【００２４】
＜入力階調の輝度差算出方法＞
図３のＳ２０６における輝度差算出部７による入力階調の輝度差算出方法について、詳細に述べる。入力画像の階調"n"および入力階調"n+1" に対応するそれぞれ輝度値がYin(n)およびYin(n+1)であったとする。この場合、輝度差算出部７は、入力階調値"n"とその隣接階調値"n+1"との輝度差△Yin(n)を次式（１）に従って算出する。
【００２５】
【数１】
2019096136.tif 000003
【００２６】
実施形態では入力画像は14ビット（16384階調）の例であるので、輝度差算出部７は、ΔYin(0)乃至ΔＹin(16382)を算出することになる。
【００２７】
＜JND算出方法＞
図３のＳ２０７のJND算出法について説明する。ある輝度値に対し、弁別可能な最小の輝度差（JND）を算出するための視覚モデルが知られている。
【００２８】
例えば、Weberの法則と呼ばれるモデルでは、ある輝度値Yに対するJND(ΔY)は、その比率で求められるとしており、次式（２）によりモデル化されている。
【００２９】
【数２】
2019096136.tif 000004
【００３０】
式（２）にて、右辺の定数constantに適切な値を設定することにより、輝度値Yに対するＪＮＤを算出可能である。
【００３１】
ただし、JNDの算出方法は、上記Werberの法則から算出する方法に限定されるものではない。例えば、Bartenモデルと呼ばれる視覚のコントラスト感度から算出する方法もある。Bartenモデルによる視覚のコントラスト感度は、式（３）、（４）によりモデル化されている。
【００３２】
【数３】
2019096136.tif 000005
【００３３】
【数４】
2019096136.tif 000006
【００３４】
式（３）において、図３（ａ）に示すように、輝度値、および空間周波数毎の視覚のコントラスト感度S(L, u)が算出される。この時、ある輝度値Ｌに対し、最もコントラスト感度の高い空間周波数(ｕmax)を用い、その時のコントラスト感度の逆数を算出することにより、図３（ｂ）に示すような、任意の輝度値(L)でのJND(L)を算出する方法もある。
【００３５】
すなわち、要求される精度でのJND値を算出可能な方法であれば、用いる視覚モデル等は限定するものではない。
【００３６】
＜階調変換曲線の算出方法＞
ここで、本実施形態にて算出される階調変換特性に関して説明する。説明に用いる階調変換特性として、入力データの階調は、14ビット（16,384階調）で表され、入力画像の階調と輝度とは線形の関係になっているとする。また、露出条件と、センサー感度の関係より、センサー飽和輝度は、1,000cd/m2と算出されたとする。
【００３７】
14ビットで入力された画像データに対し、記録用のビット数の候補として、｛8, 10, 12｝ビットの３種類から選択可能であるとした場合、各記録用ビット数に応じた階調変換特性を算出する。なお、8, 10, 12 ビットで表現できる階調数はそれぞれ"256"、"1024"、"4096"である。
【００３８】
図４は、14ビットの入力画像データの1階調分の輝度差を表す曲線（実線）と、式（３）および式（４）にて算出したJND値（点線）を表す曲線との関係を表す座標空間を示している。
【００３９】
同図から分かる様に、輝度に対し、線形に量子化を行った場合、低輝度部では、1階調分のコントラストは視覚特性を上回っており、階調段差が知覚される。一方、高輝度部では1階調分のコントラストは視覚特性を下回っており、その階調段差は知覚されない。ここで示した条件においては、これら２つの曲線の交点の約10cd/m2の明るさを境界とし、上記特性が切り替わることとなる。こうした特性を考慮した場合、特性が切り替わる閾値をYth（cd/m2）とすると、閾値Yth以下（交点以下）の輝度領域では、入力画素値をそのまま出力する。すなわち、入力階調が1階調増加するごとに、出力階調が1階調増加する。また、閾値Ythより大きい領域では、出力画素の1階調分のコントラストが、JNDに近似し、且つ、JNDを超えないように、間引いて粗く量子化することにより、入力階調に対して出力階調の階調数を低減する仮出力階調を生成する（ここで言う近似とは、図４のJNDの近似曲線に、例えば0.9〜1.0の範囲の中からユーザが選択した実数を乗算させれば良い）。
【００４０】
ただし、上記方法で算出した仮出力階調は約1,200階調分必要となる。そこで、実施形態では、この仮出力階調の範囲が目標とする階調数Ｍとなるように、調整する。具体的には、1,200階調を超える出力階調となる12ビット（4096階調）出力の場合には、出力階調数が「4096-ε乃至4096」の範囲内になるように、上記JNDをk倍（k＜1）して、上記方法で出力階調特性を算出する。また、出力階調が1,200階調以下となる8ビット、或いは10ビット出力場合も同様である。つまり、8ビット或いは10ビットで表される階調数Ｍに対し、Ｍ−ε乃至Ｍの範囲になるように、上記JNDをk倍（但しk＞1）して、上記方法で出力階調特性を算出する。なお、ここで示した「ε」は許容誤差を示す正の値であり、ユーザが設定するものとする。
【００４１】
上記方法にて算出した階調特性をプロットした近似曲線（階調変換曲線）を図５（ａ）〜（ｃ）に示す。図５（ａ）が12ビット出力（4096階調出力）、図５（ｂ）が10ビット出力（1024階調出力）、そして、図５（ｃ）が8ビット出力（256階調出力）の特性である。また、図６（ａ）乃至（ｃ）に、この時の1階調分のコントラストとJNDとの比較を示す。図６（ａ）が12ビット出力、図６（ｂ）が10ビット出力、図６（ｃ）が8ビット出力にそれぞれ対応している。
【００４２】
図６（ａ）〜（ｃ）から、記録ビット数が小さい、すなわち、出力階調数が少ない程、より低輝度で入力階調が間引き出力された階調変換曲線が算出されることが分かる。
【００４３】
階調変換部１０は、ユーザが指定した出力階調数Ｍで特定される図５（ａ）〜（ｃ）の１つを用いて、入力画像のＮ階調（１４ビット）の画素値（コンポーネント）を、Ｍ階調（8,10,12ビットのいずれか）に変換することになる。
【００４４】
以上説明した第１の実施形態による変換処理を行うことにより、実際に撮影した被写体の絶対輝度値に依存する、視覚の輝度弁別可能な最小輝度差を考慮した階調変換処理を行うことにより、階調段差の少ない階調変換処理が可能となる。
【００４５】
［第２の実施形態］
第１の実施形態では、入力画素の絶対輝度値から、記録ビット数に応じた階調変換曲線を算出し、階調変換処理を行う方法について述べた。これに対し、第２の実施形態では、予め作成しておいた複数の階調変換曲線から、ユーザが選択した記録ビット数に応じて使用する階調変換曲線を選択する方法について説明する。
【００４６】
本第２の実施形態における画像処理装置701のブロック構成図を図７に示す。ただし、画像取得装置2から設定部4まで、および、階調変換部10から画像記憶部12までは、第１の実施形態における同一符号の構成要素と同一の機能を有するため、それらの説明は省略する。
【００４７】
本第２の実施形態における画像処理装置701は、階調変換特性記憶部702、階調変換特性選択部702を有する。階調変換特性記憶部702は、複数の階調変換特性を記憶する。階調変換特性選択部703は、階調変換特性記憶部702に記憶されている複数の階調変換特性の中から、設定部４にて設定された記録ビット数の値に応じた１つを選択し、選択した階調変換特性を階調変換部10に供給する。
【００４８】
ここで第２の実施形態における画像処理装置701の画像処理手順を図８のフローチャートに従って説明する。ただし、Ｓ７０１からＳ７０３まで、および、Ｓ７０５からＳ７０６までは、上記第１の実施形態におけるＳ２０１からＳ２０２、Ｓ２０４、および、Ｓ２０９からＳ２１０までの処理と、同一の処理であるため、説明を省略する。
【００４９】
Ｓ８０５にて、階調変換曲線選択部７０３は、階調変換曲線記憶部７０４に記憶されている複数の階調変換曲線の中から、Ｓ８０３にて取得した、記録ビット数（出力ビット数）に対応した階調変換曲線を選択し、階調変換部１０に設定する。
【００５０】
＜階調変換曲線の選択＞
階調変換特性記憶部７０２に予め記憶しておく階調変換曲線に関しては、ＬＵＴ形式で記憶しておいてもよいし、或いは、次式（５）のように、関数近似し、関数のパラメータのみを記憶しておくようにしても良い。
【００５１】
【数５】
2019096136.tif 000007
【００５２】
以上、説明された第２の実施形態によれば、実際に撮影した被写体の絶対輝度値に依存する、視覚の輝度弁別可能な最小輝度差を考慮した階調変換曲線を選択することにより、階調段差の少ない階調変換処理が可能となる。
【００５３】
なお、上記第１、第２の実施形態で説明した画像処置装置１と画像取得装置２とは一体となっても構わない。つまり、本発明の画像処理装置は、デジタルカメラ、デジタルビデオカメラ等の撮像装置、或るいは撮像機能をデバイスに収容されても構わない。
【００５４】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５５】
１…画像処理装置、２…画像取得装置、３…画像入力部、４…設定部、５…撮像条件取得部、６…絶対輝度値算出部、７…輝度差算出部、８…JND算出部、９…変換曲線算出部、１０…階調変換部、１１…画像出力部、１２…画像記憶部
【図１】
2019096136.tif 000008
【図２】
2019096136.tif 000009
【図３】
2019096136.tif 000010
【図４】
2019096136.tif 000011
【図５】
2019096136.tif 000012
【図６】
2019096136.tif 000013
【図７】
2019096136.tif 000014
【図８】
2019096136.tif 000015