(57)【要約】【課題】  処理対象画像の画像情報のみを使用して処理対象画像を画像変換し、黒潰れと白潰れが無くコントラストが高い最適な画像を得ること。【解決手段】  処理対象画像の輝度分布１を取得、解析し、処理対象画像の画像潰れ部を検出する。本検出された画像潰れ部の画素数を全体の処理対象画像の全画素数から除き、画像変換処理の特性決定に重要な有効画素数を得る。さらに、本有効画素数と輝度分布１から新たに輝度分布２を取得し、処理対象画像の一つ以上の輝度値を画像変換後にそれぞれ特定の輝度値に輝度変換する第１次画像変換特性を決定する。また、前記輝度分布２の累積輝度値と本第１次画像変換特性を解析し、処理対象画像の最終的な第２次画像変換特性を決定することで、処理対象画像個々に輝度変換後の最適な画像データを得る。【選択図】      図１
2005175933.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像データの輝度分布（ヒストグラム１）を取得し、本ヒストグラム１の解析結果に従い前記入力された画像データを輝度変換して出力し、出力側の輝度分布を入力側輝度値と異なる輝度分布とする輝度変換処理を行う画像処理方法において、
前記ヒストグラム１を用いて前記入力された画像データが白潰れしている輝度範囲と、本輝度範囲に含まれる白潰れの画素数を計算するとともに、同じく、前記ヒストグラム１を用いて前記入力された画像データが黒潰れしている輝度範囲と、本輝度範囲に含まれる黒潰れの画素数を計算するようにしたことを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
前記白潰れの画素数と黒潰れの画素数とを前記入力された画像データの輝度分布の全画素数から除き、画像の輝度変換の基準となる有効画素数を計算し、本有効画素数と前記白潰れの画素数との割合である白飽和度および本有効画素数と前記黒潰れの画素数との割合である黒飽和度を計算し、前記有効画素数を全画素数とみなして新たに輝度分布（ヒストグラム２）を計算することを特徴とする画像処理方法。
【請求項３】
請求項２に記載の画像処理方法において、
前記白飽和度と前記黒飽和度との値に従い、輝度変換前の少なくとも一つ以上の特定の輝度値が、輝度変換後にそれぞれ新たに設定した特定の輝度値となる輝度変換特性（第一次伝達関数）を作成することを特徴とする画像処理方法。
【請求項４】
請求項３に記載の画像処理方法において、
前記ヒストグラム２の低輝度側または高輝度側から輝度分布を累積し、本累積された輝度分布が少なくとも一つ以上の閾値を超える輝度変換前の輝度値を特定することを特徴とする画像処理方法。
【請求項５】
請求項４に記載の画像処理方法において、
前記輝度変換前の特定された（累積された輝度分布が少なくとも一つ以上の閾値を超える）輝度値と、本特定された輝度値までの輝度分布の累積結果に従い、本特定された輝度変換前の輝度値を輝度変換した後の輝度値を設定し、少なくとも一つ以上の本輝度変換した後の輝度値を選択することを特徴とする画像処理方法。
【請求項６】
請求項５に記載の画像処理方法において、
請求項３に記載の前記第一次伝達関数と、請求項５に記載の前記した少なくとも一つ以上の選択された輝度変換した後の輝度値とを用い、新たに輝度変換特性を定める第二次伝達関数を作成することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばカメラ付き携帯電話機等により撮影して取得したデジタル画像を、液晶デイスプレイ等で表示するための画像処理方法に関するものである。
【背景技術】
【０００２】
近年、例えばカメラ付き携帯電話機等の普及により、カメラシステムで撮影した写真画像を携帯機器に搭載されているＬＣＤ（Liquid Crystal Display）に表示する等、画像のデジタル化が手軽になり、撮影した写真画像等のデジタル画像を扱う機会が増えてきた。
【０００３】
一方、カメラシステムに使用されているイメージセンサーであるＣＣＤやＣＭＯＳ等は、階調に関するダイナミックレンジが不足しており、特に前記カメラ付き携帯電話機等で使用している小型のカメラシステムにおいては、本ダイナミックレンジ不足が顕著である。
【０００４】
そのため、例えば逆光での人物撮影のような明暗差の大きな被写体を撮影した場合、背景が白つぶれ、人物が黒つぶれとなる。また、壁を背景にした室内での人物撮影のような中間輝度の多い撮影条件では、コントラスト不足のメリハリのない画像となってしまう。あるいは、夜間や暗い室内での撮影（または近距離のフラッシュ撮影）等の極端に暗い（または明るい）撮影条件では、全体が黒（または白）に片寄った画像となり、画像の明暗が不鮮明な画像となってしまう。
【０００５】
そこで、カメラシステムでの本問題の解決手法として、特許文献１（特開２００３−２５９１９９号公報）では、機械的シャッタ期間と電気回路であるカメラ信号処理部のゲイン量を同時に制御する手法で、機械的制御と電気的信号処理の最適化を図る技術が提案されている。
【０００６】
しかし、特許文献１に示されたカメラシステムでの解決手法では、例えば小型のカメラシステムが必須であるような携帯電話機等に採用する場合、構造上の制約あるいは電気回路の規模の制約等があり、充分な効果が得られない。そこで、前記した問題の解決手法として、以下のような画像の信号処理方法が提案されている。
【０００７】
特許文献２（特開２００２−４１００４号公報）によれば、輝度が取り得る範囲を複数の輝度値の領域に分割し、各領域に含まれる画素の総数を計算する。次に、前記分割された各領域を低い輝度を持つ領域から順番に領域の画素数を累計していき、本累計した画素数が少ないと判断される領域の輝度を低くする。同じく、前記分割された各領域を高い輝度を持つ領域から順番に領域の画素数を累計していき、本累計した画素数が少ないと判断される領域の輝度を高くする。さらに、前記画素数が少ないと判断される領域以外の領域の輝度を低めと高めに伸長して、画像全体の輝度伸長を行う（以下、これを変換方法１と表記する）。
【０００８】
さらに、特許文献２によれば、前記変換方法１による輝度変換結果に加え、前記分割された領域に含まれる画素数の全画素数に対する割合（以下、輝度分布という）を計算し、本輝度分布が高い領域はコントラストを高くし、本輝度分布が低い領域はコントラストを低くし、画素数の多い領域輝度のコントラストを高くしている（以下、これを変換方法２と表記する）。以上の前記変換方法１と変換方法２を合わせて、ここでは、従来技術と呼ぶ。
【０００９】
変換方法１の例として、輝度が取りうる範囲を０から２５５（２５６階調）とした場合、下記の表１のように、０から２５５の２５６階調を８階調毎の３２の領域に分割し、各領域に含まれる輝度の低い順に領域１（輝度０から７）から領域３２（輝度２４８から２５５）まで設定し、本３２の領域毎に含まれる輝度の画素の分布を調べて、領域１から領域３および領域２４から領域３２までの画素が少ないと判定された場合、領域１の最小輝度（輝度０）から領域３の最大輝度（輝度２３）までを黒に潰し（輝度を０とする）、領域２４の最大輝度（輝度１９１）から領域３２の最大輝度（輝度２５５）までを白に潰し（輝度を２５５とする）、さらに、領域５の最小輝度から領域２４の最大輝度は、輝度０から輝度２５５までを本変換の概念図である、図５のように線形補完する。なお、本図５において、上記変換前の輝度入出力特性を実線、線形変換後の入出力特性を破線で示す。
【００１０】
例えば、図５において、領域１０の最大輝度７９に対する変換結果は、
２５５÷（１９１−２３）×（７９−２３）＝８５（小数点１位以下四捨五入）
上式のようになる。
【表１】
2005175933.tif 000003
【００１１】
次に、変換方法２の例として、前記変換方法１の例と同じく、２５６階調を表１のように分割した場合、各領域に含まれる画素数の全画素数に対する割合で、次の表２の輝度変換値で各領域の最大輝度を変換し、さらに、各領域の最大輝度と次領域の最大輝度間の変換は、それぞれの最大輝度の輝度変換値で線形補完をする。
【表２】
2005175933.tif 000004
【００１２】
以下、輝度分布の画像データ例を用いて、従来技術の説明を行う。各領域の輝度分布の画像データ例を、下記の表３、表４、表５に示す。本表３、表４、表５は、各領域の輝度分布を示し、それぞれ異なる画像データである。また、図２、図３、図４は、表３、表４、表５の輝度分布をそれぞれグラフ化しており、本図２、図３、図４において、横軸は各領域を示し、縦軸は各領域の輝度分布を示す。
【００１３】
なお、表３、表４および表５とも、実際に携帯電話機に内蔵されているカメラシステムで撮影した画像の輝度分布であり、表３は、室内で灰色の壁を背景にした人物を撮影した輝度分布のデータであり、中間輝度に画素が集中している参考例であり、表４は、暗い室内で人物を撮影した輝度分布のデータであり、黒側に画素が集中している参考例であり、表５は、晴天の屋外で人物を撮影した輝度分布のデータであり、撮影時点で画像が既に白側に潰れた参考例である。また、図２、図３および図４のグラフからも、上記の特長が読み取れる。以下、表３、表４および表５の画像データ例を、それぞれ画像データ例１、画像データ例２および画像データ例３と呼ぶ。
【表３】
2005175933.tif 000005
【表４】
2005175933.tif 000006
【表５】
2005175933.tif 000007
【００１４】
例えば表３の場合、領域１０に含まれる最大輝度７９に対する変換は、前記変換方法１の例での変換結果８５に加え、表３の領域１０の輝度分布（２．４％）から表２を用いて読み取った変換値（−２）を加え、最終的に変換後の輝度値は、８５−２＝８３となる。
【００１５】
同じく、領域１１に含まれる最大輝度８７の変換後の輝度値は、表２、表３から求めて、８９（８７＋２）となる。
【００１６】
また、例えば領域１１に含まれる輝度（８０から８７）に対する変換は、上記輝度値７９の変換結果の輝度値８３と、輝度値８７の変換結果である８９とを用い、変換前の輝度値をＹとし、変換後の輝度値をＹ’とした場合、
Ｙ’＝（８９−８３）÷（８７−７９）×（Ｙ−７９）＋８３
上式で線形補完する。
【００１７】
各領域についても同様に変換を行う。画像データ例１、画像データ例２および画像データ例３の従来技術での輝度の変換の結果を、それぞれ図６、図７、図８に示す。本図６、図７、図８において、図面の構成は図５と同じであり、前記変換方法１のみを実施した場合を破線（図中変換方法１）で示し、前記変換方法１と変換方法２とを合わせて実施した場合を太い実線（図中変換方法１＋変換方法２）で示す。
【００１８】
図６、図７および図８から分かるように、入力輝度分布データの階調分布特性により、発生頻度の低い黒側の輝度を黒とし、同じく、発生頻度の低い白側の輝度を白とし、さらに中間輝度においては、発生頻度の高い領域のコントラストを強調することで、画像全体のコントラストが改善でき、また、画像中の出現頻度の高い輝度成分が強調でき、入力された画像の内容の特長に従った輝度変換ができる。
【特許文献１】特開２００３−２５９１９９号公報
【特許文献２】特開２００２−４１００４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１９】
しかし、前記従来技術の変換方法１の場合、前記各領域を低い輝度および高い輝度の領域から順番に各領域の画素数を累計していき、本累計した画素数を少ないと判定する基準を単に判定基準とした場合には、本判定基準を大きくすると、中間輝度のコントラストは大きく改善するが、黒へ潰す領域と白へ潰す領域に含まれる画素数が多くなるため、過度の黒潰れまたは過度の白潰れ、例えば、髪の毛の画像が変換後黒に潰れる、または、例えば明るい屋外での顔アップの画像が白に潰れる等の問題があり、前記したように本判定基準をコントラスト改善効果と過度の黒潰れまたは過度の白潰れと等の相反する現象を考慮して設定しているため、充分な効果が得られなかった。
【００２０】
さらに、携帯電話機等で使用されている小型のカメラシステムで撮影した画像の場合、カメラシステムのダイナミックレンジが不足しているため、表４の例のような輝度が黒側に集中している画像での、黒近傍の輝度変換効果不足、あるいは、表５のように撮影時点で極端な白潰れとなっている画像では、白近傍の輝度分布が多いため、中間輝度で充分なコントラストが得られないという問題があった。
【００２１】
また、前記従来技術の変換方法２の場合、前記表２に示す輝度変換値を大きくすると、輝度が低い部分の変換後の輝度に比べ輝度が高い部分の変換後の輝度が低くなる、逆変換現象が発生する。そのため、輝度変換値を大きくできず、従来技術の変換方法２の場合も、輝度変換効果が不足する問題があった。
【００２２】
例えば、表２の輝度変換値を下記の表６に示すように、２倍にした場合、画像データ例１の輝度分布では、図９の輝度変換結果の円で囲まれた領域２２のような逆変換現象が発生する。
【表６】
2005175933.tif 000008
【００２３】
本発明は上記のような事情に鑑みなされたもので、その目的とするところは、処理対象画像を輝度変換処理するに際し、黒潰れと白潰れが無く、コントラストが高い、良好画像が得られるようにすることにある。
【課題を解決するための手段】
【００２４】
上記した目的を達成するため、入力された画像データの輝度分布（ヒストグラム１）を取得し、本ヒストグラム１の解析結果に従い前記入力された画像データを輝度変換して出力し、出力側の輝度分布を入力側輝度値と異なる輝度分布特性とする輝度変換処理を行う画像処理方法において、
前記ヒストグラム１を用いて前記入力された画像データが白潰れしている白潰れ輝度範囲を特定し、本白潰れ輝度範囲に含まれる白潰れ画素数を計算し、同じく、前記ヒストグラム１を用いて前記入力された画像データが黒潰れしている黒潰れ輝度範囲を特定し、本黒潰れ輝度範囲に含まれる黒潰れ画素数を計算する。  
次に、本計算された白潰れ画素数と黒潰れ画素数とを、前記入力された画像データの輝度分布の全画素数から除き、画像の輝度変換の基準となる有効画素数を計算し、本計算された有効画素数と前記白潰れ画素数との割合である白飽和度、および本計算された有効画素数と前記黒潰れ画素数との割合である黒飽和度飽和度を計算し、前記有効画素数を新しい全画素数とみなして、新たに輝度分布のヒストグラム２を計算する。本ヒストグラム２は、処理対象画像で本来画像の輝度処理を行う前後で変化の少ない黒潰れ部および白潰れ部を除いた輝度分布となっている。そのため、本ヒストグラム２は、処理対象画像に対して画像変換処理が必要な部分のみの輝度分布に着目でき、以降の最適な画像変換処理を決定できる。  
次に、本白飽和度と黒飽和度との値に従い、輝度変換前の一つまたは複数の特定の輝度値が、輝度変換後にそれぞれ新たな特定の輝度値となるような輝度変換特性（第一次伝達関数）を作成する。  
さらに、前記ヒストグラム２の低輝度側または高輝度側から輝度分布を累積計算し、少なくとも一つ以上の閾値を持ち、本閾値を超える変換前の輝度値を特定し、本特定した変換前の輝度値までの輝度分布の累積計算結果に従い、本閾値を超える変換前の輝度値を輝度変換する少なくとも一つ以上の中輝度変換輝度値を計算等により選択する。前記選択された少なくとも一つ以上の閾値を超える変換前の輝度値と、前記選択された少なくとも一つ以上の中輝度変換輝度値と、前記第一次伝達関数とを用いて、最終的な画像データの輝度変換特性の第二次伝達関数を作成する。  
次に、本作成された第二次伝達関数に従い、前記入力された画像データを輝度変換することにより、入力された画像に最適な画像変換を行った画像データを得ることができる。
【発明の効果】
【００２５】
本発明によれば、処理対象（カメラ付き携帯電話機等により撮影して取得したデジタル画像の情報等）の画像情報を解析して、処理対象画像で本来画像の輝度処理を行う前後で変化の少ない黒潰れ部および白潰れ部を検出し、本検出された黒潰れ部と白潰れ部を全体の処理対象画像から除いた画像情報を用いて輝度変換処理を行うため、処理対象画像に対して輝度変換処理が必要な部分のみの輝度分布に着目した、最適な輝度変換処理が決定できる。  
また、本発明では、視覚上の低輝度と高輝度の安定性に寄与している低輝度と高輝度の特定の輝度値を、画像変換後にそれぞれ個々に特定の輝度値に固定することで、従来技術における画像変換時の過度の黒潰れおよび過度の白潰れを防止できる。  
さらに、本発明では、処理対象画像に対して画像変換処理が必要な部分のみの輝度分布を用いて、輝度変換特性が決定できる。  
従って本発明では、処理対象の画像情報のみを使用して、画像変換後も黒潰れと白潰れが無くコントラストが高い、低輝度から高輝度までの全ての輝度範囲で最適な画像を、ＬＣＤ等の表示素子に出力することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態を、図面および表を用いて説明する。
【００２７】
図１は、本発明の一実施形態（以下、本実施形態と記す）に係る画像処理方法が実現される、画像処理装置の要部構成を示すブロック図であり、図１の画像処理装置はカメラ付き携帯電話機への適用例である。
【００２８】
図１において、１は画像データ入力部であり、例えば、前記した図２から図４に示すような輝度分布の画像データが、図示せぬデジタルカメラ部から入力される。
【００２９】
２は、本発明による輝度変換後の画像データを、画像処理装置に付設された図示せぬＬＣＤ等の表示素子あるいはメモリ部、または外部機器等へ出力するための、画像データ出力部であり、例えば図２から図４に示すような輝度分布の画像データを輝度変換した結果である、後記する図１９から図２１に示すような画像データが出力される。
【００３０】
３は、入力されてきた画像データの輝度分布データから、輝度分布（ヒストグラム１）を計算する輝度分布計算部である。
【００３１】
４は、前記輝度分布計算部３で計算されたヒストグラム１から、入力画像データの白潰れおよび黒潰れを検出し、画像の輝度変換の基準となる有効画素数を計算するとともに、求めた有効画素数を全画素数とみなし、領域毎の輝度分布（ヒストグラム２）を再計算し、さらに、前記白潰れの度合いを表す白飽和度および前記黒潰れの度合いを表す黒飽和度を計算する有効画素数計算部である。
【００３２】
５は、前記ヒストグラム１と前記黒飽和度とを取得して、黒側の特定の輝度値（黒側固定輝度値）と本黒側の特定の輝度値を含む領域を取得し、黒側固定輝度値以外の輝度値で低輝度の画像変換を行うための低輝度制御点輝度値および本低輝度制御点輝度値の画像変換後の輝度値を設定する低輝度制御倍率を取得する低輝度制御点計算部である。
【００３３】
６は、前記ヒストグラム１と前記白飽和度とを取得して、白側の特定の輝度値（白側可変輝度値）と本白側可変輝度値の変換を行い、本白側可変輝度値の画像変換後の輝度値を設定するのための高輝度制御倍率を取得する高輝度制御点計算部である。
【００３４】
７は、前記低輝度制御点計算部５で取得した黒側固定輝度値、低輝度制御点輝度値、低輝度制御倍率、および、前記高輝度制御点計算部６で取得した白側可変輝度値、高輝度制御倍率を用いて、輝度変換特性（第一次伝達関数）を決定する第一次伝達関数作成部である。
【００３５】
８は、前記ヒストグラム２と前記第一次伝達関数を用いて、最終的な画像の輝度変換特性（第二次伝達関数）を決定するために用いる、少なくとも一つ以上の中輝度制御点領域、および少なくとも一つ以上の中輝度変換輝度値を取得する、中輝度変換点計算部である。
【００３６】
９は、前記第一次伝達関数と、前記中輝度変換点計算部９で取得した中輝度変換輝度値、中輝度制御点領域とを用いて、最終的な画像の輝度変換特性を決定する第二次伝達関数を作成する、第二次伝達関数作成部である。
【００３７】
１０は、前記画像データ入力部１に入力された画像データを、前記第二次伝達関数に従い輝度変換処理し、輝度変換後の画像データを得る輝度値変換部である。
【００３８】
図２は、前記画像データ例１の輝度分布を示し、図３は、前記画像データ例２の輝度分布を示し、図４は、前記画像データ例３の輝度分布を示す。また、図５は、前記変換方法１の模式図を示し、図６は、前記画像データ例１の前記変換方法１および前記変換方法２による輝度変換前後のグラフを示し、図７は、前記画像データ例２の前記変換方法１および前記変換方法２による輝度変換前後のグラフを示し、図８は、前記画像データ例３の前記変換方法１および前記変換方法２による輝度変換前後のグラフを示し、図９は、前記変換方法１および前記変換方法２による前記逆変換現象の模式図を示す。
【００３９】
また、図１０は、前記第一次伝達関数の模式図を示し、図１１は、前記画像データ例１の前記第一次伝達関数による輝度変換前後のグラフを示し、図１２は、前記画像データ例２の前記第一次伝達関数による輝度変換前後のグラフを示し、図１３は、前記画像データ例３の前記第一次伝達関数による輝度変換前後のグラフを示す。
【００４０】
また、図１４は、前記第二次伝達関数の模式図を示し、図１５は、同じく前記第二次伝達関数の特殊な場合の模式図を示す。図１６は、前記画像データ例１の前記第二次伝達関数による輝度変換前後のグラフを示し、図１７は、前記画像データ例２の前記第二次伝達関数による輝度変換前後のグラフを示し、図１８は、前記画像データ例３の前記第二次伝達関数による輝度変換前後のグラフを示す。
【００４１】
以下、本実施形態の画像変換処理方法を、さらに詳細に説明する。なお、本実施形態の説明において、説明の便宜上、前記従来技術で説明したように、画像の輝度値の取り得る範囲を０から２５５の２５６階調の輝度とし、本２５６階調の輝度を８輝度ずつに３２分割し、輝度の低い領域から順番に領域１から領域３２と呼ぶことにする。従って、以降の説明において、領域ｎ（ｎは１から３２）と記した場合、上記画像の輝度値の取り得る輝度範囲を３２分割したｎ番目の輝度範囲を意味することとする。また、領域１から領域３２の全体を指す場合は単に領域と記す。
【００４２】
図１において、輝度分布計算部３は、入力された画像データ（以下、変換前画像データとする）の輝度分布（ヒストグラム１）を取得する手段であり、この輝度分布の取得手法は公知の技術であるため、その説明を省略する。
【００４３】
有効画素計算部４は、前記ヒストグラム１を用い、入力された変換前画像データが、既に白潰れしている画像かどうかの判定（以下白潰れ判定とする）、あるいは、既に黒潰れしている画像かどうかの判定（以下、黒潰れ判定とする）を実施し、低輝度制御点計算部５と高輝度制御点計算部６と第一次伝達関数作成部７とへ、情報を出力する手段である。
【００４４】
有効画素計算部４での白潰れ判定の方法の一例として、前記３２分割した領域中の領域３１の輝度分布の平均値を求め、本領域３１の輝度分布の平均値を例えば２倍した値を判定基準値として、本判定基準値以上の輝度分布となる輝度値の最小値を領域３２から選択し、本輝度値の最小値から輝度２５５までを既に白潰れしている画像の輝度範囲と判定する方法（以下、白潰れ判定方法１とする）、あるいは、領域３２の輝度値（例えばＡとする）の画素数と本輝度値Ａから１輝度黒側の輝度値（Ａ−１の輝度値）の画素数との差分（例えば、輝度値２５０の画素数から輝度値２４９の画素数を差し引いた値）が、前記白潰れ判定方法１と同じ判定基準値以上の画素数となる輝度値の最小値を領域３２から選択し、本輝度値の最小値から輝度２５５までを既に白潰れしている画像の輝度範囲と判定する方法（以下、白潰れ判定方法２とする）等、が考えられる。
【００４５】
例えば、変換前画像データの一例である前記図４の画像データ例３を用いて、白潰れ判定方法１と白潰れ判定方法２を説明すると、本画像データ例３の輝度分布は前記の表５であり、領域３１の輝度分布の平均値は、本表５の領域３１の輝度分布０．５％を領域３１の輝度２４０から２４７の８輝度で割って、０．０６２５％（０．５÷８）となる。本領域３１の輝度分布の平均値０．０６２５％を２倍した値０．１３％を判定基準値として、白潰れ判定を行う。
【００４６】
例えば、本表５の領域３１の輝度２４７と領域３２の各輝度における画素数の全画素数に対する割合Ｐ（％）が、下記の表７であったとする。
【表７】
2005175933.tif 000009
【００４７】
表７の場合、画像データ例３の前記各輝度における画素数の全画素数に対する割合が、上記判定基準値０．１３％以上となる最小輝度値は、２４９であり、また、同じく表７のＡ−１の輝度との輝度分布差が、同じく上記判定基準値０．１３％以上となる最小輝度値も、２４９となるため、前記白潰れ判定方法１あるいは白潰れ判定方法２においても、輝度値２４９から２５５の輝度値の領域を白潰れ領域と判断する。
【００４８】
なお、前記画像データ例１と画像データ例２とも、表３と表４からそれぞれ領域３１および領域３２の前記各輝度における画素数の全画素数に対する割合は０であり、明らかに白潰れの領域は存在しない。
【００４９】
同様に、有効画素計算部４は、黒潰れ判定を、白潰れ判定と同様に、領域１と領域２の各輝度における画素数の全画素数に対する割合等で、判定することが可能である。ところで、携帯電話機に搭載（内蔵）している現在のカメラ等では、カメラの階調に関するダイナミックレンジが不足している事に起因して、画像に白潰れが生じることには、目をつぶった特性になっており、このため白潰れの発生頻度が多くなっている。ところが逆に、携帯電話機に搭載している現在のカメラ等では、ＣＣＤ、ＣＭＯＳ等のイメージセンサーの感度を高くしているため、画像の黒潰れの発生頻度が非常に少ない。そのため、本実施形態の具体的動作例では、黒潰れ判定は行わないものとして、以下の説明を行う。ただし、近い将来には、デジタルカメラの性能向上によって、白潰れと黒潰れの両者が少しづつではあるが略同様の発生頻度で発生する、撮影バランスのよいカメラの出現が期待されるので、このような場合には、有効画素計算部４は、黒潰れ判定を行って、黒潰れしている輝度範囲と、本輝度範囲に含まれる黒潰れの画素数を計算するように動作することは、当然である。
【００５０】
さらに、有効画素計算部４は、前記白潰れ領域に含まれる輝度の画素数（以下、白潰れ画素数とする）と、前記黒潰れ領域に含まれる輝度の画素数（以下、黒潰れ画素数とする）とを取得し、有効画素数を決定する。有効画素数を決定する一例として、全画素数から前記白潰れ画素数と前記黒潰れ画素数とを除いた値を有効画素数とし、新たに本有効画素数を全画素数とみなし、領域毎の輝度分布（ヒストグラム２）を再度計算する。さらにまた、白潰れ部の画素数÷有効画素数を求め、本結果を白飽和度とし、黒潰れ部の画素数÷有効画素数を求め、本結果を黒飽和度とする。ただし、前記したように本実施形態では、黒潰れ判定は行わないため、本実施形態の具体的動作例においては、常に黒潰れ画素数は０、黒飽和度も０％となる。
【００５１】
例えば、画像データ例１のヒストグラム２は表３と同じになり、白潰れ画素数は０、白飽和度は０％となる。同じく、画像データ例２のヒストグラム２は表４と同じになり、白潰れ画素数は０、白飽和度は０％となる。画像データ例３の場合では、全画素数１００％から白潰れ画素数を計算すると１３％（０．２１％、０．１２％、０．３６％、０．４９％、１．２２％、１．５７％、９．０５％の合計値、少数点１位を四捨五入）となり、本白潰れ画素を全画素数から差し引いた有効画素数は８７％（少数点１位を四捨五入）となるため、白飽和度は１５％（１３÷８７、少数点１位を四捨五入）となる。さらに、画像データ例３の場合では、前記有効画素数８５％を新たに全画素数１００％として、ヒストグラム２を求めると、下記の表８のようになる。
【表８】
2005175933.tif 000010
【００５２】
なお、本白潰判定および黒潰れ判定の判断基準に用いる前記領域の選択、輝度分布の計算方法、判定基準の平均輝度分布の倍数、有効画素数の求め方等は、本発明の主旨に従い、例えばカメラシステムの特性、ＬＣＤの特性、画像データの特性等により最適に設定可能であり、あるいは、カメラシステムからの撮影情報等に従い変更可能であり、また、画像データの解析結果である画素数、輝度分布特性に従い設定することも可能である。
【００５３】
次に、図１の低輝度制御点計算部５は、前記有効画素数計算部４から前記ヒストグラム２と前記黒飽和度を取得して、視覚上の低輝度の安定性に寄与している輝度値（つまり、経験則から判っている、輝度変換を行うと（あるいは、必要以上の輝度変換を行うと）却って画質が落ちる黒に近いグレーを示す輝度値（例えば黒目や黒髪等を表わす輝度値）である：以下、黒側固定輝度値とする）と、本黒側固定輝度値の画像変換後の特定の輝度値（以下、黒側特定輝度値とする）とを取得し、また、本黒側固定輝度値を含む領域と、本黒側固定輝度値以外で低輝度の画像変換を行うための低輝度制御点輝度値と、本低輝度制御点輝度値の画像変換後の輝度値を設定する低輝度制御倍率とを取得し、取得したこれらのデータを、図１の第一次伝達関数作成部７に出力する。
【００５４】
低輝度制御点計算部５の前記黒側固定輝度値および黒側特定輝度値を取得する手法の一例として、予め固定の値が設定されている方法、あるいは、前記ヒストグラム２の特定領域の輝度分布から計算する方法、あるいは、低輝度制御点計算部５に本黒側固定輝度値の入力部を持ち、外部から取得する方法等が考えられるが、ここでは、低輝度制御点計算部５に、本黒側固定輝度値および黒側特定輝度値が予め設定されているとする。
【００５５】
また、低輝度制御点計算部５の低輝度制御点輝度値を取得する手法の一例として、前記ヒストグラム２の領域の低輝度側である領域１から領域２、領域３と順番に各領域の輝度分布を累計し、本累計値が前記ヒストグラム２の全画素数で特定の割合（以下、低輝度度数とする）以上となる領域ｎ（ｎは１から３２の整数）のｎが最大となる領域を求め、本領域ｎの最小輝度値を低輝度制御点輝度値とする。ただし、領域１から黒側固定輝度値を含む領域まで輝度分布を累計しても本累計値が達しない場合は、本低輝度制御点輝度値は、本黒側固定輝度値を含む領域の最小輝度値とする（例えば、前記黒側特定輝度値を含む領域が領域５の場合、本低輝度制御点輝度値は、領域５の最小輝度３２になる）。
【００５６】
さらに、前記低輝度制御倍率の取得手法の一例として、前記黒側固定輝度値を取得する手法と同じく、予め固定の値が設定されている方法、あるいは、前記ヒストグラム２の特定領域の輝度分布から計算する方法、あるいは、図１の低輝度制御点計算部５に本低輝度制御倍率の入力部を持ち、外部から取得する方法等が考えられるが、ここでは、予め低輝度制御点計算部５に本低輝度制御倍率が設定されているとする。
【００５７】
なお、前記黒側固定輝度値と前記黒側特定輝度値は、画像変換前後で視覚上低輝度の安定性に寄与している輝度値に設定されており、本説明では前記黒側固定輝度値と前記黒側特定輝度値とも、同一の輝度値とし、領域６の輝度値４７とする。以降、前記黒側固定輝度値と前記黒側特定輝度値とも同一の輝度値のため、黒側固定輝度値と同一名称を使用して説明する。同じく、前記低輝度制御倍率は０．５とし、前記低輝度度数を２．５％とし、以下、図１の低輝度制御点計算部５の具体的動作を、画像データ例１、画像データ例２および画像データ例３を用いて説明する。
【００５８】
画像データ例１、画像データ例２および画像データ例３の領域１から領域６までの輝度分布の累計は、それぞれ表３、表４、表８から、下記の表９のようになる（但し、小数点２位を四捨五入）。
【表９】
2005175933.tif 000011
【００５９】
以上の結果から、画像データ例１、画像データ例２および画像データ例３の黒側固定輝度値、低輝度制御点、低輝度制御倍率は、下記の表１０となる。
【表１０】
2005175933.tif 000012
【００６０】
さらに、図１の高輝度制御点計算部６は、前記有効画素数計算部４から前記ヒストグラム２と前記白飽和度とを取得して、画像変換前後で視覚上の高輝度の安定性に寄与している輝度値（白側可変輝度値：前記黒側固定輝度値と同様の意味合いの高輝度側の輝度値である）と、白側可変輝度値の変換を行うための高輝度制御倍率とを取得し、図１の第一次伝達関数作成部７に出力する。
【００６１】
本高輝度制御点計算部６の前記白側可変輝度値を取得する手法の一例として、予め固定の値が設定されている方法、あるいは、前記ヒストグラム２の特定領域の輝度分布から計算する方法、あるいは、図１の高輝度制御点計算部６に本白側可変輝度値の入力部を持ち、外部から取得する方法等が考えられるが、ここでは、ヒストグラム２の特定領域の輝度分布から計算する方法を用いているものとする。
【００６２】
白側可変輝度値を取得する手法の一例として、前記ヒストグラム２の高輝度側である領域３２から領域３１、領域３０と順番に各領域の輝度分布を累計し、本累計値が前記ヒストグラム２の全画素数で特定の割合（以下、高輝度度数とする）以上となる領域ｍ（ｍは１から３２の整数）のｍが最小となる領域を求め、本領域ｍの最大輝度値を白側可変輝度値とする。
【００６３】
また、本高輝度制御点計算部６の高輝度制御倍率および前記高輝度度数を取得する手法の一例として、予め固定の値が設定されている方法、あるいは、前記ヒストグラム２の特定領域の輝度分布から計算する方法等が考えられるが、ここでは、前記白飽和度から取得する以下の方法を用いるものとする。
【００６４】
さらに、高輝度制御倍率の取得手法の一例として、前記高輝度制御倍率を取得する手段と同じく、予め固定の値が設定されている方法、あるいは、前記ヒストグラム２の特定領域の輝度分布から計算する方法、あるいは、図１の高輝度制御点計算部６に本高輝度度数の入力部を持ち、外部から取得する方法等が考えられるが、ここでは、前記白飽和度から取得する以下の方法を用いるものとする。
【００６５】
すなわち、本説明において、前記高輝度度数および高輝度制御倍率は、前記図１の有効画素数計算部４で取得した白飽和度から、下記の表１１のような設定例であるとすると、例えば白飽和度が５％未満の場合、高輝度度数を５％、高輝度制御倍率を０．５とすることを示している。
【表１１】
2005175933.tif 000013
【００６６】
画像データ例１、画像データ例２、画像データ例３の場合、表３、表４、表８および表１０から求めた白飽和度、高輝度度数、高輝度制御倍率および白側可変輝度値を、下記の表１２に示す。
【表１２】
2005175933.tif 000014
【００６７】
以上のようにして、前記図１の低輝度制御点計算部５および前記図１の高輝度制御点計算部６で取得した、黒側固定輝度値（以下、ＹＬＦとする）、低輝度制御点輝度値、低輝度制御倍率、白側可変輝度値、高輝度制御倍率を用い、図１の第一次伝達関数作成部７にて、輝度変換特性（第一次伝達関数）を決定する。
【００６８】
次に、図１の第一次伝達関数作成部７の動作例について説明する。図１の第一次伝達関数作成部７において、輝度変換前の低輝度制御点輝度値をＹＬ１、ＹＬ１の輝度変換後の輝度値をＹＬ２、低輝度制御倍率をａ、輝度変換前の白側可変輝度値をＹＨ１、ＹＨ１の輝度変換後の輝度値をＹＨ２、高輝度制御倍率をｂ、最大輝度値を２５５、最小輝度値を０とし、ＹＬ１とＹＬ２、およびＹＨ１とＹＨ２を、
ＹＬ２＝ＹＬ１×ａ
ＹＨ２＝２５５−（２５５−ＹＨ１）×ｂ
上式の関係で表すことにする。
【００６９】
このとき、上記変換前のＹＬ１とＹＨ１を除く輝度値の輝度変換後の輝度値を、上記ＹＬ２とＹＬＦおよびＹＨ２で線形補完する。ただし、輝度変換前後で低輝度から中輝度における極端な輝度変化を生じさせないため、例えば、上記ＹＨ１の輝度値を含む領域が領域１６より黒側の領域の場合は、ＹＬＦを除いて上記ＹＬ２およびＹＨ２で線形補完する等の処理は設けておく。
【００７０】
前記した図１０に、本輝度変換前後の概念を示す。また、画像データ例１、画像データ例２、画像データ例３を用いて、前記に示した条件で実際に輝度変換した結果を、それぞれ図１１、図１２、図１３に示す。なお、図１０、図１１、図１２、図１３の図面の構成は図５と同じである。
【００７１】
次に、図１の中輝度変換点計算部８においては、前記有効画素数計算部４で取得したヒストグラム２と前記第一次伝達関数作成部７で取得した第一次伝達関数を用いて、後述する第二次伝達関数作成部９で、最終的な画像の輝度変換特性（第二次伝達関数）を決定するために用いる、少なくとも一つ以上の中輝度制御点領域および少なくとも一つ以上の中輝度変換輝度値を取得する。
【００７２】
中輝度変換点計算部８においては、まず、前記有効画素数計算部４で取得したヒストグラム２を、低輝度側の領域１の輝度分布から順に、高輝度の領域の輝度分布へ輝度分布を累積していき、本累積した輝度分布の値から少なくとも一つ以上の閾値値を超える領域（以下、累積領域とする）と本領域までの累積値（以下、累積輝度値とする）を取得し、本取得した累積領域と累積輝度値から、本累積領域毎に累積輝度計算値を計算により求める。次に、累積領域毎に本累積輝度計算値と前記第一次伝達関数とを比較または計算により、少なくとも一つ以上の累積領域と選択し、本選択された累積領域を中輝度制御点領域とし、本中輝度制御点領域の累積輝度計算値を中輝度変換輝度値とする。例えば、画像データ例１、画像データ例２、画像データ例３の場合、表３、表４および表８を用いて低輝度側の領域１輝度分布から順に、高輝度の領域の輝度分布を累積していくと、それぞれ表１３、表１４および表１５となる（小数点第二位を四捨五入）。
【表１３】
2005175933.tif 000015
【表１４】
2005175933.tif 000016
【表１５】
2005175933.tif 000017
【００７３】
ここで、累積領域と累積輝度値とを得る手法として、例えば、前記累積領域の本累計した輝度分布が閾値３０％、５０％、７０％超える領域を累積領域として特定し、本特定された累積領域までの輝度分布の累積値をそれぞれ累積輝度値とすると、下記に示す表１６（輝度分布の累計値に関しては、小数点１位を四捨五入）となる。本表１６において、％表示は前記累積輝度値であり、（  ）内の数字は前記累積領域を示す。
【表１６】
2005175933.tif 000018
【００７４】
次に、図１の中輝度変換点計算部８は、取得した前記累積領域の最大輝度の輝度変換後の輝度値を累積輝度計算値として計算により取得する。本累積輝度計算値の算出方法の一例として、取得した累積輝度値をＹ（％）とした場合、本累積領域の最大輝度の輝度変換値をＹ×２５５の計算式によって求める。本計算式で求めた累積輝度計算値は、前記累積領域の閾値が容易に判別できるように、それぞれＹ３０、Ｙ５０、Ｙ７０の如くしておく。また、前記画像データ例１、画像データ例２、画像データ例３の場合では、表１６から下記の表１７のようになる（小数点１位を四捨五入）。本表１７において、表中の数字は累積輝度計算値を示し、（  ）内は前記累積領域を示す。
【表１７】
2005175933.tif 000019
【００７５】
上記取得した累積輝度値および累積領域を用いて、図１の中輝度変換点計算部８は、前記図１の有効画素数計算部４で取得したヒストグラム２および前記図１の伝達関数作成部７で作成した第一次伝達関数を用い、少なくとも一つ以上の累積領域を選択し、本選択された累積領域を中輝度制御点領域とし、また、本選択された中輝度制御点領域の累積輝度計算値を中輝度変換輝度値とし、本中輝度制御点領域の最大輝度を輝度変換する手段とする。本中輝度変換輝度値および中輝度制御点領域を取得する例を、以下画像データ例１の場合で説明する。
【００７６】
図１の中輝度変換点計算部８において、表１７から画像データ例１の累積領域を読み取り、本読み取った累積領域の最大輝度値における前記第一次伝達関数における画像変換後の輝度値（以下、それぞれｙ３０、ｙ５０、ｙ７０とする）を、画像データ例１の第一次伝達関数である図１１から計算する（少数点第一位を四捨五入）。さらに、本ｙ３０、ｙ５０、ｙ７０と前記表１７の画像データ１のＹ３０、Ｙ５０、Ｙ７０とのそれぞれの差分を求める。そして、本差分を中輝度変換差分とし、本中輝度変換差分の最大値と最小値の累積領域を中輝度制御点領域とし、本中輝度制御点領域の累積輝度計算値を中輝度変換輝度値とする。中輝度変換差分を求めた結果は、下記の表１８に示すものとなり、本表１８で、太枠部が選択された中輝度制御点領域と中輝度変換輝度値になる。
【表１８】
2005175933.tif 000020
【００７７】
同様に、画像データ例２に関しても、表１７と図１２を用い中輝度変換輝度値と中輝度制御点領域を求めた結果を下記の表１９に、また、画像データ例３に関しても、表１７と図１３を用い中輝度変換輝度値と中輝度制御点領域を求めた結果を下記の表２０に、それぞれ示す。
【表１９】
2005175933.tif 000021
【表２０】
2005175933.tif 000022
【００７８】
なお、本中輝度制御点領域を選択する手法として、前記の方法以外に、前記中輝度変換差分の値の条件によって選択する方法、あるいは、前記図１の中輝度変換点計算部８で取得した全ての中輝度制御点領域を選択する方法、あるいは、前記図１の有効画素数計算部４で取得した有効画素数、白飽和度および黒飽和度等の値のどちらかまたは両方の値の組み合わせ等によって複数の中輝度制御点領域の選択方法から選択する方法、あるいは、特定の条件分けによって選択する方法等があるが、本発明の主旨に沿う手法であれば何れを用いても設定可能である。
【００７９】
次に、図１の第二次伝達関数生成部９は、図１の前記第一次伝達関数作成部７で取得した第一次伝達関数と、図１の前記中輝度変換点計算部８で取得した中輝度変換輝度値、中輝度制御点領域とを用いて、最終的な画像の輝度変換特性を決定する第二次伝達関数を作成する。前記選択された２つの中輝度制御点領域の輝度が高い順に中輝度制御点領域Ｈと中輝度制御点領域Ｌとし、本中輝度制御点領域Ｈの中輝度変換輝度値を中輝度変換輝度値Ｈ（ＹＭＨ）とし、同じく、本中輝度制御点領域Ｌの中輝度変換輝度値を中輝度変換輝度値Ｌ（ＹＭＬ）とする。ここで、図１の第二次伝達関数生成部９は、本中輝度制御点領域Ｈの最大輝度を中輝度変換輝度値Ｈで輝度変換し、同じく、本中輝度制御点領域Ｌの最大輝度を中輝度変換輝度値Ｌで輝度変換する。
【００８０】
本輝度変換の概念を図１４に示す。図１４において図の構成は図１０と同じであり、太い実線が第二次伝達関数、細い実線が変換前の特性、破線が第一次伝達関数をそれぞれ示し、領域１９が、中輝度制御点領域Ｈ、領域１１が、中輝度制御点領域Ｌの場合を示す。なお、過度の輝度変換を防止するため、中輝度変換輝度値には、前記第一次伝達関数で得られる輝度値から＋１６から−１６の以内に制限する等の処置を行う。本図１４においては、中輝度変換輝度値Ｈが制限されている。
【００８１】
また、図１５は、本第二次伝達関数のもう一つの概念を示し、本図１５の構成は図１４と同じとする。本図１５において、前記中輝度制御点領域Ｌが前記黒側固定値の領域（黒側固定点とする）の近傍であった場合（例えば３領域以内）は、本黒側固定点を除き、また、中輝度変換輝度値Ｌが、同じく図１５に示すように、前記第一次伝達関数の最大輝度点と高輝度制御点との延長線上の輝度以上となっている場合も、前記高輝度制御点を除いて、第二次伝達関数を作成する等で、過度の変換の防止および従来技術の説明にある逆変換現象の防止の処置をしておく。
【００８２】
ただし、前記中輝度変換輝度値に関しても、前記の方法以外に、最適な係数を乗算して用いる方法、累積領域毎に最適な係数を乗算する方法、前記図１の４の有効画素数計算部で取得した有効画素数、白飽和度および黒飽和度等の値の組み合わせ等によって係数を乗算する方法等、本発明の主旨に沿う最適な方法を用いて設定することも可能である。
【００８３】
画像データ例１、画像データ例２、画像データ例３を、図１の第二次伝達関数生成部９により第二次伝達関数を作成した結果は、表１８、表１９、表２０、図１１、図１２、図１３を用い、それぞれ図１６、図１７、図１８のようになる。
【００８４】
以上のようにして図１の第二次伝達関数作成部９で得られた第二次伝達関数を用い、図１の輝度値変換部１０において、変換前画像データを輝度変換し、画像データ出力部２から、画像処理装置に付設された図示せぬＬＣＤ等の表示素子あるいはメモリ部、または外部機器等へ出力する。なお、図１の輝度値変換部１０および画像データ出力部２の動作は、公知の技術であるためその説明は省略する。
【００８５】
なおここで、最終的な画像変換後の結果の例として、画像データ例１、画像データ例２、画像データ例３の場合の輝度分布は、それぞれ図１９、図２０、図２１となる。
【００８６】
画像データ例１の図２と図１９、画像データ例２の図３と図２０、画像データ例３の図４と図２１を、それぞれ比較した場合、何れの場合でも、輝度変換後の画像の輝度分布が、輝度変換前の輝度分布に比べ平坦になっているため、輝度のコントラストが大幅に大きくなっていることが読み取れる。
【図面の簡単な説明】
【００８７】
【図１】本発明の一実施形態に係る画像処理方法が実現される、画像処理装置の要部構成を示すブロック図である。
【図２】画像データ例１の輝度変換前の輝度分布を示す説明図である。
【図３】画像データ例２の輝度変換前の輝度分布を示す説明図である。
【図４】画像データ例３の輝度変換前の輝度分布を示す説明図である。
【図５】変換方法１の概念を示す模式図である。
【図６】画像データ例１の変換方法１および変換方法２による輝度変換前後の様子を示す説明図である。
【図７】画像データ例２の変換方法１および変換方法２による輝度変換前後の様子を示す説明図である。
【図８】画像データ例３の変換方法１および変換方法２による輝度変換前後の様子を示す説明図である。
【図９】変換方法１および前記変換方法２による逆変換現象を示す説明図である。
【図１０】第一次伝達関数の概念を示す模式図である。
【図１１】画像データ例１の第一次伝達関数による輝度変換前後の様子を示す説明図である。
【図１２】画像データ例２の第一次伝達関数による輝度変換前後の様子を示す説明図である。
【図１３】画像データ例３の第一次伝達関数による輝度変換前後の様子を示す説明図である。
【図１４】第二次伝達関数の概念を示す模式図である。
【図１５】第二次伝達関数の特殊な場合の概念を示す模式図である。
【図１６】画像データ例１の第二次伝達関数による輝度変換前後の様子を示す説明図である。
【図１７】画像データ例２の第二次伝達関数による輝度変換前後の様子を示す説明図である。
【図１８】画像データ例３の第二次伝達関数による輝度変換前後の様子を示す説明図である。
【図１９】画像データ例１の本発明による輝度変換後の輝度分布を示す説明図である。
【図２０】画像データ例２の本発明による輝度変換後の輝度分布を示す説明図である。
【図２１】画像データ例３の本発明による輝度変換後の輝度分布を示す説明図である。
【符号の説明】
【００８８】
１  画像データ入力部
２  画像データ出力部
３  輝度分布計算部
４  有効画素数計算部
５  低輝度制御点計算部
６  高輝度制御点計算部
７  第一次伝達関数作成部
８  中輝度変換点計算部
９  第二次伝達関数作成部
１０  輝度値変換部
【図１】
2005175933.tif 000023
【図２】
2005175933.tif 000024
【図３】
2005175933.tif 000025
【図４】
2005175933.tif 000026
【図５】
2005175933.tif 000027
【図６】
2005175933.tif 000028
【図７】
2005175933.tif 000029
【図８】
2005175933.tif 000030
【図９】
2005175933.tif 000031
【図１０】
2005175933.tif 000032
【図１１】
2005175933.tif 000033
【図１２】
2005175933.tif 000034
【図１３】
2005175933.tif 000035
【図１４】
2005175933.tif 000036
【図１５】
2005175933.tif 000037
【図１６】
2005175933.tif 000038
【図１７】
2005175933.tif 000039
【図１８】
2005175933.tif 000040
【図１９】
2005175933.tif 000041
【図２０】
2005175933.tif 000042
【図２１】
2005175933.tif 000043