(57)【特許請求の範囲】
【請求項１】
画像のエッジ強調を行うエッジ強調手段と、
エッジ強調処理に先だって、γ値の変化する濃度範囲が異なる複数の変換特性を切り換えて使用して画像の階調変換を行う第１の階調変換手段と、
前記エッジ強調処理の後に、切り換えられた前記第１の階調変換手段の変換特性に基づいて決定される変換特性を使用して画像の階調変換を行う第２の階調変換手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記第１の階調変換手段の変換特性は、濃度によってγ値が異なる特性としたことを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、さらに、
処理対象画像のシーンを判定するシーン判定手段と、
前記シーン判定手段の判定結果に基づいて、前記複数の変換特性からシーンに適した一の変換特性を選択する変換特性選択手段と、
を備えることを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記シーン判定手段は、
手動設定された処理対象画像の入力モードを基に、当該処理対象画像のシーンを判定する手段、
を含むことを特徴とする画像処理装置。
【請求項５】
請求項３または請求項４に記載の画像処理装置において、
前記シーン判定手段は、
処理対象画像のシーンを予測する手段、
を含むことを特徴とする画像処理装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の画像処理装置において、
前記画像処理装置は、デジタルカメラを含むことを特徴とする画像処理装置。
【請求項７】
処理対象画像に対して、γ値の変化する濃度範囲が異なる複数の変換特性を切り換えて使用して階調変換を行う第１の階調変換工程と、
前記第１の階調変換工程の出力画像に対してエッジ強調処理を行うエッジ強調工程と、
前記エッジ強調工程の出力画像に対して、切り換えられた前記第１の階調変換工程の変換特性に基づいて決定される変換特性を使用して階調変換を行う第２の階調変換工程と、
を含むことを特徴とする画像処理方法。
【請求項８】
コンピュータにおいて請求項７に記載の画像処理方法を実行させるためのプログラムを記録してあることを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、階調変換およびエッジ強調を行う画像処理装置および方法に関する。
【０００２】
【従来の技術】
デジタルカメラにおいて撮影された画像や、コンピュータに入力された画像に対して、所定のハードウェアもしくはソフトウェアを利用して、階調変換処理やエッジ強調処理が行われる。
【０００３】
階調変換処理は、画像の階調をモニタの特性に合わせて補正する処理であり、その変換特性はγ（ガンマ）値で表現される。一般的な階調変換処理は、変換特性であるγ値が、シャドウ部からニュートラル部、ハイライト部分にかけての範囲で一定値となっており、入力信号xに対して出力信号yは、y=xγで表されるような変換処理である。
【０００４】
エッジ強調処理は、たとえば、処理対象画像のＧデータから高周波成分の信号を検出および抽出し、抽出された高周波成分の信号をＲＧＢそれぞれの画像信号に加算することにより行われる。
【０００５】
そして、デジタルカメラ等の画像処理装置において、一般的には、入力した画像データに対して、まず、階調変換処理を施し、その後、階調変換された画像データに対してエッジ強調処理を施すようにしている。
【０００６】
【発明が解決しようとする課題】
このように、デジタルカメラ等の画像処理装置において、階調変換処理およびエッジ強調処理を施した画像データを出力することが可能であるが、上記の処理方法では、入力画像のシャドウ部からハイライト部にかけての範囲において同様のエッジ強調を施すことになる。したがって、入力画像の内容に応じて最適なエッジ強調処理が行われているとはいえない。
【０００７】
たとえば、デジタルカメラで撮影した画像が、マクロ撮影による撮影画像であるならば、全体的にエッジ強調を強くする方が好ましいであろうし、夜景撮影による撮影画像であるならば、暗い部分が多くなるので、低輝度部でのノイズを除去する必要がある。
【０００８】
特開２０００−１１５５３９では、画像の領域ごとに濃度判定を行い、濃度に応じてエッジ強調度合を変化させるようにしている。しかし、領域ごとに濃度判定を行うため処理時間が長くなるという問題点がある。
【０００９】
特開平１１−３２２３６では、濃度判定は行わず、逆光シーンを判定し、逆光シーンである場合にはエッジ強調度合を抑制している。しかし、濃度によらず一律にエッジ強調度合を調整しているので、画像全体の鮮鋭度が落ちるという問題点がある。
【００１０】
そこで、本発明は前記問題点に鑑み、処理速度を低下させることなく、入力画像に対して最適なエッジ強調を施すことが可能な画像処理装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するため、請求項１の発明は、画像のエッジ強調を行うエッジ強調手段と、エッジ強調処理に先だって、γ値の変化する濃度範囲が異なる複数の変換特性を切り換えて使用して画像の階調変換を行う第１の階調変換手段と、前記エッジ強調処理の後に、切り換えられた前記第１の階調変換手段の変換特性に基づいて決定される変換特性を使用して画像の階調変換を行う第２の階調変換手段と、を備えることを特徴とする。
【００１３】
請求項２の発明は、請求項１に記載の画像処理装置において、前記第１の階調変換手段の変換特性は、濃度によってγ値が異なる特性としたことを特徴とする。
【００１６】
請求項３の発明は、請求項１または請求項２に記載の画像処理装置において、さらに、処理対象画像のシーンを判定するシーン判定手段と、前記シーン判定手段の判定結果に基づいて、前記複数の変換特性からシーンに適した一の変換特性を選択する変換特性選択手段とを備えることを特徴とする。
【００１７】
請求項４の発明は、請求項３に記載の画像処理装置において、前記シーン判定手段は、手動設定された処理対象画像の入力モードを基に、当該処理対象画像のシーンを判定する手段を含むことを特徴とする。
【００１８】
請求項５の発明は、請求項３または請求項４に記載の画像処理装置において、前記シーン判定手段は、処理対象画像のシーンを予測する手段を含むことを特徴とする。
【００１９】
請求項６の発明は、請求項１ないし請求項５のいずれかに記載の画像処理装置において、前記画像処理装置は、デジタルカメラを含むことを特徴とする。
【００２０】
請求項７の発明は、処理対象画像に対して、γ値の変化する濃度範囲が異なる複数の変換特性を切り換えて使用して階調変換を行う第１の階調変換工程と、前記第１の階調変換工程の出力画像に対してエッジ強調処理を行うエッジ強調工程と、前記エッジ強調工程の出力画像に対して、切り換えられた前記第１の階調変換工程の変換特性に基づいて決定される変換特性を使用して階調変換を行う第２の階調変換工程とを含むことを特徴とする。
【００２１】
請求項８の発明は、コンピュータにおいて請求項７に記載の画像処理方法を実行させるためのプログラムを記録してあることを特徴とする。
【００２２】
【発明の実施の形態】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２３】
｛１．デジタルカメラの構成｝
本実施の形態にかかる画像処理装置について、デジタルカメラを例として説明する。図１は、デジタルカメラ１の正面斜視図、図２は、デジタルカメラ１の背面図である。
【００２４】
デジタルカメラ１の正面には撮影レンズ１１、ファインダ窓１２、フラッシュ１３が設けられ、撮影レンズ１１から入力した被写体像はＣＣＤ素子１４に結像される。
【００２５】
また、デジタルカメラ１の上面には、シャッタ指示を行うレリースボタン１５、撮影モードの選択操作、露光条件の設定操作、ホワイトバランス、露出補正などの切り換え操作などを行うことが可能な設定キー１６ａ、撮影モード等の状態を表示する液晶パネル１７が設けられている。
【００２６】
デジタルカメラ１の側面には、記録メディアの挿入口であるスロット１８が設けられ、スロット１８にメモリカード２０を挿入することで、デジタルカメラ１で撮影した画像データの受け渡しを行うことを可能としている。
【００２７】
また、デジタルカメラ１の背面１Ｂには、撮影モードの選択操作など、各種設定操作を行うことが可能な設定キー１６ｂと、撮影した画像のプレビュー表示や、各種設定メニューなどを表示する液晶モニタ１９とが設けられている。以下の説明においては、設定キー１６ａ，１６ｂを総称して設定キー１６として説明する。
【００２８】
次に、図３を用いて、デジタルカメラ１の内部構成について説明する。ＣＣＤ素子１４は、原色または補色のカラーフィルターを画素ごとに配置した撮像素子であり、被写体の光像をＲＧＢの画像信号に光電変換して出力する。
【００２９】
Ａ／Ｄ変換部３１は、ＣＣＤ素子１４から出力された各画素の電気信号をデジタル信号に変換する。黒レベル補正部３２は、画素信号のうち最高濃度部を基準の黒レベルに補正する。ホワイトバランス（ＷＢ）補正部３３は、撮影光源の分光による色バランスのずれを補正するためにＲＧＢ各色の画素信号のレベル変換を行う。そして、画素補間部３４において、欠落色画素の補間が行われ、各画素についてＲＧＢ３色の電気信号が出力される。
【００３０】
エッジ強調調整部３６は、本発明の特徴部とする画像処理部であり、エッジ強調部４１と、エッジ強調処理に先立って階調変換を行うエッジ強調用階調変換部４０と、エッジ強調処理の後に階調変換を行う補正用階調変換部４２とを有している。
【００３１】
エッジ強調部４１は、ＨＰＦ４１１、コアリング部４１２、ゲイン調整部４１３を含み、エッジ強調を行う。エッジ強調部４１の構成を図４に示す。
【００３２】
入力されたＲＧＢデータのうち、Ｇデータに対してＨＰＦ４１１をかけ、高周波成分を抽出する。ＨＰＦ４１１において抽出した高周波成分に対して、コアリング部４１２において所定のレベル以下の成分を除去（ノイズ除去）する。そして、コアリング部４１２から出力した高周波成分に対しゲイン調整部４１３においてゲイン調整を行う。
【００３３】
ゲイン調整されたＧデータの高周波成分を元のＧデータに加算し、加算後のＧデータを出力する。さらに、ＢデータおよびＲデータに対しても、ゲイン調整されたＧデータの高周波成分を加算し、加算後のＢ，Ｒデータを出力する。このように、Ｇの高周波成分を利用して、エッジ強調処理を行う。
【００３４】
本実施の形態におけるコアリング部４１２およびゲイン調整部４１３の処理特性を図５に示す。図中、横軸は、ＨＰＦ４１１から出力された値を入力としたときのレベルであり、縦軸は、コアリング部４１１およびゲイン調整部４１３における処理が行われた後の出力のレベルである。
【００３５】
コアリング部４１２は、ＨＰＦ４１１から出力されたＧデータの値ｇが−Ｖ１＜ｇ＜Ｖ１であれば０に変換し、それ以外の値である場合には、そのままのレベルを出力する。ゲイン調整部４１３では、コアリング部４１２から出力されたレベルに応じて図に示すような傾きをもった変換を行う。つまり、ＨＰＦ４１１から出力されたレベルが−Ｖ１からＶ１である場合には０を出力し、それ以外の値である場合には、図に示すような傾きをもった特性（ゲイン値）により変換したレベルを出力するのである。
【００３６】
エッジ強調用階調変換部４０、補正用階調変換部４２は、それぞれＲＧＢ各色ごとに階調変換ＬＵＴをもち、ＲＧＢデータの階調変換を行う。ここで、階調変換ＬＵＴは、変換特性であるγ値により特徴付けられる。
【００３７】
そして、本実施の形態においては、エッジ強調用階調変換部４０の変換特性（以下、エッジ強調用階調特性４０Ａとする）、および、補正用階調変換部４２の変換特性（以下、補正用階調特性４２Ａとする）は、それぞれ入力画像の濃度範囲によって異なるγ値をもっている。
【００３８】
図６は、γ値が変化する階調変換の変換特性を例示したものである。図中、Ｌ，Ｍ，Ｈはそれぞれ、入力データの低輝度部、中輝度部、高輝度部の範囲を示している。そして、図６（ａ）においては、低輝度部Ｌの範囲内においてγ値が変化している。つまり、低輝度部Ｌにおけるある入力信号レベル５１を境界として、異なる２つのγ値が設定されているのである。
【００３９】
同様に、図６（ｂ）においては、中輝度部Ｍにおけるある入力信号レベル５２を境界として、異なる２つのγ値が設定されており、図６（ｃ）においては、高輝度部Ｈの範囲内のある入力信号レベル５３を境界として、異なる２つのγ値が設定されている。
【００４０】
このように、図６で示した３つの階調変換特性は、いずれも、ある輝度レベルを境界としてγ値が変化する特性をもっているが、γ値が変化する境界が、それぞれ低輝度部Ｌ、中輝度部Ｍ、高輝度部Ｈと異なっている。
【００４１】
そして、このような階調変換特性をエッジ強調用階調特性４０Ａとして階調変換を行った場合、γ値の変化する境界が存在する濃度範囲（輝度範囲）が、後の工程であるエッジ強調処理に影響を与える。つまり、エッジ強調用階調特性４０Ａを、ある境界で変化する複数のγ値をもつ変換特性とすることにより、γ値が変化する濃度範囲におけるエッジ強調度合を強くすることができるのである。
【００４２】
図６で示した例において、それぞれ境界５１，５２，５３の前後における適当なγ値を選択することにより、図６（ａ）の場合、すなわち、γ値が変化する範囲が低輝度部Ｌである場合には、低輝度部Ｌにおけるエッジ強調度合が強められ、図６（ｂ）の場合、すなわち、γ値が変化する範囲が中輝度部Ｍである場合には、中輝度部Ｍにおけるエッジ強調度合が強められ、図６（ｃ）の場合、すなわち、γ値が変化する範囲が高輝度部Ｈである場合には、高輝度部Ｈにおいてエッジ強調度合が強められるようにできるのである。
【００４３】
本実施の形態においては、このような変換特性の性質をエッジ強調用階調特性４０Ａに応用することにより、画像のシーンに応じたエッジ強調を施すことを可能とするものである。
【００４４】
これに対して、補正用階調変換部４２は、画像として適切な階調特性となるように階調の補正を行うものである。
【００４５】
一般的な階調変換特性を説明した際に、γ値は、最終的に画像をモニタで観察することを想定し、モニタの特性に応じて決定されていることを説明した。しかし、上述の如く、エッジ強調用階調変換部４０では、エッジ強調の度合を変化させるために、最終的なモニタの出力特性にあわせたγ値とは異なる値が設定されることになる。そこで、補正用階調変換部４２は、エッジ強調用階調変換部４０の処理によってモニタ特性からのずれを生じている階調特性を、モニタ特性に合うよう補正するのである。
【００４６】
従って、補正用階調特性４２Ａは、エッジ強調用階調特性４０Ａと、最終画像のモニタ出力特性とから一義的に求められるものである。
【００４７】
再び、図３を参照する。階調特性制御部４３は、後述するシーン判定部４４の判定結果に基づいてエッジ用階調変換部４０で使用する変換特性の選択、および、変換特性の切り換え制御を行う。
【００４８】
記録画像生成部３７は、記録用の圧縮画像を生成し、画像情報を付加してメモリカード２０に画像を記録する。
【００４９】
｛２．シーン判定および階調特性の制御｝
次に、シーン判定部４４におけるシーン判定処理、および、階調特性制御部４３における制御処理について説明する。
【００５０】
シーン判定部４４は、撮影モード情報、距離情報（被写体倍率）、輝度分布情報、光源検知情報、輪郭検出情報などから画像のシーンを判定し、その結果を階調特性制御部４３に出力する。
【００５１】
このうち、まず、撮影モード情報からの判定方法について説明する。撮影モード情報からの判定は、前述した設定キー１６を用いたオペレータ操作によって明示的に撮影モードが選択された場合に、その情報を基準とするものである。
【００５２】
図７は、シーンの種別の一例を示す。本実施の形態にかかるデジタルカメラ１においては、「ポートレート」、「風景」、「夜景」、「スローシンクロ」、「マクロ」、「文字モード」といった６つのシーン（撮影モード）が選択可能である。
【００５３】
オペレータが設定キー１６を用いた所定の操作を行うことにより、液晶モニタ１９には６つのシーンが選択可能に表示される。そして、設定キー１６を用いた所定の操作を行うことにより、オペレータは１のシーンを選択するのである。
【００５４】
このようにシーン判定部４４は、オペレータによって明示的に撮影モードが設定されることにより、シーンを判定することが可能である。さらに、本実施の形態においては、シーン判定部４４は、被写体までの距離情報（被写体倍率）、輝度分布情報、光源検知情報、輪郭検出情報、人物検出情報（これらを総称して図３中、各種情報３８として図示）などから画像のシーンを判定することが可能である。
【００５５】
被写体倍率を基にシーンを判定する方法では、シーン判定部４４は、デジタルカメラ１の撮影部から、フォーカスのあたっている主被写体の撮影倍率の情報を取得し、この情報をもとにシーン判定を行う。そして、たとえば、主被写体倍率が大きい、つまり、被写体までの距離が近い場合には、その距離に応じて「マクロ」モードや「ポートレート」モードと判定し、被写体倍率が小さい場合には、「風景」モードと判定するのである。
【００５６】
別の方法として、画像の輪郭（エッジ）検出情報とエッジの重心検出情報から主被写体の存在する領域を検出する。そして、主被写体領域と背景領域との占有比率を求め、主被写体の占有比率が高い場合には「マクロ」モード、低い場合は「風景」モード、それ以外は「ポートレート」モードと判定するようにしてもよい。このように、シーン判定部４４は、各種情報３８を用いた画像解析を行うことにより、シーン（モード）を判定する機能を兼ね備えているのである。
【００５７】
そして、階調特性制御部４３は、シーン判定部４４のシーン判定結果に基づいて、エッジ用階調変換部４０の変換特性を選択する。つまり、図７に示すように各シーン（撮影モード）に対しては、異なる度合のエッジ強調を行うことが最適とされており、この予定されたエッジ強調度合に応じて、エッジ強調用階調特性４０Ａを選択するのである。なお、エッジ強調用階調特性４０Ａを選択することにより、補正用階調特性４２Ａは一意に決定される。
【００５８】
本実施の形態においては、「ポートレート」の撮影モードにおいては、低輝度部、中輝度部、高輝度部すべての濃度範囲において「弱」のエッジ強調を施し、「夜景」、「スローシンクロ」の２つの撮影モードに対しては、低輝度部において「弱」のエッジ強調を施し、中、高輝度部において「強」のエッジ強調を施す。また、「風景」、「マクロ」、「文字モード」の３つの撮影モードに対しては、すべての濃度範囲において「強」のエッジ強調を施すようにしている。このような各シーンとエッジ強調度合を対応づけた理由を以下に説明する。
【００５９】
「ポートレート」モードは、人物を被写体とした撮影モードであり、一般に人物の肌は滑らかにソフトに仕上がるのが好まれる。
【００６０】
「風景」モードは、遠方の風景を撮影する撮影モードであり、被写体が微細であるので、鮮明度が落ちたように見える。よって、よりコントラストを強調する方が好まれる。
【００６１】
「夜景」モードは、夜景、または、夜景を背景にした人物を撮影するモードであり、暗い部分が多くなるので低輝度部でノイズ除去が必要である。
【００６２】
「スローシンクロ」モードは、スローシャッターでのフラッシュ撮影モードであり、露光時間を長くするとノイズが増加するので低輝度部でノイズ除去が必要である。
【００６３】
「マクロ」モードは、被写体を接写するモードであり、被写体を鮮明にするのが好まれる。
【００６４】
「文字」モードは、雑誌、書籍などの文字を被写体とした撮影モードであり、文字をくっきりと見せることが好まれる。
【００６５】
そして、階調特性制御部４３は、上記のような撮影モード（シーン）とエッジ強調度合の関係を満たすべく、最適なエッジ強調用階調特性４０Ａを選択するのである。本実施の形態においては、図８に示すように、エッジ強調用階調変換部４０で切り換えて用いられる３つの階調特性４０Ａ（４０Ａ１〜４０Ａ３）が用意されている。
【００６６】
図８（ａ）に示すエッジ強調用階調特性４０Ａ１は、低輝度部Ｌ、中輝度部Ｍ、高輝度部Ｈの全範囲においてγ値が一定である。従って、すべての輝度範囲において、エッジ強調が強く施されることはなく、図７の表で示すように、「ポートレート」モードにおいて利用される。
【００６７】
図８（ｂ）に示すエッジ強調用階調特性４０Ａ２は、低輝度部Ｌでは入力信号レベル６１においてγ値が変化し、中輝度部Ｍでは入力信号レベル６２においてγ値が変化し、高輝度部Ｈでは入力信号レベル６３においてγ値が変化している。つまり、低、中、高輝度のすべての濃度範囲において強いエッジ強調を施すようにしているのである。よって、図７の表で示すように、「風景」、「マクロ」、「文字」モードにおいて利用される。
【００６８】
図８（ｃ）に示すエッジ強調用階調特性４０Ａ３は、中輝度部Ｍでは入力信号レベル６４においてγ値が変化し、高輝度部Ｈでは入力信号レベル６５においてγ値が変化している。つまり、低輝度部では弱めのエッジ強調を施し、中、高輝度部では強めのエッジ強調を施すようにしているのである。よって、図７の表で示すうに、「夜景」、「スローシンクロ」モードにおいて利用される。
【００６９】
このように、エッジ強調用変換部４０は、３つの変換特性４０Ａを切り換え可能に保有しており、階調特性制御部４３は、シーン判定部４４の判定結果に基づいて、階調特性４０Ａを選択、切り換え制御するのである。
【００７０】
｛３．処理フロー｝
以上の如く構成されたデジタルカメラ１における階調変換およびエッジ強調処理を含む画像処理フローについて図９を用いて説明する。
【００７１】
ステップＳ１において、ＣＣＤ素子１４から出力された画像信号がＡ／Ｄ変換部３１等を経ながら転送される（なお、フローチャート中、ステップＳ１において、「データ読み出し」と表現しているのは、後述するが、画像処理装置としてコンピュータを用いた場合を考慮したものである）。
【００７２】
転送された画像信号は、ＷＢ補正部３３においてＷＢ補正が行われ（ステップＳ２）、さらに、画素補間部３４において欠落画素の補間処理が行われる（ステップＳ３）。
【００７３】
次に、階調特性制御部４３において、階調特性の選択が行われる（ステップＳ４）。この決定は、前述の如く、オペレータ操作によって明示的に撮影モードが選択される場合には、選択された撮影モードに基づいて行われる。もしくは、輝度分布情報などをもとに自動判定される。
【００７４】
そして、階調特性制御部４３において選択された変換特性を用いてエッジ強調用階調変換部４０において階調変換が行われる（ステップＳ５）。次に、エッジ強調部４１によってエッジ強調処理が行われる（ステップＳ６）。この際、エッジ強調用階調変換部４０において、シーン判定結果に基づいた階調変換が行われているので、エッジ強調部４１においては、シーン（撮影モード）に応じたエッジ強調が施されることになる。
【００７５】
そして、階調特性制御部４３は、ステップＳ５で用いたエッジ強調用階調変換部４０の変換特性と、最終的な画像特性とから補正用階調変換部４２における変換特性を選択し（ステップＳ７）、選択された変換特性を用いて補正用階調変換処理が行われる（ステップＳ８）。このようにして、シーンに応じたエッジ強調処理が施されるとともに、モニタ出力特性に適した最終画像が出力されるのである。
【００７６】
出力された画像データは、記録画像生成部３７において圧縮処理が行われ（ステップＳ９）、メモリカード２０に書き込まれる（ステップＳ１０）。
【００７７】
｛４．計算による処理の比較｝
次に、濃度範囲によってγ値が変化するエッジ強調用階調特性４０Ａを用いることで、エッジの強調度合が変化する様子を、サンプルデータを用いた実際の計算により説明する。
【００７８】
ここでは、簡単のため１次元のエッジ形状についてエッジ強調処理を行う。画像データは８bit（0〜255）の輝度値で表され、エッジ強調用階調変換部４０の階調特性４０Ａは、図１０に示すように、入力画像データieの輝度レベル100を境界としてγ値（γe）が変化している。具体的には、ie＜100においてγe＝0.7であり、ie≧100においてγe＝0.3としている。また、エッジ強調は図１１に示すような空間フィルタをかけることで行う（ここでは、コアリングは行わないものとする）。
【００７９】
また、最終画像の階調特性として図１２に示す特性を用いる。最終画像の階調特性は、入力レベルに関わらずγ値（γs）が一定であり、γs＝0.45で表される。
【００８０】
＜４−１．比較計算に用いる計算式の定義＞
次に、必要な式について定義する。エッジ強調用階調変換部４０における階調特性４０Ａは、入力データieに対して出力データoeとすると、数１式で示されるような関係となる。
【００８１】
【数１】
0003543774.tif 000002
【００８２】
数１式におけるGeは、入力データieの最大値、出力データoeの最大値から定まる定数である。
【００８３】
また、最終画像の階調特性において入力データisに対して出力データosとすると、数２式で示されるような関係となる。
【００８４】
【数２】
0003543774.tif 000003
【００８５】
数２式におけるGsは、入力データisの最大値、出力データosの最大値から定まる定数である。
【００８６】
そして、補正用階調変換部４２の入力データihに対して出力データohとすると、γe，γsを用いて補正用階調変換部４２の変換特性は数３式のように表すことができる。
【００８７】
【数３】
0003543774.tif 000004
【００８８】
数３式におけるGhは入力データihの最大値、出力データohの最大値から定まる定数である。
【００８９】
以上の如く定義された各階調変換特性を用いて具体的な例を用いてエッジ強調処理計算を行う。
【００９０】
図１０におけるエッジ強調用階調特性は、入力データieが、100＜ie≦255（γ＝0.3の区間）である場合には、数１式に必要な値を代入することにより、数４式のように表される。
【００９１】
【数４】
0003543774.tif 000005
【００９２】
また、入力データieが、0≦ie≦100（γ＝0.7の区間）である場合には、数１式に必要な値を代入することにより、数５式のように表される。ここで、γ＝0.7の区間と、γ＝0.3の区間とを連続させるために入力データ100のときに出力データが192.7（＝48.4×1000.3）となるようにGeを定める必要がある。つまり、192.7＝Ge×1000.7よりGeを求めている。
【００９３】
【数５】
0003543774.tif 000006
【００９４】
次に、エッジ強調用階調特性と最終画像の階調特性から補正用階調特性を計算する。最終画像の階調特性をγ＝0.45とするためには、補正用階調特性γhは、入力データihが0≦ih≦192.7のとき、数６式で表される必要があり、入力データihが192.7＜ih≦255のとき、数７式で表される必要がある。
【００９５】
【数６】
0003543774.tif 000007
【００９６】
【数７】
0003543774.tif 000008
【００９７】
したがって、補正用階調特性における入力データihに対して、出力データをohとすると、入力データihが192.7＜ih≦255（γh＝1.5の区間）のとき、階調変換特性は数８式で表される。
【００９８】
【数８】
0003543774.tif 000009
【００９９】
また、入力データihが0≦ih≦192.7（γh＝0.64の区間）のとき、階調変換特性は、数９式で表されることになる。ここで、γh＝0.64の区間と、γ＝1.5の区間とを連続させるために入力データ192.7のときに出力データが160.5（＝0.06×192.71.5）となるようにGhを定める必要がある。つまり、160.5＝Gh×192.70.64よりGhを求めている。
【０１００】
【数９】
0003543774.tif 000010
【０１０１】
このように、本実施の形態においては、図１０で示されるエッジ用階調変換特性を用いることにより、補正用階調変換特性は、数８式および数９式に示されるものであり、これをグラフ化したものが図１３である。つまり、図１３は、補正用階調特性４２Ａを示している。
【０１０２】
以上の如く定義された計算式を用いて、次に、同じコントラストで輝度の異なる２つのサンプルデータにおけるエッジ強調処理の比較計算を行う。図１４は、第１のサンプルデータにおける処理経過を示す図であり、図１５は、第２のサンプルデータにおける処理経過を示す図である。第１のサンプルデータと第２のサンプルデータはコントラストは同じであるが、第１のサンプルデータの方が輝度が低くなっている。
【０１０３】
＜４−２．第１のサンプルデータを用いた計算結果＞
まず、第１のサンプルデータを用いてエッジ強調の計算を行う。図１４（ａ）は、処理前のエッジ形状であり、横軸に画素位置、縦軸にデジタル値（輝度値）をとったものである。各画素位置X1,X2,X3,X4,X5,X6におけるデジタル位置を、それぞれf(X1),f(X2),f(X3),f(X4),f(X5),f(X6)とする。また、初期状態（階調変換およびエッジ強調を施す前）のf(X1),f(X2),f(X3),f(X4),f(X5),f(X6)を、それぞれd1,d2,d3,d4,d5,d6とし、第１のサンプルデータは、d1＝d2＝d3＝40,d4＝d5＝d6＝60であるものとする。つまり、第１のサンプルデータは、エッジ強調用階調特性４０Ａにおいて、γ値が変化する輝度レベル100より全て低輝度である画素の集合である。
【０１０４】
まず、第１のサンプルデータに対して、エッジ強調用階調変換を行う。ここで、図１０に示すように、入力データのデジタル値が100より小さい場合には、γe＝0.7であり、数５式の階調特性を用いて計算する。これにより、f(X1)＝f(X2)＝f(X3)＝7.7×400.7＝101.8と計算され、f(X4)＝f(X5)＝f(X6)＝7.7×600.7＝135.3と計算される。このように計算されたf(X1),f(X2)・・・を再びプロットしたものが図１４（ｂ）である。
【０１０５】
次に、図１１で示した空間フィルタを用いてエッジ強調の計算を行う。この空間フィルタは、注目画素の画素値（輝度値）を３倍し、その両隣の画素の画素値を差し引くエッジ抽出用のフィルタである。したがって、たとえば、f(X2)について空間フィルタをかけると、処理後の輝度値は、−f(X1)＋3f(X2)−f(X3)で求められることになる。同様の処理を他の画素についても行うことにより、f(X2)=101.8、f(X3)=68.3、f(X4)=168.8、f(X5)=135.3と計算される。このように計算されたf(X2),f(X3)・・・を再びプロットしたものが図１４（ｃ）である。
【０１０６】
次に、補正用階調変換を行う。ここで、上記エッジ計算により求められた各画素値はすべて192.7よりも小さいので、補正用階調特性４２Ａは、数９式が用いられることになる。数９式に入力データihとして、上記エッジ計算により求められた各画素値を入力することにより、f(X2)＝106.0、f(X3)＝82.1、f(X4)＝146.5、f(X5)＝127.2と計算される。このように計算されたf(X2),f(X3)・・・を再びプロットしたものが図１４（ｄ）である。
【０１０７】
＜４−３．第２のサンプルデータを用いた計算結果＞
次に、第２のサンプルデータを用いてエッジ強調の計算を行う。図１５（ａ）は、処理前のエッジ形状であり、同様に、各画素位置X1,X2,X3,X4,X5,X6におけるデジタル値（輝度値）を、それぞれf(X1),f(X2),f(X3),f(X4),f(X5),f(X6)とする。また、第２のサンプルデータは、d1＝d2＝d3＝70,d4＝d5＝d6＝105であるものとする。つまり、第２のサンプルデータは、エッジ強調用階調特性４０Ａにおいてγ値が変化する濃度範囲（輝度レベル１００の前後でγ値が変化している）にエッジ成分が存在することになる。
【０１０８】
まず、第２のサンプルデータに対して、エッジ強調用階調変換を行う。ここで、図１０に示すように、入力データの輝度値が100である場合を境界にして、γeの値が変化しているので、d1,d2,d3に対しては、数５式の階調特性を用いて計算し、d4,d5,d6に対しては、数４式の階調特性を用いて計算することになる。これにより、f(X1)＝f(X2)＝f(X3)＝7.7×700.7＝150.7と計算され、f(X4)＝f(X5)＝f(X6)＝48.4×1050.3＝195.4と計算される。このように計算されたf(X1),f(X2)・・・を再びプロットしたものが図１５（ｂ）である。
【０１０９】
次に、図１１で示した空間フィルタを用いてエッジ強調の計算を行う。と第１のサンプルデータに対して行った計算と同様の計算を行うことにより、f(X2)=150.7、f(X3)=106.0、f(X4)=240.1、f(X5)=195.4と計算される。このように計算されたf(X2),f(X3)・・・を再びプロットしたものが図１５（ｃ）である。
【０１１０】
次に、補正用階調変換を行う。ここで、上記エッジ計算により求められた各画素値のうち、f(X2),f(X3)は192.7よりも小さいので、補正用階調変換特性は、数９式が用いられ、f(X4),f(X5)は192.7よりも大きいので、補正用階調変換特性は、数８式が用いられることになる。数９式、数８式に入力データihとして、上記エッジ計算により求められた各画素値を入力することにより、f(X2)＝136.3、f(X3)＝108.8、f(X4)＝223.2、f(X5)＝163.9と計算される。このように計算されたf(X2),f(X3)・・・を再びプロットしたものが図１５（ｄ）である。
【０１１１】
＜４−４．第１および第２のサンプルデータによる計算結果の比較＞
このように、第１のサンプルデータと、第２のサンプルデータに対して、エッジ強調用階調変換処理、エッジ強調処理、補正用階調変換処理を行った結果、図１４（ｄ）と図１５（ｄ）を比較するとわかるように、いずれの場合もエッジ強調が行なわれているが、エッジ強調の度合が異なる。
【０１１２】
つまり、エッジ立ち上がり部のコントラストを数１０式で示す計算式を用いて求めると、低輝度エッジのコントラストである第１のサンプルデータにおいてはＣｏ=0.28となり、高輝度エッジ（第１のサンプルデータに比して高輝度という意味である）のコントラストである第２のサンプルデータにおいては、Ｃｏ＝0.34となる。
【０１１３】
【数１０】
0003543774.tif 000011
【０１１４】
このように、コントラスト値Ｃｏを比較すると、第２のサンプルデータのコントラストの方が、第１のサンプルデータのコントラストよりも大きくなり、よりエッジが強調されていることがわかる。つまり、第２のサンプルデータにおけるエッジ成分は、エッジ強調用階調特性４０Ａにおいてγ値が変化する濃度範囲に存在しているため、よりエッジ形状が強調されるような階調変換がされているのである。なお、変化するγ値の値（組み合わせ）によっては異なる効果が生じる場合もあるため、目的に応じて適切なγ値を選択する必要がある。
【０１１５】
この計算比較例では、輝度レベル100を境界として、γ値が大（0.7）から小（0.3）へと変化するので、輝度レベル100を挟む前後の輝度値からなるエッジ成分（たとえば、第２のサンプルデータ）は、よりエッジ強調がされるようになっている。
【０１１６】
以上、＜４−２＞および＜４−３＞の計算比較は、１次元の信号（エッジ形状）を例とした計算処理である。これを上述した実施の形態におけるデジタルカメラ１の入力画像（２次元信号）に適用すれば、同様の効果が得られることとなる。
【０１１７】
つまり、入力画像（ＲＧＢデータ）に対して図８で示したエッジ強調用階調特性４０Ａ１〜４０Ａ３を利用した階調変換処理を行った後、エッジ強調処理を行う。
【０１１８】
そして、図１０の階調特性４０Ａに対して図１３で示す補正用階調特性４２Ａを求めたように、エッジ強調用階調特性４０Ａ１〜４０Ａ３に対応する補正用階調特性をそれぞれ求め、当該補正用階調特性を用いて補正階調変換処理を行うのである。これにより、図７で示した撮影モードとエッジ強調度合の関係を実現するような濃度範囲に応じたエッジ強調処理が実現するとともに、モニタ出力特性に適合した画像データが出力されるのである。
【０１１９】
｛５．変形例｝
上述した、実施の形態の中で、デジタルカメラ１が備える各処理部（ＷＢ補正部３３、画素補間部３４、エッジ強調調整部３６など）は、ハードウェアによる処理で実現されてもよいし、ソフトウェアによる処理で実現されてもよい。
【０１２０】
そして、各処理をソフトウェア処理により実現することで、本実施の形態にかかるデジタルカメラ１において実行したような処理を、一般のコンピュータにおいても実行させることが可能である。そして、このような処理を実行するプログラムを記録媒体として配布することが可能である。
【０１２１】
図１６は、コンピュータ７の概観図である。コンピュータ７は、たとえば、パーソナルコンピュータであり、フロッピディスクやＣＤ−ＲＯＭ等の記録媒体７１を読み込むことが可能である。
【０１２２】
そして、記録媒体７１に本実施の形態にかかるデジタルカメラ１と同様の画像処理を実行可能なプログラム８を記録しておくことにより、コンピュータ７は、プログラム８をハードディスクにインストールすることにより実行することが可能である。もしくは、記録媒体７１に記録されたプログラム８を直接実行するようにしてもよい。
【０１２３】
コンピュータ７において実行されるプログラム８の処理フローは、図９で示したデジタルカメラ１における処理フローと略同様である。デジタルカメラ１における処理と異なる処理のみ説明すると、まず、ステップＳ１において、コンピュータ１は、記憶装置（ハードディスク等）の所定のディレクトリからＲＧＢデータを読み出すという処理である。また、すべての画像処理が終了した後、ステップＳ１０において、再び、ハードディスク等の記憶装置に、処理後の画像データを書き込む処理が行われる。その他の処理はデジタルカメラ１において処理されるステップＳ２〜Ｓ９と同様である。また、ステップＳ３において画素補間処理が行われるのは、コンピュータ１で処理する対象ＲＧＢデータが、ベイヤ配列のＣＣＤ素子から出力されるデータである場合を想定したものである。したがって、処理対象となるＲＧＢデータに欠落画素がない場合には、ステップＳ３の処理は不要である。
【０１２４】
【発明の効果】
以上説明したように、請求項１の発明では、エッジ強調処理の前後において、階調変換処理を行うので、エッジ強調処理に影響を与える階調変換と、最終画像の出力に影響を与える階調変換とで、別の階調特性を利用することが可能である。また、第１の階調変換手段は、それぞれγ値が変化する濃度範囲が異なる複数の変換特性を有するので、処理対象画像の内容に応じて、エッジ強調を強くする濃度範囲を調整することが可能である。
【０１２６】
請求項２の発明では、第１の階調変換手段は、濃度範囲別のγ値を有するので、γ値が変化する濃度範囲において、コントラストに変化を与えることが可能である。
【０１２９】
請求項３の発明では、シーン判定手段の判定結果に基づいて、変換特性を選択する手段を備えるので、処理対象画像の内容に応じた階調変換を自動化させることが可能である。
【０１３０】
請求項４の発明では、処理対象画像の入力モードを基に、シーンを判定するので、処理対象画像の入力オペレータの意図に応じたエッジ強調処理を行うことが可能である。
【０１３１】
請求項５の発明では、処理対象画像のシーンを予測する手段を備えるので、入力モードが設定されていない場合等においても、シーンの判定を自動化させることが可能である。
【０１３２】
請求項６の発明では、画像処理装置をデジタルカメラとすることにより、撮影した画像に対して、最適なエッジ強調処理と、モニタ特性に適合した階調変換を施すことが可能である。
【０１３３】
請求項７の発明では、γ値の変化する濃度範囲が異なる複数の変換特性を切り換えて使用して階調変換を行う第１の階調変換工程と、エッジ強調工程と、切り換えられた前記第１の階調変換工程の変換特性に基づいて決定される変換特性を使用して階調変換を行う第２の階調変換工程とからなる画像処理方法であり、このような方法をデジタルカメラや、パーソナルコンピュータ等において実行することにより、処理対象画像に対して、濃度範囲に応じたエッジ強調処理を施すことが可能である。
【０１３４】
請求項８の発明は、請求項７に記載の画像処理方法を実行させるためのプログラムを記録した記録媒体であり、コンピュータは、この記録媒体を読み込むことにより、請求項７に記載の画像処理方法が実行可能である。
【図面の簡単な説明】
【図１】本実施の形態にかかるデジタルカメラの概観斜視図である。
【図２】デジタルカメラの背面図である。
【図３】デジタルカメラの内部ブロック構成図である。
【図４】エッジ強調部の処理ブロック図である。
【図５】コアリング部およびゲイン調整部により制御される出力レベルを示す図である。
【図６】低輝度部、中輝度部、高輝度部においてそれぞれγ値が変化する階調変換特性を示す図である。
【図７】デジタルカメラが有する撮影モードと、エッジ強調の度合と、階調特性の関係を示す図である。
【図８】本実施の形態における３種類の階調変換特性を示す図であり、（ａ）はγ値が一定、（ｂ）は低、中、高輝度部においてγ値が変化し、（ｃ）は中、高輝度部においてγ値が変化する階調変換特性を示す図である。
【図９】本実施の形態におけるエッジ強調調整処理のフローチャートである。
【図１０】比較計算処理において用いる階調変換特性の一例を示す図である。
【図１１】エッジ強調部における空間フィルタを示す図である。
【図１２】最終画像の階調変換特性を示す図である。
【図１３】補正用の階調変換特性の一例を示す図である。
【図１４】第１のサンプルデータを用いたエッジ計算の経過を示す図である。
【図１５】第２のサンプルデータを用いたエッジ計算の経過を示す図である。
【図１６】コンピュータの概観図である。
【符号の説明】
１      デジタルカメラ
７      コンピュータ
３４    画素補間部
３６    エッジ強調調整部
４０    エッジ強調用階調変換部
４０Ａ  エッジ強調用階調特性
４１    エッジ強調部
４２    補正用階調変換部
４２Ａ  補正用階調特性
４３    階調特性制御部
【図１】
0003543774.tif 000012
【図２】
0003543774.tif 000013
【図３】
0003543774.tif 000014
【図４】
0003543774.tif 000015
【図５】
0003543774.tif 000016
【図６】
0003543774.tif 000017
【図７】
0003543774.tif 000018
【図８】
0003543774.tif 000019
【図９】
0003543774.tif 000020
【図１０】
0003543774.tif 000021
【図１１】
0003543774.tif 000022
【図１２】
0003543774.tif 000023
【図１３】
0003543774.tif 000024
【図１４】
0003543774.tif 000025
【図１５】
0003543774.tif 000026
【図１６】
0003543774.tif 000027