(57)【要約】【課題】金属光沢のようなハイライト光を含む物体の質感を、よりリアルに再現する。【解決手段】画像中のある領域を少なくとも１つ以上指定し、前記指定された領域中の各画素のハイライト値と、前記指定された領域のいずれにも属さない領域中の各画素のハイライト値をそれぞれ求め、前記各ハイライト値から、前記各指定された領域に適用すべき階調変更特性を決定し、前記決定された階調変更特性により前記各領域の画素値を変換することを特徴とする画像処理方法及び該方法を実行するプログラムを提供することにより前記課題を解決する。【選択図】図１
2005010902.tif 000002
【特許請求の範囲】
【請求項１】
画像中のある領域を少なくとも１つ以上指定し、
前記指定された領域中の各画素のハイライト値と、前記指定された領域のいずれにも属さない領域中の各画素のハイライト値をそれぞれ求め、
前記各ハイライト値から、前記各指定された領域に適用すべき階調変更特性を決定し、
前記決定された階調変更特性により前記各領域の画素値を変換することを特徴とする画像処理方法。
【請求項２】
前記指定される画像中のある領域は、画像中の質感を強調したい領域である請求項１に記載の画像処理方法。
【請求項３】
前記各領域の画素と、前記指定された領域の距離を求め、
前記求めた距離に応じて、前記各指定された領域に適用すべき階調変更特性を決定し、
前記決定された階調変更特性により各領域の画素値を変換する請求項１または２に記載の画像処理方法。
【請求項４】
前記指定された領域と、前記指定された領域のいずれにも属さない領域の少なくとも一方の領域に像構造変更処理を適用する請求項１〜３のいずれかに記載の画像処理方法。
【請求項５】
前記像構造変更処理がシャープネス変更処理である請求項４に記載の画像処理方法。
【請求項６】
請求項１〜５のいずれかに記載の画像処理方法を実行することを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法に係り、特に、金属光沢のようなハイライト光を含む画像として表示された物体の質感を強調する画像処理方法に関する。
【０００２】
【従来の技術】
今日、光学機器および画像処理技術の進歩により、被写体をカメラで撮影し、あるいは被写体をスキャナで読み取って、高画質の画像を得ることができるようになってきたが、被写体の光沢感や被写体の表面の細かな凹凸等の質感を再現することは難しく、被写体の質感をよりリアルに再現することが望まれている。
【０００３】
例えば、光を拡散反射する物体に均一照明を当てた被写体をモニタ上に再現する場合には、反射率０％の物体をモニタ上の黒に割り当て、反射率１００％の物体をモニタ上の最大発光量に割り当てれば、良好な再現が得られることが知られている。
しかし、金属等のように照明光を正反射的に反射するような物体については、見かけ上１００％以上の反射率を持つことに相当するため、金属等の物体を上記のような方法でモニタに表現した場合には、正反射部がつぶれて再現され、違和感を生じるという問題がある。
【０００４】
これを回避するために、従来は、反射率が１００％に相当する画像信号をモニタの最大強度に割り当てるのではなく、より高い反射率（２００％や３００％等）に相当する信号値をモニタの最大信号値に割り当てるのが一般的である。
また、従来このような被写体反射率をモニタ信号に変換する手法は、ＲＧＢそれぞれのチャンネルの被写体反射率をモニタの入力信号値に割り当てる１ＤＬＵＴ（１次元ルックアップテーブル）によって行われており、通常は、画像中の全画素について同一の１ＤＬＵＴが用いられていた。
【０００５】
また従来、被写体の質感を表現する方法として、コンピュータグラフィックス（ＣＧ）による処理や、写真撮影された画像を加工するレタッチ処理等を行う各種の画像処理ソフトが知られている。
例えば、アドビ（Ａｄｏｂｅ）社の画像処理ソフトであるフォトショップ（Ｐｈｏｔｏｓｈｏｐ）では、画像の特定の選択領域に対して、明度、彩度、シャープ度を変更させることが可能であり、見かけ上の質感を向上させることができる。
【０００６】
また、被写体を撮影した画像情報と被写体の奥行き情報を含む３次元情報を入力し、画像中の特定領域を抽出して画像を領域分割し、質感を強調すべき領域のエッジを強調し、質感を自動的に強調したり、画像の３次元的な全体の構図から照明光源の位置あるいは被写体の反射率を変えて被写体の周辺の陰影や光沢を自動的に付与することにより、質感を自動的に強調するようにした画像質感強調技術が提案されている（例えば、特許文献１等参照）。
【０００７】
【特許文献１】
特開２００２−３２９１９８号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、前記従来のように、画像中の全画素について同一の１ＤＬＵＴを用いるようにしていては、画像中の特定の再現対象物については、ハイライト再現能力が十分でない場合があり、元の物体の質感をリアルに再現することができないという問題があった。
また、アドビ社のフォトショップでは、画像の特定の質感を強調しようという場合には、ユーザが予め特定領域をマウス等により抽出しておく必要があり、さらに、特定領域の明度等をどのように変更すればよいかは、試行錯誤しなければならず、意図したように質感を強調するためには、ユーザにとって多くの経験と工数が必要とされるという問題がある。
また、上記特許文献１に記載されたものは、領域抽出および質感強調を自動的に行うとしているが、その具体的な方法は明らかではなく、また処理を完全に自動で行おうとすると、それに必要な情報（被写体に関する３次元情報や照明光源の位置に関する情報等）を取得するために装置構成が複雑となり、処理に要する時間も増大するという問題がある。
【０００９】
本発明は、前記従来の問題に鑑みてなされたものであり、画像として表示された物体の質感を強調する画像処理方法であって、特に、金属光沢のようなハイライト光を含む物体の質感を、よりリアルに再現することのできる画像処理方法を提供することを課題とする。
【００１０】
【課題を解決するための手段】
前記課題を解決するために、本発明の第１の態様は、画像中のある領域を少なくとも１つ以上指定し、前記指定された領域中の各画素のハイライト値と、前記指定された領域のいずれにも属さない領域中の各画素のハイライト値をそれぞれ求め、前記各ハイライト値から、前記各指定された領域に適用すべき階調変更特性を決定し、前記決定された階調変更特性により前記各領域の画素値を変換することを特徴とする画像処理方法を提供する。
【００１１】
また、前記指定される画像中のある領域は、画像中の質感を強調したい領域であることが好ましい。
【００１２】
また、前記各領域の画素と、前記指定された領域の距離を求め、前記求めた距離に応じて、前記各指定された領域に適用すべき階調変更特性を決定し、前記決定された階調変更特性により各領域の画素値を変換するようにしたことが好ましい。
【００１３】
また、前記指定された領域と、前記指定された領域のいずれにも属さない領域の少なくとも一方の領域に像構造変更処理を適用することが好ましい。
【００１４】
また、前記像構造変更処理がシャープネス変更処理であることが好ましい。
【００１５】
また同様に、前記課題を解決するために、本発明の第２の態様は、前記画像処理方法を実行することを特徴とするプログラムを提供する。
【００１６】
【発明の実施の形態】
以下、本発明の画像処理方法について、添付の図面に示される好適実施形態を基に詳細に説明する。
【００１７】
本発明は、画像のある特質について、それを強調したい場合に、その特質を強調したい領域（着目領域、注目領域）を指定すると、その着目領域についてその特質を強調するような画像処理を行うものであるが、本実施形態は、特に、画像中のある領域について、その質感を強調し、その画像に表現されている元の物体の質感をリアルに再現した再現画像を得る画像処理を行うものである。
【００１８】
図１に、本実施形態に係る画像の質感を強調する画像処理方法の処理の流れをフローチャートで示す。
まず、図１のステップ１００において、ユーザ（オペレータ）は、画像中の質感を強調したい領域を指定する。領域を指定する方法は、特に限定はされず、いろいろな方法で指定することが可能である。例えば、画像をパソコンのモニタ上に表示しておいて、マウス等により画像中の１点をクリックすると、その点（画素）を中心として、その画素と色の差が所定設定値以下となるような画素を選択することによって領域が選択されるという方法が例示される。
【００１９】
図２に、本実施形態で画像の質感を強調しようとする画像の例を示す。
図２に示す画像１０は、例えば被写体としてガラスビン１２、銀製の皿１８を撮影したものであり、ガラスビン１２は照明光の正反射により光る部分（ハイライト部）１４を有し、同様に銀製の皿１８も照明光の正反射により光る部分（ハイライト部）２０を有している。
このとき、被写体であるガラスビン１２、銀製の皿１８の質感を強調しようとする場合には、モニタ上にこの画像１０を表示して、例えばマウス等により、ガラスビン１２内の１点及び銀製の皿１８内の１点（それぞれ光っていない部分の点）をクリックしてガラスビン１２及び銀製の皿１８の領域を指定する。
【００２０】
次にステップ１１０において、指定された領域内の全画素中におけるハイライト値を与える画素値Ｍｉを各ｉ＝Ｒ、Ｇ、Ｂについて求める。この画素値Ｍｉは、その領域中の他の画素よりも大きな画素値を有するもので、ここではハイライト値と呼んでおり、最大画素信号と同様のものであるが必ずしも１点とは限らず、ここでは信号のノイズを考慮して累積ヒストグラムが９８％に達した画素値を最大画素信号値として抜き取ってハイライト値とした。
ガラスビン１２の領域、及び銀製の皿１８の領域それぞれについてハイライト値Ｍｉを求める。この場合ハイライト値は、それぞれ光っている部分１４及び２０内の画素値である。
【００２１】
次にステップ１２０において、指定されていない領域（非指定領域）におけるハイライト値（最大画素信号値）Ｍｉ’を求める。これも同様に各ｉ＝Ｒ、Ｇ、Ｂについて求める。
画像１０の場合でいうと、ガラスビン１２の領域及び銀製の皿１８の領域のいずれにも属さない点の領域（すなわち、ガラスビン１２及び銀製の皿１８の領域の外側の領域）におけるハイライト値を求めることになる。
【００２２】
次にステップ１３０において、各指定領域におけるハイライト値Ｍｉと、非指定領域におけるハイライト値Ｍｉ’との差Ｄｉを次の式（１）で算出する。
Ｄｉ＝Ｍｉ−Ｍｉ’            ・・・（１）
この差Ｄｉも各ｉ＝Ｒ、Ｇ、Ｂについて算出する。
【００２３】
次にステップ１４０において、この差Ｄｉ（ｉ＝Ｒ、Ｇ、Ｂ）から、信号変換倍率Ｕｉ、Ｖｉを算出する。
これは、予め与えられた、質感をどの程度強調するかを表す質感強調係数Ｓを用いて次のように算出される。
すなわち、差Ｄｉがこの質感強調係数Ｓを超えない場合（Ｄｉ≦Ｓ）には、次の式（２）及び式（３）によりＵｉ、Ｖｉを算出する。
Ｕｉ＝ｍｉｎ  ｛２５５，（Ｓ−Ｄｉ）／２＋Ｍｉ｝／Ｍｉ    ・・・（２）
Ｖｉ＝（Ｕｉ＊Ｍｉ−Ｓ）／Ｍｉ’                      ・・・（３）
なお、記号ｍｉｎ  ｛Ａ，Ｂ｝は、ＡとＢの小さい方を採用することを意味する。また、差Ｄｉが質感強調係数Ｓより大の場合（Ｄｉ＞Ｓ）には、次の式（４）及び式（５）のようにそれぞれ１．０とする。
Ｕｉ＝１．０            ・・・（４）
Ｖｉ＝１．０            ・・・（５）
【００２４】
次にステップ１５０において、いま求めた各Ｕｉの中で出来るだけ値が大きいものを選択し、それをＵ０  とする。また、このＵ０  （Ｕｉ）に式（３）によって対応するＶｉの値をＶ０  とする。
以下、Ｒ、Ｇ、Ｂの変換にはすべてこのＵ０  、Ｖ０  の値を使用する。
【００２５】
次にステップ１６０において、変換対象となる画像中の画素に対して乗算して画素値を変換する画素変換倍率Ｋを算出する。
なお、基本的に画像中のすべての画素が対象となる。すなわち、指定領域及び非指定領域両方合わせた各領域における各画素が変換対象となる。また、画素変換倍率Ｋが１の場合には、乗算しても変わらない。
【００２６】
まず、画像中のある画素と指定領域との距離Ｌを求める。すなわち、ある画素と、指定領域の境界線上の最も距離の近い画素までの距離Ｌを求める。これは、ある画素と指定領域の各画素との距離の最小値である。
特に、ある画素が指定領域内の画素の場合には、この距離Ｌは０とする。
例えば図２の場合、指定領域外の画素Ｐと、指定領域（ガラスビン１２）までの距離は図に表すようにＬとなる。
【００２７】
また、指定領域の周囲には、後述するように質感を強調した場合に、指定領域の境界部分で階調に不自然な変動が起こるのを防ぐために緩衝領域が設けられる。例えば、図２に示すように、ガラスビン１２の領域の周囲にはガラスビン１２の境界線に沿って所定幅の緩衝領域１６が設定されており、また、銀製の皿１８の周囲にも同様の緩衝領域２２が設けられている。
【００２８】
このように緩衝領域は、指定領域とそれ以外の領域との間で連続的に処理結果がつながるように設けられたものであり、この緩衝領域の長さ（幅）をＬ０  とする。
そして、画素変換倍率Ｋを次の式（６）により算出する。
Ｋ＝（Ｕ０  −Ｖ０  ）＊（Ｌ０  −Ｌ）／Ｌ０    ＋  Ｖ０        ・・・（６）
ここで、図２に示した場合のように画素Ｐが緩衝領域よりも外にある場合には、Ｌ＞Ｌ０  であるためＬ０  −Ｌ＜０となる。このとき式（６）からわかるようにＫ＜Ｖ０  となる。このような場合には、Ｋ＝Ｖ０  とする。
【００２９】
なお、所定の係数ａを用いて、画素変換倍率Ｋを次の式（７）のようにして算出するようにしてもよい。
Ｋ＝（Ｕ０  −Ｖ０  ）＊｛（Ｌ０  −Ｌ）／Ｌ０  ｝ａ    ＋  Ｖ０    ・・・（７）
ここで、ａ＝１とすれば、式（６）と同じになる。
【００３０】
質感を強調したい領域が複数ある場合（例えば図２のガラスビン１２の領域及び銀製の皿１８の領域のように）には、指定領域の数だけ以上のステップ１００〜ステップ１６０の操作を行う。
すなわち、ステップ１７０において、すべての質感を強調したい指定領域について処理が終わったか否か判断し、まだ終わっていない場合にはステップ１００へもどり以上の操作を繰り返し、すべての指定領域について処理が終わった場合には次のステップ１８０に進む。
このようにすることで、各画素について指定領域の数と同数の画素変換倍率Ｋが求められるが、指定領域内の画素については複数の画素変換倍率Ｋのうちの最大のものを採用し、非指定領域の画素については最小のものを選択する。
【００３１】
次にステップ１８０において、いま算出した画素変換倍率Ｋを、変換対象の各画素のＲＧＢ信号値に乗算して出力信号値を算出する。これをすべての画素について実行することにより変換画像を得ることができる。
最後に、ステップ１９０において、指定領域以外の領域（非指定領域）に対し、像構造変更処理として、一般的なぼかしフィルタを適用することにより、シャープネスを変更して、より一層指定領域について質感が強調されるようにする。
なお、ここで非指定領域に対して行う像構造変更処理としては、シャープネス変更処理の他に粒状処理が考えられる。
【００３２】
以上の操作、特に質感強調係数Ｓ及び画素変換倍率Ｋの意味について、図２の画像の例を用いてより具体的に説明する。
まず、変換対象のある画素が指定領域（例えば、ガラスビン１２の領域）内の画素とする。指定領域内の場合、上記距離Ｌは０であるため、式（６）の画素変換倍率Ｋは次のようになる。
2005010902.tif 000003
【００３３】
すなわち、この場合画素変換倍率Ｋは、最大信号変更倍率Ｕ０  となる。Ｕ０  は、式（２）により算出されたＵｉのうち最大のものであり、結局次のように表される。
Ｕ０  ＝ｍｉｎ  ｛２５５，（Ｓ−Ｄｉ）／２  ＋  Ｍｉ｝／Ｍｉ
いま、（Ｓ−Ｄｉ）／２  ＋  Ｍｉは、２５５より小さいとするとＵ０  は、
Ｕ０  ＝｛（Ｓ−Ｄｉ）／２  ＋  Ｍｉ｝／Ｍｉ
となる。また、ある画素がハイライト値Ｍｉであったとすると、このときの出力信号値は、画素値Ｍｉに画素変換倍率Ｋを乗算したものであるから、次のようになる。
2005010902.tif 000004
【００３４】
次に変換対象のある画素が図２に示す画素（点）Ｐのように、非指定領域の画素であるとする。特に、図２に示すように、ある画素Ｐが指定領域（ガラスビン１２の領域）の緩衝領域１６よりも外にある場合には、Ｌ＞Ｌ０  となるため、前述したように、Ｋ＝Ｖ０  となる。
また、Ｖ０  は、式（３）
Ｖ０  ＝（Ｕ０  ＊Ｍｉ−Ｓ）／Ｍｉ’
によって算出される。
また、画素Ｐは、非指定領域におけるハイライト値Ｍｉ’であるとすると、このときの出力信号値は、次のようになる。
2005010902.tif 000005
ここで、Ｕ０  ＝｛（Ｓ−Ｄｉ）／２  ＋  Ｍｉ｝／Ｍｉであるから、上記出力信号値は、（Ｓ−Ｄｉ）／２  ＋  Ｍｉ−Ｓとなり、さらにＭｉ＝Ｍｉ’＋Ｄｉであるから、出力信号値は、（Ｓ−Ｄｉ）／２  ＋Ｍｉ’＋Ｄｉ−Ｓとなり、これを整理すると、最終的にこのときの出力信号値は、Ｍｉ’−（Ｓ−Ｄｉ）／２となる。
【００３５】
図３は、この画素変換を模式的に表したものである。すなわち、０〜２５５の画素信号値中に白丸（○）で、指定領域のハイライト値Ｍｉ及び非指定領域のハイライト値Ｍｉ’が表されている。このとき、ＭｉとＭｉ’との差はＤｉであり、これよりも質感強調係数Ｓの方が大きいとする。Ｍｉの画素変換後の出力信号値は、（Ｓ−Ｄｉ）／２  ＋  Ｍｉであり、またＭｉ’の画素変換後の出力信号値はＵｉ＊Ｍｉ−Ｓであり、ともに黒丸（●）で表されている。
つまり、Ｍｉは、（Ｓ−Ｄｉ）／２だけ値が増加して上にあがり、Ｍｉ’は、（Ｓ−Ｄｉ）／２だけ減少して下にさがっている。そして、差ＤｉがＳまで広がっており、それだけ質感が強調されたことになる。このようにＳは質感を強調する程度を表している。質感強調係数Ｓは、ユーザ（オペレータ）が予め任意に設定することができる。
また、ＤｉがＳより大きいときは、前述したようにＵｉ＝Ｖｉ＝１．０であり、このときＵ０  ＝Ｖ０  ＝１．０である。従って、画素変換倍率Ｋ＝１．０となり、このときはＫを乗算しても何も変わらない。
【００３６】
また、上に述べたように、変換対象画素が指定領域内のハイライト値Ｍｉを表す場合には、画素変換倍率ＫはＵ０  となり、変換対象画素が非指定領域内のハイライト値Ｍｉ’を表す場合には、画素変換倍率はＶ０  となる。
図４に指定領域の境界線からの距離Ｌと画素変換倍率Ｋの関係を示す。
領域の境界線より左側の指定領域では前述したように、距離Ｌは０である。また、境界線から距離Ｌ０  の範囲は緩衝領域である。図４に示すように、指定領域では、画素変換倍率ＫはＵ０  であり、緩衝領域より外側の非指定領域においては、画素変換倍率ＫはＶ０  である。そして、その間の緩衝領域Ｌ０  においては、画素変換倍率Ｋは、なめらかに（リニアに）Ｕ０  からＶ０  まで変化している。
【００３７】
以上説明したように、本実施形態によれば、ユーザが質感を強調したい領域と、質感を強調する程度（質感強調係数Ｓ）を指定することにより、指定された領域の質感が強調されるとともに、非指定領域については像構造変更処理としてぼかし処理が行われ、その画素信号の差を大きくして、画像の質感が強調され、元の物体の質感がよりリアルに再現された画像を得ることができる。
【００３８】
なお、以上説明した質感強調を行う画像処理方法を実行するプログラムを記録媒体に記録しておき、これを用いてあるいはネットワークを通じてダウンロードすることにより、任意のコンピュータで本発明に係る画像処理方法を実行することができ、どこでも簡単に質感強調を行い、よりリアルに元の物体の質感が再現された画像を得ることができる。
【００３９】
以上、本発明の画像処理方法について、詳細に説明したが、本発明は、以上の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【００４０】
【発明の効果】
以上、説明した通り、本発明によれば、金属光沢部等を持つ物体の質感を、全画像に対して違和感なく強調することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像の質感を強調する画像処理方法の処理の流れを示すフローチャートである。
【図２】本実施形態において質感を強調する画像の例を示す説明図である。
【図３】本実施形態における質感強調の様子を示す模式図である。
【図４】指定領域の境界からの距離と画素変換倍率Ｋとの関係を示す線図である。
【符号の説明】
１０  画像
１２  ガラスビン
１４（ガラスビンの）光っている部分
１６（ガラスビンの）緩衝領域
１８  銀製の皿
２０（銀製の皿の）光っている部分
２２（銀製の皿の）緩衝領域
【図１】
2005010902.tif 000006
【図２】
2005010902.tif 000007
【図３】
2005010902.tif 000008
【図４】
2005010902.tif 000009