(57)【要約】      （修正有）【課題】光沢感や質感をはじめとする被写体の視覚的印象を画像処理で比較的容易に調整する手段を提供する。【解決手段】画像処理プログラムは、以下のステップをコンピュータに実行させる。第１ステップでは、各々が自然光の下で共通の被写体を撮像したものであって、鏡面反射成分の含有率がそれぞれ異なる第１画像のデータおよび第２画像のデータを読み込む。第２ステップでは、第１画像および第２画像から抽出した鏡面反射成分の差分データに基づいて、第１画像および第２画像と比べて被写体の視覚的印象が異なる出力画像を生成する。【選択図】図２
2008225628.tif 000002
【特許請求の範囲】
【請求項１】
各々が自然光の下で共通の被写体を撮像したものであって、鏡面反射成分の含有率がそれぞれ異なる第１画像のデータおよび第２画像のデータを読み込む第１ステップと、
前記第１画像および前記第２画像から抽出した前記鏡面反射成分の差分データに基づいて、前記第１画像および前記第２画像と比べて前記被写体の視覚的印象が異なる出力画像を生成する第２ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項２】
請求項１に記載のプログラムにおいて、
前記第２ステップで、前記差分データに対して、画像の質感成分を調整する第１係数および画像の光沢成分を調整する第２係数の少なくとも一方を乗じて、前記出力画像を生成することを特徴とする画像処理プログラム。
【請求項３】
請求項２に記載のプログラムにおいて、
前記第２ステップで、前記差分データの全体に前記第１係数を乗じることを特徴とする画像処理プログラム。
【請求項４】
請求項２または請求項３に記載のプログラムにおいて、
前記第２ステップで、前記差分データのうちで輝度値が閾値以上の部分を抽出し、該抽出部分に前記第２係数を乗じることを特徴とする画像処理プログラム。
【請求項５】
請求項２から請求項４のいずれか１項に記載のプログラムにおいて、
前記第２ステップで、前記第１係数および前記第２係数の少なくとも一方を乗じた前記差分データと、前記第１画像および前記第２画像の少なくとも一方に基づく内部反射成分のデータとを合成して前記出力画像を生成することを特徴とする画像処理プログラム。
【請求項６】
各々が自然光の下で共通の被写体を撮像したものであって、鏡面反射成分の含有率がそれぞれ異なる第１画像のデータおよび第２画像のデータを読み込む第１ステップと、
前記第１画像のデータおよび前記第２画像のデータから抽出した前記鏡面反射成分の差分に基づいて、前記第１画像および前記第２画像と比べて前記被写体の視覚的印象が異なる出力画像を生成する第２ステップと、
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、鏡面反射成分の異なる複数の画像を用いて画像処理を行う画像処理プログラムおよび画像処理方法に関する。
【背景技術】
【０００２】
従来から、撮像した画像にコンピュータ上で画像処理を行って、ユーザーの意図する画像を作り込むことが行われている。特に近年では、画像処理によって画像の光沢感や質感などの調整を容易に行いたいというユーザーの要請が強まりつつある。なお、特許文献１には、対象物の質感を変化させたシミュレーション画像を生成する方法が開示されている。
【特許文献１】特開２００５−４４６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、従来技術で画像の光沢感や質感を調整しようとする場合には、特殊な照明や撮像装置などが撮影時に必要となることが一般的である。一例として、上記の特許文献１では、偏光照明下で偏光フィルタをかけて撮像した画像と、偏光照明下で偏光フィルタをかけずに撮像した画像が必要となる。したがって、偏光照明を用意できないシーンなどでは上記の方法を用いることはできない。
【０００４】
本発明は上記従来技術の課題を解決するためのものである。本発明の目的は、光沢感や質感をはじめとする被写体の視覚的印象を画像処理で比較的容易に調整できる手段を提供することである。
【課題を解決するための手段】
【０００５】
第１の発明の画像処理プログラムは、以下のステップをコンピュータに実行させる。第１ステップでは、各々が自然光の下で共通の被写体を撮像したものであって、鏡面反射成分の含有率がそれぞれ異なる第１画像のデータおよび第２画像のデータを読み込む。第２ステップでは、第１画像および第２画像から抽出した鏡面反射成分の差分データに基づいて、第１画像および第２画像と比べて被写体の視覚的印象が異なる出力画像を生成する。
【０００６】
第２の発明は、第１の発明において、第２ステップでは、差分データに対して、画像の質感成分を調整する第１係数および画像の光沢成分を調整する第２係数の少なくとも一方を乗じて、出力画像を生成する。
第３の発明は、第２の発明において、第２ステップでは、差分データの全体に第１係数を乗じる。
【０００７】
第４の発明は、第２または第３の発明において、第２ステップでは、差分データのうちで輝度値が閾値以上の部分を抽出し、該抽出部分に第２係数を乗じる。
第５の発明は、第２から第４のいずれかの発明において、第２ステップでは、第１係数および第２係数の少なくとも一方を乗じた差分データと、第１画像および第２画像の少なくとも一方に基づく内部反射成分のデータとを合成して出力画像を生成する。
【０００８】
なお、上記発明に関する構成を、画像処理方法や、画像処理プログラムを実行する画像処理装置などに変換して表現したものも本発明の具体的態様として有効である。
【発明の効果】
【０００９】
本発明によれば、光沢感や質感をはじめとする被写体の視覚的印象を画像処理で比較的容易に調整することが可能となる。
【発明を実施するための最良の形態】
【００１０】
図１は、本実施形態の画像処理システムの概略を示すブロック図である。画像処理システムは、電子カメラ１と、画像処理装置２とで構成される。
電子カメラ１は画像処理の対象となる画像を撮像する。この電子カメラ１は、撮像レンズ１１と、偏光フィルタ１２と、撮像部１３と、記録Ｉ／Ｆ１４と、通信Ｉ／Ｆ１５と、制御部１６とを有している。撮像部１３、記録Ｉ／Ｆ１４および通信Ｉ／Ｆ１５は、それぞれ制御部１６に接続されている。
【００１１】
撮像レンズ１１は、撮像部１３の撮像素子（不図示）に被写体像を結像させる。また、撮像レンズ１１の前方には、偏光フィルタ１２が着脱可能に装着されている。なお、ユーザーは、撮影レンズに取り付けた偏光フィルタ１２を回転させることで、偏光フィルタ１２を透過する光束の偏光成分を調整することができる。
撮像部１３は、撮像レンズ１１および偏光フィルタ１２を通過した光束に基づいて被写体を撮像し、画像のデータを生成する。この撮像部１３は、被写体像の光電変換を行う撮像素子と、撮像素子の出力をＡ／Ｄ変換するＡ／Ｄ変換部と、撮像画像のデータに所定の画像処理を施す画像処理部とを有している。なお、図１では、撮像部１３の個々の構成要素の図示は省略する。
【００１２】
記録Ｉ／Ｆ１４は、コネクタに接続された記録媒体３（例えばメモリーカードなど）に対して画像のデータの書き込みを行う。また、通信Ｉ／Ｆ１５は、公知の通信回線４を介して接続された画像処理装置２とのデータ送受信を所定の通信規格に準拠して制御する。
制御部１６は、電子カメラ１の統括的な制御を行うプロセッサである。制御部１６はシーケンスプログラムに従って電子カメラ１の各部動作を制御するとともに、撮影時に必要となる各種演算（ＡＦ演算、ＡＥ演算など）を実行する。
【００１３】
画像処理装置２は、電子カメラ１から取得した画像のデータに画像処理を施す。この画像処理装置２は、データ読込部２１と、通信部２２と、記録部２３と、ＣＰＵ２４と、操作部２５と、モニタ２６とを有している。データ読込部２１、通信部２２、記録部２３、操作部２５およびモニタ２６は、それぞれＣＰＵ２４と接続されている。なお、本実施形態の画像処理装置２は、例えばパーソナルコンピュータなどで構成されてもよい。
【００１４】
データ読込部２１は、記録媒体３を接続するコネクタを有している。そして、データ読込部２１は、コネクタに接続された記録媒体３から画像のデータを読み込む。通信部２２は、通信回線４を介して接続された電子カメラ１とのデータ送受信を所定の通信規格に準拠して制御する。
記録部２３には、画像処理プログラムと、プログラムの実行時に必要となるデータ群（図５の係数テーブルなど）とが記録されている。また、記録部２３には画像処理後の画像のデータを記録することもできる。ＣＰＵ２４は、上記の画像処理プログラムを実行し、画像のデータの画像処理に伴う各種の演算処理を行う。操作部２５は、画像処理プログラムに関する各種の操作入力をユーザーから受け付ける。モニタ２６には、画像処理プログラムにおける操作画面や、画像処理前後の画像を示す表示画面などが表示される。
【００１５】
次に、図２の流れ図を参照しつつ、本実施形態による画像処理の一連の流れを説明する。
ステップ１０１：ユーザーは、電子カメラ１で第１画像を撮像する。具体的には、以下の要領で第１画像の撮像が行われる。
第１に、ユーザーは、自然光（偏光特性が検出されない光）の下において、被写体および電子カメラ１の位置を固定する。
【００１６】
第２に、ユーザーは、電子カメラ１に装着した偏光フィルタ１２の向きを任意の方位角に調整する。図３に偏光フィルタ１２の方位角と鏡面反射成分の比率の変化を示す。特に本実施形態のＳ１０１では、ユーザーは偏光フィルタ１２を回転させて画像が最も明るくなるように調整し、Ｓ偏光の成分が偏光フィルタ１２を最も多く透過する一方で、Ｐ偏光の成分が最もカットされる状態にする（図３のＡの位置）。
【００１７】
ここで、Ｓ偏光とは、入射する光の偏光方向が反射面に対して平行に偏光し、入射面（入射光と反射光がなす平面）に対して垂直に偏光する光を意味する。Ｐ偏光とは、入射する光の偏光方向が上記の入射面内に含まれ、Ｓ偏光と垂直方向に偏光した光を意味する。２色性反射モデルによれば、物質表面での光の反射は内部反射と鏡面反射の２つの成分の和で表現される。また、自然光が空中から物質に入射するときにはＳ偏光の反射光が強くなる。すなわち、物質の鏡面反射成分を考えるときにはＳ偏光の成分が支配的となる。一方、物質の内部反射成分を考えるときにはＰ偏光の成分が支配的となる。
【００１８】
そして、第３に、ユーザーは電子カメラ１で被写体を撮像する。これにより、電子カメラ１は、鏡面反射成分をより多く含む第１画像（Ｓ偏光成分画像Ｉｓ）のデータを生成する。
ステップ１０２：ユーザーは、電子カメラ１で第２画像を撮像する。このＳ１０２では、ユーザーは偏光フィルタ１２の向きのみを変化させて、第１画像と同一の被写体を自然光の下で撮像する。勿論、第２画像の解像度（画像サイズ）は、Ｓ１０１の第１画像と同様に設定されるものとする。
【００１９】
また、Ｓ１０２での偏光フィルタ１２の向きは、少なくともＳ１０１の場合とＳ偏光の成分が異なる状態に設定される。特に本実施形態のＳ１０２では、ユーザーは偏光フィルタ１２をＳ１０１の状態から９０°回転させて、Ｐ偏光の成分が偏光フィルタ１２を最も多く透過する一方で、Ｓ偏光の成分が最もカットされる状態にする（図３のＢの位置）。
これにより、電子カメラ１は、第１画像と構図が同一で、鏡面反射成分がカットされた第２画像（Ｐ偏光成分画像Ｉｐ）のデータを生成することができる。
【００２０】
ステップ１０３：ユーザーは、第１画像のデータ（Ｓ１０１）および第２画像のデータ（Ｓ１０２）を画像処理装置２に入力する。このＳ１０３において、電子カメラ１と画像処理装置２との間での画像のデータの受け渡しは、記録媒体３の授受または通信回線４を介したデータ通信によって実現される。これにより、ＣＰＵ２４は、第１画像のデータおよび第２画像のデータを画像処理装置２に読み込むこととなる。なお、図４に、以下のステップ（Ｓ１０４〜Ｓ１０８）での画像処理プログラムによる画像処理の概要を示す。
【００２１】
ステップ１０４：画像処理装置２のＣＰＵ２４は、第１画像と第２画像との差分画像である表面成分画像（Ｉｓｒ）を生成する。具体的には、ＣＰＵ２４は、第１画像における各画素の信号レベルから第２画像における対応画素の信号レベルをそれぞれ減算する。これにより、ＣＰＵ２４は、表面成分画像のデータを生成する（すなわち、Ｉｓｒ＝Ｉｓ−Ｉｐ）。したがって、表面成分画像（Ｉｓｒ）は、第１画像に含まれる鏡面反射成分を抽出したものとなる。
【００２２】
ステップ１０５：ＣＰＵ２４は、表面成分画像（Ｉｓｒ）のデータに基づいて、光沢成分画像（Ｉｈｌ）のデータを生成する。まず、ＣＰＵ２４は表面成分画像（Ｉｓｒ）の輝度ヒストグラムを生成する。そして、ＣＰＵ２４は、表面成分画像の輝度ヒストグラムの上位成分（表面成分画像において輝度値が閾値以上となる画素）を抽出し、光沢成分画像（Ｉｈｌ）のデータを生成する。
【００２３】
ステップ１０６：ＣＰＵ２４は、記録部２３の係数テーブルに基づいて、光沢成分画像、表面成分画像およびＰ偏光成分画像の合成比率を決定する。
ここで、図５に係数テーブルの一例を模式的に示す。この係数テーブルは、光沢強調量および質感強調量の組み合わせと、画像の合成比率との対応関係とを記録している。上記の光沢強調量および質感強調量は、強調度合いの低い順に「なし」，「弱」，「標準」，「強」の４段階からそれぞれ選択される。したがって、本実施形態での光沢強調量および質感強調量の組み合わせは４段階×４段階の計１６種類となる。上記の光沢強調量を強くすると、光沢成分画像の重み付けが高まって、画像処理後に被写体の光沢感がより強調されることとなる。また、上記の質感強調量を強くすると、表面成分画像の重み付けが高まって、画像処理後に被写体の質感がより強調されることとなる。
【００２４】
一方、画像の合成比率は、光沢成分画像の係数値（Ｗｈｌ）と、表面成分画像の係数値（Ｗｓｒ）と、Ｐ偏光成分画像の係数値（Ｗｐ）との組み合わせで構成されている。
以下、Ｓ１０６での具体的な処理を説明する。まず、ＣＰＵ２４は、ユーザーによる光沢強調量および質感強調量の指定入力を操作部２５から受け付ける。そして、ＣＰＵ２４は、上記の光沢強調量および質感強調量の組み合わせに対応する係数テーブルの項目を参照し、光沢成分画像の係数値（Ｗｈｌ）と、表面成分画像の係数値（Ｗｓｒ）と、Ｐ偏光成分画像の係数値（Ｗｐ）とをそれぞれ取得する。
【００２５】
ステップ１０７：ＣＰＵ２４は、Ｓ１０６の合成比率に基づいて光沢成分画像、表面成分画像およびＰ偏光成分画像を合成して合成成分画像のデータを生成する。
具体的には、まず、ＣＰＵ２４は、光沢成分画像、表面成分画像およびＰ偏光成分画像の３つの画像からそれぞれ対応位置の画素の信号レベルを読み出す。次に、ＣＰＵ２４は、光沢成分画像（Ｉｈｌ）の信号レベルに係数値Ｗｈｌを乗じたものと、表面成分画像（Ｉｓｒ）の信号レベルに係数値Ｗｓｒを乗じたものと、Ｐ偏光成分画像（Ｉｐ）の信号レベルに係数値Ｗｐを乗じたものとを合計し、合成成分画像Ｉｔの信号レベルを求める（すなわち、合成成分画像Ｉｔ＝Ｉｈｌ×Ｗｈｌ＋Ｉｓｒ×Ｗｓｒ＋Ｉｐ×Ｗｐ）。そして、ＣＰＵ２４は、各画素ごとに上記動作を繰り返すことで合成成分画像のデータを生成する。
【００２６】
ステップ１０８：ＣＰＵ２４は、Ｓ１０６の各係数値のうち、表面成分画像の係数値（Ｗｓｒ）とＰ偏光成分画像の係数値（Ｗｐ）との和を１にする補正係数を求める（すなわち、補正係数＝１／（Ｗｓｒ＋Ｗｐ））。一例として、図５において光沢強調量が「弱」で質感強調量が「標準」であるときは、補正係数は１／（０．４＋０．４）＝１．２５となる。
【００２７】
そして、ＣＰＵ２４は、Ｓ１０７で求めた合成成分画像Ｉｔの全体に上記の補正係数を乗じてゲイン調整を実行する。これにより、合成成分画像の光沢感がより強調されることとなる。
ステップ１０９：ＣＰＵ２４は、合成成分画像をモニタ２６に表示する。これにより、ユーザーは、画像の出来映えや画像処理の再試行の要否を判断することができる。
【００２８】
ステップ１１０：ＣＰＵ２４は、画像処理のやり直しを指示する旨の入力をユーザーから操作部２５が受け付けたか否かを判定する。上記入力があった場合（ＹＥＳ側）には、ＣＰＵ２４はＳ１０６に戻って、光沢強調量および質感強調量を変更して画像処理を再試行する。一方、上記入力がない場合（ＮＯ側）には、ＣＰＵ２４はＳ１１１に移行する。
ステップ１１１：ＣＰＵ２４は、画像の記録を指示する旨の入力をユーザーから操作部２５が受け付けたか否かを判定する。上記入力があった場合（ＹＥＳ側）には、ＣＰＵ２４はＳ１１２に移行する。一方、上記入力がない場合（ＮＯ側）には、ＣＰＵ２４はＳ１１０に戻って上記動作を繰り返す。
【００２９】
ステップ１１２：ＣＰＵ２４は、合成成分画像のデータを記録部２３に記録する。以上で、図２の流れ図の説明を終了する。
以下、本実施形態の作用効果を説明する。本実施形態では、各々の鏡面反射成分の含有率が異なる第１画像および第２画像の差分から画像の表面成分と光沢成分とを抽出する。そして、これらの各成分に重み付けの係数を乗じた上で再合成して合成成分画像を生成する。そのため、本実施形態では、光沢感や質感をはじめとする被写体の視覚的印象を画像処理で容易に調整できる。また、本実施形態の第１画像および第２画像は、自然光の下で偏光フィルタ１２の向きを変えて撮像すれば足りるので、撮影時に特殊な照明や撮像装置などが要求されることもない。
【００３０】
（実施形態の補足事項）
（１）上記実施形態の第１画像と第２画像との組み合わせはあくまで一例にすぎない。例えば、上記実施形態の第１画像および第２画像において、偏光フィルタ１２の向きをそれぞれ任意に変更してもよい。
また、偏光フィルタ１２を外して撮像した画像を第１画像とし、偏光フィルタ１２によってＳ偏光成分をカットしたＰ偏光成分画像を第２画像として、上記実施形態と同様の画像処理を行うようにしてもよい。
【００３１】
（２）上記実施形態で画像のデータがＲＧＢカラーモデルの場合には、ＲＧＢ成分の全てを用いて合成成分画像を生成すると、偏光フィルタ１２を挿入しないで撮像した画像との色相差が大きくなり、ユーザーが違和感を覚えることがある。また、質感の強調によって色相に違いが生じる場合もある。そのため、上記のような色相の変化を避けるためには、第１画像および第２画像をＹＣｂＣｒ形式に変換し、輝度成分Ｙに対してのみ上記実施形態の画像処理を行うようにすればよい。あるいは、第１画像および第２画像をＬ*ａ*ｂ*色空間に対応する形式に変換し、明るさ成分Ｌに対してのみ上記実施形態の画像処理を行うようにしてもよい。
【００３２】
（３）上記実施形態において、上記の画像処理プログラムが電子カメラ１上で実行されるものであってもよい。
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【図面の簡単な説明】
【００３３】
【図１】本実施形態の画像処理システムの概略を示すブロック図
【図２】本実施形態による画像処理を説明するための流れ図
【図３】偏光フィルタの方位角と鏡面反射成分の比率の変化を示す図
【図４】画像処理プログラムによる画像処理の概要を示す模式図
【図５】係数テーブルの一例を示す模式図
【符号の説明】
【００３４】
１…電子カメラ、２…画像処理装置、１２…偏光フィルタ、１３…撮像部、２１…データ読込部、２２…通信部、２３…記録部、２４…ＣＰＵ
【図１】
2008225628.tif 000003
【図２】
2008225628.tif 000004
【図３】
2008225628.tif 000005
【図４】
2008225628.tif 000006
【図５】
2008225628.tif 000007