(57)【要約】被写体の画像を高解像度化する。被写体の照明方程式パラメータを推定し、推定した照明方程式パラメータについて高解像度化を行う。そして、高解像度化された照明方程式パラメータを合成して高解像度画像を生成する。推定した照明方程式パラメータの推定精度が所定の精度を満たさない画素が存在するとき、高解像度化した照明方程式パラメータをフィードバックして、再度、照明方程式パラメータの推定を行う。
2008026518.tif 000002
【特許請求の範囲】
【請求項１】
被写体の画像を高解像度化する画像処理方法であって、
被写体の照明方程式パラメータを推定する第１ステップと、
推定した照明方程式パラメータについて、高解像度化を行う第２ステップと、
高解像度化された照明方程式パラメータを合成して、高解像度画像を生成する第３ステップとを備え、
前記第１ステップにおいて推定した照明方程式パラメータの推定精度が所定の精度を満たさない画素が存在するとき、前記第２ステップにおいて高解像度化した照明方程式パラメータをフィードバックして、再度、照明方程式パラメータの推定を行う
ことを特徴とする画像処理方法。
【請求項２】
被写体の画像を高解像度化する画像処理装置であって、
被写体の照明方程式パラメータを推定し、かつ、当該推定精度を判定し、所定の精度を満たした適合画素と所定の精度を満たさない不適合画素とを識別する低解像度照明方程式パラメータ推定部と、
前記低解像度照明方程式パラメータ推定部によって推定された照明方程式パラメータについて、高解像度化を行う照明方程式パラメータ高解像度化部と、
前記照明方程式パラメータ高解像度化部から出力された、適合画素の高解像度化照明方程式パラメータを用いて、不適合画素の高解像度化照明方程式パラメータを推定する高解像度照明方程式パラメータ推定部と、
前記高解像度照明方程式パラメータ推定部の出力に不適合画素が存在する場合、適合画素の高解像度化照明方程式パラメータ、および前記高解像度照明方程式パラメータ推定部の出力を低解像度化して、前記低解像度照明方程式パラメータ推定部にフィードバックする低解像度化部とを備えた
ことを特徴とする画像処理装置。
【請求項３】
被写体の画像を高解像度化する画像処理装置であって、
前記被写体を、光源によって偏光フィルタを介して照射した状態で偏光フィルタを介して撮像した、複数の被写体画像を入力とし、
前記複数の被写体画像から、鏡面反射画像と拡散反射画像とを分離する鏡面反射拡散反射分離部と、
前記鏡面反射拡散反射分離部によって得られた鏡面反射画像および拡散反射画像を用いて、照明方程式パラメータの推定処理を行い、かつ当該推定精度を判定し、所定の精度を満たした適合画素と所定の精度を満たさない不適合画素とを識別する低解像度照明方程式パラメータ推定部と、
前記低解像度照明方程式パラメータ推定部によって推定された照明方程式パラメータを含む低解像度パラメータ群について、高解像度化を行い、高解像度パラメータ群を得るものであって、かつ、前記低解像度パラメータ群のうち、前記被写体の表面法線ベクトルおよび拡散反射成分双方向反射率について、データベース参照による超解像処理を行う照明方程式パラメータ高解像度化部と、
前記照明方程式パラメータ高解像度化部によって得られた高解像度パラメータ群において不適合画素が存在しないとき、前記高解像度パラメータ群を合成して輝度画像に変換し、高解像度画像として出力する照明方程式パラメータ合成部と、
前記照明方程式パラメータ高解像度化部によって得られた前記高解像度パラメータ群において不適合画素が存在するとき、前記高解像度パラメータ群の中の不適合画素の推定処理を行う高解像度照明方程式パラメータ推定部と、
前記高解像度照明方程式パラメータ推定部から出力された高解像度パラメータ群においてまだ不適合画素が存在するとき、この高解像度パラメータ群について低解像度化を行い、得られた低解像度パラメータ群を、適合画素として、前記低解像度照明方程式パラメータ推定部に与える低解像度化部とを備えた
ことを特徴とする画像処理装置。
【請求項４】
請求項３において、
光源撮像装置が前記光源を撮像することによって得た光源画像を入力とし、かつ、
前記光源画像から、光源ベクトルを算出する光源方向算出部を備え、
前記光源方向算出部によって算出された光源ベクトルは、前記低解像度照明方程式パラメータ推定部に与えられる
ことを特徴とする画像処理装置。
【請求項５】
請求項４において、
前記複数の被写体画像および前記光源画像から、前記被写体の表面法線ベクトルを推定する形状推定部を備え、
前記形状推定部によって推定された表面法線ベクトルは、前記低解像度照明方程式パラメータ推定部に与えられる
ことを特徴とする画像処理装置。
【請求項６】
請求項３において、
前記照明方程式パラメータ高解像度化部は、前記データベース参照による超解像処理のために、
低解像度パラメータ画像および高解像度パラメータ画像についてそれぞれ、空間周波数解析を行うことによって得られた、低解像度画像特徴ベクトルおよび高解像度画像特徴ベクトルを、それぞれ格納したデータベースと、
前記低解像度画像特徴ベクトルと前記高解像度画像特徴ベクトルとの対応関係を記述したテーブルとを備えたものである
ことを特徴とする画像処理装置。
【請求項７】
請求項６において、
前記空間周波数解析は、ウェーブレット変換を用いて行う
ことを特徴とする画像処理装置。
【請求項８】
請求項６において、
前記低解像度化部は、
前記照明方程式パラメータ高解像度化部が備えた前記データベースおよびテーブルを用いて、低解像度化を行う
ことを特徴とする画像処理装置。
【請求項９】
請求項３において、
前記低解像度照明方程式パラメータ推定部および前記高解像度照明方程式パラメータ推定部は、シンプレックス法を用いて、推定処理を実行する
ことを特徴とする画像処理装置。
【請求項１０】
被写体の画像を高解像度化する画像処理方法であって、
前記被写体を、光源によって偏光フィルタを介して照射した状態で偏光フィルタを介して撮像した複数の被写体画像から、鏡面反射画像と拡散反射画像とを分離する第１のステップと、
前記第１のステップにおいて得られた鏡面反射画像および拡散反射画像を用いて、照明方程式パラメータの推定処理を行う第２のステップと、
前記第２のステップによって推定された照明方程式パラメータを含む低解像度パラメータ群について、高解像度化を行い、高解像度パラメータ群を得るものであって、かつ、前記低解像度パラメータ群のうち、前記被写体の表面法線ベクトルおよび拡散反射成分双方向反射率について、データベース参照による超解像処理を行う第３のステップと、
前記第３のステップにおいて得られた高解像度パラメータ群において不適合画素が存在しないとき、前記高解像度パラメータ群を合成して輝度画像に変換し、高解像度画像として生成する第４のステップと、
前記第３のステップにおいて得られた前記高解像度パラメータ群において不適合画素が存在するとき、前記高解像度パラメータ群の中の不適合画素の推定処理を行う第５のステップと、
前記第５のステップにおいて得られた高解像度パラメータ群においてまだ不適合画素が存在するとき、この高解像度パラメータ群について低解像度化を行い、得られた低解像度パラメータ群を適合画素として用いて、再度、前記第２のステップを実行する第６のステップとを備えた
ことを特徴とする画像処理方法。
【請求項１１】
被写体の画像を高解像度化する画像処理方法をコンピュータに実行させるプログラムであって、
前記被写体を、光源によって偏光フィルタを介して照射した状態で偏光フィルタを介して撮像した複数の被写体画像から、鏡面反射画像と拡散反射画像とを分離する第１のステップと、
前記第１のステップにおいて得られた鏡面反射画像および拡散反射画像を用いて、照明方程式パラメータの推定処理を行う第２のステップと、
前記第２のステップによって推定された照明方程式パラメータを含む低解像度パラメータ群について、高解像度化を行い、高解像度パラメータ群を得るものであって、かつ、前記低解像度パラメータ群のうち、前記被写体の表面法線ベクトルおよび拡散反射成分双方向反射率について、データベース参照による超解像処理を行う第３のステップと、
前記第３のステップにおいて得られた高解像度パラメータ群において不適合画素が存在しないとき、前記高解像度パラメータ群を合成して輝度画像に変換し、高解像度画像として生成する第４のステップと、
前記第３のステップにおいて得られた前記高解像度パラメータ群において不適合画素が存在するとき、前記高解像度パラメータ群の中の不適合画素の推定処理を行う第５のステップと、
前記第５のステップにおいて得られた高解像度パラメータ群においてまだ不適合画素が存在するとき、この高解像度パラメータ群について低解像度化を行い、得られた低解像度パラメータ群を適合画素として用いて、再度、前記第２のステップを実行する第６のステップとを
コンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、画像変換に関するものであり、特に、テクスチャ感を保存したまま画像拡大を実現する技術に関するものである。
【背景技術】
【０００２】  画像機器とネットワークのデジタル化により、任意の画像機器が接続できるようになり、画像交換の自由度が高まっている。そして、利用者がシステムの違いに制約を受けることなく、自由に画像を扱える環境が整備されてきた。例えば、利用者は、デジタルスチルカメラで撮影した画像をプリンタに出力したり、ネットワーク上で公開したり、家庭のテレビで鑑賞したりすることが可能になっている。【０００３】  逆にシステム側は、様々な画像フォーマットに対応する必要があり、画像フォーマット変換には自ずと高度化が求められる。例えば画像サイズの変換は頻繁に発生し、アップコンバータ（画素数、ライン数を増やす変換装置）が必要になる。例えば、６００ｄｐｉの解像度でＡ４用紙（２９７ｍｍ×２１０ｍｍ）に印刷する場合、７１２８画素×５０４０ラインの原稿が必要になるが、多くのデジタルスチルカメラの解像度はこれを下回るため、アップコンバータが必要になる。一方、ネットワーク上に公開された画像は、最終的な出力形態が決まっていないため、出力デバイスが決まる都度、対応する画像サイズに変換する必要がある。また、家庭用テレビでは、デジタル地上波のサービスが開始されており、従来の標準テレビ画像とＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）テレビ画像とが混在し、画像サイズの変換が頻繁に用いられる。【０００４】  従来、画像拡大の処理は、複数の画素間での輝度値の違いを利用している。すなわち、画像拡大では、サンプリング時に存在しなかった画素データを新たに生成するために、バイリニア法やバイキュービック法などによって、輝度値を内挿する（非特許文献１を参照）。内挿ではサンプリングデータの中間的な値しか生成できないため、エッジなどの先鋭度が劣化する傾向がある。そこで、初期拡大画像として内挿画像を用い、その後、エッジ部を抽出してエッジのみを強調する技術が開示されている（非特許文献２、非特許文献３を参照）。特に、非特許文献３では、多重解像度表現とリプシッツ指数の導入によって、エッジの先鋭さに応じてエッジ強調を選択的に行う工夫が成されている。【０００５】  ところが、画素間の輝度の違いを用いて、画像拡大の画像変換を行った場合、エッジ成分とノイズとの分離が難しく、画像変換によって、エッジの先鋭さやテクスチャ（被写体表面に現れる模様やパターン）が変質してしまう可能性が高い、という問題がある。すなわち、画像拡大では、内挿によってぼけた初期拡大画像のエッジ部を強調するため、エッジ部とともにノイズも強調されてしまい、画質劣化を招くおそれがある。また、画像拡大における内挿画像のエッジ強調は、経験的手法であり、明確なノイズ対策が施されていないため、画像変換後の画質を保証できない、と言った問題も有する。【０００６】  前記の問題を解消するために、入力画像のテクスチャを解析し、解析したテクスチャ特徴量と、空間解像度がより高い超解像画像から得られた超解像テクスチャ特徴量とを用いて、空間超解像画像を生成する技術が開示されている（特許文献１を参照）。テクスチャ特徴量をフーリエ変換やウェーブレット変換等による空間周波数応答量から生成し、解像度と材質の組み合わせで構成した特徴量ヒストグラムによって、入力��像のテクスチャを判定する。引き続き、テクスチャ特徴量ベクトル変換テーブルを用いて、テクスチャ特徴量に超解像処理が施され、超解像化テクスチャ特徴量ベクトルが生成される。超解像化テクスチャ特徴量ベクトルは、入力画像からテクスチャ特徴量を生成する際に施した空間周波数応答への変換処理の逆変換によって輝度画像に変換され、高解像度化された出力画像を得る。以上のように、テクスチャ特徴量を材質ごとに超解像化するため、テクスチャの材質感を変質せずに画像拡大ができ、画質劣化が発生しない効果を有する。【０００７】  ところが、特徴量ヒストグラムやテクスチャ特徴量ベクトル変換テーブルは、データベースとして蓄積しておく必要がある。そこで、たとえば、被写体を照らす照明条件が変われば、画素ごとの輝度値が変化し、その結果、テクスチャ特徴量が変化する。従って、特徴量ヒストグラムとテクスチャ特徴量ベクトル変換テーブルを都度作成して、データベースに追加登録することが必要になる、という問題がある。【０００８】  前記の問題を解消するために、図３９に示すように、カメラＣＡＭが捉える輝度Ｉｖを被写体ＯＢＪや視環境ＶＥが有する幾何特性や光学特性に分解して、解像度独立のパラメータと解像度依存のパラメータに分類し、解像度依存のパラメータに対してのみ、特徴量ヒストグラムとテクスチャ特徴量ベクトル変換テーブルを作成する方法が有効である。すなわち、解像度独立のパラメータが変化しても、特徴量ヒストグラムとテクスチャ特徴量ベクトル変換テーブルを追加する必要がなくなる。カメラＣＡＭが捉える輝度Ｉｖが、たとえば、（式１）の照明方程式で与えられた場合を考える。
【数１】
2008026518.tif 000003
【０００９】  ここで、Ｉａは環境光の輝度、Ｉｄは拡散反射成分の輝度、Ｉｓは鏡面反射成分の輝度、Ｅｉは注目点Ｐにおける照度、ベクトルＮは表面法線ベクトル、ベクトルＬは光源ＩＬの方向を表わす光源ベクトル、ρｄは拡散反射成分の双方向反射率、ρｓは鏡面反射成分の双方向反射率、ｋｄは拡散反射成分比、ｋｓは鏡面反射成分比を表わし、ｋｄ＋ｋｓ＝１の関係を持つ。さらに、鏡面反射成分の双方向反射率ベクトルρｓは、たとえば、（式２）で与えられ、複数の幾何パラメータと光学パラメータに分解される。
【数２】
2008026518.tif 000004
【００１０】  ここで、Ｈは、視点ベクトルＶと照明ベクトルＬの中間ベクトルであり、βは中間ベクトルＨと表面法線ベクトルＮとの角度を表す。ｍは物体表面の粗さを表わす係数であり、ｍが小さいときは角度βが小さい部分すなわち表面法線ベクトルＮ付近に強い反射を示し、ｍが大きいときは角度βが大きい部分すなわち表面法線ベクトルＮから離れた部分にも反射分布が広がる。Ｇは幾何減衰率であり、物体表面の凹凸による遮光の影響を表わす。ｎは屈折率である。【００１１】  （式１）と（式２）の照明方程式パラメータのうち、光源ベクトルＬ、視点ベクトルＶ、照明の照度Ｅｉは、視環境ＶＥに依存するパラメータであり、全画素で同一、あるいは滑らかに変化し、画像解像度に対して独立性が高い。また、拡散反射成分比ｋｄ、鏡面反射成分比ｋｓ、物体表面の粗さｍ、屈折率ｎは、被写体ＯＢＪの材質に依存するパラメータであり、同一材質内では全画素で同一、あるいは滑らかに変化し、画像解像度に対して独立性が高い。一方、表面法線ベクトルＮと拡散反射成分の双方向反射率ρｄは、視環境ＶＥや被写体ＯＢＪの材質に拘束されず、画素ごとに様々なパラメータ値を持つ可能性があるため、画像解像度に対して依存性が高い。【００１２】  以上より、各パラメータ画像に施す超解像処理は、図４０に示すように、３通りに分かれる。第１に、光源ベクトルＬ、視点ベクトルＶ、照明の照度Ｅｉは、全画素で同一、あるいは滑らかに変化し、画像解像度に対して独立性が高いため、低解像度のパラメータ画像ＬＬ、ＶＬ、（Ｅｉ）Ｌを高解像度のパラメータ画像ＬＨ、ＶＨ、（Ｅｉ）Ｈに変換するには、低解像度画像の画素値をコピー、あるいは隣接画素値から補間すればいい。第２に、拡散反射成分比ｋｄ、鏡面反射成分比ｋｓ、物体表面の粗さｍ、屈折率ｎは、同一材質内では全画素で同一、あるいは滑らかに変化し、画像解像度に対して独立性が高いため、低解像度のパラメータ画像ｋｓＬ、ｍＬ、ｎＬを高解像度のパラメータ画像ｋｓＨ、ｍＨ、ｎＨに変換するには、テクスチャ解析部ＴＡ１〜ＴＡ３で材質を判定し、材質ごとに低解像度画像の画素値をコピー、あるいは隣接画素値から補間すればいい。第３に、表面法線ベクトルＮと拡散反射成分の双方向反射率ρｄは、画像解像度に対して依存性が高いため、テクスチャ超解像部ＴＳＲ１、ＴＳＲ２にて、テクスチャ特徴量ベクトル変換により超解像を行う。そこで、低解像度のパラメータ画像ＮＬとρｄＬの解像度と材質を、テクスチャ解析部ＴＡ４とＴＡ５にて、特徴量ヒストグラムで判定し、テクスチャ超解像部ＴＳＲ１、ＴＳＲ２にて、テクスチャ特徴量ベクトル変換を行って、高解像度のパラメータ画像ＮＨとρｄＨを得る。【００１３】  以上のように、テクスチャ特徴量を材質ごとに超解像化するため、テクスチャの材質感を変質せずに画像拡大ができ、画質劣化が発生しない効果を有する。
【非特許文献１】荒屋真二著，「明解  ３次元コンピュータグラフィックス」，共立出版，ｐｐ．１４４−１４５、２００３年９月２５日，
【非特許文献２】Ｈ．Ｇｒｅｅｎｓｐａｎ，Ｃ．Ｈ．Ａｎｄｅｒｓｏｎ，「Ｉｍａｇｅ  ｅｎｈａｎｃｅｄ  ｂｙ  ｎｏｎ−ｌｉｎｅａｒ  ｅｘｔｒａｐｏｌａｔｉｏｎ  ｉｎ  ｆｒｅｑｕｅｃｔ  ｓｐａｃｅ」，ＳＰＩＥ  Ｖｏｌ．２１８２  Ｉｍａｇｅ  ａｎｄ  Ｖｉｄｅｏ  Ｐｒｏｃｅｓｓｉｎｇ  ＩＩ，１９９４年
【非特許文献３】中静真ら、「多重スケール輝度こう配平面における画像高解像度化」、電子情報通信学会論文誌Ｄ−ＩＩ  Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ  Ｎｏ．１０  ｐｐ．２２４９−２２５８  １９９８年１０月
【非特許文献４】画像処理ハンドブック編集委員会編，「画像処理ハンドブック」，昭晃堂，ｐｐ．３９３、１９８７年６月８日
【非特許文献５】田中法博、富永昌治、「画像から不均質誘電体の屈折率推定」、電子情報通信学会技術研究報告  ＰＲＭＵ２００２−１７５、ｐｐ．３７−４２  ２００３年１月
【特許文献１】国際公開公報ＷＯ２００５／０６７２９４（図１１）
【発明の開示】
【発明が解決しようとする課題】
【００１４】  しかしながら、従来の技術では、画像拡大を行いたい低解像度画像の照明方程式パラメータを計測できない、あるいは推定できない場合がある、という問題があった。たとえば、表面法線ベクトルＮは三角測量の原理を用いてレンジファインダ等によって計測できる（例えば、非特許文献４を参照）。三角測量の原理とは、３角形の一辺とその両端の角度が決まると３角形が一義的に定まることを利用しており、図４１に示すように、既知の距離１だけ離れた２点Ａ，Ｂから点Ｐを見る角度をそれぞれα、βとすると、点Ｐの座標値（ｘ，ｙ）は以下で与えられる。
【数３】
2008026518.tif 000005
【００１５】  レンジファインダは、点Ａにレーザー光源を置き、物体表面上の点Ｐにレーザー光を照射し、点Ｂに置いたカメラで点Ｐのレーザー光を捉えて点Ｐの座標値（ｘ、ｙ）を計測する。そこで、点Ｐからのレーザー光の反射光が点Ｂのカメラに届くことが前提となる。しかし、点Ｐの反射率が低い（すなわち、黒い物体上にある）場合は、レーザー光の反射光の強度が低くなり、カメラで点Ｐを捉えることができない。また、点Ｐの光学特性の大半が鏡面反射成分からなる場合、点Ｐでのレーザー光の反射は正反射（図４１の矢印ＳＲ）となり、点Ｂのカメラで捉えることができない。レンジファインダは表面法線ベクトルＮの計測方法の一例であるが、何れの方法を用いても、計測できない可能性はあり、さらに、表面法線ベクトル以外のパラメータも考えれば、一部の照明方程式パラメータが計測できない可能性は益々高まる。【００１６】  また、照明方程式パラメータの中には、実用上、直接計測が困難なものがある。たとえば、反射率は、完全反射板からの反射光強度との比率で計測できるが、実際の利用状況で、常に注目点Ｐに完全反射板を設置することは極めて困難である。従って、たとえば、（式２）のモデルを仮定し、モデルパラメータを推定することで、鏡面反射成分の双方向反射率ρｓを得る。たとえば、非特許文献５では、校正されたＣＣＤカメラで計測した画像から屈折率ｎを推定する手法を開示している。解析的な手法を用いているため、全体最適は図られるものの、部分最適には問題が残り、パラメータの推定精度が許容誤差に収まらない画素が残る可能性があり、低解像画像の照明方程式パラメータに誤差が発生する問題がある。さらに、解析的な手法による全体最適は、ある一定の付加情報が手に入った状態ではじめて実現可能であり、たとえば、非特許文献５が前提としている付加情報が入手できない場合は、屈折率ｎの推定は成し得ない。【００１７】  さらに、実装上の問題として、機器の大きさや重量、消費電力、価格などの制限から、計測機器を理想的な状態で利用できず、低解像度画像のパラメータを計測できない問題も発生する。加えて、計測による付加情報の取得量が不足して、パラメータ推定の精度が低下したり、推定処理自体が実行できない問題も発生する。【００１８】  前記の問題に鑑み、本発明は、照明方程式パラメータを用いた画像拡大において、パラメータが計測できなかったり、パラメータの推定精度が低下したりした場合であっても、画像拡大を精度良く実現可能にすることを課題とする。
【課題を解決するための手段】
【００１９】  本発明は、被写体の画像を高解像度化する画像拡大において、被写体を光源によって偏光フィルタを介して照射した状態で偏光フィルタを介して撮像した複数の被写体画像から、鏡面反射画像と拡散反射画像とを分離し、得られた鏡面反射画像および拡散反射画像を用いて、照明方程式パラメータを推定する。この照明方程式パラメータの推定の際に、誤差評価関数に対する閾値比較を行い、推定精度の判定を行う。すなわち、誤差評価関数が閾値より低い値を示した場合は、推定精度が所定の基準を満たした、として、処理対象の画素を「適合画素」と判定する。一方、誤差評価関数が閾値より高い値を示した場合は、推定精度が所定の基準を満たしていない、として、処理対象の画素を「不適合画素」と判定する。適合画素に対しては、推定された照明方程式パラメータを含む低解像度パラメータ群について、高解像度化を行い、高解像度パラメータ群を得る。このとき、低解像度パラメータ群のうち、表面法線ベクトルおよび拡散反射成分双方向反射率について、データベース参照による超解像処理を行う。一方、屈折率など材質に依存する照明方程式パラメータは、同一材質内では同じ値を有するため、このような物理的裏付けから、低解像度の照明方程式パラメータ画像の画素を空間的にコピーして、超解像処理を行う。その結果、低解像度画像では推定精度が不適合であった画素が、高解像度画像では、一部パラメータの推定精度が基準を満たす場合がある。このような超解像処理の結果、画像中に、不適合画素が存在しない場合は、この高解像度パラメータ群を合成して輝度画像に変換し、高解像度画像として生成する。一方、前記超解像処理の結果、画像中に、不適合画素が存在する場合は、適合画素の高解像度パラメータ群を用いて不適合画素の照明方程式パラメータの推定を再度行う。この推定によってもまだ、画像中に、不適合画素が存在する場合は、この高解像度パラメータ群について低解像度化を行い、得られた低解像度パラメータ群を適合画素として低解像度画像の照明方程式パラメータの推定処理にフィードバックし、画像中のすべての画素が適合画素となるまで、上記処理を繰り返す。【００２０】  すなわち、本発明は、低解像度パラメータを超解像処理して得た高解像度パラメータを利用して、低解像度パラメータにおける推定精度を向上する。【００２１】  材質に依存した照明方程式パラメータの超解像処理は、同一材質内に存在する画素間で照明方程式パラメータの値をコピーすることによって、超解像化を実現する。そこで、同一材質内に存在する不適合画素は、適合画素からのコピーによって、推定精度が向上する。【００２２】  データベース参照による超解像処理は、解像度を高める付加情報を低解像度パラメータに与えることによって、超解像化を実現する。ここで、解像度を高めるために付加された情報は、低解像度パラメータを推定する際には取得できない新しい付加情報であり、従って、新しい付加情報が加わった高解像度パラメータで推定を行えば、低解像度パラメータでは推定できなかった不適合画素を推定できる可能性が高い。【００２３】  そこで、高解像度化パラメータにおいて不適合画素の推定を行い、この推定結果を低解像化することによっ��、低解像度パラメータにおける適合画素を増やすことができる。適合画素の増加は、不適合画素の推定可能性が向上することを意味する。このため、新たに算出された適合画素を用いて、再び、パラメータの推定処理を繰り返せば、低解像度パラメータにおける不適合画素は順次、推定できる。以上の処理を、高解像度パラメータが全画素で算出できるまで繰り返すことによって、元の低解像度パラメータの計測が不完全な場合でも、画像拡大ができる。
【発明の効果】
【００２４】  本発明によれば、被写体や視環境の幾何光学パラメータの計測が不完全な場合でも、データベース参照による超解像処理において得られる高解像化のための付加情報をパラメータ推定に利用することによって、パラメータ計測の不完全さを補完することができる。このため、照明方程式を用いたテクスチャ再現性の高い画像拡大処理の適応範囲を、利用環境、装置構成などの観点で、広げることができる。
【図面の簡単な説明】
【００２５】
【図１】図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】図２は、シンプレックス法による、注目点の照度、鏡面反射成分比、物体表面の粗さおよび屈折率の推定方法を示すフローチャートである。
【図３】図３は、シンプレックスの更新を２次元で説明する図である。
【図４】図４は、図１における照明方程式パラメータ高解像度化部の内部構成を説明する図である。
【図５】図５は、テクスチャ解析Ａ部と材質別補間部の詳細を示すブロック図である。
【図６】図６は、ウェーブレット変換による画像特徴ベクトルの生成方法を説明する図である。
【図７】図７は、ウェーブレット変換を説明するための図である。
【図８】図８は、画像特徴量の算出方法を説明するための図である。
【図９】図９は、画像特徴量空間におけるパラメータ入力画像特徴ベクトル群と類似パラメータ入力画像特徴ベクトル群との位置関係の例を示す図である。
【図１０】図１０は、テクスチャ解析Ｂ部とテクスチャ超解像部の詳細を示すブロック図である。
【図１１】図１１は、パラメータ入力画像特徴ベクトルデータベース部の詳細を示す図である。
【図１２】図１２は、パラメータ出力画像特徴ベクトルデータベース部の詳細を示す図である。
【図１３】図１３は、パラメータ画像特徴ベクトル番号置換テーブルの作成方法を説明する図である。
【図１４】図１４は、適合性識別画像の低解像度化を説明するための図である。
【図１５】図１５は、図１の画像処理装置の動作フローである。
【図１６】図１６は、照明方程式パラメータの推定を低解像度画像に対してのみ実行する画像処理装置のブロック図である。
【図１７】図１７は、実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図１８】図１８は、注目点Ｐを含むような三角形を形成する３点を説明する図である。
【図１９】図１９は、光源画像から光源の３次元的位置を算出する方法を説明する図である。
【図２０】図２０は、被写体撮像装置と光源撮像装置を単一筐体にまとめたカメラの一例を説明する図である。
【図２１】図２１は、カメラの向きを変える折り畳み式携帯電話の構成を示す図である。
【図２２】図２２は、偏光フィルタを通して反射光を観測する方法を示す図である。
【図２３】図２３は、偏光特性を利用した鏡面反射画像の撮影方法を説明する図である。
【図２４】図２４は、撮影側偏光フィルタを回転させた場合の透過光の輝度の変化を示す図である。
【図２５】図２５は、実施の形態２に係る画像処理装置の動作フローである。
【図２６】図２６は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。
【図２７】図２７は、形状推定部の内部のブロック図である。
【図２８】図２８は、撮影者に被写体撮像装置の移動の必要性を知らせる方法の一例を説明する図である。
【図２９】図２９は、フレネル反射の法則を説明するための図である。
【図３０】図３０は、ＬＲ照明方程式パラメータ推定部の動作内容を説明する図である。
【図３１】図３１は、シンプレックス法による不適合画素の推定方法を示すフローチャートである。
【図３２】図３２は、本発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。
【図３３】図３３は、光源位置推定部における光源位置を推定する方法を説明する図である。
【図３４】図３４は、第１の構成例を示す図である。
【図３５】図３５は、第２の構成例その１を示す図である。
【図３６】図３６は、第２の構成例その２を示す図である。
【図３７】図３７は、カメラ付き携帯電話を用いて本発明に係る画像変換を行う構成の一例を説明する図である。
【図３８】図３８は、ビデオカメラを用いて本発明に係る画像変換を行う構成の一例を説明する図である。
【図３９】図３９は、被写体や視環境が有する幾何特性や光学特性を説明する図である。
【図４０】図４０は、照明方程式パラメータを用いた超解像処理の一例を説明する図である。
【図４１】図４１は、三角測量の原理と、表面法線ベクトルの計測ができない例を説明するための図である。
【符号の説明】
【００２６】１００，２００，３００，４００  画像処理装置
１０１  光源方法光算出部
１０２  鏡面反射拡散反射分離部
１０３，２０３，３０２  低解像度照明方程式パラメータ推定部
１０９  高解像度照明方程式パラメータ推定部
１１０  低解像度化部
１１１  照明方程式パラメータ合成部
１２０  照明方程式パラメータ高解像度化部
２０１  形状推定部
３３  パラメータ入力画像特徴ベクトルデータベース部
３４  パラメータ画像特徴ベクトル番号置換テーブル
３５  パラメータ出力画像特徴ベクトルデータベース部
ＯＢＪ  被写体
ＩＬ  光源
ＰＦＩＬ  光源側偏光フィルタ
ＰＦＯＳ  撮影側偏光フィルタ
ＯＢＪＳ  被写体撮像装置
ＩＬＳ  光源撮像装置
ＩＩＮ  被写体画像
ＩＩＬ  光源画像
Ｉｓ  鏡面反射画像
Ｉｄ  拡散反射画像
Ｎ  表面法線ベクトル
ρｄ  拡散反射成分双方向反射率
Ｌ  光源ベクトル
ＩＯＵＴ  高解像度画像
【発明を実施するための最良の形態】
【００２７】  本発明の第１態様では、被写体の画像を高解像度化する画像処理方法として、被写体の照明方程式パラメータを推定する第１ステップと、推定した照明方程式パラメータについて、高解像度化を行う第２ステップと、高解像度化された照明方程式パラメータを合成して、高解像度画像を生成する第３ステップとを備え、前記第１ステップにおいて推定した照明方程式パラメータの推定精度が所定の精度を満たさない画素が存在するとき、前記第２ステップにおいて高解像度化した照明方程式パラメータをフィードバックして、再度、照明方程式パラメータの推定を行うものを提供する。【００２８】  本発明の第２態様では、被写体の画像を高解像度化する画像処理装置として、被写体の照明方程式パラメータを推定し、かつ、当該推定精度を判定し、所定の精度を満たした適合画素と所定の精度を満たさない不適合画素とを識別する低解像度照明方程式パラメータ推定部と、前記低解像度照明方程式パラメータ推定部によって推定された照明方程式パラメータについて、高解像度化を行う照明方程式パラメータ高解像度化部と、前記照明方程式パラメータ高解像度化部から出力された、適合画素の高解像度化照明方程式パラメータを用いて、不適合画素の高解像度化照明方程式パラメータを推定する高解像度照明方程式パラメータ推定部と、前記高解像度照明方程式パラメータ推定部の出力に不適合画素が存在する場合、適合画素の高解像度化照明方程式パラメータ、および前記高解像度照明方程式パラメータ推定部の出力を低解像度化して、前記低解像度照明方程式パラメータ推定部にフィードバックする低解像度化部とを備えたものを提供する。【００２９】  本発明の第３態様では、被写体の画像を高解像度化する画像処理装置として、前記被写体を、光源によって偏光フィルタを介して照射した状態で偏光フィルタを介して撮像した、複数の被写体画像を入力とし、前記複数の被写体画像から、鏡面反射画像と拡散反射画像とを分離する鏡面反射拡散反射分離部と、前記鏡面反射拡散反射分離部によって得られた鏡面反射画像および拡散反射画像を用いて、照明方程式パラメータの推定処理を行い、かつ当該推定精度を判定し、所定の精度を満たした適合画素と所定の精度を満たさない不適合画素とを識別する低解像度照明方程式パラメータ推定部と、前記低解像度照明方程式パラメータ推定部によって推定された照明方程式パラメータを含む低解像度パラメータ群について、高解像度化を行い、高解像度パラメータ群を得るものであって、かつ、前記低解像度パラメータ群のうち、前記被写体の表面法線ベクトルおよび拡散反射成分双方向反射率について、データベース参照による超解像処理を行う照明方程式パラメータ高解像度化部と、前記照明方程式パラメータ高解像度化部によって得られた高解像度パラメータ群において不適合画素が存在しないとき、前記高解像度パラメータ群を合成して輝度画像に変換し、高解像度画像として出力する照明方程式パラメータ合成部と、前記照明方程式パラメータ高解像度化部によって得られた前記高解像度パラメータ群において不適合画素が存在するとき、前記高解像度パラメータ群の中の不適合画素の推定処理を行う高解像度照明方程式パラメータ推定部と、前記高解像度照明方程式パラメータ推定部から出力された高解像度パラメータ群においてまだ不適合画素が存在するとき、この高解像度パラメータ群について低解像度化を行い、得られた低解像度パラメータ群を、適合画素として、前記低解像度照明方程式パラメータ推定部に与える低解像度化部とを備えたものを提供する。【００３０】  本発明の第４態様では、光源撮像装置が前記光源を撮像することによって得た光源画像を入力とし、かつ、前記光源画像から、光源ベクトルを算出する光源方向算出部を備え、前記光源方向算出部によって算出された光源ベクトルは、前記低解像度照明方程式パラメータ推定部に与えられる前記第３態様の画像処理装置を提供する。【００３１】  本発明の第５態様では、前記複数の被写体画像および前記光源画像から、前記被写体の表面法線ベクトルを推定する形状推定部を備え、前記形状推定部によって推定された表面法線ベクトルは、前記低解像度照明方程式パラメータ推定部に与えられる前記第４態様の画像処理装置を提供する。【００３２】  本発明の第６態様では、前記照明方程式パラメータ高解像度化部は、前記データベース参照による超解像処理のために、低解像度パラメータ画像および高解像度パラメータ画像についてそれぞれ、空間周波数解析を行うことによって得られた、低解像度画像特徴ベクトルおよび高解像度画像特徴ベクトルを、それぞれ格納したデータベースと、前記低解像度画像特徴ベクトルと前記高解像度画像特徴ベクトルとの対応関係を記述したテーブルとを備えたものである前記第３態様の画像処理装置を提供する。【００３３】  本発明の第７態様では、前記空間周波数解析は、ウェーブレット変換を用いて行う前記第６態様の画像処理装置を提供する。【００３４】  本発明の第８態様では、前記低解像度化部は、前記照明方程式パラメータ高解像度化部が備えた前記データベースおよびテーブルを用いて、低解像度化を行う前記第６態様の画像処理装置を提供する。【００３５】  本発明の第９態様では、前記低解像度照明方程式パラメータ推定部および前記高解像度照明方程式パラメータ推定部は、シンプレックス法を用いて、推定処理を実行する前記第３態様の画像処理装置を提供する。【００３６】  本発明の第１０態様では、被写体の画像を高解像度化する画像処理方法として、前記被写体を、光源によって偏光フィルタを介して照射した状態で偏光フィルタを介して撮像した複数の被写体画像から、鏡面反射画像と拡散反射画像とを分離する第１のステップと、前記第１のステップにおいて得られた鏡面反射画像および拡散反射画像を用いて、照明方程式パラメータの推定処理を行う第２のステップと、前記第２のステップによって推定された照明方程式パラメータを含む低解像度パラメータ群について、高解像度化を行い、高解像度パラメータ群を得るものであって、かつ、前記低解像度パラメータ群のうち、前記被写体の表面法線ベクトルおよび拡散反射成分双方向反射率について、データベース参照による超解像処理を行う第３のステップと、前記第３のステップにおいて得られた高解像度パラメータ群において不適合画素が存在しないとき、前記高解像度パラメータ群を合成して輝度画像に変換し、高解像度画像として生成する第４���ステップと、前記第３のステップにおいて得られた前記高解像度パラメータ群において不適合画素が存在するとき、前記高解像度パラメータ群の中の不適合画素の推定処理を行う第５のステップと、前記第５のステップにおいて得られた高解像度パラメータ群においてまだ不適合画素が存在するとき、この高解像度パラメータ群について低解像度化を行い、得られた低解像度パラメータ群を適合画素として用いて、再度、前記第２のステップを実行する第６のステップとを備えたものを提供する。【００３７】  本発明の第１１態様では、被写体の画像を高解像度化する画像処理方法をコンピュータに実行させるプログラムとして、前記被写体を、光源によって偏光フィルタを介して照射した状態で偏光フィルタを介して撮像した複数の被写体画像から、鏡面反射画像と拡散反射画像とを分離する第１のステップと、前記第１のステップにおいて得られた鏡面反射画像および拡散反射画像を用いて、照明方程式パラメータの推定処理を行う第２のステップと、前記第２のステップによって推定された照明方程式パラメータを含む低解像度パラメータ群について、高解像度化を行い、高解像度パラメータ群を得るものであって、かつ、前記低解像度パラメータ群のうち、前記被写体の表面法線ベクトルおよび拡散反射成分双方向反射率について、データベース参照による超解像処理を行う第３のステップと、前記第３のステップにおいて得られた高解像度パラメータ群において不適合画素が存在しないとき、前記高解像度パラメータ群を合成して輝度画像に変換し、高解像度画像として生成する第４のステップと、前記第３のステップにおいて得られた前記高解像度パラメータ群において不適合画素が存在するとき、前記高解像度パラメータ群の中の不適合画素の推定処理を行う第５のステップと、前記第５のステップにおいて得られた高解像度パラメータ群においてまだ不適合画素が存在するとき、この高解像度パラメータ群について低解像度化を行い、得られた低解像度パラメータ群を適合画素として用いて、再度、前記第２のステップを実行する第６のステップとをコンピュータに実行させるものを提供する。【００３８】  以下、本発明の実施の形態について図面を参照して詳細に説明する。【００３９】  （実施の形態１）
本実施の形態では、照明方程式パラメータ計測装置で被写体の照明方程式パラメータの一部を計測し、被写体撮像装置で被写体からの反射光を撮影する。そして、画像処理装置が、これらの計測情報から被写体撮像センサの解像度よりも高い解像度の画像を出力する。【００４０】  図１は本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。画像処理装置４００は、被写体撮像装置ＯＢＪＳの被写体画像ＩＩＮを拡大するための装置であり、低解像度（ＬＲ）照明方程式パラメータ推定部１０３、照明方程式パラメータ高解像度化部１２０、第１スイッチャ部４０２、高解像度（ＨＲ）照明方程式パラメータ推定部１０９、第２スイッチャ部４０３、低解像度化部１１０、および照明方程式パラメータ合成部１１１を備えている。【００４１】  各処理部に入力する信号、あるいは各処理部から出力する信号のうち、上付きでＬを付したものは、低解像度の意味を示し、被写体撮像装置ＯＢＪＳの解像度と一致する。一方、上付きでＨを付したものは、高解像度の意味を示し、後述する高解像度化処理により被写体撮像装置ＯＢＪＳよりも高い解像度を有することを意味する。【００４２】  照明方程式パラメータ計測装置ＩＥＰＳは、視環境ＶＥにおける被写体ＯＢＪの注目点Ｐの照明方程式パラメータを計測する。照明方程式としては例えば（式１）と（式２）を用い、したがって、注目点Ｐの表面法線ベクトルや光源ベク卜ルなどを計測する。この計測結果は、計測パラメータＭＰＬとして画像処理装置４００へ入力され、ＬＲ照明方程式パラメータ推定部１０３に与えられる。【００４３】  被写体撮像装置ＯＢＪＳは、被写体ＯＢＪからの反射光を撮影する。撮影結果は、被写体画像ＩＩＮとして画像処理装置４００へ入力され、ＬＲ照明方程式パラメータ推定部１０３に与えられる。【００４４】  ＬＲ照明方程式パラメータ推定部１０３は、例えば（式１）の照明方程式をベースに、照明方程式パラメータ計測装置ＩＥＰＳの計測対象ではない照明方程式パラメータを推定する。例えば、照明方程式パラメータ計測装置ＩＥＰＳの計測対象が、光源ベクトルＬＬ、鏡面反射画像ＩｓＬ、拡散反射画像ＩｄＬ、表面法線ベクトルＮＬ、環境光の輝度ＩａＬであった場合、注目点Ｐの照度ＥｉＬ、鏡面反射成分比ｋｓＬ、物体表面の粗さ（粗さ係数）ｍＬ、屈折率ｎＬ、拡散反射成分の双方向反射率ρｄＬを推定する。【００４５】  本発明は推定方法に制限を与えるものではなく、任意の方法を適用できるが、ここでは一例として、シンプレックス法を用いて、鏡面反射成分に関わる光学パラメータすなわち、照度ＥｉＬ、鏡面反射成分比ｋｓＬ、物体表面の粗さｍＬ、屈折率ｎＬを推定する。引き続き、推定された照度ＥｉＬおよび鏡面反射成分比ｋｓＬと拡散反射画像ＩｄＬとを用いて、拡散反射成分の双方向反射率ρｄＬを算出する。なお、照明方程式に関しても同様に、本発明は制限を与えるものではなく、任意のモデルを適用できる。【００４６】  図２は、シンプレックス法によって、注目点Ｐの照度ＥｉＬ、鏡面反射成分比ｋｓＬ、物体表面の粗さｍＬ、屈折率ｎＬを推定するフローチャートを示す。鏡面反射画像ＩｓＬは、（式１）と（式２）から、
（１）表面法線ベクトルＮＬ
（２）光源ベクトルＬＬ
（３）視点ベクトルＶＬ
（４）注目点Ｐの照度ＥｉＬ
（５）鏡面反射成分比ｋｓＬ
（６）物体表面の粗さｍＬ
（７）屈折率ｎＬ
で決まることがわかるが、このうち、ＬＲ照明方程式パラメータ推定部１０３へ入力する照明方程式パラメータは、（１）から（３）の３つである。従って、シンプレックス法で推定する照明方程式パラメータは、（４）から（７）の４つとなる。ただし、Ｅｉとｋｓは、（式１）に示すように、掛け算の関係にあり、Ｅｉとｋｓを別々の未知数として推定すると、無限個の組み合わせが想定でき、最適化が行えない。そこで、図２では、Ｅｉｋｓを１つの未知数とし、結果的に推定対象の照明方程式パラメータは、（（Ｅｉｋｓ）ＬｍＬｎＬ）の３つとする。【００４７】  シンプレックス法では、推定値の候補を（（Ｅｉｋｓ）ＬｍＬｎＬ）ｃａｎｄｉｄａｔｅとして設定し、照明方程式である（式１）と（式２）を計算して鏡面反射画像の候補（ＩｓＬ）ｃａｎｄｉｄａｔｅを算出し、誤差評価関数として、真値である鏡面反射画像（ＩｓＬ）ｔａｒｇｅｔとの輝度差ΔＩｓＬを計算する。誤差評価関数である輝度差ΔＩｓＬが閾値ｔより小さければ、推定値候補の（（Ｅｉｋｓ）ＬｍＬｎＬ）ｃａｎｄｉｄａｔｅは推定結果として採用される。逆に、誤差評価関数である輝度差ΔＩｓＬが閾値ｔより大きければ、後述するようにシンプレックスと呼ぶ図形を変形して、推定値の候補（（Ｅｉｋｓ）ＬｍＬｎＬ）ｃａｎｄｉｄａｔｅを更新し、再度、鏡面反射画像の候補（ＩｓＬ）ｃａｎｄｉｄａｔｅを計算して、真値である鏡面反射画像（ＩｓＬ）ｔａｒｇｅｔとの輝度差ΔＩｓＬを評価する。以上の考え方に基づいて、図２のフローチャートを説明する。【００４８】  ステップＳ００は、後述する閾値処理と分岐処理、繰り返し処理回数のチェックのために、閾値ｔ、分岐条件Ｃ、繰り返し上限回数ｒを設定する。ステップＳ０１は、推定値の候補（（Ｅｉｋｓ）ＬｍＬｎＬ）ｃａｎｄｉｄａｔｅの初期値を与える。具体的には、乱数発生などを用いる。ステップＳ０２は、推定値の候補（（Ｅｉｋｓ）ＬｍＬｎＬ）ｃａｎｄｉｄａｔｅと、光源ベクトルＬＬ、表面法線ベクトルＮＬ、視点ベクトルＶＬを照明方程式である（式１）に入力し、鏡面反射画像の候補（ＩｓＬ）ｃａｎｄｉｄａｔｅを算出する。ステップＳ０３は鏡面反射画像の候補（ＩｓＬ）ｃａｎｄｉｄａｔｅとターゲットである鏡面反射画像の真値（ＩｓＬ）ｔａｒｇｅｔとの輝度差△ＩｓＬを算出し、ステップＳ０４は閾値ｔ（輝度値を８ビットの０から２５５の２５６階調で表現した場合、例えばｔ＝０．０１とする）と比較する。【００４９】  誤差評価関数である輝度差△ＩｓＬが閾値ｔより小さい場合は、推定値の候補（（Ｅｉｋｓ）ＬｍＬｎＬ）ｃａｎｄｉｄａｔｅを推定結果として出力し、図２の処理を終了する。この処理対象の画素は、推定精度が所定の基準（真値との誤差が閾値ｔ未満）を満たしたため、「適合画素」と判定する。【００５０】  一方、誤差評価関数である輝度差△ＩｓＬが閾値ｔより大きい、あるいは等しい場合は、ステップＳ０５において、シンプレックスの更新回数ｒｓと繰り返し上限回数ｒとを比較し、シンプレックスの更新回数ｒｓが繰り返し上限回数ｒを超えている場合は、閾値ｔを大きくして推定精度を低くし、再度、初期値設定のステップＳ０１から推定をやり直す。この処理対象の画素は、推定精度��所定の基準（真値との誤差が閾値ｔ未満）を満たしていないため、「不適合画素」と判定する。不適合画素は、後述する第１スイッチャ部４０２、ＨＲ照明方程式パラメータ推定部１０９、低解像度化部１１０を経由して、ＬＲ照明方程式パラメータ推定部１０３へフィードバックし、再度、ＬＲ照明方程式パラメータ推定部１０３でパラメータ推定をやり直す。この際、当初の閾値ｔに設定を戻し、当初の推定精度のレベルで不適合画素の照明方程式パラメータの推定を行う。一方、シンプレックスの更新回数ｒｓが繰り返し上限回数ｒを超えていない場合は、ステップＳ０６においてシンプレックスを鏡像、拡張、収縮で変形して、推定値の候補（（Ｅｉｋｓ）ＬｍＬｎＬ）ｃａｎｄｉｄａｔｅを更新し、推定値の次の候補（（Ｅｉｋｓ）ＬｍＬｎＬ）ｎｅｗ＿ｃａｎｄｉｄａｔｅを算出する。【００５１】  シンプレックスはｎ次元空間の（ｎ＋１）個の点の集合で、ｎ＝２の場合は三角形になる。図２では（Ｅｉｋｓ）Ｌ、ｍＬ、ｎＬの３つの変数を対象とするため、シンプレックスは４面体になる。シンプレックスの頂点をベクトルｘｊで表し、新しいベクトルｘｈ、ｘｓ、ｘ１、ｘ０を次式で定める。
【数４】
2008026518.tif 000006
引き続き、以下の３つの操作を行って、シンプレックスの大きさと形を変え、関数の最適化を行う。
【数５】
2008026518.tif 000007
ここで、α（＞０）、β（＞１）、γ（１＞γ＞０）は係数であり、例えば、α＝１、β＝２、γ＝１／２などの値を用いる。【００５２】  これらの操作を２次元で行う場合を図３に示す。シンプレックス法の関数最適化の考え方は、シンプレックスの頂点の中で関数値の最も大きなものを選べば、その鏡像における関数値は小さくなるとの仮定に基づいている。この仮定が正しければ、同じプロセスの繰り返しで、関数の最小値が求められる。図２における関数とは、誤差評価関数である輝度差△ＩｓＬであり、（式１４）と（式１５）による（Ｅｉｋｓ）Ｌ、ｍＬ、ｎＬの更新に伴って輝度差△ＩｓＬは小さくなり、閾値ｔより小さくなったときに最適化処理は終了し、（Ｅｉｋｓ）Ｌ、ｍＬ、ｎＬの推定値が決定される。【００５３】  ステップＳ０７は、推定値の次の候補（（Ｅｉｋｓ）ＬｍＬｎＬ）ｎｅｗ＿ｃａｎｄｉｄａｔｅと既存パラメータが分岐条件Ｃをすべて満たしているかを確認し、すべてを満たしている場合は、ステップＳ０２へ戻り、再度、閾値ｔとの比較を行う。一方、推定値の次の候補（（Ｅｉｋｓ）ＬｍＬｎＬ）ｎｅｗ＿ｃａｎｄｉｄａｔｅと既存パラメータが分岐条件Ｃのすべてを満たしていない場合は、ステップＳ０１へ戻り、初期値を再設定する。【００５４】  分岐条件Ｃは、例えば、（式２）の屈折率ｎが１以上、フレネル係数Ｆλが０以上１以下、物体表面の粗さｍが０以上、マイクロファセット分布関数Ｄが０以上とする。これらの条件は、物理的な裏付けで各パラメータ値の合理性を確認するものであり、これらの１つでも満たさないものが発生した場合は、照明方程式パラメータが物理的な矛盾を含んでいると判断し、これらを破棄する。推定方法の観点から見ると、関数最適化は進捗しているが、物理的な視点から見ると矛盾する解空間へ進んでいる、と解釈できる。そこで、このままシンプレックスの更新を進めても、物理的矛盾を含んだ解空間から抜け出せないため、ステップＳ０１へ戻って、初期値を再設定して物理的矛盾を含んだ解空間から抜け出す。【００５５】  以上、図２によって、照度Ｅｉ、鏡面反射成分比ｋｓ、物体表面の粗さｍ、屈折率ｎの推定がなされ、閾値ｔを更新することなく推定が完了した「適合画素」と、閾値ｔを更新して推定が完了した「不適合画素」とが決定される。【００５６】  なお、シンプレックス法は一例であり、ｆ（ｘ）＝０を繰り返し法で求めるニュートンラフソン法を利用できる。すなわち、ｆ（ｘ）を真値と推定値の差分とし、ｆ（ｘ）＝０が所定の誤差以内で満たせば、適合画素となる。ニュートンラフソン法は、ｆ（ｘ）＝０の根に近いｘ＝ｘｏでｆ（ｘ）をテーラー展開して、一次の項のみを取ると、ｘの微小変化Δｘに対して、ｆ（ｘｏ＋Δｘ）＝ｆ（ｘｏ）＋ｆ‘（ｘｏ）Δｘが成り立つことを利用するもので、ｙ＝ｆ（ｘ）上の点（ｘｏ、ｙｏ）の接線がｘ軸と交わる交点ｘ１を繰り返し求めることでｆ（ｘ）＝０の根を求めることができる。本発明は、パラメータ推定の方法に制限を与えるものではなく、任意の推定方法が適用可能である。【００５７】  拡散反射成分比ｋｄは１−ｋｓで与えられ、照度ＥｉＬと拡散反射画像ＩｄＬが既知であるため、拡散反射成分の双方向反射率ρｄＬを計算でき、ＬＲ照明方程式パラメータ推定部１０３から出力される。【００５８】  以上により、ＬＲ照明方程式パラメータ推定部１０３は、照明方程式パラメータの推定を完了し、推定結果を推定パラメータＥＰＬとして出力する。推定パラメータＥＰＬに含まれる適合画素と不適合画素の識別は、適合性識別画像ＡＳＩＬが担う。すなわち、適合性識別画像ＡＳＩＬは、入力画像ＩＩＮと同じ画像サイズの１ビット画像であり、適合画素を１、不適合画素を０として記録する。【００５９】  不適合画素が発生する要因は様々想定されるが、例えば、図４１を用いて説明したように、表面法線ベクトルの計測で不具合が発生し、その結果、ＬＲ照明方程式パラメータ推定部１０３での推定精度が所定の基準を満たさず、処理対象の画素が不適合画素になる場合が考えられる。このような不適合画素の推定精度を向上するには、新たな付加情報を付加して再度、残存する不適合画素を推定する必要がある。そこで、超解像処理にデータベース参照型を適用し、データベースから引き出した高解像度パラメータで超解像処理を施すとともに、高解像度パラメータを新たな付加情報として利用して、再度、パラメータ推定を行う。超解像処理は、具体的には、後述する材質補間部１０５とテクスチャ超解像部１０７で成されるが、このうち、テクスチャ超解像部１０７では、後述するようにデータベースを参照して高解像度情報を取得する。取得された高解像度情報は、照明方程式パラメータ計測装置ＩＥＰＳからは取得できない新しい付加情報であり、従って、テクスチャ超解像部１０７で超解像処理された照明方程式パラメータを適合画素に加えることで、不適合画素を所定の推定精度で推定できる可能性が高まる。【００６０】  なお、推定精度を判定する所定の基準は、一般に、利用者の要求画質などによって決まる。すなわち、利用者の要求画質を満たしていれば、適合であり、要求画質を満たしていなければ、不適合である、とする。利用者の要求画質は、利用目的や使用する機器などに依存して様々であり、例えば、ディスプレイで絵画を鑑賞する場合と、ニュース番組で情報を得たい場合では、一般に前者の方がより高い画質が要求される。機器の違いとしては、携帯型の小型ディスプレイよりも、ホームシアターなどで使用される据置き型の大型ディスプレイの方が高い画質を要求される。【００６１】  また、推定精度の判定基準は、画像内のエリアごとに切り替えても構わない。すなわち、画像内に、前景となる人物が映っていて、背景に建物が映っていた場合を想定する。カメラの焦点は、前景の人物に合っており、背景の建物は被写界深度外の位置にあって、ボケていたとする。このような場合、一般に、前景の人物に対する要求画質は高く、背景には、高い画質は要求されない。そこで、前景と背景に個別の判定基準を割り当てて、より少ない計算で推定精度の適合性を確保することができる。【００６２】  以降、照明方程式パラメータ高解像度化部１２０の内部構成として、補間による超解像処理を行う、テクスチャ解析Ａ部１０４と材質別補間部１０５を説明し、データベース参照による超解像処理を行う、テクスチャ解析Ｂ部１０６とテクスチャ超解像部１０７を説明する。引き続き、テクスチャ超解像部１０７の出力を照明��程式パラメータの推定にフィードバックする仕組みとして、ＨＲ照明方程式パラメータ推定部１０９と低解像度化部１１０を説明する。【００６３】  図４は、照明方程式パラメータ高解像度化部１２０の内部構成を説明する図である。テクスチャ解析Ａ部１０４は、後述する材質別補間部１０５による高解像度化処理の前処理を行うものとして機能する。鏡面反射成分比ｋｓＬ、物体表面の粗さｍＬ、屈折率ｎＬは被写体が持つ材質に依存した光学特性パラメータであり、材質ごとに一定値になると考えられる。そこで、テクスチャ解析Ａ部１０４はテクスチャの違いから材質判別を行い、材質別補間部１０５は材質ごとに各パラメータ値を補間する。一方、拡散反射成分の双方向反射率ρｄＬと表面法線ベクトルＮＬは、特別な拘束条件を受けない独立したパラメータであり、従って、補間による高解像度化で画質的に十分である根拠が存在しない。そこで、高解像度化処理はテクスチャ特徴量ベクトル変換テーブルを参照する方式を用いる。つまり、あらかじめ、複数サンプルを用いて低解像度画像と高解像度画像を取得し、データベースに保存しておく。超解像実行時には、低解像度画像でデータベースを参照し、高解像度画像をデータベースから取得する。そこで、テクスチャ解析Ｂ部１０６は特徴量ヒストグラムで材質と解像度を特定し、テクスチャ超解像部１０７はテクスチャ特徴量変換テーブルを参照してテクスチャ特徴量を超解像度化する。【００６４】  なお、補間部１１２は、解像度独立性の高い光源ベクトルＬＬ、環境光の輝度ＩａＬ、照度ＥｉＬを補間、あるいは空間的にコピーして解像度を増やし、光源ベクトルＬＨ、環境光の輝度ＩａＨ、照度ＥｉＨを出力する。【００６５】  以降、テクスチャ解析Ａ部１０４と材質別補間部１０５の組み合わせと、テクスチャ解析Ｂ部１０６とテクスチャ超解像部１０７の組み合わせで、高解像度化処理の詳細を説明する。【００６６】  なお、照明方程式パラメータ高解像度化部１２０には適合性識別画像ＡＳＩＬが入力されており、この適合性識別画像ＡＳＩＬはテクスチャ解析Ａ部１０４およびテクスチャ解析Ｂ部１０６にそれぞれ与えられる。そして、照明方程式パラメータ高解像度化部１２０は、適合性識別画像ＡＳＩＬを参照して、照明方程式パラメータの高解像度化を適合画素についてのみ行う。これにより、処理量を削減することができる。ただし、全ての画素について照明方程式パラメータの高解像度化を行うようにしても、もちろんかまわない。【００６７】  図５は、テクスチャ解析Ａ部１０４と材質別補間部１０５の詳細を示すブロック図である。鏡面反射成分比ｋｓＬ、物体表面の粗さｍＬ、屈折率ｎＬは、それぞれ、パラメータ値を画素値とするパラメータ入力画像ＰＩＩＮとしてテクスチャ解析Ａ部１０４へ入力される。【００６８】  テクスチャ解析Ａ部１０４は、画像特徴解析部２１で空間周波数解析を行い、テクスチャ情報を表すパラメータ入力画像特徴ベクトルＰＩＩＮＦＶを出力する。空間周波数解析には任意の方式が適用可能であるが、例えば、図６に示すウェーブレット変換を用いる。ｎ回のスケーリングそれぞれにおいてウェーブレット変換の出力ＨＬ，ＬＨ，ＨＨ，ＬＬを求め、これらを階層ごとに束ねることによって得た（３ｎ＋１）次元ベクトルをパラメータ入力画像特徴ベクトルＰＩＩＮＦＶとする。【００６９】  ハール型のマザーウェーブレットを用いた場合には、図７（ａ）に示すように、ＨＬは処理対象の画素９６０の右隣接画素９６１との差分値、ＬＨは処理対象の画素９６０の下隣接画素９６２との差分値、ＨＨは斜下隣接画素９６３との差分値、ＬＬは処理対象の画素９６０を含む右、下、斜下の４つの画素９６０〜９６３の平均値である。図７（ａ）はスケール１に相当し、図７（ｂ）はスケール２に相当する。スケール２では、スケール１における４画素９６０〜９６３の平均値である出力ＬＬが差分値の計算対象になる。すなわち、スケール２における出力ＨＬはブロック９６４とブロック９６５の差分値、スケール２における出力ＬＨはブロック９６４とブロック９６６の差分値、スケール２における出力ＨＨはブロック９６４とブロック９６７の差分値となる。また、スケール２における出力ＬＬはブロック９６４〜９６７の平均値となる。【００７０】  図８は、スケールレベルｎ＝２を例にとって、画像特徴量を画素ごとに算出する方法を説明する図である。図８（ａ）は、画素９７０の画像特徴量（ｗ１，ｗ２，…，ｗ７）１，１を算出する方法であり、ブロック９７１内の１６画素がウェーブレット変換で参照されて、７次元の画像特徴量が算出される。同様に、図８（ｂ）は、画素９７２の画像特徴量（ｗ１，ｗ２，…，ｗ７）１，２を算出する方法であり、ブロック９７３内の１６画素がウェーブレット変換で参照されて、７次元の画像特徴量が算出される。図８（ｃ）は、画素９７４の画像特徴量（ｗ１，ｗ２，…，ｗ７）１，３を算出する方法であり、ブロック９７５内の１６画素がウェーブレット変換で参照されて、７次元の画像特徴量が算出される。以上のように、ウェーブレット変換で参照されるブロックが１画素ごとに移動することによって、画素ごとに画像特徴量が算出される。【００７１】  類似特徴ベクトル検出部２２は、パラメータ入力画像ＰＩＩＮの全画素に対して、パラメータ入力画像特徴ベクトルＰＩＩＮＦＶに近いベクトルを見つけ出す。ベクトルの類似度は２つのベクトルの内積で検出することができ、全画素に対する内積の中から最も大きなものを順に３つ取り出し、類似パラメータ入力画像特徴ベクトル群ＰＩＩＮＦＶＧとする。【００７２】  図９は、画像特徴量空間ＦＳにおけるパラメータ入力画像特徴ベクトルＰＩＩＮＦＶと類似パラメータ入力画像特徴ベクトル群ＰＩＩＮＦＶＧの位置関係の例を示す。ベクトルＦＶ１〜ＦＶ３は、類似特徴ベクトル検出部２２によって検出された類似パラメータ入力画像特徴ベクトル群ＰＩＩＮＦＶＧの要素を示す。【００７３】  類似特徴ベクトル補間部２３は、パラメータ入力画像特徴ベクトルＰＩＩＮＦＶと類似パラメータ入力画像特徴ベクトル群ＰＩＩＮＦＶＧとの距離Ｄ１〜Ｄ３を求めて、（式１６）によって補間を行い、パラメータ出力画像特徴ベクトルＰＩＯＵＴＦＶを算出する。
【数６】
2008026518.tif 000008
【００７４】  画像生成部２４は、パラメータ出力画像特徴ベクトルＰＩＯＵＴＦＶに画像特徴解析部２１の逆変換（例えば、逆ウェーブレット変換）を施す。この結果、鏡面反射成分比ｋｓＨ、物体表面の粗さｍＨ、屈折率ｎＨのパラメータ出力画像ＰＩＯＵＴが、材質別補間部１０５から出力される。【００７５】  図１０は、テクスチャ解析Ｂ部１０６とテクスチャ超解像部１０７の詳細を示すブロック図である。拡散反射成分の双方向反射率ρｄＬと表面法線ベクトルＮＬは、それぞれ、パラメータ値を画素値とするパラメータ入力画像ＰＩＩＮとしてテクスチャ解析Ｂ部１０６へ入力される。このとき、初期拡大が行われる。画像特徴解析部３１は、パラメータ入力画像ＰＩＩＮの空間周波数解析を行い、テクスチャ情報を表わすパラメータ入力画像特徴ベクトルＰＩＩＮＦＶを出力する。空間周波数解析には、図６のウェーブレット変換を用いる。ベクトル量子化部３２は、パラメータ入力画像特徴ベクトルデータベース部３３に格納された画像特徴ベクトルの中から、パラメータ入力画像特徴ベクトルＰＩＩＮＦＶに最も近いベクトルを検出する。パラメータ入力画像特徴ベクトルデータベース部３３は、図１１に示すように、パラメータ入力画像特徴ベクトルとパラメータ入力画像特徴ベクトル番号の組からなり、複数のサンプル画像を用いて、予め作成しておく。以上より、テクスチャ解析Ｂ部１０６は、拡散反射成分の双方向反射率ρｄＬ、あるいは表面法線ベクトルＮＬのテクスチャ情報をパラメータ入力画像特徴ベクトル番号ＰＩＩＮＦＶＮとしてテクスチャ超解像部１０７へ出力する。【００７６】  テクスチャ超解像部１０７は、パラメータ画像特徴ベクトル番号置換テーブル３４で、パラメータ入力画像特徴ベクトル番号ＰＩＩＮＦＶＮをパラメータ出力画像特徴ベクトル番号ＰＩＯＵＴＦＶＮに置換する。これにより、超解像化が行われる。すなわち、パラメータ出力画像特徴ベクトル番号ＰＩＯＵＴＦＶＮは、パラメータ出力画像特徴ベクトルデータベース部３５において、図１２に示すように、超解像化された画像特徴量ベクトルとの対応が記述されており、パラメータ画像特徴ベクトル番号置換テーブル３４における番号の変換で、実質、超解像化が成される。【００７７】  パラメータ画像特徴ベクトル番号置換テーブル３４は、図１３に示すように、予め、複数のサンプルを用いて、低解像度画像と高解像度画像の画像特徴量ベクトルの関係から作成される。パラメータ入力画像特徴ベクトルデータベース３３に低解像度画像の画像特徴が格納され、パラメータ出力画像特徴ベクトルデータベース３５に高解像度画像の画像特徴が格納される。図１３の例では、図６のウェーブレット変換をスケールレベル３まで実行した際に得られる１０次元ベクトルとして例示している。パラメータ画像特徴ベクトル番号置換テーブル３４は、低解像度画像と高解像度画像の同一画素間での対応から構築する。【００７８】  パラメータ出力画像特徴ベクトルデータベース部３５は、パラメータ出力画像特徴ベクトル番号ＰＩＯＵＴＦＶＮが示すパラメータ出力画像特徴ベクトルＰＩＯＵＴＦＶを取り出す。画像生成部３６は、画像特徴解析部３１の逆変換（例えば、逆ウェーブレット変換）によって、パ���メータ出力画像特徴ベクトルＰＩＯＵＴＦＶをパラメータ出力画像ＰＩＯＵＴに変換する。この結果、拡散反射成分の双方向反射率ρｄＨ、あるいは表面法線ベクトルＮＨがテクスチャ超解像部１０７から出力される。【００７９】  なお、上述したように、パラメータ画像特徴ベク卜ル番号置換テーブル３４は、低解像度画像と高解像度画像の同一画素間での対応から構築するため、低解像度画像と高解像度画像の画像サイズを同一にしておく必要がある。低解像度画像は、高解像度画像よりも画像サイズが小さいため、低解像度画像を、例えば、バイリニア補間やバイキュービック補間で高解像度と同じ画像サイズに一旦、初期拡大すればいい。従って、実質、テクスチャ超解像部１０７は、初期拡大された低解像度画像にデータベースから取得した高周波成分を主体とするディテイルを付け加えるように機能する。【００８０】  以上により、超解像処理が完結するが、同時に、出力画像特徴ベクトルデータベース部３５で取り出したパラメータ出力画像特徴ベクトルＰＩＯＵＴＦＶが不適合画素の推定精度向上に利用する新しい付加情報として取得された。推定パラメータＥＰＨに含まれる適合画素と不適合画素の識別は、適合性識別画像ＡＳＩＬで行う。【００８１】  第１スイッチャ部４０２は、適合性識別画像ＡＳＩＬを参照して、不適合画素の有無を確認し、高解像度化されたパラメータの出力先を切り替える。全画素が適合画素である場合は、推定パラメータＥＰＨを照明方程式パラメータ合成部１１１へ出力する。一方、不適合画素が存在する場合は、推定パラメータＥＰＨをＨＲ照明方程式パラメータ推定部１０９へ出力し、後述するように、照明方程式パラメータの推定を再度実施する。【００８２】  ＨＲ照明方程式パラメータ推定部１０９は、推定パラメータＥＰＨの中の不適合画素の推定を行う。推定パラメータＥＰＨのうち、拡散反射成分の双方向反射率ρｄＨと表面法線ベクトルＮＨは、パラメータ出力画像特徴ベクトルデータベース部３５を参照して取得されたものであり、照明方程式パラメータ計測装置ＩＥＰＳでは計測できない新たな適合画素と位置づけられる。このため、高解像度化された照明方程式パラメータを用いれば、ＬＲ照明方程式パラメータ推定部１０３で推定できなかった照明方程式パラメータが推定できる可能性がある。ＨＲ照明方程式パラメータ推定部１０９の具体的な推定方法は任意であり、本発明は制限を与えないが、例えば、図２に説明したシンプレックス法を用いる。誤差評価関数の閾値比較によって、適合画素と不適合画素を判定し、適合性識別画像ＡＳＩＨを出力する。【００８３】  第２スイッチャ部４０３は、適合性識別画像ＡＳＩＨを参照して、不適合画素の有無を確認する。すべての画素が適合画素となった場合は、推定パラメータＥＰＨを照明方程式パラメータ合成部１１１へ出力する。一方、ＨＲ照明方程式パラメータ推定部１０９で推定した結果、不適合画素が残っている場合は、ＬＲ照明方程式パラメータ推定部１０３へ戻して、低解像度画像の状態で、再度、パラメータ推定を実行する。そのためには、高解像度化されたパラメータを低解像度化する必要があるため、ＨＲ照明方程式パラメータ推定部１０９の出力である推定パラメータＥ��Ｈを低解像度化部１１０に出力して低解像化処理を施し、その後、ＬＲ照明方程式パラメータ推定部１０３へ入力する。【００８４】  低解像度化部１１０は、推定パラメータＥＰＨに対して低解像度化処理を施して、推定パラメータＥＰＬとして出力する。低解像度処理の具体的な方法は、被写体撮像装置ＯＢＪＳの撮像特性に依存する。つまり、被写体撮像装置ＯＢＪＳが被写体ＯＢＪを近距離で撮影した高解像度画像と、遠距離で撮影した低解像度画像を取得し、２つの輝度値の変化を低解像度化部１１０に反映する。具体的には、図１３のように、パラメータ画像特徴ベクトルの対応関係を画素単位で構築し、図１０の流れの逆方向をたどって、低解像度画像を得ればいい。この場合、図１０に示したパラメータ入力画像特徴ベクトルデータベース部３３、パラメータ画像特徴ベクトル番号置換テーブル３４およびパラメータ出力画像特徴ベクトルデータベース部３５を用いればよい。【００８５】  また、近似的には２次元のガウス関数を畳み込んで低解像度画像を算出したり、近隣画素の平均値で低解像度画像とする方法などがある。また、輝度ではなく、図９に示したように、パラメータ画像特徴ベクトルを補間する方法もある。【００８６】  不適合画素の有無を示す適合性識別画像ＡＳＩＬは、第２スイッチャ部４０３から入力される適合性識別画像ＡＳＩＨをもとに、図１４に示す方法で生成される。図１４（ａ）の適合性識別画像ＡＳＩＨにおいて、画素４０５が不適合画素であり、それ以外の画素は適合画素とする。低解像度化部１１０の低解像処理の結果、適合性識別画像ＡＳＩＬの画素４０６が、適合性識別画像ＡＳＩＨの４画素×４ラインの１６画素をもとに生成されたとする場合、画素４０６は、不適合画素４０５の影響を受けている。そこで、画素４０６は不適合画素となる。一方、図１４（ｂ）の適合性識別画像ＡＳＩＨでは、適合性識別画像ＡＳＩＬの画素４０６に影響を与える４画素×４ラインの１６画素すべてが適合画素である。この場合は、画素４０６は適合画素となる。【００８７】  低解像度化部１１０からフィードバックされた推定パラメータＥＰＬは、テクスチャ超解像部１０７の出力画像特徴ベクトルデータベース部３５において、超解像に必要な付加情報が加えられた上で算出されているため、被写体撮影装置ＯＢＪＳや形状計測装置ＮＳが取得できない新たな情報が付加されている。従って、ＬＲ照明方程式パラメータ推定部１０３における１回目の推定で不適合画素となったものについて、パラメータが推定できる可能性が高い、と捉えられる。【００８８】  上記の処理を繰り返せば、テクスチャ超解像部１０７での超解像処理が施される度に、照明方程式パラメータの情報量が増加し、不適合画素のパラメータを推定できる可能性が高まり、すべての画素が適合画素となり得る。【００８９】  照明方程式パラメータ合成部１１１は、（式１）の照明方程式を用いて、高解像度化されたパラメータを合成して輝度画像に変換し、高解像度画像ＩＯＵＴとして出力する。【００９０】  図１５は、図１に示した画像処理装置４００のブロック図の動作フローを示す。ステップＳ４００は、初期設定として、ＬＲ照明方程式パラメータ推定部１０３やＨＲ照明方程式パラメ��タ推定部１０９で実行する推定処理の初期値や閾値、分岐条件等の設定を行う。ステップＳ４０１は、被写体撮像装置ＯＢＪＳで被写体ＯＢＪを撮影して被写体画像ＩＩＮを取得し、照明方程式パラメータ計測装置ＩＥＰＳで被写体ＯＢＪの照明方程式パラメータを計測する。ステップＳ４０２は、ＬＲ照明方程式パラメータ推定部１０３で、注目点Ｐの照明方程式パラメータを推定する。ステップＳ４０３は、照明方程式パラメータ高解像度化部１２０で、注目点Ｐの照明方程式パラメータを高解像度化する。ステップＳ４０４は、不適合画素の有無を確認し、全画素が適合画素であった場合は、ステップＳ４０５へ進み、ステップＳ４０５でパラメータ合成が行われ、Ｓ４０６で高解像度画像ＩＯＵＴが出力される。一方、ステップＳ４０４で不適合画素が検出された場合は、ステップＳ４０７へ進み、ステップＳ４０７で高解像度化された照明方程式パラメータを用いて、不適合画素を再推定する。ステップＳ４０８で再び、不適合画素の有無を確認し、全画素が適合画素であった場合は、ステップＳ４０５へ進み、ステップＳ４０６で高解像度画像ＩＯＵＴが出力される。一方、ステップＳ４０８で不適合画素が検出された場合は、ステップＳ４０９へ進み、ステップＳ４０９で高解像度パラメータ画像を低解像化し、ステップＳ４０２へ戻って、再び、低解像度パラメータ画像で不適合画素の推定を行う。【００９１】  なお、ＬＲ照明方程式パラメータ推定部１０３で、何度パラメータ推定を繰り返しても、閾値ｔが当初の設定値まで下がらず、推定精度が目標レベルに達しない場合があり得る。この場合は、目標の推定レベルに対してあまりにも不適合画素が多すぎることを意味する。このような場合は、推定精度を下げて処理を終了せざるを得ない。そこで、第１スイッチャ部４０２にカウンタを設けて、所定の回数以上、パラメータ推定を繰り返した場合は、ＬＲ照明方程式パラメータ推定部１０３へのフィードバックを取りやめ、照明方程式パラメータ合成部１１１へ出力して高解像度化処理を終了する。【００９２】  以上により、画像処理装置４００は、被写体画像ＩＩＮ、計測パラメータＭＰＬから被写体撮像センサの解像度よりも高い解像度の画像を出力でき、エッジの先鋭さやテクスチャを変質させず、画質劣化なしに画像を拡大できる。被写体や視環境の幾何光学パラメータの計測や、照明方程式パラメータの推定が不完全なために生じた不適合画素が存在しても、超解像処理で利用される高解像化のための付加情報を利用してパラメータを再推定し、照明方程式パラメータを用いた画像拡大を実行できる。何らかの制限によって低解像度画像のパラメータをすべて計測できない場合でも、本発明では画像拡大が可能であり、利用環境や装置構成などの観点で適用範囲を広げる効果を有する。【００９３】  図１６は、照明方程式パラメータの推定を低解像度画像に対してのみ実行する画像処理装置５００のブロック図である。図１の画像処理装置４００は、ＨＲ照明方程式パラメータ推定部１０９において、高解像度化された照明方程式パラメータを用いて、残存する不適合画素の照明方程式パラメータを推定する。一方、図１６の画像処理装置５００は、高解像度化された照明方程式パラメータ��用いた不適合画像の照明方程式パラメータの推定を持たず、低解像度画像のみで照明方程式パラメータの推定を行う。これに伴い、第２スイッチャ部４０３は不要になり、推定パラメータＥＰＨを低解像度化部１１０へ入力して、ＬＲ照明方程式パラメータ推定部１０３へフィードバックする。【００９４】  画像処理装置５００は、画像処理装置４００に比べて、構成が単純化し、機器の小型化に効果を発揮する。また、照明方程式パラメータの推定は、低解像度画像に対して実行されるため、例えば、図２のような推定処理の回数が、高解像画像を扱う場合よりも少なくなり、推定処理の高速化が図れる。【００９５】  ただし、不適合画素の推定精度を高めるにあたって、高解像度画像でのパラメータ推定は有効であり、低解像度画像と高解像度画像の２つで照明方程式パラメータを推定する画像処理装置４００は、不適合画素の推定精度の向上において、画像処理装置５００よりも有利である。一方、画像処理装置５００は、照明方程式パラメータの推定回数が少ない、という点で画像処理装置４００よりも有利である。そこで、画像処理装置４００と画像処理装置５００は、推定精度と推定速度のそれぞれのメリットを生かして使い分けることが肝心であり、高解像度化された照明方程式パラメータをＬＲ照明方程式パラメータ推定部１０３にフィードバックする回数を増やした方が有効な場合は、画像処理装置５００を利用すべきである。一方、高解像度化された状態で不適合画素の照明方程式パラメータを推定する方が有効な場合は、画像処理装置４００を利用すべきである。【００９６】  （実施の形態２）
本実施の形態では、光源撮像装置で光源を撮影し、形状計測装置で被写体の表面法線ベクトルを計測し、偏光フィルタを介した照明で完全偏光を被写体に照射し、偏光フィルタを介した被写体撮像装置で被写体からの反射光を撮影する。そして、画像処理装置が、これらの計測情報から被写体撮像センサの解像度よりも高い解像度の画像を出力する。【００９７】  図１７は本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。画像処理装置１００は、被写体撮像装置ＯＢＪＳの被写体画像ＩＩＮを拡大するための装置であり、光源方向算出部１０１、鏡面反射拡散反射分離部１０２、ＬＲ照明方程式パラメータ推定部１０３、テクスチャ解析Ａ部１０４、材質別補間部１０５、テクスチャ解析Ｂ部１０６、テクスチャ超解像部１０７、スイッチャ部１０８、ＨＲ照明方程式パラメータ推定部１０９、低解像度化部１１０、照明方程式パラメータ合成部１１１、補間部１１２を備えている。テクスチャ解析Ａ部１０４、材質別補間部１０５、テクスチャ解析Ｂ部１０６、テクスチャ超解像部１０７および補間部１１２によって、照明方程式パラメータ高解像度化部１２０が構成されている。なお、図１に示す撮影装置４００と同様の部分については同じ符号を付し、詳細な説明を省略する。【００９８】  各処理部に入力する信号、あるいは各処理部から出力する信号のうち、上付きでＬを付したものは、低解像度の意味を示し、被写体撮像装置ＯＢＪＳの解像度と一致する。一方、上付きでＨを付したものは、高解像度の意味を示し、後述する高解像化処理により被写体撮像装置ＯＢＪＳよりも高い解像度を有することを意味する。【００９９】  光源撮像装置ＩＬＳは、視環境ＶＥにおいて、光源ＩＬを撮影して、光源画像ＩＩＬを画像処理装置１００に入力する。さらに、形状計測装置ＮＳは被写体ＯＢＪの形状を計測し、表面法線ベクトルＮＬを画像処理装置１００に入力する。形状計測装置ＮＳは、図１８に示すように、注目点Ｐを含むような三角形を形成する３点の３次元的な位置を、図４１に示した三角測量の原理で計測し、三角形の面に直交する長さ１のベクトルを表面法線ベク卜ルＮＬとする。形状計測装置ＮＳは、被写体撮影装置ＯＢＪＳとほぼ同じ位置に設置し、２つの装置の光軸は近似的に一致しているとする。なお、環境光成分である（式１）のＩａは撮影前に計測しておく。（式１）からわかるように、照明の照度Ｅｉを０にすればＩｖ＝Ｉａとなり、環境光の輝度Ｉａを計測できる。従って、注目点Ｐを照らす照明ＩＬを消灯、遮断、あるいは取り除くことで環境光の輝度Ｉａを計測できる。【０１００】  光源方向算出部１０１は、光源画像ＩＩＬから光源ＩＬの３次元的位置を算出する。光源ＩＬからの光線はすべて平行であると仮定し、光源の方向は１本のベクトルで表現できると仮定する。図１９（ａ）は、光源ＩＬと光源画像ＩＩＬの位置関係を示す。光源ＩＬの位置が曲線ＬＴに沿って移動した場合を考える。曲線ＬＴ上の位置ＰＳ１から位置ＰＳ５に移動した光源ＩＬの光は、光源撮像装置ＩＬＳの有する撮像センサ４０３に入射し、直線ＳＴ上の位置ＰＸ１から位置ＰＸ５に記録される。光源ＩＬが位置ＰＳ２にある場合、直線ＳＴとｘ軸が成す角度をθ、直線Ｓ��と光源ベクトルＬ２が成す角度をφとして、光源ベクトルＬ２を求める方法を説明する。【０１０１】  図１９（ｂ）は、図１９（ａ）の撮像センサ４０３をｚ軸方向から見たもので、位置ＰＸ１と座標原点Ｏの距離をｄ、位置ＰＸ２と座標原点Ｏの距離をｒとする。位置ＰＸ１はφ＝０、座標原点Ｏはφ＝９０度であり、この間の光源位置と撮像センサ４０３の位置は線形に配分されるため、位置ＰＸ２の角度φは以下で与えられる。
【数７】
2008026518.tif 000009
ここで、光源画像上の位置ＰＸ１、位置ＰＸ２、座標原点Ｏの画素位置をそれぞれ、（ｘＬ１，ｙＬ１）、（ｘＬ２，ｙＬ２）、（ｘＯ，ｙＯ）とすると、位置ＰＸ１と座標原点Ｏの距離ｄは、
【数８】
2008026518.tif 000010
で与えられ、位置ＰＸ２と座標原点Ｏの距離ｒは、
【数９】
2008026518.tif 000011
で与えられる。【０１０２】  図１９（ｃ）は、位置ＰＸ２からｚ軸方向に光源ベクトルＬ２との交線ＬＴを引いて得られる三角形を示し、交線ＬＴの長さをｚＬ２とすると、次式が得られる。
【数１０】
2008026518.tif 000012
【０１０３】  光源ベクトルを長さ１の単位ベクトルで定義するならば、
【数１１】
2008026518.tif 000013
となる。【０１０４】  以上の計算は、光源撮像装置ＩＬＳの光軸ｚ軸と撮像センサ４０３上のｘ軸とｙ軸からなる３次元座標系で導出されたものであり、これを被写体撮像装置ＯＢＪＳの３次元座標系に変換する必要がある。【０１０５】  図２０は、被写体撮像装置ＯＢＪＳと光源撮像装置ＩＬＳを単一筐体にまとめたカメラの一例を示す。カメラ４０１は、光源撮像装置ＩＬＳとして光源撮影レンズ４０２および光源撮像素子４０３を備え、被写体撮像装置ＯＢＪＳとして被写体撮影レンズ４０４および被写体撮像素子４０５を備える。カメラ４０１は、被写体撮像装置ＯＢＪＳの光軸ｚ軸を被写体方向に向ける場合が一般的な利用形態であるため、光源ＩＬを光源撮像装置ＩＬＳで捉えるためには、光源撮像装置ＩＬＳを上方に向けて取り付けることが望ましい。光源撮像装置ＩＬＳの座標系を被写体撮像装置ＯＢＪＳの座標系に変換するには、ｘ軸、ｙ軸、ｚ軸を各々変換することで実現できる。ベクトル（ｘｌｉｇｈｔ、ｘ  ｙｌｉｇｈｔ、ｘ  ｚｌｉｇｈｔ、ｘ）ｏｂｊｅｃｔは、光源撮像素子４０３のｘｙｚ３次元座標系のｘ軸を被写体撮像素子４０５のｘｙｚ３次元座標系で表わしたベクトルである。ベクトル（ｘｌｉｇｈｔ、ｘ  ｙｌｉｇｈｔ、ｘ  ｚｌｉｇｈｔ、ｘ）ｌｉｇｈｔは、光源撮像素子４０３のｘｙｚ３次元座標系のｘ軸を光源撮像素子４０３のｘｙｚ３次元座標系で表わしたベクトルである。ｘ軸と同様にｙ軸、ｚ軸も定義すると、各軸のベクトルは３×３行列Ｍで以下のように関係付けられる。
【数１２】
2008026518.tif 000014
これを行列Ｍについて解くと
【数１３】
2008026518.tif 000015
となる。この行列Ｍを（式９）に施すことで、図１９の光源ベクトルＬ２は、光源撮像素子４０３のｘｙｚ３次元座標系から被写体撮像素子４０５のｘｙｚ３次元座標系へ変換される。【０１０６】  なお、光源は多くの場合、カメラ４０１の上方に位置するため、光源撮像装置ＩＬＳを上方に向けて撮影するが、仮に画角が不十分で光源ＩＬを光源撮像装置ＩＬＳの画角に捉え切れない場合は、カメラ４０１の向きを変えて光源ＩＬを画角に捉える。そこで、カメラ４０１の向きの変化を計測する必要があるため、カメラ４０１に３次元姿勢センサ４０６（加速度センサなどで構成）を内蔵し、光源撮像素子４０３のｘｙｚ３次元座標軸の３次元動きを３次元姿勢センサ４０６から取得し、（式１０）と同じ要領で座標変換すればいい。なお、画角が１８０度程度の広角レンズを用いて、光源ＩＬと被写体ＯＢＪを同時に画角内に捉えることができる場合は、光源撮像装置ＩＬＳと被写体撮像装置ＯＢＪＳを１つのレンズと撮像素子にまとめることも可能である。【０１０７】  カメラの向きを変える別の方法として、折り畳み式携帯電話の構成も有効である。すなわち、図２１に示すように、携帯電話６０１は相手側カメラ６０２（携帯電話６０１の使用者の目の前の被写体を撮影するカメラ）と自分側カメラ６０３（携帯電話６０１の使用者を撮影するカメラ）を備え、相手側カメラ６０２は折り畳んだディスプレイ部６０４を開く際に大きく向きを変える。すなわち、（ａ）に示すように、ディスプレイ部６０４の開き角度ＤＡＧが小さい場合は携帯電話６０１の上方を捉え、（ｃ）に示すように、ディスプレイ部６０４の開き角度ＤＡＧが大きい場合は携帯電話６０１の使用者の前方を捉え、（ｂ）に示すように、ディスプレイ部６０４の開き角度ＤＡＧが中間の大きさの場合は、携帯電話６０１の上方と携帯電話６０１の使用者の前方との中間方向を捉える。そこで、ディスプレイ部６０４の開き角度ＤＡＧをヒンジ６０５に備えた角度センサ６０６で検出して、相手側カメラ６０２の向きを算出する。ｘｙｚ３次元座標系は、例えば、自分側カメラ６０３の焦点位置を座標原点とし、携帯電話６０１の構造上決まる相手側カメラ６０２の焦点位置との関係から、（式１０）の要領で、２つのカメラの撮影画像を同じｘｙｚ３次元座標系で管理できる。なお、自分側カメラ６０３も光源の撮影に利用できることは明らかである。以上により、光源方向算出部１０１で光源ベクトルＬＬを算出できる。【０１０８】  鏡面反射拡散反射分離部１０２は、偏光特性を利用して被写体画像ＩＩＮを鏡面反射画像ＩｓＬと拡散反射画像ＩｄＬに分離する。光が物体表面で反射する場合、光の入反射面に並行な電場成分と垂直な電場成分ではフレネル係数が一般的に異なるため、反射光は偏光する。このため、鏡面反射成分は一般的に偏光しているが、拡散反射は乱反射であるため、偏光性を持たない。図２２に示すように、偏光フィルタＰＦを通して反射光ＲＲを観測した場合、透過光ＲＲＰの強度は、反射光ＲＲのうち偏光フィルタＰＦの偏光軸ＰＦＡに並行な成分の強度となる。このため、物体表面ＳＦからの鏡面反射成分を偏光フィルタＰＦを回転させながら観測した場合、透過光ＲＲＰの強度は偏光フィルタＰＦの偏光軸ＰＦＡと鏡面反射の偏光面ＳＰＰの間との角度ψに応じて変化し、以下で与えられる。
【数１４】
2008026518.tif 000016
【０１０９】  ここで、Ｌｄは拡散反射成分の輝度、Ｌｓは鏡面反射成分の輝度、θ’ｉは微小反射面での光の入射角、ＦＰは絶縁体に対する並行電場成分のフレネル係数、ＦＶは絶縁体に対する垂直電場成分のフレネル係数である。【０１１０】  以上の偏光特性に基づくと、図２３に示すように、光源ＩＬ側にも光源側偏光フィルタＰＦＩＬを用いて直線偏光を作れば、角度ψの変化に伴う最大輝度Ｉｍａｘと最小輝度Ｉｍｉｎを検出することで鏡面反射画像ＩＳを撮影できる。図２４は、撮影側偏光フィルタＰＦＯＳを回転させた場合の透過光ＲＲＰの輝度の変化を示す。拡散反射は非偏光であるため、偏光軸ＰＦＡＯＳに一致した部分だけが透過し、角度ψに依存せず、一定の輝度値Ｉｍｉｎが得られる。一方、鏡面反射は、偏光状態を変えず、そのまま反射するため、反射光ＲＲのうち、鏡面反射成分は、撮影側偏光フィルタＰＦＯＳの偏光軸ＰＦＡＯＳと光源側偏光フィルタＰＦＩＬの偏光軸ＰＦＡＩＬとの角度差に応じて輝度値が正弦波状に変化する。偏光軸ＰＦＡＯＳと偏光軸ＰＦＡＩＬとの角度差が０になった場合、最大輝度Ｉｍａｘが得られる。偏光フィルタを通すと、輝度が半分に落ちることを考慮して、以下によって、鏡面反射画像Ｉｓと拡散反射画像Ｉｄが得られる。
【数１５】
2008026518.tif 000017
【数１６】
2008026518.tif 000018
【０１１１】  ＬＲ照明方程式パラメータ推定部１０３は、例えば（式１）の照明方程式をベースに、光源ベクトルＬＬ、鏡面反射画像ＩｓＬ、拡散反射画像ＩｄＬ、表面法線ベクトルＮＬ、環境光の輝度ＩａＬから、注目点Ｐの照度ＥｉＬ、鏡面反射成分比ｋｓＬ、物体表面の粗さｍＬ、屈折率ｎＬ、拡散反射成分の双方向反射率ρｄＬを推定する。光源ベクトルＬＬや表面法線ベクトルＮＬなどの幾何情報は、図２０で説明したように、被写体撮像装置ＯＢＪＳのＸＹＺ座標系を基準に記述する。このため、視点ベクトルＶＬは被写体撮像装置ＯＢＪＳのＺ軸に一致し、計測する必要はない。【０１１２】  本発明は推定方法に制限を与えるものではなく、任意の方法を適用できるが、一例として、図２で説明したシンプレックス法を用いて、鏡面反射成分に関わる光学パラメータすなわち、照度ＥｉＬ、鏡面反射成分比ｋｓＬ、物体表面の粗さｍＬ、屈折率ｎＬを推定する。引き続き、推定された照度ＥｉＬおよび鏡面反射成分比ｋｓＬと拡散反射画像ＩｄＬとを用いて、拡散反射成分の双方向反射率ρｄＬを算出する。なお、照明方程式に関しても同様に、本発明は制限を与えるものではなく、任意のモデルを適用できる。【０１１３】  上述したように、光源撮像装置ＩＬＳや形状計測装置ＮＳで計測の不具合が発生し、光源ベクトルＬＬや表面法線ベクトルＮＬが原因で、不適合画素が発生する場合が考えられる。例えば、光源撮像装置ＩＬＳでは、感度不足（暗部に対する感度が不足し、撮像センサから出力が検出されない状態）あるいはダイナミックレンジ不足（ハイライトが感度レンジを越えて最大出力にクリッピングされる状態）によって光源画像ＩＩＬの撮影ができない場合が考えられる。形状計測装置ＮＳでの計測の不具合は、例えば、図４１で説明したように、点Ａから照射されたレーザー光が点Ｐで方向ＳＲに正反射して、点Ｂに設置されたカメラがレーザー光を捉えられない場合や、点Ｐの反射率が低く（つまり黒）、点Ｂに設置されたカメラがレーザー光を撮影できない場合などである。【０１１４】  以上のように、被写体画像ＩＩＮを高解像度化するにあたって必要となる光源ベクトルＬＬ、表面法線ベクトルＮＬの計測で不具合が生じた場合、ＬＲ照明方程式パラメータ推定部１０３での推定精度に影響を与え、所定の推定精度を満たせなくなる。このように、計測における不具合や、照明方程式パラメータの推定における不具合などは、トータルに、誤差評価関数での閾値比較で判断する。適合画素、不適合画素の判断結果は、実施の形態１と同様に、適合性識別画像ＡＳＩＬとして、スイッチャ部１０８へ出力する。なお、不適合画素の推定精度を向上するには、新たな情報を付加して再度、不適合画素を推定する必要がある。そこで、超解像処理にデータベース参照型を適用し、データベースから引き出した高解像度パラメータで超解像処理を施すとともに、高解像度パラメータを新たな付加情報として利用して、再度、パラメータ推定を行う。超解像処理は、具体的には、材質補間部１０５とテクスチャ超解像部１０７で成されるが、このうち、テクスチャ超解像部１０７では、上述したようにデータベースを参照して高解像度情報を取得する。取得された高解像度情報は、被写体撮像装置ＯＢＪＳや形状計測装置ＮＳからは取得できない新しい付加情報であり、従って、テクスチャ超解像部１０７で超解像処理されたパラメータを加えて、再度、パラメータ推定を実行することで、不適合画素の推定精度を向上できる可能性が高まる。【０１１５】  スイッチャ部１０８は、適合性識別画像ＡＳＩＬを参照して、不適合画素の有無を検出し、高解像度化されたパラメータの出力先を切り替える。全画素が適合画素である場合は、高解像度画像の算出が完了したことになる。一方、不適合画素が検出された場合は、再度、パラメータ推定を行うために、ＨＲ照明方程式パラメータ推定部１０９、低解像度化部１１０を経由して、ＬＲ照明方程式パラメータ推定部１０３で、再度、不適合画素の推定を行う。すべてのパラメータと適合性識別画像ＡＳＩＬを高解像パラメータ群ＨＲＰとして、ＨＲ照明方程式パラメータ推定部１０９へ出力する。【０１１６】  ＨＲ照明方程式パラメータ推定部１０９で、すべての画素が適合画素となった場合は、出力高解像度パラメータＯＵＴＨＲＰとしてスイッチャ部１０８へ戻し、照明方程式パラメータ合成部１１１へ出力する。一方、ＨＲ照明方程式パラメータ推定部１０９で推定した結果、不適合画素が残っている場合は、ＬＲ照明方程式パラメータ推定部１０３へ戻して、低解像度画像の状態で、再度、パラメータ推定を実行する。そのためには、高解像度化されたパラメータを低解像度化する必要があるため、ＨＲ照明方程式パラメータ推定部１０９で推定された高解像度化パラメータを未知高解像度パラメータＮＨＲＰとして低解像度化部１１０に出力して低解像化処理を施し、その後、ＬＲ照明方程式パラメータ推定部１０３へ入力する。【０１１７】  低解像度化部１１０は、未知高解像度パラメータＮＨＲＰに対して低解像度化処理を施して、未知低解像度パラメータＮＬＲＰとして出力する。低解像度処理の具体的な方法は、実施の形態１で述べたとおりである。【０１１８】  なお、ＬＲ照明方程式パラメータ推定部１０３で、何度パラメータ推定を繰り返しても、閾値ｔが当初の設定値まで下がらず、推定精度が目標レベルに達しない場合があり得る。この場合は、目標の推定レベルに対してあまりにも不適合画素が多すぎることを意味する。このような場合は、推定精度を下げて処理を終了せざるを得ない。そこで、スイッチャ部１０８にカウンタを設けて、所定の回数以上、パラメータ推定を繰り返した場合は、ＬＲ照明方程式パラメータ推定部１０３へのフィードバックを取りやめ、照明方程式パラメータ合成部１１１へ出力して高解像度化処理を終了する。【０１１９】  図２５は、図１７に示した画像処理装置１００のブロック図の動作フローを示す。ステップＳ１００は、初期設定として、環境光Ｉａの計測、ＬＲ照明方程式パラメータ推定部１０３やＨＲ照明方程式パラメータ推定部１０９で実行する推定処理の初期値や閾値、分岐条件等の設定を行う。また、不適合画素の検出のために、すべてのパラメータ画像の全画素値を２５５に初期化する。ステップＳ１０１は、光源撮像装置ＩＬＳで光源ＩＬを撮影して光源画像ＩＩＬを取得し、被写体撮像装置ＯＢＪＳで被写体ＯＢＪを撮影して被写体画像ＩＩＮを取得し、形状計測装置ＮＳで被写��ＯＢＪの表面法線ベクトルＮＬを計測する。ステップＳ１０２は、光源画像ＩＩＬから光源方向算出部１０１で光源ベクトルＬＬを算出する。【０１２０】  ステップＳ１０３は、被写体画像ＩＩＮを鏡面反射画像ＩｓＬと拡散反射画像ＩｄＬに分離する。ステップＳ１０４は、光源ベクトルＬＬ、鏡面反射画像ＩｓＬと拡散反射画像ＩｄＬから、注目点Ｐの照度ＥｉＬ、鏡面反射成分比ｋｓＬ、物体表面の粗さｍＬ、屈折率ｎＬ、拡散反射成分の双方向反射率ρｄＬを推定する。ステップＳ１０５は、テクスチャ解析Ａ部１０４を経て、材質別補間部１０５で、鏡面反射成分比ｋｓＬ、物体表面の粗さｍＬ、屈折率ｎＬを鏡面反射成分比ｋｓＨ、物体表面の粗さｍＨ、屈折率ｎＨに画像拡大する。ステップＳ１０６は、テクスチャ解析Ｂ部１０６を経て、テクスチャ超解像部１０７で、拡散反射成分の双方向反射率ρｄＬと表面法線ベクトルＮＬを拡散反射成分の双方向反射率ρｄＨと表面法線ベクトルＮＨに画像拡大する。【０１２１】  ステップＳ１０７は、不適合画素の有無を確認し、すべてのパラメータ画像の全画素が適合画素であった場合は、ステップＳ１０８へ進み、ステップＳ１０８でパラメータ合成が行われ、Ｓ１０９で高解像度画像ＩＯＵＴが出力される。一方、ステップＳ１０７で不適合画素が検出された場合は、ステップＳ１１０へ進み、ステップＳ１１０で高解像度化された照明方程式パラメータを用いて、不適合画素を推定する。ステップＳ１１１で再び、不適合画素の有無を確認し、すべてのパラメータ画像の全画素が適合画素であった場合は、ステップＳ１０８へ進み、ステップＳ１０９で高解像度画像ＩＯＵＴが出力される。一方、ステップＳ１１１で不適合画素が検出された場合は、ステップＳ１１２へ進み、ステップＳ１１２で高解像度パラメータ画像を低解像化し、ステップＳ１０４へ戻って、再び、低解像度パラメータ画像で不適合画素の推定を行う。【０１２２】  以上により、画像処理装置１００は、光源画像ＩＩＬ、被写体画像ＩＩＮ、表面法線ベクトルＮＬから被写体撮像センサの解像度よりも高い解像度の画像を出力でき、エッジの先鋭さやテクスチャを変質させず、画質劣化なしに画像を拡大できる。被写体や視環境の幾何光学パラメータの計測や、照明方程式パラメータの推定が不完全なために生じた不適合画素が存在しても、超解像処理で利用される高解像化のための付加情報を利用してパラメータを推定し、照明方程式パラメータを用いた画像拡大を実行できる。例えば、動きの激しい被写体を撮影したい場合、被写体撮像装置と形状計測装置を手に持って移動させる必要があり、大きさや重量に自ずと制限が発生する。そこで、機器の性能面で理想的な設計条件が確保できず、結果的に不適合画素が発生するケースが考えられる。また、バッテリー駆動で被写体撮像装置と形状計測装置を利用する場合、所定の時間以上可動させるために、機器の性能面で理想的な設計条件が確保できず、結果的に不適合画素が発生するケースが考えられる。同様に、価格の設定から生じる制限も考えられる。このような何らかの制限によって低解像度画像のパラメータをすべて計測できない場合でも、本発明では画像拡大が可能であり、利用環境や装置構成などの観点で適用範囲を広��る効果を有する。【０１２３】  （実施の形態３）
本実施の形態では、光源撮像装置で光源を撮影し、偏光フィルタを介した照明で完全偏光を被写体に照射し、偏光フィルタを介した被写体撮像装置で被写体からの反射光を撮影する。そして、画像処理装置は、これらの計測情報から被写体撮像センサの解像度よりも高い解像度の画像を出力する。【０１２４】  図２６は本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。なお、図１７に示す画像処理装置と同様の部分については同じ符号を付し、詳細な説明を省略する。画像処理装置２００は、被写体撮像装置ＯＢＪＳの被写体画像ＩＩＮを拡大するための装置であり、光源方向算出部１０１、鏡面反射拡散反射分離部１０２、ＬＲ照明方程式パラメータ推定部２０３、テクスチャ解析Ａ部１０４、材質別補間部１０５、テクスチャ解析Ｂ部１０６、テクスチャ超解像部１０７、スイッチャ部１０８、ＨＲ照明方程式パラメータ推定部１０９、低解像度化部１１０、照明方程式パラメータ合成部１１１、補間部１１２、形状推定部２０１、屈折率推定部２０２を備えている。【０１２５】  形状推定部２０１は、被写体画像ＩＩＮと光源画像ＩＩＬから、被写体ＯＢＪの表面法線ベクトル（正反射表面法線ベクトルＮｆＬ）を推定する。図２７は、形状推定部２０１の内部のブロック図を示す。【０１２６】  正反射検出部４１は、被写体画像ＩＩＮの中から、光源ＩＬの光を正反射している画素を検出する。正反射部分は、光源からの光を、その強度と色を保持して反射するため、画像中で最も明るく、かつ光源の色を持つ画索を検出すれば、正反射をしている画素が特定できる。そこで、正反射検出部４１は、ハイライト検出部４２において、被写体画像ＩＩＮのすべての画素をハイライト閾値ｈｔと比較して、ハイライト閾値ｈｔを超えるものを被写体ハイライト画像ＩＩＮＨとして出力する。次に、光源色検出部４３は、被写体ハイライト画像ＩＩＮＨの中で、光源色と同じ色を持つものを検出し、被写体正反射画像ＩＩＮＳとして出力する。光源色は、光源色算出部４４で光源画像ＩＩＬから算出するが、この方法は任意であり、例えば、光源画像ＩＩＬ内の明るい画素のみからＲＧＢ値の平均値を算出する方法がある。【０１２７】  拡散反射追跡部４５は、被写体正反射画像ＩＩＮＳで正反射している画素と特定された画素について、引き続き撮影される被写体画像ＩＩＮの中でどの画素に移動したかを追跡する。その目的は、図４１に示した三角測量の原理で、正反射している画素の３次元位置を推定して表面法線ベクトルを算出するところにある。つまり、２次元で考えた場合、点Ａから撮影した注目点Ｐの画像ＰＡと、点Ｂから撮影した注目点Ｐの画像ＰＢの２枚が取得できれば、注目点Ｐの位置（ｘ，ｙ）が算出できるが、このとき、画像ＰＡで捉えた注目点Ｐを画像ＰＢ上でも検出する必要がある。これは一般に動き追跡と呼ばれる問題であるが、画像処理で行う場合は、画像ＰＡにおける注目点Ｐと同じ色を持つ画素を画像ＰＢで検出すればいい。色は、（式１）に示した照明方程式では、拡散反射成分によって決まるため、被写体正反射画像ＩＩＮＳで正反射している画素の拡散反射成分の色をもとに、注目点Ｐを追跡する。拡散反射成分で追跡した結果は、拡散反射追跡画像Ｉ���ＮＳＤとして出力する。【０１２８】  ところで、注目点Ｐが画像上で動きを持つためには、被写体ＯＢＪと被写体撮像装置ＯＢＪＳとの相対的位置関係が変化する必要がある。そこで、被写体ＯＢＪが静止している場合は、被写体撮像装置ＯＢＪＳを移動する必要がある。仮に、撮影者が被写体撮像装置ＯＢＪＳを移動させず、拡散反射追跡部４５が動きを検出できない場合は、撮影者に被写体撮像装置ＯＢＪＳの移動の必要性を知らせるのが好ましい。例えば図２８に示すように、被写体撮像装置ＯＢＪＳのファインダＯＢＪＳＦ上に報知用のアイコンＩＣＮを表示したり、スピーカーＳＰＫで報知音を発生させたりする。この報知のために、拡散反射追跡部４５は、動き情報を動き情報信号ＭＩＳとして被写体撮像装置ＯＢＪＳへ出力する。なお、静物撮影のように、被写体に動きがないと保証されている場合は、被写体撮像装置ＯＢＪＳの動きのみを算出すればいい。そこで、図２０で説明したように、姿勢センサ４０６を被写体撮像装置ＯＢＪＳに内蔵し、カメラの動きを姿勢センサ４０６から検出して、画像ＰＢ上の注目点Ｐを追跡することも可能である。【０１２９】  表面法線ベクトル算出部４６は、上述したように、拡散反射追跡画像ＩＩＮＳＤから図４１の三角測量の原理を用いて、正反射している画素の表面法線ベクトルを算出し、正反射表面法線ベクトルＮｆＬとして出力する。図４１における点Ａと注目点Ｐの位置関係と点Ｂと注目点Ｐの位置関係は、２回の撮影に分けて確保されるが、これは２次元での説明のためであり、従って、３次元情報が必要な画像処理装置２００では、３回の撮影で表面法線ベクトルが算出される。【０１３０】  屈折率推定部２０２は、鏡面反射画像ＩｓＬと正反射表面法線ベクトルＮｆＬから屈折率ｎｆＬを推定する。図２４に示したように、撮影側偏光フィルタＰＦＯＳを回転すると、偏光面の向きに応じて、透過光の輝度値が正弦波状に変化する。従って、完全偏光である鏡面反射成分と非偏光である拡散反射成分の比率は、偏光の度合いを表わすことになる。そこで、以下の式で、偏光の度合いを表わす偏光度γを定義する。
【数１７】
2008026518.tif 000019
【０１３１】  偏光度γが０のときは非偏光であり、偏光度γが１のときは完全偏光を表わす。偏光度γが０あるいは１以外である場合は、部分偏光である。ところで、完全偏光である鏡面反射成分は入射面に対して垂直に振動するＳ波と入射面に沿って振動するＰ波に分解される。Ｐ波は、ブリュースター角という特定の入射角において反射成分がなくなり、Ｓ波のみとなる。この状態が正弦波のＩｍｉｎにあたり、Ｐ波とＳ波のフレネル反射係数をＦｐとＦｓとすると、Ｉｍｉｎは以下で与えられる。
【数１８】
2008026518.tif 000020
一方、完全偏光の光の最大強度Ｉｍａｘと最小強度Ｉｍｉｎの和が、鏡面反射の強度と一致することから、Ｉｍａｘは以下で与えられる。
【数１９】
2008026518.tif 000021
また、フレネル反射係数は、フレネル反射の法則から、図２９に示す入射角θ１と透過角θ２で以下のように定義できる。
【数２０】
2008026518.tif 000022
【数２１】
2008026518.tif 000023
（式１８）〜（式２１）を（式１７）に代入して、（式２２）で与えられるスネル則を考慮すると、偏光度γは（式２３）で与えられる。
【数２２】
2008026518.tif 000024
【数２３】
2008026518.tif 000025
【０１３２】  したがって、鏡面反射画像ＩｓＬからＩｍａｘとＩｍｉｎを取得して、（式１７）により偏光度γを算出し、正反射表面法線ベクトルＮｆＬから算出した入射角θｉと前記偏光度γから（式２３）により屈折率ｎが算出できる。この屈折率ｎは、正反射を有する画素に対するものであり、屈折率推定部２０２は、正反射屈折率ｎｆＬとして出力する。【０１３３】  ＬＲ照明方程式パラメータ推定部２０３は、光源ベクトルＬＬ、拡散反射画像ＩｄＬ、鏡面反射画像ＩｓＬ、正反射表面法線ベクトルＮｆＬ、正反射屈折率ｎｆＬから、未知の照明方程式パラメータを推定する。【０１３４】  正反射屈折率ｎｆＬは、正反射を有する画素のみで算出されているため、例えば、図３０に示すように、鏡面反射画像ＩｓＬの一部である画素ＰＳ１〜ＰＳ１０が有する。屈折率ｎは材質に依存する光学特性であり、同じような屈折率ｎを有する画素は、同一材質に属する可能性が高い。そこで、図３０（ａ）の場合は、画素ＰＳ１〜ＰＳ３を材質ＭＳ１、画素ＰＳ４〜ＰＳ６を材質ＭＳ２、画素ＰＳ８〜ＰＳ１０を材質ＭＳ３と判定できる。【０１３５】  次に、各材質の境界を鏡面反射画像の輝度値の違いから検出する。例えば、図３０（ｂ）のように、鏡面反射画像の輝度値が、概ね３つの値（（ＩｓＬ）１≒２２６、（ＩｓＬ）２≒２３８、（ＩｓＬ）３≒２５２）にまとめられ、鏡面反射画像ＩｓＬ上で境界線ＢＬ１、ＢＬ２、ＢＬ３が引かれたとする。ただし、エリアＮＯＳは、鏡面反射成分が存在しなかった画素の集まりである。材質ＭＳ１に属する画素の屈折率ｎは、画素ＰＳ１〜画素ＰＳ３と同じ屈折率ｎを有するはずであり、材質ＭＳ１における屈折率ｎが未知である画素は、すべて既知とできる。具体的には、画素ＰＳ１〜ＰＳ３の屈折率ｎの平均（図３０では１．４２）を求め、これを材質ＭＳ１の屈折率ｎＭＳ１とし、材質ＭＳ１に属するすべての画素に展開する。材質ＭＳ２と材質ＭＳ３も同様であり、これにより、鏡面反射成分を持つ画素の屈折率ｎとなる。例えば図３０（ｂ）では、材質ＭＳ２の屈折率ｎＭＳ２が１．７７、材質ＭＳ３の屈折率ｎＭＳ３が２．０４となった。【０１３６】  以上により、正反射以外の画素の屈折率ｎが既知となり、さらには、（式１７）と（式２３）の偏光度γの関係式を用いれば、入射角θｉが既知となり、表面法線ベクトルを算出できる。拡散反射は、一般に（式２４）に示すランバート則に従い、表面法線ベクトルと視点ベクトルの内積に応じて、拡散反射成分の輝度が変化する。視点ベクトルは、被写体撮像装置ＯＢＪＳの光軸に一致し、既知であるため、表面法線ベクトルが既知であると、拡散反射成分の双方向反射率ρｄを算出できる。
【数２４】
2008026518.tif 000026
【０１３７】  以上のように、形状推定部２０１で正反射を有する画素の表面法線ベクトルが既知になると、その後、様々なパラメータが推定可能になり、低解像度画像の照明方程式パラメータを求めることができる。【０１３８】  ところが、図３０に示した鏡面反射成分の存在しないエリアＮＯＳには、未知パラメータが残存する。また、図３０（ａ）で説明したように、鏡面反射成分の輝度値でまとめたエリア内に正反射の画素がない場合も考えられる。このような理由から、ＬＲ照明方程式パラメータ推定部２０３で不適合画素が発生する可能性があり、ＨＲ照明方程式パラメータ推定部１０９で再度、パラメータ推定を行う必要性がある。さらに、低解像度化部１１０を介して低解像度化した照明方程式パラメータをＬＲ照明方程式パラメータ推定部２０３へフィードバックして、パラメータ推定を行う。しかし、上述したように、本発明は、テクスチャ超解像部１０７で超解像処理されたパラメータを適合画素に加えることで、不適合画素を推定できる可能性が高まり、これらの処理を繰り返すことによって、高解像度画像を算出できる。また、材質別補間部１０５は、例えば屈折率など、材質に依存する照明方程式パラメータが同一材質内では同じ値を有する物理的裏付けから、低解像度の照明方程式パラメータ画像の画素を空間的にコピーして、超解像処理を行う。その結果、低解像度画像では推定精度が所定の基準に満たなかった不適合画素であっても、高解像度化によって、一部パラメータの推定精度が基準を満たす場合がある。すなわち、材質別補間部１０５、あるいは補間部１１２が、補間や空間的に同一画素値をコピーすることで、適合画素の数を増やす効果を有し、高解像度化されたパラメータで再度、照明方程式のパラメータ推定を行えば、不適合画素の推定精度が向上する可能がある。【０１３９】  以上の観点から、ＨＲ照明方程式パラメータ推定部１０９は、高解像パラメータ群ＨＲＰの中の不適合画素の推定を行う。高解像パラメータ群ＨＲＰの内訳は、
（ａ）補間部１１２の出力である光源ベクトルＬＨ
（ｂ）補間部１１２の出力である環境光の輝度ＩａＨ
（ｃ）補間部１１２の出力である照度ＥｉＨ
（ｄ）材質別補間部１０５の出力である鏡面反射成分比ｋｓＨ
（ｅ）材質別補間部１０５の出力である物体表面の粗さｍＨ
（ｆ）材質別補間部１０５の出力である屈折率ｎＨ
（ｇ）テクスチャ超解像部１０７の出力である拡散反射成分の双方向反射率ρｄＨ
（ｈ）テクスチャ超解像部１０７の出力である表面法線ベクトルＮＨ
である。このうち、拡散反射成分の双方向反射率ρｄＨと表面法線ベクトルＮＨは、出力画像特徴ベクトルデータベース部３５を参照してパラメータ出力画像特徴ベクトルＰＩＯＵＴＦＶとして取得されたものを含む。パラメータ出力画像特徴ベクトルＰＩＯＵＴＦＶは、被写体撮像装置ＯＢＪＳと形状計測装置ＮＳでは取得できない新たな付加情報である。このため、ＬＲ照明方程式パラメータ推定部１０３で推定できなかったパラメータが推定できる可能性がある。そこで、ＨＲ照明方程式パラメータ推定部１０９で高解像パラメータ群ＨＲＰの中の不適合画素の推定を行う。推定方法は任意であるが、シンプレックス法を使った例を図３１で説明する。【０１４０】  図３１は、材質別補間部１０５または補間部１１２から得た適合画素の情報をもとに、不適合画素の照明方程式パラメータを推定するシンプレックス法のワークフローである。照明方程式がｍ個のパラメータを有し、このうち（ｍ−ｋ）個が材質別補間部１０５または補間部１１２から得た適合画素の情報である。図４０で説明したように、照明方程式の中には解像度独立性が高いパラメータがあり、これらは、材質別補間部１０５または補間部１１２で高解像度化が実行される。そこで、ＬＲ照明方程式パラメータ推定部２０３で不適合となった画素でも、材質別補間部１０５または補間部１１２における適合画素の補間によって、一部の照明方程式パラメータの推定精度が所定の基準を満たす場合がある。そこで、図３１は、不適合画素について推定を行うが、（ｍ−ｋ）個のパラメータ群（ｑ１Ｈｑ２Ｈ…ｑｍ−ｋＨ）ｋｎｏｗｎは推定対象から除外し、既知パラメータとして取り扱う。一方、ｋ個のパラメータ群（ｐ１Ｈｐ２Ｈ…ｐｋＨ）が推定対象となる。【０１４１】  ステップＳ１０は、閾値処理、分岐処理、繰り返し処理回数のチェックのために、閾値ｔ、分岐条件Ｃ、繰り返し上限回数ｒを設定する。ステップＳ１１は、不適合画素の推定値の候補（ｐ１Ｈｐ２Ｈ…ｐｋＨ）ｃａｎｄｉｄａｔｅの初期値を設定する。具体的には、乱数発生などを用いる。ステップＳ１２は、推定値の候補（ｐ１Ｈｐ２Ｈ…ｐｋＨ）ｃａｎｄｉｄａｔｅと、既知パラメータ群（ｑ１Ｈｑ２Ｈ…ｑｍ−ｋＨ）ｋｎｏｗｎを照明方程式である（式１）に入力し、注目点Ｐの輝度Ｉｖの候補（ＩｖＨ）ｃａｎｄｉｄａｔｅを算出する。【０１４２】  ステップＳ１３は、高解像度画像の輝度値である注目点Ｐの輝度Ｉｖの候補（ＩｖＨ）ｃａｎｄｉｄａｔｅを低解像度化して、注目点Ｐの輝度Ｉｖの候補（ＩｖＬ）ｃａｎｄｉｄａｔｅに変換する。この目的は、引き続く輝度差判定に必要な真値が低解像度画像でしか取得できないところにある。低解像度化の具体的な方法は、被写体撮像装置ＯＢＪＳの撮像特性に依存する。つまり、被写体撮像装置ＯＢＪＳが被写体ＯＢＪを近距離で撮影した高解像度画像と、遠距離で撮影した低解像度画像を取得し、２つの輝度値の変化をステップＳ１３に反映する。具体的には、図１３のように、パラメータ画像特徴ベクトルの対応関係を画素単位で構築し、図１０の流れの逆方向をたどって、低解像度画像を得ればいい。また、近似的には２次元のガウス関数を畳み込んで低解像度画像を算出したり、近隣画素の平均値で低解���度画像とする方法などがある。なお、低解像度化は、何れの方法を用いても、高解像度画像の複数画素を１画素にダウンサンプリングする処理であるため、ステップＳ１３では高解像度画像の複数画素が必要になる。より具体的には、図３１のシンプレックス法でパラメータ推定を行う対象画素と、その周辺の複数画素になる。ところが、周辺画素の中には不適合画素も存在し、これらには低解像度化処理を施せない。そこで、ステップＳ１３の低解像度化は、周辺画素のうち、適合画素のみを用いることになる。【０１４３】  ステップＳ１４では、注目点Ｐの輝度の候補（ＩｖＬ）ｃａｎｄｉｄａｔｅターゲットである真値（ＩｖＬ）ｔａｒｇｅｔとの輝度差△ＩｖＬを算出し、ステップＳ１５で閾値ｔ（輝度値を８ビットの０から２５５の２５６階調で表現した場合、例えばｔ＝０．０１とする）と比較する。輝度差△ＩｖＬが閾値ｔより小さい場合は、推定値の候補（ｐ１Ｈｐ２Ｈ…ｐｋＨ）ｃａｎｄｉｄａｔｅを推定結果として出力し、図３１の処理を終了する。【０１４４】  一方、輝度差△ＩｖＬが閾値ｔより大きい、あるいは等しい場合は、ステップＳ１６において、シンプレックスの更新回数ｒｓと繰り返し上限回数ｒを比較し、シンプレックスの更新回数ｒｓが繰り返し上限回数ｒを超えている場合は、パラメータ推定を中断し、推定処理未達のまま、シンプレックス法の処理を終了する。一方、シンプレックスの更新回数ｒｓが繰り返し上限回数ｒを超えていない場合は、ステップＳ１７において（式１５）によってシンプレックスを変形して、推定値の候補（ｐ１Ｈｐ２Ｈ…ｐｋＨ）ｃａｎｄｉｄａｔｅを更新し、推定値の次の候補（ｐ１Ｈｐ２Ｈ…ｐｋＨ）ｎｅｗ＿ｃａｎｄｉｄａｔｅを算出する。【０１４５】  ステップＳ１８では、推定値の次の候補（ｐ１Ｈｐ２Ｈ…ｐｋＨ）ｎｅｗ＿ｃａｎｄｉｄａｔｅと既存パラメータが分岐条件Ｃをすべて満たしているかを確認し、すべてを満たしている場合は、ステップＳ１２へ戻り、再度、閾値ｔとの比較を行う。一方、推定値の次の候補（ｐ１Ｈｐ２Ｈ…ｐｋＨ）ｎｅｗ＿ｃａｎｄｉｄａｔｅと既存パラメータが分岐条件Ｃのすべてを満たしていない場合は、ステップＳ１１へ戻り、初期値を再設定する。分岐条件Ｃは、例えば、（式２）の屈折率ｎが１以上、フレネル係数Ｆλが０以上１以下、物体表面の粗さｍが０以上、マイクロファセット分布関数Ｄが０以上とする。これらの条件は、物理的な裏付けで各パラメータ値の合理性を確認するものであり、これらの１つでも満たさないものが発生した場合は、照明方程式パラメータが物理的な矛盾を含んでいると判断し、これらを破棄する。推定方法の観点から見ると、関数最適化は進捗しているが、物理的な視点から見ると矛盾する解空間へ進んでいる、と解釈できる。そこで、このままシンプレックスの更新を進めても、物理的矛盾を含んだ解空間から抜け出せないため、ステップＳ１１へ戻って、初期値を再設定して物理的矛盾を含んだ解空間から抜け出す。【０１４６】  以上、図３１によって、（ｐ１Ｈｐ２Ｈ…ｐｋＨ）が決定され、ＨＲ照明方程式パラメータ推定部１０９から出力される。【０１４７】  ＨＲ照明方程式パラメータ推定部１０９で、すべての画素が適合画素となった場合は���出力高解像度パラメータＯＵＴＨＲＰとしてスイッチャ部１０８へ戻し、照明方程式パラメータ合成部１１１へ出力する。一方、ＨＲ照明方程式パラメータ推定部１０９で推定した結果、不適合画素が残っている場合は、ＬＲ照明方程式パラメータ推定部１０３へ戻して、低解像度画像の状態で、再度、パラメータ推定を実行する。そのためには、高解像度化されたパラメータを低解像度化する必要があるため、ＨＲ照明方程式パラメータ推定部１０９で推定された高解像度化パラメータを未知高解像度パラメータＮＨＲＰとして低解像度化部１１０に出力して低解像化処理を施し、その後、未知低解像度パラメータＮＬＲＰとしてＬＲ照明方程式パラメータ推定部２０３へ入力する。【０１４８】  以上により、画像処理装置２００は、光源画像ＩＩＬと被写体画像ＩＩＮから、被写体撮像センサの解像度よりも高い解像度の画像を出力でき、エッジの先鋭さやテクスチャを変質させず、画質劣化なしに画像を拡大できる。被写体や視環境の幾何光学パラメータの計測や、照明方程式パラメータの推定が不完全なために生じた不適合画素が存在しても、超解像処理で利用される高解像化のための付加情報を利用してパラメータを推定し、照明方程式パラメータを用いた画像拡大を実行できる。特に、鏡面反射成分の存在しない画素が原因で発生する不適合画素や、正反射の画素を利用できないために発生する不適合画素を、超解像処理のために付加される新しい情報を利用して推定できる。例えば、動きの激しい被写体を撮影したい場合、被写体撮像装置と形状計測装置を手に持って移動させる必要があり、大きさや重量に自ずと制限が発生する。そこで、機器の性能面で理想的な設計条件が確保できず、結果的に不適合画素が発生するケースが考えられる。また、バッテリー駆動で被写体撮像装置と形状計測装置を利用する場合、所定の時間以上可動させるために、機器の性能面で理想的な設計条件が確保できず、結果的に不適合画素が発生するケースが考えられる。同様に、価格の設定から生じる制限も考えられる。このような何らかの制限によって低解像度画像のパラメータをすべて計測できない場合でも、本発明では画像拡大が可能であり、利用環境や装置構成などの観点で適用範囲を広げる効果を有する。特に、形状計測装置が不要となり、機器の小型化、軽量化に効果を発揮する。【０１４９】  （実施の形態４）
本実施の形態では、光源撮像装置で光源を撮影し、偏光フィルタを介した照明で完全偏光を被写体に照射し、偏光フィルタを介した被写体撮像装置で被写体からの反射光を撮影する。そして、画像処理装置は、これらの計測情報から被写体撮像センサの解像度よりも高い解像度の画像を出力する。【０１５０】  図３２は本発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。なお、図１６と図２６に示す画像処理装置と同様の部分については同じ符号を付し、詳細な説明を省略する。画像処理装置３００は、光源被写体撮像装置ＩＬＯＢＪＳの被写体画像ＩＩＮを拡大するための装置であり、光源位置推定部３０１、鏡面反射拡散反射分離部１０２、ＬＲ照明方程式パラメータ推定部３０２、テクスチャ解析Ａ部１０４、材質別補間部１０５、テクスチャ解析Ｂ部１０６、テクスチャ超解像部１０７、スイッチャ部１０８、ＨＲ照明方程式パラメータ推定部１０９、低解像度化部１１０、照明方程式パラメータ合成部１１１、補間部１１２、形状推定部２０１、屈折率推定部２０２を備えている。光源被写体撮像装置ＩＬＯＢＪＳは、広角レンズを用いて光源ＩＬと被写体ＯＢＪを同時に画角に捉える。光源位置推定部３０１は、光源画像ＩＩＬと正反射表面法線ベクトルＮｆＬから、光源ＩＬの位置を推定する。【０１５１】  図３３（ａ）は、光源ＩＬと注目点Ｐ、および光源被写体撮像装置ＩＬＯＢＪＳの撮像素子ＩＭＳＲの位置関係を示す。形状推定部２０１は、拡散反射追跡部４５によって、撮像素子ＩＭＳＲと注目点Ｐの距離ｄＰを算出できる。注目点Ｐから光源ＩＬへ引いた直線の向きが光源ベクトルＬＬであり、注目点Ｐと光源ＩＬの距離ｄＩＬＰが取得できれば、光源ＩＬの位置が決まる。形状推定部２０１の処理対象は正反射を有する画素であり、光源ＩＬからの光は、注目点Ｐで正反射され、撮像素子ＩＭＳＲに入射する。そこで、正反射表面法線ベクトルＮｆＬは、光源ベクトルＬＬと撮像素子ＩＭＳＲの光軸ＩＭＳＲＯＡが成す角を２等分する。従って、光源ベクトルＬＬと軸ＩＭＳＲＯＡが成す角の大きさは、入射角θｉの２倍である。一方、撮像素子ＩＭＳＲから光源ＩＬへのベクトルＬ２は、図１９で説明した方法で算出でき、（式８）で与えられる。従って、光軸ＩＭＳＲＯＡとベクトルＬ２が成す角の大きさφは既知である。光源ベクトルＬＬと軸ＩＭＳＲＯＡが成す角が２θｉ、光軸ＩＭＳＲＯＡとベクトルＬ２が成す角がφと既知であり、かつ、注目点Ｐと撮像素子ＩＭＳＲの距離ｄＰも既知であり、この幾何条件は、図４１に示した三角測量の幾何条件と同一である。図４１における注目点Ｐは、図３３（ａ）においては光源ＩＬに相当し、従って、光源ＩＬの位置（ｘ，ｙ）は、（式３）で算出できる。図４１は２次元で図示したが、前述したように、３次元へ拡張可能であり、図３３（ａ）におけるベクトルを３次元ベクトルで表現すれば、光源ＩＬの３次元位置が算出できる。【０１５２】  図３３（ｂ）は、注目点Ｐとは別の位置にある注目点Ｐ’での正反射表面法線ベクトルＮｆＬ’と光源ベクトルＬＬ’との関係を示す。入射角はθｉ’であり、注目点Ｐの入射角θｉより小さい。この理由は、光源ＩＬからの光を正反射して撮像素子ＩＭＳＲに入射するような表面法線ベクトルの向きが点Ｐと点Ｐ’で異なるためである。従って、光源ベクトルＬＬ’も光源ベクトルＬＬと異なり、注目点Ｐ’と光源ＩＬの距離も距離ｄＩＬＰと異なる。これは、光源ＩＬから様々な角度を持って広がる光を個別に記述できることを意味し、画像処理装置１００，２００が前提とする平行光仮定を適用する必要はない。従って、より一般的な視環境ＶＥで照明方程式のパラメータを推定でき、ＬＲ照明方程式パラメータ推定部３０２やＨＲ照明方程式パラメータ推定部１０９での不適合画素の推定能力が高まる、と言える。【０１５３】  なお、光源被写体撮影装置ＩＬＯＢＪＳは、図１７や図２６と同様に、光源撮像装置ＩＬＳと被写体撮像装置ＯＢＪＳとに分離しても構わない。なぜならば、（式１０）に示した行列Ｍによって、光源撮像装置ＩＬＳの座標系は被写体撮像装置ＯＢＪＳの座標系へ変換できるためである。【０１５４】  以上により、画像処理装置３００は、光源画像ＩＩＬと被写体画像ＩＩＮから、被写体撮像センサの解像度よりも高い解像度の画像を出力でき、エッジの先鋭さやテクスチャを変質させず、画質劣化なしに画像を拡大できる。被写体や視環境の幾何光学パラメータの計測や、照明方程式パラメータの推定が不完全なために生じた不適合画素が存在しても、超解像処理で利用される高解像化のための付加情報を利用してパラメータを推定し、照明方程式パラメータを用いた画像拡大を実行できる。特に、鏡面反射成分の存在しない画素が原因で発生する不適合画素や、正反射の画素を利用できないために発生する不適合画素を、超解像処理のために付加される新しい情報を利用して推定できる。また、光源の位置が推定できるため、光源からの光を平行光と仮定する処理よりも不適合画素の推定能力が高いと言える。例えば、動きの激しい被写体を撮影したい場合、被写体撮像装置と形状計測装置を手に持って移動させる必要があり、大きさや重量に自ずと制限が発生する。そこで、機器の性能面で理想的な設計条件が確保できず、結果的に不適合画素が発生するケースが考えられる。また、バッテリー駆動で被写体撮像装置と形状計測装置を利用する場合、所定の時間以上可動させるために、機器の性能面で理想的な設計条件が確保できず、結果的に不適合画素が発生するケースが考えられる。同様に、価格の設定から生じる制限も考えられる。このような何らかの制限によって低解像度画像のパラメータをすべて計測できない場合でも、本発明では画像拡大が可能であり、利用環境や装置構成などの観点で適用範囲を広げる効果を有する。特に、形状計測装置が不要となり、機器の小型化、軽量化に効果を発揮する。また、光源と被写体が近距離にあり、被写体上の位置によって光源からの入射光の向きが異なる視環境でも利用できる。【０１５５】  なお、上述の各実施形態に係る画像処理方法は、コンピュータに、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行させることによって、実現することが可能である。【０１５６】  以下、本発明を実現する構成例を例示する。【０１５７】  （第１の構成例）
図３４は第１の構成例を示す図であり、パーソナルコンピュータを用いて本発明に係る画像拡大を行う構成の一例である。カメラ１１０１の解像度はディスプレイ１１０２の解像度よりも低く、ディスプレイ１１０２の表示能力を最大限に生かすために、メインメモリ１１０３にロードされた画像変換プログラムによって拡大画像を作成する。カメラ１１０１で取り込まれた光源と被写体の低解像度画像は画像メモリ１１０４に記録される。外部記録装置１１０５には予め画像特徴ベクトルデータベース１１０６と画像特徴ベクトル番号置換テーブル１１０７とが準備されており、メインメモリ１１０３の画像変換プログラムから参照可能になっている。画像特徴ベクトルデータベース１１０６と画像特徴ベクトル番号置換テーブル１１０７の内容や作成方法は図１３に従う。【０１５８】  計測装置１１０８は、実施の形態２に従う場合、図１７の形状計測装置ＮＳに相当し、画像メモリ１１０４に表面法線ベクトルＮＬが記録される。実施の形態３と実施形態４に従う場合は、計測装置１１０８は不要である。【０１５９】  画像変換プログラムの動作は実施の形態１から実施の形態４に従い、低解像度画像の照明方程式パラメータを推定し、テクスチャ解析によって材質ごとに超解像処理を行い、不適合画素が残存する場合は、高解像度のために付加された情報で再度パラメータ推定を繰り返し、高解像画像を算出する。メインメモリ１１０３の画像変換プログラムは、メモリバス１１０９を介して画像メモリ１１０４の低解像度画像を読み込み、これをディスプレイ１１０２の解像度に合わせて高解像度画像に変換し、再びメモリバス１１０９経由でビデオメモリ１１１０に転送する。ビデオメモリ１１１０に転送された高解像度画像はディスプレイ１１０２において観察できる。【０１６０】  なお、本発明は図３４の構成に拘束されるものではなく、様々な構成をとることができる。例えば、低解像度画像と表面法線ベクトルをネットワーク１１１１から取得しても構わない。カメラ１１０１には、カメラ付携帯電話やデジタルスチルカメラ、ビデオムービーカメラなど任意のタイプの撮像装置が適用でき、また予め録画した映像を再生する再生装置でも構わない。【０１６１】  （第２の構成例）
図３５は第２の構成例を示す図であり、サーバークライアントシステムを用いて本発明に係る画像変換を行う構成の一例である。カメラ１２０１の解像度はディスプレイ１２０２の解像度よりも低く、ディスプレイ１２０２の表示能力を最大限に生かすために、サーバークライアントシステムにおいて画像拡大を実行する。サーバー１２０３では、照明方程式パラメータ推定１２０４、画像特徴解析１２０５、入力画像特徴ベクトルデータベース１２０６および画像特徴ベクトル番号置換テーブル１２０７によって、高解像度化された画像特徴ベクトル番号を出力する。照明方程式パラメータ推定１２０４が、実施の形態２に従って動作する場合は、計測装置１２０８が必要となり、具体的には、形状計測装置ＮＳから表面法線ベクトルを取得する。照明方程式パラメータ推定１２０４が、実施の形態３と実施の形態４で動作する場合には、計測装置１２０８は不要である。入力画像特徴ベクトルデータベース１２０６と画像特徴ベクトル番号置換テーブル１２０７の内容や作成方法は図１３に従い、複数の解像度のペアでこれらを作成することで、複数の画像拡大率に対応する。【０１６２】  画像特徴ベクトル番号置換テーブル１２０７まで処理が進んだ段階で不適合画素が残存している場合は、実施の形態１から実施の形態４と同様に、パラメータ推定を再度やり直す。そこで、画像特徴ベクトル番号置換テーブル１２０７の出力である画像特徴ベクトル番号は、サーバー内の出力画像特徴ベクトルデータベース１２１６へ与えられ、出力画像特徴ベクトルデータベース１２１６でパラメータの高解像度化が行われる。これが新たな付加情報となり、照明方程式パラメータ推定１２０４で再度、パラメータ推定が行われる。実施の形態２で説明した推定精度に応じたパラメータ推定のやり直し方法も出力画像特徴ベクトルデータベース１２１６を介したフィードバックで実行できる。【０１６３】  一方、クライアント１２０９は、画像拡大率の設定を画像拡大指示１２１０で行い、拡大倍率設定部１２１１で拡大率としてサーバー１２０３の画像特徴ベクトル番号置換テーブルに渡される。画像特徴ベクトル番号置換テーブル１２０７では、拡大倍率に応じて、画像特徴ベクトル番号置換テーブルを選択する。例えば、拡大率を２倍、４倍、８倍と３段階設定した場合、これら３種類の画像特徴ベクトル番号置換テーブルを画像特徴ベクトル番号置換テーブル１２０７内に保持し、拡大率に応じて適切なテーブルを選択する。選択された画像特徴ベクトル番号はネットワーク１２１２を介してクライアント１２０９に与えられる。画像特徴ベクトル番号を受け取ったクライアント１２０９では、出力画像特徴ベクトルデータベース１２１３で画像特徴ベクトル番号が画像特徴ベクトルに変換され、高解像度化された照明方程式パラメータが得られる。これらはパラメータ合成１２１４で輝度画像に変換され、ディスプレイ１２０２に表示される。【０１６４】  拡大倍率設定１２１１において、例えば２倍から４倍の間を０．２倍刻みに、２．２倍、２．４倍、２．６倍・・・と連続的に変える場合は、図３６に示すように、拡大率２倍の画像特徴ベクトル番号置換テーブルから画像特徴ベクトル番号１を、拡大率４倍の画像特徴ベクトル番号置換テーブルから画像特徴ベクトル番号２をクライアント１２０９に出力し、拡大率２倍の出力画像特徴ベクトルと拡大率４倍の出力画像特徴ベクトルを出力画像特徴ベクトルデータベース１２１３から取得する。２つの出力画像特徴ベクトルは照明方程式パラメータ合成部１２１５に入力され、拡大倍率に応じて重み付け加算される。重み付け加算は、例えば、
【数２５】
2008026518.tif 000027
のように行う。ここで、ｍ１は小さい方の拡大率、ｍ２は大きい方の拡大率で、上記の例ではそれぞれ、２倍と４倍に相当する。また、ＦＶ１は拡大率が小さい方の出力画像特徴ベクトル、ＦＶ２は拡大率が大きい方の出力画像特徴ベクトルである。【０１６５】  なお、本発明は図３５と図３６の構成に拘束されるものではなく、各手段のシステム上の位置（サーバー１２０３に属するかクライアント１２０９に属するか、またはそれ以外に属するかなど）は、任意である。カメラ１２０１には、カメラ付携帯電話やデジタルスチルカメラ、ビデオムービーカメラなど任意のタイプの撮像装置が適用でき、また予め録画した映像を再生する再生装置でも構わない。【０１６６】  （第３の構成例）
図３７は第３の構成例を示す図であり、カメラ付き携帯電話を用いて本発明に係る画像変換を行う構成の一例である。図３７（ａ）のカメラ付き携帯電話１３００は、光源ＩＬとして照明装置１３０１を持ち、光源側偏光フィルタＰＦＩＬを通して注目点Ｐを照らす。照明装置１３０１と被写体撮像装置ＯＢＪＳの位置関係は固定であるため、光源ＩＬの位置は既知である。そこで注目点Ｐまでの距離を計測することで光源ベクトルＬを算出できる。被写体撮像装置ＯＢＪＳは撮影側偏光フィルタＰＦＯＳを通して注目点Ｐを撮影する。撮影側偏光フィルタＰＦＯＳは回転機構を備え、被写体画像ＩＩＮは図２４のような正弦波状の輝度変化を生じる。被写体撮像装置ＯＢＪＳは、撮影開始前に照明装置１３０１を点灯せずに被写体を撮影して環境光の輝度Ｉａを計測する。距離計測装置１３０２は、例えば赤外光や超音波を発射し、被写体上で反射されて再び距離計測装置１３０２に戻ってくる時間を計測して、距離計測装置１３０２から被写体までの距離を計測する。注目点Ｐの表面法線ベクトルＮを求めるには、図１８で説明したように、注目点Ｐを囲む３点の距離が計測できればいい。【０１６７】  以上の構成により、カメラ付き携帯電話１３００は、光源ベクトルＬ、被写体画像ＩＩＮ、表面法線ベクトルＮを得ることができ、内蔵する画像処理装置１００で高解像度画像ＩＯＵＴを算出して外部出力１３０３より出力できる。例えば、被写体撮像装置ＯＢＪＳの撮像素子が３２０×２４０画素で、画像処理装置１００が縦横４倍の拡大処理を行った場合、高解像度画像ＩＯＵＴの画素数は、１２８０×９６０となる。そこで、外部出力１３０３をハイビジョンテレビに接続すれば、画素数の少ない携帯電話のカメラで撮影した映像を家庭の高精細なハイビジョンテレビで視聴できる。【０１６８】  また、図３７（ｂ）のカメラ付き携帯電話１４００は、図３７（ａ）のカメラ付き携帯電話１３００と同じ構成を持ち、ただし、画像処理装置１００を有さない。外部出力１４０１は光源ベクトルＬ、被写体画像ＩＩＮ、表面法線ベクトルＮを出力し、例えばハイビジョンテレビに内蔵する画像処理装置１００や図３４の構成を持つパーソナルコンピュータ、あるいは図３５の構成を持つサーバークライアントシステムで画像拡大を行う。【０１６９】  なお、本発明は図３７の構成に拘束されるものではなく、様々な構成をとることができる。例えば、カメラ付き携帯電話が距離計測装置１３０２を有しない場合、図２６の画像処理装置２００または図３２の画像処理装置３００を用いればよい。【０１７０】  （第４の構成例）
図３８は第４の構成例を示す図であり、ビデオカメラを用いて本発明に係る画像変換を行う構成の一例である。図３８（ａ）のビデオカメラ１５００は、光源ＩＬとして照明装置１５０１を持ち、光源側偏光フィルタＰＦＩＬを通して注目点Ｐを照らす。照明装置１５０１と被写体撮像装置ＯＢＪＳの位置関係は固定であるため、光源ＩＬの位置は既知である。そこで注目点Ｐまでの距離を計測することで光源ベクトルＬを算出できる。被写体撮像装置ＯＢＪＳは撮影側偏光フィルタＰＦＯＳを通して注目点Ｐを撮影する。撮影側偏光フィルタＰＦＯＳは回転機構を備え、被写体画像ＩＩＮは図２４のような正弦波状の輝度変化を生じる。距離計測装置１５０２は、例えば赤外光や超音波を発射し、被写体上で反射されて再び距離計測装置１５０２に戻ってくる時間を計測して、距離計測装置１５０２から被写体までの距離を計測する。注目点Ｐの表面法線ベクトルＮを求めるには、図１８で説明したように、注目点Ｐを囲む３点の距離が計測できればいい。【０１７１】  以上の構成により、ビデオカメラ１５００は、光源ベクトルＬ、被写体画像ＩＩＮ、表面法線ベクトルＮを得ることができ、内蔵する画像処理装置１００で高解像度画像ＩＯＵＴを算出して外部出力１５０３より出力できる。例えば、被写体撮像装置ＯＢＪＳの撮像素子が３２０×２４０画素で、画像処理装置１００が縦横４倍の拡大処理を行った場合、高解像度画像ＩＯＵＴの画素数は、１２８０×９６０となる。そこで、外部出力１５０３をハイビジョンテレビに接続すれば、画素数の少ないビデオカメラで撮影した映像を家庭の高精細なハイビジョンテレビで視聴できる。撮像素子の大きさを固定した場合、画素数が少ないほど１画素が受ける光量が大きくなり、ノイズの影響が少なくなるメリットがある。また、シャッタースピードを早くすることができるため、動きの激しい被写体を捉えたり、手ぶれによる画質劣化を抑制できる。【０１７２】  また、図３８（ｂ）のビデオカメラ１６００は、図３８（ａ）のビデオカメラ１５００と同じ構成を持ち、ただし、画像処理装置１００を有さない。外部出力１６０１は光源ベクトルＬ、被写体画像ＩＩＮ、表面法線ベクトルＮを出力し、例えばハイビジョンテレビに内蔵する画像処理装置１００や図３４の構成を持つパーソナルコンピュータ、あるいは図３５の構成を持つサーバークライアントシステムで画像拡大を行う。【０１７３】  なお、本発明は図３８の構成に拘束されるものではなく、様々な構成をとることができる。例えば、ビデオカメラが距離計測装置１５０２を有しない場合、図２６の画像処理装置２００または図３２の画像処理装置３００を用いればよい。【０１７４】  以上のように本発明は、広く普及しているパーソナルコンピュータや、サーバークライアントシステム、または、カメラ付携帯電話やデジタルスチルカメラ、ビデオムービーカメラ、テレビなどビデオ機器全般で実行可能である。
【産業上の利用可能性】
【０１７５】  本発明に係る画像処理装置は、機器の大きさや重量、消費電力、価格などの制限から、計測機器を理想的な状態で利用できず、低解像度画像のパラメータを計測できない場合でも、画像拡大が可能であり、利用環境や装置構成などの観点で適用範囲を広げる効果を有する。そこで、十分な条件で撮影が行いづらい貴重な文化遺産、歴史遺産のデジタルアーカイブに利用すれば、被写体にダメージを与えずに撮影と計測ができる。デジタル信号でアーカイブした貴重な文化遺産、歴史遺産は、画像処理装置で細部を自由に観察することができ、様々な調査や鑑賞に効果を発揮する。また、ビデオカメラに搭載すれば、十分な条件で撮影が行いづらいスポーツやエンターテイメントの撮影で安心して行え、撮影後に自由な倍率で映像を鑑賞したり、編集が可能である。また、監視カメラに搭載すれば、広い画角で重要な被写体を逃さず捉え、ズーミングで詳細な画像情報を記録できる。
【図１】
2008026518.tif 000028
【図２】
2008026518.tif 000029
【図３】
2008026518.tif 000030
【図４】
2008026518.tif 000031
【図５】
2008026518.tif 000032
【図６】
2008026518.tif 000033
【図７】
2008026518.tif 000034
【図８】
2008026518.tif 000035
【図９】
2008026518.tif 000036
【図１０】
2008026518.tif 000037
【図１１】
2008026518.tif 000038
【図１２】
2008026518.tif 000039
【図１３】
2008026518.tif 000040
【図１４】
2008026518.tif 000041
【図１５】
2008026518.tif 000042
【図１６】
2008026518.tif 000043
【図１７】
2008026518.tif 000044
【図１８】
2008026518.tif 000045
【図１９】
2008026518.tif 000046
【図２０】
2008026518.tif 000047
【図２１】
2008026518.tif 000048
【図２２】
2008026518.tif 000049
【図２３】
2008026518.tif 000050
【図２４】
2008026518.tif 000051
【図２５】
2008026518.tif 000052
【図２６】
2008026518.tif 000053
【図２７】
2008026518.tif 000054
【図２８】
2008026518.tif 000055
【図２９】
2008026518.tif 000056
【図３０】
2008026518.tif 000057
【図３１】
2008026518.tif 000058
【図３２】
2008026518.tif 000059
【図３３】
2008026518.tif 000060
【図３４】
2008026518.tif 000061
【図３５】
2008026518.tif 000062
【図３６】
2008026518.tif 000063
【図３７】
2008026518.tif 000064
【図３８】
2008026518.tif 000065
【図３９】
2008026518.tif 000066
【図４０】
2008026518.tif 000067
【図４１】
2008026518.tif 000068
【手続補正書】
【提出日】平成19年11月13日(2007.11.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体の画像を高解像度化する画像処理方法であって、
被写体の照明方程式パラメータを推定する第１ステップと、
推定した照明方程式パラメータについて、高解像度化を行う第２ステップと、
高解像度化された照明方程式パラメータを合成して、高解像度画像を生成する第３ステップとを備え、
前記第１ステップにおいて推定した照明方程式パラメータの推定精度が所定の精度を満たさない画素が存在するとき、前記第２ステップにおいて高解像度化した照明方程式パラメータをフィードバックして、再度、照明方程式パラメータの推定を行う
ことを特徴とする画像処理方法。
【請求項２】
被写体の画像を高解像度化する画像処理装置であって、
被写体の照明方程式パラメータを推定し、かつ、当該推定精度を判定し、所定の精度を満たした適合画素と所定の精度を満たさない不適合画素とを識別する低解像度照明方程式パラメータ推定部と、
前記低解像度照明方程式パラメータ推定部によって推定された照明方程式パラメータについて、高解像度化を行う照明方程式パラメータ高解像度化部と、
前記照明方程式パラメータ高解像度化部から出力された、適合画素の高解像度化照明方程式パラメータを用いて、不適合画素の高解像度化照明方程式パラメータを推定する高解像度照明方程式パラメータ推定部と、
前記高解像度照明方程式パラメータ推定部の出力に不適合画素が存在する場合、適合画素の高解像度化照明方程式パラメータ、および前記高解像度照明方程式パラメータ推定部の出力を低解像度化して、前記低解像度照明方程式パラメータ推定部にフィードバックする低解像度化部とを備えた
ことを特徴とする画像処理装置。
【請求項３】
被写体の画像を高解像度化する画像処理装置であって、
前記被写体を、光源によって偏光フィルタを介して照射した状態で偏光フィルタを介して撮像した、複数の被写体画像を入力とし、
前記複数の被写体画像から、鏡面反射画像と拡散反射画像とを分離する鏡面反射拡散反射分離部と、
前記鏡面反射拡散反射分離部によって得られた鏡面反射画像および拡散反射画像を用いて、照明方程式パラメータの推定処理を行い、かつ当該推定精度を判定し、所定の精度を満たした適合画素と所定の精度を満たさない不適合画素とを識別する低解像度照明方程式パラメータ推定部と、
前記低解像度照明方程式パラメータ推定部によって推定された照明方程式パラメータを含む低解像度パラメータ群について、高解像度化を行い、高解像度パラメータ群を得るものであって、かつ、前記低解像度パラメータ群のうち、前記被写体の表面法線ベクトルおよび拡散反射成分双方向反射率について、データベース参照による超解像処理を行う照明方程式パラメータ高解像度化部と、
前記照明方程式パラメータ高解像度化部によって得られた高解像度パラメータ群において不適合画素が存在しないとき、前記高解像度パラメータ群を合成して輝度画像に変換し、高解像度画像として出力する照明方程式パラメータ合成部と、
前記照明方程式パラメータ高解像度化部によって得られた前記高解像度パラメータ群において不適合画素が存在するとき、前記高解像度パラメータ群の中の不適合画素の推定処理を行う高解像度照明方程式パラメータ推定部と、
前記高解像度照明方程式パラメータ推定部から出力された高解像度パラメータ群においてまだ不適合画素が存在するとき、この高解像度パラメータ群について低解像度化を行い、得られた低解像度パラメータ群を、適合画素として、前記低解像度照明方程式パラメータ推定部に与える低解像度化部とを備えた
ことを特徴とする画像処理装置。
【請求項４】
請求項３において、
光源撮像装置が前記光源を撮像することによって得た光源画像を入力とし、かつ、
前記光源画像から、光源ベクトルを算出する光源方向算出部を備え、
前記光源方向算出部によって算出された光源ベクトルは、前記低解像度照明方程式パラメータ推定部に与えられる
ことを特徴とする画像処理装置。
【請求項５】
請求項４において、
前記複数の被写体画像および前記光源画像から、前記被写体の表面法線ベクトルを推定する形状推定部を備え、
前記形状推定部によって推定された表面法線ベクトルは、前記低解像度照明方程式パラメータ推定部に与えられる
ことを特徴とする画像処理装置。
【請求項６】
請求項３において、
前記照明方程式パラメータ高解像度化部は、前記データベース参照による超解像処理のために、
低解像度パラメータ画像および高解像度パラメータ画像についてそれぞれ、空間周波数解析を行うことによって得られた、低解像度画像特徴ベクトルおよび高解像度画像特徴ベクトルを、それぞれ格納したデータベースと、
前記低解像度画像特徴ベクトルと前記高解像度画像特徴ベクトルとの対応関係を記述したテーブルとを備えたものである
ことを特徴とする画像処理装置。
【請求項７】
請求項６において、
前記空間周波数解析は、ウェーブレット変換を用いて行う
ことを特徴とする画像処理装置。
【請求項８】
請求項６において、
前記低解像度化部は、
前記照明方程式パラメータ高解像度化部が備えた前記データベースおよびテーブルを用いて、低解像度化を行う
ことを特徴とする画像処理装置。
【請求項９】
請求項３において、
前記低解像度照明方程式パラメータ推定部および前記高解像度照明方程式パラメータ推定部は、シンプレックス法を用いて、推定処理を実行する
ことを特徴とする画像処理装置。
【請求項１０】
被写体の画像を高解像度化する画像処理方法であって、
前記被写体を、光源によって偏光フィルタを介して照射した状態で偏光フィルタを介して撮像した複数の被写体画像から、鏡面反射画像と拡散反射画像とを分離する第１のステップと、
前記第１のステップにおいて得られた鏡面反射画像および拡散反射画像を用いて、照明方程式パラメータの推定処理を行う第２のステップと、
前記第２のステップによって推定された照明方程式パラメータを含む低解像度パラメータ群について、高解像度化を行い、高解像度パラメータ群を得るものであって、かつ、前記低解像度パラメータ群のうち、前記被写体の表面法線ベクトルおよび拡散反射成分双方向反射率について、データベース参照による超解像処理を行う第３のステップと、
前記第３のステップにおいて得られた高解像度パラメータ群において不適合画素が存在しないとき、前記高解像度パラメータ群を合成して輝度画像に変換し、高解像度画像として生成する第４のステップと、
前記第３のステップにおいて得られた前記高解像度パラメータ群において不適合画素が存在するとき、前記高解像度パラメータ群の中の不適合画素の推定処理を行う第５のステップと、
前記第５のステップにおいて得られた高解像度パラメータ群においてまだ不適合画素が存在するとき、この高解像度パラメータ群について低解像度化を行い、得られた低解像度パラメータ群を適合画素として用いて、再度、前記第２のステップを実行する第６のステップとを備えた
ことを特徴とする画像処理方法。
【請求項１１】
被写体の画像を高解像度化する画像処理方法をコンピュータに実行させるプログラムであって、
前記被写体を、光源によって偏光フィルタを介して照射した状態で偏光フィルタを介して撮像した複数の被写体画像から、鏡面反射画像と拡散反射画像とを分離する第１のステップと、
前記第１のステップにおいて得られた鏡面反射画像および拡散反射画像を用いて、照明方程式パラメータの推定処理を行う第２のステップと、
前記第２のステップによって推定された照明方程式パラメータを含む低解像度パラメータ群について、高解像度化を行い、高解像度パラメータ群を得るものであって、かつ、前記低解像度パラメータ群のうち、前記被写体の表面法線ベクトルおよび拡散反射成分双方向反射率について、データベース参照による超解像処理を行う第３のステップと、
前記第３のステップにおいて得られた高解像度パラメータ群において不適合画素が存在しないとき、前記高解像度パラメータ群を合成して輝度画像に変換し、高解像度画像として生成する第４のステップと、
前記第３のステップにおいて得られた前記高解像度パラメータ群において不適合画素が存在するとき、前記高解像度パラメータ群の中の不適合画素の推定処理を行う第５のステップと、
前記第５のステップにおいて得られた高解像度パラメータ群においてまだ不適合画素が存在するとき、この高解像度パラメータ群について低解像度化を行い、得られた低解像度パラメータ群を適合画素として用いて、再度、前記第２のステップを実行する第６のステップとを
コンピュータに実行させる画像処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像変換に関するものであり、特に、テクスチャ感を保存したまま画像拡大を実現する技術に関するものである。
【背景技術】
【０００２】
画像機器とネットワークのデジタル化により、任意の画像機器が接続できるようになり、画像交換の自由度が高まっている。そして、利用者がシステムの違いに制約を受けることなく、自由に画像を扱える環境が整備されてきた。例えば、利用者は、デジタルスチルカメラで撮影した画像をプリンタに出力したり、ネットワーク上で公開したり、家庭のテレビで鑑賞したりすることが可能になっている。
【０００３】
逆にシステム側は、様々な画像フォーマットに対応する必要があり、画像フォーマット変換には自ずと高度化が求められる。例えば画像サイズの変換は頻繁に発生し、アップコンバータ（画素数、ライン数を増やす変換装置）が必要になる。例えば、６００ｄｐｉの解像度でＡ４用紙（２９７ｍｍ×２１０ｍｍ）に印刷する場合、７１２８画素×５０４０ラインの原稿が必要になるが、多くのデジタルスチルカメラの解像度はこれを下回るため、アップコンバータが必要になる。一方、ネットワーク上に公開された画像は、最終的な出力形態が決まっていないため、出力デバイスが決まる都度、対応する画像サイズに変換する必要がある。また、家庭用テレビでは、デジタル地上波のサービスが開始されており、従来の標準テレビ画像とＨＤ（High Definition）テレビ画像とが混在し、画像サイズの変換が頻繁に用いられる。
【０００４】
従来、画像拡大の処理は、複数の画素間での輝度値の違いを利用している。すなわち、画像拡大では、サンプリング時に存在しなかった画素データを新たに生成するために、バイリニア法やバイキュービック法などによって、輝度値を内挿する（非特許文献１を参照）。内挿ではサンプリングデータの中間的な値しか生成できないため、エッジなどの先鋭度が劣化する傾向がある。そこで、初期拡大画像として内挿画像を用い、その後、エッジ部を抽出してエッジのみを強調する技術が開示されている（非特許文献２、非特許文献３を参照）。特に、非特許文献３では、多重解像度表現とリプシッツ指数の導入によって、エッジの先鋭さに応じてエッジ強調を選択的に行う工夫が成されている。
【０００５】
ところが、画素間の輝度の違いを用いて、画像拡大の画像変換を行った場合、エッジ成分とノイズとの分離が難しく、画像変換によって、エッジの先鋭さやテクスチャ（被写体表面に現れる模様やパターン）が変質してしまう可能性が高い、という問題がある。すなわち、画像拡大では、内挿によってぼけた初期拡大画像のエッジ部を強調するため、エッジ部とともにノイズも強調されてしまい、画質劣化を招くおそれがある。また、画像拡大における内挿画像のエッジ強調は、経験的手法であり、明確なノイズ対策が施されていないため、画像変換後の画質を保証できない、と言った問題も有する。
【０００６】
前記の問題を解消するために、入力画像のテクスチャを解析し、解析したテクスチャ特徴量と、空間解像度がより高い超解像画像から得られた超解像テクスチャ特徴量とを用いて、空間超解像画像を生成する技術が開示されている（特許文献１を参照）。テクスチャ特徴量をフーリエ変換やウェーブレット変換等による空間周波数応答量から生成し、解像度と材質の組み合わせで構成した特徴量ヒストグラムによって、入力画像のテクスチャを判定する。引き続き、テクスチャ特徴量ベクトル変換テーブルを用いて、テクスチャ特徴量に超解像処理が施され、超解像化テクスチャ特徴量ベクトルが生成される。超解像化テクスチャ特徴量ベクトルは、入力画像からテクスチャ特徴量を生成する際に施した空間周波数応答への変換処理の逆変換によって輝度画像に変換され、高解像度化された出力画像を得る。以上のように、テクスチャ特徴量を材質ごとに超解像化するため、テクスチャの材質感を変質せずに画像拡大ができ、画質劣化が発生しない効果を有する。
【０００７】
ところが、特徴量ヒストグラムやテクスチャ特徴量ベクトル変換テーブルは、データベースとして蓄積しておく必要がある。そこで、たとえば、被写体を照らす照明条件が変われば、画素ごとの輝度値が変化し、その結果、テクスチャ特徴量が変化する。従って、特徴量ヒストグラムとテクスチャ特徴量ベクトル変換テーブルを都度作成して、データベースに追加登録することが必要になる、という問題がある。
【０００８】
前記の問題を解消するために、図３９に示すように、カメラＣＡＭが捉える輝度Ｉｖを被写体ＯＢＪや視環境ＶＥが有する幾何特性や光学特性に分解して、解像度独立のパラメータと解像度依存のパラメータに分類し、解像度依存のパラメータに対してのみ、特徴量ヒストグラムとテクスチャ特徴量ベクトル変換テーブルを作成する方法が有効である。すなわち、解像度独立のパラメータが変化しても、特徴量ヒストグラムとテクスチャ特徴量ベクトル変換テーブルを追加する必要がなくなる。カメラＣＡＭが捉える輝度Ｉｖが、たとえば、（式１）の照明方程式で与えられた場合を考える。
【数１】
2008026518.tif 000069
【０００９】
ここで、Ｉａは環境光の輝度、Ｉｄは拡散反射成分の輝度、Ｉｓは鏡面反射成分の輝度、Ｅｉは注目点Ｐにおける照度、ベクトルＮは表面法線ベクトル、ベクトルＬは光源ＩＬの方向を表わす光源ベクトル、ρｄは拡散反射成分の双方向反射率、ρｓは鏡面反射成分の双方向反射率、ｋｄは拡散反射成分比、ｋｓは鏡面反射成分比を表わし、ｋｄ＋ｋｓ＝１の関係を持つ。さらに、鏡面反射成分の双方向反射率ベクトルρｓは、たとえば、（式２）で与えられ、複数の幾何パラメータと光学パラメータに分解される。
【数２】
2008026518.tif 000070
【００１０】
ここで、Ｈは、視点ベクトルＶと照明ベクトルＬの中間ベクトルであり、βは中間ベクトルＨと表面法線ベクトルＮとの角度を表す。ｍは物体表面の粗さを表わす係数であり、ｍが小さいときは角度βが小さい部分すなわち表面法線ベクトルＮ付近に強い反射を示し、ｍが大きいときは角度βが大きい部分すなわち表面法線ベクトルＮから離れた部分にも反射分布が広がる。Ｇは幾何減衰率であり、物体表面の凹凸による遮光の影響を表わす。ｎは屈折率である。
【００１１】
（式１）と（式２）の照明方程式パラメータのうち、光源ベクトルＬ、視点ベクトルＶ、照明の照度Ｅｉは、視環境ＶＥに依存するパラメータであり、全画素で同一、あるいは滑らかに変化し、画像解像度に対して独立性が高い。また、拡散反射成分比ｋｄ、鏡面反射成分比ｋｓ、物体表面の粗さｍ、屈折率ｎは、被写体ＯＢＪの材質に依存するパラメータであり、同一材質内では全画素で同一、あるいは滑らかに変化し、画像解像度に対して独立性が高い。一方、表面法線ベクトルＮと拡散反射成分の双方向反射率ρｄは、視環境ＶＥや被写体ＯＢＪの材質に拘束されず、画素ごとに様々なパラメータ値を持つ可能性があるため、画像解像度に対して依存性が高い。
【００１２】
以上より、各パラメータ画像に施す超解像処理は、図４０に示すように、３通りに分かれる。第１に、光源ベクトルＬ、視点ベクトルＶ、照明の照度Ｅｉは、全画素で同一、あるいは滑らかに変化し、画像解像度に対して独立性が高いため、低解像度のパラメータ画像ＬＬ、ＶＬ、（Ｅｉ）Ｌを高解像度のパラメータ画像ＬＨ、ＶＨ、（Ｅｉ）Ｈに変換するには、低解像度画像の画素値をコピー、あるいは隣接画素値から補間すればいい。第２に、拡散反射成分比ｋｄ、鏡面反射成分比ｋｓ、物体表面の粗さｍ、屈折率ｎは、同一材質内では全画素で同一、あるいは滑らかに変化し、画像解像度に対して独立性が高いため、低解像度のパラメータ画像ｋｓＬ、ｍＬ、ｎＬを高解像度のパラメータ画像ｋｓＨ、ｍＨ、ｎＨに変換するには、テクスチャ解析部ＴＡ１〜ＴＡ３で材質を判定し、材質ごとに低解像度画像の画素値をコピー、あるいは隣接画素値から補間すればいい。第３に、表面法線ベクトルＮと拡散反射成分の双方向反射率ρｄは、画像解像度に対して依存性が高いため、テクスチャ超解像部ＴＳＲ１、ＴＳＲ２にて、テクスチャ特徴量ベクトル変換により超解像を行う。そこで、低解像度のパラメータ画像ＮＬとρｄＬの解像度と材質を、テクスチャ解析部ＴＡ４とＴＡ５にて、特徴量ヒストグラムで判定し、テクスチャ超解像部ＴＳＲ１、ＴＳＲ２にて、テクスチャ特徴量ベクトル変換を行って、高解像度のパラメータ画像ＮＨとρｄＨを得る。
【００１３】
以上のように、テクスチャ特徴量を材質ごとに超解像化するため、テクスチャの材質感を変質せずに画像拡大ができ、画質劣化が発生しない効果を有する。
【非特許文献１】荒屋真二著，「明解  ３次元コンピュータグラフィックス」，共立出版，ｐｐ．１４４−１４５、２００３年９月２５日，
【非特許文献２】Ｈ．Ｇｒｅｅｎｓｐａｎ，  Ｃ．Ｈ．Ａｎｄｅｒｓｏｎ，「Ｉｍａｇｅ  ｅｎｈａｎｃｅｄ  ｂｙ  ｎｏｎ−ｌｉｎｅａｒ  ｅｘｔｒａｐｏｌａｔｉｏｎ  ｉｎ  ｆｒｅｑｕｅｃｔ  ｓｐａｃｅ」，ＳＰＩＥ  Ｖｏｌ．２１８２  Ｉｍａｇｅ  ａｎｄ  Ｖｉｄｅｏ  Ｐｒｏｃｅｓｓｉｎｇ  II，１９９４年
【非特許文献３】中静真ら、「多重スケール輝度こう配平面における画像高解像度化」、電子情報通信学会論文誌 Ｄ−ＩＩ  Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ  Ｎｏ．１０  ｐｐ．２２４９−２２５８  １９９８年１０月
【非特許文献４】画像処理ハンドブック編集委員会編，「画像処理ハンドブック」，昭晃堂，ｐｐ．３９３、１９８７年６月８日
【非特許文献５】田中法博、富永昌治、「画像から不均質誘電体の屈折率推定」、電子情報通信学会技術研究報告  ＰＲＭＵ２００２−１７５、ｐｐ．３７−４２  ２００３年１月
【特許文献１】国際公開公報ＷＯ２００５／０６７２９４（図１１）
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、従来の技術では、画像拡大を行いたい低解像度画像の照明方程式パラメータを計測できない、あるいは推定できない場合がある、という問題があった。たとえば、表面法線ベクトルＮは三角測量の原理を用いてレンジファインダ等によって計測できる（例えば、非特許文献４を参照）。三角測量の原理とは、３角形の一辺とその両端の角度が決まると３角形が一義的に定まることを利用しており、図４１に示すように、既知の距離ｌだけ離れた２点Ａ，Ｂから点Ｐを見る角度をそれぞれα、βとすると、点Ｐの座標値（ｘ，ｙ）は以下で与えられる。
【数３】
2008026518.tif 000071
【００１５】
レンジファインダは、点Ａにレーザー光源を置き、物体表面上の点Ｐにレーザー光を照射し、点Ｂに置いたカメラで点Ｐのレーザー光を捉えて点Ｐの座標値（ｘ、ｙ）を計測する。そこで、点Ｐからのレーザー光の反射光が点Ｂのカメラに届くことが前提となる。しかし、点Ｐの反射率が低い（すなわち、黒い物体上にある）場合は、レーザー光の反射光の強度が低くなり、カメラで点Ｐを捉えることができない。また、点Ｐの光学特性の大半が鏡面反射成分からなる場合、点Ｐでのレーザー光の反射は正反射（図４１の矢印ＳＲ）となり、点Ｂのカメラで捉えることができない。レンジファインダは表面法線ベクトルＮの計測方法の一例であるが、何れの方法を用いても、計測できない可能性はあり、さらに、表面法線ベクトル以外のパラメータも考えれば、一部の照明方程式パラメータが計測できない可能性は益々高まる。
【００１６】
また、照明方程式パラメータの中には、実用上、直接計測が困難なものがある。たとえば、反射率は、完全反射板からの反射光強度との比率で計測できるが、実際の利用状況で、常に注目点Ｐに完全反射板を設置することは極めて困難である。従って、たとえば、（式２）のモデルを仮定し、モデルパラメータを推定することで、鏡面反射成分の双方向反射率ρｓを得る。たとえば、非特許文献５では、校正されたＣＣＤカメラで計測した画像から屈折率ｎを推定する手法を開示している。解析的な手法を用いているため、全体最適は図られるものの、部分最適には問題が残り、パラメータの推定精度が許容誤差に収まらない画素が残る可能性があり、低解像画像の照明方程式パラメータに誤差が発生する問題がある。さらに、解析的な手法による全体最適は、ある一定の付加情報が手に入った状態ではじめて実現可能であり、たとえば、非特許文献５が前提としている付加情報が入手できない場合は、屈折率ｎの推定は成し得ない。
【００１７】
さらに、実装上の問題として、機器の大きさや重量、消費電力、価格などの制限から、計測機器を理想的な状態で利用できず、低解像度画像のパラメータを計測できない問題も発生する。加えて、計測による付加情報の取得量が不足して、パラメータ推定の精度が低下したり、推定処理自体が実行できない問題も発生する。
【００１８】
前記の問題に鑑み、本発明は、照明方程式パラメータを用いた画像拡大において、パラメータが計測できなかったり、パラメータの推定精度が低下したりした場合であっても、画像拡大を精度良く実現可能にすることを課題とする。
【課題を解決するための手段】
【００１９】
本発明は、被写体の画像を高解像度化する画像拡大において、被写体を光源によって偏光フィルタを介して照射した状態で偏光フィルタを介して撮像した複数の被写体画像から、鏡面反射画像と拡散反射画像とを分離し、得られた鏡面反射画像および拡散反射画像を用いて、照明方程式パラメータを推定する。この照明方程式パラメータの推定の際に、誤差評価関数に対する閾値比較を行い、推定精度の判定を行う。すなわち、誤差評価関数が閾値より低い値を示した場合は、推定精度が所定の基準を満たした、として、処理対象の画素を「適合画素」と判定する。一方、誤差評価関数が閾値より高い値を示した場合は、推定精度が所定の基準を満たしていない、として、処理対象の画素を「不適合画素」と判定する。適合画素に対しては、推定された照明方程式パラメータを含む低解像度パラメータ群について、高解像度化を行い、高解像度パラメータ群を得る。このとき、低解像度パラメータ群のうち、表面法線ベクトルおよび拡散反射成分双方向反射率について、データベース参照による超解像処理を行う。一方、屈折率など材質に依存する照明方程式パラメータは、同一材質内では同じ値を有するため、このような物理的裏付けから、低解像度の照明方程式パラメータ画像の画素を空間的にコピーして、超解像処理を行う。その結果、低解像度画像では推定精度が不適合であった画素が、高解像度画像では、一部パラメータの推定精度が基準を満たす場合がある。このような超解像処理の結果、画像中に、不適合画素が存在しない場合は、この高解像度パラメータ群を合成して輝度画像に変換し、高解像度画像として生成する。一方、前記超解像処理の結果、画像中に、不適合画素が存在する場合は、適合画素の高解像度パラメータ群を用いて不適合画素の照明方程式パラメータの推定を再度行う。この推定によってもまだ、画像中に、不適合画素が存在する場合は、この高解像度パラメータ群について低解像度化を行い、得られた低解像度パラメータ群を適合画素として低解像度画像の照明方程式パラメータの推定処理にフィードバックし、画像中のすべての画素が適合画素となるまで、上記処理を繰り返す。
【００２０】
すなわち、本発明は、低解像度パラメータを超解像処理して得た高解像度パラメータを利用して、低解像度パラメータにおける推定精度を向上する。
【００２１】
材質に依存した照明方程式パラメータの超解像処理は、同一材質内に存在する画素間で照明方程式パラメータの値をコピーすることによって、超解像化を実現する。そこで、同一材質内に存在する不適合画素は、適合画素からのコピーによって、推定精度が向上する。
【００２２】
データベース参照による超解像処理は、解像度を高める付加情報を低解像度パラメータに与えることによって、超解像化を実現する。ここで、解像度を高めるために付加された情報は、低解像度パラメータを推定する際には取得できない新しい付加情報であり、従って、新しい付加情報が加わった高解像度パラメータで推定を行えば、低解像度パラメータでは推定できなかった不適合画素を推定できる可能性が高い。
【００２３】
そこで、高解像度化パラメータにおいて不適合画素の推定を行い、この推定結果を低解像化することによって、低解像度パラメータにおける適合画素を増やすことができる。適合画素の増加は、不適合画素の推定可能性が向上することを意味する。このため、新たに算出された適合画素を用いて、再び、パラメータの推定処理を繰り返せば、低解像度パラメータにおける不適合画素は順次、推定できる。以上の処理を、高解像度パラメータが全画素で算出できるまで繰り返すことによって、元の低解像度パラメータの計測が不完全な場合でも、画像拡大ができる。
【発明の効果】
【００２４】
本発明によれば、被写体や視環境の幾何光学パラメータの計測が不完全な場合でも、データベース参照による超解像処理において得られる高解像化のための付加情報をパラメータ推定に利用することによって、パラメータ計測の不完全さを補完することができる。このため、照明方程式を用いたテクスチャ再現性の高い画像拡大処理の適応範囲を、利用環境、装置構成などの観点で、広げることができる。
【発明を実施するための最良の形態】
【００２５】
本発明の第１態様では、被写体の画像を高解像度化する画像処理方法として、被写体の照明方程式パラメータを推定する第１ステップと、推定した照明方程式パラメータについて、高解像度化を行う第２ステップと、高解像度化された照明方程式パラメータを合成して、高解像度画像を生成する第３ステップとを備え、前記第１ステップにおいて推定した照明方程式パラメータの推定精度が所定の精度を満たさない画素が存在するとき、前記第２ステップにおいて高解像度化した照明方程式パラメータをフィードバックして、再度、照明方程式パラメータの推定を行うものを提供する。
【００２６】
本発明の第２態様では、被写体の画像を高解像度化する画像処理装置として、被写体の照明方程式パラメータを推定し、かつ、当該推定精度を判定し、所定の精度を満たした適合画素と所定の精度を満たさない不適合画素とを識別する低解像度照明方程式パラメータ推定部と、前記低解像度照明方程式パラメータ推定部によって推定された照明方程式パラメータについて、高解像度化を行う照明方程式パラメータ高解像度化部と、前記照明方程式パラメータ高解像度化部から出力された、適合画素の高解像度化照明方程式パラメータを用いて、不適合画素の高解像度化照明方程式パラメータを推定する高解像度照明方程式パラメータ推定部と、前記高解像度照明方程式パラメータ推定部の出力に不適合画素が存在する場合、適合画素の高解像度化照明方程式パラメータ、および前記高解像度照明方程式パラメータ推定部の出力を低解像度化して、前記低解像度照明方程式パラメータ推定部にフィードバックする低解像度化部とを備えたものを提供する。
【００２７】
本発明の第３態様では、被写体の画像を高解像度化する画像処理装置として、前記被写体を、光源によって偏光フィルタを介して照射した状態で偏光フィルタを介して撮像した、複数の被写体画像を入力とし、前記複数の被写体画像から、鏡面反射画像と拡散反射画像とを分離する鏡面反射拡散反射分離部と、前記鏡面反射拡散反射分離部によって得られた鏡面反射画像および拡散反射画像を用いて、照明方程式パラメータの推定処理を行い、かつ当該推定精度を判定し、所定の精度を満たした適合画素と所定の精度を満たさない不適合画素とを識別する低解像度照明方程式パラメータ推定部と、前記低解像度照明方程式パラメータ推定部によって推定された照明方程式パラメータを含む低解像度パラメータ群について、高解像度化を行い、高解像度パラメータ群を得るものであって、かつ、前記低解像度パラメータ群のうち、前記被写体の表面法線ベクトルおよび拡散反射成分双方向反射率について、データベース参照による超解像処理を行う照明方程式パラメータ高解像度化部と、前記照明方程式パラメータ高解像度化部によって得られた高解像度パラメータ群において不適合画素が存在しないとき、前記高解像度パラメータ群を合成して輝度画像に変換し、高解像度画像として出力する照明方程式パラメータ合成部と、前記照明方程式パラメータ高解像度化部によって得られた前記高解像度パラメータ群において不適合画素が存在するとき、前記高解像度パラメータ群の中の不適合画素の推定処理を行う高解像度照明方程式パラメータ推定部と、前記高解像度照明方程式パラメータ推定部から出力された高解像度パラメータ群においてまだ不適合画素が存在するとき、この高解像度パラメータ群について低解像度化を行い、得られた低解像度パラメータ群を、適合画素として、前記低解像度照明方程式パラメータ推定部に与える低解像度化部とを備えたものを提供する。
【００２８】
本発明の第４態様では、光源撮像装置が前記光源を撮像することによって得た光源画像を入力とし、かつ、前記光源画像から、光源ベクトルを算出する光源方向算出部を備え、前記光源方向算出部によって算出された光源ベクトルは、前記低解像度照明方程式パラメータ推定部に与えられる前記第３態様の画像処理装置を提供する。
【００２９】
本発明の第５態様では、前記複数の被写体画像および前記光源画像から、前記被写体の表面法線ベクトルを推定する形状推定部を備え、前記形状推定部によって推定された表面法線ベクトルは、前記低解像度照明方程式パラメータ推定部に与えられる前記第４態様の画像処理装置を提供する。
【００３０】
本発明の第６態様では、前記照明方程式パラメータ高解像度化部は、前記データベース参照による超解像処理のために、低解像度パラメータ画像および高解像度パラメータ画像についてそれぞれ、空間周波数解析を行うことによって得られた、低解像度画像特徴ベクトルおよび高解像度画像特徴ベクトルを、それぞれ格納したデータベースと、前記低解像度画像特徴ベクトルと前記高解像度画像特徴ベクトルとの対応関係を記述したテーブルとを備えたものである前記第３態様の画像処理装置を提供する。
【００３１】
本発明の第７態様では、前記空間周波数解析は、ウェーブレット変換を用いて行う前記第６態様の画像処理装置を提供する。
【００３２】
本発明の第８態様では、前記低解像度化部は、前記照明方程式パラメータ高解像度化部が備えた前記データベースおよびテーブルを用いて、低解像度化を行う前記第６態様の画像処理装置を提供する。
【００３３】
本発明の第９態様では、前記低解像度照明方程式パラメータ推定部および前記高解像度照明方程式パラメータ推定部は、シンプレックス法を用いて、推定処理を実行する前記第３態様の画像処理装置を提供する。
【００３４】
本発明の第１０態様では、被写体の画像を高解像度化する画像処理方法として、前記被写体を、光源によって偏光フィルタを介して照射した状態で偏光フィルタを介して撮像した複数の被写体画像から、鏡面反射画像と拡散反射画像とを分離する第１のステップと、前記第１のステップにおいて得られた鏡面反射画像および拡散反射画像を用いて、照明方程式パラメータの推定処理を行う第２のステップと、前記第２のステップによって推定された照明方程式パラメータを含む低解像度パラメータ群について、高解像度化を行い、高解像度パラメータ群を得るものであって、かつ、前記低解像度パラメータ群のうち、前記被写体の表面法線ベクトルおよび拡散反射成分双方向反射率について、データベース参照による超解像処理を行う第３のステップと、前記第３のステップにおいて得られた高解像度パラメータ群において不適合画素が存在しないとき、前記高解像度パラメータ群を合成して輝度画像に変換し、高解像度画像として生成する第４のステップと、前記第３のステップにおいて得られた前記高解像度パラメータ群において不適合画素が存在するとき、前記高解像度パラメータ群の中の不適合画素の推定処理を行う第５のステップと、前記第５のステップにおいて得られた高解像度パラメータ群においてまだ不適合画素が存在するとき、この高解像度パラメータ群について低解像度化を行い、得られた低解像度パラメータ群を適合画素として用いて、再度、前記第２のステップを実行する第６のステップとを備えたものを提供する。
【００３５】
本発明の第１１態様では、被写体の画像を高解像度化する画像処理方法をコンピュータに実行させるプログラムとして、前記被写体を、光源によって偏光フィルタを介して照射した状態で偏光フィルタを介して撮像した複数の被写体画像から、鏡面反射画像と拡散反射画像とを分離する第１のステップと、前記第１のステップにおいて得られた鏡面反射画像および拡散反射画像を用いて、照明方程式パラメータの推定処理を行う第２のステップと、前記第２のステップによって推定された照明方程式パラメータを含む低解像度パラメータ群について、高解像度化を行い、高解像度パラメータ群を得るものであって、かつ、前記低解像度パラメータ群のうち、前記被写体の表面法線ベクトルおよび拡散反射成分双方向反射率について、データベース参照による超解像処理を行う第３のステップと、前記第３のステップにおいて得られた高解像度パラメータ群において不適合画素が存在しないとき、前記高解像度パラメータ群を合成して輝度画像に変換し、高解像度画像として生成する第４のステップと、前記第３のステップにおいて得られた前記高解像度パラメータ群において不適合画素が存在するとき、前記高解像度パラメータ群の中の不適合画素の推定処理を行う第５のステップと、前記第５のステップにおいて得られた高解像度パラメータ群においてまだ不適合画素が存在するとき、この高解像度パラメータ群について低解像度化を行い、得られた低解像度パラメータ群を適合画素として用いて、再度、前記第２のステップを実行する第６のステップとをコンピュータに実行させるものを提供する。
【００３６】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００３７】
（実施の形態１）
本実施の形態では、照明方程式パラメータ計測装置で被写体の照明方程式パラメータの一部を計測し、被写体撮像装置で被写体からの反射光を撮影する。そして、画像処理装置が、これらの計測情報から被写体撮像センサの解像度よりも高い解像度の画像を出力する。
【００３８】
図１は本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。画像処理装置４００は、被写体撮像装置ＯＢＪＳの被写体画像ＩＩＮを拡大するための装置であり、低解像度（ＬＲ）照明方程式パラメータ推定部１０３、照明方程式パラメータ高解像度化部１２０、第１スイッチャ部４０２、高解像度（ＨＲ）照明方程式パラメータ推定部１０９、第２スイッチャ部４０３、低解像度化部１１０、および照明方程式パラメータ合成部１１１を備えている。
【００３９】
各処理部に入力する信号、あるいは各処理部から出力する信号のうち、上付きでＬを付したものは、低解像度の意味を示し、被写体撮像装置ＯＢＪＳの解像度と一致する。一方、上付きでＨを付したものは、高解像度の意味を示し、後述する高解像度化処理により被写体撮像装置ＯＢＪＳよりも高い解像度を有することを意味する。
【００４０】
照明方程式パラメータ計測装置ＩＥＰＳは、視環境ＶＥにおける被写体ＯＢＪの注目点Ｐの照明方程式パラメータを計測する。照明方程式としては例えば（式１）と（式２）を用い、したがって、注目点Ｐの表面法線ベクトルや光源ベクトルなどを計測する。この計測結果は、計測パラメータＭＰＬとして画像処理装置４００へ入力され、ＬＲ照明方程式パラメータ推定部１０３に与えられる。
【００４１】
被写体撮像装置ＯＢＪＳは、被写体ＯＢＪからの反射光を撮影する。撮影結果は、被写体画像ＩＩＮとして画像処理装置４００へ入力され、ＬＲ照明方程式パラメータ推定部１０３に与えられる。
【００４２】
ＬＲ照明方程式パラメータ推定部１０３は、例えば（式１）の照明方程式をベースに、照明方程式パラメータ計測装置ＩＥＰＳの計測対象ではない照明方程式パラメータを推定する。例えば、照明方程式パラメータ計測装置ＩＥＰＳの計測対象が、光源ベクトルＬＬ、鏡面反射画像ＩｓＬ、拡散反射画像ＩｄＬ、表面法線ベクトルＮＬ、環境光の輝度ＩａＬであった場合、注目点Ｐの照度ＥｉＬ、鏡面反射成分比ｋｓＬ、物体表面の粗さ（粗さ係数）ｍＬ、屈折率ｎＬ、拡散反射成分の双方向反射率ρｄＬを推定する。
【００４３】
本発明は推定方法に制限を与えるものではなく、任意の方法を適用できるが、ここでは一例として、シンプレックス法を用いて、鏡面反射成分に関わる光学パラメータすなわち、照度ＥｉＬ、鏡面反射成分比ｋｓＬ、物体表面の粗さｍＬ、屈折率ｎＬを推定する。引き続き、推定された照度ＥｉＬおよび鏡面反射成分比ｋｓＬと拡散反射画像ＩｄＬとを用いて、拡散反射成分の双方向反射率ρｄＬを算出する。なお、照明方程式に関しても同様に、本発明は制限を与えるものではなく、任意のモデルを適用できる。
【００４４】
図２は、シンプレックス法によって、注目点Ｐの照度ＥｉＬ、鏡面反射成分比ｋｓＬ、物体表面の粗さｍＬ、屈折率ｎＬを推定するフローチャートを示す。鏡面反射画像ＩｓＬは、（式１）と（式２）から、
(1) 表面法線ベクトルＮＬ
(2) 光源ベクトルＬＬ
(3) 視点ベクトルＶＬ
(4) 注目点Ｐの照度ＥｉＬ
(5) 鏡面反射成分比ｋｓＬ
(6) 物体表面の粗さｍＬ
(7) 屈折率ｎＬ
で決まることがわかるが、このうち、ＬＲ照明方程式パラメータ推定部１０３へ入力する照明方程式パラメータは、(1)から(3)の３つである。従って、シンプレックス法で推定する照明方程式パラメータは、(4)から(7)の４つとなる。ただし、Ｅｉとｋｓは、（式１）に示すように、掛け算の関係にあり、Ｅｉとｋｓを別々の未知数として推定すると、無限個の組み合わせが想定でき、最適化が行えない。そこで、図２では、Ｅｉｋｓを１つの未知数とし、結果的に推定対象の照明方程式パラメータは、（（Ｅｉｋｓ）Ｌ  ｍＬ  ｎＬ）の３つとする。
【００４５】
シンプレックス法では、推定値の候補を（（Ｅｉｋｓ）Ｌ  ｍＬ  ｎＬ）ｃａｎｄｉｄａｔｅとして設定し、照明方程式である（式１）と（式２）を計算して鏡面反射画像の候補（ＩｓＬ）ｃａｎｄｉｄａｔｅを算出し、誤差評価関数として、真値である鏡面反射画像（ＩｓＬ）ｔａｒｇｅｔとの輝度差ΔＩｓＬを計算する。誤差評価関数である輝度差ΔＩｓＬが閾値ｔより小さければ、推定値候補の（（Ｅｉｋｓ）Ｌ  ｍＬ  ｎＬ）ｃａｎｄｉｄａｔｅは推定結果として採用される。逆に、誤差評価関数である輝度差ΔＩｓＬが閾値ｔより大きければ、後述するようにシンプレックスと呼ぶ図形を変形して、推定値の候補（（Ｅｉｋｓ）Ｌ  ｍＬ  ｎＬ）ｃａｎｄｉｄａｔｅを更新し、再度、鏡面反射画像の候補（ＩｓＬ）ｃａｎｄｉｄａｔｅを計算して、真値である鏡面反射画像（ＩｓＬ）ｔａｒｇｅｔとの輝度差ΔＩｓＬを評価する。以上の考え方に基づいて、図２のフローチャートを説明する。
【００４６】
ステップＳ００は、後述する閾値処理と分岐処理、繰り返し処理回数のチェックのために、閾値ｔ、分岐条件Ｃ、繰り返し上限回数ｒを設定する。ステップＳ０１は、推定値の候補（（Ｅｉｋｓ）Ｌ  ｍＬ  ｎＬ）ｃａｎｄｉｄａｔｅの初期値を与える。具体的には、乱数発生などを用いる。ステップＳ０２は、推定値の候補（（Ｅｉｋｓ）Ｌ  ｍＬ  ｎＬ）ｃａｎｄｉｄａｔｅと、光源ベクトルＬＬ、表面法線ベクトルＮＬ、視点ベクトルＶＬを照明方程式である（式１）に入力し、鏡面反射画像の候補（ＩｓＬ）ｃａｎｄｉｄａｔｅを算出する。ステップＳ０３は鏡面反射画像の候補（ＩｓＬ）ｃａｎｄｉｄａｔｅとターゲットである鏡面反射画像の真値（ＩｓＬ）ｔａｒｇｅｔとの輝度差△ＩｓＬを算出し、ステップＳ０４は閾値ｔ（輝度値を８ビットの０から２５５の２５６階調で表現した場合、例えばｔ＝０．０１とする）と比較する。
【００４７】
誤差評価関数である輝度差△ＩｓＬが閾値ｔより小さい場合は、推定値の候補（（Ｅｉｋｓ）Ｌ  ｍＬ  ｎＬ）ｃａｎｄｉｄａｔｅを推定結果として出力し、図２の処理を終了する。この処理対象の画素は、推定精度が所定の基準（真値との誤差が閾値ｔ未満）を満たしたため、「適合画素」と判定する。
【００４８】
一方、誤差評価関数である輝度差△ＩｓＬが閾値ｔより大きい、あるいは等しい場合は、ステップＳ０５において、シンプレックスの更新回数ｒｓと繰り返し上限回数ｒとを比較し、シンプレックスの更新回数ｒｓが繰り返し上限回数ｒを超えている場合は、閾値ｔを大きくして推定精度を低くし、再度、初期値設定のステップＳ０１から推定をやり直す。この処理対象の画素は、推定精度が所定の基準（真値との誤差が閾値ｔ未満）を満たしていないため、「不適合画素」と判定する。不適合画素は、後述する第１スイッチャ部４０２、ＨＲ照明方程式パラメータ推定部１０９、低解像度化部１１０を経由して、ＬＲ照明方程式パラメータ推定部１０３へフィードバックし、再度、ＬＲ照明方程式パラメータ推定部１０３でパラメータ推定をやり直す。この際、当初の閾値ｔに設定を戻し、当初の推定精度のレベルで不適合画素の照明方程式パラメータの推定を行う。一方、シンプレックスの更新回数ｒｓが繰り返し上限回数ｒを超えていない場合は、ステップＳ０６においてシンプレックスを鏡像、拡張、収縮で変形して、推定値の候補（（Ｅｉｋｓ）Ｌ  ｍＬ  ｎＬ）ｃａｎｄｉｄａｔｅを更新し、推定値の次の候補（（Ｅｉｋｓ）Ｌ  ｍＬ  ｎＬ）ｎｅｗ＿ｃａｎｄｉｄａｔｅを算出する。
【００４９】
シンプレックスはｎ次元空間の（ｎ＋１）個の点の集合で、ｎ＝２の場合は三角形になる。図２では（Ｅｉｋｓ）Ｌ、ｍＬ、ｎＬの３つの変数を対象とするため、シンプレックスは４面体になる。シンプレックスの頂点をベクトルｘｊで表し、新しいベクトルｘｈ、ｘｓ、ｘ１、ｘ０を次式で定める。
【数４】
2008026518.tif 000072
引き続き、以下の３つの操作を行って、シンプレックスの大きさと形を変え、関数の最適化を行う。
【数５】
2008026518.tif 000073
ここで、α（＞０）、β（＞１）、γ（１＞γ＞０）は係数であり、例えば、α＝１、β＝２、γ＝１／２などの値を用いる。
【００５０】
これらの操作を２次元で行う場合を図３に示す。シンプレックス法の関数最適化の考え方は、シンプレックスの頂点の中で関数値の最も大きなものを選べば、その鏡像における関数値は小さくなるとの仮定に基づいている。この仮定が正しければ、同じプロセスの繰り返しで、関数の最小値が求められる。図２における関数とは、誤差評価関数である輝度差△ＩｓＬであり、（式１４）と（式１５）による（Ｅｉｋｓ）Ｌ、ｍＬ、ｎＬの更新に伴って輝度差△ＩｓＬは小さくなり、閾値ｔより小さくなったときに最適化処理は終了し、（Ｅｉｋｓ）Ｌ、ｍＬ、ｎＬの推定値が決定される。
【００５１】
ステップＳ０７は、推定値の次の候補（（Ｅｉｋｓ）Ｌ  ｍＬ  ｎＬ）ｎｅｗ＿ｃａｎｄｉｄａｔｅと既存パラメータが分岐条件Ｃをすべて満たしているかを確認し、すべてを満たしている場合は、ステップＳ０２へ戻り、再度、閾値ｔとの比較を行う。一方、推定値の次の候補（（Ｅｉｋｓ）Ｌ  ｍＬ  ｎＬ）ｎｅｗ＿ｃａｎｄｉｄａｔｅと既存パラメータが分岐条件Ｃのすべてを満たしていない場合は、ステップＳ０１へ戻り、初期値を再設定する。
【００５２】
分岐条件Ｃは、例えば、（式２）の屈折率ｎが１以上、フレネル係数Ｆλが０以上１以下、物体表面の粗さｍが０以上、マイクロファセット分布関数Ｄが０以上とする。これらの条件は、物理的な裏付けで各パラメータ値の合理性を確認するものであり、これらの１つでも満たさないものが発生した場合は、照明方程式パラメータが物理的な矛盾を含んでいると判断し、これらを破棄する。推定方法の観点から見ると、関数最適化は進捗しているが、物理的な視点から見ると矛盾する解空間へ進んでいる、と解釈できる。そこで、このままシンプレックスの更新を進めても、物理的矛盾を含んだ解空間から抜け出せないため、ステップＳ０１へ戻って、初期値を再設定して物理的矛盾を含んだ解空間から抜け出す。
【００５３】
以上、図２によって、照度Ｅｉ、鏡面反射成分比ｋｓ、物体表面の粗さｍ、屈折率ｎの推定がなされ、閾値ｔを更新することなく推定が完了した「適合画素」と、閾値ｔを更新して推定が完了した「不適合画素」とが決定される。
【００５４】
なお、シンプレックス法は一例であり、ｆ（ｘ）＝０を繰り返し法で求めるニュートンラフソン法を利用できる。すなわち、ｆ（ｘ）を真値と推定値の差分とし、ｆ（ｘ）＝０が所定の誤差以内で満たせば、適合画素となる。ニュートンラフソン法は、ｆ（ｘ）＝０の根に近いｘ＝ｘｏでｆ（ｘ）をテーラー展開して、一次の項のみを取ると、ｘの微小変化Δｘに対して、ｆ（ｘｏ＋Δｘ）＝ｆ（ｘｏ）＋ｆ‘（ｘｏ）Δｘが成り立つことを利用するもので、ｙ＝ｆ（ｘ）上の点（ｘｏ、ｙｏ）の接線がｘ軸と交わる交点ｘ１を繰り返し求めることでｆ（ｘ）＝０の根を求めることができる。本発明は、パラメータ推定の方法に制限を与えるものではなく、任意の推定方法が適用可能である。
【００５５】
拡散反射成分比ｋｄは１−ｋｓで与えられ、照度ＥｉＬと拡散反射画像ＩｄＬが既知であるため、拡散反射成分の双方向反射率ρｄＬを計算でき、ＬＲ照明方程式パラメータ推定部１０３から出力される。
【００５６】
以上により、ＬＲ照明方程式パラメータ推定部１０３は、照明方程式パラメータの推定を完了し、推定結果を推定パラメータＥＰＬとして出力する。推定パラメータＥＰＬに含まれる適合画素と不適合画素の識別は、適合性識別画像ＡＳＩＬが担う。すなわち、適合性識別画像ＡＳＩＬは、入力画像ＩＩＮと同じ画像サイズの１ビット画像であり、適合画素を１、不適合画素を０として記録する。
【００５７】
不適合画素が発生する要因は様々想定されるが、例えば、図４１を用いて説明したように、表面法線ベクトルの計測で不具合が発生し、その結果、ＬＲ照明方程式パラメータ推定部１０３での推定精度が所定の基準を満たさず、処理対象の画素が不適合画素になる場合が考えられる。このような不適合画素の推定精度を向上するには、新たな付加情報を付加して再度、残存する不適合画素を推定する必要がある。そこで、超解像処理にデータベース参照型を適用し、データベースから引き出した高解像度パラメータで超解像処理を施すとともに、高解像度パラメータを新たな付加情報として利用して、再度、パラメータ推定を行う。超解像処理は、具体的には、後述する材質補間部１０５とテクスチャ超解像部１０７で成されるが、このうち、テクスチャ超解像部１０７では、後述するようにデータベースを参照して高解像度情報を取得する。取得された高解像度情報は、照明方程式パラメータ計測装置ＩＥＰＳからは取得できない新しい付加情報であり、従って、テクスチャ超解像部１０７で超解像処理された照明方程式パラメータを適合画素に加えることで、不適合画素を所定の推定精度で推定できる可能性が高まる。
【００５８】
なお、推定精度を判定する所定の基準は、一般に、利用者の要求画質などによって決まる。すなわち、利用者の要求画質を満たしていれば、適合であり、要求画質を満たしていなければ、不適合である、とする。利用者の要求画質は、利用目的や使用する機器などに依存して様々であり、例えば、ディスプレイで絵画を鑑賞する場合と、ニュース番組で情報を得たい場合では、一般に前者の方がより高い画質が要求される。機器の違いとしては、携帯型の小型ディスプレイよりも、ホームシアターなどで使用される据置き型の大型ディスプレイの方が高い画質を要求される。
【００５９】
また、推定精度の判定基準は、画像内のエリアごとに切り替えても構わない。すなわち、画像内に、前景となる人物が映っていて、背景に建物が映っていた場合を想定する。カメラの焦点は、前景の人物に合っており、背景の建物は被写界深度外の位置にあって、ボケていたとする。このような場合、一般に、前景の人物に対する要求画質は高く、背景には、高い画質は要求されない。そこで、前景と背景に個別の判定基準を割り当てて、より少ない計算で推定精度の適合性を確保することができる。
【００６０】
以降、照明方程式パラメータ高解像度化部１２０の内部構成として、補間による超解像処理を行う、テクスチャ解析Ａ部１０４と材質別補間部１０５を説明し、データベース参照による超解像処理を行う、テクスチャ解析Ｂ部１０６とテクスチャ超解像部１０７を説明する。引き続き、テクスチャ超解像部１０７の出力を照明方程式パラメータの推定にフィードバックする仕組みとして、ＨＲ照明方程式パラメータ推定部１０９と低解像度化部１１０を説明する。
【００６１】
図４は、照明方程式パラメータ高解像度化部１２０の内部構成を説明する図である。テクスチャ解析Ａ部１０４は、後述する材質別補間部１０５による高解像度化処理の前処理を行うものとして機能する。鏡面反射成分比ｋｓＬ、物体表面の粗さｍＬ、屈折率ｎＬは被写体が持つ材質に依存した光学特性パラメータであり、材質ごとに一定値になると考えられる。そこで、テクスチャ解析Ａ部１０４はテクスチャの違いから材質判別を行い、材質別補間部１０５は材質ごとに各パラメータ値を補間する。一方、拡散反射成分の双方向反射率ρｄＬと表面法線ベクトルＮＬは、特別な拘束条件を受けない独立したパラメータであり、従って、補間による高解像度化で画質的に十分である根拠が存在しない。そこで、高解像度化処理はテクスチャ特徴量ベクトル変換テーブルを参照する方式を用いる。つまり、あらかじめ、複数サンプルを用いて低解像度画像と高解像度画像を取得し、データベースに保存しておく。超解像実行時には、低解像度画像でデータベースを参照し、高解像度画像をデータベースから取得する。そこで、テクスチャ解析Ｂ部１０６は特徴量ヒストグラムで材質と解像度を特定し、テクスチャ超解像部１０７はテクスチャ特徴量変換テーブルを参照してテクスチャ特徴量を超解像度化する。
【００６２】
なお、補間部１１２は、解像度独立性の高い光源ベクトルＬＬ、環境光の輝度ＩａＬ、照度ＥｉＬを補間、あるいは空間的にコピーして解像度を増やし、光源ベクトルＬＨ、環境光の輝度ＩａＨ、照度ＥｉＨを出力する。
【００６３】
以降、テクスチャ解析Ａ部１０４と材質別補間部１０５の組み合わせと、テクスチャ解析Ｂ部１０６とテクスチャ超解像部１０７の組み合わせで、高解像度化処理の詳細を説明する。
【００６４】
なお、照明方程式パラメータ高解像度化部１２０には適合性識別画像ＡＳＩＬが入力されており、この適合性識別画像ＡＳＩＬはテクスチャ解析Ａ部１０４およびテクスチャ解析Ｂ部１０６にそれぞれ与えられる。そして、照明方程式パラメータ高解像度化部１２０は、適合性識別画像ＡＳＩＬを参照して、照明方程式パラメータの高解像度化を適合画素についてのみ行う。これにより、処理量を削減することができる。ただし、全ての画素について照明方程式パラメータの高解像度化を行うようにしても、もちろんかまわない。
【００６５】
図５は、テクスチャ解析Ａ部１０４と材質別補間部１０５の詳細を示すブロック図である。鏡面反射成分比ｋｓＬ、物体表面の粗さｍＬ、屈折率ｎＬは、それぞれ、パラメータ値を画素値とするパラメータ入力画像ＰＩＩＮとしてテクスチャ解析Ａ部１０４へ入力される。
【００６６】
テクスチャ解析Ａ部１０４は、画像特徴解析部２１で空間周波数解析を行い、テクスチャ情報を表すパラメータ入力画像特徴ベクトルＰＩＩＮＦＶを出力する。空間周波数解析には任意の方式が適用可能であるが、例えば、図６に示すウェーブレット変換を用いる。ｎ回のスケーリングそれぞれにおいてウェーブレット変換の出力ＨＬ，ＬＨ，ＨＨ，ＬＬを求め、これらを階層ごとに束ねることによって得た（３ｎ＋１）次元ベクトルをパラメータ入力画像特徴ベクトルＰＩＩＮＦＶとする。
【００６７】
ハール型のマザーウェーブレットを用いた場合には、図７（ａ）に示すように、ＨＬは処理対象の画素９６０の右隣接画素９６１との差分値、ＬＨは処理対象の画素９６０の下隣接画素９６２との差分値、ＨＨは斜下隣接画素９６３との差分値、ＬＬは処理対象の画素９６０を含む右、下、斜下の４つの画素９６０〜９６３の平均値である。図７（ａ）はスケール１に相当し、図７（ｂ）はスケール２に相当する。スケール２では、スケール１における４画素９６０〜９６３の平均値である出力ＬＬが差分値の計算対象になる。すなわち、スケール２における出力ＨＬはブロック９６４とブロック９６５の差分値、スケール２における出力ＬＨはブロック９６４とブロック９６６の差分値、スケール２における出力ＨＨはブロック９６４とブロック９６７の差分値となる。また、スケール２における出力ＬＬはブロック９６４〜９６７の平均値となる。
【００６８】
図８は、スケールレベルｎ＝２を例にとって、画像特徴量を画素ごとに算出する方法を説明する図である。図８（ａ）は、画素９７０の画像特徴量（w1, w2, …, w7）1,1を算出する方法であり、ブロック９７１内の１６画素がウェーブレット変換で参照されて、７次元の画像特徴量が算出される。同様に、図８（ｂ）は、画素９７２の画像特徴量（w1, w2, …, w7）1,2を算出する方法であり、ブロック９７３内の１６画素がウェーブレット変換で参照されて、７次元の画像特徴量が算出される。図８（ｃ）は、画素９７４の画像特徴量（w1, w2, …, w7）1,3を算出する方法であり、ブロック９７５内の１６画素がウェーブレット変換で参照されて、７次元の画像特徴量が算出される。以上のように、ウェーブレット変換で参照されるブロックが１画素ごとに移動することによって、画素ごとに画像特徴量が算出される。
【００６９】
類似特徴ベクトル検出部２２は、パラメータ入力画像ＰＩＩＮの全画素に対して、パラメータ入力画像特徴ベクトルＰＩＩＮＦＶに近いベクトルを見つけ出す。ベクトルの類似度は２つのベクトルの内積で検出することができ、全画素に対する内積の中から最も大きなものを順に３つ取り出し、類似パラメータ入力画像特徴ベクトル群ＰＩＩＮＦＶＧとする。
【００７０】
図９は、画像特徴量空間ＦＳにおけるパラメータ入力画像特徴ベクトルＰＩＩＮＦＶと類似パラメータ入力画像特徴ベクトル群ＰＩＩＮＦＶＧの位置関係の例を示す。ベクトルＦＶ１〜ＦＶ３は、類似特徴ベクトル検出部２２によって検出された類似パラメータ入力画像特徴ベクトル群ＰＩＩＮＦＶＧの要素を示す。
【００７１】
類似特徴ベクトル補間部２３は、パラメータ入力画像特徴ベクトルＰＩＩＮＦＶと類似パラメータ入力画像特徴ベクトル群ＰＩＩＮＦＶＧとの距離Ｄ１〜Ｄ３を求めて、（式１６）によって補間を行い、パラメータ出力画像特徴ベクトルＰＩＯＵＴＦＶを算出する。
【数６】
2008026518.tif 000074
【００７２】
画像生成部２４は、パラメータ出力画像特徴ベクトルＰＩＯＵＴＦＶに画像特徴解析部２１の逆変換（例えば、逆ウェーブレット変換）を施す。この結果、鏡面反射成分比ｋｓＨ、物体表面の粗さｍＨ、屈折率ｎＨのパラメータ出力画像ＰＩＯＵＴが、材質別補間部１０５から出力される。
【００７３】
図１０は、テクスチャ解析Ｂ部１０６とテクスチャ超解像部１０７の詳細を示すブロック図である。拡散反射成分の双方向反射率ρｄＬと表面法線ベクトルＮＬは、それぞれ、パラメータ値を画素値とするパラメータ入力画像ＰＩＩＮとしてテクスチャ解析Ｂ部１０６へ入力される。このとき、初期拡大が行われる。画像特徴解析部３１は、パラメータ入力画像ＰＩＩＮの空間周波数解析を行い、テクスチャ情報を表わすパラメータ入力画像特徴ベクトルＰＩＩＮＦＶを出力する。空間周波数解析には、図６のウェーブレット変換を用いる。ベクトル量子化部３２は、パラメータ入力画像特徴ベクトルデータベース部３３に格納された画像特徴ベクトルの中から、パラメータ入力画像特徴ベクトルＰＩＩＮＦＶに最も近いベクトルを検出する。パラメータ入力画像特徴ベクトルデータベース部３３は、図１１に示すように、パラメータ入力画像特徴ベクトルとパラメータ入力画像特徴ベクトル番号の組からなり、複数のサンプル画像を用いて、予め作成しておく。以上より、テクスチャ解析Ｂ部１０６は、拡散反射成分の双方向反射率ρｄＬ、あるいは表面法線ベクトルＮＬのテクスチャ情報をパラメータ入力画像特徴ベクトル番号ＰＩＩＮＦＶＮとしてテクスチャ超解像部１０７へ出力する。
【００７４】
テクスチャ超解像部１０７は、パラメータ画像特徴ベクトル番号置換テーブル３４で、パラメータ入力画像特徴ベクトル番号ＰＩＩＮＦＶＮをパラメータ出力画像特徴ベクトル番号ＰＩＯＵＴＦＶＮに置換する。これにより、超解像化が行われる。すなわち、パラメータ出力画像特徴ベクトル番号ＰＩＯＵＴＦＶＮは、パラメータ出力画像特徴ベクトルデータベース部３５において、図１２に示すように、超解像化された画像特徴量ベクトルとの対応が記述されており、パラメータ画像特徴ベクトル番号置換テーブル３４における番号の変換で、実質、超解像化が成される。
【００７５】
パラメータ画像特徴ベクトル番号置換テーブル３４は、図１３に示すように、予め、複数のサンプルを用いて、低解像度画像と高解像度画像の画像特徴量ベクトルの関係から作成される。パラメータ入力画像特徴ベクトルデータベース３３に低解像度画像の画像特徴が格納され、パラメータ出力画像特徴ベクトルデータベース３５に高解像度画像の画像特徴が格納される。図１３の例では、図６のウェーブレット変換をスケールレベル３まで実行した際に得られる１０次元ベクトルとして例示している。パラメータ画像特徴ベクトル番号置換テーブル３４は、低解像度画像と高解像度画像の同一画素間での対応から構築する。
【００７６】
パラメータ出力画像特徴ベクトルデータベース部３５は、パラメータ出力画像特徴ベクトル番号ＰＩＯＵＴＦＶＮが示すパラメータ出力画像特徴ベクトルＰＩＯＵＴＦＶを取り出す。画像生成部３６は、画像特徴解析部３１の逆変換（例えば、逆ウェーブレット変換）によって、パラメータ出力画像特徴ベクトルＰＩＯＵＴＦＶをパラメータ出力画像ＰＩＯＵＴに変換する。この結果、拡散反射成分の双方向反射率ρｄＨ、あるいは表面法線ベクトルＮＨがテクスチャ超解像部１０７から出力される。
【００７７】
なお、上述したように、パラメータ画像特徴ベクトル番号置換テーブル３４は、低解像度画像と高解像度画像の同一画素間での対応から構築するため、低解像度画像と高解像度画像の画像サイズを同一にしておく必要がある。低解像度画像は、高解像度画像よりも画像サイズが小さいため、低解像度画像を、例えば、バイリニア補間やバイキュービック補間で高解像度と同じ画像サイズに一旦、初期拡大すればいい。従って、実質、テクスチャ超解像部１０７は、初期拡大された低解像度画像にデータベースから取得した高周波成分を主体とするディテイルを付け加えるように機能する。
【００７８】
以上により、超解像処理が完結するが、同時に、出力画像特徴ベクトルデータベース部３５で取り出したパラメータ出力画像特徴ベクトルＰＩＯＵＴＦＶが不適合画素の推定精度向上に利用する新しい付加情報として取得された。推定パラメータＥＰＨに含まれる適合画素と不適合画素の識別は、適合性識別画像ＡＳＩＬで行う。
【００７９】
第１スイッチャ部４０２は、適合性識別画像ＡＳＩＬを参照して、不適合画素の有無を確認し、高解像度化されたパラメータの出力先を切り替える。全画素が適合画素である場合は、推定パラメータＥＰＨを照明方程式パラメータ合成部１１１へ出力する。一方、不適合画素が存在する場合は、推定パラメータＥＰＨをＨＲ照明方程式パラメータ推定部１０９へ出力し、後述するように、照明方程式パラメータの推定を再度実施する。
【００８０】
ＨＲ照明方程式パラメータ推定部１０９は、推定パラメータＥＰＨの中の不適合画素の推定を行う。推定パラメータＥＰＨのうち、拡散反射成分の双方向反射率ρｄＨと表面法線ベクトルＮＨは、パラメータ出力画像特徴ベクトルデータベース部３５を参照して取得されたものであり、照明方程式パラメータ計測装置ＩＥＰＳでは計測できない新たな適合画素と位置づけられる。このため、高解像度化された照明方程式パラメータを用いれば、ＬＲ照明方程式パラメータ推定部１０３で推定できなかった照明方程式パラメータが推定できる可能性がある。ＨＲ照明方程式パラメータ推定部１０９の具体的な推定方法は任意であり、本発明は制限を与えないが、例えば、図２に説明したシンプレックス法を用いる。誤差評価関数の閾値比較によって、適合画素と不適合画素を判定し、適合性識別画像ＡＳＩＨを出力する。
【００８１】
第２スイッチャ部４０３は、適合性識別画像ＡＳＩＨを参照して、不適合画素の有無を確認する。すべての画素が適合画素となった場合は、推定パラメータＥＰＨを照明方程式パラメータ合成部１１１へ出力する。一方、ＨＲ照明方程式パラメータ推定部１０９で推定した結果、不適合画素が残っている場合は、ＬＲ照明方程式パラメータ推定部１０３へ戻して、低解像度画像の状態で、再度、パラメータ推定を実行する。そのためには、高解像度化されたパラメータを低解像度化する必要があるため、ＨＲ照明方程式パラメータ推定部１０９の出力である推定パラメータＥＰＨを低解像度化部１１０に出力して低解像化処理を施し、その後、ＬＲ照明方程式パラメータ推定部１０３へ入力する。
【００８２】
低解像度化部１１０は、推定パラメータＥＰＨに対して低解像度化処理を施して、推定パラメータＥＰＬとして出力する。低解像度処理の具体的な方法は、被写体撮像装置ＯＢＪＳの撮像特性に依存する。つまり、被写体撮像装置ＯＢＪＳが被写体ＯＢＪを近距離で撮影した高解像度画像と、遠距離で撮影した低解像度画像を取得し、２つの輝度値の変化を低解像度化部１１０に反映する。具体的には、図１３のように、パラメータ画像特徴ベクトルの対応関係を画素単位で構築し、図１０の流れの逆方向をたどって、低解像度画像を得ればいい。この場合、図１０に示したパラメータ入力画像特徴ベクトルデータベース部３３、パラメータ画像特徴ベクトル番号置換テーブル３４およびパラメータ出力画像特徴ベクトルデータベース部３５を用いればよい。
【００８３】
また、近似的には２次元のガウス関数を畳み込んで低解像度画像を算出したり、近隣画素の平均値で低解像度画像とする方法などがある。また、輝度ではなく、図９に示したように、パラメータ画像特徴ベクトルを補間する方法もある。
【００８４】
不適合画素の有無を示す適合性識別画像ＡＳＩＬは、第２スイッチャ部４０３から入力される適合性識別画像ＡＳＩＨをもとに、図１４に示す方法で生成される。図１４（ａ）の適合性識別画像ＡＳＩＨにおいて、画素４０５が不適合画素であり、それ以外の画素は適合画素とする。低解像度化部１１０の低解像処理の結果、適合性識別画像ＡＳＩＬの画素４０６が、適合性識別画像ＡＳＩＨの４画素×４ラインの１６画素をもとに生成されたとする場合、画素４０６は、不適合画素４０５の影響を受けている。そこで、画素４０６は不適合画素となる。一方、図１４（ｂ）の適合性識別画像ＡＳＩＨでは、適合性識別画像ＡＳＩＬの画素４０６に影響を与える４画素×４ラインの１６画素すべてが適合画素である。この場合は、画素４０６は適合画素となる。
【００８５】
低解像度化部１１０からフィードバックされた推定パラメータＥＰＬは、テクスチャ超解像部１０７の出力画像特徴ベクトルデータベース部３５において、超解像に必要な付加情報が加えられた上で算出されているため、被写体撮影装置ＯＢＪＳや形状計測装置ＮＳが取得できない新たな情報が付加されている。従って、ＬＲ照明方程式パラメータ推定部１０３における１回目の推定で不適合画素となったものについて、パラメータが推定できる可能性が高い、と捉えられる。
【００８６】
上記の処理を繰り返せば、テクスチャ超解像部１０７での超解像処理が施される度に、照明方程式パラメータの情報量が増加し、不適合画素のパラメータを推定できる可能性が高まり、すべての画素が適合画素となり得る。
【００８７】
照明方程式パラメータ合成部１１１は、（式１）の照明方程式を用いて、高解像度化されたパラメータを合成して輝度画像に変換し、高解像度画像ＩＯＵＴとして出力する。
【００８８】
図１５は、図１に示した画像処理装置４００のブロック図の動作フローを示す。ステップＳ４００は、初期設定として、ＬＲ照明方程式パラメータ推定部１０３やＨＲ照明方程式パラメータ推定部１０９で実行する推定処理の初期値や閾値、分岐条件等の設定を行う。ステップＳ４０１は、被写体撮像装置ＯＢＪＳで被写体ＯＢＪを撮影して被写体画像ＩＩＮを取得し、照明方程式パラメータ計測装置ＩＥＰＳで被写体ＯＢＪの照明方程式パラメータを計測する。ステップＳ４０２は、ＬＲ照明方程式パラメータ推定部１０３で、注目点Ｐの照明方程式パラメータを推定する。ステップＳ４０３は、照明方程式パラメータ高解像度化部１２０で、注目点Ｐの照明方程式パラメータを高解像度化する。ステップＳ４０４は、不適合画素の有無を確認し、全画素が適合画素であった場合は、ステップＳ４０５へ進み、ステップＳ４０５でパラメータ合成が行われ、Ｓ４０６で高解像度画像ＩＯＵＴが出力される。一方、ステップＳ４０４で不適合画素が検出された場合は、ステップＳ４０７へ進み、ステップＳ４０７で高解像度化された照明方程式パラメータを用いて、不適合画素を再推定する。ステップＳ４０８で再び、不適合画素の有無を確認し、全画素が適合画素であった場合は、ステップＳ４０５へ進み、ステップＳ４０６で高解像度画像ＩＯＵＴが出力される。一方、ステップＳ４０８で不適合画素が検出された場合は、ステップＳ４０９へ進み、ステップＳ４０９で高解像度パラメータ画像を低解像化し、ステップＳ４０２へ戻って、再び、低解像度パラメータ画像で不適合画素の推定を行う。
【００８９】
なお、ＬＲ照明方程式パラメータ推定部１０３で、何度パラメータ推定を繰り返しても、閾値ｔが当初の設定値まで下がらず、推定精度が目標レベルに達しない場合があり得る。この場合は、目標の推定レベルに対してあまりにも不適合画素が多すぎることを意味する。このような場合は、推定精度を下げて処理を終了せざるを得ない。そこで、第１スイッチャ部４０２にカウンタを設けて、所定の回数以上、パラメータ推定を繰り返した場合は、ＬＲ照明方程式パラメータ推定部１０３へのフィードバックを取りやめ、照明方程式パラメータ合成部１１１へ出力して高解像度化処理を終了する。
【００９０】
以上により、画像処理装置４００は、被写体画像ＩＩＮ、計測パラメータＭＰＬから被写体撮像センサの解像度よりも高い解像度の画像を出力でき、エッジの先鋭さやテクスチャを変質させず、画質劣化なしに画像を拡大できる。被写体や視環境の幾何光学パラメータの計測や、照明方程式パラメータの推定が不完全なために生じた不適合画素が存在しても、超解像処理で利用される高解像化のための付加情報を利用してパラメータを再推定し、照明方程式パラメータを用いた画像拡大を実行できる。何らかの制限によって低解像度画像のパラメータをすべて計測できない場合でも、本発明では画像拡大が可能であり、利用環境や装置構成などの観点で適用範囲を広げる効果を有する。
【００９１】
図１６は、照明方程式パラメータの推定を低解像度画像に対してのみ実行する画像処理装置５００のブロック図である。図１の画像処理装置４００は、ＨＲ照明方程式パラメータ推定部１０９において、高解像度化された照明方程式パラメータを用いて、残存する不適合画素の照明方程式パラメータを推定する。一方、図１６の画像処理装置５００は、高解像度化された照明方程式パラメータを用いた不適合画像の照明方程式パラメータの推定を持たず、低解像度画像のみで照明方程式パラメータの推定を行う。これに伴い、第２スイッチャ部４０３は不要になり、推定パラメータＥＰＨを低解像度化部１１０へ入力して、ＬＲ照明方程式パラメータ推定部１０３へフィードバックする。
【００９２】
画像処理装置５００は、画像処理装置４００に比べて、構成が単純化し、機器の小型化に効果を発揮する。また、照明方程式パラメータの推定は、低解像度画像に対して実行されるため、例えば、図２のような推定処理の回数が、高解像画像を扱う場合よりも少なくなり、推定処理の高速化が図れる。
【００９３】
ただし、不適合画素の推定精度を高めるにあたって、高解像度画像でのパラメータ推定は有効であり、低解像度画像と高解像度画像の２つで照明方程式パラメータを推定する画像処理装置４００は、不適合画素の推定精度の向上において、画像処理装置５００よりも有利である。一方、画像処理装置５００は、照明方程式パラメータの推定回数が少ない、という点で画像処理装置４００よりも有利である。そこで、画像処理装置４００と画像処理装置５００は、推定精度と推定速度のそれぞれのメリットを生かして使い分けることが肝心であり、高解像度化された照明方程式パラメータをＬＲ照明方程式パラメータ推定部１０３にフィードバックする回数を増やした方が有効な場合は、画像処理装置５００を利用すべきである。一方、高解像度化された状態で不適合画素の照明方程式パラメータを推定する方が有効な場合は、画像処理装置４００を利用すべきである。
【００９４】
（実施の形態２）
本実施の形態では、光源撮像装置で光源を撮影し、形状計測装置で被写体の表面法線ベクトルを計測し、偏光フィルタを介した照明で完全偏光を被写体に照射し、偏光フィルタを介した被写体撮像装置で被写体からの反射光を撮影する。そして、画像処理装置が、これらの計測情報から被写体撮像センサの解像度よりも高い解像度の画像を出力する。
【００９５】
図１７は本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。画像処理装置１００は、被写体撮像装置ＯＢＪＳの被写体画像ＩＩＮを拡大するための装置であり、光源方向算出部１０１、鏡面反射拡散反射分離部１０２、ＬＲ照明方程式パラメータ推定部１０３、テクスチャ解析Ａ部１０４、材質別補間部１０５、テクスチャ解析Ｂ部１０６、テクスチャ超解像部１０７、スイッチャ部１０８、ＨＲ照明方程式パラメータ推定部１０９、低解像度化部１１０、照明方程式パラメータ合成部１１１、補間部１１２を備えている。テクスチャ解析Ａ部１０４、材質別補間部１０５、テクスチャ解析Ｂ部１０６、テクスチャ超解像部１０７および補間部１１２によって、照明方程式パラメータ高解像度化部１２０が構成されている。なお、図１に示す撮影装置４００と同様の部分については同じ符号を付し、詳細な説明を省略する。
【００９６】
各処理部に入力する信号、あるいは各処理部から出力する信号のうち、上付きでＬを付したものは、低解像度の意味を示し、被写体撮像装置ＯＢＪＳの解像度と一致する。一方、上付きでＨを付したものは、高解像度の意味を示し、後述する高解像化処理により被写体撮像装置ＯＢＪＳよりも高い解像度を有することを意味する。
【００９７】
光源撮像装置ＩＬＳは、視環境ＶＥにおいて、光源ＩＬを撮影して、光源画像ＩＩＬを画像処理装置１００に入力する。さらに、形状計測装置ＮＳは被写体ＯＢＪの形状を計測し、表面法線ベクトルＮＬを画像処理装置１００に入力する。形状計測装置ＮＳは、図１８に示すように、注目点Ｐを含むような三角形を形成する３点の３次元的な位置を、図４１に示した三角測量の原理で計測し、三角形の面に直交する長さ１のベクトルを表面法線ベクトルＮＬとする。形状計測装置ＮＳは、被写体撮影装置ＯＢＪＳとほぼ同じ位置に設置し、２つの装置の光軸は近似的に一致しているとする。なお、環境光成分である（式１）のＩａは撮影前に計測しておく。（式１）からわかるように、照明の照度Ｅｉを０にすればＩｖ＝Ｉａとなり、環境光の輝度Ｉａを計測できる。従って、注目点Ｐを照らす照明ＩＬを消灯、遮断、あるいは取り除くことで環境光の輝度Ｉａを計測できる。
【００９８】
光源方向算出部１０１は、光源画像ＩＩＬから光源ＩＬの３次元的位置を算出する。光源ＩＬからの光線はすべて平行であると仮定し、光源の方向は１本のベクトルで表現できると仮定する。図１９（ａ）は、光源ＩＬと光源画像ＩＩＬの位置関係を示す。光源ＩＬの位置が曲線ＬＴに沿って移動した場合を考える。曲線ＬＴ上の位置ＰＳ１から位置ＰＳ５に移動した光源ＩＬの光は、光源撮像装置ＩＬＳの有する撮像センサ４０３に入射し、直線ＳＴ上の位置ＰＸ１から位置ＰＸ５に記録される。光源ＩＬが位置ＰＳ２にある場合、直線ＳＴとｘ軸が成す角度をθ、直線ＳＴと光源ベクトルＬ２が成す角度をφとして、光源ベクトルＬ２を求める方法を説明する。
【００９９】
図１９（ｂ）は、図１９（ａ）の撮像センサ４０３をｚ軸方向から見たもので、位置ＰＸ１と座標原点Ｏの距離をｄ、位置ＰＸ２と座標原点Ｏの距離をｒとする。位置ＰＸ１はφ＝０、座標原点Ｏはφ＝９０度であり、この間の光源位置と撮像センサ４０３の位置は線形に配分されるため、位置ＰＸ２の角度φは以下で与えられる。
【数７】
2008026518.tif 000075
ここで、光源画像上の位置ＰＸ１、位置ＰＸ２、座標原点Ｏの画素位置をそれぞれ、（ｘＬ１，ｙＬ１）、（ｘＬ２，ｙＬ２）、（ｘＯ，ｙＯ）とすると、位置ＰＸ１と座標原点Ｏの距離ｄは、
【数８】
2008026518.tif 000076
で与えられ、位置ＰＸ２と座標原点Ｏの距離ｒは、
【数９】
2008026518.tif 000077
で与えられる。
【０１００】
図１９（ｃ）は、位置ＰＸ２からｚ軸方向に光源ベクトルＬ２との交線ＬＴを引いて得られる三角形を示し、交線ＬＴの長さをｚＬ２とすると、次式が得られる。
【数１０】
2008026518.tif 000078
【０１０１】
光源ベクトルを長さ１の単位ベクトルで定義するならば、
【数１１】
2008026518.tif 000079
となる。
【０１０２】
以上の計算は、光源撮像装置ＩＬＳの光軸ｚ軸と撮像センサ４０３上のｘ軸とｙ軸からなる３次元座標系で導出されたものであり、これを被写体撮像装置ＯＢＪＳの３次元座標系に変換する必要がある。
【０１０３】
図２０は、被写体撮像装置ＯＢＪＳと光源撮像装置ＩＬＳを単一筐体にまとめたカメラの一例を示す。カメラ４０１は、光源撮像装置ＩＬＳとして光源撮影レンズ４０２および光源撮像素子４０３を備え、被写体撮像装置ＯＢＪＳとして被写体撮影レンズ４０４および被写体撮像素子４０５を備える。カメラ４０１は、被写体撮像装置ＯＢＪＳの光軸ｚ軸を被写体方向に向ける場合が一般的な利用形態であるため、光源ＩＬを光源撮像装置ＩＬＳで捉えるためには、光源撮像装置ＩＬＳを上方に向けて取り付けることが望ましい。光源撮像装置ＩＬＳの座標系を被写体撮像装置ＯＢＪＳの座標系に変換するには、ｘ軸、ｙ軸、ｚ軸を各々変換することで実現できる。ベクトル（ｘｌｉｇｈｔ、ｘ  ｙｌｉｇｈｔ、ｘ  ｚｌｉｇｈｔ、ｘ）ｏｂｊｅｃｔは、光源撮像素子４０３のｘｙｚ３次元座標系のｘ軸を被写体撮像素子４０５のｘｙｚ３次元座標系で表わしたベクトルである。ベクトル（ｘｌｉｇｈｔ、ｘ  ｙｌｉｇｈｔ、ｘ  ｚｌｉｇｈｔ、ｘ）ｌｉｇｈｔは、光源撮像素子４０３のｘｙｚ３次元座標系のｘ軸を光源撮像素子４０３のｘｙｚ３次元座標系で表わしたベクトルである。ｘ軸と同様にｙ軸、ｚ軸も定義すると、各軸のベクトルは３×３行列Ｍで以下のように関係付けられる。
【数１２】
2008026518.tif 000080
これを行列Ｍについて解くと
【数１３】
2008026518.tif 000081
となる。この行列Ｍを（式９）に施すことで、図１９の光源ベクトルＬ２は、光源撮像素子４０３のｘｙｚ３次元座標系から被写体撮像素子４０５のｘｙｚ３次元座標系へ変換される。
【０１０４】
なお、光源は多くの場合、カメラ４０１の上方に位置するため、光源撮像装置ＩＬＳを上方に向けて撮影するが、仮に画角が不十分で光源ＩＬを光源撮像装置ＩＬＳの画角に捉え切れない場合は、カメラ４０１の向きを変えて光源ＩＬを画角に捉える。そこで、カメラ４０１の向きの変化を計測する必要があるため、カメラ４０１に３次元姿勢センサ４０６（加速度センサなどで構成）を内蔵し、光源撮像素子４０３のｘｙｚ３次元座標軸の３次元動きを３次元姿勢センサ４０６から取得し、（式１０）と同じ要領で座標変換すればいい。なお、画角が１８０度程度の広角レンズを用いて、光源ＩＬと被写体ＯＢＪを同時に画角内に捉えることができる場合は、光源撮像装置ＩＬＳと被写体撮像装置ＯＢＪＳを１つのレンズと撮像素子にまとめることも可能である。
【０１０５】
カメラの向きを変える別の方法として、折り畳み式携帯電話の構成も有効である。すなわち、図２１に示すように、携帯電話６０１は相手側カメラ６０２（携帯電話６０１の使用者の目の前の被写体を撮影するカメラ）と自分側カメラ６０３（携帯電話６０１の使用者を撮影するカメラ）を備え、相手側カメラ６０２は折り畳んだディスプレイ部６０４を開く際に大きく向きを変える。すなわち、（ａ）に示すように、ディスプレイ部６０４の開き角度ＤＡＧが小さい場合は携帯電話６０１の上方を捉え、（ｃ）に示すように、ディスプレイ部６０４の開き角度ＤＡＧが大きい場合は携帯電話６０１の使用者の前方を捉え、（ｂ）に示すように、ディスプレイ部６０４の開き角度ＤＡＧが中間の大きさの場合は、携帯電話６０１の上方と携帯電話６０１の使用者の前方との中間方向を捉える。そこで、ディスプレイ部６０４の開き角度ＤＡＧをヒンジ６０５に備えた角度センサ６０６で検出して、相手側カメラ６０２の向きを算出する。ｘｙｚ３次元座標系は、例えば、自分側カメラ６０３の焦点位置を座標原点とし、携帯電話６０１の構造上決まる相手側カメラ６０２の焦点位置との関係から、（式１０）の要領で、２つのカメラの撮影画像を同じｘｙｚ３次元座標系で管理できる。なお、自分側カメラ６０３も光源の撮影に利用できることは明らかである。以上により、光源方向算出部１０１で光源ベクトルＬＬを算出できる。
【０１０６】
鏡面反射拡散反射分離部１０２は、偏光特性を利用して被写体画像ＩＩＮを鏡面反射画像ＩｓＬと拡散反射画像ＩｄＬに分離する。光が物体表面で反射する場合、光の入反射面に並行な電場成分と垂直な電場成分ではフレネル係数が一般的に異なるため、反射光は偏光する。このため、鏡面反射成分は一般的に偏光しているが、拡散反射は乱反射であるため、偏光性を持たない。図２２に示すように、偏光フィルタＰＦを通して反射光ＲＲを観測した場合、透過光ＲＲＰの強度は、反射光ＲＲのうち偏光フィルタＰＦの偏光軸ＰＦＡに並行な成分の強度となる。このため、物体表面ＳＦからの鏡面反射成分を偏光フィルタＰＦを回転させながら観測した場合、透過光ＲＲＰの強度は偏光フィルタＰＦの偏光軸ＰＦＡと鏡面反射の偏光面ＳＰＰの間との角度ψに応じて変化し、以下で与えられる。
【数１４】
2008026518.tif 000082
【０１０７】
ここで、Ｌｄは拡散反射成分の輝度、Ｌｓは鏡面反射成分の輝度、θ’ｉは微小反射面での光の入射角、ＦＰは絶縁体に対する並行電場成分のフレネル係数、ＦＶは絶縁体に対する垂直電場成分のフレネル係数である。
【０１０８】
以上の偏光特性に基づくと、図２３に示すように、光源ＩＬ側にも光源側偏光フィルタＰＦＩＬを用いて直線偏光を作れば、角度ψの変化に伴う最大輝度Ｉｍａｘと最小輝度Ｉｍｉｎを検出することで鏡面反射画像ＩＳを撮影できる。図２４は、撮影側偏光フィルタＰＦＯＳを回転させた場合の透過光ＲＲＰの輝度の変化を示す。拡散反射は非偏光であるため、偏光軸ＰＦＡＯＳに一致した部分だけが透過し、角度ψに依存せず、一定の輝度値Ｉｍｉｎが得られる。一方、鏡面反射は、偏光状態を変えず、そのまま反射するため、反射光ＲＲのうち、鏡面反射成分は、撮影側偏光フィルタＰＦＯＳの偏光軸ＰＦＡＯＳと光源側偏光フィルタＰＦＩＬの偏光軸ＰＦＡＩＬとの角度差に応じて輝度値が正弦波状に変化する。偏光軸ＰＦＡＯＳと偏光軸ＰＦＡＩＬとの角度差が０になった場合、最大輝度Ｉｍａｘが得られる。偏光フィルタを通すと、輝度が半分に落ちることを考慮して、以下によって、鏡面反射画像Ｉｓと拡散反射画像Ｉｄが得られる。
【数１５】
2008026518.tif 000083
【数１６】
2008026518.tif 000084
【０１０９】
ＬＲ照明方程式パラメータ推定部１０３は、例えば（式１）の照明方程式をベースに、光源ベクトルＬＬ、鏡面反射画像ＩｓＬ、拡散反射画像ＩｄＬ、表面法線ベクトルＮＬ、環境光の輝度ＩａＬから、注目点Ｐの照度ＥｉＬ、鏡面反射成分比ｋｓＬ、物体表面の粗さｍＬ、屈折率ｎＬ、拡散反射成分の双方向反射率ρｄＬを推定する。光源ベクトルＬＬや表面法線ベクトルＮＬなどの幾何情報は、図２０で説明したように、被写体撮像装置ＯＢＪＳのＸＹＺ座標系を基準に記述する。このため、視点ベクトルＶＬは被写体撮像装置ＯＢＪＳのＺ軸に一致し、計測する必要はない。
【０１１０】
本発明は推定方法に制限を与えるものではなく、任意の方法を適用できるが、一例として、図２で説明したシンプレックス法を用いて、鏡面反射成分に関わる光学パラメータすなわち、照度ＥｉＬ、鏡面反射成分比ｋｓＬ、物体表面の粗さｍＬ、屈折率ｎＬを推定する。引き続き、推定された照度ＥｉＬおよび鏡面反射成分比ｋｓＬと拡散反射画像ＩｄＬとを用いて、拡散反射成分の双方向反射率ρｄＬを算出する。なお、照明方程式に関しても同様に、本発明は制限を与えるものではなく、任意のモデルを適用できる。
【０１１１】
上述したように、光源撮像装置ＩＬＳや形状計測装置ＮＳで計測の不具合が発生し、光源ベクトルＬＬや表面法線ベクトルＮＬが原因で、不適合画素が発生する場合が考えられる。例えば、光源撮像装置ＩＬＳでは、感度不足（暗部に対する感度が不足し、撮像センサから出力が検出されない状態）あるいはダイナミックレンジ不足（ハイライトが感度レンジを越えて最大出力にクリッピングされる状態）によって光源画像ＩＩＬの撮影ができない場合が考えられる。形状計測装置ＮＳでの計測の不具合は、例えば、図４１で説明したように、点Ａから照射されたレーザー光が点Ｐで方向ＳＲに正反射して、点Ｂに設置されたカメラがレーザー光を捉えられない場合や、点Ｐの反射率が低く（つまり黒）、点Ｂに設置されたカメラがレーザー光を撮影できない場合などである。
【０１１２】
以上のように、被写体画像ＩＩＮを高解像度化するにあたって必要となる光源ベクトルＬＬ、表面法線ベクトルＮＬの計測で不具合が生じた場合、ＬＲ照明方程式パラメータ推定部１０３での推定精度に影響を与え、所定の推定精度を満たせなくなる。このように、計測における不具合や、照明方程式パラメータの推定における不具合などは、トータルに、誤差評価関数での閾値比較で判断する。適合画素、不適合画素の判断結果は、実施の形態１と同様に、適合性識別画像ＡＳＩＬとして、スイッチャ部１０８へ出力する。なお、不適合画素の推定精度を向上するには、新たな情報を付加して再度、不適合画素を推定する必要がある。そこで、超解像処理にデータベース参照型を適用し、データベースから引き出した高解像度パラメータで超解像処理を施すとともに、高解像度パラメータを新たな付加情報として利用して、再度、パラメータ推定を行う。超解像処理は、具体的には、材質補間部１０５とテクスチャ超解像部１０７で成されるが、このうち、テクスチャ超解像部１０７では、上述したようにデータベースを参照して高解像度情報を取得する。取得された高解像度情報は、被写体撮像装置ＯＢＪＳや形状計測装置ＮＳからは取得できない新しい付加情報であり、従って、テクスチャ超解像部１０７で超解像処理されたパラメータを加えて、再度、パラメータ推定を実行することで、不適合画素の推定精度を向上できる可能性が高まる。
【０１１３】
スイッチャ部１０８は、適合性識別画像ＡＳＩＬを参照して、不適合画素の有無を検出し、高解像度化されたパラメータの出力先を切り替える。全画素が適合画素である場合は、高解像度画像の算出が完了したことになる。一方、不適合画素が検出された場合は、再度、パラメータ推定を行うために、ＨＲ照明方程式パラメータ推定部１０９、低解像度化部１１０を経由して、ＬＲ照明方程式パラメータ推定部１０３で、再度、不適合画素の推定を行う。すべてのパラメータと適合性識別画像ＡＳＩＬを高解像パラメータ群ＨＲＰとして、ＨＲ照明方程式パラメータ推定部１０９へ出力する。
【０１１４】
ＨＲ照明方程式パラメータ推定部１０９で、すべての画素が適合画素となった場合は、出力高解像度パラメータＯＵＴＨＲＰとしてスイッチャ部１０８へ戻し、照明方程式パラメータ合成部１１１へ出力する。一方、ＨＲ照明方程式パラメータ推定部１０９で推定した結果、不適合画素が残っている場合は、ＬＲ照明方程式パラメータ推定部１０３へ戻して、低解像度画像の状態で、再度、パラメータ推定を実行する。そのためには、高解像度化されたパラメータを低解像度化する必要があるため、ＨＲ照明方程式パラメータ推定部１０９で推定された高解像度化パラメータを未知高解像度パラメータＮＨＲＰとして低解像度化部１１０に出力して低解像化処理を施し、その後、ＬＲ照明方程式パラメータ推定部１０３へ入力する。
【０１１５】
低解像度化部１１０は、未知高解像度パラメータＮＨＲＰに対して低解像度化処理を施して、未知低解像度パラメータＮＬＲＰとして出力する。低解像度処理の具体的な方法は、実施の形態１で述べたとおりである。
【０１１６】
なお、ＬＲ照明方程式パラメータ推定部１０３で、何度パラメータ推定を繰り返しても、閾値ｔが当初の設定値まで下がらず、推定精度が目標レベルに達しない場合があり得る。この場合は、目標の推定レベルに対してあまりにも不適合画素が多すぎることを意味する。このような場合は、推定精度を下げて処理を終了せざるを得ない。そこで、スイッチャ部１０８にカウンタを設けて、所定の回数以上、パラメータ推定を繰り返した場合は、ＬＲ照明方程式パラメータ推定部１０３へのフィードバックを取りやめ、照明方程式パラメータ合成部１１１へ出力して高解像度化処理を終了する。
【０１１７】
図２５は、図１７に示した画像処理装置１００のブロック図の動作フローを示す。ステップＳ１００は、初期設定として、環境光Ｉａの計測、ＬＲ照明方程式パラメータ推定部１０３やＨＲ照明方程式パラメータ推定部１０９で実行する推定処理の初期値や閾値、分岐条件等の設定を行う。また、不適合画素の検出のために、すべてのパラメータ画像の全画素値を２５５に初期化する。ステップＳ１０１は、光源撮像装置ＩＬＳで光源ＩＬを撮影して光源画像ＩＩＬを取得し、被写体撮像装置ＯＢＪＳで被写体ＯＢＪを撮影して被写体画像ＩＩＮを取得し、形状計測装置ＮＳで被写体ＯＢＪの表面法線ベクトルＮＬを計測する。ステップＳ１０２は、光源画像ＩＩＬから光源方向算出部１０１で光源ベクトルＬＬを算出する。
【０１１８】
ステップＳ１０３は、被写体画像ＩＩＮを鏡面反射画像ＩｓＬと拡散反射画像ＩｄＬに分離する。ステップＳ１０４は、光源ベクトルＬＬ、鏡面反射画像ＩｓＬと拡散反射画像ＩｄＬから、注目点Ｐの照度ＥｉＬ、鏡面反射成分比ｋｓＬ、物体表面の粗さｍＬ、屈折率ｎＬ、拡散反射成分の双方向反射率ρｄＬを推定する。ステップＳ１０５は、テクスチャ解析Ａ部１０４を経て、材質別補間部１０５で、鏡面反射成分比ｋｓＬ、物体表面の粗さｍＬ、屈折率ｎＬを鏡面反射成分比ｋｓＨ、物体表面の粗さｍＨ、屈折率ｎＨに画像拡大する。ステップＳ１０６は、テクスチャ解析Ｂ部１０６を経て、テクスチャ超解像部１０７で、拡散反射成分の双方向反射率ρｄＬと表面法線ベクトルＮＬを拡散反射成分の双方向反射率ρｄＨと表面法線ベクトルＮＨに画像拡大する。
【０１１９】
ステップＳ１０７は、不適合画素の有無を確認し、すべてのパラメータ画像の全画素が適合画素であった場合は、ステップＳ１０８へ進み、ステップＳ１０８でパラメータ合成が行われ、Ｓ１０９で高解像度画像ＩＯＵＴが出力される。一方、ステップＳ１０７で不適合画素が検出された場合は、ステップＳ１１０へ進み、ステップＳ１１０で高解像度化された照明方程式パラメータを用いて、不適合画素を推定する。ステップＳ１１１で再び、不適合画素の有無を確認し、すべてのパラメータ画像の全画素が適合画素であった場合は、ステップＳ１０８へ進み、ステップＳ１０９で高解像度画像ＩＯＵＴが出力される。一方、ステップＳ１１１で不適合画素が検出された場合は、ステップＳ１１２へ進み、ステップＳ１１２で高解像度パラメータ画像を低解像化し、ステップＳ１０４へ戻って、再び、低解像度パラメータ画像で不適合画素の推定を行う。
【０１２０】
以上により、画像処理装置１００は、光源画像ＩＩＬ、被写体画像ＩＩＮ、表面法線ベクトルＮＬから被写体撮像センサの解像度よりも高い解像度の画像を出力でき、エッジの先鋭さやテクスチャを変質させず、画質劣化なしに画像を拡大できる。被写体や視環境の幾何光学パラメータの計測や、照明方程式パラメータの推定が不完全なために生じた不適合画素が存在しても、超解像処理で利用される高解像化のための付加情報を利用してパラメータを推定し、照明方程式パラメータを用いた画像拡大を実行できる。例えば、動きの激しい被写体を撮影したい場合、被写体撮像装置と形状計測装置を手に持って移動させる必要があり、大きさや重量に自ずと制限が発生する。そこで、機器の性能面で理想的な設計条件が確保できず、結果的に不適合画素が発生するケースが考えられる。また、バッテリー駆動で被写体撮像装置と形状計測装置を利用する場合、所定の時間以上可動させるために、機器の性能面で理想的な設計条件が確保できず、結果的に不適合画素が発生するケースが考えられる。同様に、価格の設定から生じる制限も考えられる。このような何らかの制限によって低解像度画像のパラメータをすべて計測できない場合でも、本発明では画像拡大が可能であり、利用環境や装置構成などの観点で適用範囲を広げる効果を有する。
【０１２１】
（実施の形態３）
本実施の形態では、光源撮像装置で光源を撮影し、偏光フィルタを介した照明で完全偏光を被写体に照射し、偏光フィルタを介した被写体撮像装置で被写体からの反射光を撮影する。そして、画像処理装置は、これらの計測情報から被写体撮像センサの解像度よりも高い解像度の画像を出力する。
【０１２２】
図２６は本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。なお、図１７に示す画像処理装置と同様の部分については同じ符号を付し、詳細な説明を省略する。画像処理装置２００は、被写体撮像装置ＯＢＪＳの被写体画像ＩＩＮを拡大するための装置であり、光源方向算出部１０１、鏡面反射拡散反射分離部１０２、ＬＲ照明方程式パラメータ推定部２０３、テクスチャ解析Ａ部１０４、材質別補間部１０５、テクスチャ解析Ｂ部１０６、テクスチャ超解像部１０７、スイッチャ部１０８、ＨＲ照明方程式パラメータ推定部１０９、低解像度化部１１０、照明方程式パラメータ合成部１１１、補間部１１２、形状推定部２０１、屈折率推定部２０２を備えている。
【０１２３】
形状推定部２０１は、被写体画像ＩＩＮと光源画像ＩＩＬから、被写体ＯＢＪの表面法線ベクトル（正反射表面法線ベクトルＮｆＬ）を推定する。図２７は、形状推定部２０１の内部のブロック図を示す。
【０１２４】
正反射検出部４１は、被写体画像ＩＩＮの中から、光源ＩＬの光を正反射している画素を検出する。正反射部分は、光源からの光を、その強度と色を保持して反射するため、画像中で最も明るく、かつ光源の色を持つ画素を検出すれば、正反射をしている画素が特定できる。そこで、正反射検出部４１は、ハイライト検出部４２において、被写体画像ＩＩＮのすべての画素をハイライト閾値ｈｔと比較して、ハイライト閾値ｈｔを超えるものを被写体ハイライト画像ＩＩＮＨとして出力する。次に、光源色検出部４３は、被写体ハイライト画像ＩＩＮＨの中で、光源色と同じ色を持つものを検出し、被写体正反射画像ＩＩＮＳとして出力する。光源色は、光源色算出部４４で光源画像ＩＩＬから算出するが、この方法は任意であり、例えば、光源画像ＩＩＬ内の明るい画素のみからＲＧＢ値の平均値を算出する方法がある。
【０１２５】
拡散反射追跡部４５は、被写体正反射画像ＩＩＮＳで正反射している画素と特定された画素について、引き続き撮影される被写体画像ＩＩＮの中でどの画素に移動したかを追跡する。その目的は、図４１に示した三角測量の原理で、正反射している画素の３次元位置を推定して表面法線ベクトルを算出するところにある。つまり、２次元で考えた場合、点Ａから撮影した注目点Ｐの画像ＰＡと、点Ｂから撮影した注目点Ｐの画像ＰＢの２枚が取得できれば、注目点Ｐの位置（ｘ，ｙ）が算出できるが、このとき、画像ＰＡで捉えた注目点Ｐを画像ＰＢ上でも検出する必要がある。これは一般に動き追跡と呼ばれる問題であるが、画像処理で行う場合は、画像ＰＡにおける注目点Ｐと同じ色を持つ画素を画像ＰＢで検出すればいい。色は、（式１）に示した照明方程式では、拡散反射成分によって決まるため、被写体正反射画像ＩＩＮＳで正反射している画素の拡散反射成分の色をもとに、注目点Ｐを追跡する。拡散反射成分で追跡した結果は、拡散反射追跡画像ＩＩＮＳＤとして出力する。
【０１２６】
ところで、注目点Ｐが画像上で動きを持つためには、被写体ＯＢＪと被写体撮像装置ＯＢＪＳとの相対的位置関係が変化する必要がある。そこで、被写体ＯＢＪが静止している場合は、被写体撮像装置ＯＢＪＳを移動する必要がある。仮に、撮影者が被写体撮像装置ＯＢＪＳを移動させず、拡散反射追跡部４５が動きを検出できない場合は、撮影者に被写体撮像装置ＯＢＪＳの移動の必要性を知らせるのが好ましい。例えば図２８に示すように、被写体撮像装置ＯＢＪＳのファインダＯＢＪＳＦ上に報知用のアイコンＩＣＮを表示したり、スピーカーＳＰＫで報知音を発生させたりする。この報知のために、拡散反射追跡部４５は、動き情報を動き情報信号ＭＩＳとして被写体撮像装置ＯＢＪＳへ出力する。なお、静物撮影のように、被写体に動きがないと保証されている場合は、被写体撮像装置ＯＢＪＳの動きのみを算出すればいい。そこで、図２０で説明したように、姿勢センサ４０６を被写体撮像装置ＯＢＪＳに内蔵し、カメラの動きを姿勢センサ４０６から検出して、画像ＰＢ上の注目点Ｐを追跡することも可能である。
【０１２７】
表面法線ベクトル算出部４６は、上述したように、拡散反射追跡画像ＩＩＮＳＤから図４１の三角測量の原理を用いて、正反射している画素の表面法線ベクトルを算出し、正反射表面法線ベクトルＮｆＬとして出力する。図４１における点Ａと注目点Ｐの位置関係と点Ｂと注目点Ｐの位置関係は、２回の撮影に分けて確保されるが、これは２次元での説明のためであり、従って、３次元情報が必要な画像処理装置２００では、３回の撮影で表面法線ベクトルが算出される。
【０１２８】
屈折率推定部２０２は、鏡面反射画像ＩｓＬと正反射表面法線ベクトルＮｆＬから屈折率ｎｆＬを推定する。図２４に示したように、撮影側偏光フィルタＰＦＯＳを回転すると、偏光面の向きに応じて、透過光の輝度値が正弦波状に変化する。従って、完全偏光である鏡面反射成分と非偏光である拡散反射成分の比率は、偏光の度合いを表わすことになる。そこで、以下の式で、偏光の度合いを表わす偏光度γを定義する。
【数１７】
2008026518.tif 000085
【０１２９】
偏光度γが０のときは非偏光であり、偏光度γが１のときは完全偏光を表わす。偏光度γが０あるいは１以外である場合は、部分偏光である。ところで、完全偏光である鏡面反射成分は入射面に対して垂直に振動するＳ波と入射面に沿って振動するＰ波に分解される。Ｐ波は、ブリュースター角という特定の入射角において反射成分がなくなり、Ｓ波のみとなる。この状態が正弦波のＩｍｉｎにあたり、Ｐ波とＳ波のフレネル反射係数をＦｐとＦｓとすると、Ｉｍｉｎは以下で与えられる。
【数１８】
2008026518.tif 000086
一方、完全偏光の光の最大強度Ｉｍａｘと最小強度Ｉｍｉｎの和が、鏡面反射の強度と一致することから、Ｉｍａｘは以下で与えられる。
【数１９】
2008026518.tif 000087
また、フレネル反射係数は、フレネル反射の法則から、図２９に示す入射角θ１と透過角θ２で以下のように定義できる。
【数２０】
2008026518.tif 000088
【数２１】
2008026518.tif 000089
（式１８）〜（式２１）を（式１７）に代入して、（式２２）で与えられるスネル則を考慮すると、偏光度γは（式２３）で与えられる。
【数２２】
2008026518.tif 000090
【数２３】
2008026518.tif 000091
【０１３０】
したがって、鏡面反射画像ＩｓＬからＩｍａｘとＩｍｉｎを取得して、（式１７）により偏光度γを算出し、正反射表面法線ベクトルＮｆＬから算出した入射角θｉと前記偏光度γから（式２３）により屈折率ｎが算出できる。この屈折率ｎは、正反射を有する画素に対するものであり、屈折率推定部２０２は、正反射屈折率ｎｆＬとして出力する。
【０１３１】
ＬＲ照明方程式パラメータ推定部２０３は、光源ベクトルＬＬ、拡散反射画像ＩｄＬ、鏡面反射画像ＩｓＬ、正反射表面法線ベクトルＮｆＬ、正反射屈折率ｎｆＬから、未知の照明方程式パラメータを推定する。
【０１３２】
正反射屈折率ｎｆＬは、正反射を有する画素のみで算出されているため、例えば、図３０に示すように、鏡面反射画像ＩｓＬの一部である画素ＰＳ１〜ＰＳ１０が有する。屈折率ｎは材質に依存する光学特性であり、同じような屈折率ｎを有する画素は、同一材質に属する可能性が高い。そこで、図３０（ａ）の場合は、画素ＰＳ１〜ＰＳ３を材質ＭＳ１、画素ＰＳ４〜ＰＳ６を材質ＭＳ２、画素ＰＳ８〜ＰＳ１０を材質ＭＳ３と判定できる。
【０１３３】
次に、各材質の境界を鏡面反射画像の輝度値の違いから検出する。例えば、図３０（ｂ）のように、鏡面反射画像の輝度値が、概ね３つの値（（ＩｓＬ）１≒２２６、（ＩｓＬ）２≒２３８、（ＩｓＬ）３≒２５２）にまとめられ、鏡面反射画像ＩｓＬ上で境界線ＢＬ１、ＢＬ２、ＢＬ３が引かれたとする。ただし、エリアＮＯＳは、鏡面反射成分が存在しなかった画素の集まりである。材質ＭＳ１に属する画素の屈折率ｎは、画素ＰＳ１〜画素ＰＳ３と同じ屈折率ｎを有するはずであり、材質ＭＳ１における屈折率ｎが未知である画素は、すべて既知とできる。具体的には、画素ＰＳ１〜ＰＳ３の屈折率ｎの平均（図３０では１．４２）を求め、これを材質ＭＳ１の屈折率ｎＭＳ１とし、材質ＭＳ１に属するすべての画素に展開する。材質ＭＳ２と材質ＭＳ３も同様であり、これにより、鏡面反射成分を持つ画素の屈折率ｎとなる。例えば図３０（ｂ）では、材質ＭＳ２の屈折率ｎＭＳ２が１．７７、材質ＭＳ３の屈折率ｎＭＳ３が２．０４となった。
【０１３４】
以上により、正反射以外の画素の屈折率ｎが既知となり、さらには、（式１７）と（式２３）の偏光度γの関係式を用いれば、入射角θｉが既知となり、表面法線ベクトルを算出できる。拡散反射は、一般に（式２４）に示すランバート則に従い、表面法線ベクトルと視点ベクトルの内積に応じて、拡散反射成分の輝度が変化する。視点ベクトルは、被写体撮像装置ＯＢＪＳの光軸に一致し、既知であるため、表面法線ベクトルが既知であると、拡散反射成分の双方向反射率ρｄを算出できる。
【数２４】
2008026518.tif 000092
【０１３５】
以上のように、形状推定部２０１で正反射を有する画素の表面法線ベクトルが既知になると、その後、様々なパラメータが推定可能になり、低解像度画像の照明方程式パラメータを求めることができる。
【０１３６】
ところが、図３０に示した鏡面反射成分の存在しないエリアＮＯＳには、未知パラメータが残存する。また、図３０（ａ）で説明したように、鏡面反射成分の輝度値でまとめたエリア内に正反射の画素がない場合も考えられる。このような理由から、ＬＲ照明方程式パラメータ推定部２０３で不適合画素が発生する可能性があり、ＨＲ照明方程式パラメータ推定部１０９で再度、パラメータ推定を行う必要性がある。さらに、低解像度化部１１０を介して低解像度化した照明方程式パラメータをＬＲ照明方程式パラメータ推定部２０３へフィードバックして、パラメータ推定を行う。しかし、上述したように、本発明は、テクスチャ超解像部１０７で超解像処理されたパラメータを適合画素に加えることで、不適合画素を推定できる可能性が高まり、これらの処理を繰り返すことによって、高解像度画像を算出できる。また、材質別補間部１０５は、例えば屈折率など、材質に依存する照明方程式パラメータが同一材質内では同じ値を有する物理的裏付けから、低解像度の照明方程式パラメータ画像の画素を空間的にコピーして、超解像処理を行う。その結果、低解像度画像では推定精度が所定の基準に満たなかった不適合画素であっても、高解像度化によって、一部パラメータの推定精度が基準を満たす場合がある。すなわち、材質別補間部１０５、あるいは補間部１１２が、補間や空間的に同一画素値をコピーすることで、適合画素の数を増やす効果を有し、高解像度化されたパラメータで再度、照明方程式のパラメータ推定を行えば、不適合画素の推定精度が向上する可能がある。
【０１３７】
以上の観点から、ＨＲ照明方程式パラメータ推定部１０９は、高解像パラメータ群ＨＲＰの中の不適合画素の推定を行う。高解像パラメータ群ＨＲＰの内訳は、
（ａ）  補間部１１２の出力である光源ベクトルＬＨ
（ｂ）  補間部１１２の出力である環境光の輝度ＩａＨ
（ｃ）  補間部１１２の出力である照度ＥｉＨ
（ｄ）  材質別補間部１０５の出力である鏡面反射成分比ｋｓＨ
（ｅ）  材質別補間部１０５の出力である物体表面の粗さｍＨ
（ｆ）  材質別補間部１０５の出力である屈折率ｎＨ
（ｇ）  テクスチャ超解像部１０７の出力である拡散反射成分の双方向反射率ρｄＨ
（ｈ）  テクスチャ超解像部１０７の出力である表面法線ベクトルＮＨ
である。このうち、拡散反射成分の双方向反射率ρｄＨと表面法線ベクトルＮＨは、出力画像特徴ベクトルデータベース部３５を参照してパラメータ出力画像特徴ベクトルＰＩＯＵＴＦＶとして取得されたものを含む。パラメータ出力画像特徴ベクトルＰＩＯＵＴＦＶは、被写体撮像装置ＯＢＪＳと形状計測装置ＮＳでは取得できない新たな付加情報である。このため、ＬＲ照明方程式パラメータ推定部１０３で推定できなかったパラメータが推定できる可能性がある。そこで、ＨＲ照明方程式パラメータ推定部１０９で高解像パラメータ群ＨＲＰの中の不適合画素の推定を行う。推定方法は任意であるが、シンプレックス法を使った例を図３１で説明する。
【０１３８】
図３１は、材質別補間部１０５または補間部１１２から得た適合画素の情報をもとに、不適合画素の照明方程式パラメータを推定するシンプレックス法のワークフローである。照明方程式がｍ個のパラメータを有し、このうち（ｍ−ｋ）個が材質別補間部１０５または補間部１１２から得た適合画素の情報である。図４０で説明したように、照明方程式の中には解像度独立性が高いパラメータがあり、これらは、材質別補間部１０５または補間部１１２で高解像度化が実行される。そこで、ＬＲ照明方程式パラメータ推定部２０３で不適合となった画素でも、材質別補間部１０５または補間部１１２における適合画素の補間によって、一部の照明方程式パラメータの推定精度が所定の基準を満たす場合がある。そこで、図３１は、不適合画素について推定を行うが、（ｍ−ｋ）個のパラメータ群（ｑ１Ｈ  ｑ２Ｈ  …  ｑｍ−ｋＨ）ｋｎｏｗｎは推定対象から除外し、既知パラメータとして取り扱う。一方、ｋ個のパラメータ群（ｐ１Ｈ  ｐ２Ｈ  …  ｐｋＨ）が推定対象となる。
【０１３９】
ステップＳ１０は、閾値処理、分岐処理、繰り返し処理回数のチェックのために、閾値ｔ、分岐条件Ｃ、繰り返し上限回数ｒを設定する。ステップＳ１１は、不適合画素の推定値の候補（ｐ１Ｈ  ｐ２Ｈ  …  ｐｋＨ）ｃａｎｄｉｄａｔｅの初期値を設定する。具体的には、乱数発生などを用いる。ステップＳ１２は、推定値の候補（ｐ１Ｈ  ｐ２Ｈ  …  ｐｋＨ）ｃａｎｄｉｄａｔｅと、既知パラメータ群（ｑ１Ｈ  ｑ２Ｈ  …  ｑｍ−ｋＨ）ｋｎｏｗｎを照明方程式である（式１）に入力し、注目点Ｐの輝度Ｉｖの候補（ＩｖＨ）ｃａｎｄｉｄａｔｅを算出する。
【０１４０】
ステップＳ１３は、高解像度画像の輝度値である注目点Ｐの輝度Ｉｖの候補（ＩｖＨ）ｃａｎｄｉｄａｔｅを低解像度化して、注目点Ｐの輝度Ｉｖの候補（ＩｖＬ）ｃａｎｄｉｄａｔｅに変換する。この目的は、引き続く輝度差判定に必要な真値が低解像度画像でしか取得できないところにある。低解像度化の具体的な方法は、被写体撮像装置ＯＢＪＳの撮像特性に依存する。つまり、被写体撮像装置ＯＢＪＳが被写体ＯＢＪを近距離で撮影した高解像度画像と、遠距離で撮影した低解像度画像を取得し、２つの輝度値の変化をステップＳ１３に反映する。具体的には、図１３のように、パラメータ画像特徴ベクトルの対応関係を画素単位で構築し、図１０の流れの逆方向をたどって、低解像度画像を得ればいい。また、近似的には２次元のガウス関数を畳み込んで低解像度画像を算出したり、近隣画素の平均値で低解像度画像とする方法などがある。なお、低解像度化は、何れの方法を用いても、高解像度画像の複数画素を１画素にダウンサンプリングする処理であるため、ステップＳ１３では高解像度画像の複数画素が必要になる。より具体的には、図３１のシンプレックス法でパラメータ推定を行う対象画素と、その周辺の複数画素になる。ところが、周辺画素の中には不適合画素も存在し、これらには低解像度化処理を施せない。そこで、ステップＳ１３の低解像度化は、周辺画素のうち、適合画素のみを用いることになる。
【０１４１】
ステップＳ１４では、注目点Ｐの輝度の候補（ＩｖＬ）ｃａｎｄｉｄａｔｅとターゲットである真値（ＩｖＬ）ｔａｒｇｅｔとの輝度差△ＩｖＬを算出し、ステップＳ１５で閾値ｔ（輝度値を８ビットの０から２５５の２５６階調で表現した場合、例えばｔ＝０．０１とする）と比較する。輝度差△ＩｖＬが閾値ｔより小さい場合は、推定値の候補（ｐ１Ｈ  ｐ２Ｈ  …  ｐｋＨ）ｃａｎｄｉｄａｔｅを推定結果として出力し、図３１の処理を終了する。
【０１４２】
一方、輝度差△ＩｖＬが閾値ｔより大きい、あるいは等しい場合は、ステップＳ１６において、シンプレックスの更新回数ｒｓと繰り返し上限回数ｒを比較し、シンプレックスの更新回数ｒｓが繰り返し上限回数ｒを超えている場合は、パラメータ推定を中断し、推定処理未達のまま、シンプレックス法の処理を終了する。一方、シンプレックスの更新回数ｒｓが繰り返し上限回数ｒを超えていない場合は、ステップＳ１７において（式１５）によってシンプレックスを変形して、推定値の候補（ｐ１Ｈ  ｐ２Ｈ  …  ｐｋＨ）ｃａｎｄｉｄａｔｅを更新し、推定値の次の候補（ｐ１Ｈ  ｐ２Ｈ  …  ｐｋＨ）ｎｅｗ＿ｃａｎｄｉｄａｔｅを算出する。
【０１４３】
ステップＳ１８では、推定値の次の候補（ｐ１Ｈ  ｐ２Ｈ  …  ｐｋＨ）ｎｅｗ＿ｃａｎｄｉｄａｔｅと既存パラメータが分岐条件Ｃをすべて満たしているかを確認し、すべてを満たしている場合は、ステップＳ１２へ戻り、再度、閾値ｔとの比較を行う。一方、推定値の次の候補（ｐ１Ｈ  ｐ２Ｈ  …  ｐｋＨ）ｎｅｗ＿ｃａｎｄｉｄａｔｅと既存パラメータが分岐条件Ｃのすべてを満たしていない場合は、ステップＳ１１へ戻り、初期値を再設定する。分岐条件Ｃは、例えば、（式２）の屈折率ｎが１以上、フレネル係数Ｆλが０以上１以下、物体表面の粗さｍが０以上、マイクロファセット分布関数Ｄが０以上とする。これらの条件は、物理的な裏付けで各パラメータ値の合理性を確認するものであり、これらの１つでも満たさないものが発生した場合は、照明方程式パラメータが物理的な矛盾を含んでいると判断し、これらを破棄する。推定方法の観点から見ると、関数最適化は進捗しているが、物理的な視点から見ると矛盾する解空間へ進んでいる、と解釈できる。そこで、このままシンプレックスの更新を進めても、物理的矛盾を含んだ解空間から抜け出せないため、ステップＳ１１へ戻って、初期値を再設定して物理的矛盾を含んだ解空間から抜け出す。
【０１４４】
以上、図３１によって、（ｐ１Ｈ  ｐ２Ｈ  …  ｐｋＨ）が決定され、ＨＲ照明方程式パラメータ推定部１０９から出力される。
【０１４５】
ＨＲ照明方程式パラメータ推定部１０９で、すべての画素が適合画素となった場合は、出力高解像度パラメータＯＵＴＨＲＰとしてスイッチャ部１０８へ戻し、照明方程式パラメータ合成部１１１へ出力する。一方、ＨＲ照明方程式パラメータ推定部１０９で推定した結果、不適合画素が残っている場合は、ＬＲ照明方程式パラメータ推定部１０３へ戻して、低解像度画像の状態で、再度、パラメータ推定を実行する。そのためには、高解像度化されたパラメータを低解像度化する必要があるため、ＨＲ照明方程式パラメータ推定部１０９で推定された高解像度化パラメータを未知高解像度パラメータＮＨＲＰとして低解像度化部１１０に出力して低解像化処理を施し、その後、未知低解像度パラメータＮＬＲＰとしてＬＲ照明方程式パラメータ推定部２０３へ入力する。
【０１４６】
以上により、画像処理装置２００は、光源画像ＩＩＬと被写体画像ＩＩＮから、被写体撮像センサの解像度よりも高い解像度の画像を出力でき、エッジの先鋭さやテクスチャを変質させず、画質劣化なしに画像を拡大できる。被写体や視環境の幾何光学パラメータの計測や、照明方程式パラメータの推定が不完全なために生じた不適合画素が存在しても、超解像処理で利用される高解像化のための付加情報を利用してパラメータを推定し、照明方程式パラメータを用いた画像拡大を実行できる。特に、鏡面反射成分の存在しない画素が原因で発生する不適合画素や、正反射の画素を利用できないために発生する不適合画素を、超解像処理のために付加される新しい情報を利用して推定できる。例えば、動きの激しい被写体を撮影したい場合、被写体撮像装置と形状計測装置を手に持って移動させる必要があり、大きさや重量に自ずと制限が発生する。そこで、機器の性能面で理想的な設計条件が確保できず、結果的に不適合画素が発生するケースが考えられる。また、バッテリー駆動で被写体撮像装置と形状計測装置を利用する場合、所定の時間以上可動させるために、機器の性能面で理想的な設計条件が確保できず、結果的に不適合画素が発生するケースが考えられる。同様に、価格の設定から生じる制限も考えられる。このような何らかの制限によって低解像度画像のパラメータをすべて計測できない場合でも、本発明では画像拡大が可能であり、利用環境や装置構成などの観点で適用範囲を広げる効果を有する。特に、形状計測装置が不要となり、機器の小型化、軽量化に効果を発揮する。
【０１４７】
（実施の形態４）
本実施の形態では、光源撮像装置で光源を撮影し、偏光フィルタを介した照明で完全偏光を被写体に照射し、偏光フィルタを介した被写体撮像装置で被写体からの反射光を撮影する。そして、画像処理装置は、これらの計測情報から被写体撮像センサの解像度よりも高い解像度の画像を出力する。
【０１４８】
図３２は本発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。なお、図１６と図２６に示す画像処理装置と同様の部分については同じ符号を付し、詳細な説明を省略する。画像処理装置３００は、光源被写体撮像装置ＩＬＯＢＪＳの被写体画像ＩＩＮを拡大するための装置であり、光源位置推定部３０１、鏡面反射拡散反射分離部１０２、ＬＲ照明方程式パラメータ推定部３０２、テクスチャ解析Ａ部１０４、材質別補間部１０５、テクスチャ解析Ｂ部１０６、テクスチャ超解像部１０７、スイッチャ部１０８、ＨＲ照明方程式パラメータ推定部１０９、低解像度化部１１０、照明方程式パラメータ合成部１１１、補間部１１２、形状推定部２０１、屈折率推定部２０２を備えている。光源被写体撮像装置ＩＬＯＢＪＳは、広角レンズを用いて光源ＩＬと被写体ＯＢＪを同時に画角に捉える。光源位置推定部３０１は、光源画像ＩＩＬと正反射表面法線ベクトルＮｆＬから、光源ＩＬの位置を推定する。
【０１４９】
図３３（ａ）は、光源ＩＬと注目点Ｐ、および光源被写体撮像装置ＩＬＯＢＪＳの撮像素子ＩＭＳＲの位置関係を示す。形状推定部２０１は、拡散反射追跡部４５によって、撮像素子ＩＭＳＲと注目点Ｐの距離ｄＰを算出できる。注目点Ｐから光源ＩＬへ引いた直線の向きが光源ベクトルＬＬであり、注目点Ｐと光源ＩＬの距離ｄＩＬＰが取得できれば、光源ＩＬの位置が決まる。形状推定部２０１の処理対象は正反射を有する画素であり、光源ＩＬからの光は、注目点Ｐで正反射され、撮像素子ＩＭＳＲに入射する。そこで、正反射表面法線ベクトルＮｆＬは、光源ベクトルＬＬと撮像素子ＩＭＳＲの光軸ＩＭＳＲＯＡが成す角を２等分する。従って、光源ベクトルＬＬと軸ＩＭＳＲＯＡが成す角の大きさは、入射角θｉの２倍である。一方、撮像素子ＩＭＳＲから光源ＩＬへのベクトルＬ２は、図１９で説明した方法で算出でき、（式８）で与えられる。従って、光軸ＩＭＳＲＯＡとベクトルＬ２が成す角の大きさφは既知である。光源ベクトルＬＬと軸ＩＭＳＲＯＡが成す角が２θｉ、光軸ＩＭＳＲＯＡとベクトルＬ２が成す角がφと既知であり、かつ、注目点Ｐと撮像素子ＩＭＳＲの距離ｄＰも既知であり、この幾何条件は、図４１に示した三角測量の幾何条件と同一である。図４１における注目点Ｐは、図３３（ａ）においては光源ＩＬに相当し、従って、光源ＩＬの位置（ｘ，ｙ）は、（式３）で算出できる。図４１は２次元で図示したが、前述したように、３次元へ拡張可能であり、図３３（ａ）におけるベクトルを３次元ベクトルで表現すれば、光源ＩＬの３次元位置が算出できる。
【０１５０】
図３３（ｂ）は、注目点Ｐとは別の位置にある注目点Ｐ’での正反射表面法線ベクトルＮｆＬ’と光源ベクトルＬＬ’との関係を示す。入射角はθｉ’であり、注目点Ｐの入射角θｉより小さい。この理由は、光源ＩＬからの光を正反射して撮像素子ＩＭＳＲに入射するような表面法線ベクトルの向きが点Ｐと点Ｐ’で異なるためである。従って、光源ベクトルＬＬ’も光源ベクトルＬＬと異なり、注目点Ｐ’と光源ＩＬの距離も距離ｄＩＬＰと異なる。これは、光源ＩＬから様々な角度を持って広がる光を個別に記述できることを意味し、画像処理装置１００，２００が前提とする平行光仮定を適用する必要はない。従って、より一般的な視環境ＶＥで照明方程式のパラメータを推定でき、ＬＲ照明方程式パラメータ推定部３０２やＨＲ照明方程式パラメータ推定部１０９での不適合画素の推定能力が高まる、と言える。
【０１５１】
なお、光源被写体撮影装置ＩＬＯＢＪＳは、図１７や図２６と同様に、光源撮像装置ＩＬＳと被写体撮像装置ＯＢＪＳとに分離しても構わない。なぜならば、（式１０）に示した行列Ｍによって、光源撮像装置ＩＬＳの座標系は被写体撮像装置ＯＢＪＳの座標系へ変換できるためである。
【０１５２】
以上により、画像処理装置３００は、光源画像ＩＩＬと被写体画像ＩＩＮから、被写体撮像センサの解像度よりも高い解像度の画像を出力でき、エッジの先鋭さやテクスチャを変質させず、画質劣化なしに画像を拡大できる。被写体や視環境の幾何光学パラメータの計測や、照明方程式パラメータの推定が不完全なために生じた不適合画素が存在しても、超解像処理で利用される高解像化のための付加情報を利用してパラメータを推定し、照明方程式パラメータを用いた画像拡大を実行できる。特に、鏡面反射成分の存在しない画素が原因で発生する不適合画素や、正反射の画素を利用できないために発生する不適合画素を、超解像処理のために付加される新しい情報を利用して推定できる。また、光源の位置が推定できるため、光源からの光を平行光と仮定する処理よりも不適合画素の推定能力が高いと言える。例えば、動きの激しい被写体を撮影したい場合、被写体撮像装置と形状計測装置を手に持って移動させる必要があり、大きさや重量に自ずと制限が発生する。そこで、機器の性能面で理想的な設計条件が確保できず、結果的に不適合画素が発生するケースが考えられる。また、バッテリー駆動で被写体撮像装置と形状計測装置を利用する場合、所定の時間以上可動させるために、機器の性能面で理想的な設計条件が確保できず、結果的に不適合画素が発生するケースが考えられる。同様に、価格の設定から生じる制限も考えられる。このような何らかの制限によって低解像度画像のパラメータをすべて計測できない場合でも、本発明では画像拡大が可能であり、利用環境や装置構成などの観点で適用範囲を広げる効果を有する。特に、形状計測装置が不要となり、機器の小型化、軽量化に効果を発揮する。また、光源と被写体が近距離にあり、被写体上の位置によって光源からの入射光の向きが異なる視環境でも利用できる。
【０１５３】
なお、上述の各実施形態に係る画像処理方法は、コンピュータに、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行させることによって、実現することが可能である。
【０１５４】
以下、本発明を実現する構成例を例示する。
【０１５５】
（第１の構成例）
図３４は第１の構成例を示す図であり、パーソナルコンピュータを用いて本発明に係る画像拡大を行う構成の一例である。カメラ１１０１の解像度はディスプレイ１１０２の解像度よりも低く、ディスプレイ１１０２の表示能力を最大限に生かすために、メインメモリ１１０３にロードされた画像変換プログラムによって拡大画像を作成する。カメラ１１０１で取り込まれた光源と被写体の低解像度画像は画像メモリ１１０４に記録される。外部記録装置１１０５には予め画像特徴ベクトルデータベース１１０６と画像特徴ベクトル番号置換テーブル１１０７とが準備されており、メインメモリ１１０３の画像変換プログラムから参照可能になっている。画像特徴ベクトルデータベース１１０６と画像特徴ベクトル番号置換テーブル１１０７の内容や作成方法は図１３に従う。
【０１５６】
計測装置１１０８は、実施の形態２に従う場合、図１７の形状計測装置ＮＳに相当し、画像メモリ１１０４に表面法線ベクトルＮＬが記録される。実施の形態３と実施形態４に従う場合は、計測装置１１０８は不要である。
【０１５７】
画像変換プログラムの動作は実施の形態１から実施の形態４に従い、低解像度画像の照明方程式パラメータを推定し、テクスチャ解析によって材質ごとに超解像処理を行い、不適合画素が残存する場合は、高解像度のために付加された情報で再度パラメータ推定を繰り返し、高解像画像を算出する。メインメモリ１１０３の画像変換プログラムは、メモリバス１１０９を介して画像メモリ１１０４の低解像度画像を読み込み、これをディスプレイ１１０２の解像度に合わせて高解像度画像に変換し、再びメモリバス１１０９経由でビデオメモリ１１１０に転送する。ビデオメモリ１１１０に転送された高解像度画像はディスプレイ１１０２において観察できる。
【０１５８】
なお、本発明は図３４の構成に拘束されるものではなく、様々な構成をとることができる。例えば、低解像度画像と表面法線ベクトルをネットワーク１１１１から取得しても構わない。カメラ１１０１には、カメラ付携帯電話やデジタルスチルカメラ、ビデオムービーカメラなど任意のタイプの撮像装置が適用でき、また予め録画した映像を再生する再生装置でも構わない。
【０１５９】
（第２の構成例）
図３５は第２の構成例を示す図であり、サーバークライアントシステムを用いて本発明に係る画像変換を行う構成の一例である。カメラ１２０１の解像度はディスプレイ１２０２の解像度よりも低く、ディスプレイ１２０２の表示能力を最大限に生かすために、サーバークライアントシステムにおいて画像拡大を実行する。サーバー１２０３では、照明方程式パラメータ推定１２０４、画像特徴解析１２０５、入力画像特徴ベクトルデータベース１２０６および画像特徴ベクトル番号置換テーブル１２０７によって、高解像度化された画像特徴ベクトル番号を出力する。照明方程式パラメータ推定１２０４が、実施の形態２に従って動作する場合は、計測装置１２０８が必要となり、具体的には、形状計測装置ＮＳから表面法線ベクトルを取得する。照明方程式パラメータ推定１２０４が、実施の形態３と実施の形態４で動作する場合には、計測装置１２０８は不要である。入力画像特徴ベクトルデータベース１２０６と画像特徴ベクトル番号置換テーブル１２０７の内容や作成方法は図１３に従い、複数の解像度のペアでこれらを作成することで、複数の画像拡大率に対応する。
【０１６０】
画像特徴ベクトル番号置換テーブル１２０７まで処理が進んだ段階で不適合画素が残存している場合は、実施の形態１から実施の形態４と同様に、パラメータ推定を再度やり直す。そこで、画像特徴ベクトル番号置換テーブル１２０７の出力である画像特徴ベクトル番号は、サーバー内の出力画像特徴ベクトルデータベース１２１６へ与えられ、出力画像特徴ベクトルデータベース１２１６でパラメータの高解像度化が行われる。これが新たな付加情報となり、照明方程式パラメータ推定１２０４で再度、パラメータ推定が行われる。実施の形態２で説明した推定精度に応じたパラメータ推定のやり直し方法も出力画像特徴ベクトルデータベース１２１６を介したフィードバックで実行できる。
【０１６１】
一方、クライアント１２０９は、画像拡大率の設定を画像拡大指示１２１０で行い、拡大倍率設定部１２１１で拡大率としてサーバー１２０３の画像特徴ベクトル番号置換テーブルに渡される。画像特徴ベクトル番号置換テーブル１２０７では、拡大倍率に応じて、画像特徴ベクトル番号置換テーブルを選択する。例えば、拡大率を２倍、４倍、８倍と３段階設定した場合、これら３種類の画像特徴ベクトル番号置換テーブルを画像特徴ベクトル番号置換テーブル１２０７内に保持し、拡大率に応じて適切なテーブルを選択する。選択された画像特徴ベクトル番号はネットワーク１２１２を介してクライアント１２０９に与えられる。画像特徴ベクトル番号を受け取ったクライアント１２０９では、出力画像特徴ベクトルデータベース１２１３で画像特徴ベクトル番号が画像特徴ベクトルに変換され、高解像度化された照明方程式パラメータが得られる。これらはパラメータ合成１２１４で輝度画像に変換され、ディスプレイ１２０２に表示される。
【０１６２】
拡大倍率設定１２１１において、例えば２倍から４倍の間を０．２倍刻みに、２．２倍、２．４倍、２．６倍・・・と連続的に変える場合は、図３６に示すように、拡大率２倍の画像特徴ベクトル番号置換テーブルから画像特徴ベクトル番号１を、拡大率４倍の画像特徴ベクトル番号置換テーブルから画像特徴ベクトル番号２をクライアント１２０９に出力し、拡大率２倍の出力画像特徴ベクトルと拡大率４倍の出力画像特徴ベクトルを出力画像特徴ベクトルデータベース１２１３から取得する。２つの出力画像特徴ベクトルは照明方程式パラメータ合成部１２１５に入力され、拡大倍率に応じて重み付け加算される。重み付け加算は、例えば、
【数２５】
2008026518.tif 000093
のように行う。ここで、ｍ１は小さい方の拡大率、ｍ２は大きい方の拡大率で、上記の例ではそれぞれ、２倍と４倍に相当する。また、ＦＶ１は拡大率が小さい方の出力画像特徴ベクトル、ＦＶ２は拡大率が大きい方の出力画像特徴ベクトルである。
【０１６３】
なお、本発明は図３５と図３６の構成に拘束されるものではなく、各手段のシステム上の位置（サーバー１２０３に属するかクライアント１２０９に属するか、またはそれ以外に属するかなど）は、任意である。カメラ１２０１には、カメラ付携帯電話やデジタルスチルカメラ、ビデオムービーカメラなど任意のタイプの撮像装置が適用でき、また予め録画した映像を再生する再生装置でも構わない。
【０１６４】
（第３の構成例）
図３７は第３の構成例を示す図であり、カメラ付き携帯電話を用いて本発明に係る画像変換を行う構成の一例である。図３７（ａ）のカメラ付き携帯電話１３００は、光源ＩＬとして照明装置１３０１を持ち、光源側偏光フィルタＰＦＩＬを通して注目点Ｐを照らす。照明装置１３０１と被写体撮像装置ＯＢＪＳの位置関係は固定であるため、光源ＩＬの位置は既知である。そこで注目点Ｐまでの距離を計測することで光源ベクトルＬを算出できる。被写体撮像装置ＯＢＪＳは撮影側偏光フィルタＰＦＯＳを通して注目点Ｐを撮影する。撮影側偏光フィルタＰＦＯＳは回転機構を備え、被写体画像ＩＩＮは図２４のような正弦波状の輝度変化を生じる。被写体撮像装置ＯＢＪＳは、撮影開始前に照明装置１３０１を点灯せずに被写体を撮影して環境光の輝度Ｉａを計測する。距離計測装置１３０２は、例えば赤外光や超音波を発射し、被写体上で反射されて再び距離計測装置１３０２に戻ってくる時間を計測して、距離計測装置１３０２から被写体までの距離を計測する。注目点Ｐの表面法線ベクトルＮを求めるには、図１８で説明したように、注目点Ｐを囲む３点の距離が計測できればいい。
【０１６５】
以上の構成により、カメラ付き携帯電話１３００は、光源ベクトルＬ、被写体画像ＩＩＮ、表面法線ベクトルＮを得ることができ、内蔵する画像処理装置１００で高解像度画像ＩＯＵＴを算出して外部出力１３０３より出力できる。例えば、被写体撮像装置ＯＢＪＳの撮像素子が３２０×２４０画素で、画像処理装置１００が縦横４倍の拡大処理を行った場合、高解像度画像ＩＯＵＴの画素数は、１２８０×９６０となる。そこで、外部出力１３０３をハイビジョンテレビに接続すれば、画素数の少ない携帯電話のカメラで撮影した映像を家庭の高精細なハイビジョンテレビで視聴できる。
【０１６６】
また、図３７（ｂ）のカメラ付き携帯電話１４００は、図３７（ａ）のカメラ付き携帯電話１３００と同じ構成を持ち、ただし、画像処理装置１００を有さない。外部出力１４０１は光源ベクトルＬ、被写体画像ＩＩＮ、表面法線ベクトルＮを出力し、例えばハイビジョンテレビに内蔵する画像処理装置１００や図３４の構成を持つパーソナルコンピュータ、あるいは図３５の構成を持つサーバークライアントシステムで画像拡大を行う。
【０１６７】
なお、本発明は図３７の構成に拘束されるものではなく、様々な構成をとることができる。例えば、カメラ付き携帯電話が距離計測装置１３０２を有しない場合、図２６の画像処理装置２００または図３２の画像処理装置３００を用いればよい。
【０１６８】
（第４の構成例）
図３８は第４の構成例を示す図であり、ビデオカメラを用いて本発明に係る画像変換を行う構成の一例である。図３８（ａ）のビデオカメラ１５００は、光源ＩＬとして照明装置１５０１を持ち、光源側偏光フィルタＰＦＩＬを通して注目点Ｐを照らす。照明装置１５０１と被写体撮像装置ＯＢＪＳの位置関係は固定であるため、光源ＩＬの位置は既知である。そこで注目点Ｐまでの距離を計測することで光源ベクトルＬを算出できる。被写体撮像装置ＯＢＪＳは撮影側偏光フィルタＰＦＯＳを通して注目点Ｐを撮影する。撮影側偏光フィルタＰＦＯＳは回転機構を備え、被写体画像ＩＩＮは図２４のような正弦波状の輝度変化を生じる。距離計測装置１５０２は、例えば赤外光や超音波を発射し、被写体上で反射されて再び距離計測装置１５０２に戻ってくる時間を計測して、距離計測装置１５０２から被写体までの距離を計測する。注目点Ｐの表面法線ベクトルＮを求めるには、図１８で説明したように、注目点Ｐを囲む３点の距離が計測できればいい。
【０１６９】
以上の構成により、ビデオカメラ１５００は、光源ベクトルＬ、被写体画像ＩＩＮ、表面法線ベクトルＮを得ることができ、内蔵する画像処理装置１００で高解像度画像ＩＯＵＴを算出して外部出力１５０３より出力できる。例えば、被写体撮像装置ＯＢＪＳの撮像素子が３２０×２４０画素で、画像処理装置１００が縦横４倍の拡大処理を行った場合、高解像度画像ＩＯＵＴの画素数は、１２８０×９６０となる。そこで、外部出力１５０３をハイビジョンテレビに接続すれば、画素数の少ないビデオカメラで撮影した映像を家庭の高精細なハイビジョンテレビで視聴できる。撮像素子の大きさを固定した場合、画素数が少ないほど１画素が受ける光量が大きくなり、ノイズの影響が少なくなるメリットがある。また、シャッタースピードを早くすることができるため、動きの激しい被写体を捉えたり、手ぶれによる画質劣化を抑制できる。
【０１７０】
また、図３８（ｂ）のビデオカメラ１６００は、図３８（ａ）のビデオカメラ１５００と同じ構成を持ち、ただし、画像処理装置１００を有さない。外部出力１６０１は光源ベクトルＬ、被写体画像ＩＩＮ、表面法線ベクトルＮを出力し、例えばハイビジョンテレビに内蔵する画像処理装置１００や図３４の構成を持つパーソナルコンピュータ、あるいは図３５の構成を持つサーバークライアントシステムで画像拡大を行う。
【０１７１】
なお、本発明は図３８の構成に拘束されるものではなく、様々な構成をとることができる。例えば、ビデオカメラが距離計測装置１５０２を有しない場合、図２６の画像処理装置２００または図３２の画像処理装置３００を用いればよい。
【０１７２】
以上のように本発明は、広く普及しているパーソナルコンピュータや、サーバークライアントシステム、または、カメラ付携帯電話やデジタルスチルカメラ、ビデオムービーカメラ、テレビなどビデオ機器全般で実行可能である。
【産業上の利用可能性】
【０１７３】
本発明に係る画像処理装置は、機器の大きさや重量、消費電力、価格などの制限から、計測機器を理想的な状態で利用できず、低解像度画像のパラメータを計測できない場合でも、画像拡大が可能であり、利用環境や装置構成などの観点で適用範囲を広げる効果を有する。そこで、十分な条件で撮影が行いづらい貴重な文化遺産、歴史遺産のデジタルアーカイブに利用すれば、被写体にダメージを与えずに撮影と計測ができる。デジタル信号でアーカイブした貴重な文化遺産、歴史遺産は、画像処理装置で細部を自由に観察することができ、様々な調査や鑑賞に効果を発揮する。また、ビデオカメラに搭載すれば、十分な条件で撮影が行いづらいスポーツやエンターテイメントの撮影で安心して行え、撮影後に自由な倍率で映像を鑑賞したり、編集が可能である。また、監視カメラに搭載すれば、広い画角で重要な被写体を逃さず捉え、ズーミングで詳細な画像情報を記録できる。
【図面の簡単な説明】
【０１７４】
【図１】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】シンプレックス法による、注目点の照度、鏡面反射成分比、物体表面の粗さおよび屈折率の推定方法を示すフローチャートである。
【図３】シンプレックスの更新を２次元で説明する図である。
【図４】図１における照明方程式パラメータ高解像度化部の内部構成を説明する図である。
【図５】テクスチャ解析Ａ部と材質別補間部の詳細を示すブロック図である。
【図６】ウェーブレット変換による画像特徴ベクトルの生成方法を説明する図である。
【図７】ウェーブレット変換を説明するための図である。
【図８】画像特徴量の算出方法を説明するための図である。
【図９】画像特徴量空間におけるパラメータ入力画像特徴ベクトル群と類似パラメータ入力画像特徴ベクトル群との位置関係の例を示す図である。
【図１０】テクスチャ解析Ｂ部とテクスチャ超解像部の詳細を示すブロック図である。
【図１１】パラメータ入力画像特徴ベクトルデータベース部の詳細を示す図である。
【図１２】パラメータ出力画像特徴ベクトルデータベース部の詳細を示す図である。
【図１３】パラメータ画像特徴ベクトル番号置換テーブルの作成方法を説明する図である。
【図１４】適合性識別画像の低解像度化を説明するための図である。
【図１５】図１の画像処理装置の動作フローである。
【図１６】照明方程式パラメータの推定を低解像度画像に対してのみ実行する画像処理装置のブロック図である。
【図１７】実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図１８】注目点Ｐを含むような三角形を形成する３点を説明する図である。
【図１９】光源画像から光源の３次元的位置を算出する方法を説明する図である。
【図２０】被写体撮像装置と光源撮像装置を単一筐体にまとめたカメラの一例を説明する図である。
【図２１】カメラの向きを変える折り畳み式携帯電話の構成を示す図である。
【図２２】偏光フィルタを通して反射光を観測する方法を示す図である。
【図２３】偏光特性を利用した鏡面反射画像の撮影方法を説明する図である。
【図２４】撮影側偏光フィルタを回転させた場合の透過光の輝度の変化を示す図である。
【図２５】実施の形態２に係る画像処理装置の動作フローである。
【図２６】本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。
【図２７】形状推定部の内部のブロック図である。
【図２８】撮影者に被写体撮像装置の移動の必要性を知らせる方法の一例を説明する図である。
【図２９】フレネル反射の法則を説明するための図である。
【図３０】ＬＲ照明方程式パラメータ推定部の動作内容を説明する図である。
【図３１】シンプレックス法による不適合画素の推定方法を示すフローチャートである。
【図３２】本発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。
【図３３】光源位置推定部における光源位置を推定する方法を説明する図である。
【図３４】第１の構成例を示す図である。
【図３５】第２の構成例その１を示す図である。
【図３６】第２の構成例その２を示す図である。
【図３７】カメラ付き携帯電話を用いて本発明に係る画像変換を行う構成の一例を説明する図である。
【図３８】ビデオカメラを用いて本発明に係る画像変換を行う構成の一例を説明する図である。
【図３９】被写体や視環境が有する幾何特性や光学特性を説明する図である。
【図４０】照明方程式パラメータを用いた超解像処理の一例を説明する図である。
【図４１】三角測量の原理と、表面法線ベクトルの計測ができない例を説明するための図である。
【符号の説明】
【０１７５】
１００，２００，３００，４００  画像処理装置
１０１  光源方法光算出部
１０２  鏡面反射拡散反射分離部
１０３，２０３，３０２  低解像度照明方程式パラメータ推定部
１０９  高解像度照明方程式パラメータ推定部
１１０  低解像度化部
１１１  照明方程式パラメータ合成部
１２０  照明方程式パラメータ高解像度化部
２０１  形状推定部
３３  パラメータ入力画像特徴ベクトルデータベース部
３４  パラメータ画像特徴ベクトル番号置換テーブル
３５  パラメータ出力画像特徴ベクトルデータベース部
ＯＢＪ  被写体
ＩＬ  光源
ＰＦＩＬ  光源側偏光フィルタ
ＰＦＯＳ  撮影側偏光フィルタ
ＯＢＪＳ  被写体撮像装置
ＩＬＳ  光源撮像装置
ＩＩＮ  被写体画像
ＩＩＬ  光源画像
Ｉｓ  鏡面反射画像
Ｉｄ  拡散反射画像
Ｎ  表面法線ベクトル
ρｄ  拡散反射成分双方向反射率
Ｌ  光源ベクトル
ＩＯＵＴ  高解像度画像
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2008026518.tif 000094
【図２】
2008026518.tif 000095
【図３】
2008026518.tif 000096
【図４】
2008026518.tif 000097
【図５】
2008026518.tif 000098
【図６】
2008026518.tif 000099
【図７】
2008026518.tif 000100
【図８】
2008026518.tif 000101
【図９】
2008026518.tif 000102
【図１０】
2008026518.tif 000103
【図１１】
2008026518.tif 000104
【図１２】
2008026518.tif 000105
【図１３】
2008026518.tif 000106
【図１４】
2008026518.tif 000107
【図１５】
2008026518.tif 000108
【図１６】
2008026518.tif 000109
【図１７】
2008026518.tif 000110
【図１８】
2008026518.tif 000111
【図１９】
2008026518.tif 000112
【図２０】
2008026518.tif 000113
【図２１】
2008026518.tif 000114
【図２２】
2008026518.tif 000115
【図２３】
2008026518.tif 000116
【図２４】
2008026518.tif 000117
【図２５】
2008026518.tif 000118
【図２６】
2008026518.tif 000119
【図２７】
2008026518.tif 000120
【図２８】
2008026518.tif 000121
【図２９】
2008026518.tif 000122
【図３０】
2008026518.tif 000123
【図３１】
2008026518.tif 000124
【図３２】
2008026518.tif 000125
【図３３】
2008026518.tif 000126
【図３４】
2008026518.tif 000127
【図３５】
2008026518.tif 000128
【図３６】
2008026518.tif 000129
【図３７】
2008026518.tif 000130
【図３８】
2008026518.tif 000131
【図３９】
2008026518.tif 000132
【図４０】
2008026518.tif 000133
【図４１】
2008026518.tif 000134
【国際調査報告】
2008026518.tif 000135
2008026518.tif 000136