(57)【要約】画像特徴解析部（１０１）は入力画像（ＩＩＮ）について画像特徴解析を行い、画像特徴ベクトル（ＩＩＮＦＶ）を出力する。パラメータ出力部（１０）は複数の画像特徴ベクトルと、これらにそれぞれ対応する照明方程式の複数のパラメータ値とを格納しており、画像特徴ベクトル（ＩＩＮＦＶ）に対応する原パラメータ値（ＩＩＮＬＥＰ）を出力する。パラメータ操作設定部（１０６）は指示された画像変換に応じてパラメータ操作内容を定め、パラメータ操作部（１０４）は原パラメータ値（ＩＩＮＬＥＰ）をパラメータ操作設定部（１０６）の指示に従って操作し、新パラメータ値（ＩＯＵＴＬＥＰ）を得る。画像生成部（１０７）は新パラメータ値（ＩＯＵＴＬＥＰ）を基にして、出力画像（ＩＯＵＴ）を生成する。
2007108041.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像を第２の画像に変換する方法であって、
前記第１の画像について、画像特徴解析を行う第１のステップと、
画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する第２のステップと、
指示された画像変換に応じて、照明方程式パラメータの操作内容を定める第３のステップと、
前記原パラメータ値を、前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、
前記新パラメータ値を基にして、前記第２の画像を生成する第５のステップとを備えた
ことを特徴とする画像変換方法。
【請求項２】
請求項１において、
前記第１のステップにおける画像特徴解析は、空間周波数解析を用いて行うものである
ことを特徴とする画像変換方法。
【請求項３】
請求項１において、
画像特徴と照明方程式パラメータとの関係を学習する前処理を備え、
前記前処理は、
照明方程式パラメータの値として第１のパラメータ値を設定するステップと、
前記第１のパラメータ値から、学習画像を生成するステップと、
前記学習画像について、前記第１のステップと実質的に同等の画像特徴解析を行うステップとを備え、
得られた画像特徴を前記第１のパラメータ値と対応付けて、データベースに保存する
ことを特徴とする画像変換方法。
【請求項４】
請求項３において、
前記第１のパラメータ値は、前記第１の画像が撮影された際の照明方程式パラメータを想定して設定される
ことを特徴とする画像変換方法。
【請求項５】
請求項１において、
前記照明方程式は、視点方向の輝度を、拡散反射成分、鏡面反射成分および環境光成分の和によって表わすものである
ことを特徴とする画像変換方法。
【請求項６】
請求項１において、
前記照明方程式パラメータは、表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つを含む
ことを特徴とする画像変換方法。
【請求項７】
請求項１において、
前記第３のステップは、指示された画像変換が画像拡大であるとき、照明方程式パラメータの操作内容として、表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つの高密化を、定めるものである
ことを特徴とする画像変換方法。
【請求項８】
請求項１において、
画像特徴と照明方程式パラメータとの関係は、複数の画像特徴ベクトルと、各画像特徴ベクトルとそれぞれ対応付けられた複数のパラメータ値とによって、表されており、
前記第２のステップは、
前記複数の画像特徴ベクトルの中から、前記第１の画像の画像特徴を表す第１の画像特徴ベクトルと類似する所定数の画像特徴ベクトルを、選択するステップと、
前記所定数の画像特徴ベクトルについて、前記第１の画像特徴ベクトルとの距離を、それぞれ求めるステップと、
前記所定数の画像特徴ベクトルにそれぞれ対応するパラメータ値を、当該画像特徴ベクトルについて求めた前記距離に応じて重み付け加算し、前記原パラメータ値を算出するステップとを備えたものである
ことを特徴とする画像変換方法。
【請求項９】
入力画像について、画像特徴解析を行い、前記入力画像の画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、
複数の画像特徴ベクトルと、照明方程式の，前記各画像特徴ベクトルとそれぞれ対応する複数のパラメータ値とを格納しており、前記第１の画像特徴ベクトルを受けて、これに対応する原パラメータ値を出力するパラメータ出力部と、
指示された画像変換に応じて、照明方程式パラメータの操作内容を定めるパラメータ操作設定部と、
前記パラメータ出力部から出力された前記原パラメータ値を、前記パラメータ操作設定部によって定められた操作内容に従って操作し、新パラメータ値を得るパラメータ操作部と、
前記パラメータ操作部から出力された新パラメータ値を基にして、出力画像を生成する画像生成部とを備えた
ことを特徴とする画像変換装置。
【請求項１０】
請求項９において、
前記パラメータ出力部は、
前記複数の画像特徴ベクトルを格納する画像特徴ベクトルデータベースと、
前記複数のパラメータ値を格納する照明方程式パラメータデータベースとを備えたものである
ことを特徴とする画像変換装置。
【請求項１１】
画像変換を行うサーバークライアントシステムであって、
請求項９の画像特徴解析部、パラメータ出力部、パラメータ操作設定部、およびパラメータ操作部を有するサーバと、
請求項９の画像生成部を有するクライアントとを備え、
前記クライアントは、前記サーバに、画像変換の内容を指示する
ことを特徴とするサーバークライアントシステム。
【請求項１２】
カメラと、
前記カメラによって撮影された画像について画像特徴解析を行い、その画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、
複数の画像特徴ベクトルを番号とともに格納しており、前記第１の画像特徴ベクトルと類似する画像特徴ベクトルを特定し、その番号を出力する画像特徴ベクトルデータベースとを備え、
前記画像特徴ベクトルデータベースから出力された番号を、送信する
ことを特徴とする携帯機器。
【請求項１３】
コンピュータに、第１の画像を第２の画像に変換する方法をコンピュータに実行させるプログラムであって、
前記第１の画像について、画像特徴解析を行う第１のステップと、
画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する第２のステップと、
指示された画像変換に応じて、照明方程式パラメータの操作内容を定める第３のステップと、
前記原パラメータ値を、前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、
前記新パラメータ値を基にして、前記第２の画像を生成する第５のステップとをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、画像処理技術に関するものであり、特に、画像拡大や照明変換、視点変換などの画像変換を実現する技術に関する。
【背景技術】
【０００２】  画像機器とネットワークのデジタル化により、種類の異なる画像機器同士が容易に接続可能になっており、画像交換の自由度が高まっている。例えば、デジタルスチルカメラで撮影した画像を、プリンタに出力したり、ネットワーク上で公開したり、家庭のテレビで鑑賞したり、というように、利用者がシステムの違いに制約を受けることなく自由に画像を扱える環境が整備されてきた。【０００３】  一方、このような環境を実現するために、システム側は様々な画像フォーマットに対応する必要に迫られており、高度な画像フォーマット変換が求められている。例えば、頻繁に発生する画像サイズ変換に対応するためには、アップコンバータ（画素数、ライン数を増やす変換装置）やダウンコンバータ（画素数、ライン数を減らす変換装置）が必要になる。例えばＡ４用紙（２９７ｍｍ×２１０ｍｍ）に６００ｄｐｉの解像度で印刷する場合、７１２８画素×５０４０ラインのデータが必要になるが、多くのデジタルスチルカメラの解像度はこれを下回るため、アップコンバータが必要になる。また、ネットワーク上に公開された画像は、出力デバイスが決まるたびに、対応する画像サイズへの変換を必要とする。家庭用テレビに関しては、デジタル地上波のサービスが開始されたため、従来の標準テレビとＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）テレビとが混在し、このため、画像サイズ変換が頻繁に行われる。【０００４】  画像を拡大するためには、取得時には存在しなかった画像データを新たに作り出す必要があるが、これにはすでに様々な方法が提案されている。例えば、バイリニア法、バイキュービック法などの内挿を用いる方法が、一般的である（非特許文献１）。ところが、内挿を用いた場合、サンプリングデータの中間的な値しか生成できないため、エッジなどの先鋭度が劣化し、ぼけた画像になる傾向がある。そこで、初期拡大画像として内挿画像を用い、その後、エッジ部を抽出して、エッジのみを強調する技術が開示されている（特許文献１、非特許文献２）。しかし、エッジ部とノイズの切り分けが難しく、エッジ部の強調とともに、ノイズも強調されて画質劣化を招く傾向がある。【０００５】  そこで、画質劣化を抑えつつ画像拡大を行う方法として、学習方式がある。すなわち、拡大画像に相当する高解像度画像を高精細カメラ等によって予め撮影し、この高解像度画像から低解像度画像を作成する。低解像度画像の生成は、通常、ローパスフィルタを通してサブサンプリングする方法によって行う。このような低解像度画像と高解像度画像の組を多数準備し、その関係を画像拡大方法として学習する。したがって、学習方式では、上述したような強調処理は存在せず、このため、比較的画質劣化の少ない画像拡大を実現できる。【０００６】  学習方式の例としては、例えば、隣接画素との輝度値の関係がマルコフ過程で決まるとして、統計的手法で学習を行う技術が開示されている（非特許文献３）。また、低解像度から高解像度への変換対で画素ごとに特徴ベクトルを求め、入力画素の特徴ベクトルとの一致度と周辺との一貫性から、拡大画像を生成する技術が開示されている（非特許文献４）。【０００７】  また学習方式は、画像拡大だけでなく、例えば照明方向の変換などにも活用されている（非特許文献５）。非特許文献５では、テクスチャ（物体表面の凹凸や模様などのこと）の異なる複数の物体に異なる複数の方向から照明をあてて、学習データを作成し、テクスチャ感を保ちながら照明方向を変換する技術が開示されている。
【特許文献１】米国特許第５，７１７，７８９号（図５）
【非特許文献１】荒屋真二著，「明解  ３次元コンピュータグラフィックス」，共立出版，２００３年９月２５日，ｐｐ．１４４−１４５
【非特許文献２】中静真ら、「多重スケール輝度こう配平面における画像高解像度化」、電子情報通信学会論文誌Ｄ−ＩＩ  Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ  Ｎｏ．１０  ｐｐ．２２４９−２２５８，１９９８年１０月
【非特許文献３】Ｆｒｅｅｍａｎら、「Ｌｅａｒｎｉｎｇ  Ｌｏｗ−Ｌｅｖｅｌ  Ｖｉｓｉｏｎ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ４０（１），ｐｐ．２５−４７，２０００年
【非特許文献４】Ｈｅｒｔｚｍａｎｎら、「Ｉｍａｇｅ  Ａｎａｌｏｇｉｅｓ」、ＳＩＧＧＲＡＰＨ  ２００１  予稿集，ｐｐ．３２７−３４０，２００１年
【非特許文献５】Ｍａｌｉｋら、「Ｒｅｐｒｅｓｅｎｔｉｎｇ  ａｎｄ  Ｒｅｃｏｇｎｉｚｉｎｇ  ｔｈｅ  Ｖｉｓｕａｌ  Ａｐｐｅａｒａｎｃｅ  ｏｆ  Ｍａｔｅｒｉａｌｓ  ｕｓｉｎｇ  Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ  Ｔｅｘｔｏｎｓ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ４３（１），ｐｐ．２９−４４，２００１年
【発明の開示】
【発明が解決しようとする課題】
【０００８】  ところが、従来の技術では、次のような問題があった。【０００９】  上述したような学習方式では、拡大画像は学習に用いた画像群の中から選ばれるため、拡大方法は、学習データに依存してしまうという問題がある。また、画像拡大だけでなく、照明方向の変換などその他の画像変換でも、同様の問題が生じる。【００１０】  また、低解像度画像と高解像度画像を多数準備する必要があるため、学習を行う前処理に工数がかかりすぎるという問題もある。さらに、学習時の画像データは実際に撮影した画像から作成する必要があるので、画像データに自ずと偏りが生じる可能性があり、このことは自由度の高い画像変換を行うためには好ましくない。【００１１】  前記の問題に鑑み、本発明は、学習方式を用いた画像変換において、従来よりも画像変換の自由度を高めることを課題とする。
【課題を解決するための手段】
【００１２】  本発明では、第１の画像について画像特徴解析を行い、この第１の画像の画像特徴から、画像特徴と照明方程式パラメータとの関係を参照して、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する。また、指示された画像変換に応じて、照明方程式パラメータの操作内容を定める。そして、このパラメータ操作内容に従って原パラメータ値を操作し、新パラメータ値を得る。そして、この新パラメータ値を基にして、画像変換後の第２の画像を生成する。【００１３】  この発明によると、第１の画像の画像特徴に対応する照明方程式パラメータの値が原パラメータ値として取得され、この原パラメータ値を、指示された画像変換に応じた操作内容に従って操作することによって、新パラメータ値が得られる。そして、この新パラメータ値から、第２の画像が生成される。すなわち、画像変換が、照明方程式のパラメータ変換によって実現されるので、学習時の画像データによって制約を受けることがなく、従来よりも自由度の高い画像変換が可能となる。例えば、画像拡大の場合は、照明方程式のパラメータのうち、物体の形状情報を表わす表面法線ベクトルを高密化すればよい。この場合、任意の拡大倍率を設定することができる。また、照明方向の変換の場合は、照明方向を表わす照明ベクトルを変更すればよい。その他、視点方向の変換なども、照明方程式パラメータを操作することによって、容易に実現することができる。また、従来技術では、画像変換の種類だけ学習画像が必要であったが、これに対して本発明は照明方程式のパラメータ操作によって画像変換を行うため、学習画像数を抑えることができる。【００１４】  また、本発明では、画像特徴と照明方程式パラメータとの関係を学習する前処理において、照明方程式パラメータの値を設定し、設定したパラメータ値から学習画像を生成し、学習画像について画像特徴解析を行って得た画像特徴を、元のパラメータ値と対応付けて、データベースに保存するのが好ましい。【００１５】  これにより、前処理において、学習画像は照明方程式を用いて計算機によって生成が可能であるので、学習画像生成のために実物を用いた撮影を必要としない。したがって、処理が簡易になるとともに、多様な学習画像を容易に準備することができる。
【発明の効果】
【００１６】  本発明によると、画像変換が照明方程式のパラメータ変換によって実現されるので、自由度の高い画像変換が可能になる。また、学習画像数を抑えることもできる。さらに、前処理において、多様な学習画像を容易に準備することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は本発明の第１の実施形態に係る画像変換装置を示すブロック図である。
【図２】図２は照明方程式の幾何条件と光学条件を説明するための図である。
【図３】図３は本発明の第１の実施形態に係る画像変換方法を示すフローチャートである。
【図４】図４はウェーブレット変換を用いた画像特徴解析を表す図である。
【図５】図５は画像変換を行うためのパラメータ操作の一例を示す図である。
【図６】図６は２つのオブジェクトの重なりによるエッジ部の一例を示す図である。
【図７】図７は材質の混入による鏡面反射成分の誤差発生と誤差相殺の方法の一例を示す図である。
【図８】図８は材質の混入による拡散反射成分の誤差発生と誤差相殺の方法の一例を示す図である。
【図９】図９は２倍拡大のための表面法線ベクトルの補間方法の一例を示す図である。
【図１０】図１０は（数２）を画像拡大率に関して一般化する方法の一例を示す図である。
【図１１】図１１は（数２）を画像拡大率に関して一般化する方法の一例を示す図である。
【図１２】図１２は画像変換を行うためのパラメータ操作の２つめの例として、照明変換を示す図である。
【図１３】図１３は照明の位置と照明ベクトルの関係を示す図である。
【図１４】図１４は画像変換を行うためのパラメータ操作の３つめの例として、特定の材質の拡散反射比率を変換する図である。
【図１５】図１５は画像変換指示部１０５が有する拡散反射成分比率の調整用インターフェースの一例を示す図である。
【図１６】図１６は画像変換を行うためのパラメータ操作の４つめの例として、特定の画素の材質を変換する図である。
【図１７】図１７は画像変換指示部１０５が有する材質変更用インターフェースの一例を示す図である。
【図１８】図１８は画像変換を行うためのパラメータ操作の５つめの例として、画像縮小を示す図である。
【図１９】図１９は画像特徴と照明方程式パラメータとの関係を学習する方法を示す図である。
【図２０】図２０は照明方程式の幾何条件と光学条件を説明するための図である。
【図２１】図２１は画像特徴に応じたパラメータ取得の他の方法を示す図である。
【図２２】図２２は本発明を実現する第１の構成例であり、パーソナルコンピュータを用いた構成を示す図である。
【図２３】図２３は本発明を実現する第２の構成例であり、サーバークライアントシステムを用いた構成を示す図である。
【図２４】図２４は本発明を実現する第３の構成例であり、カメラ付携帯電話とテレビを用いた構成を示す図である。
【符号の説明】
【００１８】１０  パラメータ出力部
３３  サーバー
３４  クライアント
４１  カメラ付携帯電話（携帯機器）
４５  カメラ
１０１  画像特徴解析部
１０２  画像特徴ベクトルデータベース
１０３  照明方程式パラメータデータベース
１０４  パラメータ操作部
１０５  画像変換指示部
１０６  パラメータ操作設定部
１０７  画像生成部
ＩＩＮ  入力画像（第１の画像）
ＩＩＮＦＶ  入力画像特徴ベクトル（第１の画像特徴ベクトル）
ＩＩＮＦＶＮ  入力画像特徴ベクトル番号
ＩＩＮＬＥＰ  原パラメータ値
ＩＣＩＳ  画像変換指示信号
ＬＥＰＳ  パラメータ操作指示信号
ＩＯＵＴＬＥＰ  新パラメータ値
ＩＯＵＴ  出力画像（第２の画像）
ＬＥＰ１  第１のパラメータ値
ＩＬ  学習画像
【発明を実施するための最良の形態】
【００１９】  本発明の第１態様では、第１の画像を第２の画像に変換する方法として、前記第１の画像について画像特徴解析を行う第１のステップと、画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を原パラメータ値として取得する第２のステップと、指示された画像変換に応じて照明方程式パラメータの操作内容を定める第３のステップと、前記原パラメータ値を前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、前記新パラメータ値を基にして前記第２の画像を生成する第５のステップとを備えたものを提供する。【００２０】  本発明の第２態様では、前記第１のステップにおける画像特徴解析は、空間周波数解析を用いて行うものである第１態様の画像変換方法を提供する。【００２１】  本発明の第３態様では、画像特徴と照明方程式パラメータとの関係を学習する前処理を備え、前記前処理は、照明方程式パラメータの値として第１のパラメータ値を設定するステップと、前記第１のパラメータ値から学習画像を生成するステップと、前記学習画像について、前記第１のステップと実質的に同等の画像特徴解析を行うステップとを備え、得られた画像特徴を前記第１のパラメータ値と対応付けてデータベースに保存する第１態様の画像変換方法を提供する。【００２２】  本発明の第４態様では、前記第１のパラメータ値は、前記第１の画像が撮影された際の照明方程式パラメータを想定して設定される第３態様の画像変換方法を提供する。【００２３】  本発明の第５態様では、前記照明方程式は、視点方向の輝度を、拡散反射成分、鏡面反射成分および環境光成分の和によって表わすものである第１態様の画像変換方法を提供する。【００２４】  本発明の第６態様では、前記照明方程式パラメータは、表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つを含む第１態様の画像変換方法を提供する。【００２５】  本発明の第７態様では、前記第３のステップは、指示された画像変換が画像拡大であるとき、照明方程式パラメータの操作内容として表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つの高密化を定めるものである第１態様の画像変換方法を提供する。【００２６】  本発明の第８態様では、画像特徴と照明方程式パラメータとの関係は、複数の画像特徴ベクトルと各画像特徴ベクトルとそれぞれ対応付けられた複数のパラメータ値とによって表されており、前記第２のステップは、前記複数の画像特徴ベクトルの中から前記第１の画像の画像特徴を表す第１の画像特徴ベクトルと類似する所定数の画像特徴ベクトルを選択するステップと、前記所定数の画像特徴ベクトルについて、前記第１の画像特徴ベクトルとの距離をそれぞれ求めるステップと、前記所定数の画像特徴ベクトルにそれぞれ対応するパラメータ値を当該画像特徴ベクトルについて求めた前記距離に応じて重み付け加算し、前記原パラメータ値を算出するステップ��を備えたものである第１態様の画像変換方法を提供する。【００２７】  本発明の第９態様では、入力画像について画像特徴解析を行い、前記入力画像の画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、複数の画像特徴ベクトルと、照明方程式の，前記各画像特徴ベクトルとそれぞれ対応する複数のパラメータ値とを格納しており、前記第１の画像特徴ベクトルを受けて、これに対応する原パラメータ値を出力するパラメータ出力部と、指示された画像変換に応じて照明方程式パラメータの操作内容を定めるパラメータ操作設定部と、前記パラメータ出力部から出力された前記原パラメータ値を前記パラメータ操作設定部によって定められた操作内容に従って操作し、新パラメータ値を得るパラメータ操作部と、前記パラメータ操作部から出力された新パラメータ値を基にして出力画像を生成する画像生成部とを備えた画像変換装置を提供する。【００２８】  本発明の第１０態様では、前記パラメータ出力部は、前記複数の画像特徴ベクトルを格納する画像特徴ベクトルデータベースと、前記複数のパラメータ値を格納する照明方程式パラメータデータベースとを備えたものである第９態様の画像変換装置を提供する。【００２９】  本発明の第１１態様では、画像変換を行うサーバークライアントシステムとして、第９態様の、画像特徴解析部、パラメータ出力部、パラメータ操作設定部およびパラメータ操作部を有するサーバと、第９態様の画像生成部を有するクライアントとを備え、前記クライアントは、前記サーバに画像変換の内容を指示するものを提供する。【００３０】  本発明の第１２態様では、カメラと、前記カメラによって撮影された画像について画像特徴解析を行い、その画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、複数の画像特徴ベクトルを番号とともに格納しており、前記第１の画像特徴ベクトルと類似する画像特徴ベクトルを特定し、その番号を出力する画像特徴ベクトルデータベースとを備え、前記画像特徴ベクトルデータベースから出力された番号を送信する携帯機器を提供する。【００３１】  本発明の第１３態様では、コンピュータに、第１の画像を第２の画像に変換する方法をコンピュータに実行させるプログラムとして、前記第１の画像について画像特徴解析を行う第１のステップと、画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する第２のステップと、指示された画像変換に応じて、照明方程式パラメータの操作内容を定める第３のステップと、前記原パラメータ値を、前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、前記新パラメータ値を基にして、前記第２の画像を生成する第５のステップとをコンピュータに実行させるものを提供する。【００３２】  以下、本発明の実施の形態について、図面を参照して説明する。【００３３】  （第１の実施形態）
図１は本発明の第１の実施形態に係る画像変換装置を示すブロック図である。図１において、画像特徴解析部１０１は入力画像ＩＩＮについて画像特徴解析を行い、入力画像特徴ベクトルＩＩＮＦＶを生成する。画像特徴ベクトルデータベース１０２は複数の画像特徴ベクトルを格納しており、照明方程式パラメータデータベース１０３は所定の照明方程式の、画像特徴ベクトルデータベース１０２に格納された各画像特徴ベクトルとそれぞれ対応付けられた複数のパラメータ値を格納している。すなわち、画像特徴と照明方程式パラメータとの関係が、準備されている。そして、画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３は、入力画像特徴ベクトルＩＩＮＦＶに対応する照明方程式パラメータの値を、原パラメータ値ＩＩＮＬＥＰとして出力する。画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３によって、パラメータ出力部１０が構成されている。【００３４】  画像変換指示部１０５は例えば外部から指示された画像変換の内容を、画像変換指示信号ＩＣＩＳとして出力する。パラメータ操作設定部１０６は画像変換指示信号ＩＣＩＳによって指示された画像変換に応じて、照明方程式パラメータの操作内容を定め、これをパラメータ操作指示信号ＬＥＰＳとして出力する。パラメータ操作部１０４はパラメータ操作指示信号ＬＥＰＳによって指示された操作内容に従って、原パラメータ値ＩＩＮＬＥＰを操作し、新パラメータ値ＩＯＵＴＬＥＰを生成する。画像生成部１０７は新パラメータ値ＩＯＵＴＬＥＰを用いて照明方程式を演算し、出力画像ＩＯＵＴを生成する。【００３５】  すなわち、第１の画像としての入力画像ＩＩＮが、照明方程式のパラメータ変換によって、第２の画像としての出力画像ＩＯＵＴに画像変換される。【００３６】  ここでは、図２のような幾何条件と光学条件を想定して、次のような照明方程式を用いる。
【数１】
2007108041.tif 000003
【００３７】  ここで、Ｉｖは視点方向（視点ベクトルＶ）の輝度、Ｉａは環境光の輝度、ρａは環境光の反射率、Ｉｉは照明の輝度、ベクトルＮは表面法線ベクトル、ベクトルＬは照明方向を表わす照明ベクトル、ｄωは照明の立体角、ρｄは拡散反射成分の反射率、ρｓは鏡面反射成分の反射率、ｋｄとｋｓは拡散反射成分と鏡面反射成分の割合を表わし、ｋｄ＋ｋｓ＝１の関係を持つ。視点ベクトルＶは、カメラＣＡＭの光軸に一致し、物体表面ＳＦ上の注目点Ｐを始点とする。環境光とは、物体表面ＳＦ上の現在の注目点Ｐに多重反射等で周辺から回り込んで入射する光であり、視点方向（ベクトルＶ）の輝度Ｉｖのバイアス成分に当たる。注目点Ｐに放射照度
【数１Ａ】
2007108041.tif 000004
で照明から光が入射し、拡散反射成分がｋｄρｄ、鏡面反射成分がｋｓρｓの割合で、それぞれ入射光を反射する。【００３８】  図１の照明方程式パラメータデータベース１０３では、パラメータとして、表面法線ベクトルＮ、照明ベクトルＬ、拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄ、鏡面反射成分反射率ρｓ、環境光輝度Ｉａ、および環境光反射率ρａの７種類が設定されている。なお、本発明に係る照明方程式の定義およびパラメータの種類は、ここで示したものに限られるものではなく、任意の照明方程式やパラメータが適用可能である。【００３９】  図３は図１の画像変換装置の動作、すなわち本実施形態に係る画像変換方法を示すフローチャートである。なお、本実施形態に係る画像変換方法は、当該方法を実現するためのプログラムをコンピュータに実行させることによって、実現することができる。【００４０】  まず、前処理Ｓ００において、画像特徴と照明方程式パラメータとの関係を学習する。この前処理Ｓ００の詳細については後述する。ここでは、予め学習により、図１に示すような画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３が得られているものとする。【００４１】  ステップＳ１において、第１の画像としての入力画像ＩＩＮについて、画像特徴解析部１０１が画像特徴解析を行う。ここでの画像特徴解析は、例えば図４に示すようなウェーブレット変換などの空間周波数解析を用いて行う。このとき、画像特徴は多重解像度表現によって表される。図４の例では、ｎ回のスケーリングそれぞれにおいてウェーブレット変換の出力ＨＬ、ＬＨ、ＨＨ、ＬＬを求め、これらを階層ごとに束ねることによって、（３ｎ＋１）次元ベクトルを、第１の画像特徴ベクトルとしての入力画像特徴ベクトルＩＩＮＦＶとして求めている。なお、画像特徴ベクトルＩＩＮＦＶは画素ごとに必要になるため、各スケールにおいてＬＬ画像が同一サイズになるようにしている。もちろん、本発明における画像特徴の解析および表現方法はこれに限られるものではなく、任意の方法を適用することができる。【００４２】  次にステップＳ２において、予め学習により求めた画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３を参照し、ステップＳ１で得た入力画像特徴ベクトルＩＩＮＦＶから、これに対応する照明方程式パラメータの値を原パラメータ値ＩＩＮＬＥＰとして取得する。ここでは、まず画像特徴ベクトルデータベース１０２が、格納しているｑ個の画像特徴ベクトルの中から、入力画像特徴ベクトルＩＩＮＦＶに最も近い画像特徴ベクトルを選定し、選定した画像特徴ベクトルの番号を入力画像特徴ベクトル番号ＩＩＮＦＶＮとして出力する。そして照明方程式パラメータデータベース１０３が、入力画像特徴ベクトル番号ＩＩＮＦＶＮを受けて、これに対応するパラメータ値を読み出し、原パラメータ値ＩＩＮＬＥＰとして出力する。【００４３】  次にステップＳ３において、パラメータ操作設定部１０６が、指示された画像変換に応じて、照明方程式パラメータの操作内容を定める。そしてステップＳ４において、パラメータ操作部１０４が、ステップＳ２で得られた原パラメータ値ＩＩＮＬＥＰを、ステップＳ��で定めた操作内容に従って操作し、新パラメータ値ＩＯＵＴＬＥＰを得る。【００４４】  図５はパラメータ操作の一例を示す図であり、原パラメータ値ＩＩＮＬＥＰと新パラメータ値ＩＯＵＴＬＥＰを１ライン分、画素ごとに書き並べている。各画素には上述した７個のパラメータが定められており、環境光輝度Ｉａ、環境光反射率ρａおよび照明ベクトルＬの３つは各画素で共通である。拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄおよび鏡面反射成分反射率ρｓは物体の材質に依存するため、材質の種類を示す添字を付している。また、原パラメータ値ＩＩＮＬＥＰの表面法線ベクトルＮについても、第１の添字は材質の種類を示し、第２の添字は同一材質内での画素の違いを示している。【００４５】  いま、画像変換指示信号ＩＣＩＳによって、「拡大率２倍の画像拡大」という画像変換が指示されたものとする。このときパラメータ操作設定部１０６は、「拡大率２倍の画像拡大」という画像変換を「表面法線ベクトルＮの２倍高密化」というパラメータ操作に置き換え、パラメータ操作指示信号ＬＥＰＳとしてパラメータ操作部１０４に与える。【００４６】  パラメータ操作部１０４はパラメータ操作指示信号ＬＥＰＳに従って、表面法線ベクトルＮを２倍に高密化する。すなわち、原パラメータ値ＩＩＮＬＥＰの画素数ｕが、新パラメータ値ＩＯＵＴＬＥＰでは画素数が２ｕになる。物体の材質に依存するパラメータは解像度に依存しないため、原パラメータ値ＩＩＮＬＥＰをそのまま、新パラメータ値ＩＯＵＴＬＥＰに渡せばよく、具体的には、拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄおよび鏡面反射成分反射率ρｓの新パラメータ値ＩＯＵＴＬＥＰは原パラメータ値ＩＩＮＬＥＰと同一となる。一方、法線ベクトルＮは解像度に依存するパラメータであるため、新パラメータ値ＩＯＵＴＬＥＰの表面法線ベクトルＮでは、高密化後の画素の違いを表わすため、第３の添字を加えている。このとき、材質の境界（例えば原パラメータ値ＩＩＮＬＥＰにおける画素２と画素３の間）は、図６に示すように、２つのオブジェクト（材質１から成るオブジェクト６０１と材質２から成るオブジェクト６０２）の重なりによるエッジ部となる可能性が高いので、高密化後もこの境界条件を保持するのが望ましい。具体的には、新パラメータ値ＩＯＵＴＬＥＰの画素４と画素５を、それぞれ原パラメータ値ＩＩＮＬＥＰの画素２と画素３に一致させる。すなわち、境界条件の保持のために、
Ｎ１，２＝Ｎ１，２，２かつＮ２，１＝Ｎ２，１，１
とする。【００４７】  ただし、２つのオブジェクトの境界にカメラの撮像素子の境界が一致することはまれで、図６の場合は、画素３の一部に材質１が混入している。この誤差は、ＩＯＵＴＬＥＰの法線ベクトルＮで相殺できる。つまり、図７（ａ）に示すように、材質１の鏡面反射成分反射率ρｓ，１が材質２の鏡面反射成分反射率ρｓ，２より高い場合、ＩＩＮＬＥＰの画素３は輝度が明るくなる誤差を含んでいるため、図７（ｂ）に示すように、法線ベクトルＮ２，１，１を正反射方向から遠ざけて輝度を落とし、誤差を相殺する。一方、材質１の鏡面反射成分反射率ρｓ，１が材質２の鏡面反射成分反射率ρｓ，２より低い場合は、ＩＩＮＬＥＰの画素３は輝度が暗くなる誤差を含んでいるため、図７（ｂ）から図７（ａ）のように法線ベクトルを動かす。一方、拡散反射の強度は、（数１）における
【数１Ａ】
2007108041.tif 000005
に示したように、法線ベクトルＮと照明ベクトルＬの内積（Ｎ・Ｌ）で明るさが決まるため、視線ベクトルＶの向きには関係しない。そこで、図８（ａ）に示すように、材質１の拡散反射成分反射率ρｄ，１が材質２の拡散反射成分反射率ρｄ，２より高い場合、ＩＩＮＬＥＰの画素３は輝度が明るくなる誤差を含んでいるため、図８（ｂ）に示すように、法線ベクトルＮ２，１，１を照明ベクトルＬから遠ざけて輝度を落とし、誤差を相殺する。材質１の拡散反射成分反射率ρｄ，１が材質２の拡散反射成分反射率ρｄ，２より低い場合、ＩＩＮＬＥＰの画素３は輝度が暗くなる誤差を含んでいるため、図８（ｂ）から図８（ａ）のように法線ベクトルを動かす。なお、鏡面反射と拡散反射のバランスは、拡散反射成分比率ｋｄ，２によって制御可能である。【００４８】  図６に示すように、オブジェクト６０１が有する曲面形状ＣＳＦは、法線ベクトルに離散化されて折線形状ＬＦになるため、量子化誤差を生じる。そこで、たとえば、ＩＩＮＬＥＰの画素３は、本来、オブジェクト６０１とオブジェクト６０２の交差するエッジ６０３を持っているが、法線ベクトルＮ２，１が示す面６０４と法線ベクトルＮ２，２が示す面６０５が与えるエッジ６０６のように先鋭さが劣化してしまう。そこで、法線ベクトルＮ２，１またはＮ２，２の方向を調整して、エッジ６０６の先鋭さをカバーできる。従って、法線ベクトルの制御は、図７と図８で説明した材質混入による輝度誤差の補正に加えて、エッジ強調の効果もあり、２つの効果を総合的に考慮して、法線ベクトルを制御する。法線ベクトルの制御方法の一例には、事例学習により予め生成したデータベースを参照する方法などがある。つまり、複数のサンプル被写体を用いて画素数が２倍異なる法線ベクトルデータを計測して、低密度の法線ベクトルデータと高密度の法線ベクトルデータを得る。低密度の法線ベクトルデータと高密度の法線ベクトルデータの関係をデータベースに保存し、エッジ強調の実行時には、低密度の法線ベクトルデータから高密度の法線ベクトルデータを得る。【００４９】  同一材質内で材質境界に位置しない法線ベクトルＮ、たとえば、Ｎ１，１，２やＮ１，２，１は、図９に示すように、表面形状が滑らかに変化していると仮定して、次式の補間演算で求める。たとえば、Ｎ１，１，２の場合、
【数２】
2007108041.tif 000006
となる。すなわち、ＩＯＵＴＬＥＰの画素２の法線ベクトルＮ１，１，２は、ＩＩＮＬＥＰにおいて最近傍に位置する法線ベクトルＮ１，１とＮ１，２から補間する。補間の重み３／４と１／４は、ＩＯＵＴＬＥＰのサブピクセル単位で計ったＮ１，１，２からＮ１，１までの距離とＮ１，１，２からＮ１，２までの距離から算出する。図９では、２倍の空間高密化であるため、ＩＩＮＬＥＰの画素の大きさを１とした場合、ＩＯＵＴＬＥＰのサブピクセルの大きさは、１／４になる。従って、Ｎ１，１，２からＮ１，１までの距離は１／４、Ｎ１，１，２からＮ１，２までの距離は３／４となり、１／４がＮ１，２への重み、３／４がＮ１，１への重みとなり、（数２）が得られる。【００５０】  （数２）を画像拡大率に関して一般化する方法を、図１０および図１１を用いて説明する。図１０は、ＩＩＮＬＥＰの画素ｕを５倍拡大して、ＩＯＵＴＬＥＰに画素ｕ，１、ｕ，２、ｕ，３、ｕ，４、ｕ，５の５つの画素が生成された場合を示す。画像拡大率の一般化は、ＩＯＵＴＬＥＰの画素数を任意にすることであり、ここでは、画像拡大率をαとおいて、ＩＯＵＴＬＥＰにα個の画素を生成する方法を説明する。従って、図１０はα＝５として図示したが、以下の説明は、画像拡大率を任意とした場合の補間式の導出であり、（数２）の一般化にあたる。（数２）の補間演算では、ＩＯＵＴＬＥＰの画素２について、ＩＩＮＬＥＰにおける近傍画素として、画素１と画素２を選んだ。これを図１０および図１１で一般化する。【００５１】  補間演算によって算出したいＩＯＵＴＬＥＰの画素を画像ｕ，ｋ（ｋ＝１，２，．．．，α）とおく。図１０では、α＝５として図示してあるため、画像ｕ，ｋは、画素ｕ，１、ｕ，２、ｕ，３、ｕ，４、ｕ，５の５つの画素に相当する。ＩＯＵＴＬＥＰの画素ｕ，ｋが持つ法線ベクトルＮｔ，ｕ，ｋのＩＩＮＬＥＰにおける近傍の法線ベクトルは、「法線ベクトルＮｔ，ｕ−１とＮｔ，ｕ」の組み合わせか、「法線ベクトルＮｔ，ｕとＮｔ，ｕ＋１」の組み合わせになる。ＩＯＵＴＬＥＰの画素ｕ，ｋは、ＩＩＮＬＥＰの画素ｕに必ず含まれるため、ＩＩＮＬＥＰの画素ｕの法線ベクトルＮｔ，ｕは常に選ばれる。２つめの近傍法線ベクトルは、ＩＩＮＬＥＰの画素ｕ−１、ｕ＋１の法線ベクトルＮｔ，ｕ−１、Ｎｔ，ｕ＋１のどちらかになるが、この選択は、ＩＯＵＴＬＥＰの画素ｕ，ｋが、ＩＩＮＬＥＰの画素ｕ−１と画素ｕ＋１のどちらに近いか、で決まる。すなわち、図１０の例のように、α／２≧ｋの場合、ＩＯＵＴＬＥＰの画素ｕ，ｋはＩＩＮＬＥＰの画素ｕ−１に近いため、「法線ベクトルＮｔ，ｕ−１とＮｔ，ｕ」が選択される。一方、図１１の例のように、α／２＜ｋの場合、ＩＯＵＴＬＥＰの画素ｕ，ｋはＩＩＮＬＥＰの画素ｕ＋１に近いため、「法線ベクトルＮｔ，ｕとＮｔ，ｕ＋１」が選択される。【００５２】  補間演算の重みは、図９と同様に、ＩＩＮＬＥＰの画素の大きさを１としたＩＯＵＴＬＥＰのサブピクセルの大きさで算出する。ＩＩＮＬＥＰの１画素は、画像拡大率αによって、ＩＯＵＴＬＥＰでα個の画素に高密化される。そこで、ＩＯＵＴＬＥＰのサブピクセルの大きさは、１／（２α）となる。ＩＩＮＬＥＰの画素ｕ−１と画素ｕの境界を境界８���１とし、ＩＩＮＬＥＰの画素ｕと画素ｕ＋１の境界を境界８０２とする。図１０（α／２≧ｋ、α＝５、ｋ＝２として図示）の場合、法線ベクトルＮｔ，ｕ−１と境界８０１の距離はＩＩＮＬＥＰのサブピクセルの大きさであり、１／２となる。また、境界８０１と法線ベクトルＮｔ，ｕ，ｋの距離は、ＩＯＵＴＬＥＰのサブピクセルが（２ｋ−１）個分であるから、（２ｋ−１）／（２α）となる。さらに、法線ベクトルＮｔ，ｕ，ｋと法線ベクトルＮｔ，ｕの距離は、境界８０１と法線ベクトルＮｔ，ｕの距離から境界８０１と法線ベクトルＮｔ，ｕ，ｋの距離を引けば算出でき、［α−（２ｋ−１）］／（２α）となる。以上より、法線ベクトルＮｔ，ｕ−１に対する重みは［α−（２ｋ−１）］／（２α）、法線ベクトルＮｔ，ｕに対する重みは［１／２＋（２ｋ−１）／（２α）］となり、法線ベクトルＮｔ，ｕ，ｋは以下のように補間で算出できる。
【数３】
2007108041.tif 000007
【００５３】  一方、図１１（α／２＜ｋ、α＝５、ｋ＝５として図示）の場合、境界８０２と法線ベクトルＮｔ，ｕ＋１の距離はＩＩＮＬＥＰのサブピクセルの大きさであり、１／２となる。また、法線ベクトルＮｔ，ｕと法線ベクトルＮｔ，ｕ，ｋの距離は、ＩＯＵＴＬＥＰのサブピクセルが（２ｋ−１−α）個分であるから、（２ｋ−１−α）／（２α）となる。さらに、境界８０２と法線ベクトルＮｔ，ｕ，ｋの距離は、境界８０２と法線ベクトルＮｔ，ｕの距離から法線ベクトルＮｔ，ｕと法線ベクトルＮｔ，ｕ，ｋの距離を引けば算出でき、［α−（２ｋ−１−α）］／（２α）となる。以上より、法線ベクトルＮｔ，ｕに対する重みは［１／２＋｛α−（２ｋ−１−α）｝／（２α）］、法線ベクトルＮｔ，ｕ＋１に対する重みは（２ｋ−１−α）／（２α）となり、法線ベクトルＮｔ，ｕ，ｋは以下のように補間で算出できる。
【数４】
2007108041.tif 000008
【００５４】  図１２はパラメータ操作の２つめの例として、照明変換を示す図であり、原パラメータ値ＩＩＮＬＥＰと新パラメータ値ＩＯＵＴＬＥＰを１ライン分、画素ごとに書き並べている。各画素には上述した７個のパラメータが定められており、環境光輝度Ｉａ、環境光反射率ρａおよび照明ベクトルＬの３つは各画素で共通である。拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄおよび鏡面反射成分反射率ρｓは物体の材質に依存するため、材質の種類を示す添字を付している。また、原パラメータ値ＩＩＮＬＥＰの表面法線ベクトルＮについても、第１の添字は材質の種類を示し、第２の添字は同一材質内での画素の違いを示している。【００５５】  いま、画像変換指示部１０５から画像変換指示信号ＩＣＩＳによって、図１３に示すように「照明の位置を（ｘ，ｙ，ｚ）ＬＷ１（ＩＬＬＴ１）から（ｘ，ｙ，ｚ）ＬＷ２（ＩＬＬＴ２）に変換」という画像変換が指示されたものとする。（数１）における
【数１Ａ】
2007108041.tif 000009
からわかるように、被写体表面の微小面ＰＳ上の注目点Ｐでの照度は、表面法線ベクトルＮと照明ベクトルＬの角度が小さいほど高くなり、表面法線ベクトルＮと照明ベクトルＬの角度が大きいほど低くなる。そこで、照明の位置を変えると、注目点Ｐでの照度が変化する。また、照明ベクトルＬと視点ベクトルＶの関係が変化すると鏡面反射の強度も変化し、図７で説明したように、視点ベクトルが照明ベクトルの正反射位置に近づけば鏡面反射強度は強くなり、視点ベクトルが照明ベクトルの正反射位置から遠ざかれば鏡面反射強度は弱くなる。このように、照明の位置を変えることによって視点ベクトルＶへ反射する光量が変化し、カメラＣＡＭに記録される画像が変化する。【００５６】  パラメータ操作設定部１０６は、「照明の位置を（ｘ，ｙ，ｚ）ＬＷ１から（ｘ，ｙ，ｚ）ＬＷ２に変換」という画像変換の指示を「照明ベクトルＬ１を照明ベクトルＬ２に変換」というパラメータ操作に置き換え、パラメータ操作指示信号ＬＥＰＳとしてパラメータ操作部１０４に与える。ここで、照明ベクトルＬ１は、注目点ＰベクトルＯＷと照明位置ベクトルＬＷ１の差分として（ｘＰ−ｘＬＷ１，ｙＰ−ｙＬＷ１，ｚＰ−ｚＬＷ１）で与えられる。また、照明ベクトルＬ２は、注目点ＰベクトルＯＷと照明位置ベクトルＬＷ２の差分として（ｘＰ−ｘＬＷ２，ｙＰ−ｙＬＷ２，ｚＰ−ｚＬＷ２）で与えられる。【００５７】  パラメータ操作部１０４はパラメータ操作指示信号ＬＥＰＳに従って、照明ベクトルＬ１を照明ベクトルＬ２に変換する。なお、照明ベクトルＬが被写体上のすべての位置で同一となる平行光仮定を用いる場合、注目点Ｐで照明ベクトルを算出すれば、これをすべての画素に適用できる。一方、照明ベクトルＬが１点からあらゆる方向へ広がって射出される点光源仮定の場合は、注目点Ｐの位置によって照明ベクトルＬが変わるため、画素ごとに、注目点ベクトルＯＷを入れ替えて、照明ベクトルＬを算出する必要がある。【００５８】  図１４はパラメータ操作の３つめの例として、特定の材質の拡散反射成分の割合ｋｄを変換する図であり、原パラメータ値ＩＩＮＬＥＰと新パラメータ値ＩＯＵＴＬＥＰを１ライン分、画素ごとに書き並べている。各画素には上述した７個のパラメータが定められており、環境光輝度Ｉａ、環境光反射率ρａおよび照明ベクトルＬの３つは各画素で共通である。拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄおよび鏡面反射成分反射率ρｓは物体の材質に依存するため、材質の種類を示す添字を付している。また、原パラメータ値ＩＩＮＬＥＰの表面法線ベクトルＮについても、第１の添字は材質の種類を示し、第２の添字は同一材質内での画素の違いを示している。【００５９】  図１５は画像変換指示部１０５が有する拡散反射成分比率ｋｄの調整用インターフェース１５０１を示す。オペレータ１５０２はディスプレイ１５０３に映し出された調整用インターフェース１５０１を見ながら、マウス等の入力デバイス１５０４を用いて、画像変換指示部１０５へ変換指示を入力する。オペレータ１５０２は、変換前画像１５０５内で拡散反射成分比率ｋｄを変更したい材質へカーソール１５０６を移動し、入力デバイス１５０４のクリック等でカーソール１５０６���材質の拡散反射成分比率ｋｄをピックアップする。これが、図１４のＩＩＮＬＥＰの画素１であったとすると、ｋｄ，１がピックアップされたことに対応する。図１５では、ｋｄ，１＝０．２５として図示しており、スライドバー１５０７の０．２５の位置にスライダー１５０８が表示される。図１４に示すように、ＩＩＮＬＥＰの画素２は画素１と同一材質であるため、その拡散反射成分比率ｋｄ，１も変換対象になる。すなわち、同一材質から成る図１５のオブジェクト１５０９に属する全ての画素の拡散反射成分比率ｋｄが、変換対象になる。【００６０】  引き続き、オペレータ１５０２はスライダー１５０８をスライドバー１５０７の０．７５の位置（スライドバー１５１０として図示）へ移動させ、拡散反射成分比率ｋｄを０．７５に変更する。オブジェクト１５０９の拡散反射成分が増え、この例では、変換後画像１５１１に示すように、オブジェクト１５０９は輝度が落ち、暗い質感に変更された。拡散反射成分比率ｋｄの変更結果は、後述する方法で出力画像ＩＯＵＴとして変換後画像１５１１に表示され、オペレータ１５０２が自身の画像制作意図に基づいて拡散反射成分比率ｋｄの調整結果を評価する。調整が不十分である場合は、引き続きスライダー１５１０を移動させ、変換後画像１５１１を確認して一連の動作を繰り返す。画像変換指示部１０５で設定された拡散反射成分比率ｋｄの変換内容は、画像変換指示信号ＩＣＩＳによって、「材質１が持つ拡散反射成分比率ｋｄ，１をｋｄ，１’にする」とし、パラメータ操作設定部１０６に伝えられる。（数１）で示したように、拡散反射成分と鏡面反射成分の割合を表わすｋｄとｋｓは、ｋｄ＋ｋｓ＝１の関係を持つ。そこで、ｋｄ，１をｋｄ，１’に変更した場合、ｋｓ，１’は１−ｋｄ，１’となる。パラメータ操作設定部１０６は、「材質１が持つ拡散反射成分比率ｋｄ，１をｋｄ，１’にする」という画像変換の指示を「材質１が持つ拡散反射成分比率ｋｄ，１をｋｄ，１’に変換し、鏡面反射成分比率ｋｓ，１を１−ｋｄ，１’に変更する」というパラメータ操作に置き換え、パラメータ操作指示信号ＬＥＰＳとしてパラメータ操作部１０４に与える。【００６１】  パラメータ操作部１０４はパラメータ操作指示信号ＬＥＰＳに従って、（数１）の拡散反射成分比率ｋｄにｋｄ，１’を設定し、鏡面反射成分比率ｋｓを１−ｋｄ，１’に設定する。画像生成部１０７は図１４のＩＯＵＴＬＥＰで（数１）の照明方程式を計算し、その結果が出力画像ＩＯＵＴとなる。なお、図１５の例では、特定の材質の拡散反射成分比率ｋｄを変換したが、全画素の拡散反射成分比率ｋｄをα倍（αは正の任意定数）することも可能である。この場合は、カーソール１５０６で材質を指定する必要はなく、一律に拡散反射成分比率ｋｄをα倍する。α倍の乗算の結果、拡散反射成分比率ｋｄが１を超える場合は、１でクリッピングして、ｋｄ＋ｋｓ＝１の拘束条件を満たすようにする。【００６２】  図１６はパラメータ操作の４つめの例として、特定の画素の材質を変換する図であり、原パラメータ値ＩＩＮＬＥＰと新パラメータ値ＩＯＵＴＬＥＰを１ライン分、画素ごとに書き並べている。各画素には上述した７個のパラメータが定められており、環境光��度Ｉａ、環境光反射率ρａおよび照明ベクトルＬの３つは各画素で共通である。拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄおよび鏡面反射成分反射率ρｓは物体の材質に依存するため、材質の種類を示す添字を付している。また、原パラメータ値ＩＩＮＬＥＰの表面法線ベクトルＮについても、第１の添字は材質の種類を示し、第２の添字は同一材質内での画素の違いを示している。【００６３】  図１７は画像変換指示部１０５が有する材質変更用インターフェース１７０１を示す。オペレータ１５０２はディスプレイ１５０３に映し出された材質変更用インターフェース１７０１を見ながら、入力デバイス１５０４を用いて、画像変換指示部１０５へ変換指示を入力する。材質データベース１７０２には材質画像とパラメータが格納されており、図１７では材質Ａから材質Ｄの画像とパラメータが材質データベース１７０２から読み出されて表示されている。オペレータ１５０２は、変換前画像１５０５内で材質を変更したい画素にカーソール１５０６を移動し、入力デバイス１５０４のクリック等で変換対象の画素を確定する。材質固有のパラメータは、拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄおよび鏡面反射成分反射率ρｓであるため、この３つのパラメータが変換対象となる。具体的には、図１７のカーソール１５０６の位置が、図１６のＩＩＮＬＥＰの画素２であったとして、画素２の（ｋｄ，１ρｄ，１ρｓ，１）が変換対象となる。次にオペレータ１５０２は変換先の材質を指定する。図１７の例では、材質Ｄのラジオボタン１７０３がチェックされ、ＩＯＵＴＬＥＰの画素２が（ｋｄ，３ρｄ，３ρｓ，３）＝（０．９  ０．３  ０．８）と決定される。材質Ｄはオブジェクト１５０９に比べて輝度の低い材質であり、暗い質感に変換される。以上の動作が、画像変換指示部１０５で成され、「ＩＯＵＴＬＥＰの画素２の拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄ、鏡面反射成分反射率ρｓを０．９、０．３、０．８に設定する」という指示が画像変換指示信号ＩＣＩＳによって、パラメータ操作設定部１０６に伝えられる。パラメータ操作設定部１０６は、パラメータ操作指示信号ＬＥＰＳによって、「ＩＯＵＴＬＥＰの画素２の拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄ、鏡面反射成分反射率ρｓを０．９、０．３、０．８に設定する」という指示をパラメータ操作部１０４に与える。【００６４】  パラメータ操作部１０４はパラメータ操作指示信号ＬＥＰＳに従って、画素２の拡散反射成分の割合ｋｄ，１を拡散反射成分の割合ｋｄ，３に（＝０．９）、拡散反射成分の反射率ρｄ，１を拡散反射成分の反射率ρｄ，３に（＝０．３）、鏡面反射成分の反射率ρｓ，１を鏡面反射成分の反射率ρｓ，３に（＝０．８）それぞれ変換する。そして、画像生成部１０７によって出力画像ＩＯＵＴを得る。なお、上記の例では、１画素のみを変換対象としたが、複数画素をまとめて指定、あるいは画像上でエリアを指定して、特定の材質に変換することも可能である。なお、材質データベース１７０２から別の材質を引き出すには、「次の材質リストへ」ボタン１７０４を使い、新規の材質を材質データベース１７０２に登録するには、「新規登録」ボタン１７０５を使う。【００６５】  図１８はパラメータ操作の５つめの例として、画像縮小を示す図であり、原パラメータ値ＩＩＮＬＥＰと新パラメータ値ＩＯＵＴＬＥＰを１ライン分、画素ごとに書き並べている。各画素には上述した７個のパラメータが定められており、環境光輝度Ｉａ、環境光反射率ρａおよび照明ベクトルＬの３つは各画素で共通である。拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄおよび鏡面反射成分反射率ρｓは物体の材質に依存するため、材質の種類を示す添字を付している。また、原パラメータ値ＩＩＮＬＥＰの表面法線ベクトルＮについても、第１の添字は材質の種類を示し、第２の添字は同一材質内での画素の違いを示している。【００６６】  いま、画像変換指示信号ＩＣＩＳによって、「画像を１／３に縮小する」という画像変換が指示されたものとする。このときパラメータ操作設定部１０６は、「画像を１／３に縮小する」という画像変換の指示を「ＩＩＮＬＥＰの３つの画素ごとに平均値を求めてＩＯＵＴＬＥＰの１画素とする」というパラメータ操作に置き換え、パラメータ操作指示信号ＬＥＰＳとしてパラメータ操作部１０４に与える。【００６７】  パラメータ操作部１０４はパラメータ操作指示信号ＬＥＰＳに従って、ＩＩＮＬＥＰの３つの画素ごとに平均値を求めてＩＯＵＴＬＥＰの１画素とする。たとえば、ＩＯＵＴＬＥＰの画素１の表面法線ベクトルは、ＩＩＮＬＥＰの画素１、画素２、画素３の表面法線ベクトルＮ１，１、Ｎ１，２、Ｎ２，１の平均（Ｎ１，１＋Ｎ１，２＋Ｎ２，１）／３となる。同様に、ＩＯＵＴＬＥＰの画素１の拡散反射成分の割合は、ＩＩＮＬＥＰの画素１、画素２、画素３の拡散反射成分の割合ｋｄ，１、ｋｄ，１、ｋｄ，２の平均（２ｋｄ，１＋ｋｄ，２）／３となる。ＩＯＵＴＬＥＰの画素１の拡散反射成分の反射率は、ＩＩＮＬＥＰの画素１、画素２、画素３の拡散反射成分の反射率ρｄ，１、ρｄ，１、ρｄ，２の平均（２ρｄ，１＋ρｄ，２）／３となる。ＩＯＵＴＬＥＰの画素１の鏡面反射成分の反射率は、ＩＩＮＬＥＰの画素１、画素２、画素３の鏡面反射成分の反射率ρｓ，１、ρｓ，１、ρｓ，２の平均（２ρｓ，１＋ρｓ，２）／３となる。【００６８】  なお、本発明は、画像縮小方法に限定を与えるものではなく、任意の手法を適応可能である。たとえば、ＩＩＮＬＥＰの各パラメータ画像にローパスフィルタを掛け、３画素おきにサブサンプリングする手法も利用できる。【００６９】  本発明は、照明方程式のパラメータの操作方法を限定しない。従って、照明方程式の任意のパラメータを任意の方法で操作可能であり、図５から図１８を用いて説明したパラメータ操作方法の例のように、任意のパラメータを任意の方法で操作できる。表面法線ベクトルなどの幾何特性は、説明の都合上、図２等では１次元的に図示したが、本来は３次元情報であり、本発明は１次元に限定するものではない。（数２）、（数３）、（数４）に示した補間方法も一例であり、空間高密化には任意の方式を適応できる。図５では、画像拡大を表面法線ベクトルＮの高密化で説明したが、これは一例であり、本発明は操作すべき照明方程式パラメータやその操作方法を限定するものではなく、例えば、拡散反射成分比率ｋｄを高密化したり、表面法線ベクトルＮと拡散反射成分比率��ｄを併せて高密化するなど、任意のパラメータとその組み合わせで空間高密化が可能である。また、画像変換の対象になる照明パラメータも任意であり、またその組み合わせも任意である。図５から図１８では、画像中の１ライン分を図示したが、これを縦方向と横方向に施せば、２次元の画像処理に展開できる。【００７０】  そして、ステップＳ５において、画像生成部１０７が、ステップＳ４で得られた新パラメータ値ＩＯＵＴＬＥＰを基にして、第２の画像としての出力画像ＩＯＵＴを生成する。【００７１】  ここで、前処理Ｓ００の詳細について、図１９を参照して説明する。ここでは、照明方程式から作成した画像を画像特徴ベクトルの学習に用いることによって、画像特徴ベクトルと照明方程式パラメータとの関連付けを行う。【００７２】  具体的には、まず、照明方程式パラメータの値として、第１のパラメータ値ＬＥＰ１（番号１）を設定する。そしてこの第１のパラメータ値ＬＥＰ１を用いて、（数１）の演算を実行し、学習画像ＩＬを生成する。そして生成された学習画像ＩＬについて、上述のステップＳ１と実質的に同等の画像特徴解析を行い、画像特徴ベクトルＩＬＦＶを得る。この画像特徴ベクトルＩＬＦＶを、画像特徴ベクトルデータベース１０２の番号１に格納する。これにより、画像特徴ベクトルＩＬＦＶと第１のパラメータ値ＬＥＰ１とが対応付けられてデータベース１０２，１０３に保存される。このような処理を繰り返し実行することによって、図１に示すような、画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３が生成される。なお、図１９では、画像生成部１０７が画像生成を行い、画像特徴解析部１０１が画像特徴解析を行っているが、前処理Ｓ００において他の手段によって画像生成や画像特徴解析を行うようにしてもよい。【００７３】  以上のように本実施形態によると、入力画像ＩＩＮの画像特徴ベクトルＩＩＮＦＶから、入力画像ＩＩＮにふさわしい照明方程式のパラメータＩＩＮＬＥＰが選定される。そして、このパラメータＩＩＮＬＥＰを操作することによって、様々な出力画像ＩＯＵＴを生成することができる。したがって、学習時の画像データに制限されず、自由度の高い画像変換が可能になる。【００７４】  また、照明方程式のパラメータＩＩＮＬＥＰを操作して画像変換を行うため、いたずらに多くの学習画像を準備する必要がなく、したがって、学習画像数を抑えることができる。また、前処理において、学習画像ＩＬは照明方程式を用いて計算機によって生成することが可能であるので、学習画像生成のために実物を用いた撮影を必要としない。したがって、処理が簡易になるとともに、多様な学習画像を容易に準備することができる。なお、学習画像ＩＬの画像特徴ＩＬＦＶが入力画像ＩＩＮの画像特徴ＩＩＮＦＶに近いほど、適切な照明方程式パラメータが取得できる。そこで、学習画像ＩＬを生成する際に、入力画像ＩＩＮが撮影された際の条件を想定して照明方程式パラメータを設定することが望ましい。例えば、入力画像ＩＩＮの撮影場所が限定でき、その結果、照明位置が限定できる場合は、照明ベクトルＬは入力画像ＩＩＮが撮影された際のデータを利用する。【００７５】  なお、本実施形態で��、画像変換として画像拡大を例にとって説明したが、本発明はこれに限定されるものではなく、他の画像変換についても同様にパラメータ操作が可能である。例えば、照明方向を変更したいときは、照明ベクトルＬを変更すればよいし、また拡散反射成分と鏡面反射成分の割合を変更したいときは、拡散反射成分比率ｋｄを変更すればよい。【００７６】  また、鏡面反射成分反射率ρｓは双方向反射率で定義されているため、視線方向に応じて変化する。そこで、例えば（数５）で与えられるＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを導入すれば、照明方程式パラメータに視線ベクトルＶ、粗さ係数ｍ、フレネル係数Ｆλを加えることができる。これにより、視点方向の変更、表面粗さの変更などの画像変換が可能になる。
【数５】
2007108041.tif 000010
【００７７】  ここで、図２０に示すように、ベクトルＨは視点ベクトルＶと照明ベクトルＬの中間ベクトルであり、βは中間ベクトルＨと表面法線ベクトルＮとの角度を表す。ｍは物体表面の粗さを表わす係数であり、ｍが小さいときは角度βが小さい部分すなわち表面法線ベクトルＮ付近に強い反射を示し、ｍが大きいときは角度βが大きい部分すなわち表面法線ベクトルＮから離れた部分にも反射分布が広がる。Ｇは幾何減衰率であり、物体表面の凹凸による遮光の影響を表わす。ｎは屈折率である。【００７８】  このように、本発明では、照明方程式は任意に定義可能であり、（数１）や（数５）に限定されるものではない。【００７９】  また、本実施形態では、画像特徴ベクトルＩＩＮＦＶに最も近い画像特徴ベクトルに対応する照明方程式パラメータを原パラメータ値ＩＩＮＬＥＰとして取得するものとしたが、原パラメータ値ＩＩＮＬＥＰの取得方法はこれに限られるものではない。例えば図２１に示すように、取得してもよい。すなわち、まず、入力画像特徴ベクトルＩＩＮＦＶと類似する所定数（図２１では３個）の画像特徴ベクトルを選択する。そして、選択した各画像特徴ベクトルについて、入力画像特徴ベクトルＩＩＮＦＶとの距離をそれぞれ求め、この距離に応じた重み付け係数ＩＩＮＦＶＷＦを定める。そして、選択した３個の画像特徴ベクトルにそれぞれ対応するパラメータ値を、重み付け係数ＩＩＮＦＶＷＦを用いて重み付け加算し、その結果を原パラメータ値ＩＩＮＬＥＰとして出力する。なお、重み付け加算の代わりに、選択した所定数の画像特徴ベクトルにそれぞれ対応するパラメータ値について、単に平均をとってもかまわない。【００８０】  なお、画像特徴と照明方程式パラメータとの関係は、予め学習されている必然性はなく、任意の手段によって準備してかまわない。【００８１】  以下、本発明を実現する構成例を例示する。【００８２】  （第１の構成例）
図２２は第１の構成例を示す図であり、パーソナルコンピュータを用いて本発明に係る画像変換を行う構成の一例である。カメラ２１の解像度はディスプレイ２２の解像度よりも低く、ディスプレイ２２の表示能力を最大限に生かすために、メインメモリ２３にロードされた画像変換プログラムによって拡大画像を作成する。カメラ２１で取り込まれた低解像度画像は画像メモリ２４に記録される。外部記録装置２５には予め画像特徴ベクトルデータベース１０２と照明方程式パラメータデータベース１０３とが準備されており、メインメモリ２３の画像変換プログラムから参照可能になっている。画像変換プログラムの動作や画像特徴ベクトルデータベース１０２と照明方程式パラメータデータベース１０３の内容や作成方法等は、第１の実施形態で説明したとおりである。メインメモリ２３の画像変換プログラムは、メモリバス２６を介して画像メモリ２４の低解像度画像を読み込み、これをディスプレイ２２の解像度に合わせて高解像度画像に変換し、再びメモリバス２６経由でビデオメモリ２７に転送する。ビデオメモリ２７に転送された高解像度画像はディスプレイ２２において観察できる。【００８３】  なお、本発明は図２２の構成に拘束されるものではなく、様々な構成をとることができる。例えば、画像特徴ベクトルデータベース１０２や照明方程式パラメータデータベース１０３を別のパーソナルコンピュータに接続された外部記憶装置からネットワーク２８を介して取得してもかまわない。また低解像度画像は、ネットワーク２８を介して取得してもかまわない。【００８４】  （第２の構成例）
図２３は第２の構成例を示す図であり、サーバークライアントシステムを用いて本発明に係る画像変換を行う構成の一例である。カメラ３１の解像度はディスプレイ３２の解像度よりも低く、ディスプレイ３２の表示能力を最大限に生かすために、サーバークライアントシステムにおいて画像変換を実行する。サーバー３３では、第１の実施形態と同様に、画像特徴解析部１０１、画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３が、入力画像ＩＩＮから原パラメータ値ＩＩＮＬＥＰを算出する。画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３によって、パラメータ出力部１０が構成されている。一方、クライアント３４の画像変換指示部１０５から、画像変換の指示（本例では画像拡大）が画像変換指示信号ＩＣＩＳとしてサーバー３３のパラメータ操作設定部１０６に渡される。パラメータ操作設定部１０６は画像変換指示信号ＩＣＩＳによる画像変換の内容を照明方程式パラメータの操作内容に置き換え、パラメータ操作指示信号ＬＥＰＳとしてパラメータ操作部１０４に出力する。パラメータ操作部１０４は原パラメータ値ＩＩＮＬＥＰを操作し、新パラメータ値ＩＯＵＴＬＥＰを生成する。【００８５】  このような動作によって、サーバー３３はクライアント３４からの画像変換指示に従った新パラメータ値ＩＯＵＴＬＥＰを、ネットワーク３５を介してクライアント３４に提供できる。新パラメータ値ＩＯＵＴＬＥＰを受け取ったクライアント３４では、画像生成部１０７が拡大画像を生成し、ディスプレイ３２に供給する。【００８６】  なお、本発明は図２３の構成に拘束されるものではなく、画像機器の組み合わせや、各手段のシステム上の位置（サーバー３３に属するかクライアント３４に属するか、またはそれ以外に属するかなど）は、任意である。【００８７】  （第３の構成例）
図２４は第３の構成例を示す図であり、カメラ付携帯電話とテレビを用いて本発明に係る画像処理を行う構成の一例である。携帯機器としてのカメラ付携帯電話４１はネットワーク４２またはメモリカード４３を介してテレビ４４に画像データを送ることができる。カメラ付携帯電話４１のカメラ４５の解像度はテレビ４４の解像度よりも低く、テレビ４４の表示能力を最大限に生かすために、テレビ４４の内部回路に実装された本発明に係る画像変換装置によって画像拡大を実行する。【００８８】  利用料金の面を考えると、カメラ付携帯電話４１からテレビ４４へ送るデータ量は、小さいほど利用者から歓迎される。そこで、ネットワーク４２で送信するデータは、入力画像特徴ベクトル番号ＩＩＮＦＶＮとするのが望ましい。また、ネットワーク４２における盗聴の被害を最小限に抑えるためにも、番号自体には特に意味を持たない入力画像特徴ベクトル番号ＩＩＮＦＶＮを送ることが望ましい。すなわち、カメラ付き携帯電話４１が画像特徴ベクトルデータベース１０２を持ち、テレビ４４が照明方程式パラメータデータベースを持つように構成し、その両方がそろってはじめて所望の画像変換が実現できるようにする。これにより、利用料金を低く抑えることができるとともに、盗聴の被害を最小限に抑えることができる。図２４では、カメラ付携帯電話４１が、カメラ４５と、カメラ４５によって撮影された画像ＩＩＮについて画像特徴解析を行い、第１の画像特徴ベクトルＩＩＮＦＶを出力する画像特徴解析部１０１と、格納している複数の画像特徴ベクトルの中から第１の画像特徴ベクトルＩＩＮＦＶと類似する画像特徴ベクトルを特定し、その番号ＩＩＮＦＶＮを出力する画像特徴ベクトルデータベース１０２とを備えている構成を示している。【００８９】  なお、本発明は図２４の構成に拘束されるものではなく、様々な構成を取ることができる。例えば、カメラ付携帯電話４１はデジタルスチルカメラやビデオムービーカメラでもあってもかまわない。【００９０】  以上のように本発明は、広く普及しているパーソナルコンピュータや、サーバークライアントシステム、または、カメラ付携帯電話やデジタルスチルカメラ、ビデオムービーカメラ、テレビなどビデオ機器全般で実行可能であり、特別な機器、運用、管理などは必要ない。なお、専用ハードウェアへの実装やソフトウェアとハードウェアの組み合わせなど、機器接続形態や機器内部の構成を拘束するものではない。
【産業上の利用可能性】
【００９１】  本発明では、拡大縮小、照明変換、視点変換、拡散／鏡面反射成分の比率変更など、様々な画像変換を自由に実施できるので、例えば、スポーツや観光、記念撮影など目の前のシーンを映像として記録する映像エンタテイメント分野において利用することができる。また、文化芸術の分野では、被写体や撮影場所に制限されない自由度の高いデジタルアーカイブシステムを提供するために利用することができる。
【図１】
2007108041.tif 000011
【図２】
2007108041.tif 000012
【図３】
2007108041.tif 000013
【図４】
2007108041.tif 000014
【図５】
2007108041.tif 000015
【図６】
2007108041.tif 000016
【図７】
2007108041.tif 000017
【図８】
2007108041.tif 000018
【図９】
2007108041.tif 000019
【図１０】
2007108041.tif 000020
【図１１】
2007108041.tif 000021
【図１２】
2007108041.tif 000022
【図１３】
2007108041.tif 000023
【図１４】
2007108041.tif 000024
【図１５】
2007108041.tif 000025
【図１６】
2007108041.tif 000026
【図１７】
2007108041.tif 000027
【図１８】
2007108041.tif 000028
【図１９】
2007108041.tif 000029
【図２０】
2007108041.tif 000030
【図２１】
2007108041.tif 000031
【図２２】
2007108041.tif 000032
【図２３】
2007108041.tif 000033
【図２４】
2007108041.tif 000034
【手続補正書】
【提出日】平成18年6月9日(2006.6.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の画像を第２の画像に変換する方法であって、
前記第１の画像について、画像特徴解析を行う第１のステップと、
画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する第２のステップと、
指示された画像変換に応じて、照明方程式パラメータの操作内容を定める第３のステップと、
前記原パラメータ値を、前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、
前記新パラメータ値を基にして、前記第２の画像を生成する第５のステップとを備えた
ことを特徴とする画像変換方法。
【請求項２】
請求項１において、
前記第１のステップにおける画像特徴解析は、空間周波数解析を用いて行うものである
ことを特徴とする画像変換方法。
【請求項３】
請求項１において、
画像特徴と照明方程式パラメータとの関係を学習する前処理を備え、
前記前処理は、
照明方程式パラメータの値として第１のパラメータ値を設定するステップと、
前記第１のパラメータ値から、学習画像を生成するステップと、
前記学習画像について、前記第１のステップと実質的に同等の画像特徴解析を行うステップとを備え、
得られた画像特徴を前記第１のパラメータ値と対応付けて、データベースに保存する
ことを特徴とする画像変換方法。
【請求項４】
請求項３において、
前記第１のパラメータ値は、前記第１の画像が撮影された際の照明方程式パラメータを想定して設定される
ことを特徴とする画像変換方法。
【請求項５】
請求項１において、
前記照明方程式は、視点方向の輝度を、拡散反射成分、鏡面反射成分および環境光成分の和によって表わすものである
ことを特徴とする画像変換方法。
【請求項６】
請求項１において、
前記照明方程式パラメータは、表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つを含む
ことを特徴とする画像変換方法。
【請求項７】
請求項１において、
前記第３のステップは、指示された画像変換が画像拡大であるとき、照明方程式パラメータの操作内容として、表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つの高密化を、定めるものである
ことを特徴とする画像変換方法。
【請求項８】
請求項１において、
画像特徴と照明方程式パラメータとの関係は、複数の画像特徴ベクトルと、各画像特徴ベクトルとそれぞれ対応付けられた複数のパラメータ値とによって、表されており、
前記第２のステップは、
前記複数の画像特徴ベクトルの中から、前記第１の画像の画像特徴を表す第１の画像特徴ベクトルと類似する所定数の画像特徴ベクトルを、選択するステップと、
前記所定数の画像特徴ベクトルについて、前記第１の画像特徴ベクトルとの距離を、それぞれ求めるステップと、
前記所定数の画像特徴ベクトルにそれぞれ対応するパラメータ値を、当該画像特徴ベクトルについて求めた前記距離に応じて重み付け加算し、前記原パラメータ値を算出するステップとを備えたものである
ことを特徴とする画像変換方法。
【請求項９】
入力画像について、画像特徴解析を行い、前記入力画像の画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、
複数の画像特徴ベクトルと、照明方程式の，前記各画像特徴ベクトルとそれぞれ対応する複数のパラメータ値とを格納しており、前記第１の画像特徴ベクトルを受けて、これに対応する原パラメータ値を出力するパラメータ出力部と、
指示された画像変換に応じて、照明方程式パラメータの操作内容を定めるパラメータ操作設定部と、
前記パラメータ出力部から出力された前記原パラメータ値を、前記パラメータ操作設定部によって定められた操作内容に従って操作し、新パラメータ値を得るパラメータ操作部と、
前記パラメータ操作部から出力された新パラメータ値を基にして、出力画像を生成する画像生成部とを備えた
ことを特徴とする画像変換装置。
【請求項１０】
請求項９において、
前記パラメータ出力部は、
前記複数の画像特徴ベクトルを格納する画像特徴ベクトルデータベースと、
前記複数のパラメータ値を格納する照明方程式パラメータデータベースとを備えたものである
ことを特徴とする画像変換装置。
【請求項１１】
画像変換を行うサーバークライアントシステムであって、
請求項９の画像特徴解析部、パラメータ出力部、パラメータ操作設定部、およびパラメータ操作部を有するサーバと、
請求項９の画像生成部を有するクライアントとを備え、
前記クライアントは、前記サーバに、画像変換の内容を指示する
ことを特徴とするサーバークライアントシステム。
【請求項１２】
カメラと、
前記カメラによって撮影された画像について画像特徴解析を行い、その画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、
複数の画像特徴ベクトルを番号とともに格納しており、前記第１の画像特徴ベクトルと類似する画像特徴ベクトルを特定し、その番号を出力する画像特徴ベクトルデータベースとを備え、
前記画像特徴ベクトルデータベースから出力された番号を、送信する
ことを特徴とする携帯機器。
【請求項１３】
コンピュータに、第１の画像を第２の画像に変換する方法をコンピュータに実行させるプログラムであって、
前記第１の画像について、画像特徴解析を行う第１のステップと、
画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する第２のステップと、
指示された画像変換に応じて、照明方程式パラメータの操作内容を定める第３のステップと、
前記原パラメータ値を、前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、
前記新パラメータ値を基にして、前記第２の画像を生成する第５のステップとを
コンピュータに実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関するものであり、特に、画像拡大や照明変換、視点変換などの画像変換を実現する技術に関する。
【背景技術】
【０００２】
画像機器とネットワークのデジタル化により、種類の異なる画像機器同士が容易に接続可能になっており、画像交換の自由度が高まっている。例えば、デジタルスチルカメラで撮影した画像を、プリンタに出力したり、ネットワーク上で公開したり、家庭のテレビで鑑賞したり、というように、利用者がシステムの違いに制約を受けることなく自由に画像を扱える環境が整備されてきた。
【０００３】
一方、このような環境を実現するために、システム側は様々な画像フォーマットに対応する必要に迫られており、高度な画像フォーマット変換が求められている。例えば、頻繁に発生する画像サイズ変換に対応するためには、アップコンバータ（画素数、ライン数を増やす変換装置）やダウンコンバータ（画素数、ライン数を減らす変換装置）が必要になる。例えばＡ４用紙（２９７ｍｍ×２１０ｍｍ）に６００ｄｐｉの解像度で印刷する場合、７１２８画素×５０４０ラインのデータが必要になるが、多くのデジタルスチルカメラの解像度はこれを下回るため、アップコンバータが必要になる。また、ネットワーク上に公開された画像は、出力デバイスが決まるたびに、対応する画像サイズへの変換を必要とする。家庭用テレビに関しては、デジタル地上波のサービスが開始されたため、従来の標準テレビとＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）テレビとが混在し、このため、画像サイズ変換が頻繁に行われる。
【０００４】
画像を拡大するためには、取得時には存在しなかった画像データを新たに作り出す必要があるが、これにはすでに様々な方法が提案されている。例えば、バイリニア法、バイキュービック法などの内挿を用いる方法が、一般的である（非特許文献１）。ところが、内挿を用いた場合、サンプリングデータの中間的な値しか生成できないため、エッジなどの先鋭度が劣化し、ぼけた画像になる傾向がある。そこで、初期拡大画像として内挿画像を用い、その後、エッジ部を抽出して、エッジのみを強調する技術が開示されている（特許文献１、非特許文献２）。しかし、エッジ部とノイズの切り分けが難しく、エッジ部の強調とともに、ノイズも強調されて画質劣化を招く傾向がある。
【０００５】
そこで、画質劣化を抑えつつ画像拡大を行う方法として、学習方式がある。すなわち、拡大画像に相当する高解像度画像を高精細カメラ等によって予め撮影し、この高解像度画像から低解像度画像を作成する。低解像度画像の生成は、通常、ローパスフィルタを通してサブサンプリングする方法によって行う。このような低解像度画像と高解像度画像の組を多数準備し、その関係を画像拡大方法として学習する。したがって、学習方式では、上述したような強調処理は存在せず、このため、比較的画質劣化の少ない画像拡大を実現できる。
【０００６】
学習方式の例としては、例えば、隣接画素との輝度値の関係がマルコフ過程で決まるとして、統計的手法で学習を行う技術が開示されている（非特許文献３）。また、低解像度から高解像度への変換対で画素ごとに特徴ベクトルを求め、入力画素の特徴ベクトルとの一致度と周辺との一貫性から、拡大画像を生成する技術が開示されている（非特許文献４）。
【０００７】
また学習方式は、画像拡大だけでなく、例えば照明方向の変換などにも活用されている（非特許文献５）。非特許文献５では、テクスチャ（物体表面の凹凸や模様などのこと）の異なる複数の物体に異なる複数の方向から照明をあてて、学習データを作成し、テクスチャ感を保ちながら照明方向を変換する技術が開示されている。
【特許文献１】米国特許第５，７１７，７８９号（図５）
【非特許文献１】荒屋真二著，「明解  ３次元コンピュータグラフィックス」，共立出版，２００３年９月２５日，ｐｐ．１４４−１４５
【非特許文献２】中静真ら、「多重スケール輝度こう配平面における画像高解像度化」、電子情報通信学会論文誌 Ｄ−ＩＩ  Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ  Ｎｏ．１０  ｐｐ．２２４９−２２５８，１９９８年１０月
【非特許文献３】Ｆｒｅｅｍａｎら、「Ｌｅａｒｎｉｎｇ  Ｌｏｗ−Ｌｅｖｅｌ  Ｖｉｓｉｏｎ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ４０（１），ｐｐ．２５−４７，２０００年
【非特許文献４】Ｈｅｒｔｚｍａｎｎら、「Ｉｍａｇｅ  Ａｎａｌｏｇｉｅｓ」、  ＳＩＧＧＲＡＰＨ  ２００１  予稿集，ｐｐ．３２７−３４０，２００１年
【非特許文献５】Ｍａｌｉｋら、「Ｒｅｐｒｅｓｅｎｔｉｎｇ  ａｎｄ  Ｒｅｃｏｇｎｉｚｉｎｇ  ｔｈｅ  Ｖｉｓｕａｌ  Ａｐｐｅａｒａｎｃｅ  ｏｆ  Ｍａｔｅｒｉａｌｓ  ｕｓｉｎｇ  Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ  Ｔｅｘｔｏｎｓ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ４３（１），ｐｐ．２９−４４，２００１年
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところが、従来の技術では、次のような問題があった。
【０００９】
上述したような学習方式では、拡大画像は学習に用いた画像群の中から選ばれるため、拡大方法は、学習データに依存してしまうという問題がある。また、画像拡大だけでなく、照明方向の変換などその他の画像変換でも、同様の問題が生じる。
【００１０】
また、低解像度画像と高解像度画像を多数準備する必要があるため、学習を行う前処理に工数がかかりすぎるという問題もある。さらに、学習時の画像データは実際に撮影した画像から作成する必要があるので、画像データに自ずと偏りが生じる可能性があり、このことは自由度の高い画像変換を行うためには好ましくない。
【００１１】
前記の問題に鑑み、本発明は、学習方式を用いた画像変換において、従来よりも画像変換の自由度を高めることを課題とする。
【課題を解決するための手段】
【００１２】
本発明では、第１の画像について画像特徴解析を行い、この第１の画像の画像特徴から、画像特徴と照明方程式パラメータとの関係を参照して、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する。また、指示された画像変換に応じて、照明方程式パラメータの操作内容を定める。そして、このパラメータ操作内容に従って原パラメータ値を操作し、新パラメータ値を得る。そして、この新パラメータ値を基にして、画像変換後の第２の画像を生成する。
【００１３】
この発明によると、第１の画像の画像特徴に対応する照明方程式パラメータの値が原パラメータ値として取得され、この原パラメータ値を、指示された画像変換に応じた操作内容に従って操作することによって、新パラメータ値が得られる。そして、この新パラメータ値から、第２の画像が生成される。すなわち、画像変換が、照明方程式のパラメータ変換によって実現されるので、学習時の画像データによって制約を受けることがなく、従来よりも自由度の高い画像変換が可能となる。例えば、画像拡大の場合は、照明方程式のパラメータのうち、物体の形状情報を表わす表面法線ベクトルを高密化すればよい。この場合、任意の拡大倍率を設定することができる。また、照明方向の変換の場合は、照明方向を表わす照明ベクトルを変更すればよい。その他、視点方向の変換なども、照明方程式パラメータを操作することによって、容易に実現することができる。また、従来技術では、画像変換の種類だけ学習画像が必要であったが、これに対して本発明は照明方程式のパラメータ操作によって画像変換を行うため、学習画像数を抑えることができる。
【００１４】
また、本発明では、画像特徴と照明方程式パラメータとの関係を学習する前処理において、照明方程式パラメータの値を設定し、設定したパラメータ値から学習画像を生成し、学習画像について画像特徴解析を行って得た画像特徴を、元のパラメータ値と対応付けて、データベースに保存するのが好ましい。
【００１５】
これにより、前処理において、学習画像は照明方程式を用いて計算機によって生成が可能であるので、学習画像生成のために実物を用いた撮影を必要としない。したがって、処理が簡易になるとともに、多様な学習画像を容易に準備することができる。
【発明の効果】
【００１６】
本発明によると、画像変換が照明方程式のパラメータ変換によって実現されるので、自由度の高い画像変換が可能になる。また、学習画像数を抑えることもできる。さらに、前処理において、多様な学習画像を容易に準備することができる。
【発明を実施するための最良の形態】
【００１７】
本発明の第１態様では、第１の画像を第２の画像に変換する方法として、前記第１の画像について画像特徴解析を行う第１のステップと、画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を原パラメータ値として取得する第２のステップと、指示された画像変換に応じて照明方程式パラメータの操作内容を定める第３のステップと、前記原パラメータ値を前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、前記新パラメータ値を基にして前記第２の画像を生成する第５のステップとを備えたものを提供する。
【００１８】
本発明の第２態様では、前記第１のステップにおける画像特徴解析は、空間周波数解析を用いて行うものである第１態様の画像変換方法を提供する。
【００１９】
本発明の第３態様では、画像特徴と照明方程式パラメータとの関係を学習する前処理を備え、前記前処理は、照明方程式パラメータの値として第１のパラメータ値を設定するステップと、前記第１のパラメータ値から学習画像を生成するステップと、前記学習画像について、前記第１のステップと実質的に同等の画像特徴解析を行うステップとを備え、得られた画像特徴を前記第１のパラメータ値と対応付けてデータベースに保存する第１態様の画像変換方法を提供する。
【００２０】
本発明の第４態様では、前記第１のパラメータ値は、前記第１の画像が撮影された際の照明方程式パラメータを想定して設定される第３態様の画像変換方法を提供する。
【００２１】
本発明の第５態様では、前記照明方程式は、視点方向の輝度を、拡散反射成分、鏡面反射成分および環境光成分の和によって表わすものである第１態様の画像変換方法を提供する。
【００２２】
本発明の第６態様では、前記照明方程式パラメータは、表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つを含む第１態様の画像変換方法を提供する。
【００２３】
本発明の第７態様では、前記第３のステップは、指示された画像変換が画像拡大であるとき、照明方程式パラメータの操作内容として表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つの高密化を定めるものである第１態様の画像変換方法を提供する。
【００２４】
本発明の第８態様では、画像特徴と照明方程式パラメータとの関係は、複数の画像特徴ベクトルと各画像特徴ベクトルとそれぞれ対応付けられた複数のパラメータ値とによって表されており、前記第２のステップは、前記複数の画像特徴ベクトルの中から前記第１の画像の画像特徴を表す第１の画像特徴ベクトルと類似する所定数の画像特徴ベクトルを選択するステップと、前記所定数の画像特徴ベクトルについて、前記第１の画像特徴ベクトルとの距離をそれぞれ求めるステップと、前記所定数の画像特徴ベクトルにそれぞれ対応するパラメータ値を当該画像特徴ベクトルについて求めた前記距離に応じて重み付け加算し、前記原パラメータ値を算出するステップとを備えたものである第１態様の画像変換方法を提供する。
【００２５】
本発明の第９態様では、入力画像について画像特徴解析を行い、前記入力画像の画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、複数の画像特徴ベクトルと、照明方程式の，前記各画像特徴ベクトルとそれぞれ対応する複数のパラメータ値とを格納しており、前記第１の画像特徴ベクトルを受けて、これに対応する原パラメータ値を出力するパラメータ出力部と、指示された画像変換に応じて照明方程式パラメータの操作内容を定めるパラメータ操作設定部と、前記パラメータ出力部から出力された前記原パラメータ値を前記パラメータ操作設定部によって定められた操作内容に従って操作し、新パラメータ値を得るパラメータ操作部と、前記パラメータ操作部から出力された新パラメータ値を基にして出力画像を生成する画像生成部とを備えた画像変換装置を提供する。
【００２６】
本発明の第１０態様では、前記パラメータ出力部は、前記複数の画像特徴ベクトルを格納する画像特徴ベクトルデータベースと、前記複数のパラメータ値を格納する照明方程式パラメータデータベースとを備えたものである第９態様の画像変換装置を提供する。
【００２７】
本発明の第１１態様では、画像変換を行うサーバークライアントシステムとして、第９態様の画像特徴解析部、パラメータ出力部、パラメータ操作設定部およびパラメータ操作部を有するサーバと、第９態様の画像生成部を有するクライアントとを備え、前記クライアントは、前記サーバに画像変換の内容を指示するものを提供する。
【００２８】
本発明の第１２態様では、カメラと、前記カメラによって撮影された画像について画像特徴解析を行い、その画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、複数の画像特徴ベクトルを番号とともに格納しており、前記第１の画像特徴ベクトルと類似する画像特徴ベクトルを特定し、その番号を出力する画像特徴ベクトルデータベースとを備え、前記画像特徴ベクトルデータベースから出力された番号を送信する携帯機器を提供する。
【００２９】
本発明の第１３態様では、コンピュータに、第１の画像を第２の画像に変換する方法をコンピュータに実行させるプログラムとして、前記第１の画像について画像特徴解析を行う第１のステップと、画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する第２のステップと、指示された画像変換に応じて、照明方程式パラメータの操作内容を定める第３のステップと、前記原パラメータ値を、前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、前記新パラメータ値を基にして、前記第２の画像を生成する第５のステップとをコンピュータに実行させるものを提供する。
【００３０】
以下、本発明の実施の形態について、図面を参照して説明する。
【００３１】
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像変換装置を示すブロック図である。図１において、画像特徴解析部１０１は入力画像ＩＩＮについて画像特徴解析を行い、入力画像特徴ベクトルＩＩＮＦＶを生成する。画像特徴ベクトルデータベース１０２は複数の画像特徴ベクトルを格納しており、照明方程式パラメータデータベース１０３は所定の照明方程式の、画像特徴ベクトルデータベース１０２に格納された各画像特徴ベクトルとそれぞれ対応付けられた複数のパラメータ値を格納している。すなわち、画像特徴と照明方程式パラメータとの関係が、準備されている。そして、画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３は、入力画像特徴ベクトルＩＩＮＦＶに対応する照明方程式パラメータの値を、原パラメータ値ＩＩＮＬＥＰとして出力する。画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３によって、パラメータ出力部１０が構成されている。
【００３２】
画像変換指示部１０５は例えば外部から指示された画像変換の内容を、画像変換指示信号ＩＣＩＳとして出力する。パラメータ操作設定部１０６は画像変換指示信号ＩＣＩＳによって指示された画像変換に応じて、照明方程式パラメータの操作内容を定め、これをパラメータ操作指示信号ＬＥＰＳとして出力する。パラメータ操作部１０４はパラメータ操作指示信号ＬＥＰＳによって指示された操作内容に従って、原パラメータ値ＩＩＮＬＥＰを操作し、新パラメータ値ＩＯＵＴＬＥＰを生成する。画像生成部１０７は新パラメータ値ＩＯＵＴＬＥＰを用いて照明方程式を演算し、出力画像ＩＯＵＴを生成する。
【００３３】
すなわち、第１の画像としての入力画像ＩＩＮが、照明方程式のパラメータ変換によって、第２の画像としての出力画像ＩＯＵＴに画像変換される。
【００３４】
ここでは、図２のような幾何条件と光学条件を想定して、次のような照明方程式を用いる。
【数１】
2007108041.tif 000035
【００３５】
ここで、Ｉｖは視点方向（視点ベクトルＶ）の輝度、Ｉａは環境光の輝度、ρａは環境光の反射率、Ｉｉは照明の輝度、ベクトルＮは表面法線ベクトル、ベクトルＬは照明方向を表わす照明ベクトル、ｄωは照明の立体角、ρｄは拡散反射成分の反射率、ρｓは鏡面反射成分の反射率、ｋｄとｋｓは拡散反射成分と鏡面反射成分の割合を表わし、ｋｄ＋ｋｓ＝１の関係を持つ。視点ベクトルＶは、カメラＣＡＭの光軸に一致し、物体表面ＳＦ上の注目点Ｐを始点とする。環境光とは、物体表面ＳＦ上の現在の注目点Ｐに多重反射等で周辺から回り込んで入射する光であり、視点方向（ベクトルＶ）の輝度Ｉｖのバイアス成分に当たる。注目点Ｐに放射照度
【数１Ａ】
2007108041.tif 000036
で照明から光が入射し、拡散反射成分がｋｄρｄ、鏡面反射成分がｋｓρｓの割合で、それぞれ入射光を反射する。
【００３６】
図１の照明方程式パラメータデータベース１０３では、パラメータとして、表面法線ベクトルＮ、照明ベクトルＬ、拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄ、鏡面反射成分反射率ρｓ、環境光輝度Ｉａ、および環境光反射率ρａの７種類が設定されている。なお、本発明に係る照明方程式の定義およびパラメータの種類は、ここで示したものに限られるものではなく、任意の照明方程式やパラメータが適用可能である。
【００３７】
図３は図１の画像変換装置の動作、すなわち本実施形態に係る画像変換方法を示すフローチャートである。なお、本実施形態に係る画像変換方法は、当該方法を実現するためのプログラムをコンピュータに実行させることによって、実現することができる。
【００３８】
まず、前処理Ｓ００において、画像特徴と照明方程式パラメータとの関係を学習する。この前処理Ｓ００の詳細については後述する。ここでは、予め学習により、図１に示すような画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３が得られているものとする。
【００３９】
ステップＳ１において、第１の画像としての入力画像ＩＩＮについて、画像特徴解析部１０１が画像特徴解析を行う。ここでの画像特徴解析は、例えば図４に示すようなウェーブレット変換などの空間周波数解析を用いて行う。このとき、画像特徴は多重解像度表現によって表される。図４の例では、ｎ回のスケーリングそれぞれにおいてウェーブレット変換の出力ＨＬ、ＬＨ、ＨＨ、ＬＬを求め、これらを階層ごとに束ねることによって、（３ｎ＋１）次元ベクトルを、第１の画像特徴ベクトルとしての入力画像特徴ベクトルＩＩＮＦＶとして求めている。なお、画像特徴ベクトルＩＩＮＦＶは画素ごとに必要になるため、各スケールにおいてＬＬ画像が同一サイズになるようにしている。もちろん、本発明における画像特徴の解析および表現方法はこれに限られるものではなく、任意の方法を適用することができる。
【００４０】
次にステップＳ２において、予め学習により求めた画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３を参照し、ステップＳ１で得た入力画像特徴ベクトルＩＩＮＦＶから、これに対応する照明方程式パラメータの値を原パラメータ値ＩＩＮＬＥＰとして取得する。ここでは、まず画像特徴ベクトルデータベース１０２が、格納しているｑ個の画像特徴ベクトルの中から、入力画像特徴ベクトルＩＩＮＦＶに最も近い画像特徴ベクトルを選定し、選定した画像特徴ベクトルの番号を入力画像特徴ベクトル番号ＩＩＮＦＶＮとして出力する。そして照明方程式パラメータデータベース１０３が、入力画像特徴ベクトル番号ＩＩＮＦＶＮを受けて、これに対応するパラメータ値を読み出し、原パラメータ値ＩＩＮＬＥＰとして出力する。
【００４１】
次にステップＳ３において、パラメータ操作設定部１０６が、指示された画像変換に応じて、照明方程式パラメータの操作内容を定める。そしてステップＳ４において、パラメータ操作部１０４が、ステップＳ２で得られた原パラメータ値ＩＩＮＬＥＰを、ステップＳ３で定めた操作内容に従って操作し、新パラメータ値ＩＯＵＴＬＥＰを得る。
【００４２】
図５はパラメータ操作の一例を示す図であり、原パラメータ値ＩＩＮＬＥＰと新パラメータ値ＩＯＵＴＬＥＰを１ライン分、画素ごとに書き並べている。各画素には上述した７個のパラメータが定められており、環境光輝度Ｉａ、環境光反射率ρａおよび照明ベクトルＬの３つは各画素で共通である。拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄおよび鏡面反射成分反射率ρｓは物体の材質に依存するため、材質の種類を示す添字を付している。また、原パラメータ値ＩＩＮＬＥＰの表面法線ベクトルＮについても、第１の添字は材質の種類を示し、第２の添字は同一材質内での画素の違いを示している。
【００４３】
いま、画像変換指示信号ＩＣＩＳによって、「拡大率２倍の画像拡大」という画像変換が指示されたものとする。このときパラメータ操作設定部１０６は、「拡大率２倍の画像拡大」という画像変換を「表面法線ベクトルＮの２倍高密化」というパラメータ操作に置き換え、パラメータ操作指示信号ＬＥＰＳとしてパラメータ操作部１０４に与える。
【００４４】
パラメータ操作部１０４はパラメータ操作指示信号ＬＥＰＳに従って、表面法線ベクトルＮを２倍に高密化する。すなわち、原パラメータ値ＩＩＮＬＥＰの画素数ｕが、新パラメータ値ＩＯＵＴＬＥＰでは画素数が２ｕになる。物体の材質に依存するパラメータは解像度に依存しないため、原パラメータ値ＩＩＮＬＥＰをそのまま、新パラメータ値ＩＯＵＴＬＥＰに渡せばよく、具体的には、拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄおよび鏡面反射成分反射率ρｓの新パラメータ値ＩＯＵＴＬＥＰは原パラメータ値ＩＩＮＬＥＰと同一となる。一方、法線ベクトルＮは解像度に依存するパラメータであるため、新パラメータ値ＩＯＵＴＬＥＰの表面法線ベクトルＮでは、高密化後の画素の違いを表わすため、第３の添字を加えている。このとき、材質の境界（例えば原パラメータ値ＩＩＮＬＥＰにおける画素２と画素３の間）は、図６に示すように、２つのオブジェクト（材質１から成るオブジェクト６０１と材質２から成るオブジェクト６０２）の重なりによるエッジ部となる可能性が高いので、高密化後もこの境界条件を保持するのが望ましい。具体的には、新パラメータ値ＩＯＵＴＬＥＰの画素４と画素５を、それぞれ原パラメータ値ＩＩＮＬＥＰの画素２と画素３に一致させる。すなわち、境界条件の保持のために、
Ｎ１，２＝Ｎ１，２，２  かつ  Ｎ２，１＝Ｎ２，１，１
とする。
【００４５】
ただし、２つのオブジェクトの境界にカメラの撮像素子の境界が一致することはまれで、図６の場合は、画素３の一部に材質１が混入している。この誤差は、ＩＯＵＴＬＥＰの法線ベクトルＮで相殺できる。つまり、図７（ａ）に示すように、材質１の鏡面反射成分反射率ρｓ，１が材質２の鏡面反射成分反射率ρｓ，２より高い場合、ＩＩＮＬＥＰの画素３は輝度が明るくなる誤差を含んでいるため、図７（ｂ）に示すように、法線ベクトルＮ２，１，１を正反射方向から遠ざけて輝度を落とし、誤差を相殺する。一方、材質１の鏡面反射成分反射率ρｓ，１が材質２の鏡面反射成分反射率ρｓ，２より低い場合は、ＩＩＮＬＥＰの画素３は輝度が暗くなる誤差を含んでいるため、図７（ｂ）から図７（ａ）のように法線ベクトルを動かす。一方、拡散反射の強度は、（数１）における
【数１Ａ】
2007108041.tif 000037
に示したように、法線ベクトルＮと照明ベクトルＬの内積（Ｎ・Ｌ）で明るさが決まるため、視線ベクトルＶの向きには関係しない。そこで、図８（ａ）に示すように、材質１の拡散反射成分反射率ρｄ，１が材質２の拡散反射成分反射率ρｄ，２より高い場合、ＩＩＮＬＥＰの画素３は輝度が明るくなる誤差を含んでいるため、図８（ｂ）に示すように、法線ベクトルＮ２，１，１を照明ベクトルＬから遠ざけて輝度を落とし、誤差を相殺する。材質１の拡散反射成分反射率ρｄ，１が材質２の拡散反射成分反射率ρｄ，２より低い場合、ＩＩＮＬＥＰの画素３は輝度が暗くなる誤差を含んでいるため、図８（ｂ）から図８（ａ）のように法線ベクトルを動かす。なお、鏡面反射と拡散反射のバランスは、拡散反射成分比率ｋｄ，２によって制御可能である。
【００４６】
図６に示すように、オブジェクト６０１が有する曲面形状ＣＳＦは、法線ベクトルに離散化されて折線形状ＬＦになるため、量子化誤差を生じる。そこで、たとえば、ＩＩＮＬＥＰの画素３は、本来、オブジェクト６０１とオブジェクト６０２の交差するエッジ６０３を持っているが、法線ベクトルＮ２，１が示す面６０４と法線ベクトルＮ２，２が示す面６０５が与えるエッジ６０６のように先鋭さが劣化してしまう。そこで、法線ベクトルＮ２，１またはＮ２，２の方向を調整して、エッジ６０６の先鋭さをカバーできる。従って、法線ベクトルの制御は、図７と図８で説明した材質混入による輝度誤差の補正に加えて、エッジ強調の効果もあり、２つの効果を総合的に考慮して、法線ベクトルを制御する。法線ベクトルの制御方法の一例には、事例学習により予め生成したデータベースを参照する方法などがある。つまり、複数のサンプル被写体を用いて画素数が２倍異なる法線ベクトルデータを計測して、低密度の法線ベクトルデータと高密度の法線ベクトルデータを得る。低密度の法線ベクトルデータと高密度の法線ベクトルデータの関係をデータベースに保存し、エッジ強調の実行時には、低密度の法線ベクトルデータから高密度の法線ベクトルデータを得る。
【００４７】
同一材質内で材質境界に位置しない法線ベクトルＮ、たとえば、Ｎ１，１，２やＮ１，２，１は、図９に示すように、表面形状が滑らかに変化していると仮定して、次式の補間演算で求める。たとえば、Ｎ１，１，２の場合、
【数２】
2007108041.tif 000038
となる。すなわち、ＩＯＵＴＬＥＰの画素２の法線ベクトルＮ１，１，２は、ＩＩＮＬＥＰにおいて最近傍に位置する法線ベクトルＮ１，１とＮ１，２から補間する。補間の重み３／４と１／４は、ＩＯＵＴＬＥＰのサブピクセル単位で計ったＮ１，１，２からＮ１，１までの距離とＮ１，１，２からＮ１，２までの距離から算出する。図９では、２倍の空間高密化であるため、ＩＩＮＬＥＰの画素の大きさを１とした場合、ＩＯＵＴＬＥＰのサブピクセルの大きさは、１／４になる。従って、Ｎ１，１，２からＮ１，１までの距離は１／４、Ｎ１，１，２からＮ１，２までの距離は３／４となり、１／４がＮ１，２への重み、３／４がＮ１，１への重みとなり、（数２）が得られる。
【００４８】
（数２）を画像拡大率に関して一般化する方法を、図１０および図１１を用いて説明する。図１０は、ＩＩＮＬＥＰの画素ｕを５倍拡大して、ＩＯＵＴＬＥＰに画素ｕ，１、ｕ，２、ｕ，３、ｕ，４、ｕ，５の５つの画素が生成された場合を示す。画像拡大率の一般化は、ＩＯＵＴＬＥＰの画素数を任意にすることであり、ここでは、画像拡大率をαとおいて、ＩＯＵＴＬＥＰにα個の画素を生成する方法を説明する。従って、図１０はα＝５として図示したが、以下の説明は、画像拡大率を任意とした場合の補間式の導出であり、（数２）の一般化にあたる。（数２）の補間演算では、ＩＯＵＴＬＥＰの画素２について、ＩＩＮＬＥＰにおける近傍画素として、画素１と画素２を選んだ。これを図１０および図１１で一般化する。
【００４９】
補間演算によって算出したいＩＯＵＴＬＥＰの画素を画像ｕ，ｋ（ｋ＝１，２，．．．，α）とおく。図１０では、α＝５として図示してあるため、画像ｕ，ｋは、画素ｕ，１、ｕ，２、ｕ，３、ｕ，４、ｕ，５の５つの画素に相当する。ＩＯＵＴＬＥＰの画素ｕ，ｋが持つ法線ベクトルＮｔ，ｕ，ｋのＩＩＮＬＥＰにおける近傍の法線ベクトルは、「法線ベクトルＮｔ，ｕ−１とＮｔ，ｕ」の組み合わせか、「法線ベクトルＮｔ，ｕとＮｔ，ｕ＋１」の組み合わせになる。ＩＯＵＴＬＥＰの画素ｕ，ｋは、ＩＩＮＬＥＰの画素ｕに必ず含まれるため、ＩＩＮＬＥＰの画素ｕの法線ベクトルＮｔ，ｕは常に選ばれる。２つめの近傍法線ベクトルは、ＩＩＮＬＥＰの画素ｕ−１、ｕ＋１の法線ベクトルＮｔ，ｕ−１、Ｎｔ，ｕ＋１のどちらかになるが、この選択は、ＩＯＵＴＬＥＰの画素ｕ，ｋが、ＩＩＮＬＥＰの画素ｕ−１と画素ｕ＋１のどちらに近いか、で決まる。すなわち、図１０の例のように、α／２≧ｋの場合、ＩＯＵＴＬＥＰの画素ｕ，ｋはＩＩＮＬＥＰの画素ｕ−１に近いため、「法線ベクトルＮｔ，ｕ−１とＮｔ，ｕ」が選択される。一方、図１１の例のように、α／２＜ｋの場合、ＩＯＵＴＬＥＰの画素ｕ，ｋはＩＩＮＬＥＰの画素ｕ＋１に近いため、「法線ベクトルＮｔ，ｕとＮｔ，ｕ＋１」が選択される。
【００５０】
補間演算の重みは、図９と同様に、ＩＩＮＬＥＰの画素の大きさを１としたＩＯＵＴＬＥＰのサブピクセルの大きさで算出する。ＩＩＮＬＥＰの１画素は、画像拡大率αによって、ＩＯＵＴＬＥＰでα個の画素に高密化される。そこで、ＩＯＵＴＬＥＰのサブピクセルの大きさは、１／（２α）となる。ＩＩＮＬＥＰの画素ｕ−１と画素ｕの境界を境界８０１とし、ＩＩＮＬＥＰの画素ｕと画素ｕ＋１の境界を境界８０２とする。図１０（α／２≧ｋ、α＝５、ｋ＝２として図示）の場合、法線ベクトルＮｔ，ｕ−１と境界８０１の距離はＩＩＮＬＥＰのサブピクセルの大きさであり、１／２となる。また、境界８０１と法線ベクトルＮｔ，ｕ，ｋの距離は、ＩＯＵＴＬＥＰのサブピクセルが（２ｋ−１）個分であるから、（２ｋ−１）／（２α）となる。さらに、法線ベクトルＮｔ，ｕ，ｋと法線ベクトルＮｔ，ｕの距離は、境界８０１と法線ベクトルＮｔ，ｕの距離から境界８０１と法線ベクトルＮｔ，ｕ，ｋの距離を引けば算出でき、[α−（２ｋ−１）]／（２α）となる。以上より、法線ベクトルＮｔ，ｕ−１に対する重みは［α−（２ｋ−１）］／（２α）、法線ベクトルＮｔ，ｕに対する重みは［１／２＋（２ｋ−１）／（２α）］となり、法線ベクトルＮｔ，ｕ，ｋは以下のように補間で算出できる。
【数３】
2007108041.tif 000039
【００５１】
一方、図１１（α／２＜ｋ、α＝５、ｋ＝５として図示）の場合、境界８０２と法線ベクトルＮｔ，ｕ＋１の距離はＩＩＮＬＥＰのサブピクセルの大きさであり、１／２となる。また、法線ベクトルＮｔ，ｕと法線ベクトルＮｔ，ｕ，ｋの距離は、ＩＯＵＴＬＥＰのサブピクセルが（２ｋ−１−α）個分であるから、（２ｋ−１−α）／（２α）となる。さらに、境界８０２と法線ベクトルＮｔ，ｕ，ｋの距離は、境界８０２と法線ベクトルＮｔ，ｕの距離から法線ベクトルＮｔ，ｕと法線ベクトルＮｔ，ｕ，ｋの距離を引けば算出でき、［α−（２ｋ−１−α）］／（２α）となる。以上より、法線ベクトルＮｔ，ｕに対する重みは［１／２＋｛α−（２ｋ−１−α）｝／（２α）］、法線ベクトルＮｔ，ｕ＋１に対する重みは（２ｋ−１−α）／（２α）となり、法線ベクトルＮｔ，ｕ，ｋは以下のように補間で算出できる。
【数４】
2007108041.tif 000040
【００５２】
図１２はパラメータ操作の２つめの例として、照明変換を示す図であり、原パラメータ値ＩＩＮＬＥＰと新パラメータ値ＩＯＵＴＬＥＰを１ライン分、画素ごとに書き並べている。各画素には上述した７個のパラメータが定められており、環境光輝度Ｉａ、環境光反射率ρａおよび照明ベクトルＬの３つは各画素で共通である。拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄおよび鏡面反射成分反射率ρｓは物体の材質に依存するため、材質の種類を示す添字を付している。また、原パラメータ値ＩＩＮＬＥＰの表面法線ベクトルＮについても、第１の添字は材質の種類を示し、第２の添字は同一材質内での画素の違いを示している。
【００５３】
いま、画像変換指示部１０５から画像変換指示信号ＩＣＩＳによって、図１３に示すように「照明の位置を（ｘ，ｙ，ｚ）ＬＷ１（ＩＬＬＴ１）から（ｘ，ｙ，ｚ）ＬＷ２（ＩＬＬＴ２）に変換」という画像変換が指示されたものとする。（数１）における
【数１Ａ】
2007108041.tif 000041
からわかるように、被写体表面の微小面ＰＳ上の注目点Ｐでの照度は、表面法線ベクトルＮと照明ベクトルＬの角度が小さいほど高くなり、表面法線ベクトルＮと照明ベクトルＬの角度が大きいほど低くなる。そこで、照明の位置を変えると、注目点Ｐでの照度が変化する。また、照明ベクトルＬと視点ベクトルＶの関係が変化すると鏡面反射の強度も変化し、図７で説明したように、視点ベクトルが照明ベクトルの正反射位置に近づけば鏡面反射強度は強くなり、視点ベクトルが照明ベクトルの正反射位置から遠ざかれば鏡面反射強度は弱くなる。このように、照明の位置を変えることによって視点ベクトルＶへ反射する光量が変化し、カメラＣＡＭに記録される画像が変化する。
【００５４】
パラメータ操作設定部１０６は、「照明の位置を（ｘ，ｙ，ｚ）ＬＷ１から（ｘ，ｙ，ｚ）ＬＷ２に変換」という画像変換の指示を「照明ベクトルＬ１を照明ベクトルＬ２に変換」というパラメータ操作に置き換え、パラメータ操作指示信号ＬＥＰＳとしてパラメータ操作部１０４に与える。ここで、照明ベクトルＬ１は、注目点ＰベクトルＯＷと照明位置ベクトルＬＷ１の差分として（ｘＰ−ｘＬＷ１，ｙＰ−ｙＬＷ１，ｚＰ−ｚＬＷ１）で与えられる。また、照明ベクトルＬ２は、注目点ＰベクトルＯＷと照明位置ベクトルＬＷ２の差分として（ｘＰ−ｘＬＷ２，ｙＰ−ｙＬＷ２，ｚＰ−ｚＬＷ２）で与えられる。
【００５５】
パラメータ操作部１０４はパラメータ操作指示信号ＬＥＰＳに従って、照明ベクトルＬ１を照明ベクトルＬ２に変換する。なお、照明ベクトルＬが被写体上のすべての位置で同一となる平行光仮定を用いる場合、注目点Ｐで照明ベクトルを算出すれば、これをすべての画素に適用できる。一方、照明ベクトルＬが１点からあらゆる方向へ広がって射出される点光源仮定の場合は、注目点Ｐの位置によって照明ベクトルＬが変わるため、画素ごとに、注目点ベクトルＯＷを入れ替えて、照明ベクトルＬを算出する必要がある。
【００５６】
図１４はパラメータ操作の３つめの例として、特定の材質の拡散反射成分の割合ｋｄを変換する図であり、原パラメータ値ＩＩＮＬＥＰと新パラメータ値ＩＯＵＴＬＥＰを１ライン分、画素ごとに書き並べている。各画素には上述した７個のパラメータが定められており、環境光輝度Ｉａ、環境光反射率ρａおよび照明ベクトルＬの３つは各画素で共通である。拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄおよび鏡面反射成分反射率ρｓは物体の材質に依存するため、材質の種類を示す添字を付している。また、原パラメータ値ＩＩＮＬＥＰの表面法線ベクトルＮについても、第１の添字は材質の種類を示し、第２の添字は同一材質内での画素の違いを示している。
【００５７】
図１５は画像変換指示部１０５が有する拡散反射成分比率ｋｄの調整用インターフェース１５０１を示す。オペレータ１５０２はディスプレイ１５０３に映し出された調整用インターフェース１５０１を見ながら、マウス等の入力デバイス１５０４を用いて、画像変換指示部１０５へ変換指示を入力する。オペレータ１５０２は、変換前画像１５０５内で拡散反射成分比率ｋｄを変更したい材質へカーソール１５０６を移動し、入力デバイス１５０４のクリック等でカーソール１５０６の材質の拡散反射成分比率ｋｄをピックアップする。これが、図１４のＩＩＮＬＥＰの画素１であったとすると、ｋｄ，１がピックアップされたことに対応する。図１５では、ｋｄ，１＝０．２５として図示しており、スライドバー１５０７の０．２５の位置にスライダー１５０８が表示される。図１４に示すように、ＩＩＮＬＥＰの画素２は画素１と同一材質であるため、その拡散反射成分比率ｋｄ，１も変換対象になる。すなわち、同一材質から成る図１５のオブジェクト１５０９に属する全ての画素の拡散反射成分比率ｋｄが、変換対象になる。
【００５８】
引き続き、オペレータ１５０２はスライダー１５０８をスライドバー１５０７の０．７５の位置（スライドバー１５１０として図示）へ移動させ、拡散反射成分比率ｋｄを０．７５に変更する。オブジェクト１５０９の拡散反射成分が増え、この例では、変換後画像１５１１に示すように、オブジェクト１５０９は輝度が落ち、暗い質感に変更された。拡散反射成分比率ｋｄの変更結果は、後述する方法で出力画像ＩＯＵＴとして変換後画像１５１１に表示され、オペレータ１５０２が自身の画像制作意図に基づいて拡散反射成分比率ｋｄの調整結果を評価する。調整が不十分である場合は、引き続きスライダー１５１０を移動させ、変換後画像１５１１を確認して一連の動作を繰り返す。画像変換指示部１０５で設定された拡散反射成分比率ｋｄの変換内容は、画像変換指示信号ＩＣＩＳによって、「材質１が持つ拡散反射成分比率ｋｄ，１をｋｄ，１’にする」とし、パラメータ操作設定部１０６に伝えられる。（数１）で示したように、拡散反射成分と鏡面反射成分の割合を表わすｋｄとｋｓは、ｋｄ＋ｋｓ＝１の関係を持つ。そこで、ｋｄ，１をｋｄ，１’に変更した場合、ｋｓ，１’は１−ｋｄ，１’となる。パラメータ操作設定部１０６は、「材質１が持つ拡散反射成分比率ｋｄ，１をｋｄ，１’にする」という画像変換の指示を「材質１が持つ拡散反射成分比率ｋｄ，１をｋｄ，１’に変換し、鏡面反射成分比率ｋｓ，１を１−ｋｄ，１’に変更する」というパラメータ操作に置き換え、パラメータ操作指示信号ＬＥＰＳとしてパラメータ操作部１０４に与える。
【００５９】
パラメータ操作部１０４はパラメータ操作指示信号ＬＥＰＳに従って、（数１）の拡散反射成分比率ｋｄにｋｄ，１’を設定し、鏡面反射成分比率ｋｓを１−ｋｄ，１’に設定する。画像生成部１０７は図１４のＩＯＵＴＬＥＰで（数１）の照明方程式を計算し、その結果が出力画像ＩＯＵＴとなる。なお、図１５の例では、特定の材質の拡散反射成分比率ｋｄを変換したが、全画素の拡散反射成分比率ｋｄをα倍（αは正の任意定数）することも可能である。この場合は、カーソール１５０６で材質を指定する必要はなく、一律に拡散反射成分比率ｋｄをα倍する。α倍の乗算の結果、拡散反射成分比率ｋｄが１を超える場合は、１でクリッピングして、ｋｄ＋ｋｓ＝１の拘束条件を満たすようにする。
【００６０】
図１６はパラメータ操作の４つめの例として、特定の画素の材質を変換する図であり、原パラメータ値ＩＩＮＬＥＰと新パラメータ値ＩＯＵＴＬＥＰを１ライン分、画素ごとに書き並べている。各画素には上述した７個のパラメータが定められており、環境光輝度Ｉａ、環境光反射率ρａおよび照明ベクトルＬの３つは各画素で共通である。拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄおよび鏡面反射成分反射率ρｓは物体の材質に依存するため、材質の種類を示す添字を付している。また、原パラメータ値ＩＩＮＬＥＰの表面法線ベクトルＮについても、第１の添字は材質の種類を示し、第２の添字は同一材質内での画素の違いを示している。
【００６１】
図１７は画像変換指示部１０５が有する材質変更用インターフェース１７０１を示す。オペレータ１５０２はディスプレイ１５０３に映し出された材質変更用インターフェース１７０１を見ながら、入力デバイス１５０４を用いて、画像変換指示部１０５へ変換指示を入力する。材質データベース１７０２には材質画像とパラメータが格納されており、図１７では材質Ａから材質Ｄの画像とパラメータが材質データベース１７０２から読み出されて表示されている。オペレータ１５０２は、変換前画像１５０５内で材質を変更したい画素にカーソール１５０６を移動し、入力デバイス１５０４のクリック等で変換対象の画素を確定する。材質固有のパラメータは、拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄおよび鏡面反射成分反射率ρｓであるため、この３つのパラメータが変換対象となる。具体的には、図１７のカーソール１５０６の位置が、図１６のＩＩＮＬＥＰの画素２であったとして、画素２の（ｋｄ，１  ρｄ，１  ρｓ，１）が変換対象となる。次にオペレータ１５０２は変換先の材質を指定する。図１７の例では、材質Ｄのラジオボタン１７０３がチェックされ、ＩＯＵＴＬＥＰの画素２が（ｋｄ，３  ρｄ，３  ρｓ，３）＝（０．９  ０．３  ０．８）と決定される。材質Ｄはオブジェクト１５０９に比べて輝度の低い材質であり、暗い質感に変換される。以上の動作が、画像変換指示部１０５で成され、「ＩＯＵＴＬＥＰの画素２の拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄ、鏡面反射成分反射率ρｓを０．９、０．３、０．８に設定する」という指示が画像変換指示信号ＩＣＩＳによって、パラメータ操作設定部１０６に伝えられる。パラメータ操作設定部１０６は、パラメータ操作指示信号ＬＥＰＳによって、「ＩＯＵＴＬＥＰの画素２の拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄ、鏡面反射成分反射率ρｓを０．９、０．３、０．８に設定する」という指示をパラメータ操作部１０４に与える。
【００６２】
パラメータ操作部１０４はパラメータ操作指示信号ＬＥＰＳに従って、画素２の拡散反射成分の割合ｋｄ，１を拡散反射成分の割合ｋｄ，３に（＝０．９）、拡散反射成分の反射率ρｄ，１を拡散反射成分の反射率ρｄ，３に（＝０．３）、鏡面反射成分の反射率ρｓ，１を鏡面反射成分の反射率ρｓ，３に（＝０．８）それぞれ変換する。そして、画像生成部１０７によって出力画像ＩＯＵＴを得る。なお、上記の例では、１画素のみを変換対象としたが、複数画素をまとめて指定、あるいは画像上でエリアを指定して、特定の材質に変換することも可能である。なお、材質データベース１７０２から別の材質を引き出すには、「次の材質リストへ」ボタン１７０４を使い、新規の材質を材質データベース１７０２に登録するには、「新規登録」ボタン１７０５を使う。
【００６３】
図１８はパラメータ操作の５つめの例として、画像縮小を示す図であり、原パラメータ値ＩＩＮＬＥＰと新パラメータ値ＩＯＵＴＬＥＰを１ライン分、画素ごとに書き並べている。各画素には上述した７個のパラメータが定められており、環境光輝度Ｉａ、環境光反射率ρａおよび照明ベクトルＬの３つは各画素で共通である。拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄおよび鏡面反射成分反射率ρｓは物体の材質に依存するため、材質の種類を示す添字を付している。また、原パラメータ値ＩＩＮＬＥＰの表面法線ベクトルＮについても、第１の添字は材質の種類を示し、第２の添字は同一材質内での画素の違いを示している。
【００６４】
いま、画像変換指示信号ＩＣＩＳによって、「画像を１／３に縮小する」という画像変換が指示されたものとする。このときパラメータ操作設定部１０６は、「画像を１／３に縮小する」という画像変換の指示を「ＩＩＮＬＥＰの３つの画素ごとに平均値を求めてＩＯＵＴＬＥＰの１画素とする」というパラメータ操作に置き換え、パラメータ操作指示信号ＬＥＰＳとしてパラメータ操作部１０４に与える。
【００６５】
パラメータ操作部１０４はパラメータ操作指示信号ＬＥＰＳに従って、ＩＩＮＬＥＰの３つの画素ごとに平均値を求めてＩＯＵＴＬＥＰの１画素とする。たとえば、ＩＯＵＴＬＥＰの画素１の表面法線ベクトルは、ＩＩＮＬＥＰの画素１、画素２、画素３の表面法線ベクトルＮ１，１、Ｎ１，２、Ｎ２，１の平均（Ｎ１，１＋Ｎ１，２＋Ｎ２，１）／３となる。同様に、ＩＯＵＴＬＥＰの画素１の拡散反射成分の割合は、ＩＩＮＬＥＰの画素１、画素２、画素３の拡散反射成分の割合ｋｄ，１、ｋｄ，１、ｋｄ，２の平均（２ｋｄ，１＋ｋｄ，２）／３となる。ＩＯＵＴＬＥＰの画素１の拡散反射成分の反射率は、ＩＩＮＬＥＰの画素１、画素２、画素３の拡散反射成分の反射率ρｄ，１、ρｄ，１、ρｄ，２の平均（２ρｄ，１＋ρｄ，２）／３となる。ＩＯＵＴＬＥＰの画素１の鏡面反射成分の反射率は、ＩＩＮＬＥＰの画素１、画素２、画素３の鏡面反射成分の反射率ρｓ，１、ρｓ，１、ρｓ，２の平均（２ρｓ，１＋ρｓ，２）／３となる。
【００６６】
なお、本発明は、画像縮小方法に限定を与えるものではなく、任意の手法を適応可能である。たとえば、ＩＩＮＬＥＰの各パラメータ画像にローパスフィルタを掛け、３画素おきにサブサンプリングする手法も利用できる。
【００６７】
本発明は、照明方程式のパラメータの操作方法を限定しない。従って、照明方程式の任意のパラメータを任意の方法で操作可能であり、図５から図１８を用いて説明したパラメータ操作方法の例のように、任意のパラメータを任意の方法で操作できる。表面法線ベクトルなどの幾何特性は、説明の都合上、図２等では１次元的に図示したが、本来は３次元情報であり、本発明は１次元に限定するものではない。（数２）、（数３）、（数４）に示した補間方法も一例であり、空間高密化には任意の方式を適応できる。図５では、画像拡大を表面法線ベクトルＮの高密化で説明したが、これは一例であり、本発明は操作すべき照明方程式パラメータやその操作方法を限定するものではなく、例えば、拡散反射成分比率ｋｄを高密化したり、表面法線ベクトルＮと拡散反射成分比率ｋｄを併せて高密化するなど、任意のパラメータとその組み合わせで空間高密化が可能である。また、画像変換の対象になる照明パラメータも任意であり、またその組み合わせも任意である。図５から図１８では、画像中の１ライン分を図示したが、これを縦方向と横方向に施せば、２次元の画像処理に展開できる。
【００６８】
そして、ステップＳ５において、画像生成部１０７が、ステップＳ４で得られた新パラメータ値ＩＯＵＴＬＥＰを基にして、第２の画像としての出力画像ＩＯＵＴを生成する。
【００６９】
ここで、前処理Ｓ００の詳細について、図１９を参照して説明する。ここでは、照明方程式から作成した画像を画像特徴ベクトルの学習に用いることによって、画像特徴ベクトルと照明方程式パラメータとの関連付けを行う。
【００７０】
具体的には、まず、照明方程式パラメータの値として、第１のパラメータ値ＬＥＰ１（番号１）を設定する。そしてこの第１のパラメータ値ＬＥＰ１を用いて、（数１）の演算を実行し、学習画像ＩＬを生成する。そして生成された学習画像ＩＬについて、上述のステップＳ１と実質的に同等の画像特徴解析を行い、画像特徴ベクトルＩＬＦＶを得る。この画像特徴ベクトルＩＬＦＶを、画像特徴ベクトルデータベース１０２の番号１に格納する。これにより、画像特徴ベクトルＩＬＦＶと第１のパラメータ値ＬＥＰ１とが対応付けられてデータベース１０２，１０３に保存される。このような処理を繰り返し実行することによって、図１に示すような、画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３が生成される。なお、図１９では、画像生成部１０７が画像生成を行い、画像特徴解析部１０１が画像特徴解析を行っているが、前処理Ｓ００において他の手段によって画像生成や画像特徴解析を行うようにしてもよい。
【００７１】
以上のように本実施形態によると、入力画像ＩＩＮの画像特徴ベクトルＩＩＮＦＶから、入力画像ＩＩＮにふさわしい照明方程式のパラメータＩＩＮＬＥＰが選定される。そして、このパラメータＩＩＮＬＥＰを操作することによって、様々な出力画像ＩＯＵＴを生成することができる。したがって、学習時の画像データに制限されず、自由度の高い画像変換が可能になる。
【００７２】
また、照明方程式のパラメータＩＩＮＬＥＰを操作して画像変換を行うため、いたずらに多くの学習画像を準備する必要がなく、したがって、学習画像数を抑えることができる。また、前処理において、学習画像ＩＬは照明方程式を用いて計算機によって生成することが可能であるので、学習画像生成のために実物を用いた撮影を必要としない。したがって、処理が簡易になるとともに、多様な学習画像を容易に準備することができる。なお、学習画像ＩＬの画像特徴ＩＬＦＶが入力画像ＩＩＮの画像特徴ＩＩＮＦＶに近いほど、適切な照明方程式パラメータが取得できる。そこで、学習画像ＩＬを生成する際に、入力画像ＩＩＮが撮影された際の条件を想定して照明方程式パラメータを設定することが望ましい。例えば、入力画像ＩＩＮの撮影場所が限定でき、その結果、照明位置が限定できる場合は、照明ベクトルＬは入力画像ＩＩＮが撮影された際のデータを利用する。
【００７３】
なお、本実施形態では、画像変換として画像拡大を例にとって説明したが、本発明はこれに限定されるものではなく、他の画像変換についても同様にパラメータ操作が可能である。例えば、照明方向を変更したいときは、照明ベクトルＬを変更すればよいし、また拡散反射成分と鏡面反射成分の割合を変更したいときは、拡散反射成分比率ｋｄを変更すればよい。
【００７４】
また、鏡面反射成分反射率ρｓは双方向反射率で定義されているため、視線方向に応じて変化する。そこで、例えば（数５）で与えられるＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを導入すれば、照明方程式パラメータに視線ベクトルＶ、粗さ係数ｍ、フレネル係数Ｆλ  を加えることができる。これにより、視点方向の変更、表面粗さの変更などの画像変換が可能になる。
【数５】
2007108041.tif 000042
【００７５】
ここで、図２０に示すように、ベクトルＨは視点ベクトルＶと照明ベクトルＬの中間ベクトルであり、βは中間ベクトルＨと表面法線ベクトルＮとの角度を表す。ｍは物体表面の粗さを表わす係数であり、ｍが小さいときは角度βが小さい部分すなわち表面法線ベクトルＮ付近に強い反射を示し、ｍが大きいときは角度βが大きい部分すなわち表面法線ベクトルＮから離れた部分にも反射分布が広がる。Ｇは幾何減衰率であり、物体表面の凹凸による遮光の影響を表わす。ｎは屈折率である。
【００７６】
このように、本発明では、照明方程式は任意に定義可能であり、（数１）や（数５）に限定されるものではない。
【００７７】
また、本実施形態では、画像特徴ベクトルＩＩＮＦＶに最も近い画像特徴ベクトルに対応する照明方程式パラメータを原パラメータ値ＩＩＮＬＥＰとして取得するものとしたが、原パラメータ値ＩＩＮＬＥＰの取得方法はこれに限られるものではない。例えば図２１に示すように、取得してもよい。すなわち、まず、入力画像特徴ベクトルＩＩＮＦＶと類似する所定数（図２１では３個）の画像特徴ベクトルを選択する。そして、選択した各画像特徴ベクトルについて、入力画像特徴ベクトルＩＩＮＦＶとの距離をそれぞれ求め、この距離に応じた重み付け係数ＩＩＮＦＶＷＦを定める。そして、選択した３個の画像特徴ベクトルにそれぞれ対応するパラメータ値を、重み付け係数ＩＩＮＦＶＷＦを用いて重み付け加算し、その結果を原パラメータ値ＩＩＮＬＥＰとして出力する。なお、重み付け加算の代わりに、選択した所定数の画像特徴ベクトルにそれぞれ対応するパラメータ値について、単に平均をとってもかまわない。
【００７８】
なお、画像特徴と照明方程式パラメータとの関係は、予め学習されている必然性はなく、任意の手段によって準備してかまわない。
【００７９】
以下、本発明を実現する構成例を例示する。
【００８０】
（第１の構成例）
図２２は第１の構成例を示す図であり、パーソナルコンピュータを用いて本発明に係る画像変換を行う構成の一例である。カメラ２１の解像度はディスプレイ２２の解像度よりも低く、ディスプレイ２２の表示能力を最大限に生かすために、メインメモリ２３にロードされた画像変換プログラムによって拡大画像を作成する。カメラ２１で取り込まれた低解像度画像は画像メモリ２４に記録される。外部記録装置２５には予め画像特徴ベクトルデータベース１０２と照明方程式パラメータデータベース１０３とが準備されており、メインメモリ２３の画像変換プログラムから参照可能になっている。画像変換プログラムの動作や画像特徴ベクトルデータベース１０２と照明方程式パラメータデータベース１０３の内容や作成方法等は、第１の実施形態で説明したとおりである。メインメモリ２３の画像変換プログラムは、メモリバス２６を介して画像メモリ２４の低解像度画像を読み込み、これをディスプレイ２２の解像度に合わせて高解像度画像に変換し、再びメモリバス２６経由でビデオメモリ２７に転送する。ビデオメモリ２７に転送された高解像度画像はディスプレイ２２において観察できる。
【００８１】
なお、本発明は図２２の構成に拘束されるものではなく、様々な構成をとることができる。例えば、画像特徴ベクトルデータベース１０２や照明方程式パラメータデータベース１０３を別のパーソナルコンピュータに接続された外部記憶装置からネットワーク２８を介して取得してもかまわない。また低解像度画像は、ネットワーク２８を介して取得してもかまわない。
【００８２】
（第２の構成例）
図２３は第２の構成例を示す図であり、サーバークライアントシステムを用いて本発明に係る画像変換を行う構成の一例である。カメラ３１の解像度はディスプレイ３２の解像度よりも低く、ディスプレイ３２の表示能力を最大限に生かすために、サーバークライアントシステムにおいて画像変換を実行する。サーバー３３では、第１の実施形態と同様に、画像特徴解析部１０１、画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３が、入力画像ＩＩＮから原パラメータ値ＩＩＮＬＥＰを算出する。画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３によって、パラメータ出力部１０が構成されている。一方、クライアント３４の画像変換指示部１０５から、画像変換の指示（本例では画像拡大）が画像変換指示信号ＩＣＩＳとしてサーバー３３のパラメータ操作設定部１０６に渡される。パラメータ操作設定部１０６は画像変換指示信号ＩＣＩＳによる画像変換の内容を照明方程式パラメータの操作内容に置き換え、パラメータ操作指示信号ＬＥＰＳとしてパラメータ操作部１０４に出力する。パラメータ操作部１０４は原パラメータ値ＩＩＮＬＥＰを操作し、新パラメータ値ＩＯＵＴＬＥＰを生成する。
【００８３】
このような動作によって、サーバー３３はクライアント３４からの画像変換指示に従った新パラメータ値ＩＯＵＴＬＥＰを、ネットワーク３５を介してクライアント３４に提供できる。新パラメータ値ＩＯＵＴＬＥＰを受け取ったクライアント３４では、画像生成部１０７が拡大画像を生成し、ディスプレイ３２に供給する。
【００８４】
なお、本発明は図２３の構成に拘束されるものではなく、画像機器の組み合わせや、各手段のシステム上の位置（サーバー３３に属するかクライアント３４に属するか、またはそれ以外に属するかなど）は、任意である。
【００８５】
（第３の構成例）
図２４は第３の構成例を示す図であり、カメラ付携帯電話とテレビを用いて本発明に係る画像処理を行う構成の一例である。携帯機器としてのカメラ付携帯電話４１はネットワーク４２またはメモリカード４３を介してテレビ４４に画像データを送ることができる。カメラ付携帯電話４１のカメラ４５の解像度はテレビ４４の解像度よりも低く、テレビ４４の表示能力を最大限に生かすために、テレビ４４の内部回路に実装された本発明に係る画像変換装置によって画像拡大を実行する。
【００８６】
利用料金の面を考えると、カメラ付携帯電話４１からテレビ４４へ送るデータ量は、小さいほど利用者から歓迎される。そこで、ネットワーク４２で送信するデータは、入力画像特徴ベクトル番号ＩＩＮＦＶＮとするのが望ましい。また、ネットワーク４２における盗聴の被害を最小限に抑えるためにも、番号自体には特に意味を持たない入力画像特徴ベクトル番号ＩＩＮＦＶＮを送ることが望ましい。すなわち、カメラ付き携帯電話４１が画像特徴ベクトルデータベース１０２を持ち、テレビ４４が照明方程式パラメータデータベースを持つように構成し、その両方がそろってはじめて所望の画像変換が実現できるようにする。これにより、利用料金を低く抑えることができるとともに、盗聴の被害を最小限に抑えることができる。図２４では、カメラ付携帯電話４１が、カメラ４５と、カメラ４５によって撮影された画像ＩＩＮについて画像特徴解析を行い、第１の画像特徴ベクトルＩＩＮＦＶを出力する画像特徴解析部１０１と、格納している複数の画像特徴ベクトルの中から第１の画像特徴ベクトルＩＩＮＦＶと類似する画像特徴ベクトルを特定し、その番号ＩＩＮＦＶＮを出力する画像特徴ベクトルデータベース１０２とを備えている構成を示している。
【００８７】
なお、本発明は図２４の構成に拘束されるものではなく、様々な構成を取ることができる。例えば、カメラ付携帯電話４１はデジタルスチルカメラやビデオムービーカメラでもあってもかまわない。
【００８８】
以上のように本発明は、広く普及しているパーソナルコンピュータや、サーバークライアントシステム、または、カメラ付携帯電話やデジタルスチルカメラ、ビデオムービーカメラ、テレビなどビデオ機器全般で実行可能であり、特別な機器、運用、管理などは必要ない。なお、専用ハードウェアへの実装やソフトウェアとハードウェアの組み合わせなど、機器接続形態や機器内部の構成を拘束するものではない。
【産業上の利用可能性】
【００８９】
本発明では、拡大縮小、照明変換、視点変換、拡散／鏡面反射成分の比率変更など、様々な画像変換を自由に実施できるので、例えば、スポーツや観光、記念撮影など目の前のシーンを映像として記録する映像エンタテイメント分野において利用することができる。また、文化芸術の分野では、被写体や撮影場所に制限されない自由度の高いデジタルアーカイブシステムを提供するために利用することができる。
【図面の簡単な説明】
【００９０】
【図１】本発明の第１の実施形態に係る画像変換装置を示すブロック図である。
【図２】照明方程式の幾何条件と光学条件を説明するための図である。
【図３】本発明の第１の実施形態に係る画像変換方法を示すフローチャートである。
【図４】ウェーブレット変換を用いた画像特徴解析を表す図である。
【図５】画像変換を行うためのパラメータ操作の一例を示す図である。
【図６】２つのオブジェクトの重なりによるエッジ部の一例を示す図である。
【図７】材質の混入による鏡面反射成分の誤差発生と誤差相殺の方法の一例を示す図である。
【図８】材質の混入による拡散反射成分の誤差発生と誤差相殺の方法の一例を示す図である。
【図９】２倍拡大のための表面法線ベクトルの補間方法の一例を示す図である。
【図１０】（数２）を画像拡大率に関して一般化する方法の一例を示す図である。
【図１１】（数２）を画像拡大率に関して一般化する方法の一例を示す図である。
【図１２】画像変換を行うためのパラメータ操作の２つめの例として、照明変換を示す図である。
【図１３】照明の位置と照明ベクトルの関係を示す図である。
【図１４】画像変換を行うためのパラメータ操作の３つめの例として、特定の材質の拡散反射比率を変換する図である。
【図１５】画像変換指示部１０５が有する拡散反射成分比率の調整用インターフェースの一例を示す図である。
【図１６】画像変換を行うためのパラメータ操作の４つめの例として、特定の画素の材質を変換する図である。
【図１７】画像変換指示部１０５が有する材質変更用インターフェースの一例を示す図である。
【図１８】画像変換を行うためのパラメータ操作の５つめの例として、画像縮小を示す図である。
【図１９】画像特徴と照明方程式パラメータとの関係を学習する方法を示す図である。
【図２０】照明方程式の幾何条件と光学条件を説明するための図である。
【図２１】画像特徴に応じたパラメータ取得の他の方法を示す図である。
【図２２】本発明を実現する第１の構成例であり、パーソナルコンピュータを用いた構成を示す図である。
【図２３】本発明を実現する第２の構成例であり、サーバークライアントシステムを用いた構成を示す図である。
【図２４】本発明を実現する第３の構成例であり、カメラ付携帯電話とテレビを用いた構成を示す図である。
【符号の説明】
【００９１】
１０  パラメータ出力部
３３  サーバー
３４  クライアント
４１  カメラ付携帯電話（携帯機器）
４５  カメラ
１０１  画像特徴解析部
１０２  画像特徴ベクトルデータベース
１０３  照明方程式パラメータデータベース
１０４  パラメータ操作部
１０５  画像変換指示部
１０６  パラメータ操作設定部
１０７  画像生成部
ＩＩＮ  入力画像（第１の画像）
ＩＩＮＦＶ  入力画像特徴ベクトル（第１の画像特徴ベクトル）
ＩＩＮＦＶＮ  入力画像特徴ベクトル番号
ＩＩＮＬＥＰ  原パラメータ値
ＩＣＩＳ  画像変換指示信号
ＬＥＰＳ  パラメータ操作指示信号
ＩＯＵＴＬＥＰ  新パラメータ値
ＩＯＵＴ  出力画像（第２の画像）
ＬＥＰ１  第１のパラメータ値
ＩＬ  学習画像
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007108041.tif 000043
【図２】
2007108041.tif 000044
【図３】
2007108041.tif 000045
【図４】
2007108041.tif 000046
【図５】
2007108041.tif 000047
【図９】
2007108041.tif 000048
【図１０】
2007108041.tif 000049
【図１１】
2007108041.tif 000050
【図１２】
2007108041.tif 000051
【図１３】
2007108041.tif 000052
【図１４】
2007108041.tif 000053
【図１６】
2007108041.tif 000054
【図１８】
2007108041.tif 000055
【図１９】
2007108041.tif 000056
【図２０】
2007108041.tif 000057
【図２１】
2007108041.tif 000058
【図２２】
2007108041.tif 000059
【図２３】
2007108041.tif 000060
【図２４】
2007108041.tif 000061
【図６】
2007108041.tif 000062
【図７】
2007108041.tif 000063
【図８】
2007108041.tif 000064
【図１５】
2007108041.tif 000065
【図１７】
2007108041.tif 000066
【手続補正書】
【提出日】平成18年6月14日(2006.6.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の画像を第２の画像に変換する方法であって、
前記第１の画像について、画像特徴解析を行う第１のステップと、
前処理によって対応付けされた画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する第２のステップと、
指示された画像変換に応じて、照明方程式パラメータの操作内容を定める第３のステップと、
前記原パラメータ値を、前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、
前記新パラメータ値を基にして、前記第２の画像を生成する第５のステップとを備え、
前記前処理は、
照明方程式パラメータの値として第１のパラメータ値を設定するステップと、
前記第１のパラメータ値から、学習画像を生成するステップと、
前記学習画像について、前記第１のステップと実質的に同等の画像特徴解析を行うステップとを備え、
得られた画像特徴を前記第１のパラメータ値と対応付けて、データベースに保存する
ことを特徴とする画像変換方法。
【請求項２】
請求項１において、
前記第１のステップにおける画像特徴解析は、空間周波数解析を用いて行うものである
ことを特徴とする画像変換方法。
【請求項３】
請求項１において、
前記第１のパラメータ値は、前記第１の画像が撮影された際の照明方程式パラメータを想定して設定される
ことを特徴とする画像変換方法。
【請求項４】
請求項１において、
前記照明方程式は、視点方向の輝度を、拡散反射成分、鏡面反射成分および環境光成分の和によって表わすものである
ことを特徴とする画像変換方法。
【請求項５】
請求項１において、
前記照明方程式パラメータは、表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つを含む
ことを特徴とする画像変換方法。
【請求項６】
請求項１において、
前記第３のステップは、指示された画像変換が画像拡大であるとき、照明方程式パラメータの操作内容として、表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つの高密化を、定めるものである
ことを特徴とする画像変換方法。
【請求項７】
請求項１において、
画像特徴と照明方程式パラメータとの関係は、複数の画像特徴ベクトルと、各画像特徴ベクトルとそれぞれ対応付けられた複数のパラメータ値とによって、表されており、
前記第２のステップは、
前記複数の画像特徴ベクトルの中から、前記第１の画像の画像特徴を表す第１の画像特徴ベクトルと類似する所定数の画像特徴ベクトルを、選択するステップと、
前記所定数の画像特徴ベクトルについて、前記第１の画像特徴ベクトルとの距離を、それぞれ求めるステップと、
前記所定数の画像特徴ベクトルにそれぞれ対応するパラメータ値を、当該画像特徴ベクトルについて求めた前記距離に応じて重み付け加算し、前記原パラメータ値を算出するステップとを備えたものである
ことを特徴とする画像変換方法。
【請求項８】
入力画像について、画像特徴解析を行い、前記入力画像の画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、
前処理によって対応づけされた、複数の画像特徴ベクトルを格納する画像特徴ベクトルデータベースと、複数のパラメータ値を格納する照明方程式パラメータデータベースとを参照し、前記第１の画像特徴ベクトルを受けて、これに対応する原パラメータ値を出力するパラメータ出力部と、
指示された画像変換に応じて、照明方程式パラメータの操作内容を定めるパラメータ操作設定部と、
前記パラメータ出力部から出力された前記原パラメータ値を、前記パラメータ操作設定部によって定められた操作内容に従って操作し、新パラメータ値を得るパラメータ操作部と、
前記パラメータ操作部から出力された新パラメータ値を基にして、出力画像を生成する画像生成部とを備え、
前記前処理として、
照明方程式パラメータの値として第１のパラメータ値を設定し、
前記第１のパラメータ値から、学習画像を生成し、
前記学習画像について、前記画像特徴解析部と実質的に同等の画像特徴解析を行い、
得られた画像特徴を前記第１のパラメータ値と対応付けて、前記画像特徴ベクトルデータベースおよび前記照明方程式パラメータデータベースにそれぞれ保存する
ことを特徴とする画像変換装置。
【国際調査報告】
2007108041.tif 000067
2007108041.tif 000068
2007108041.tif 000069
2007108041.tif 000070