(57)【要約】画像特徴解析部（１０１）は入力画像（ＩＩＮ）について画像特徴解析を行い、画像特徴ベクトル（ＩＩＮＦＶ）を出力する。パラメータ出力部（１０）は複数の画像特徴ベクトルと、これらにそれぞれ対応する照明方程式の複数のパラメータ値とを格納しており、画像特徴ベクトル（ＩＩＮＦＶ）に対応する原パラメータ値（ＩＩＮＬＥＰ）を出力する。パラメータ操作設定部（１０６）は指示された画像変換に応じてパラメータ操作内容を定め、パラメータ操作部（１０４）は原パラメータ値（ＩＩＮＬＥＰ）をパラメータ操作設定部（１０６）の指示に従って操作し、新パラメータ値（ＩＯＵＴＬＥＰ）を得る。画像生成部（１０７）は新パラメータ値（ＩＯＵＴＬＥＰ）を基にして、出力画像（ＩＯＵＴ）を生成する。【特許請求の範囲】
【請求項１】
第１の画像を第２の画像に変換する方法であって、
前記第１の画像について、画像特徴解析を行う第１のステップと、
画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する第２のステップと、
指示された画像変換に応じて、照明方程式パラメータの操作内容を定める第３のステップと、
前記原パラメータ値を、前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、
前記新パラメータ値を基にして、前記第２の画像を生成する第５のステップとを備えた
ことを特徴とする画像変換方法。
【請求項２】
請求項１において、
前記第１のステップにおける画像特徴解析は、空間周波数解析を用いて行うものである
ことを特徴とする画像変換方法。
【請求項３】
請求項１において、
画像特徴と照明方程式パラメータとの関係を学習する前処理を備え、
前記前処理は、
照明方程式パラメータの値として第１のパラメータ値を設定するステップと、
前記第１のパラメータ値から、学習画像を生成するステップと、
前記学習画像について、前記第１のステップと実質的に同等の画像特徴解析を行うステップとを備え、
得られた画像特徴を前記第１のパラメータ値と対応付けて、データベースに保存する
ことを特徴とする画像変換方法。
【請求項４】
請求項３において、
前記第１のパラメータ値は、前記第１の画像が撮影された際の照明方程式パラメータを想定して設定される
ことを特徴とする画像変換方法。
【請求項５】
請求項１において、
前記照明方程式は、視点方向の輝度を、拡散反射成分、鏡面反射成分および環境光成分の和によって表わすものである
ことを特徴とする画像変換方法。
【請求項６】
請求項１において、
前記照明方程式パラメータは、表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つを含む
ことを特徴とする画像変換方法。
【請求項７】
請求項１において、
前記第３のステップは、指示された画像変換が画像拡大であるとき、照明方程式パラメータの操作内容として、表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つの高密化を、定めるものである
ことを特徴とする画像変換方法。
【請求項８】
請求項１において、
画像特徴と照明方程式パラメータとの関係は、複数の画像特徴ベクトルと、各画像特徴ベクトルとそれぞれ対応付けられた複数のパラメータ値とによって、表されており、
前記第２のステップは、
前記複数の画像特徴ベクトルの中から、前記第１の画像の画像特徴を表す第１の画像特徴ベクトルと類似する所定数の画像特徴ベクトルを、選択するステップと、
前記所定数の画像特徴ベクトルについて、前記第１の画像特徴ベクトルとの距離を、それぞれ求めるステップと、
前記所定数の画像特徴ベクトルにそれぞれ対応するパラメータ値を、当該画像特徴ベクトルについて求めた前記距離に応じて重み付け加算し、前記原パラメータ値を算出するステップとを備えたものである
ことを特徴とする画像変換方法。
【請求項９】
入力画像について、画像特徴解析を行い、前記入力画像の画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、
複数の画像特徴ベクトルと、照明方程式の，前記各画像特徴ベクトルとそれぞれ対応する複数のパラメータ値とを格納しており、前記第１の画像特徴ベクトルを受けて、これに対応する原パラメータ値を出力するパラメータ出力部と、
指示された画像変換に応じて、照明方程式パラメータの操作内容を定めるパラメータ操作設定部と、
前記パラメータ出力部から出力された前記原パラメータ値を、前記パラメータ操作設定部によって定められた操作内容に従って操作し、新パラメータ値を得るパラメータ操作部と、
前記パラメータ操作部から出力された新パラメータ値を基にして、出力画像を生成する画像生成部とを備えた
ことを特徴とする画像変換装置。
【請求項１０】
請求項９において、
前記パラメータ出力部は、
前記複数の画像特徴ベクトルを格納する画像特徴ベクトルデータベースと、
前記複数のパラメータ値を格納する照明方程式パラメータデータベースとを備えたものである
ことを特徴とする画像変換装置。
【請求項１１】
画像変換を行うサーバークライアントシステムであって、
請求項９の画像特徴解析部、パラメータ出力部、パラメータ操作設定部、およびパラメータ操作部を有するサーバと、
請求項９の画像生成部を有するクライアントとを備え、
前記クライアントは、前記サーバに、画像変換の内容を指示する
ことを特徴とするサーバークライアントシステム。
【請求項１２】
カメラと、
前記カメラによって撮影された画像について画像特徴解析を行い、その画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、
複数の画像特徴ベクトルを番号とともに格納しており、前記第１の画像特徴ベクトルと類似する画像特徴ベクトルを特定し、その番号を出力する画像特徴ベクトルデータベースとを備え、
前記画像特徴ベクトルデータベースから出力された番号を、送信する
ことを特徴とする携帯機器。
【請求項１３】
コンピュータに、第１の画像を第２の画像に変換する方法をコンピュータに実行させるプログラムであって、
前記第１の画像について、画像特徴解析を行う第１のステップと、
画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する第２のステップと、
指示された画像変換に応じて、照明方程式パラメータの操作内容を定める第３のステップと、
前記原パラメータ値を、前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、
前記新パラメータ値を基にして、前記第２の画像を生成する第５のステップとを
コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、画像処理技術に関するものであり、特に、画像拡大や照明変換、視点変換などの画像変換を実現する技術に関する。
【背景技術】
【０００２】  画像機器とネットワークのデジタル化により、種類の異なる画像機器同士が容易に接続可能になっており、画像交換の自由度が高まっている。例えば、デジタルスチルカメラで撮影した画像を、プリンタに出力したり、ネットワーク上で公開したり、家庭のテレビで鑑賞したり、というように、利用者がシステムの違いに制約を受けることなく自由に画像を扱える環境が整備されてきた。【０００３】  一方、このような環境を実現するために、システム側は様々な画像フォーマットに対応する必要に迫られており、高度な画像フォーマット変換が求められている。例えば、頻繁に発生する画像サイズ変換に対応するためには、アップコンバータ（画素数、ライン数を増やす変換装置）やダウンコンバータ（画素数、ライン数を減らす変換装置）が必要になる。例えばＡ４用紙（２９７ｍｍ×２１０ｍｍ）に６００ｄｐｉの解像度で印刷する場合、７１２８画素×５０４０ラインのデータが必要になるが、多くのデジタルスチルカメラの解像度はこれを下回るため、アップコンバータが必要になる。また、ネットワーク上に公開された画像は、出力デバイスが決まるたびに、対応する画像サイズへの変換を必要とする。家庭用テレビに関しては、デジタル地上波のサービスが開始されたため、従来の標準テレビとＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）テレビとが混在し、このため、画像サイズ変換が頻繁に行われる。【０００４】  画像を拡大するためには、取得時には存在しなかった画像データを新たに作り出す必要があるが、これにはすでに様々な方法が提案されている。例えば、バイリニア法、バイキュービック法などの内挿を用いる方法が、一般的である（非特許文献１）。ところが、内挿を用いた場合、サンプリングデータの中間的な値しか生成できないため、エッジなどの先鋭度が劣化し、ぼけた画像になる傾向がある。そこで、初期拡大画像として内挿画像を用い、その後、エッジ部を抽出して、エッジのみを強調する技術が開示されている（特許文献１、非特許文献２）。しかし、エッジ部とノイズの切り分けが難しく、エッジ部の強調とともに、ノイズも強調されて画質劣化を招く傾向がある。【０００５】  そこで、画質劣化を抑えつつ画像拡大を行う方法として、学習方式がある。すなわち、拡大画像に相当する高解像度画像を高精細カメラ等によって予め撮影し、この高解像度画像から低解像度画像を作成する。低解像度画像の生成は、通常、ローパスフィルタを通してサブサンプリングする方法によって行う。このような低解像度画像と高解像度画像の組を多数準備し、その関係を画像拡大方法として学習する。したがって、学習方式では、上述したような強調処理は存在せず、このため、比較的画質劣化の少ない画像拡大を実現できる。【０００６】  学習方式の例としては、例えば、隣接画素との輝度値の関係がマルコフ過程で決まるとして、統計的手法で学習を行う技術が開示されている（非特許文献３）。また、低解像度から高解像度への変換対で画素ごとに特徴ベクトルを求め、入力画素の特徴ベクトルとの一致度と周辺との一貫性から、拡大画像を生成する技術が開示されている（非特許文献４）。【０００７】  また学習方式は、画像拡大だけでなく、例えば照明方向の変換などにも活用されている（非特許文献５）。非特許文献５では、テクスチャ（物体表面の凹凸や模様などのこと）の異なる複数の物体に異なる複数の方向から照明をあてて、学習データを作成し、テクスチャ感を保ちながら照明方向を変換する技術が開示されている。
【特許文献１】米国特許第５，７１７，７８９号（図５）
【非特許文献１】荒屋真二著，「明解  ３次元コンピュータグラフィックス」，共立出版，２００３年９月２５日，ｐｐ．１４４−１４５
【非特許文献２】中静真ら、「多重スケール輝度こう配平面における画像高解像度化」、電子情報通信学会論文誌  Ｄ−ＩＩ  Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ  Ｎｏ．１０  ｐｐ．２２４９−２２５８，１９９８年１０月
【非特許文献３】Ｆｒｅｅｍａｎら、「Ｌｅａｒｎｉｎｇ  Ｌｏｗ−Ｌｅｖｅｌ  Ｖｉｓｉｏｎ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ４０（１），ｐｐ．２５−４７，２０００年
【非特許文献４】Ｈｅｒｔｚｍａｎｎら、「Ｉｍａｇｅ  Ａｎａｌｏｇｉｅｓ」、ＳＩＧＧＲＡＰＨ  ２００１  予稿集，ｐｐ．３２７−３４０，２００１年
【非特許文献５】Ｍａｌｉｋら、「Ｒｅｐｒｅｓｅｎｔｉｎｇ  ａｎｄ  Ｒｅｃｏｇｎｉｚｉｎｇ  ｔｈｅ  Ｖｉｓｕａｌ  Ａｐｐｅａｒａｎｃｅ  ｏｆ  Ｍａｔｅｒｉａｌｓ  ｕｓｉｎｇ  Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ  Ｔｅｘｔｏｎｓ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ４３（１），ｐｐ．２９−４４，２００１年
【発明の開示】
【発明が解決しようとする課題】
【０００８】  ところが、従来の技術では、次のような問題があった。【０００９】  上述したような学習方式では、拡大画像は学習に用いた画像群の中から選ばれるため、拡大方法は、学習データに依存してしまうという問題がある。また、画像拡大だけでなく、照明方向の変換などその他の画像変換でも、同様の問題が生じる。【００１０】  また、低解像度画像と高解像度画像を多数準備する必要があるため、学習を行う前処理に工数がかかりすぎるという問題もある。さらに、学習時の画像データは実際に撮影した画像から作成する必要があるので、画像データに自ずと偏りが生じる可能性があり、このことは自由度の高い画像変換を行うためには好ましくない。【００１１】  前記の問題に鑑み、本発明は、学習方式を用いた画像変換において、従来よりも画像変換の自由度を高めることを課題とする。
【課題を解決するための手段】
【００１２】  本発明では、第１の画像について画像特徴解析を行い、この第１の画像の画像特徴から、画像特徴と照明方程式パラメータとの関係を参照して、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する。また、指示された画像変換に応じて、照明方程式パラメータの操作内容を定める。そして、このパラメータ操作内容に従って原パラメータ値を操作し、新パラメータ値を得る。そして、この新パラメータ値を基にして、画像変換後の第２の画像を生成する。【００１３】  この発明によると、第１の画像の画像特徴に対応する照明方程式パラメータの値が原パラメータ値として取得され、この原パラメータ値を、指示された画像変換に応じた操作内容に従って操作することによって、新パラメータ値が得られる。そして、この新パラメータ値から、第２の画像が生成される。すなわち、画像変換が、照明方程式のパラメータ変換によって実現されるので、学習時の画像データによって制約を受けることがなく、従来よりも自由度の高い画像変換が可能となる。例えば、画像拡大の場合は、照明方程式のパラメータのうち、物体の形状情報を表わす表面法線ベクトルを高密化すればよい。この場合、任意の拡大倍率を設定することができる。また、照明方向の変換の場合は、照明方向を表わす照明ベクトルを変更すればよい。その他、視点方向の変換なども、照明方程式パラメータを操作することによって、容易に実現することができる。また、従来技術では、画像変換の種類だけ学習画像が必要であったが、これに対して本発明は照明方程式のパラメータ操作によって画像変換を行うため、学習画像数を抑えることができる。【００１４】  また、本発明では、画像特徴と照明方程式パラメータとの関係を学習する前処理において、照明方程式パラメータの値を設定し、設定したパラメータ値から学習画像を生成し、学習画像について画像特徴解析を行って得た画像特徴を、元のパラメータ値と対応付けて、データベースに保存するのが好ましい。【００１５】  これにより、前処理において、学習画像は照明方程式を用いて計算機によって生成が可能であるので、学習画像生成のために実物を用いた撮影を必要としない。したがって、処理が簡易になるとともに、多様な学習画像を容易に準備することができる。
【発明の効果】
【００１６】  本発明によると、画像変換が照明方程式のパラメータ変換によって実現されるので、自由度の高い画像変換が可能になる。また、学習画像数を抑えることもできる。さらに、前処理において、多様な学習画像を容易に準備することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は本発明の第１の実施形態に係る画像変換装置を示すブロック図である。
【図２】図２は照明方程式の幾何条件と光学条件を説明するための図である。
【図３】図３は本発明の第１の実施形態に係る画像変換方法を示すフローチャートである。
【図４】図４はウェーブレット変換を用いた画像特徴解析を表す図である。
【図５】図５は画像変換を行うためのパラメータ操作の一例を示す図である。
【図６】図６は画像特徴と照明方程式パラメータとの関係を学習する方法を示す図である。
【図７】図７は照明方程式の幾何条件と光学条件を説明するための図である。
【図８】図８は画像特徴に応じたパラメータ取得の他の方法を示す図である。
【図９】図９は本発明を実現する第１の構成例であり、パーソナルコンピュータを用いた構成を示す図である。
【図１０】図１０は本発明を実現する第２の構成例であり、サーバークライアントシステムを用いた構成を示す図である。
【図１１】図１１は本発明を実現する第３の構成例であり、カメラ付携帯電話とテレビを用いた構成を示す図である。
【符号の説明】
【００１８】１０  パラメータ出力部
３３  サーバー
３４  クライアント
４１  カメラ付携帯電話（携帯機器）
４５  カメラ
１０１  画像特徴解析部
１０２  画像特徴ベクトルデータベース
１０３  照明方程式パラメータデータベース
１０４  パラメータ操作部
１０５  画像変換指示部
１０６  パラメータ操作設定部
１０７  画像生成部
ＩＩＮ  入力画像（第１の画像）
ＩＩＮＦＶ  入力画像特徴ベクトル（第１の画像特徴ベクトル）
ＩＩＮＦＶＮ  入力画像特徴ベクトル番号
ＩＩＮＬＥＰ  原パラメータ値
ＩＣＩＳ  画像変換指示信号
ＬＥＰＳ  パラメータ操作指示信号
ＩＯＵＴＬＥＰ  新パラメータ値
ＩＯＵＴ  出力画像（第２の画像）
ＬＥＰ１  第１のパラメータ値
ＩＬ  学習画像
【発明を実施するための最良の形態】
【００１９】  本発明の第１態様では、第１の画像を第２の画像に変換する方法として、前記第１の画像について画像特徴解析を行う第１のステップと、画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を原パラメータ値として取得する第２のステップと、指示された画像変換に応じて照明方程式パラメータの操作内容を定める第３のステップと、前記原パラメータ値を前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、前記新パラメータ値を基にして前記第２の画像を生成する第５のステップとを備えたものを提供する。【００２０】  本発明の第２態様では、前記第１のステップにおける画像特徴解析は、空間周波数解析を用いて行うものである第１態様の画像変換方法を提供する。【００２１】  本発明の第３態様では、画像特徴と照明方程式パラメータとの関係を学習する前処理を備え、前記前処理は、照明方程式パラメータの値として第１のパラメータ値を設定するステップと、前記第１のパラメータ値から学習画像を生成するステップと、前記学習画像について、前記第１のステップと実質的に同等の画像特徴解析を行うステップとを備え、得られた画像特徴を前記第１のパラメータ値と対応付けてデータベースに保存する第１態様の画像変換方法を提供する。【００２２】  本発明の第４態様では、前記第１のパラメータ値は、前記第１の画像が撮影された際の照明方程式パラメータを想定して設定される第３態様の画像変換方法を提供する。【００２３】  本発明の第５態様では、前記照明方程式は、視点方向の輝度を、拡散反射成分、鏡面反射成分および環境光成分の和によって表わすものである第１態様の画像変換方法を提供する。【００２４】  本発明の第６態様では、前記照明方程式パラメータは、表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つを含む第１態様の画像変換方法を提供する。【００２５】  本発明の第７態様では、前記第３のステップは、指示された画像変換が画像拡大であるとき、照明方程式パラメータの操作内容として表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つの高密化を定めるものである第１態様の画像変換方法を提供する。【００２６】  本発明の第８態様では、画像特徴と照明方程式パラメータとの関係は、複数の画像特徴ベクトルと各画像特徴ベクトルとそれぞれ対応付けられた複数のパラメータ値とによって表されており、前記第２のステップは、前記複数の画像特徴ベクトルの中から前記第１の画像の画像特徴を表す第１の画像特徴ベクトルと類似する所定数の画像特徴ベクトルを選択するステップと、前記所定数の画像特徴ベクトルについて、前記第１の画像特徴ベクトルとの距離をそれぞれ求めるステップと、前記所定数の画像特徴ベクトルにそれぞれ対応するパラメータ値を当該画像特徴ベクトルについて求めた前記距離に応じて重み付け加算し、前記原パラメータ値を算出するステップ��を備えたものである第１態様の画像変換方法を提供する。【００２７】  本発明の第９態様では、入力画像について画像特徴解析を行い、前記入力画像の画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、複数の画像特徴ベクトルと、照明方程式の，前記各画像特徴ベクトルとそれぞれ対応する複数のパラメータ値とを格納しており、前記第１の画像特徴ベクトルを受けて、これに対応する原パラメータ値を出力するパラメータ出力部と、指示された画像変換に応じて照明方程式パラメータの操作内容を定めるパラメータ操作設定部と、前記パラメータ出力部から出力された前記原パラメータ値を前記パラメータ操作設定部によって定められた操作内容に従って操作し、新パラメータ値を得るパラメータ操作部と、前記パラメータ操作部から出力された新パラメータ値を基にして出力画像を生成する画像生成部とを備えた画像変換装置を提供する。【００２８】  本発明の第１０態様では、前記パラメータ出力部は、前記複数の画像特徴ベクトルを格納する画像特徴ベクトルデータベースと、前記複数のパラメータ値を格納する照明方程式パラメータデータベースとを備えたものである第９態様の画像変換装置を提供する。【００２９】  本発明の第１１態様では、画像変換を行うサーバークライアントシステムとして、第９態様の画像特徴解析部、パラメータ出力部、パラメータ操作設定部およびパラメータ操作部を有するサーバと、第９態様の画像生成部を有するクライアントとを備え、前記クライアントは、前記サーバに画像変換の内容を指示するものを提供する。【００３０】  本発明の第１２態様では、カメラと、前記カメラによって撮影された画像について画像特徴解析を行い、その画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、複数の画像特徴ベクトルを番号とともに格納しており、前記第１の画像特徴ベクトルと類似する画像特徴ベクトルを特定し、その番号を出力する画像特徴ベクトルデータベースとを備え、前記画像特徴ベクトルデータベースから出力された番号を送信する携帯機器を提供する。【００３１】  本発明の第１３態様では、コンピュータに、第１の画像を第２の画像に変換する方法をコンピュータに実行させるプログラムとして、前記第１の画像について画像特徴解析を行う第１のステップと、画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する第２のステップと、指示された画像変換に応じて、照明方程式パラメータの操作内容を定める第３のステップと、前記原パラメータ値を、前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、前記新パラメータ値を基にして、前記第２の画像を生成する第５のステップとをコンピュータに実行させるものを提供する。【００３２】  以下、本発明の実施の形態について、図面を参照して説明する。【００３３】  （第１の実施形態）
図１は本発明の第１の実施形態に係る画像変換装置を示すブロック図である。図１において、画像特徴解析部１０１は入力画像ＩＩＮについて画像特徴解析を行い、入力画像特徴ベクトルＩＩＮＦＶを生成する。画像特徴ベクトルデータベース１０２は複数の画像特徴ベクトルを格納しており、照明方程式パラメータデータベース１０３は所定の照明方程式の、画像特徴ベクトルデータベース１０２に格納された各画像特徴ベクトルとそれぞれ対応付けられた複数のパラメータ値を格納している。すなわち、画像特徴と照明方程式パラメータとの関係が、準備されている。そして、画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３は、入力画像特徴ベクトルＩＩＮＦＶに対応する照明方程式パラメータの値を、原パラメータ値ＩＩＮＬＥＰとして出力する。画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３によって、パラメータ出力部１０が構成されている。【００３４】  画像変換指示部１０５は例えば外部から指示された画像変換の内容を、画像変換指示信号ＩＣＩＳとして出力する。パラメータ操作設定部１０６は画像変換指示信号ＩＣＩＳによって指示された画像変換に応じて、照明方程式パラメータの操作内容を定め、これをパラメータ操作指示信号ＬＥＰＳとして出力する。パラメータ操作部１０４はパラメータ操作指示信号ＬＥＰＳによって指示された操作内容に従って、原パラメータ値ＩＩＮＬＥＰを操作し、新パラメータ値ＩＯＵＴＬＥＰを生成する。画像生成部１０７は新パラメータ値ＩＯＵＴＬＥＰを用いて照明方程式を演算し、出力画像ＩＯＵＴを生成する。【００３５】  すなわち、第１の画像としての入力画像ＩＩＮが、照明方程式のパラメータ変換によって、第２の画像としての出力画像ＩＯＵＴに画像変換される。【００３６】  ここでは、図２のような幾何条件と光学条件を想定して、次のような照明方程式を用いる。
【数１】
2006033257.tif 000002
【００３７】  ここで、Ｉｖは視点方向（視点ベクトルＶ）の輝度、Ｉａは環境光の輝度、ρａは環境光の反射率、Ｉｉは照明の輝度、ベクトルＮは表面法線ベクトル、ベクトルＬは照明方向を表わす照明ベクトル、ｄωは照明の立体角、ρｄは拡散反射成分の反射率、ρｓは鏡面反射成分の反射率、ｋｄとｋｓは拡散反射成分と鏡面反射成分の割合を表わし、ｋｄ＋ｋｓ＝１の関係を持つ。環境光とは、物体表面ＳＦ上の現在の注目点Ｐに多重反射等で周辺から回り込んで入射する光であり、視点方向（ベクトルＶ）の輝度Ｉｖのバイアス成分に当たる。注目点Ｐに放射照度
【数１Ａ】
2006033257.tif 000003
で照明から光が入射し、拡散反射成分がｋｄρｄ、鏡面反射成分がｋｓρｓの割合で、それぞれ入射光を反射する。【００３８】  図１の照明方程式パラメータデータベース１０３では、パラメータとして、表面法線ベクトルＮ、照明ベクトルＬ、拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄ、鏡面反射成分反射率ρｓ、環境光輝度Ｉａ、および環境光反射率ρａの７種類が設定されている。なお、本発明に係る照明方程式の定義およびパラメータの種類は、ここで示したものに限られるものではなく、任意の照明方程式やパラメータが適用可能である。【００３９】  図３は図１の画像変換装置の動作、すなわち本実施形態に係る画像変換方法を示すフローチャートである。なお、本実施形態に係る画像変換方法は、当該方法を実現するためのプログラムをコンピュータに実行させることによって、実現することができる。【００４０】  まず、前処理Ｓ００において、画像特徴と照明方程式パラメータとの関係を学習する。この前処理Ｓ００の詳細については後述する。ここでは、予め学習により、図１に示すような画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３が得られているものとする。【００４１】  ステップＳ１において、第１の画像としての入力画像ＩＩＮについて、画像特徴解析部１０１が画像特徴解析を行う。ここでの画像特徴解析は、例えば図４に示すようなウェーブレット変換などの空間周波数解析を用いて行う。このとき、画像特徴は多重解像度表現によって表される。図４の例では、ｎ回のスケーリングそれぞれにおいてウェーブレット変換の出力ＨＬ、ＬＨ、ＨＨ、ＬＬを求め、これらを階層ごとに束ねることによって、（３ｎ＋１）次元ベクトルを、第１の画像特徴ベクトルとしての入力画像特徴ベクトルＩＩＮＦＶとして求めている。なお、画像特徴ベクトルＩＩＮＦＶは画素ごとに必要になるため、各スケールにおいてＬＬ画像が同一サイズになるようにしている。もちろん、本発明における画像特徴の解析および表現方法はこれに限られるものではなく、任意の方法を適用することができる。【００４２】  次にステップＳ２において、予め学習により求めた画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３を参照し、ステップＳ１で得た入力画像特徴ベクトルＩＩＮＦＶから、これに対応する照明方程式パラメータの値を原パラメータ値ＩＩＮＬＥＰとして取得する。ここでは、まず画像特徴ベクトルデータベース１０２が、格納しているｑ個の画像特徴ベクトルの中から、入力画像特徴ベクトルＩＩＮＦＶに最も近い画像特徴ベクトルを選定し、選定した画像特徴ベクトルの番号を入力画像特徴ベクトル番号ＩＩＮＦＶＮとして出力する。そして照明方程式パラメータデータベース１０３が、入力画像特徴ベクトル番号ＩＩＮＦＶＮを受けて、これに対応するパラメータ値を読み出し、原パラメータ値ＩＩＮＬＥＰとして出力する。【００４３】  次にステップＳ３において、パラメータ操作設定部１０６が、指示された画像変換に応じて、照明方程式パラメータの操作内容を定める。そしてステップＳ４において、パラメータ操作部１０４が、ステップＳ２で得られた原パラメータ値ＩＩＮＬＥＰを、ステップＳ��で定めた操作内容に従って操作し、新パラメータ値ＩＯＵＴＬＥＰを得る。【００４４】  図５はパラメータ操作の一例を示す図であり、原パラメータ値ＩＩＮＬＥＰと新パラメータ値ＩＯＵＴＬＥＰを１ライン分、画素ごとに書き並べている。各画素には上述した７個のパラメータが定められており、環境光輝度Ｉａ、環境光反射率ρａおよび照明ベクトルＬの３つは各画素で共通である。拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄおよび鏡面反射成分反射率ρｓは物体の材質に依存するため、材質の種類を示す添字を付している。また、原パラメータ値ＩＩＮＬＥＰの表面法線ベクトルＮについても、第１の添字は材質の種類を示し、第２の添字は同一材質内での画素の違いを示している。【００４５】  いま、画像変換指示信号ＩＣＩＳによって、「拡大率２倍の画像拡大」という画像変換が指示されたものとする。このときパラメータ操作設定部１０６は、「拡大率２倍の画像拡大」という画像変換を「表面法線ベクトルＮの２倍高密化」というパラメータ操作に変換し、パラメータ操作指示信号ＬＥＰＳとしてパラメータ操作部１０４に与える。【００４６】  パラメータ操作部１０４はパラメータ操作指示信号ＬＥＰＳに従って、表面法線ベクトルＮを２倍に高密化する。すなわち、原パラメータ値ＩＩＮＬＥＰの画素数Ｕが、新パラメータ値ＩＯＵＴＬＥＰでは画素数が２ｕになる。新パラメータ値ＩＯＵＴＬＥＰの表面法線ベクトルＮでは、高密化後の画素の違いを表わすため、第３の添字を加えている。このとき、材質の境界（例えば原パラメータ値ＩＩＮＬＥＰにおける画素２と画素３の間）はエッジ部となる可能性が高いので、高密化後もこの境界条件を保持するのが望ましい。具体的には、新パラメータ値ＩＯＵＴＬＥＰの画素４と画素５を、それぞれ原パラメータ値ＩＩＮＬＥＰの画素２と画素３に一致させる。すなわち、境界条件の保持のために、
Ｎ１，２＝Ｎ１，２，２  かつ  Ｎ２，１＝Ｎ２，１，１
とする。なお、図５では、画像拡大を表面法線ベクトルＮの高密化で説明したが、これは一例であり、本発明は操作すべき照明方程式パラメータやその操作方法を限定するものではなく、例えば、拡散反射成分比率ｋｄを高密化したり、表面法線ベクトルＮと拡散反射成分比率ｋｄを併せて高密化するなど、任意のパラメータ操作が可能である。【００４７】  そして、ステップＳ５において、画像生成部１０７が、ステップＳ４で得られた新パラメータ値ＩＯＵＴＬＥＰを基にして、第２の画像としての出力画像ＩＯＵＴを生成する。【００４８】  ここで、前処理Ｓ００の詳細について、図６を参照して説明する。ここでは、照明方程式から作成した画像を画像特徴ベクトルの学習に用いることによって、画像特徴ベクトルと照明方程式パラメータとの関連付けを行う。【００４９】  具体的には、まず、照明方程式パラメータの値として、第１のパラメータ値ＬＥＰ１（番号１）を設定する。そしてこの第１のパラメータ値ＬＥＰ１を用いて、（数１）の演算を実行し、学習画像ＩＬを生成する。そして生成された学習画像ＩＬについて、上述のステップＳ１と実質的に同等の画像特徴解析を行い、画像特徴ベクトルＩＬＦＶを得る。この画像特徴ベクトルＩＬＦＶを、画像特徴ベクトルデータベース１０２の番号１に格納する。これにより、画像特徴ベクトルＩＬＦＶと第１のパラメータ値ＬＥＰ１とが対応付けられてデータベース１０２，１０３に保存される。このような処理を繰り返し実行することによって、図１に示すような、画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３が生成される。なお、図６では、画像生成部１０７が画像生成を行い、画像特徴解析部１０１が画像特徴解析を行っているが、前処理Ｓ００において他の手段によって画像生成や画像特徴解析を行うようにしてもよい。【００５０】  以上のように本実施形態によると、入力画像ＩＩＮの画像特徴ベクトルＩＩＮＦＶから、入力画像ＩＩＮにふさわしい照明方程式のパラメータＩＩＮＬＥＰが選定される。そして、このパラメータＩＩＮＬＥＰを操作することによって、様々な出力画像ＩＯＵＴを生成することができる。したがって、学習時の画像データに制限されず、自由度の高い画像変換が可能になる。【００５１】  また、照明方程式のパラメータＩＩＮＬＥＰを操作して画像変換を行うため、いたずらに多くの学習画像を準備する必要がなく、したがって、学習画像数を抑えることができる。また、前処理において、学習画像ＩＬは照明方程式を用いて計算機によって生成することが可能であるので、学習画像生成のために実物を用いた撮影を必要としない。したがって、処理が簡易になるとともに、多様な学習画像を容易に準備することができる。なお、学習画像ＩＬの画像特徴ＩＬＦＶが入力画像ＩＩＮの画像特徴ＩＩＮＦＶに近いほど、適切な照明方程式パラメータが取得できる。そこで、学習画像ＩＬを生成する際に、入力画像ＩＩＮが撮影された際の条件を想定して照明方程式パラメータを設定することが望ましい。例えば、入力画像ＩＩＮの撮影場所が限定でき、その結果、照明位置が限定できる場合は、照明ベクトルＬは入力画像ＩＩＮが撮影された際のデータを利用する。【００５��】  なお、本実施形態では、画像変換として画像拡大を例にとって説明したが、本発明はこれに限定されるものではなく、他の画像変換についても同様にパラメータ操作が可能である。例えば、照明方向を変更したいときは、照明ベクトルＬを変更すればよいし、また拡散反射成分と鏡面反射成分の割合を変更したいときは、拡散反射成分比率ｋｄを変更すればよい。【００５３】  また、鏡面反射成分反射率ρｓは双方向反射率で定義されているため、視線方向に応じて変化する。そこで、例えば（数２）で与えられるＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを導入すれば、照明方程式パラメータに視線ベクトルＶ、粗さ係数ｍ、フレネル係数Ｆλを加えることができる。これにより、視点方向の変更、表面粗さの変更などの画像変換が可能になる。
【数２】
2006033257.tif 000004
【００５４】  ここで、図７に示すように、ベクトルＨは視点ベクトルＶと照明ベクトルＬの中間ベクトルであり、βは中間ベクトルＨと表面法線ベクトルＮとの角度を表す。ｍは物体表面の粗さを表わす係数であり、ｍが小さいときは角度βが小さい部分すなわち表面法線ベクトルＮ付近に強い反射を示し、ｍが大きいときは角度βが大きい部分すなわち表面法線ベクトルＮから離れた部分にも反射分布が広がる。Ｇは幾何減衰率であり、物体表面の凹凸による遮光の影響を表わす。ｎは屈折率である。【００５５】  このように、本発明では、照明方程式は任意に定義可能であり、（数１）や（数２）に限定されるものではない。【００５６】  また、本実施形態では、画像特徴ベクトルＩＩＮＦＶに最も近い画像特徴ベクトルに対応する照明方程式パラメータを原パラメータ値ＩＩＮＬＥＰとして取得するものとしたが、原パラメータ値ＩＩＮＬＥＰの取得方法はこれに限られるものではない。例えば図８に示すように、取得してもよい。すなわち、まず、入力画像特徴ベクトルＩＩＮＦＶと類似する所定数（図８では３個）の画像特徴ベクトルを選択する。そして、選択した各画像特徴ベクトルについて、入力画像特徴ベクトルＩＩＮＦＶとの距離をそれぞれ求め、この距離に応じた重み付け係数ＩＩＮＦＶＷＦを定める。そして、選択した３個の画像特徴ベクトルにそれぞれ対応するパラメータ値を、重み付け係数ＩＩＮＦＶＷＦを用いて重み付け加算し、その結果を原パラメータ値ＩＩＮＬＥＰとして出力する。なお、重み付け加算の代わりに、選択した所定数の画像特徴ベクトルにそれぞれ対応するパラメータ値について、単に平均をとってもかまわない。【００５７】  なお、画像特徴と照明方程式パラメータとの関係は、予め学習されている必然性はなく、任意の手段によって準備してかまわない。【００５８】  以下、本発明を実現する構成例を例示する。【００５９】  （第１の構成例）
図９は第１の構成例を示す図であり、パーソナルコンピュータを用いて本発明に係る画像変換を行う構成の一例である。カメラ２１の解像度はディスプレイ２２の解像度よりも低く、ディスプレイ２２の表示能力を最大限に生かすために、メインメモリ２３にロードされた画像変換プログラムによって拡大画像を作成する。カメラ２１で取り込まれた低解像度画像は画像メモリ２４に記録される。外部記録装置２５には予め画像特徴ベクトルデータベース１０２と照明方程式パラメータデータベース１０３とが準備されており、メインメモリ２３の画像変換プログラムから参照可能になっている。画像変換プログラムの動作や画像特徴ベクトルデータベース１０２と照明方程式パラメータデータベース１０３の内容や作成方法等は、第１の実施形態で説明したとおりである。メインメモリ２３の画像変換プログラムは、メモリバス２６を介して画像メモリ２４の低解像度画像を読み込み、これをディスプレイ２２の解像度に合わせて高解像度画像に変換し、再びメモリバス２６経由でビデオメモリ２７に転送する。ビデオメモリ２７に転送された高解像度画像はディスプレイ２２において観察できる。【００６０】  なお、本発明は図９の構成に拘束されるものではなく、様々な構成をとることができる。例えば、画像特徴ベクトルデータベース１０２や照明方程式パラメータデータベース１０３を別のパーソナルコンピュータに接続された外部記憶装置からネットワーク２８を介して取得してもかまわない。また低解像度画像は、ネットワーク２８を介して取得してもかまわない。【００６１】  （第２の構成例）
図１０は第２の構成例を示す図であり、サーバークライアントシステムを用いて本発明に係る画像変換を行う構成の一例である。カメラ３１の解像度はディスプレイ３２の解像度よりも低く、ディスプレイ３２の表示能力を最大限に生かすために、サーバークライアントシステムにおいて画像変換を実行する。サーバー３３では、第１の実施形態と同様に、画像特徴解析部１０１、画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３が、入力画像ＩＩＮから原パラメータ値ＩＩＮＬＥＰを算出する。画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３によって、パラメータ出力部１０が構成されている。一方、クライアント３４の画像変換指示部１０５から、画像変換の指示（本例では画像拡大）が画像変換指示信号ＩＣＩＳとしてサーバー３３のパラメータ操作設定部１０６に渡される。パラメータ操作設定部１０６は画像変換指示信号ＩＣＩＳによる画像変換の内容を照明方程式パラメータの操作内容に置き換え、パラメータ操作指示信号ＬＥＰＳとしてパラメータ操作部１０４に出力する。パラメータ操作部１０４は原パラメータ値ＩＩＮＬＥＰを操作し、新パラメータ値ＩＯＵＴＬＥＰを生成する。【００６２】  このような動作によって、サーバー３３はクライアント３４からの画像変換指示に従った新パラメータ値ＩＯＵＴＬＥＰを、ネットワーク３５を介してクライアント３４に提供できる。新パラメータ値ＩＯＵＴＬＥＰを受け取ったクライアント３４では、画像生成部１０７が拡大画像を生成し、ディスプレイ３２に供給する。【００６３】  なお、本発明は図１０の構成に拘束されるものではなく、画像機器の組み合わせや、各手段のシステム上の位置（サーバー３３に属するかクライアント３４に属するか、またはそれ以外に属するかなど）は、任意である。【００６４】  （第３の構成例）
図１１は第３の構成例を示す図であり、カメラ付携帯電話とテレビを用いて本発明に係る画像処理を行う構成の一例である。携帯機器としてのカメラ付携帯電話４１はネットワーク４２またはメモリカード４３を介してテレビ４４に画像データを送ることができる。カメラ付携帯電話４１のカメラ４５の解像度はテレビ４４の解像度よりも低く、テレビ４４の表示能力を最大限に生かすために、テレビ４４の内部回路に実装された本発明に係る画像変換装置によって画像拡大を実行する。【００６５】  利用料金の面を考えると、カメラ付携帯電話４１からテレビ４４へ送るデータ量は、小さいほど利用者から歓迎される。そこで、ネットワーク４２で送信するデータは、入力画像特徴ベクトル番号ＩＩＮＦＶＮとするのが望ましい。また、ネットワーク４２における盗聴の被害を最小限に抑えるためにも、番号自体には特に意味を持たない入力画像特徴ベクトル番号ＩＩＮＦＶＮを送ることが望ましい。すなわち、カメラ付き携帯電話４１が画像特徴ベクトルデータベース１０２を持ち、テレビ４４が照明方程式パラメータデータベースを持つように構成し、その両方がそろってはじめて所望の画像変換が実現できるようにする。これにより、利用料金を低く抑えることができるとともに、盗聴の被害を最小限に抑えることができる。図１１では、カメラ付携帯電話４１が、カメラ４５と、カメラ４５によって撮影された画像ＩＩＮについて画像特徴解析を行い、第１の画像特徴ベクトルＩＩＮＦＶを出力する画像特徴解析部１０１と、格納している複数の画像特徴ベクトルの中から第１の画像特徴ベクトルＩＩＮＦＶと類似する画像特徴ベクトルを特定し、その番号ＩＩＮＦＶＮを出力する画像特徴ベクトルデータベース１０２とを備えている構成を示している。【００６６】  なお、本発明は図１１の構成に拘束されるものではなく、様々な構成を取ることができる。例えば、カメラ付携帯電話４１はデジタルスチルカメラやビデオムービーカメラでもあってもかまわない。【００６７】  以上のように本発明は、広く普及しているパーソナルコンピュータや、サーバークライアントシステム、または、カメラ付携帯電話やデジタルスチルカメラ、ビデオムービーカメラ、テレビなどビデオ機器全般で実行可能であり、特別な機器、運用、管理などは必要ない。なお、専用ハードウェアへの実装やソフトウェアとハードウェアの組み合わせなど、機器接続形態や機器内部の構成を拘束するものではない。
【産業上の利用可能性】
【００６８】  本発明では、拡大縮小、照明変換、視点変換、拡散／鏡面反射成分の比率変更など、様々な画像変換を自由に実施できるので、例えば、スポーツや観光、記念撮影など目の前のシーンを映像として記録する映像エンタテイメント分野において利用することができる。また、文化芸術の分野では、被写体や撮影場所に制限されない自由度の高いデジタルアーカイブシステムを提供するために利用することができる。
【図１】
2006033257.tif 000005
【図２】
2006033257.tif 000006
【図３】
2006033257.tif 000007
【図４】
2006033257.tif 000008
【図５】
2006033257.tif 000009
【図６】
2006033257.tif 000010
【図７】
2006033257.tif 000011
【図８】
2006033257.tif 000012
【図９】
2006033257.tif 000013
【図１０】
2006033257.tif 000014
【図１１】
2006033257.tif 000015
【手続補正書】
【提出日】平成19年1月10日(2007.1.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の画像を第２の画像に変換する方法であって、
前記第１の画像について、画像特徴解析を行う第１のステップと、
画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する第２のステップと、
指示された画像変換に応じて、照明方程式パラメータの操作内容を定める第３のステップと、
前記原パラメータ値を、前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、
前記新パラメータ値を基にして、前記第２の画像を生成する第５のステップとを備えた
ことを特徴とする画像変換方法。
【請求項２】
請求項１において、
前記第１のステップにおける画像特徴解析は、空間周波数解析を用いて行うものである
ことを特徴とする画像変換方法。
【請求項３】
請求項１において、
画像特徴と照明方程式パラメータとの関係を学習する前処理を備え、
前記前処理は、
照明方程式パラメータの値として第１のパラメータ値を設定するステップと、
前記第１のパラメータ値から、学習画像を生成するステップと、
前記学習画像について、前記第１のステップと実質的に同等の画像特徴解析を行うステップとを備え、
得られた画像特徴を前記第１のパラメータ値と対応付けて、データベースに保存する
ことを特徴とする画像変換方法。
【請求項４】
請求項３において、
前記第１のパラメータ値は、前記第１の画像が撮影された際の照明方程式パラメータを想定して設定される
ことを特徴とする画像変換方法。
【請求項５】
請求項１において、
前記照明方程式は、視点方向の輝度を、拡散反射成分、鏡面反射成分および環境光成分の和によって表わすものである
ことを特徴とする画像変換方法。
【請求項６】
請求項１において、
前記照明方程式パラメータは、表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つを含む
ことを特徴とする画像変換方法。
【請求項７】
請求項１において、
前記第３のステップは、指示された画像変換が画像拡大であるとき、照明方程式パラメータの操作内容として、表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つの高密化を、定めるものである
ことを特徴とする画像変換方法。
【請求項８】
請求項１において、
画像特徴と照明方程式パラメータとの関係は、複数の画像特徴ベクトルと、各画像特徴ベクトルとそれぞれ対応付けられた複数のパラメータ値とによって、表されており、
前記第２のステップは、
前記複数の画像特徴ベクトルの中から、前記第１の画像の画像特徴を表す第１の画像特徴ベクトルと類似する所定数の画像特徴ベクトルを、選択するステップと、
前記所定数の画像特徴ベクトルについて、前記第１の画像特徴ベクトルとの距離を、それぞれ求めるステップと、
前記所定数の画像特徴ベクトルにそれぞれ対応するパラメータ値を、当該画像特徴ベクトルについて求めた前記距離に応じて重み付け加算し、前記原パラメータ値を算出するステップとを備えたものである
ことを特徴とする画像変換方法。
【請求項９】
入力画像について、画像特徴解析を行い、前記入力画像の画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、
複数の画像特徴ベクトルと、照明方程式の，前記各画像特徴ベクトルとそれぞれ対応する複数のパラメータ値とを格納しており、前記第１の画像特徴ベクトルを受けて、これに対応する原パラメータ値を出力するパラメータ出力部と、
指示された画像変換に応じて、照明方程式パラメータの操作内容を定めるパラメータ操作設定部と、
前記パラメータ出力部から出力された前記原パラメータ値を、前記パラメータ操作設定部によって定められた操作内容に従って操作し、新パラメータ値を得るパラメータ操作部と、
前記パラメータ操作部から出力された新パラメータ値を基にして、出力画像を生成する画像生成部とを備えた
ことを特徴とする画像変換装置。
【請求項１０】
請求項９において、
前記パラメータ出力部は、
前記複数の画像特徴ベクトルを格納する画像特徴ベクトルデータベースと、
前記複数のパラメータ値を格納する照明方程式パラメータデータベースとを備えたものである
ことを特徴とする画像変換装置。
【請求項１１】
画像変換を行うサーバークライアントシステムであって、
請求項９の画像特徴解析部、パラメータ出力部、パラメータ操作設定部、およびパラメータ操作部を有するサーバと、
請求項９の画像生成部を有するクライアントとを備え、
前記クライアントは、前記サーバに、画像変換の内容を指示する
ことを特徴とするサーバークライアントシステム。
【請求項１２】
カメラと、
前記カメラによって撮影された画像について画像特徴解析を行い、その画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、
複数の画像特徴ベクトルを番号とともに格納しており、前記第１の画像特徴ベクトルと類似する画像特徴ベクトルを特定し、その番号を出力する画像特徴ベクトルデータベースとを備え、
前記画像特徴ベクトルデータベースから出力された番号を、送信する
ことを特徴とする携帯機器。
【請求項１３】
コンピュータに、第１の画像を第２の画像に変換する方法をコンピュータに実行させるプログラムであって、
前記第１の画像について、画像特徴解析を行う第１のステップと、
画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する第２のステップと、
指示された画像変換に応じて、照明方程式パラメータの操作内容を定める第３のステップと、
前記原パラメータ値を、前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、
前記新パラメータ値を基にして、前記第２の画像を生成する第５のステップとを
コンピュータに実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関するものであり、特に、画像拡大や照明変換、視点変換などの画像変換を実現する技術に関する。
【背景技術】
【０００２】
画像機器とネットワークのデジタル化により、種類の異なる画像機器同士が容易に接続可能になっており、画像交換の自由度が高まっている。例えば、デジタルスチルカメラで撮影した画像を、プリンタに出力したり、ネットワーク上で公開したり、家庭のテレビで鑑賞したり、というように、利用者がシステムの違いに制約を受けることなく自由に画像を扱える環境が整備されてきた。
【０００３】
一方、このような環境を実現するために、システム側は様々な画像フォーマットに対応する必要に迫られており、高度な画像フォーマット変換が求められている。例えば、頻繁に発生する画像サイズ変換に対応するためには、アップコンバータ（画素数、ライン数を増やす変換装置）やダウンコンバータ（画素数、ライン数を減らす変換装置）が必要になる。例えばＡ４用紙（２９７ｍｍ×２１０ｍｍ）に６００ｄｐｉの解像度で印刷する場合、７１２８画素×５０４０ラインのデータが必要になるが、多くのデジタルスチルカメラの解像度はこれを下回るため、アップコンバータが必要になる。また、ネットワーク上に公開された画像は、出力デバイスが決まるたびに、対応する画像サイズへの変換を必要とする。家庭用テレビに関しては、デジタル地上波のサービスが開始されたため、従来の標準テレビとＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）テレビとが混在し、このため、画像サイズ変換が頻繁に行われる。
【０００４】
画像を拡大するためには、取得時には存在しなかった画像データを新たに作り出す必要があるが、これにはすでに様々な方法が提案されている。例えば、バイリニア法、バイキュービック法などの内挿を用いる方法が、一般的である（非特許文献１）。ところが、内挿を用いた場合、サンプリングデータの中間的な値しか生成できないため、エッジなどの先鋭度が劣化し、ぼけた画像になる傾向がある。そこで、初期拡大画像として内挿画像を用い、その後、エッジ部を抽出して、エッジのみを強調する技術が開示されている（特許文献１、非特許文献２）。しかし、エッジ部とノイズの切り分けが難しく、エッジ部の強調とともに、ノイズも強調されて画質劣化を招く傾向がある。
【０００５】
そこで、画質劣化を抑えつつ画像拡大を行う方法として、学習方式がある。すなわち、拡大画像に相当する高解像度画像を高精細カメラ等によって予め撮影し、この高解像度画像から低解像度画像を作成する。低解像度画像の生成は、通常、ローパスフィルタを通してサブサンプリングする方法によって行う。このような低解像度画像と高解像度画像の組を多数準備し、その関係を画像拡大方法として学習する。したがって、学習方式では、上述したような強調処理は存在せず、このため、比較的画質劣化の少ない画像拡大を実現できる。
【０００６】
学習方式の例としては、例えば、隣接画素との輝度値の関係がマルコフ過程で決まるとして、統計的手法で学習を行う技術が開示されている（非特許文献３）。また、低解像度から高解像度への変換対で画素ごとに特徴ベクトルを求め、入力画素の特徴ベクトルとの一致度と周辺との一貫性から、拡大画像を生成する技術が開示されている（非特許文献４）。
【０００７】
また学習方式は、画像拡大だけでなく、例えば照明方向の変換などにも活用されている（非特許文献５）。非特許文献５では、テクスチャ（物体表面の凹凸や模様などのこと）の異なる複数の物体に異なる複数の方向から照明をあてて、学習データを作成し、テクスチャ感を保ちながら照明方向を変換する技術が開示されている。
【特許文献１】米国特許第５，７１７，７８９号（図５）
【非特許文献１】荒屋真二著，「明解  ３次元コンピュータグラフィックス」，共立出版，２００３年９月２５日，ｐｐ．１４４−１４５
【非特許文献２】中静真ら、「多重スケール輝度こう配平面における画像高解像度化」、電子情報通信学会論文誌 Ｄ−ＩＩ  Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ  Ｎｏ．１０  ｐｐ．２２４９−２２５８，１９９８年１０月
【非特許文献３】Ｆｒｅｅｍａｎら、「Ｌｅａｒｎｉｎｇ  Ｌｏｗ−Ｌｅｖｅｌ  Ｖｉｓｉｏｎ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ４０（１），ｐｐ．２５−４７，２０００年
【非特許文献４】Ｈｅｒｔｚｍａｎｎら、「Ｉｍａｇｅ  Ａｎａｌｏｇｉｅｓ」、  ＳＩＧＧＲＡＰＨ  ２００１  予稿集，ｐｐ．３２７−３４０，２００１年
【非特許文献５】Ｍａｌｉｋら、「Ｒｅｐｒｅｓｅｎｔｉｎｇ  ａｎｄ  Ｒｅｃｏｇｎｉｚｉｎｇ  ｔｈｅ  Ｖｉｓｕａｌ  Ａｐｐｅａｒａｎｃｅ  ｏｆ  Ｍａｔｅｒｉａｌｓ  ｕｓｉｎｇ  Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ  Ｔｅｘｔｏｎｓ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ４３（１），ｐｐ．２９−４４，２００１年
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところが、従来の技術では、次のような問題があった。
【０００９】
上述したような学習方式では、拡大画像は学習に用いた画像群の中から選ばれるため、拡大方法は、学習データに依存してしまうという問題がある。また、画像拡大だけでなく、照明方向の変換などその他の画像変換でも、同様の問題が生じる。
【００１０】
また、低解像度画像と高解像度画像を多数準備する必要があるため、学習を行う前処理に工数がかかりすぎるという問題もある。さらに、学習時の画像データは実際に撮影した画像から作成する必要があるので、画像データに自ずと偏りが生じる可能性があり、このことは自由度の高い画像変換を行うためには好ましくない。
【００１１】
前記の問題に鑑み、本発明は、学習方式を用いた画像変換において、従来よりも画像変換の自由度を高めることを課題とする。
【課題を解決するための手段】
【００１２】
本発明では、第１の画像について画像特徴解析を行い、この第１の画像の画像特徴から、画像特徴と照明方程式パラメータとの関係を参照して、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する。また、指示された画像変換に応じて、照明方程式パラメータの操作内容を定める。そして、このパラメータ操作内容に従って原パラメータ値を操作し、新パラメータ値を得る。そして、この新パラメータ値を基にして、画像変換後の第２の画像を生成する。
【００１３】
この発明によると、第１の画像の画像特徴に対応する照明方程式パラメータの値が原パラメータ値として取得され、この原パラメータ値を、指示された画像変換に応じた操作内容に従って操作することによって、新パラメータ値が得られる。そして、この新パラメータ値から、第２の画像が生成される。すなわち、画像変換が、照明方程式のパラメータ変換によって実現されるので、学習時の画像データによって制約を受けることがなく、従来よりも自由度の高い画像変換が可能となる。例えば、画像拡大の場合は、照明方程式のパラメータのうち、物体の形状情報を表わす表面法線ベクトルを高密化すればよい。この場合、任意の拡大倍率を設定することができる。また、照明方向の変換の場合は、照明方向を表わす照明ベクトルを変更すればよい。その他、視点方向の変換なども、照明方程式パラメータを操作することによって、容易に実現することができる。また、従来技術では、画像変換の種類だけ学習画像が必要であったが、これに対して本発明は照明方程式のパラメータ操作によって画像変換を行うため、学習画像数を抑えることができる。
【００１４】
また、本発明では、画像特徴と照明方程式パラメータとの関係を学習する前処理において、照明方程式パラメータの値を設定し、設定したパラメータ値から学習画像を生成し、学習画像について画像特徴解析を行って得た画像特徴を、元のパラメータ値と対応付けて、データベースに保存するのが好ましい。
【００１５】
これにより、前処理において、学習画像は照明方程式を用いて計算機によって生成が可能であるので、学習画像生成のために実物を用いた撮影を必要としない。したがって、処理が簡易になるとともに、多様な学習画像を容易に準備することができる。
【発明の効果】
【００１６】
本発明によると、画像変換が照明方程式のパラメータ変換によって実現されるので、自由度の高い画像変換が可能になる。また、学習画像数を抑えることもできる。さらに、前処理において、多様な学習画像を容易に準備することができる。
【発明を実施するための最良の形態】
【００１７】
本発明の第１態様では、第１の画像を第２の画像に変換する方法として、前記第１の画像について画像特徴解析を行う第１のステップと、画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を原パラメータ値として取得する第２のステップと、指示された画像変換に応じて照明方程式パラメータの操作内容を定める第３のステップと、前記原パラメータ値を前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、前記新パラメータ値を基にして前記第２の画像を生成する第５のステップとを備えたものを提供する。
【００１８】
本発明の第２態様では、前記第１のステップにおける画像特徴解析は、空間周波数解析を用いて行うものである第１態様の画像変換方法を提供する。
【００１９】
本発明の第３態様では、画像特徴と照明方程式パラメータとの関係を学習する前処理を備え、前記前処理は、照明方程式パラメータの値として第１のパラメータ値を設定するステップと、前記第１のパラメータ値から学習画像を生成するステップと、前記学習画像について、前記第１のステップと実質的に同等の画像特徴解析を行うステップとを備え、得られた画像特徴を前記第１のパラメータ値と対応付けてデータベースに保存する第１態様の画像変換方法を提供する。
【００２０】
本発明の第４態様では、前記第１のパラメータ値は、前記第１の画像が撮影された際の照明方程式パラメータを想定して設定される第３態様の画像変換方法を提供する。
【００２１】
本発明の第５態様では、前記照明方程式は、視点方向の輝度を、拡散反射成分、鏡面反射成分および環境光成分の和によって表わすものである第１態様の画像変換方法を提供する。
【００２２】
本発明の第６態様では、前記照明方程式パラメータは、表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つを含む第１態様の画像変換方法を提供する。
【００２３】
本発明の第７態様では、前記第３のステップは、指示された画像変換が画像拡大であるとき、照明方程式パラメータの操作内容として表面法線ベクトル、照明ベクトル、拡散反射成分と鏡面反射成分との比率、拡散反射成分の反射率、および鏡面反射成分の反射率のうち、少なくとも１つの高密化を定めるものである第１態様の画像変換方法を提供する。
【００２４】
本発明の第８態様では、画像特徴と照明方程式パラメータとの関係は、複数の画像特徴ベクトルと各画像特徴ベクトルとそれぞれ対応付けられた複数のパラメータ値とによって表されており、前記第２のステップは、前記複数の画像特徴ベクトルの中から前記第１の画像の画像特徴を表す第１の画像特徴ベクトルと類似する所定数の画像特徴ベクトルを選択するステップと、前記所定数の画像特徴ベクトルについて、前記第１の画像特徴ベクトルとの距離をそれぞれ求めるステップと、前記所定数の画像特徴ベクトルにそれぞれ対応するパラメータ値を当該画像特徴ベクトルについて求めた前記距離に応じて重み付け加算し、前記原パラメータ値を算出するステップとを備えたものである第１態様の画像変換方法を提供する。
【００２５】
本発明の第９態様では、入力画像について画像特徴解析を行い、前記入力画像の画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、複数の画像特徴ベクトルと、照明方程式の，前記各画像特徴ベクトルとそれぞれ対応する複数のパラメータ値とを格納しており、前記第１の画像特徴ベクトルを受けて、これに対応する原パラメータ値を出力するパラメータ出力部と、指示された画像変換に応じて照明方程式パラメータの操作内容を定めるパラメータ操作設定部と、前記パラメータ出力部から出力された前記原パラメータ値を前記パラメータ操作設定部によって定められた操作内容に従って操作し、新パラメータ値を得るパラメータ操作部と、前記パラメータ操作部から出力された新パラメータ値を基にして出力画像を生成する画像生成部とを備えた画像変換装置を提供する。
【００２６】
本発明の第１０態様では、前記パラメータ出力部は、前記複数の画像特徴ベクトルを格納する画像特徴ベクトルデータベースと、前記複数のパラメータ値を格納する照明方程式パラメータデータベースとを備えたものである第９態様の画像変換装置を提供する。
【００２７】
本発明の第１１態様では、画像変換を行うサーバークライアントシステムとして、第９態様の画像特徴解析部、パラメータ出力部、パラメータ操作設定部およびパラメータ操作部を有するサーバと、第９態様の画像生成部を有するクライアントとを備え、前記クライアントは、前記サーバに画像変換の内容を指示するものを提供する。
【００２８】
本発明の第１２態様では、カメラと、前記カメラによって撮影された画像について画像特徴解析を行い、その画像特徴を表す第１の画像特徴ベクトルを出力する画像特徴解析部と、複数の画像特徴ベクトルを番号とともに格納しており、前記第１の画像特徴ベクトルと類似する画像特徴ベクトルを特定し、その番号を出力する画像特徴ベクトルデータベースとを備え、前記画像特徴ベクトルデータベースから出力された番号を送信する携帯機器を提供する。
【００２９】
本発明の第１３態様では、コンピュータに、第１の画像を第２の画像に変換する方法をコンピュータに実行させるプログラムとして、前記第１の画像について画像特徴解析を行う第１のステップと、画像特徴と照明方程式パラメータとの関係を参照し、前記第１のステップにおいて得た前記第１の画像の画像特徴から、これに対応する照明方程式パラメータの値を、原パラメータ値として取得する第２のステップと、指示された画像変換に応じて、照明方程式パラメータの操作内容を定める第３のステップと、前記原パラメータ値を、前記第３のステップにおいて定めた操作内容に従って操作し、新パラメータ値を得る第４のステップと、前記新パラメータ値を基にして、前記第２の画像を生成する第５のステップとをコンピュータに実行させるものを提供する。
【００３０】
以下、本発明の実施の形態について、図面を参照して説明する。
【００３１】
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像変換装置を示すブロック図である。図１において、画像特徴解析部１０１は入力画像ＩＩＮについて画像特徴解析を行い、入力画像特徴ベクトルＩＩＮＦＶを生成する。画像特徴ベクトルデータベース１０２は複数の画像特徴ベクトルを格納しており、照明方程式パラメータデータベース１０３は所定の照明方程式の、画像特徴ベクトルデータベース１０２に格納された各画像特徴ベクトルとそれぞれ対応付けられた複数のパラメータ値を格納している。すなわち、画像特徴と照明方程式パラメータとの関係が、準備されている。そして、画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３は、入力画像特徴ベクトルＩＩＮＦＶに対応する照明方程式パラメータの値を、原パラメータ値ＩＩＮＬＥＰとして出力する。画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３によって、パラメータ出力部１０が構成されている。
【００３２】
画像変換指示部１０５は例えば外部から指示された画像変換の内容を、画像変換指示信号ＩＣＩＳとして出力する。パラメータ操作設定部１０６は画像変換指示信号ＩＣＩＳによって指示された画像変換に応じて、照明方程式パラメータの操作内容を定め、これをパラメータ操作指示信号ＬＥＰＳとして出力する。パラメータ操作部１０４はパラメータ操作指示信号ＬＥＰＳによって指示された操作内容に従って、原パラメータ値ＩＩＮＬＥＰを操作し、新パラメータ値ＩＯＵＴＬＥＰを生成する。画像生成部１０７は新パラメータ値ＩＯＵＴＬＥＰを用いて照明方程式を演算し、出力画像ＩＯＵＴを生成する。
【００３３】
すなわち、第１の画像としての入力画像ＩＩＮが、照明方程式のパラメータ変換によって、第２の画像としての出力画像ＩＯＵＴに画像変換される。
【００３４】
ここでは、図２のような幾何条件と光学条件を想定して、次のような照明方程式を用いる。
【数１】
2006033257.tif 000016
【００３５】
ここで、Ｉｖは視点方向（視点ベクトルＶ）の輝度、Ｉａは環境光の輝度、ρａは環境光の反射率、Ｉｉは照明の輝度、ベクトルＮは表面法線ベクトル、ベクトルＬは照明方向を表わす照明ベクトル、ｄωは照明の立体角、ρｄは拡散反射成分の反射率、ρｓは鏡面反射成分の反射率、ｋｄとｋｓは拡散反射成分と鏡面反射成分の割合を表わし、ｋｄ＋ｋｓ＝１の関係を持つ。環境光とは、物体表面ＳＦ上の現在の注目点Ｐに多重反射等で周辺から回り込んで入射する光であり、視点方向（ベクトルＶ）の輝度Ｉｖのバイアス成分に当たる。注目点Ｐに放射照度
【数１Ａ】
2006033257.tif 000017
で照明から光が入射し、拡散反射成分がｋｄρｄ、鏡面反射成分がｋｓρｓの割合で、それぞれ入射光を反射する。
【００３６】
図１の照明方程式パラメータデータベース１０３では、パラメータとして、表面法線ベクトルＮ、照明ベクトルＬ、拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄ、鏡面反射成分反射率ρｓ、環境光輝度Ｉａ、および環境光反射率ρａの７種類が設定されている。なお、本発明に係る照明方程式の定義およびパラメータの種類は、ここで示したものに限られるものではなく、任意の照明方程式やパラメータが適用可能である。
【００３７】
図３は図１の画像変換装置の動作、すなわち本実施形態に係る画像変換方法を示すフローチャートである。なお、本実施形態に係る画像変換方法は、当該方法を実現するためのプログラムをコンピュータに実行させることによって、実現することができる。
【００３８】
まず、前処理Ｓ００において、画像特徴と照明方程式パラメータとの関係を学習する。この前処理Ｓ００の詳細については後述する。ここでは、予め学習により、図１に示すような画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３が得られているものとする。
【００３９】
ステップＳ１において、第１の画像としての入力画像ＩＩＮについて、画像特徴解析部１０１が画像特徴解析を行う。ここでの画像特徴解析は、例えば図４に示すようなウェーブレット変換などの空間周波数解析を用いて行う。このとき、画像特徴は多重解像度表現によって表される。図４の例では、ｎ回のスケーリングそれぞれにおいてウェーブレット変換の出力ＨＬ、ＬＨ、ＨＨ、ＬＬを求め、これらを階層ごとに束ねることによって、（３ｎ＋１）次元ベクトルを、第１の画像特徴ベクトルとしての入力画像特徴ベクトルＩＩＮＦＶとして求めている。なお、画像特徴ベクトルＩＩＮＦＶは画素ごとに必要になるため、各スケールにおいてＬＬ画像が同一サイズになるようにしている。もちろん、本発明における画像特徴の解析および表現方法はこれに限られるものではなく、任意の方法を適用することができる。
【００４０】
次にステップＳ２において、予め学習により求めた画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３を参照し、ステップＳ１で得た入力画像特徴ベクトルＩＩＮＦＶから、これに対応する照明方程式パラメータの値を原パラメータ値ＩＩＮＬＥＰとして取得する。ここでは、まず画像特徴ベクトルデータベース１０２が、格納しているｑ個の画像特徴ベクトルの中から、入力画像特徴ベクトルＩＩＮＦＶに最も近い画像特徴ベクトルを選定し、選定した画像特徴ベクトルの番号を入力画像特徴ベクトル番号ＩＩＮＦＶＮとして出力する。そして照明方程式パラメータデータベース１０３が、入力画像特徴ベクトル番号ＩＩＮＦＶＮを受けて、これに対応するパラメータ値を読み出し、原パラメータ値ＩＩＮＬＥＰとして出力する。
【００４１】
次にステップＳ３において、パラメータ操作設定部１０６が、指示された画像変換に応じて、照明方程式パラメータの操作内容を定める。そしてステップＳ４において、パラメータ操作部１０４が、ステップＳ２で得られた原パラメータ値ＩＩＮＬＥＰを、ステップＳ３で定めた操作内容に従って操作し、新パラメータ値ＩＯＵＴＬＥＰを得る。
【００４２】
図５はパラメータ操作の一例を示す図であり、原パラメータ値ＩＩＮＬＥＰと新パラメータ値ＩＯＵＴＬＥＰを１ライン分、画素ごとに書き並べている。各画素には上述した７個のパラメータが定められており、環境光輝度Ｉａ、環境光反射率ρａおよび照明ベクトルＬの３つは各画素で共通である。拡散反射成分比率ｋｄ、拡散反射成分反射率ρｄおよび鏡面反射成分反射率ρｓは物体の材質に依存するため、材質の種類を示す添字を付している。また、原パラメータ値ＩＩＮＬＥＰの表面法線ベクトルＮについても、第１の添字は材質の種類を示し、第２の添字は同一材質内での画素の違いを示している。
【００４３】
いま、画像変換指示信号ＩＣＩＳによって、「拡大率２倍の画像拡大」という画像変換が指示されたものとする。このときパラメータ操作設定部１０６は、「拡大率２倍の画像拡大」という画像変換を「表面法線ベクトルＮの２倍高密化」というパラメータ操作に変換し、パラメータ操作指示信号ＬＥＰＳとしてパラメータ操作部１０４に与える。
【００４４】
パラメータ操作部１０４はパラメータ操作指示信号ＬＥＰＳに従って、表面法線ベクトルＮを２倍に高密化する。すなわち、原パラメータ値ＩＩＮＬＥＰの画素数ｕが、新パラメータ値ＩＯＵＴＬＥＰでは画素数が２ｕになる。新パラメータ値ＩＯＵＴＬＥＰの表面法線ベクトルＮでは、高密化後の画素の違いを表わすため、第３の添字を加えている。このとき、材質の境界（例えば原パラメータ値ＩＩＮＬＥＰにおける画素２と画素３の間）はエッジ部となる可能性が高いので、高密化後もこの境界条件を保持するのが望ましい。具体的には、新パラメータ値ＩＯＵＴＬＥＰの画素４と画素５を、それぞれ原パラメータ値ＩＩＮＬＥＰの画素２と画素３に一致させる。すなわち、境界条件の保持のために、
Ｎ１，２＝Ｎ１，２，２  かつ  Ｎ２，１＝Ｎ２，１，１
とする。なお、図５では、画像拡大を表面法線ベクトルＮの高密化で説明したが、これは一例であり、本発明は操作すべき照明方程式パラメータやその操作方法を限定するものではなく、例えば、拡散反射成分比率ｋｄを高密化したり、表面法線ベクトルＮと拡散反射成分比率ｋｄを併せて高密化するなど、任意のパラメータ操作が可能である。
【００４５】
そして、ステップＳ５において、画像生成部１０７が、ステップＳ４で得られた新パラメータ値ＩＯＵＴＬＥＰを基にして、第２の画像としての出力画像ＩＯＵＴを生成する。
【００４６】
ここで、前処理Ｓ００の詳細について、図６を参照して説明する。ここでは、照明方程式から作成した画像を画像特徴ベクトルの学習に用いることによって、画像特徴ベクトルと照明方程式パラメータとの関連付けを行う。
【００４７】
具体的には、まず、照明方程式パラメータの値として、第１のパラメータ値ＬＥＰ１（番号１）を設定する。そしてこの第１のパラメータ値ＬＥＰ１を用いて、（数１）の演算を実行し、学習画像ＩＬを生成する。そして生成された学習画像ＩＬについて、上述のステップＳ１と実質的に同等の画像特徴解析を行い、画像特徴ベクトルＩＬＦＶを得る。この画像特徴ベクトルＩＬＦＶを、画像特徴ベクトルデータベース１０２の番号１に格納する。これにより、画像特徴ベクトルＩＬＦＶと第１のパラメータ値ＬＥＰ１とが対応付けられてデータベース１０２，１０３に保存される。このような処理を繰り返し実行することによって、図１に示すような、画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３が生成される。なお、図６では、画像生成部１０７が画像生成を行い、画像特徴解析部１０１が画像特徴解析を行っているが、前処理Ｓ００において他の手段によって画像生成や画像特徴解析を行うようにしてもよい。
【００４８】
以上のように本実施形態によると、入力画像ＩＩＮの画像特徴ベクトルＩＩＮＦＶから、入力画像ＩＩＮにふさわしい照明方程式のパラメータＩＩＮＬＥＰが選定される。そして、このパラメータＩＩＮＬＥＰを操作することによって、様々な出力画像ＩＯＵＴを生成することができる。したがって、学習時の画像データに制限されず、自由度の高い画像変換が可能になる。
【００４９】
また、照明方程式のパラメータＩＩＮＬＥＰを操作して画像変換を行うため、いたずらに多くの学習画像を準備する必要がなく、したがって、学習画像数を抑えることができる。また、前処理において、学習画像ＩＬは照明方程式を用いて計算機によって生成することが可能であるので、学習画像生成のために実物を用いた撮影を必要としない。したがって、処理が簡易になるとともに、多様な学習画像を容易に準備することができる。なお、学習画像ＩＬの画像特徴ＩＬＦＶが入力画像ＩＩＮの画像特徴ＩＩＮＦＶに近いほど、適切な照明方程式パラメータが取得できる。そこで、学習画像ＩＬを生成する際に、入力画像ＩＩＮが撮影された際の条件を想定して照明方程式パラメータを設定することが望ましい。例えば、入力画像ＩＩＮの撮影場所が限定でき、その結果、照明位置が限定できる場合は、照明ベクトルＬは入力画像ＩＩＮが撮影された際のデータを利用する。
【００５０】
なお、本実施形態では、画像変換として画像拡大を例にとって説明したが、本発明はこれに限定されるものではなく、他の画像変換についても同様にパラメータ操作が可能である。例えば、照明方向を変更したいときは、照明ベクトルＬを変更すればよいし、また拡散反射成分と鏡面反射成分の割合を変更したいときは、拡散反射成分比率ｋｄを変更すればよい。
【００５１】
また、鏡面反射成分反射率ρｓは双方向反射率で定義されているため、視線方向に応じて変化する。そこで、例えば（数２）で与えられるＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを導入すれば、照明方程式パラメータに視線ベクトルＶ、粗さ係数ｍ、フレネル係数Ｆλ  を加えることができる。これにより、視点方向の変更、表面粗さの変更などの画像変換が可能になる。
【数２】
2006033257.tif 000018
【００５２】
ここで、図７に示すように、ベクトルＨは視点ベクトルＶと照明ベクトルＬの中間ベクトルであり、βは中間ベクトルＨと表面法線ベクトルＮとの角度を表す。ｍは物体表面の粗さを表わす係数であり、ｍが小さいときは角度βが小さい部分すなわち表面法線ベクトルＮ付近に強い反射を示し、ｍが大きいときは角度βが大きい部分すなわち表面法線ベクトルＮから離れた部分にも反射分布が広がる。Ｇは幾何減衰率であり、物体表面の凹凸による遮光の影響を表わす。ｎは屈折率である。
【００５３】
このように、本発明では、照明方程式は任意に定義可能であり、（数１）や（数２）に限定されるものではない。
【００５４】
また、本実施形態では、画像特徴ベクトルＩＩＮＦＶに最も近い画像特徴ベクトルに対応する照明方程式パラメータを原パラメータ値ＩＩＮＬＥＰとして取得するものとしたが、原パラメータ値ＩＩＮＬＥＰの取得方法はこれに限られるものではない。例えば図８に示すように、取得してもよい。すなわち、まず、入力画像特徴ベクトルＩＩＮＦＶと類似する所定数（図８では３個）の画像特徴ベクトルを選択する。そして、選択した各画像特徴ベクトルについて、入力画像特徴ベクトルＩＩＮＦＶとの距離をそれぞれ求め、この距離に応じた重み付け係数ＩＩＮＦＶＷＦを定める。そして、選択した３個の画像特徴ベクトルにそれぞれ対応するパラメータ値を、重み付け係数ＩＩＮＦＶＷＦを用いて重み付け加算し、その結果を原パラメータ値ＩＩＮＬＥＰとして出力する。なお、重み付け加算の代わりに、選択した所定数の画像特徴ベクトルにそれぞれ対応するパラメータ値について、単に平均をとってもかまわない。
【００５５】
なお、画像特徴と照明方程式パラメータとの関係は、予め学習されている必然性はなく、任意の手段によって準備してかまわない。
【００５６】
以下、本発明を実現する構成例を例示する。
【００５７】
（第１の構成例）
図９は第１の構成例を示す図であり、パーソナルコンピュータを用いて本発明に係る画像変換を行う構成の一例である。カメラ２１の解像度はディスプレイ２２の解像度よりも低く、ディスプレイ２２の表示能力を最大限に生かすために、メインメモリ２３にロードされた画像変換プログラムによって拡大画像を作成する。カメラ２１で取り込まれた低解像度画像は画像メモリ２４に記録される。外部記録装置２５には予め画像特徴ベクトルデータベース１０２と照明方程式パラメータデータベース１０３とが準備されており、メインメモリ２３の画像変換プログラムから参照可能になっている。画像変換プログラムの動作や画像特徴ベクトルデータベース１０２と照明方程式パラメータデータベース１０３の内容や作成方法等は、第１の実施形態で説明したとおりである。メインメモリ２３の画像変換プログラムは、メモリバス２６を介して画像メモリ２４の低解像度画像を読み込み、これをディスプレイ２２の解像度に合わせて高解像度画像に変換し、再びメモリバス２６経由でビデオメモリ２７に転送する。ビデオメモリ２７に転送された高解像度画像はディスプレイ２２において観察できる。
【００５８】
なお、本発明は図９の構成に拘束されるものではなく、様々な構成をとることができる。例えば、画像特徴ベクトルデータベース１０２や照明方程式パラメータデータベース１０３を別のパーソナルコンピュータに接続された外部記憶装置からネットワーク２８を介して取得してもかまわない。また低解像度画像は、ネットワーク２８を介して取得してもかまわない。
【００５９】
（第２の構成例）
図１０は第２の構成例を示す図であり、サーバークライアントシステムを用いて本発明に係る画像変換を行う構成の一例である。カメラ３１の解像度はディスプレイ３２の解像度よりも低く、ディスプレイ３２の表示能力を最大限に生かすために、サーバークライアントシステムにおいて画像変換を実行する。サーバー３３では、第１の実施形態と同様に、画像特徴解析部１０１、画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３が、入力画像ＩＩＮから原パラメータ値ＩＩＮＬＥＰを算出する。画像特徴ベクトルデータベース１０２および照明方程式パラメータデータベース１０３によって、パラメータ出力部１０が構成されている。一方、クライアント３４の画像変換指示部１０５から、画像変換の指示（本例では画像拡大）が画像変換指示信号ＩＣＩＳとしてサーバー３３のパラメータ操作設定部１０６に渡される。パラメータ操作設定部１０６は画像変換指示信号ＩＣＩＳによる画像変換の内容を照明方程式パラメータの操作内容に置き換え、パラメータ操作指示信号ＬＥＰＳとしてパラメータ操作部１０４に出力する。パラメータ操作部１０４は原パラメータ値ＩＩＮＬＥＰを操作し、新パラメータ値ＩＯＵＴＬＥＰを生成する。
【００６０】
このような動作によって、サーバー３３はクライアント３４からの画像変換指示に従った新パラメータ値ＩＯＵＴＬＥＰを、ネットワーク３５を介してクライアント３４に提供できる。新パラメータ値ＩＯＵＴＬＥＰを受け取ったクライアント３４では、画像生成部１０７が拡大画像を生成し、ディスプレイ３２に供給する。
【００６１】
なお、本発明は図１０の構成に拘束されるものではなく、画像機器の組み合わせや、各手段のシステム上の位置（サーバー３３に属するかクライアント３４に属するか、またはそれ以外に属するかなど）は、任意である。
【００６２】
（第３の構成例）
図１１は第３の構成例を示す図であり、カメラ付携帯電話とテレビを用いて本発明に係る画像処理を行う構成の一例である。携帯機器としてのカメラ付携帯電話４１はネットワーク４２またはメモリカード４３を介してテレビ４４に画像データを送ることができる。カメラ付携帯電話４１のカメラ４５の解像度はテレビ４４の解像度よりも低く、テレビ４４の表示能力を最大限に生かすために、テレビ４４の内部回路に実装された本発明に係る画像変換装置によって画像拡大を実行する。
【００６３】
利用料金の面を考えると、カメラ付携帯電話４１からテレビ４４へ送るデータ量は、小さいほど利用者から歓迎される。そこで、ネットワーク４２で送信するデータは、入力画像特徴ベクトル番号ＩＩＮＦＶＮとするのが望ましい。また、ネットワーク４２における盗聴の被害を最小限に抑えるためにも、番号自体には特に意味を持たない入力画像特徴ベクトル番号ＩＩＮＦＶＮを送ることが望ましい。すなわち、カメラ付き携帯電話４１が画像特徴ベクトルデータベース１０２を持ち、テレビ４４が照明方程式パラメータデータベースを持つように構成し、その両方がそろってはじめて所望の画像変換が実現できるようにする。これにより、利用料金を低く抑えることができるとともに、盗聴の被害を最小限に抑えることができる。図１１では、カメラ付携帯電話４１が、カメラ４５と、カメラ４５によって撮影された画像ＩＩＮについて画像特徴解析を行い、第１の画像特徴ベクトルＩＩＮＦＶを出力する画像特徴解析部１０１と、格納している複数の画像特徴ベクトルの中から第１の画像特徴ベクトルＩＩＮＦＶと類似する画像特徴ベクトルを特定し、その番号ＩＩＮＦＶＮを出力する画像特徴ベクトルデータベース１０２とを備えている構成を示している。
【００６４】
なお、本発明は図１１の構成に拘束されるものではなく、様々な構成を取ることができる。例えば、カメラ付携帯電話４１はデジタルスチルカメラやビデオムービーカメラでもあってもかまわない。
【００６５】
以上のように本発明は、広く普及しているパーソナルコンピュータや、サーバークライアントシステム、または、カメラ付携帯電話やデジタルスチルカメラ、ビデオムービーカメラ、テレビなどビデオ機器全般で実行可能であり、特別な機器、運用、管理などは必要ない。なお、専用ハードウェアへの実装やソフトウェアとハードウェアの組み合わせなど、機器接続形態や機器内部の構成を拘束するものではない。
【産業上の利用可能性】
【００６６】
本発明では、拡大縮小、照明変換、視点変換、拡散／鏡面反射成分の比率変更など、様々な画像変換を自由に実施できるので、例えば、スポーツや観光、記念撮影など目の前のシーンを映像として記録する映像エンタテイメント分野において利用することができる。また、文化芸術の分野では、被写体や撮影場所に制限されない自由度の高いデジタルアーカイブシステムを提供するために利用することができる。
【図面の簡単な説明】
【００６７】
【図１】本発明の第１の実施形態に係る画像変換装置を示すブロック図である。
【図２】照明方程式の幾何条件と光学条件を説明するための図である。
【図３】本発明の第１の実施形態に係る画像変換方法を示すフローチャートである。
【図４】ウェーブレット変換を用いた画像特徴解析を表す図である。
【図５】画像変換を行うためのパラメータ操作の一例を示す図である。
【図６】画像特徴と照明方程式パラメータとの関係を学習する方法を示す図である。
【図７】照明方程式の幾何条件と光学条件を説明するための図である。
【図８】画像特徴に応じたパラメータ取得の他の方法を示す図である。
【図９】本発明を実現する第１の構成例であり、パーソナルコンピュータを用いた構成を示す図である。
【図１０】本発明を実現する第２の構成例であり、サーバークライアントシステムを用いた構成を示す図である。
【図１１】本発明を実現する第３の構成例であり、カメラ付携帯電話とテレビを用いた構成を示す図である。
【符号の説明】
【００６８】
１０  パラメータ出力部
３３  サーバー
３４  クライアント
４１  カメラ付携帯電話（携帯機器）
４５  カメラ
１０１  画像特徴解析部
１０２  画像特徴ベクトルデータベース
１０３  照明方程式パラメータデータベース
１０４  パラメータ操作部
１０５  画像変換指示部
１０６  パラメータ操作設定部
１０７  画像生成部
ＩＩＮ  入力画像（第１の画像）
ＩＩＮＦＶ  入力画像特徴ベクトル（第１の画像特徴ベクトル）
ＩＩＮＦＶＮ  入力画像特徴ベクトル番号
ＩＩＮＬＥＰ  原パラメータ値
ＩＣＩＳ  画像変換指示信号
ＬＥＰＳ  パラメータ操作指示信号
ＩＯＵＴＬＥＰ  新パラメータ値
ＩＯＵＴ  出力画像（第２の画像）
ＬＥＰ１  第１のパラメータ値
ＩＬ  学習画像
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2006033257.tif 000019
【図２】
2006033257.tif 000020
【図３】
2006033257.tif 000021
【図４】
2006033257.tif 000022
【図５】
2006033257.tif 000023
【図６】
2006033257.tif 000024
【図７】
2006033257.tif 000025
【図８】
2006033257.tif 000026
【図９】
2006033257.tif 000027
【図１０】
2006033257.tif 000028
【図１１】
2006033257.tif 000029
【国際調査報告】
2006033257.tif 000030
2006033257.tif 000031
2006033257.tif 000032
2006033257.tif 000033