(57)【要約】【課題】  学習方式を用いた画像変換において、従来よりも、変換後の画像における画質劣化を抑える。【解決手段】  入力画像ＩＩＮについて画像特徴解析（１０１）を行い、入力画像特徴ベクトルＩＩＮＦＶを得る。これに最も類似する画像特徴ベクトルＩＩＮＱＦＶを入力画像特徴ベクトル群（１０２）の中から特定し（１０３）、ベクトル量子化誤差ＶＱＥを算出する（１０４）。誤差ＶＱＥが閾値よりも大きいとき、出力画像特徴ベクトル群（１０７）の中から選択した複数の画像特徴ベクトルＣｂＩＯＵＴＦＶｓを用いて、補間演算によって画像特徴ベクトルＣｂＩＯＵＴＦＶを生成し（１０８）、出力画像特徴ベクトルＩＯＵＴＦＶとして選択する（１０５）。この出力画像特徴ベクトルＩＯＵＴＦＶから、変換後の出力画像ＩＯＵＴを生成する（１０９）。【選択図】  図１
2006209396.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像に対して所定の画像変換を行い、第２の画像を生成する方法であって、
前記第１の画像について画像特徴解析を行い、第１の画像特徴ベクトルを得る画像特徴解析ステップと、
前記所定の画像変換に応じて予め学習して得た、入力画像特徴ベクトル群と出力画像特徴ベクトル群との対応関係を表す置換データを参照し、前記第１の画像特徴ベクトルを基にして、前記所定の画像変換後における第２の画像特徴ベクトルを得る画像特徴ベクトル変換ステップと、
前記第２の画像特徴ベクトルから、前記第２の画像を生成する画像生成ステップとを備え、
前記画像特徴ベクトル変換ステップは、
前記置換データに含まれた入力画像特徴ベクトル群の中に、前記第１の画像特徴ベクトルと類似する画像特徴ベクトルが含まれているか否かを判断する第１のステップと、
前記第１のステップにおいて、含まれていないと判断したとき、前記置換データに含まれた出力画像特徴ベクトル群の中から選択した複数の画像特徴ベクトルを用いて、補間演算によって、前記第２の画像特徴ベクトルを生成する第２のステップとを備えたものである
ことを特徴とする画像変換方法。
【請求項２】
第１の画像に対して所定の画像変換を行い、第２の画像を生成する方法であって、
前記第１の画像について画像特徴解析を行い、第１の画像特徴ベクトルを得る画像特徴解析ステップと、
前記所定の画像変換に応じて予め学習して得た、入力画像特徴ベクトル群と出力画像特徴ベクトル群との対応関係を表す置換データを参照し、前記第１の画像特徴ベクトルを基にして、前記所定の画像変換後における第２の画像特徴ベクトルを得る画像特徴ベクトル変換ステップと、
前記第２の画像特徴ベクトルから、前記第２の画像を生成する画像生成ステップとを備え、
前記画像特徴ベクトル変換ステップは、
前記置換データに含まれた入力画像特徴ベクトル群の中に、前記第１の画像特徴ベクトルと類似する画像特徴ベクトルが含まれているか否かを判断する第１のステップと、
前記第１のステップにおいて、含まれていないと判断したとき、前記所定の変換に応じた入力画像特徴ベクトルと出力画像特徴ベクトルとの新たな対を生成し、前記置換データに追加する第２のステップとを備えたものである
ことを特徴とする画像変換方法。
【請求項３】
請求項１または２において、
前記第１のステップは、
前記入力画像特徴ベクトル群の中から、前記第１の画像特徴ベクトルに最も類似する第３の画像特徴ベクトルを特定するステップと、
特定した前記第３の画像特徴ベクトルについて、前記第１の画像特徴ベクトルとの差を算出するステップとを有し、
算出した差が所定の閾値よりも大きいとき、前記入力画像特徴ベクトル群の中に、前記第１の画像特徴ベクトルと類似する画像特徴ベクトルが含まれていないと判断する
ことを特徴とする画像変換方法。
【請求項４】
請求項１または２において、
前記置換データに含まれた入力画像特徴ベクトル群および出力画像特徴ベクトル群は、複数の画像に対する空間周波数解析から生成されたものであり、
前記画像特徴解析ステップは、空間周波数解析を用いて、前記第１の画像特徴ベクトルを得るものである
ことを特徴とする画像変換方法。
【請求項５】
請求項２において、
前記第３のステップは、
前記第１の画像に対する前記所定の画像変換後の画像の候補となる、追加候補画像を取得するステップと、
前記追加候補画像に対して、前記所定の画像変換の逆変換を行うステップと、
逆変換後の画像の画像特徴ベクトルについて、前記第１の画像特徴ベクトルとの差を算出するステップとを備え、
算出した差が前記所定の閾値よりも小さいとき、前記第１の画像特徴ベクトルと前記追加候補画像の画像特徴ベクトルとを、対にして、前記置換データに追加するものである
ことを特徴とする画像変換方法。
【請求項６】
請求項５において、
前記所定の画像変換は、画像拡大であり、
前記第１の画像の被写体を、前記第１の画像の撮影時よりも高解像度で撮影することによって、前記追加候補画像を取得するものである
ことを特徴とする画像変換方法。
【請求項７】
請求項２において、
前記置換データにおいて、各入力画像特徴ベクトルおよび各出力画像特徴ベクトルに、それぞれ、種類が、対応付けて表されており、
前記第３のステップは、
前記置換データに含まれた入力画像特徴ベクトル群にそれぞれ対応付けられた種類を用いて、補間演算によって、前記第１の画像に係る第１の種類を求めるステップと、
前記第１の種類から、前記所定の画像変換の内容に従って、第２の種類を求めるステップと、
前記第２の種類を基にして、前記第１の画像に対する前記所定の画像変換後の画像の候補となる、追加画像を取得するステップとを備え、
前記第１の画像特徴ベクトルと前記追加画像の画像特徴ベクトルとを、対にして、前記置換データに追加するものである
ことを特徴とする画像変換方法。
【請求項８】
請求項７において、
前記所定の画像変換は、視点方向または照明方向を所定の角度変える視点変換または照明変換であり、
前記種類は、視点方向または照明方向を示す角度である
ことを特徴とする画像変換方法。
【請求項９】
第１の画像に対して所定の画像変換を行い、第２の画像を生成する装置であって、
前記第１の画像について画像特徴解析を行い、第１の画像特徴ベクトルを得る画像特徴解析部と、
前記所定の画像変換に応じて予め学習して得た、入力画像特徴ベクトル群と出力画像特徴ベクトル群との対応関係を表す置換データを有し、この置換データを参照して、前記第１の画像特徴ベクトルを基にして、前記所定の画像変換後における第２の画像特徴ベクトルを得る画像特徴ベクトル変換部と、
前記第２の画像特徴ベクトルから、前記第２の画像を生成する画像生成部とを備え、
前記画像特徴ベクトル変換部は、
前記置換データに含まれた入力画像特徴ベクトル群の中に、前記第１の画像特徴ベクトルと類似する画像特徴ベクトルが含まれているか否かを判断する第１の手段と、
前記第１の手段によって、含まれていないと判断されたとき、前記置換データに含まれた出力画像特徴ベクトル群の中から選択した複数の画像特徴ベクトルを用いて、補間演算によって、前記第２の画像特徴ベクトルを生成する第２の手段とを備えたものである
ことを特徴とする画像変換装置。
【請求項１０】
第１の画像に対して所定の画像変換を行い、第２の画像を生成する装置であって、
前記第１の画像について画像特徴解析を行い、第１の画像特徴ベクトルを得る画像特徴解析部と、
前記所定の画像変換に応じて予め学習して得た、入力画像特徴ベクトル群と出力画像特徴ベクトル群との対応関係を表す置換データを有し、この置換データを参照し、前記第１の画像特徴ベクトルを基にして、前記所定の画像変換後における第２の画像特徴ベクトルを得る画像特徴ベクトル変換部と、
前記第２の画像特徴ベクトルから、前記第２の画像を生成する画像生成部とを備え、
前記画像特徴ベクトル変換部は、
前記置換データに含まれた入力画像特徴ベクトル群の中に、前記第１の画像特徴ベクトルと類似する画像特徴ベクトルが含まれているか否かを判断する第１の手段と、
前記第１の手段によって、含まれていないと判断されたとき、前記所定の変換に応じた入力画像特徴ベクトルと出力画像特徴ベクトルとの新たな対を生成し、前記置換データに追加する第２の手段とを備えたものである
ことを特徴とする画像変換装置。
【請求項１１】
画像変換を行うサーバークライアントシステムであって、
請求項９または１０の画像特徴解析部および画像特徴ベクトル変換部を有するサーバーと、
請求項９または１０の画像生成部を有するクライアントとを備えた
ことを特徴とするサーバークライアントシステム。
【請求項１２】
第１の画像に対して所定の画像変換を行い、第２の画像を生成する方法をコンピュータに実行させるプログラムであって、
前記第１の画像について画像特徴解析を行い、第１の画像特徴ベクトルを得る画像特徴解析ステップと、
前記所定の画像変換に応じて予め学習して得た、入力画像特徴ベクトル群と出力画像特徴ベクトル群との対応関係を表す置換データを参照し、前記第１の画像特徴ベクトルを基にして、前記所定の画像変換後における第２の画像特徴ベクトルを得る画像特徴ベクトル変換ステップと、
前記第２の画像特徴ベクトルから、前記第２の画像を生成する画像生成ステップとをコンピュータに実行させるものであり、
前記画像特徴ベクトル変換ステップは、
前記置換データに含まれた入力画像特徴ベクトル群の中に、前記第１の画像特徴ベクトルと類似する画像特徴ベクトルが含まれているか否かを判断する第１のステップと、
前記第１のステップにおいて、含まれていないと判断したとき、前記置換データに含まれた出力画像特徴ベクトル群の中から選択した複数の画像特徴ベクトルを用いて、補間演算によって、前記第２の画像特徴ベクトルを生成する第２のステップとを備えたものである
ことを特徴とする画像変換プログラム。
【請求項１３】
第１の画像に対して所定の画像変換を行い、第２の画像を生成する方法をコンピュータに実行させるプログラムであって、
前記第１の画像について画像特徴解析を行い、第１の画像特徴ベクトルを得る画像特徴解析ステップと、
前記所定の画像変換に応じて予め学習して得た、入力画像特徴ベクトル群と出力画像特徴ベクトル群との対応関係を表す置換データを参照し、前記第１の画像特徴ベクトルを基にして、前記所定の画像変換後における第２の画像特徴ベクトルを得る画像特徴ベクトル変換ステップと、
前記第２の画像特徴ベクトルから、前記第２の画像を生成する画像生成ステップとをコンピュータに実行させるものであり、
前記画像特徴ベクトル変換ステップは、
前記置換データに含まれた入力画像特徴ベクトル群の中に、前記第１の画像特徴ベクトルと類似する画像特徴ベクトルが含まれているか否かを判断する第１のステップと、
前記第１のステップにおいて、含まれていないと判断したとき、前記所定の変換に応じた入力画像特徴ベクトルと出力画像特徴ベクトルとの新たな対を生成し、前記置換データに追加する第２のステップとを備えたものである
ことを特徴とする画像変換プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関するものであり、特に、画像拡大や照明変換、視点変換などの画像変換を実現する技術に関する。
【背景技術】
【０００２】
画像機器とネットワークのデジタル化により、任意の画像機器が接続できるようになり、画像交換の自由度が高まっている。そして、利用者がシステムの違いに制約を受けることなく、自由に画像を扱える環境が整備されてきた。例えば、利用者は、デジタルスチルカメラで撮影した画像をプリンタに出力したり、ネットワーク上で公開したり、家庭のテレビで鑑賞したりすることが可能になっている。
【０００３】
逆にシステム側は、様々な画像フォーマットに対応する必要があり、画像フォーマット変換には自ずと高度化が求められる。例えば画像サイズの変換は頻繁に発生し、アップコンバータ（画像数、ライン数を増やす変換装置）やダウンコンバータ（画素数、ライン数を減らす装置）が必要になる。例えば、６００ｄｐｉの解像度でＡ４用紙（２９７ｍｍ×２１０ｍｍ）に印刷する場合、７１２８画素×５０４０ラインの原稿が必要になるが、多くのデジタルスチルカメラの解像度はこれを下回るため、アップコンバータが必要になる。一方、ネットワーク上に公開された画像は、最終的な出力形態が決まっていないため、出力デバイスが決まる都度、対応する画像サイズに変換する必要がある。また、家庭用テレビでは、デジタル地上波のサービスが開始されており、従来の標準テレビ画像とＨＤ（High Definition）テレビ画像とが混在し、画像サイズの変換が頻繁に用いられる。
【０００４】
画像拡大では、取得時には存在しなかった画像データを新たに作り出す必要があり、すでに様々な方法が提案されている。例えば、一般的な手法として、バイリニア法やバイキュービック法などの内挿を用いる方法がある（非特許文献１）。ところが、内挿を用いた場合、サンプリングデータの中間的な値しか生成できないため、エッジなどの先鋭度が劣化し、ぼけた画像になる傾向がある。そこで、初期拡大画像として内挿画像を用い、その後、エッジ部を抽出してエッジのみを強調する技術が開示されている（特許文献１、非特許文献２）。しかし、エッジ部とノイズの切り分けが難しく、エッジ部の強調とともにノイズも強調されてしまい、画質劣化を招く傾向がある。
【０００５】
そこで、画質劣化を抑えて画像拡大を行う方法として、学習方式がある。すなわち、拡大画像に相当する高解像度画像を高精細カメラ等によって予め撮影し、この高精細画像から低解像度画像を作成する。低解像度画像の生成は、ローパスフィルタを通してサブサンプリングする方法によって行う。このような低解像度画像と高解像度画像との組を多数準備し、その関係を画像拡大方法として学習する。したがって、学習方式では、上述したような強調処理は存在せず、このため、比較的画質劣化の少ない画像拡大が実現できる。
【０００６】
学習方式の例としては、例えば、隣接画素との輝度値の関係がマルコフ過程で決まるとして、統計的手法で学習を行う技術が開示されている（非特許文献３）。また、低解像度画像から高解像度画像への変換対において画素ごとに特徴ベクトルを求め、入力画素の特徴ベクトルとの一致度と、周辺画素との一貫性とを基にして、拡大画像を生成する技術が開示されている（非特許文献４）。
【０００７】
また学習方式は、画像拡大だけでなく、たとえば照明方向の変換などにも活用されている（非特許文献５）。非特許文献５では、テクスチャ（物体表面の凹凸や模様などのこと）の異なる複数の物体に異なる複数の方向から照明をあてて、学習データを作成し、テクスチャ感を保ちながら照明方向を変換する技術を開示している。
【特許文献１】米国特許５，７１７，７８９号(図５)
【非特許文献１】荒屋真二著，「明解  ３次元コンピュータグラフィックス」，共立出版，ｐｐ．１４４−１４５，２００３年９月２５日
【非特許文献２】中静真ら、「多重スケール輝度こう配平面における画像高解像度化」、電子情報通信学会論文誌 Ｄ−ＩＩ  Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ  Ｎｏ．１０  ｐｐ．２２４９−２２５８，１９９８年１０月
【非特許文献３】Freemanら、「Learning Low-Level Vision」，International Journal of Computer Vision 40(1)，ｐｐ．２５−４７，２０００年
【非特許文献４】Hertzmannら、「Image Analogies」，ＳＩＧＧＲＡＰＨ  ２００１  予稿集，ｐｐ．３２７−３４０，２００１年
【非特許文献５】Malikら、「Representing and Recognizing the Visual Appearance of Materials using Three-dimensional Textons」，International Journal of Computer Vision 43(1)，ｐｐ．２９−４４，２００１年
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところが、従来技術では、次のような問題があった。
【０００９】
上述した学習方式では、画像変換用の学習データは固定である。このため、学習時には想定していないような画像が入力された場合、その画像の画像変換にとって適切な学習データが、必ずしも取得できない。この結果、変換後の画像の画質が保証されず、画質劣化を招く可能性がある。また、学習時には想定していないような画像が入力した場合の対処方法については、上述した各先行技術文献には、何ら示されていない。
【００１０】
前記の問題に鑑み、本発明は、学習方式を用いた画像変換において、学習時には想定していないような画像が入力された場合であっても、変換後の画像における画質劣化を抑えることを課題とする。
【課題を解決するための手段】
【００１１】
本発明は、画像変換として、変換元の第１の画像について画像特徴解析を行い、第１の画像特徴ベクトルを得て、所定の画像変換に応じて予め学習して得た、入力画像特徴ベクトル群と出力画像特徴ベクトル群との対応関係を表す置換データを参照し、第１の画像特徴ベクトルを基にして、所定の画像変換後における第２の画像特徴ベクトルを得て、この第２の画像特徴ベクトルから、変換後の第２の画像を生成するものである。
【００１２】
さらに、本発明では、画像特徴ベクトル変換の際に、置換データに含まれた入力画像特徴ベクトル群の中に、第１の画像特徴ベクトルと類似する画像特徴ベクトルが含まれているか否かを判断し、含まれていないとき、置換データに含まれた出力画像特徴ベクトル群の中から選択した複数の画像特徴ベクトルを用いて、補間演算によって、第２の画像特徴ベクトルを生成する。
【００１３】
本発明によると、予め学習して得た置換データを参照して、変換元の第１の画像から得た第１の画像特徴ベクトルを、変換後の第２の画像の基になる第２の画像特徴ベクトルに、変換する。そしてその変換の際には、置換データに含まれた入力画像特徴ベクトル群の中に第１の画像特徴ベクトルと類似する画像特徴ベクトルが含まれていないとき、置換データに含まれた出力画像特徴ベクトル群の中から選択した複数の画像特徴ベクトルを用いて、補間演算によって、第２の画像特徴ベクトルを生成する。すなわち、第１の画像特徴ベクトルについて、予め学習した置換データの中に、画像変換を行う上で十分に類似した画像特徴ベクトルがない場合には、複数の画像特徴ベクトルを用いた補間演算によって、第２の画像特徴ベクトルが生成される。このため、学習時には想定していないような画像が入力された場合でも、学習データに含まれた出力画像特徴ベクトル群の中からただ単に選択するよりも、より適切な第２の画像特徴ベクトルを生成することができる。したがって、変換後の第２の画像における画質劣化を、抑えることができる。
【００１４】
また、本発明では、画像特徴ベクトル変換の際に、置換データに含まれた入力画像特徴ベクトル群の中に、第１の画像特徴ベクトルと類似する画像特徴ベクトルが含まれているか否かを判断し、含まれていないとき、所定の変換に応じた入力画像特徴ベクトルと出力画像特徴ベクトルとの新たな対を生成し、置換データに追加する。
【００１５】
本発明によると、予め学習して得た置換データを参照して、変換元の第１の画像から得た第１の画像特徴ベクトルを、変換後の第２の画像の基になる第２の画像特徴ベクトルに、変換する。そしてその変換の際には、置換データに含まれた入力画像特徴ベクトル群の中に、第１の画像特徴ベクトルと類似する画像特徴ベクトルが含まれていないとき、所定の変換に応じた入力画像特徴ベクトルと出力画像特徴ベクトルとの新たな対を生成し、置換データに追加する。すなわち、第１の画像特徴ベクトルについて、予め学習した置換データの中に、画像変換を行う上で十分に類似した画像特徴ベクトルがない場合には、所定の変換に応じた入力画像特徴ベクトルと出力画像特徴ベクトルとの新たな対が、置換データに追加される。このため、学習時には想定していないような画像が入力された場合でも、これに応じて、画像変換用の学習データが更新されることになる。したがって、変換後の第２の画像における画質劣化を、抑えることができる。
【００１６】
例えば、画像拡大の場合には、第１の画像特徴ベクトルと、第１の画像の被写体を高解像度で撮影した画像の画像特徴ベクトルとを対にして、追加すればよい。また、照明変換や視点変換の場合には、第１の画像特徴ベクトルと、第１の画像の被写体を、別の方向から照明して撮影した画像、または別の視点から撮影した画像の画像特徴ベクトルとを対にして、追加すればよい。
【発明の効果】
【００１７】
本発明によると、画像特徴ベクトル変換を利用した画像変換において、学習時には想定していないような画像が入力された場合であっても、学習データに含まれた画像特徴ベクトルの補間演算を用いることによって、より適切な画像特徴ベクトル変換を実現することができる。また、入力画像に応じて、画像特徴ベクトルの変換対を追加することによって、学習データを更新することができる。したがって、変換後の画像における画質劣化を、抑えることができる。
【発明を実施するための最良の形態】
【００１８】
本発明の第１態様では、第１の画像に対して所定の画像変換を行い、第２の画像を生成する方法として、前記第１の画像について画像特徴解析を行い、第１の画像特徴ベクトルを得る画像特徴解析ステップと、前記所定の画像変換に応じて予め学習して得た、入力画像特徴ベクトル群と出力画像特徴ベクトル群との対応関係を表す置換データを参照し、前記第１の画像特徴ベクトルを基にして、前記所定の画像変換後における第２の画像特徴ベクトルを得る画像特徴ベクトル変換ステップと、前記第２の画像特徴ベクトルから前記第２の画像を生成する画像生成ステップとを備え、前記画像特徴ベクトル変換ステップは、前記置換データに含まれた入力画像特徴ベクトル群の中に前記第１の画像特徴ベクトルと類似する画像特徴ベクトルが含まれているか否かを判断する第１のステップと、前記第１のステップにおいて、含まれていないと判断したとき、前記置換データに含まれた出力画像特徴ベクトル群の中から選択した複数の画像特徴ベクトルを用いて、補間演算によって、前記第２の画像特徴ベクトルを生成する第２のステップとを備えたものを提供する。
【００１９】
本発明の第２態様では、第１の画像に対して所定の画像変換を行い、第２の画像を生成する方法として、前記第１の画像について画像特徴解析を行い、第１の画像特徴ベクトルを得る画像特徴解析ステップと、前記所定の画像変換に応じて予め学習して得た、入力画像特徴ベクトル群と出力画像特徴ベクトル群との対応関係を表す置換データを参照し、前記第１の画像特徴ベクトルを基にして、前記所定の画像変換後における第２の画像特徴ベクトルを得る画像特徴ベクトル変換ステップと、前記第２の画像特徴ベクトルから前記第２の画像を生成する画像生成ステップとを備え、前記画像特徴ベクトル変換ステップは、前記置換データに含まれた入力画像特徴ベクトル群の中に前記第１の画像特徴ベクトルと類似する画像特徴ベクトルが含まれているか否かを判断する第１のステップと、前記第１のステップにおいて、含まれていないと判断したとき、前記所定の変換に応じた入力画像特徴ベクトルと出力画像特徴ベクトルとの新たな対を生成し、前記置換データに追加する第２のステップとを備えたものを提供する。
【００２０】
本発明の第３態様では、前記第１のステップは、前記入力画像特徴ベクトル群の中から、前記第１の画像特徴ベクトルに最も類似する第３の画像特徴ベクトルを特定するステップと、特定した前記第３の画像特徴ベクトルについて、前記第１の画像特徴ベクトルとの差を算出するステップとを有し、算出した差が所定の閾値よりも大きいとき、前記入力画像特徴ベクトル群の中に、前記第１の画像特徴ベクトルと類似する画像特徴ベクトルが含まれていないと判断する第１または第２態様の画像変換方法を提供する。
【００２１】
本発明の第４態様では、前記置換データに含まれた入力画像特徴ベクトル群および出力画像特徴ベクトル群は、複数の画像に対する空間周波数解析から生成されたものであり、前記画像特徴解析ステップは、空間周波数解析を用いて、前記第１の画像特徴ベクトルを得る第１または第２態様の画像変換方法を提供する。
【００２２】
本発明の第５態様では、前記第３のステップは、前記第１の画像に対する前記所定の画像変換後の画像の候補となる追加候補画像を取得するステップと、前記追加候補画像に対して、前記所定の画像変換の逆変換を行うステップと、逆変換後の画像の画像特徴ベクトルについて、前記第１の画像特徴ベクトルとの差を算出するステップとを備え、算出した差が前記所定の閾値よりも小さいとき、前記第１の画像特徴ベクトルと前記追加候補画像の画像特徴ベクトルとを対にして、前記置換データに追加する第２態様の画像変換方法を提供する。
【００２３】
本発明の第６態様では、前記所定の画像変換は画像拡大であり、前記第１の画像の被写体を前記第１の画像の撮影時よりも高解像度で撮影することによって、前記追加候補画像を取得する第５態様の画像変換方法を提供する。
【００２４】
本発明の第７態様では、前記置換データにおいて、各入力画像特徴ベクトルおよび各出力画像特徴ベクトルにそれぞれ種類が対応付けて表されており、前記第３のステップは、前記置換データに含まれた入力画像特徴ベクトル群にそれぞれ対応付けられた種類を用いて、補間演算によって前記第１の画像に係る第１の種類を求めるステップと、前記第１の種類から、前記所定の画像変換の内容に従って第２の種類を求めるステップと、前記第２の種類を基にして、前記第１の画像に対する前記所定の画像変換後の画像の候補となる追加画像を取得するステップとを備え、前記第１の画像特徴ベクトルと前記追加画像の画像特徴ベクトルとを対にして、前記置換データに追加する第２態様の画像変換方法を提供する。
【００２５】
本発明の第８態様では、前記所定の画像変換は、視点方向または照明方向を所定の角度変える視点変換または照明変換であり、前記種類は、視点方向または照明方向を示す角度である第７態様の画像変換方法を提供する。
【００２６】
本発明の第９態様では、第１の画像に対して所定の画像変換を行い、第２の画像を生成する装置として、前記第１の画像について画像特徴解析を行い、第１の画像特徴ベクトルを得る画像特徴解析部と、前記所定の画像変換に応じて予め学習して得た、入力画像特徴ベクトル群と出力画像特徴ベクトル群との対応関係を表す置換データを有し、この置換データを参照して、前記第１の画像特徴ベクトルを基にして、前記所定の画像変換後における第２の画像特徴ベクトルを得る画像特徴ベクトル変換部と、前記第２の画像特徴ベクトルから前記第２の画像を生成する画像生成部とを備え、前記画像特徴ベクトル変換部は、前記置換データに含まれた入力画像特徴ベクトル群の中に前記第１の画像特徴ベクトルと類似する画像特徴ベクトルが含まれているか否かを判断する第１の手段と、前記第１の手段によって、含まれていないと判断されたとき、前記置換データに含まれた出力画像特徴ベクトル群の中から選択した複数の画像特徴ベクトルを用いて、補間演算によって、前記第２の画像特徴ベクトルを生成する第２の手段とを備えたものを提供する。
【００２７】
本発明の第１０態様では、第１の画像に対して所定の画像変換を行い、第２の画像を生成する装置として、前記第１の画像について画像特徴解析を行い、第１の画像特徴ベクトルを得る画像特徴解析部と、前記所定の画像変換に応じて予め学習して得た、入力画像特徴ベクトル群と出力画像特徴ベクトル群との対応関係を表す置換データを有し、この置換データを参照し、前記第１の画像特徴ベクトルを基にして、前記所定の画像変換後における第２の画像特徴ベクトルを得る画像特徴ベクトル変換部と、前記第２の画像特徴ベクトルから、前記第２の画像を生成する画像生成部とを備え、前記画像特徴ベクトル変換部は、前記置換データに含まれた入力画像特徴ベクトル群の中に、前記第１の画像特徴ベクトルと類似する画像特徴ベクトルが含まれているか否かを判断する第１の手段と、前記第１の手段によって、含まれていないと判断されたとき、前記所定の変換に応じた入力画像特徴ベクトルと出力画像特徴ベクトルとの新たな対を生成し、前記置換データに追加する第２の手段とを備えたものを提供する。
【００２８】
本発明の第１１態様では、画像変換を行うサーバークライアントシステムとして、第９または１０態様の画像特徴解析部および画像特徴ベクトル変換部を有するサーバーと、第９または１０態様の画像生成部を有するクライアントとを備えたものを提供する。
【００２９】
本発明の第１２態様では、第１の画像に対して所定の画像変換を行い、第２の画像を生成する方法をコンピュータに実行させるプログラムとして、前記第１の画像について画像特徴解析を行い、第１の画像特徴ベクトルを得る画像特徴解析ステップと、前記所定の画像変換に応じて予め学習して得た、入力画像特徴ベクトル群と出力画像特徴ベクトル群との対応関係を表す置換データを参照し、前記第１の画像特徴ベクトルを基にして、前記所定の画像変換後における第２の画像特徴ベクトルを得る画像特徴ベクトル変換ステップと、前記第２の画像特徴ベクトルから、前記第２の画像を生成する画像生成ステップとをコンピュータに実行させるものであり、前記画像特徴ベクトル変換ステップは、前記置換データに含まれた入力画像特徴ベクトル群の中に、前記第１の画像特徴ベクトルと類似する画像特徴ベクトルが含まれているか否かを判断する第１のステップと、前記第１のステップにおいて、含まれていないと判断したとき、前記置換データに含まれた出力画像特徴ベクトル群の中から選択した複数の画像特徴ベクトルを用いて、補間演算によって、前記第２の画像特徴ベクトルを生成する第２のステップとを備えたものを提供する。
【００３０】
本発明の第１３態様では、第１の画像に対して所定の画像変換を行い、第２の画像を生成する方法をコンピュータに実行させるプログラムとして、前記第１の画像について画像特徴解析を行い、第１の画像特徴ベクトルを得る画像特徴解析ステップと、前記所定の画像変換に応じて予め学習して得た、入力画像特徴ベクトル群と出力画像特徴ベクトル群との対応関係を表す置換データを参照し、前記第１の画像特徴ベクトルを基にして、前記所定の画像変換後における第２の画像特徴ベクトルを得る画像特徴ベクトル変換ステップと、前記第２の画像特徴ベクトルから、前記第２の画像を生成する画像生成ステップとをコンピュータに実行させるものであり、前記画像特徴ベクトル変換ステップは、前記置換データに含まれた入力画像特徴ベクトル群の中に、前記第１の画像特徴ベクトルと類似する画像特徴ベクトルが含まれているか否かを判断する第１のステップと、前記第１のステップにおいて、含まれていないと判断したとき、前記所定の変換に応じた入力画像特徴ベクトルと出力画像特徴ベクトルとの新たな対を生成し、前記置換データに追加する第２のステップとを備えたものを提供する。
【００３１】
以下、本発明の実施の形態について、図面を参照して説明する。
【００３２】
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像変換装置を示すブロック図である。図１の構成により、第１の画像としての入力画像ＩＩＮに対して、例えば画像拡大等の所定の画像変換を行い、第２の画像としての出力画像ＩＯＵＴを生成する画像変換方法が実現される。入力画像特徴ベクトルデータベース１０２、ベクトル量子化部１０３、ベクトル量子化誤差算出部１０４、セレクタ１０５、画像特徴ベクトル番号置換テーブル１０６、出力画像特徴ベクトルデータベース１０７、および画像特徴ベクトル補間演算部１０８によって、本発明の画像特徴ベクトル変換部が、構成されている。
【００３３】
図１の構成では、所定の画像変換に応じて、予め学習することによって、入力画像特徴ベクトル群と出力画像特徴ベクトル群との対応関係を表す置換データが、準備されている。この置換データは、入力画像特徴ベクトルデータベース１０２、出力画像特徴ベクトルデータベース１０７、および画像特徴ベクトル番号置換テーブル１０６によって、構成されている。入力画像特徴ベクトルデータベース１０２は、入力画像として想定される複数の画像の画像特徴ベクトルを、予め格納している。各画像特徴ベクトルには番号が付されている。これと同様に、出力画像特徴ベクトルデータベース１０７も、出力画像として想定される複数の画像の画像特徴ベクトルを、番号付きで、格納している。そして、画像特徴ベクトル番号置換テーブル１０６は、画像特徴ベクトル番号同士を対応付けることによって、入力画像特徴ベクトル群と出力画像特徴ベクトル群との対応関係を記述している。
【００３４】
なお、後述する補間処理を考慮して、画像特徴ベクトル番号置換テーブル１０６におけるデータは、番号が連続する入力画像特徴ベクトルが、特徴量空間内で互いに隣接するように、並んでいることが好ましい。また、入力画像特徴ベクトル群と出力画像特徴ベクトル群との対応関係を、画像特徴ベクトルの番号を用いて記述することによって、画像特徴ベクトル番号置換テーブル１０６のデータ容量を小さくすることができる。
【００３５】
図１において、画像特徴解析部１０１は入力画像ＩＩＮについて画像特徴解析を行い、第１の画像特徴ベクトルとしての入力画像特徴ベクトルＩＩＮＦＶを生成する。ここでの画像特徴解析は、例えば図２に示すようなウェーブレット変換などの空間周波数解析を用いて行う。このとき、画像特徴は多重解像度表現によって表される。図２の例では、ｎ回のスケーリングそれぞれにおいてウェーブレット変換の出力ＨＬ、ＬＨ、ＨＨ、ＬＬを求め、これらを階層ごとに束ねることによって、（３ｎ＋１）次元ベクトルを入力画像特徴ベクトルＩＩＮＦＶとして求めている。なお、画像特徴ベクトルＩＩＮＦＶは画素ごとに必要になるため、各スケールにおいてＬＬ画像が同一サイズになるようにしている。もちろん、本発明における画像特徴の解析および表現方法はこれに限られるものではなく、任意の方法を適用することができる。
【００３６】
ベクトル量子化部１０３は入力画像特徴ベクトルデータベース１０２を参照して、入力画像特徴ベクトルＩＩＮＦＶに最も類似する画像特徴ベクトルを抽出し、第３の画像特徴ベクトルとしての入力画像量子化特徴ベクトルＩＩＮＱＦＶとして出力する。また、この入力画像量子化特徴ベクトルＩＩＮＱＦＶに付された番号を入力画像特徴ベクトル番号ＩＩＮＦＶＮとして出力する。入力画像量子化特徴ベクトルＩＩＮＱＦＶはベクトル量子化誤差算出部１０４に与えられ、入力画像特徴ベクトル番号ＩＩＮＦＶＮは画像特徴ベクトル番号置換テーブル１０６に与えられる。
【００３７】
ここで、ベクトル量子化部１０３によって、連続的な入力画像特徴ベクトルＩＩＮＦＶが離散的な入力画像特徴ベクトル番号ＩＩＮＦＶＮに割り当てられたため、ベクトル量子化誤差が発生する。ベクトル量子化誤差算出部１０４は、入力画像量子化特徴ベクトルＩＩＮＱＦＶについて、元の入力画像特徴ベクトルＩＩＮＦＶとの差すなわちベクトル量子化誤差ＶＱＥを算出する。算出されたベクトル量子化誤差ＶＱＥはセレクタ１０５に与えられ、後述するように、第２の画像特徴ベクトルとしての出力画像特徴ベクトルＩＯＵＴＦＶの選択に用いられる。
【００３８】
一方、画像特徴ベクトル番号置換テーブル１０６では、与えられた入力画像特徴ベクトル番号ＩＩＮＦＶＮに応じて、入力側のノードが１個選択される。図１では一例として、画像特徴ベクトル番号２番のノードが選択されたものとしている。このとき、同一ノードの出力側に記録された画像特徴ベクトル番号（図１の例では２０番）が候補出力画像特徴ベクトル番号ＣａＩＯＵＴＦＶＮとして出力される。そして、出力画像特徴ベクトルデータベース１０７を参照することによって、第１の候補出力画像特徴ベクトルＣａＩＯＵＴＦＶがセレクタ１０５に与えられる。
【００３９】
また、入力画像特徴ベクトル番号ＩＩＮＦＶＮによって選択されたノードを中心に、上下数個（図１の例では上下１個）のノードの出力番号（図１の例では５番、２０番、７番）が、候補出力画像特徴ベクトル番号群ＣｂＩＯＵＴＦＶＮｓとして出力される。そして、出力画像特徴ベクトルデータベース１０７を参照することによって、候補出力画像特徴ベクトル群ＣｂＩＯＵＴＦＶｓに変換され、画像特徴ベクトル補間演算部１０８に与えられる。画像特徴ベクトル補間演算部１０８は、候補出力画像特徴ベクトル群ＣｂＩＯＵＴＦＶｓを基にして、補間演算によって、１個の第２の候補出力画像特徴ベクトルＣｂＩＯＵＴＦＶを生成し、セレクタ１０５に与える。
【００４０】
ここで、補間演算を用いる理由は、大きな誤差や小さな誤差が入り混じって画質劣化の程度が高まることを避けるためであり、第２の候補出力画像特徴ベクトルＣｂＩＯＵＴＦＶに関する量子化誤差を平均的な誤差に抑えるためである。
【００４１】
画像特徴ベクトル補間演算部１０８における補間方法は任意であるが、ここでは、量子化誤差の大小を重み係数として、候補出力画像特徴ベクトル群ＣｂＩＯＵＴＦＶｓの加重平均を求めるものとする。この場合、ベクトル量子化部１０３は、入力画像特徴ベクトル番号ＩＩＮＦＶＮの上下の番号に対応する画像特徴ベクトルＳＱＦＶも、ベクトル量子化誤差算出部１０４に出力する。ベクトル量子化誤差算出部１０４は、与えられた画像特徴ベクトルＳＱＦＶについても入力画像特徴ベクトルＩＩＮＦＶとのベクトル量子化誤差を算出し、画像特徴ベクトル補間演算部１０８に与える。
【００４２】
補間演算は、例えば、（数１）のように行われる。
【数１】
2006209396.tif 000003
ここで、ベクトルＦは求める対象となる第２の候補出力画像特徴ベクトルＣｂＩＯＵＴＦＶを表わし、ベクトルＧｉ（ｉ＝１〜ｊ）は元の候補出力画像特徴ベクトル群ＣｂＩＯＵＴＦＶｓを表す。図１の例では、ｊは３である。また、ｗｉは重み係数であり、（数２）で与えられる。
【数２】
2006209396.tif 000004
ここで、ｅｉはベクトルＧｉのベクトル量子化誤差である。（数２）から分かるように、元の候補出力画像特徴ベクトル群ＣｂＩＯＵＴＦＶｓの中で、入力画像特徴ベクトルＩＩＮＦＶとのベクトル量子誤差が小さいものほど、第２の候補出力画像特徴ベクトルＣｂＩＯＵＴＦＶの演算結果に、より大きく寄与する。
【００４３】
セレクタ１０５は、ベクトル量子化誤差ＶＱＥに対する閾値処理によって、第１の候補出力画像特徴ベクトルＣａＩＯＵＴＦＶおよび第２の候補出力画像特徴ベクトルＣｂＩＯＵＴＦＶのうちのいずれかを、出力画像特徴ベクトルＩＯＵＴＦＶとして選択する。
【００４４】
すなわち、ベクトル量子化誤差ＶＱＥが所定の閾値（例えば０．１など）よりも大きいときは、入力画像特徴ベクトルＩＩＮＦＶに対して適切な画像特徴ベクトルが抽出できなかったと判断して、補間演算によって得られた第２の候補出力画像特徴ベクトルＣｂＩＯＵＴＦＶを選択する。一方、ベクトル量子化誤差ＶＱＥが所定の閾値よりも小さい、または等しいときは、入力画像特徴ベクトルＩＩＮＦＶに最も類似する画像特徴ベクトルに対応する第１の候補出力画像特徴ベクトルＣａＩＯＵＴＦＶを選択する。
【００４５】
上述した閾値処理によって、置換データに含まれた入力画像特徴ベクトル群に、入力画像特徴ベクトルＩＩＮＦＶと類似する画像特徴ベクトルが含まれているかを、判断している、といえる。
【００４６】
セレクタ１０５から出力された出力画像特徴ベクトルＩＯＵＴＦＶは、画像生成部としての出力画像生成部１０９において輝度画像に変換され、出力画像ＩＯＵＴとして出力される。
【００４７】
図３は図１の画像変換装置の動作、すなわち本実施形態に係る画像変換方法を示すフローチャートである。なお、本実施形態に係る画像変換方法は、当該方法を実現するためのプログラムをコンピュータに実行させることによって、実現することができる。
【００４８】
まず、前処理Ｓ００において、置換データを準備し、入力画像特徴ベクトルデータベース１０２、出力画像特徴ベクトルデータベース１０７、および画像特徴ベクトル番号置換テーブル１０６を作成する。この前処理Ｓ００の詳細については後述する。
【００４９】
そして、ステップＳ１において、入力画像ＩＩＮについて、画像特徴解析部１０１が画像特徴解析を行う。ステップＳ２において、入力画像特徴ベクトルＩＩＮＦＶを入力画像ベクトルデータベース１０２に格納されている複数の画像特徴ベクトルのうち、最も近いものに割り当てるベクトル量子化を行う。ステップＳ３において、入力画像特徴ベクトルＩＩＮＦＶと入力画像量子化特徴ベクトルＩＩＮＶＱＦＶとの差であるベクトル量子化誤差ＶＱＥを算出する。
【００５０】
ステップＳ４において、ベクトル量子化誤差ＶＱＥと所定の閾値との比較を行う。ベクトル量子化誤差ＶＱＥが閾値よりも大きいときは、ステップＳ１０において、補間対象となる候補出力画像特徴ベクトル番号群ＣｂＩＯＵＴＦＶＮｓを取得する。そして、ステップＳ１１において、出力画像特徴ベクトルデータベース１０７を参照して候補出力画像特徴ベクトル番号群ＣｂＩＯＵＴＦＶＮｓを候補出力画像特徴ベクトル群ＣｂＩＯＵＴＦＶｓに変換し、ステップＳ１２において、上述したような補間演算を行い、ステップＳ１３において、出力画像特徴ベクトルＩＯＵＴＦＶから出力画像ＩＯＵＴを生成する。
【００５１】
一方、ステップＳ４において、ベクトル量子化誤差ＶＱＥが所定の閾値よりも小さいまたは等しいときは、ステップＳ２０において、入力画像特徴ベクトル番号ＩＩＮＦＶＮを候補出力画像特徴ベクトル番号ＣａＩＯＵＴＦＶＮに置換する。そして、ステップＳ２１において、出力画像特徴ベクトルデータベース１０７を参照して第１の候補出力画像特徴ベクトルＣａＩＯＵＴＦＶに変換し、ステップＳ２２において、これを出力画像特徴ベクトルＩＯＵＴＦＶとして出力画像ＩＯＵＴを生成する。
【００５２】
なお、ステップＳ４の閾値判定において、ベクトル量子化誤差ＶＱＥが閾値と一致したとき、ステップＳ２０に進むものとしたが、ステップＳ１０に進むようにしてもかまわない。
【００５３】
＜置換データの準備＞
図４および図５を用いて、前処理Ｓ００すなわち置換データの準備について説明する。図４では、所定の画像変換が画像拡大であるものとしている。図４に示すように、入力画像特徴ベクトルデータベース１０２に低解像度画像の画像特徴ベクトルが格納され、出力画像特徴ベクトルデータベース１０７に高解像度画像の画像特徴ベクトルが格納される。なお、図４の例では、画像特徴ベクトルは、図２のウェーブレット変換をスケールレベル３まで実行した際に得られる１０次元ベクトルとして例示している。画像特徴ベクトル番号置換テーブル１０６は、低解像度画像と高解像度画像との同一画素間での対応関係から構築する。
【００５４】
なお、置換データの格納順は、複数の画像特徴ベクトルを補間する場合を考慮して、番号が連続している入力画像特徴ベクトルが、特徴量空間内で互いに隣接するように、なっているのが好ましい。
【００５５】
図５は互いに隣り合う３本の画像特徴ベクトルＩＦＶ１、ＩＦＶ２、ＩＦＶ３を示す。特徴量空間ＦＳはｎ種類の特徴量からなるｎ次元空間である。ＩＦＶ１を中心に見た場合、ベクトルの距離が最も短いものはＩＦＶ２であり、特徴量空間ＦＳ内でＩＦＶ１とＩＦＶ２の間に別の特徴量ベクトルは存在せず、ＩＦＶ１とＩＦＶ２とは互いに隣接する。同様に、ＩＦＶ２を中心に見た場合、ＩＦＶ１を除いてベクトルの距離が最も短いものはＩＦＶ３であり、特徴量空間ＦＳ内でＩＦＶ１を除いてＩＦＶ２とＩＦＶ３の間に別の特徴量ベクトルは存在せず、ＩＦＶ２とＩＦＶ３とは互いに隣接する。このように、１本の画像特徴ベクトルから隣接する画像特徴ベクトルを次々に求め、この順番で、画像特徴ベクトル番号置換テーブル１０６に置換データを格納する。
【００５６】
上述した補間演算において、補間精度を高めるためには、特徴量空間内で入力画像特徴ベクトルにできるだけ近いノードから、補間に用いる出力画像特徴ベクトルを得るべきである。そこで、例えば、特徴量空間内で互いに隣接する画像特徴ベクトルＩＦＶ１、ＩＦＶ２、ＩＦＶ３の順番で画像特徴ベクトル番号置換テーブル１０６に置換データを格納しておけば、入力画像特徴ベクトルが図５の三角形Ａ１内に入ったとき、補間演算にとって適切な出力画像特徴ベクトルを、連続するノードから容易に取り出すことができる。
【００５７】
なお、画像拡大以外の画像変換、例えば、照明変換や視点変換についても同様である。すなわち、照明変換の場合は、照明の方向が異なる２組の画像を用意し、各画素の画像特徴ベクトルを画像特徴ベクトル番号置換テーブル１０６に登録すればよい。また、視点変換の場合は、視点の方向が異なる２組の画像を用意し、各画素の画像特徴ベクトルを画像特徴ベクトル番号置換テーブル１０６に登録すればよい。
【００５８】
また、図４では、簡単のために１組の置換データを準備するものとして説明したが、複数組でもかまわない。
【００５９】
＜置換データの更新＞
また、本実施形態では、置換データの更新も行う。すなわち、入力画像特徴ベクトル群の中に、適当な入力画像特徴ベクトルが含まれていないときは、入力画像特徴ベクトルと出力画像特徴ベクトルとの新たな対を、置換データに追加する。
【００６０】
図６は本実施形態における置換データの更新処理を示すフローチャートであり、図７は置換データの更新処理に関する構成を示すブロック図である。図７の差分部２０１、閾値判定部２０２およびデータ変更部２０３が、本発明の画像特徴ベクトル変換部に含まれる。
【００６１】
図６の処理は、図３のステップＳ４においてＹＥＳのとき、すなわち、ベクトル量子化誤差が閾値よりも大きいと判断されたとき、スタートする。図３では、ステップＳ４においてＹＥＳのとき、ステップＳ１０〜Ｓ１３において画像特徴ベクトルを補間して画像を生成する。一方、図６の処理は、ステップＳ１０〜Ｓ１３とは並列に実行され、不足する画像特徴ベクトルの変換対を補充する。したがって、図６の処理が実行されると、現在の入力画像に対する画像変換の画質劣化は抑制される。
【００６２】
なお、ここでは、補間演算による画像生成とともに置換データの更新を実行するものとしているが、補間演算による画像生成を行わないで、置換データの更新を行うようにしてもかまわないし、反対に、置換データの更新を行わないで、補間演算による画像生成のみを行うようにしてもかまわない。
【００６３】
まず、ステップＳ３１において、入力画像特徴ベクトルＩＩＮＦＶとの変換対になる出力画像特徴ベクトルを与える追加候補画像ＩＮＣを取得する。所定の画像変換として画像拡大を考えた場合、追加候補画像ＩＮＣは高解像度画像になるため、入力画像ＩＩＮと同一の被写体ＳＵＢを高解像度で撮影すればよい。高解像度画像を取得する方法は任意であるが、例えば図８に示すように、多焦点レンズカメラ４０１の場合は、被写体ＳＵＢ１に対する焦点距離を変更して光学的に高解像度画像ＩＭＨを得る。単焦点レンズカメラ４０２の場合は、撮影者が被写体ＳＵＢ１に近づいて撮影するか、撮影者に近づいてきた被写体ＳＵＢ１を撮影して、高解像度画像ＩＭＨを得る。
【００６４】
次に、ステップＳ３２において、追加候補画像ＩＮＣに対して、所定の画像変換の内容の逆変換を実行し、逆変換入力画像ＩＩＮＩＮＶを得る。例えば、画像拡大における拡大率が４倍である場合、追加候補画像ＩＮＣに対して１／４倍の画像縮小を実行して、逆変換入力画像ＩＩＮＩＮＶを得る。
【００６５】
ステップＳ３３において、逆変換入力画像ＩＩＮＩＮＶに対して画像特徴解析部１０１によって画像特徴解析を行い、得られた追加候補画像特徴ベクトルＩＮＣＦＶと入力画像特徴ベクトルＩＩＮＦＶとの差を、差分部２０１によって求める。さらに、閾値判定部２０２によって、その差が所定の閾値よりも大きいか否かを判定する。この閾値判定は、追加候補画像ＩＮＣが画像変換後の画像として適切であるか否かを判定するものである。
【００６６】
差が閾値よりも大きいときは（Ｓ３３でＹＥＳ）、追加候補画像ＩＮＣが入力画像ＩＮＮの変換後の画像として適切でないと判断して、ステップＳ３１に戻り、再度、追加候補画像を取得し、ステップＳ３２，３３を実行する。一方、差が閾値よりも小さい、または等しいときは、追加候補画像ＩＮＣは画像変換後の画像として適切であると判断し、ステップＳ３４に進む。なお、差が閾値と一致したとき、ステップＳ３１に戻るようにしてもかまわない。
【００６７】
そしてステップＳ３４において、データ変更部２０３が、入力画像特徴ベクトルＩＩＮＦＶと追加候補画像特徴ベクトルＩＮＣＦＶとの変換対を、置換データに追加する。変換対を追加する位置は、すでに登録されている入力画像特徴ベクトル群の、入力画像特徴ベクトルＩＩＮＦＶに対するベクトル量子化誤差に基づいて、定めるものとする。すなわち、ベクトル量子化誤差が最も小さいノードと２番目に小さいノードとの間に（図７では、画像特徴ベクトル番号の２番と３番との間に）、新たな変換対を追加する。入力側の番号は、追加したノード以降は「１」ずつ繰り上がる。また、追加したノードの出力側の番号は「ｑ＋１」となる。
【００６８】
なお、図７では、ベクトル量子化誤差の小さい順番８０１を画像特徴ベクトル番号置換テーブル１０６内に記載したが、これは説明の便宜上であり、置換実行時には特には必要ない。
【００６９】
このような処理によって、現在の入力画像ＩＩＮに対する画像特徴ベクトルの変換対が置換データに補充される。これにより、以降の処理において、入力画像ＩＩＮと同等の画像が入力された場合でも、ベクトル量子化誤差が所定の閾値以内に収まることになる。
【００７０】
なおここでは、画像拡大を例にとって置換データの更新処理を説明したが、画像拡大以外の画像変換であっても、逆変換が可能なものであれば、任意の種類の画像変換に適応可能である。
【００７１】
（第２の実施形態）
本発明の第２の実施形態は、置換データの更新を、第１の実施形態と異なる手法によって行うものである。すなわち、入力画像の種類を特定し、画像変換の内容に従って出力画像の種類を決定し、出力画像の種類に応じた追加画像を取得して、不足する画像特徴ベクトルの変換対を補充する。これ以外の構成および処理は、第１の実施形態と同様である。
【００７２】
図９は本実施形態が前提とする置換データの一例である。図９では、所定の画像変換は、視点方向を所定の角度（ここでは９０度）だけ変える視点変換としている。画像特徴ベクトル番号置換テーブル１０６では、各入力画像特徴ベクトルおよび各出力画像特徴ベクトルに、種類として、視点方向を示す角度が、対応付けて表されている。
【００７３】
変換元画像ＩＳは縦方向のストライプを持っているが、視点方向を９０度回転させると変換後画像ＩＤのように、横方向のストライプになる。入力画像特徴ベクトルデータベース１０２と出力画像特徴ベクトルデータベース１０７は、視点方向が９０度異なる画像特徴ベクトルの対をｐ種類持つ。画像特徴ベクトル番号置換テーブル１０６では、３６０度をｐ種類に分けた３６０／ｐ度ごとの視点角度が、種類として記録されている。
【００７４】
本発明において、画像特徴ベクトルに付される「種類」は、画像変換の内容に応じて、決められる。例えば、視点変換では、視点方向を表わす角度が種類になり、また照明変換では、照明方向を表わす角度が種類になる。なお、被写体および照明環境は同一であることが前提条件となる。
【００７５】
図１０は本実施形態における置換データの更新処理を示すフローチャートである。図１０の処理は、図３のステップＳ４においてＹＥＳのとき、すなわち、ベクトル量子化誤差が閾値よりも大きいと判断されたとき、スタートする。図１０の処理は、図３のステップＳ１０〜Ｓ１３とは並列に実行され、不足する画像特徴ベクトルの変換対を補充する。したがって、図１０の処理が実行されると、現在の入力画像に対する画像変換の画質劣化は抑制される。なお、補間演算による画像生成を行わないで、本実施形態における置換データの更新を行うようにしてもかまわない。
【００７６】
ステップＳ４１において、入力画像ＩＩＮに係る第１の種類を決定する。入力画像特徴ベクトルＩＩＮＦＶの近傍に位置する画像特徴ベクトルを取得し、これらを補間することによって、種類を決定する。
【００７７】
いま、入力画像特徴ベクトルＩＩＮＦＶに最も類似する画像特徴量ベクトルの番号として、２番が得られたとする。このとき、２番と、その上下すなわち１番と３番の画像特徴ベクトルを取得し、（数３）から入力画像の種類を決定する。
【数３】
2006209396.tif 000005
ここで、ｃは求めたい入力画像の種類、ｃｊは各画像特徴ベクトルの種類、ｍは補間に用いる画像特徴ベクトルの個数（ここでは３）、ｗｊは重み係数である。重み係数ｗｊは、（数４）で与えられる。
【数４】
2006209396.tif 000006
ここでｅｊは各画像特徴ベクトルと入力画像特徴ベクトルＩＩＮＦＶとの距離であり、ｅｊが小さいものほど、種類の算出に大きく寄与する。ここでは、入力画像特徴ベクトルＩＩＮＦＶをベクトル量子化することによって、番号２の画像特徴ベクトルが割り当てられたため、図１１に示すように、入力画像特徴ベクトルＩＩＮＦＶと番号２の画像特徴量ベクトルとの距離Ｄ２が最も短く、補間での寄与率が最も大きくなる。次に短いのは距離Ｄ１であり、距離Ｄ３が最も長く、したがって、番号３の画像特徴量ベクトルが、補間での寄与率が最も小さくなる。
【００７８】
ステップＳ４２において、入力画像の種類と画像変換の内容から出力画像の種類を決定する。図９の場合、画像変換の内容は、角度９０度の視点方向の変換であるので、出力画像の種類は、入力画像の種類として求めた角度に、９０度を加えた角度になる。
【００７９】
ステップＳ４３において、出力画像の種類に応じた追加画像を取得する。図９の場合、出力画像の種類は入力画像の種類に９０度加えた角度であるため、入力画像の視点方向から９０度回転した方向から被写体を撮影し、追加画像を得る。
【００８０】
そしてステップＳ４４において、入力画像特徴ベクトルＩＩＮＦＶと追加画像の画像特徴ベクトルとの変換対を、置換データに追加する。
【００８１】
このような処理によって、現在の入力画像ＩＩＮに対する画像特徴ベクトルの変換対が置換データに補充される。これにより、以降の処理において、入力画像ＩＩＮと同等の画像が入力された場合でも、ベクトル量子化誤差が所定の閾値以内に収まることになる。
【００８２】
なお、上述の例では、画像変換が視点変換であるものとしたが、これ以外の画像変換であっても、変換元画像と変換後画像とが画像の種類とともに取得できるものであれば、適応可能である。
【００８３】
図１２は本実施形態における置換データの他の例である。図１２では、所定の画像変換は、所定の倍率（ここでは８倍）だけ画像を拡大する画像拡大としている。例えば、５１２画素×５１２ラインの画像を画像倍率１倍とすると、画素数とライン数が半分となる２５６画素×２５６ラインは画像倍率１／２倍であり、画素数とライン数が４倍となる２０４８画素×２０４８ラインは画像倍率４倍となる。画像特徴ベクトル番号置換テーブル１０６では、各入力画像特徴ベクトルおよび各出力画像特徴ベクトルに、種類として、画像の倍率が、対応付けて表されている。具体的には、１／４倍から４倍までを等倍の関係でｐ種類に分割した画像倍率が、種類として記録されている。なお、格納順は、倍率の昇順としているが、倍率の降順としてもかまわない。
【００８４】
画像倍率１／４に同じ倍率を（ｐ−１）回乗算して画像倍率４を得るには、
【数５】
2006209396.tif 000007
なる倍率を用いればいい。たとえば、ｐ＝５の場合、（数５）は２となるため、画像倍率１／４に２を４回掛けて４（＝１／４×２×２×２×２）を得る。一般化すると、画像倍率ｍに倍率αを（ｐ−１）回乗算して画像倍率ｎを得るには、倍率αは
【数６】
2006209396.tif 000008
となる。
【００８５】
画像変換の内容が８倍拡大であるので、出力画像の種類は、入力画像の種類として与えられる画像倍率に８を乗算した画像倍率になる。ここでは、５１２画素×５１２ラインの画像を画像倍率１倍としたため、画像倍率１／４倍に相当する１２８画素×１２８ラインの画像は、８倍拡大により、画像倍率２倍に相当する１０２４画素×１０２４ラインの画像に変換される。
【００８６】
図１２のような置換データについても、図９と同様に、図１０のフローチャートに従って、入力画像特徴ベクトルＩＩＮＦＶの近傍に位置する画像特徴ベクトルを用いた補間演算を用いて、データ更新を行うことができる。
【００８７】
なお、図１２では、入力画像の種類を与える際に等倍の関係を用いたが、等分の関係を用いてもかまわない。「等倍」の関係とは、隣接する上下のノードの「除算値」がすべての組み合わせで等しいことを意味し、「等分」の関係とは、隣接する上下のノードの「差分値」がすべての組み合わせで等しいことを意味する。
【００８８】
（第３の実施形態）
図１３は本発明の第３の実施形態に係る画像変換方法を示すタイムチャートである。ここでは、画像変換の内容が画像拡大であり、かつビデオカメラで撮影倍率を変更しながら撮影する場合を想定する。
【００８９】
ビデオカメラは、図１および図７に示す構成を備え、図３および図６に示すフローチャートに従って動作する。すなわち、ビデオカメラは、図１の構成によって学習方式の画像拡大を実行し、適切な置換データが準備されていないような入力画像特徴ベクトルが生じ、画像拡大のための置換データが不足したときは、図３のフローに従って、画像特徴ベクトルを補間演算によって求める。また、図７の構成によって、図６のフローに従って、不足する画像特徴ベクトルの変換対を取得し、置換データに追加する。
【００９０】
このため、撮影者が撮影倍率を上げてズームインした場合でも、学習方式の画像拡大処理によって拡大画像を生成することができる。このとき、光学ズームは動かず、広画角で撮影を続けることができるので、ズームインによる狭画角は発生せず、注目点が画角から外れて撮りこぼす可能性が少なくなる、という効果が得られる。
【００９１】
図１３（ａ）は撮影者が決めた撮影倍率とビデオカメラの光学ズームの撮影倍率の経時変化を表すグラフである。縦軸は撮影倍率、横軸は時間である。破線が撮影者が決めた撮影倍率であり、実線が光学ズームの撮影倍率である。ビデオカメラの制御系は、光学ズームの撮影倍率が撮影者の指示した撮影倍率に一致したことを、撮影倍率同士を対比することによって、容易に認識することができる。撮影倍率が高くなるとズームインの状態になり、撮影倍率が低くなるとズームアウトの状態になる。
【００９２】
図１３（ｂ）は図１３（ａ）に対応したベクトル量子化誤差の経時変化を表すグラフであり、縦軸はベクトル量子化誤差である。図示されている閾値は、図３のステップＳ４において用いられる所定の閾値に相当する。また、図１３（ｃ）は図１３（ａ）に対応したビデオカメラの動作を示すグラフである。動作として、画像特徴ベクトル補間（図３のＳ１０〜Ｓ１３）、画像特徴ベクトル置換（図３のＳ２０〜Ｓ２２）、光学ズームによる映像記録、画像取得（図６のＳ３１〜Ｓ３３）、およびデータ追加（図６のＳ３４）を、表している。
【００９３】
時刻ｔ１において、撮影者は撮影倍率を上げ、ズームインを指示している。ところが、画像変換処理によって画像拡大を実行しているため、光学ズームの倍率は変化していない。また、ベクトル量子化誤差は閾値よりも小さいので、図１のセレクタ１０５は第１の候補出力画像特徴ベクトルＣａＩＯＵＴＦＶを出力画像特徴ベクトルＩＯＵＴＦＶとして選択する。すなわち、「画像特徴ベクトル置換」が実行される。
【００９４】
ところが時刻ｔ２において、閾値を超える誤差１が生じたので、光学ズームによる高解像度画像の取得を行うために、光学ズームの撮影倍率を撮影者が決めた撮影倍率に変更する。時刻ｔ２から光学ズームが撮影者の決めた撮影倍率にたどり着く時刻ｔ３までの間は、図１のセレクタ１０５は、第２の候補出力画像特徴ベクトルＣｂＩＯＵＴＦＶを出力画像特徴ベクトルＩＯＵＴＦＶとして選択する。すなわち、「画像特徴ベクトル補間」が実行される。時刻ｔ３以降は、撮影者が決めた撮影倍率の画像が光学ズームによって取得できているので、画像特徴ベクトル補間は行わないで、光学ズームによる撮影画像を出力画像とする。
【００９５】
一方、置換データの追加更新を行うために、時刻ｔ２から、「画像取得」（高解像度画像の取得とその低解像度化）が実行され、適切な学習データの追加が開始される。時刻ｔ４において、適切な学習データが見つかったので（図６のステップＳ３３でＮＯ）、「データ追加」が実行され、誤差１に対する変換対が置換データに追加される。これにより、時刻ｔ１の入力画像に対する画像拡大は学習方式によって実行可能になり、光学ズームの倍率は元の１倍に戻り、ズームアウトされる。撮影者は引き続き、ズームインの状態を保ちつづけているため、画像拡大は画像変換処理によって実行され、広画角撮影された映像が記録される。以上の例は、「データ追加」が完了するまでベクトル量子化誤差が閾値を超えなかった場合である。
【００９６】
次に、ベクトル量子化誤差が連続して閾値を超えて、誤差２、誤差３、誤差４が続けて生じた場合を想定する。時刻ｔ５において誤差２が生じたため、光学ズームは撮影者が決めた撮影倍率に移行し、時刻ｔ７で移行を完了している。このため、時刻ｔ５で開始された「画像特徴ベクトル補間」は時刻ｔ７で中断し、以降、置換データの更新が完了する時刻ｔ１２までは、光学ズームの撮影倍率は撮影者が決めた撮影倍率に設定され、光学ズームによる高解像度画像が記録される。
【００９７】
時刻ｔ７から、誤差３に対する「データ追加」が実行されたが、まだ誤差２の学習データが見つからないため、「画像取得」はＯＮの状態が続いている。誤差２の学習データが見つからないまま、時刻ｔ９に誤差４が生じ、２つの誤差に対して学習データを追加更新する必要性が生じた。時刻ｔ１０から誤差２に対する「データ追加」が実行され、さらに時刻ｔ１２から誤差４に対する「データ追加」が実行されて、画像変換によって画像拡大ができる状態が整った。そこで、「データ追加」が終了した時刻ｔ１３から、光学ズームはズームアウトを開始し、再び撮影倍率１倍まで戻る。
【００９８】
さらに、時刻ｔ１４において誤差５が生じたが、撮影者が決めた倍率は１倍であるため、光学ズームを動かす必要はない。そこで、「画像特徴ベクトル補間」を実行する必要はなく、「画像特徴ベクトル置換」が実行されている。一方、学習データは補う必要があるので、「画像取得」が開始される。誤差５に対する学習データの追加更新が未達のまま、撮影者は時刻ｔ１５において撮影倍率を上げたため、光学ズームはこれに追従する。時刻ｔ１６で追加更新する学習データが見つかったので、「画像取得」はＯＦＦになり、誤差５に対する「データ追加」が実行される。学習データの追加更新を終えた時刻ｔ１７以降は、画像変換によって画像拡大が実行可能となる。このため、撮影者が決めた撮影倍率は増加を続けても、光学ズームはズームアウトし、撮影倍率１倍に戻る。
【００９９】
以下、本発明を実現する構成例を例示する。
【０１００】
（第１の構成例）
図１４は第１の構成例を示す図であり、パーソナルコンピュータを用いて本発明に係る画像変換を行う構成の一例である。ここでは、画像変換の一例として画像拡大を想定している。カメラ５０１の解像度はディスプレイ５０２の解像度よりも低く、ディスプレイ５０２の表示能力を最大限に生かすために、メインメモリ５０３にロードされた画像変換プログラムによって拡大画像を作成する。カメラ５０１で取り込まれた低解像度画像は画像メモリ５０４に記録される。外部記憶装置５０５には予め、図１等に示したような入力画像特徴ベクトルデータベース１０２、出力画像特徴ベクトルデータベース１０７および画像特徴ベクトル番号置換テーブル１０６が準備されており、メインメモリ５０３の画像変換プログラムから参照可能になっている。
【０１０１】
画像変換プログラムの動作や、入力画像特徴ベクトルデータベース１０２、出力画像特徴ベクトルデータベース１０７および画像特徴ベクトル番号置換テーブル１０６の内容や作成方法等は、第１および第２の実施形態で説明したとおりである。
【０１０２】
メインメモリ５０３の画像変換プログラムは、メモリバス５０８を介して画像メモリ５０４の低解像度画像を読み込み、これをディスプレイ５０２の解像度に合わせて高解像度画像に変換し、再びメモリバス５０８経由でビデオメモリ５０９に転送する。ビデオメモリ５０９に転送された高解像度画像は、ディスプレイ５０２に表示される。
【０１０３】
また、画像変換として視点変換を行う場合は、カメラ５０１によって撮影した被写体を、視点方向を変更してディスプレイ５０２に表示するために、メインメモリ５０３にロードされた画像変換プログラムによって視点変換を行う。画像変換プログラムは、画像メモリ５０４からメモリバス５０８を介して原画像を読み込み、これを視点変換の指示内容に合わせて変換し、再びメモリバス５０８経由でビデオメモリ５０９に転送する。ビデオメモリ５０９に転送された視点変換画像は、ディスプレイ５０２に表示される。
【０１０４】
なお、本発明は図１４の構成に拘束されるものではなく、様々な構成をとることができる。例えば、入力画像特徴ベクトルデータベース１０２、出力画像特徴ベクトルデータベース１０７および画像特徴ベクトル番号置換テーブル１０６を、別のパーソナルコンピュータに接続された外部記憶装置からネットワーク５１０を介して取得してもかまわない。またカメラ５０１で取得した画像は、ネットワーク５１０を介して取得してもかまわない。
【０１０５】
（第２の構成例）
図１５は第２の構成例を示す図であり、サーバークライアントシステムを用いて本発明に係る画像変換を行う構成の一例である。ここでは、画像変換の一例として画像拡大を想定する。カメラ６０１の解像度はディスプレイ６０２の解像度よりも低く、ディスプレイ６０２の表示能力を最大限に生かすために、サーバークライアントシステムにおいて画像変換を実行する。サーバー６０３では、画像特徴解析部６０８が図１の画像特徴解析部１０１に対応しており、また画像特徴ベクトル変換部６０４が、図１の入力画像特徴ベクトルデータベース１０２、ベクトル量子化部１０３、ベクトル量子化誤差算出部１０４、セレクタ１０５、画像特徴ベクトル番号置換テーブル１０６および出力画像特徴ベクトルデータベース１０７と、図７に示した差分部２０１、閾値判定部２０２およびデータ変更部２０３とを備えており、入力画像ＩＩＮを画像拡大して出力画像特徴ベクトルＩＯＵＴＦＶとして出力する。
【０１０６】
出力画像特徴ベクトルＩＯＵＴＦＶはネットワーク６０５を経由してクライアント６０６に送信される。クライアント６０６は受信した出力画像特徴ベクトルＩＯＵＴＦＶを、画像生成部６０７によって画像に変換し、得られた拡大画像をディスプレイ６０２に表示する。
【０１０７】
また、画像変換として視点変換を行う場合は、カメラ６０１によって撮影した被写体を、視点方向を変更してディスプレイ６０２に表示するために、画像変換を実行する。サーバー６０３では、画像特徴ベクトル変換部６０４が、入力画像ＩＩＮの視点方向を変換して出力画像特徴ベクトルＩＯＵＴＦＶとして出力する。出力画像特徴ベクトルＩＯＵＴＦＶはネットワーク６０５を経由してクライアント６０６に送信する。クライアント６０６は受信した出力画像特徴ベクトルＩＯＵＴＦＶを、画像生成部６０７によって画像に変換し、得られた視点変更画像をディスプレイ６０２に表示する。
【０１０８】
なお、本発明は図１５の構成に拘束されるものではなく、様々な構成を取ることができる。例えば、カメラ６０１はクライアント６０６の一部であっても構わない。
【産業上の利用可能性】
【０１０９】
本発明では、画像拡大、照明変換、視点変換など、様々な画像変換を自由に実施できるため、例えば、スポーツや観光、記念撮影など目の前のシーンを映像として記録する映像エンタテイメント分野において利用することができる。また、文化芸術の分野では、被写体や撮影場所に制限されない自由度の高いデジタルアーカイブシステムを提供するために利用することができる。
【図面の簡単な説明】
【０１１０】
【図１】本発明の第１の実施形態に係る画像変換装置を示すブロック図である。
【図２】ウェーブレット変換を用いた画像特徴解析を表す図である。
【図３】本発明の第１の実施形態に係る画像変換方法を示すフローチャートである。
【図４】画像変換のための置換データの準備について示す図である。
【図５】特徴量空間における画像特徴ベクトルを示す概念図である。
【図６】本発明の第１の実施形態における置換データの更新処理を示すフローチャートである。
【図７】置換データの更新に関する構成を示すブロック図である。
【図８】高解像度画像を取得する方法の例を示す図である。
【図９】本発明の第２の実施形態が前提とする置換データの一例である。
【図１０】本発明の第２の実施形態における置換データの更新処理を示すフローチャートである。
【図１１】特徴量空間において、画像特徴ベクトル同士の距離を概念的に示す図である。
【図１２】本発明の第２の実施形態が前提とする置換データの他の例である。
【図１３】本発明の第３の実施形態に係る画像変換方法を示すタイムチャートである。
【図１４】本発明を実現する第１の構成例であり、パーソナルコンピュータを用いた構成を示す図である。
【図１５】本発明を実現する第２の構成例であり、サーバークライアントシステムを用いた構成を示す図である。
【符号の説明】
【０１１１】
１０１  画像特徴解析部
１０２  入力画像特徴ベクトルデータベース
１０３  ベクトル量子化部
１０４  ベクトル量子化誤差算出部
１０５  セレクタ
１０６  画像特徴ベクトル番号置換テーブル
１０７  出力画像特徴ベクトルデータベース
１０８  画像特徴ベクトル補間演算部
１０９  出力画像生成部
２０１  差分部
２０２  閾値判定部
２０３  データ変更部
ＩＩＮ  入力画像（第１の画像）
ＩＩＮＦＶ  入力画像特徴ベクトル（第１の画像特徴ベクトル）
ＩＩＮＦＶＮ  入力画像特徴ベクトル番号
ＩＩＮＶＱＦＶ  入力画像量子化特徴ベクトル（第３の画像特徴ベクトル）
ＣａＩＯＵＴＦＶＮ  候補出力画像特徴ベクトル番号
ＣｂＩＯＵＴＦＶＮｓ  候補出力画像特徴ベクトル番号群
ＣｂＩＯＵＴＦＶｓ  候補出力画像特徴ベクトル群
ＣａＩＯＵＴＦＶ  第１の候補出力画像特徴ベクトル
ＣｂＩＯＵＴＦＶ  第２の候補ｂ出力画像特徴ベクトル
ＶＱＥ  ベクトル量子化誤差
ＩＯＵＴＦＶ  出力画像特徴ベクトル（第２の画像特徴ベクトル）
ＩＯＵＴ  出力画像（第２の画像）
【図１】
2006209396.tif 000009
【図２】
2006209396.tif 000010
【図３】
2006209396.tif 000011
【図４】
2006209396.tif 000012
【図５】
2006209396.tif 000013
【図６】
2006209396.tif 000014
【図７】
2006209396.tif 000015
【図９】
2006209396.tif 000016
【図１０】
2006209396.tif 000017
【図１１】
2006209396.tif 000018
【図１２】
2006209396.tif 000019
【図１４】
2006209396.tif 000020
【図１５】
2006209396.tif 000021
【図８】
2006209396.tif 000022
【図１３】
2006209396.tif 000023