"入力画像の指定領域を他の領域の画素値を利用して補完する画像修正装置であって、前記入力画像を撮影した撮影空間の物体の構造ごとの形状および位置を示す構造情報を記述したCGデータを予め記憶するCGデータ記憶手段と、前記入力画像において修正を行う指定領域を外部から入力する指定領域入力手段と、前記CGデータの構造情報で特定される前記物体の構造の前記入力画像内に投影される領域である構造領域の中で、前記指定領域と隣接する領域である隣接領域を探索する隣接領域探索手段と、前記入力画像における前記指定領域と前記隣接領域とからなる領域を修正領域とし、当該修正領域において、前記指定領域を予め定めた画素値で初期化するとともに、当該修正領域の画素ごとに当該画素を中心画素とした予め定めた範囲の画素の画素値からなる修正対象パッチで構成される修正対象パッチリストを生成する修正対象パッチリスト生成手段と、前記入力画像における前記隣接領域を修正の素材の画像領域となる素材領域とし、当該素材領域の画素ごとに当該画素を中心画素とした前記修正対象パッチと同じ範囲の画素の画素値からなる素材パッチで構成される素材パッチリストを生成する素材パッチリスト生成手段と、前記修正対象パッチリストの修正対象パッチを、当該修正対象パッチと最も類似度が高い前記素材パッチリストの素材パッチで置換して前記修正対象パッチリストを順次更新するとともに、前記入力画像の前記指定領域の画素の画素値を、前記修正対象パッチリストを構成する修正対象パッチ群の当該画素位置に対応する複数の画素から、予め定めた統計処理によって算出し補完する修正対象パッチリスト更新手段と、を備えていることを特徴とする画像修正装置。前記CGデータの1つの構造情報内に1以上の質感が異なる領域を示す質感情報を記述し、前記隣接領域探索手段は、前記質感情報において質感が異なる領域を異なる構造領域として区分して、前記隣接構造領域を探索することを特徴とする請求項1に記載の画像修正装置。前記入力画像を撮影したカメラのカメラパラメータを入力するカメラパラメータ入力手段と、このカメラパラメータ入力手段で入力されたカメラパラメータに基づいて、前記CGデータ記憶手段に記憶されているCGデータの構造情報を、前記入力画像内の位置に対応する構造情報に射影変換する構造情報変換手段と、をさらに備えていることを特徴とする請求項1または請求項2に記載の画像修正装置。前記入力画像は、静止画像であって、前記修正対象パッチリスト生成手段は、前記修正領域の画素ごとに、当該画素を中心として、空間方向において予め定めた範囲の画素の画素値で前記修正対象パッチを構成し、前記素材パッチリスト生成手段は、前記素材領域の画素ごとに、当該画素を中心として、空間方向において前記修正対象パッチと同じ範囲の画素の画素値で前記素材パッチを構成することを特徴とする請求項1から請求項3のいずれか一項に記載の画像修正装置。前記入力画像は、動画像であって、前記修正対象パッチリスト生成手段は、前記修正領域の画素ごとに、当該画素を中心として、空間方向および時間方向において予め定めた範囲の画素の画素値で前記修正対象パッチを構成し、前記素材パッチリスト生成手段は、前記素材領域の画素ごとに、当該画素を中心として、空間方向および時間方向において前記修正対象パッチと同じ範囲の画素の画素値で前記素材パッチを構成することを特徴とする請求項1から請求項3のいずれか一項に記載の画像修正装置。CGデータ記憶手段に予め記憶した入力画像を撮影した撮影空間の物体の構造ごとの形状および位置を示す構造情報に基づいて、前記入力画像の指定領域を他の領域の画素値を利用して補完するために、コンピュータを、前記入力画像において修正を行う指定領域を外部から入力する指定領域入力手段、前記CGデータの構造情報で特定される前記物体の構造の前記入力画像内に投影される領域である構造領域の中で、前記指定領域と隣接する領域である隣接領域を探索する隣接領域探索手段、前記入力画像における前記指定領域と前記隣接領域とからなる領域を修正領域とし、当該修正領域において、前記指定領域を予め定めた画素値で初期化するとともに、当該修正領域の画素ごとに当該画素を中心画素とした予め定めた範囲の画素の画素値からなる修正対象パッチで構成される修正対象パッチリストを生成する修正対象パッチリスト生成手段、前記入力画像における前記隣接領域を修正の素材の画像領域となる素材領域とし、当該素材領域の画素ごとに当該画素を中心画素とした前記修正対象パッチと同じ範囲の画素の画素値からなる素材パッチで構成される素材パッチリストを生成する素材パッチリスト生成手段、前記修正対象パッチリストの修正対象パッチを、当該修正対象パッチと最も類似度が高い前記素材パッチリストの素材パッチで置換して前記修正対象パッチリストを順次更新するとともに、前記入力画像の前記指定領域の画素の画素値を、前記修正対象パッチリストを構成する修正対象パッチ群の当該画素位置に対応する複数の画素から、予め定めた統計処理によって算出し補完する修正対象パッチリスト更新手段、として機能させることを特徴とする画像修正プログラム。第1従来手法は、前記したように、色や輝度の異なるテクスチャのような空間的に広がった領域においては適正に修正を行うことができないという問題がある。また、第2従来手法は、高品質の修正画像を得るためには、修正対象の動画像に対して、データセットとなる第2パッチリストのデータ量が膨大おおよそ、第2のビデオシーケンスの画素数分必要になる。すなわち、第2従来手法は、大量の画像パッチを処理するための膨大な処理コストメモリ量、処理時間が必要になるという問題がある。さらに、第2従来手法は、第1パッチリストの各画像パッチに、当該画像パッチと類似度が最も高い第2パッチリストの画像パッチを適用し、コヒーレンスの値によって評価を行っている。しかし、この場合、修正対象領域からかけ離れた領域の画素の画像パッチが最も類似すると、それらの組み合わせによって生成されたパッチリストのコヒーレンスが最大となることがある。すなわち、第2従来手法は、コヒーレンスという指標だけでは、必ずしも最適な画像パッチが選定されたことを認定することができず、高品質な修正画像を生成することができないという問題がある。本発明は、以上のような問題点に鑑みてなされたものであり、従来手法に比べて、処理コストメモリ量、処理時間を抑えて、高品質な修正画像を生成することが可能な画像修正装置およびそのプログラムを提供することを課題とする。本発明は、前記課題を解決するために創案されたものであり、まず、請求項1に記載の画像修正装置は、入力画像の指定領域を他の領域の画素値を利用して補完する画像修正装置であって、CGデータ記憶手段と、指定領域入力手段と、隣接領域探索手段と、修正対象パッチリスト生成手段と、素材パッチリスト生成手段と、修正対象パッチリスト更新手段と、を備える構成としたかかる構成において、画像修正装置は、CGデータ記憶手段に、入力画像を撮影した撮影空間の物体の構造ごとの形状および位置を示す構造情報を記述したCGデータを予め記憶しておく。この構造情報は、入力画像として撮影される被写体構造物の形状や配置位置を特定するものであって、例えば、物体を構成する形状である三角形や四角形の面の頂点座標等である。そして、画像修正装置は、指定領域入力手段によって、入力画像において修正を行う指定領域を外部から入力する。この指定領域は、操作者が入力画像において不要である削除したいと判断した領域であって、任意の領域である。そして、画像修正装置は、隣接領域探索手段によって、CGデータの構造情報で特定される物体の構造の入力画像内に投影される領域である構造領域の中で、指定領域と隣接する領域である隣接領域を探索する。この入力画像は、構造情報によって物体の構造ごとに領域を区分することが可能である。すなわち、隣接領域探索手段は、指定領域が構造情報で区分されるどの領域と隣接しているのかを検出し、指定領域に隣接する構造情報で特定される領域を隣接領域として特定する。そして、画像修正装置は、修正対象パッチリスト生成手段によって、入力画像における指定領域と隣接領域とからなる領域を修正領域とし、当該修正領域において、指定領域を予め定めた画素値で初期化するとともに、当該修正領域の画素ごとに当該画素を中心画素とした予め定めた範囲の画素の画素値からなる画像情報である修正対象パッチで構成される修正対象パッチリストを生成する。この修正対象パッチは、当該画素周辺のローカルな特徴量を示す情報を保持することになる。また、画像修正装置は、素材パッチリスト生成手段によって、入力画像における隣接領域を修正の素材の画像領域となる素材領域とし、当該素材領域の画素ごとに当該画素を中心画素とした修正対象パッチと同じ範囲の画素の画素値からなる画像情報である素材パッチ構成される素材パッチリストを生成する。この素材パッチは、素材領域の各画素周辺のローカルな特徴量を示す情報を保持することになる。そして、画像修正装置は、修正対象パッチリスト更新手段によって、修正対象パッチリストの修正対象パッチを、当該修正対象パッチと最も類似度が高い素材パッチリストの素材パッチで置換して修正対象パッチリストを順次更新する。また、画像修正装置は、修正対象パッチリスト更新手段によって、更新された修正対象パッチリストを構成する修正対象パッチ群から、修正対象画素に関係する、すなわち、修正対象画素の画素位置に対応する画素を有する修正対象パッチ群から得られるすべての画素値を用いて予め定めた統計処理で画素値を算出し、入力画像の指定領域を補完する。これによって、入力画像の指定領域が、類似する素材領域の最尤推定画素値で置換され、指定領域の画素が補完される。これらの処理を繰り返すことによって、個々の修正対象パッチが隣接領域および素材パッチの特徴に類似していくことになる。また、請求項2に記載の画像修正装置は、請求項1に記載の画像修正装置において、CGデータの1つの構造情報内に1以上の質感が異なる領域を示す質感情報を記述し、隣接領域探索手段が、質感情報において質感が異なる領域を異なる領域を異なる構造領域として区分して、隣接構造領域を探索する構成とした。かかる構成において、画像修正装置は、隣接領域探索手段によって、CGデータに1つの構造情報として複数の質感が異なる領域を持つ場合に、それぞれの異なる質感の領域を異なる領域として区分して、指定領域に隣接する隣接領域を探索する。また、請求項3に記載の画像修正装置は、請求項1または請求項2に記載の画像修正装置において、カメラパラメータ入力手段と、構造情報変換手段と、をさらに備える構成とした。かかる構成において、画像修正装置は、カメラパラメータ入力手段によって、入力画像を撮影したカメラのカメラパラメータを入力する。このカメラパラメータは、入力画像に同期した情報であって、カメラの位置や画角を特定する情報である。そして、画像修正装置は、構造情報変換手段によって、カメラパラメータに基づいて、CGデータ記憶手段に記憶されているCGデータの構造情報を、入力画像内の位置に対応する構造情報に射影変換する。これによって、CGデータとして、カメラが撮影可能な撮影空間内の構造情報とすることで、カメラが任意の方向で撮影した入力画像を修正対象とすることができる。また、請求項4に記載の画像修正装置は、請求項1から請求項3のいずれか一項に記載の画像修正装置において、入力画像は、静止画像であって、修正対象パッチリスト生成手段が、修正領域の画素ごとに、当該画素を中心として、空間方向において予め定めた範囲の画素の画素値で修正対象パッチを構成し、素材パッチリスト生成手段が、素材領域の画素ごとに、当該画素を中心として、空間方向において修正対象パッチと同じ範囲の画素の画素値で素材パッチを構成することとした。かかる構成において、画像修正装置は、修正対象パッチおよび素材パッチを、空間方向において予め定めた範囲の画像情報とすることで、入力画像が静止画像である場合、修正領域と素材領域とが空間的に類似するか否かによって、修正領域を素材領域に近似させることができる。さらに、請求項5に記載の画像修正装置は、請求項1から請求項3のいずれか一項に記載の画像修正装置において、入力画像は、動画像であって、修正対象パッチリスト生成手段が、修正領域の画素ごとに、当該画素を中心として、空間方向および時間方向において予め定めた範囲の画素の画素値で修正対象パッチを構成し、素材パッチリスト生成手段が、素材領域の画素ごとに、当該画素を中心として、空間方向および時間方向において修正対象パッチと同じ範囲の画素の画素値で素材パッチを構成することとした。かかる構成において、画像修正装置は、修正対象パッチおよび素材パッチを、空間方向および時間方向において予め定めた範囲の画像情報とすることで、入力画像が動画像である場合、修正領域と素材領域とが空間的および時間方向に類似するか否かによって、修正領域を素材領域に近似させることができる。また、請求項6に記載の画像修正プログラムは、CGデータ記憶手段に予め記憶した入力画像を撮影した撮影空間の物体の構造ごとの形状および位置を示す構造情報に基づいて、入力画像の指定領域を他の領域の画素値を利用して補完するために、コンピュータを、指定領域入力手段、隣接領域探索手段、修正対象パッチリスト生成手段、素材パッチリスト生成手段、修正対象パッチリスト更新手段、として機能させる構成とした。かかる構成において、画像修正プログラムは、指定領域入力手段によって、入力画像において修正を行う指定領域を外部から入力する。そして、画像修正プログラムは、隣接領域探索手段によって、CGデータの構造情報で特定される物体の構造の入力画像内に投影される領域である構造領域の中で、指定領域と隣接する領域である隣接領域を探索する。そして、画像修正プログラムは、修正対象パッチリスト生成手段によって、入力画像における指定領域と隣接領域とからなる領域を修正領域とし、当該修正領域において、指定領域を予め定めた画素値で初期化するとともに、当該修正領域の画素ごとに当該画素を中心画素とした予め定めた範囲の画素の画素値からなる画像情報である修正対象パッチで構成される修正対象パッチリストを生成する。また、画像修正プログラムは、素材パッチリスト生成手段によって、入力画像における隣接領域を修正の素材の画像領域となる素材領域とし、当該素材領域の画素ごとに当該画素を中心画素とした修正対象パッチと同じ範囲の画素の画素値からなる画像情報である素材パッチ構成される素材パッチリストを生成する。そして、画像修正プログラムは、修正対象パッチリスト更新手段によって、修正対象パッチリストの修正対象パッチを、当該修正対象パッチと最も類似度が高い素材パッチリストの素材パッチで置換して修正対象パッチリストを順次更新する。また、画像修正プログラムは、修正対象パッチリスト更新手段によって、更新された修正対象パッチリストを構成する修正対象パッチ群から、修正対象画素に関係する修正対象パッチ群から得られるすべての画素値を用いて、最尤推定画素値により入力画像の指定領域を補完する。本発明は、以下に示す優れた効果を奏するものである。請求項1,6に記載の発明によれば、CGデータの構造情報を利用して、修正すべき対象となる修正領域や、その素材となる素材領域を限定して画像修正を行うため、従来のように画像全体を修正対象として演算を行う場合に比べて、処理時間が短く、使用するメモリ量を抑えることができる。また、請求項1,6に記載の発明によれば、修正を行う際の素材となる画像として、指定領域に隣接する領域の画像を用いるため、従来のように指定領域からかけ離れた場所の画像情報を利用しないため、高品質に修正画像を生成することができる。請求項2に記載の発明によれば、1つの物体の構造に複数の質感を定義可能な一般的なCGデータを用いて、入力画像から高速、高品質に修正画像を生成することができる。請求項3に記載の発明によれば、カメラパラメータによって、入力画像に対応した構造情報を、入力画像の領域修正領域、素材領域を区分するために利用することができる。これによって、本発明は、カメラの撮影空間のCGデータを作成すれば、カメラが撮影した任意の画像から、高速、高品質に修正画像を生成することができる。請求項4に記載の発明によれば、静止画像を入力画像として、修正対象領域を制限することで、高速、高品質に静止画像を修正することができる。請求項5に記載の発明によれば、動画像を入力画像として、修正対象領域を制限することで、高速、高品質に動画像を修正することができる。以下、本発明の実施形態について図面を参照して説明する。[画像修正装置の構成]最初に、図1を参照して、本発明の実施形態に係る画像修正装置の構成について説明する。画像修正装置1は、カメラCによって撮影された画像入力画像において、操作者が指定した領域指定領域を、他の領域の画像情報を利用して補完することで、入力画像を修正するものである。ここでは、画像修正装置1が修正対象とする画像を、動画像映像として説明し、以下、単に画像という。また、ここでは、画像修正装置1は、カメラCから、画像およびその画像を撮影した際のカメラパラメータを入力することとするが、予めカメラCで撮影した画像やカメラパラメータを、図示を省略した記憶手段に記憶しておき、その記憶手段から画像やカメラパラメータを入力することとしてもよい。画像修正装置1は、図1に示すように、CGデータ記憶手段10と、修正領域決定手段20と、修正領域補完手段30と、を備えている。CGデータ記憶手段10は、入力画像を撮影した撮影空間における物体の構造ごとの形状および位置を示す構造情報をコンピュータグラフィックスComputerGraphics;以下、CGというデータとして予め記憶するものである。このCGデータ記憶手段10は、ハードディスク、半導体メモリ等の一般的な記憶装置である。このCGデータ記憶手段10に予め記憶しておく構造情報は、カメラの撮影空間を世界座標とした座標系において、撮影空間上に存在する被写体物体の幾何的形状を記述した情報例えば、各頂点座標である。この構造情報には、固有の識別情報IDを付しておく。なお、このCGデータは、厳密なCG画像の生成を目的とするものではないため、簡略化した概略形状を示す情報であればよい。このCGデータにおける構造情報は、一般的なデータの記述手法で記述しておくことができる。例えば、3次元座標世界座標上の0,0,0、1,0,0、0,1,0に、当該座標を3頂点とする物体の三角形の面が存在する場合、OpenGL登録商標において、図13に示すように記述することができる。修正領域決定手段20は、入力画像の修正の対象となる領域を決定するものである。ここでは、修正領域決定手段20は、カメラパラメータ入力手段21と、構造情報変換手段22と、指定領域入力手段23と、隣接領域探索手段24と、を備えている。カメラパラメータ入力手段21は、カメラCから、CGデータに記述されている構造情報を入力画像内に射影変換するための情報であって、撮影した画像入力画像の画角等を特定するためのカメラパラメータを入力するものである。ここでは、カメラパラメータ入力手段21は、パン、チルト、ズーム等の各値であるパン値、チルト値、ズーム値等をカメラパラメータとして入力する。なお、カメラパラメータは、入力画像と同期している必要があるが、逐次、カメラCが撮影している状態で、カメラ雲台に組みこまれたロータリエンコーダの値を入力することとしてもよいし、入力画像内の予め定めた特徴点を検出し、その特徴点の位置や大きさ等の情報に基づいて演算処理によって求めることとしてもよい。このカメラパラメータ入力手段21は、入力されたカメラパラメータを、構造情報変換手段22に出力する。構造情報変換手段22は、カメラパラメータ入力手段21において入力されたカメラパラメータパン値、チルト値、ズーム値等に基づいて、CGデータ記憶手段10に記憶されているCGデータに記述されている構造情報を、カメラCが撮影した入力画像内の位置に対応する構造情報に変換するものである。すなわち、この構造情報変換手段22は、予め定めた世界座標上のカメラ位置をカメラ座標の原点として、カメラパラメータで特定され、カメラCの固有の画角に対応したCGデータ構造情報の幾何的形状の頂点座標を、入力画像内に射影変換する。これによって、カメラCが撮影した入力画像の領域を、画像内部に映し出される被写体物体の構造によって、区分セグメンテーションすることができる。この構造情報変換手段22は、入力画像内の座標に変換した物体の構造ごとの構造情報を、当該物体に付されている固有の識別情報IDとともに、隣接領域探索手段24に出力する。例えば、入力画像が、図3に示すような画像Aであった場合、構造情報変換手段22は、CGデータの構造情報の世界座標をカメラパラメータに基づいて変換し、図4に示すような、入力画像内の個々の構造を領域として区分可能な領域の座標に変換する。なお、図4では、CGデータに記述されている構造情報の各物体の構造を概略形状とした例を示し、窓、天井等をそれぞれ1つの構造とした例を示している。指定領域入力手段23は、入力画像において、修正、すなわち、削除したい領域指定領域を外部から入力するものである。ここで、指定領域は、表示装置Gに表示された入力画像において、操作者が不要であると判断した画像領域である。この指定領域入力手段23における領域を指定する手法は、画像内で任意の領域を設定可能であれば、その手法は問わない。例えば、指定領域入力手段23は、外部に接続したマウスMによって選択された任意の2点を対角頂点とする矩形領域を指定領域としてもよいし、マウスMのボタンをクリックした状態で、マウス表示位置を中心とした、ある大きさを持った領域の移動軌跡を指定領域としてもよい。また、この指定領域入力手段23に入力される指定領域は、1つに限定されず、複数の領域であっても構わない。例えば、図5に示すように、図3に示した画像A内から、扉Rのみを削除したい場合、操作者は、複数の扉Rをそれぞれ指定領域Hとして指定する。このように指定された領域指定領域は、隣接領域探索手段24に出力される。この指定領域入力手段23が出力する指定領域は、例えば、当該領域が矩形領域であれば対角頂点座標、あるいは1つの頂点座標例えば、領域左上の座標と領域の大きさ幅、高さとする。また、例えば、修正領域が任意の形状であれば、当該領域の位置と形状を示すビットマップデータとする。隣接領域探索手段24は、入力画像内の構造領域の中で、指定領域と隣接する構造領域である隣接領域を探索するものである。ここでは、隣接領域探索手段24は、構造情報変換手段22で入力画像内に射影変換された構造領域の中で、指定領域入力手段23で入力された指定領域に隣接する領域隣接領域を探索する。この隣接領域を探索する手法は、一般的な手法を用いることができる。例えば、隣接領域探索手段24は、指定領域の外縁画素を周辺方向に膨張例えば、1画素分させて、その膨張した画素が、構造領域のどの領域どのIDを持った構造情報に含まれるか否かを判定することで、隣接領域を探索する。一例として、構造情報変換手段22で入力画像内に射影変換された構造領域が図4に示した領域であって、指定領域入力手段23で入力された指定領域が図5で示した領域指定領域Hであったとする。この場合、隣接領域探索手段24は、図6に示すように、指定領域HH1,H2を膨張させ、その膨張した領域δH1、δH2が属する領域であるC4,C5を隣接領域とする。この指定領域H1,H2を入力画像から削除する場合、当該領域に隣接する隣接領域C4,C5の画素値を用いて指定領域H1,H2の画素値を補完することが、画素値が近似していることから、最も適しているといえる。そこで、隣接領域探索手段24は、修正領域を補完するための素材領域として、当該領域の領域情報構造情報を入力画像に射影変換した座標等を、修正領域補完手段30に出力する。また、隣接領域探索手段24は、指定領域と素材領域隣接領域とからなる領域を演算対象となる修正領域とし、当該領域を特定する領域情報を、修正領域補完手段30に出力する。例えば、図6において、隣接領域をC4,C5として検出した場合、隣接領域探索手段24は、図7に示すように、隣接領域C4,C5を、素材領域として修正領域補完手段30に出力する。また、隣接領域C4,C5に指定領域を加えた領域を修正領域として修正領域補完手段30に出力する。修正領域補完手段30は、入力画像内の指定領域を、修正領域決定手段20で決定された素材領域の画像を利用して補完するものである。ここでは、修正領域補完手段30は、修正対象パッチリスト生成手段31と、素材パッチリスト生成手段32と、修正対象パッチリスト更新手段33と、を備えている。修正対象パッチリスト生成手段31は、入力画像のうちで、修正領域決定手段20で決定された修正領域指定領域隣接領域の画像修正対象画像において、指定領域を予め定めた画素値とするとともに、当該画像から、画素ごとに当該画素を中心画素とした予め定めた範囲の画素の画素値からなる画像パッチ修正対象パッチで構成される修正対象パッチリストを生成するものである。すなわち、この修正対象パッチリスト生成手段31は、入力画像のうちで指定領域の画素値を一定の値に初期化する。この指定領域の画素の初期値は、例えば、画素値0等としてもよいし、指定領域のすべての画素の画素値の平均値平均画素値としてもよい。そして、修正対象パッチリスト生成手段31は、指定領域に初期値が設定された修正領域の画像から、画素ごとに、当該画素を中心とした周囲の画素を含んだ小領域の画像パッチ修正対象パッチを生成することで、当該画像パッチで構成されるリスト修正対象パッチリストを生成する。この生成された修正対象パッチリストは、修正対象パッチリスト更新手段33に出力される。ここで、図9を参照して、画像パッチについて説明する。図9に示すように、修正領域の画像修正対象画像Sを、xy座標の座標系で表されるフレーム画像の修正領域分の画像が時間方向tに連続した画像動画像、映像であるとする。このとき、座標x、y、時刻tにおける画素p=x,y,tを中心として、xy方向空間方向およびt方向時間方向に予め定めた大きさの画素群Wp、具体的にはそれら画像群の画素値の集合を画像パッチと呼ぶ。この画像パッチの大きさは、例えば、5×5×5画素、7×7×7画素等である。図1に戻って、画像修正装置1の構成について説明を続ける。素材パッチリスト生成手段32は、入力画像のうちで、修正領域決定手段20で決定された素材領域隣接領域の画像素材画像から、画素ごとに当該画素を中心画素とした予め定めた範囲の画素の画素値からなる画像パッチ素材パッチで構成される素材パッチリストを生成するものである。この生成された素材パッチリストは、修正対象パッチリスト更新手段33に出力される。この素材パッチリスト生成手段32が生成する素材パッチリストを構成する画像パッチ素材パッチは、その元となる画像が、修正領域の画像ではなく、素材領域の画像である点が、修正対象パッチリスト生成手段31と異なるだけである。すなわち、素材パッチリスト生成手段32は、図9に示すように、素材領域の画像素材画像Dを、xy座標の座標系で表されるフレーム画像の素材領域分の画像が時間方向tに連続した画像動画像、映像であるとしたとき、座標x、y、時刻tにおける画素q=x,y,tを中心として、xy方向空間方向およびt方向時間方向に予め定めた大きさの画素群Vqを素材パッチとする。なお、修正対象パッチリスト生成手段31が生成する修正対象パッチと、素材パッチリスト生成手段32が生成する素材パッチの大きさ画素数は同じである。ここで、図10を参照して、修正対象パッチリスト生成手段31が対象とする修正対象画像と、素材パッチリスト生成手段32が対象とする素材画像とについて説明する。図10aに示すように、修正対象画像Sは、指定領域Hを含んだ画像である。一方、図10bに示すように、素材画像Dは、修正対象画像Sから指定領域Hを除いた画像である。図1に戻って、画像修正装置1の構成について説明を続ける。修正対象パッチリスト更新手段33は、修正対象パッチリストの画像パッチを、当該画像パッチと最も類似度が高い素材パッチリストの画像パッチで置換して修正対象パッチリストを更新し、類似度の累積累計コヒーレンス関連度が最大となる最近似パッチリストを生成するものである。すなわち、修正対象パッチリスト更新手段33は、以下の1式に示すコヒーレンスCoの値が最大となる修正対象パッチリストを生成するものである。ここで、pは修正対象画像S内の画素、qは素材画像D内の画素、Wpは修正対象画像Sの画像パッチ修正対象パッチ、Vqは素材画像Dの画像パッチ素材パッチである図9,図10参照。また、simは、類似度を計算する関数であって、詳細は後記する。なお、修正対象画像Sは、コヒーレンスが最大となるように順次更新されるものであるため、ここでは、Sで表記している。この修正対象パッチリスト更新手段33は、前記1式を最大とするため、類似パッチ探索手段331と、関連度計算手段332と、類似パッチ置換手段333と、画素値補完手段334と、更新終了判定手段335と、を備えている。類似パッチ探索手段331は、修正対象パッチリストの修正対象パッチWpごとに、画像特徴量が最も類似する素材パッチリストの素材パッチVqを探索するものである。この類似パッチ探索手段331は、修正対象パッチWpごとに、以下の2式前記1式の関数simによって、修正対象パッチWpと素材パッチVqとの類似度を計算する。このdは、以下の3式に示すWpとVqとの画像特徴量の距離例えば、各パッチに所属する全ピクセル分の特徴量を並べたベクトルのSSDSumofSquaredDistance距離である。また、σは、画像特徴量の分散を示す予め定めた定数である。なお、Wpx,y,tは、修正対象パッチWpの画像特徴量である。例えば、画像特徴量Wpx,y,tは、修正対象パッチWpに属するすべての画素値R,G,Bと、輝度の2方向の瞬間変化量成分u,vからなる特徴量ベクトルR,G,B,u,vとする。このR,G,Bは、修正対象パッチWpに属するすべての画素を構成する色の画素値からなるベクトルである。また、u,vは、修正対象パッチWpにおける空間方向x方向、y方向の輝度の微分値Yx、Yy、および、時間方向t方向の輝度の微分値Ytで特定される瞬間変化量ベクトルYt/Yx,Yt/Yyである。なお、Vqx,y,tは、素材パッチVqの画像特徴量であって、その内容は、修正対象パッチWpの画像特徴量と同じである。そして、類似パッチ探索手段331は、修正対象パッチWpに最も類似する素材パッチVqを特定し、その類似度を関連度計算手段332に出力するともに、対応する修正対象パッチWpと素材パッチVqとを類似パッチ置換手段333に出力する。関連度計算手段332は、類似パッチ探索手段331で探索された修正対象パッチWpごとに最も類似する素材パッチVqの類似度を、修正対象パッチWp分累積累計して、修正対象パッチリストの修正対象パッチを、類似する素材パッチで置き換えたときの、置換後の修正対象パッチリストと素材パッチリストとの関連の度合いを示す関連度コヒーレンスを計算するものである。すなわち、関連度計算手段332は、類似パッチ探索手段331において前記2式で計算された類似度を用いて、前記1式に示すように、修正対象パッチWpと素材パッチVqとの最大類似度を修正対象パッチWp分累積累計することで、コヒーレンスCoを算出する。この関連度計算手段332で計算されたコヒーレンスCoの値は、更新終了判定手段335に出力される。類似パッチ置換手段333は、修正対象パッチリストの各修正対象パッチを、類似パッチ探索手段331で探索された類似度が最も高い素材パッチに置換して、新たな修正対象パッチリストを生成するものである。この類似パッチ置換手段333は、後記する更新終了判定手段335から終了の指示が通知されるまで、更新した修正対象パッチリストを類似パッチ探索手段331に出力する。これによって、修正対象パッチリストは、順次更新されることになる。また、類似パッチ置換手段333は、更新した修正対象パッチリストを画素値補完手段334に出力する。画素値補完手段334は、入力画像の指定領域を補完するものである。この画素値補完手段334は、得られたすべての修正対象パッチリストから、それぞれの修正対象画素に関係する修正対象パッチ群から得られるすべての画素値を用いて最尤推定画素値を求め、これにより入力画像の指定領域を補完する。この修正された画像は、更新終了判定手段335から終了の指示が通知された場合に、外部例えば、表示装置Gに出力される。具体的には、画素値補完手段334は、修正対象パッチリストの中で、入力画像の補完対象の画素の画素位置を含んだ修正対象パッチの当該画素位置に対応するすべての画素の画素値について、統計処理により求めた値例えば、平均値等によって、当該画素位置の画素値を最尤推定画素値として決定する。例えば、図12aに示すように、ある入力画像の補完対象の画素gの画素値を求める場合、修正対象パッチを3×3の画像パッチとすると、画素値補完手段334は、図12bに示すように、補完対象の画素gの位置を含んだ画像に類似する9つの修正対象パッチにおいて、画素gの位置に対応する画素g1~g9の各画素の平均画素値を、画素gの最尤推定画素値として決定する。なお、画素値補完手段334が最尤推定画素値を求めるために平均値を用いる手法は、統計的手法の一例であって、これに限定されるものではない。例えば、画素値補完手段334は、補完対象の画素の画素位置を含んだ修正対象パッチにおける当該画素位置に対応する画素値に対して、前記2式で表されるパッチ間の類似度を信頼度の指標とし、これを係数とした平均値シフトmeanshift法により補完対象の画素の画素値を求めてもよい。なお、この画素値補完手段334は、必ずしも修正領域分の画素値を設定し直す必要はなく、修正領域のうちで、指定領域入力手段23で入力された指定領域に対応する画素の画素値のみを設定し直すこととしてもよい。更新終了判定手段335は、類似パッチ置換手段333が行う修正対象パッチリストの更新の終了判定、すなわち、画素値補完手段334における最適な画素値の補完が完了したか否かの判定を行うものである。ここでは、更新終了判定手段335は、関連度計算手段332で計算されたコヒーレンス関連度Cが、最も大きくなったことを終了判定の基準とする。すなわち、更新終了判定手段335は、コヒーレンスCoが最大となったときを更新の終了と判定し、画素値補完手段334にその旨を通知する。ここで、コヒーレンスCoが最大となったときとは、これ以上、コヒーレンスCoの値が増加しないと判断したとき、例えば、コヒーレンスCoの増分割合が予め定めた閾値以下となったときである。なお、ここでは、更新終了判定手段335は、コヒーレンスCoの値によって、終了判定を行ったが、予め定めた更新回数を終了の判定条件としてもよい。また、更新終了判定手段335は、一旦更新を終了した場合であっても、図示を省略した入力手段を介して、操作者から更新の指示を入力された場合、指定回数分更新を繰り返すこととしてもよい。このように、画像修正装置1は、図11に示すように、素材画像Dと、順次更新される指定領域HHの画像とによって、素材画像Dとのコヒーレンスが最大となる修正対象画像SSを生成し、当該修正対象画像Sを入力画像の修正領域の画像として生成する。例えば、画像修正装置1は、図5に示した画像Aにおいて指定領域Hを指定することで、指定領域H内の画像を他の領域隣接領域で補完し、図8に示すように、あたかも初めから指定領域H内の物体が存在していなかったような画像を生成することができる。なお、画像修正装置1は、一般的なCPU、RAM、ROMなどで構成することができ、コンピュータを、前記した各手段として機能させるプログラム画像修正プログラムで動作させることができる。以上説明したように、画像修正装置1は、操作者が指定した画像領域を補完する際に、CGデータの構造情報を利用して、修正すべき対象となる領域修正領域や、その素材となる領域素材領域を限定して画像修正を行うため、従来のように画像全体を修正対象として演算を行う場合に比べて、処理時間が短く、使用するメモリ量を抑えることができる。また、画像修正装置1は、修正を行う際の素材となる画像として、操作者が指定した領域に隣接する領域の画像を用いるため、従来のように指定領域からかけ離れた場所から画像パッチを選択することがなく、高品質に修正画像を生成することができる。[画像修正装置の動作]次に、図2を参照構成については、適宜図1参照して、本発明の実施形態に係る画像修正装置の動作について説明する。なお、ここでは、CGデータ記憶手段10に、撮影空間の被写体の構造ごとの形状を示す構造情報を記述したCGデータが予め記憶されているものとする。また、カメラCが撮影した画像が表示装置Gに表示されているものとする。まず、画像修正装置1は、カメラパラメータ入力手段21によって、カメラCからカメラパラメータパン値、チルト値、ズーム値等を逐次入力するステップS1。そして、画像修正装置1は、指定領域入力手段23によって、操作者から、入力画像上の削除を行いたい指定領域を入力するステップS2。そして、画像修正装置1は、構造情報変換手段22によって、ステップS1で入力されたカメラパラメータに基づいて、CGデータ記憶手段10に記憶されているCGデータ構造情報を、カメラCが撮影した入力画像内の位置に対応する構造情報に変換射影変換し、入力画像を被写体構造の形状に応じた領域に区分するステップS3。その後、画像修正装置1は、隣接領域探索手段24によって、ステップS3で区分されている入力画像内の構造領域の中で、ステップS2で入力された指定領域と隣接する構造領域である隣接領域を探索するステップS4。このステップS4で探索された指定領域に隣接する隣接領域に対応する画像が、指定領域を補完するための素材となる。そして、画像修正装置1は、修正対象パッチリスト生成手段31によって、ステップS2で指定された指定領域と、ステップS4で探索された隣接領域とからなる修正領域に対応する画像修正対象画像において、指定領域を予め定めた画素値初期値とするとともに、当該画像から、画素ごとに当該画素を中心画素とした予め定めた範囲の画素の画素値からなる画像パッチ修正対象パッチで構成される修正対象パッチリストを生成するステップS5。さらに、画像修正装置1は、素材パッチリスト生成手段32によって、ステップS4で探索された隣接領域素材領域に対応する画像素材画像において、画素ごとに当該画素を中心画素とした予め定めた範囲の画素の画素値からなる画像パッチ素材パッチで構成される素材パッチリストを生成するステップS6。そして、画像修正装置1は、類似パッチ探索手段331によって、修正対象パッチリストの修正対象パッチごとに、画像特徴量が最も類似する素材パッチリストの素材パッチを探索するステップS7。そして、画像修正装置1は、関連度計算手段332によって、ステップS7で探索された素材パッチの類似度を累積累計し、コヒーレンスを計算1式参照するステップS8。その後、画像修正装置1は、類似パッチ置換手段333によって、修正対象パッチリストの各修正対象パッチを、ステップS7で探索された類似度が最も高い素材パッチに置換して、修正対象パッチリストを更新するステップS9。そして、画像修正装置1は、画素値補完手段334によって、修正対象パッチリストを構成する画像パッチ修正対象パッチから、各修正対象画素に対して最尤推定画素値を求め、入力画像の指定領域を更新する。これにより入力画像の指定領域を補完するステップS10。そして、画像修正装置1は、更新終了判定手段335によって、ステップS8で計算されたコヒーレンスが最大になったか否かを判定するステップS11。例えば、更新終了判定手段335は、更新前後のコヒーレンスの増分割合が予め定めた閾値以下となったか否かによって、コピーレンスが最大になったか否かを判定する。そして、コヒーレンスが最大でないと判定した場合ステップS11でNo、画像修正装置1は、ステップS7に戻って、修正対象パッチリストの更新動作を続ける。一方、コヒーレンスが最大であると判定した場合ステップS11でYes、画像修正装置1は、ステップS10で補完された画像を入力画像の補完結果とし、動作を終了する。以上の動作によって、画像修正装置1は、操作者が指定した画像領域を補完する際に、CGデータの構造情報を利用して、修正すべき対象となる領域修正領域や、その素材となる領域素材領域を限定して、画像修正を行うことができる。以上、本発明の実施形態に係る画像修正装置について説明したが、本発明は、この実施形態に限定されるものではない。例えば、本実施形態では、CGデータ記憶手段10が記憶するCGデータを1つの構造に1つの領域を持たせた構造情報の例で説明したが、CGデータには、3次元構造を記述した1つの構造情報内に、質感情報色、透明度等の異なる領域を定義することができる。すなわち、CGデータとして、1つの構造に複数の異なる質感が定義可能な場合、指定領域に隣接する領域を特定しても、その領域に複数の質感が含まれ、指定領域として削除したい画像に類似しない画像が含まれることがある。そこで、このようなCGデータを用いる場合、隣接領域探索手段24は、異なる質感を持った領域を異なる領域として区分することとする。これによって、隣接領域探索手段24は、指定領域に隣接する領域を探索する際に、1つの隣接領域の中に質感の異なる領域を含めずに、類似する画像情報によって、補完を行うことができる。例えば、3次元座標世界座標上の-0.5,-0.5,0.5、0.5,-0.5,0.5、0.5,0.5,0.5、-0.5,0.5,0.5、0.5,-0.5,-0.5、-0.5,-0.5,-0.5、-0.5,0.5,-0.5、0.5,0.5,-0.5に、当該座標を8頂点とする立方体の各面が存在し、各面の質感である色が異なる場合、OpenGL登録商標において、図14に示すように記述することができる。この場合、隣接領域探索手段24は、1つの物体であっても、例えば、赤色、緑色、青色といった異なる質感を持った領域を異なる領域として区分する。また、本実施形態では、入力される画像を動画像映像として説明したが、静止画像であっても構わない。その場合、修正領域補完手段30が扱う画像パッチを、時空間方向に大きさを持つ画像パッチではなく、空間方向xy方向のみに大きさを持つものとすればよい。そして、類似パッチ探索手段331は、3式の代わりに、以下の4式を用いることとする。このWpx,y、Vqx,yは、修正対象パッチWp、素材パッチVqのそれぞれの空間画像特徴量である。例えば、Wpx,yとして、パッチ内の全画素の画素値R,G,Bのベクトルを用いることができる。また、本実施形態では、カメラパラメータによって、CGデータの構造情報を入力画像上に射影変換して修正対象となる領域を区分することとしたが、固定カメラで撮影された固定の画角で撮影された画像を修正対象とするのであれば、CGデータ記憶手段10に、予めCGデータの構造情報として、すでに入力画像の座標に変換した構造情報を記憶しておけばよい。その場合、図1の構成からカメラパラメータ入力手段21、構造情報変換手段22を省略し、隣接領域探索手段24が、直接、CGデータ記憶手段10の構造情報を参照して、隣接領域を探索すればよい。"