(57)【要約】【課題】画像の定常性の角度を検出する。【解決手段】水平・垂直判定部７１１が、各画素毎に定常性の方向が垂直または水平方向に近い方向を判定し、判定結果に応じて、データ取得部７１２が注目画素に対応する取得ブロックを取得する。差分足し込み部７２１は、取得された取得ブロックの各画素のダイナミックレンジブロックの各画素間の差分を検出して、それぞれ自乗して足し込み、定常方向導出部７０３に出力する。ＭａｘＭｉｎ取得部７２２は、ダイナミックレンジブロックの最大値と最小値からダイナミックレンジを求めて、差分足し込み部７２３に出力する。差分足し込み部７２３は、ダイナミックレンジブロックの各画素間の差分と、ダイナミックレンジを乗算して足し込み、定常方向導出部７０３に出力する。定常方向演算部７３１は、足し込み結果から、統計的に定常性の角度を検出する。【選択図】      図１２４
2004246524.tif 000002
【特許請求の範囲】
【請求項１】
現実世界の光信号が射影され、前記現実世界の光信号の定常性の一部が欠落した画像データ内の注目画素に対応する領域を選択する領域選択手段と、
前記領域選択手段により選択された前記領域内の、前記欠落した現実世界の光信号の定常性に対応する前記画像データの定常性の基準軸に対する角度を検出するための特徴を検出する特徴検出手段と、
前記特徴検出手段により検出された特徴に基いて統計的に前記角度を検出する角度検出手段と、
前記角度検出手段により検出された前記画像データの定常性の基準軸に対する角度に基いて、前記欠落した現実世界の光信号の定常性を推定することにより前記光信号を推定する実世界推定手段と
を含むことを特徴とする画像処理装置。
【請求項２】
前記領域選択手段は、
前記現実世界の光信号が射影され、前記現実世界の光信号の定常性の一部が欠落した画像データ内の注目画素を基準として、前記画像データに対して垂直方向および水平方向のアクティビティを検出するアクティビティ検出手段をさらに備え、
前記アクティビティ検出手段による検出結果に応じて、前記画像データ内の処理領域を選択し、
前記特徴検出手段は、
前記領域選択手段により選択された領域内の画素の画素値の最大値と最小値との差であるダイナミックレンジを検出するダイナミックレンジ検出手段と、
前記領域選択手段により選択された領域内の、前記アクティビティ検出手段による検出結果に応じた方向に隣接する画素間の差分値を検出する差分値検出手段とをさらに備え、
前記角度検出手段は、
前記ダイナミックレンジと前記差分値に応じて、前記欠落した現実世界の光信号の定常性に対応する画像データの定常性の基準軸に対する角度を統計的に検出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ダイナミックレンジ検出手段により検出される前記領域内の画素の画素値の最大値と最小値とに基いて、前記領域内の前景オブジェクト成分と背景オブジェクト成分との混合比を推定する混合比推定手段をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
現実世界の光信号が射影され、前記現実世界の光信号の定常性の一部が欠落した画像データ内の注目画素に対応する領域を選択する領域選択ステップと、
前記領域選択ステップの処理で選択された前記領域内の、前記欠落した現実世界の光信号の定常性に対応する前記画像データの定常性の基準軸に対する角度を検出するための特徴を検出する特徴検出ステップと、
前記特徴検出ステップの処理で検出された特徴に基いて統計的に前記角度を検出する角度検出ステップと、
前記角度検出ステップの処理で検出された前記画像データの定常性の基準軸に対する角度に基いて、前記欠落した現実世界の光信号の定常性を推定することにより前記光信号を推定する実世界推定ステップと
を含むことを特徴とする画像処理方法。
【請求項５】
現実世界の光信号が射影され、前記現実世界の光信号の定常性の一部が欠落した画像データ内の注目画素に対応する領域を選択する領域選択ステップと、
前記領域選択ステップの処理で選択された前記領域内の、前記欠落した現実世界の光信号の定常性に対応する前記画像データの定常性の基準軸に対する角度を検出するための特徴を検出する特徴検出ステップと、
前記特徴検出ステップの処理で検出された特徴に基いて統計的に前記角度を検出する角度検出ステップと、
前記角度検出ステップの処理で検出された前記画像データの定常性の基準軸に対する角度に基いて、前記欠落した現実世界の光信号の定常性を推定することにより前記光信号を推定する実世界推定ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項６】
現実世界の光信号が射影され、前記現実世界の光信号の定常性の一部が欠落した画像データ内の注目画素に対応する領域を選択する領域選択ステップと、
前記領域選択ステップの処理で選択された前記領域内の、前記欠落した現実世界の光信号の定常性に対応する前記画像データの定常性の基準軸に対する角度を検出するための特徴を検出する特徴検出ステップと、
前記特徴検出ステップの処理で検出された特徴に基いて統計的に前記角度を検出する角度検出ステップと、
前記角度検出ステップの処理で検出された前記画像データの定常性の基準軸に対する角度に基いて、前記欠落した現実世界の光信号の定常性を推定することにより前記光信号を推定する実世界推定ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、データが取得された現実世界を考慮した信号処理装置および方法、記録媒体、並びにプログラムに関する。
【従来の技術】
実世界（現実世界）における事象をセンサで検出し、センサが出力するサンプリングデータを処理する技術が広く利用されている。例えば、実世界をイメージセンサで撮像し、画像データであるサンプリングデータを処理する画像処理技術が広く利用されている。
また、第１の次元を有する現実世界の信号である第１の信号をセンサによって検出することにより得た、第１の次元に比較し次元が少ない第２の次元を有し、第１の信号に対する歪を含む第２の信号を取得し、第２の信号に基づく信号処理を行うことにより、第２の信号に比して歪の軽減された第３の信号を生成するようにしているものもある（例えば、特許文献１参照）。
【特許文献１】
特開２００１−２５０１１９号公報
【発明が解決しようとする課題】
しかしながら、データが取得された現実世界を考慮した信号処理はこれまで考えられていなかった。
本発明はこのような状況に鑑みてなされたものであり、データが取得された現実世界を考慮し、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようにすることを目的とする。
【課題を解決するための手段】
本発明の画像処理装置は、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内の注目画素に対応する領域を選択する領域選択手段と、領域選択手段により選択された領域内の、欠落した現実世界の光信号の定常性に対応する画像データの定常性の基準軸に対する角度を検出するための特徴を検出する特徴検出手段と、特徴検出手段により検出された特徴に基いて統計的に角度を検出する角度検出手段と、角度検出手段により検出された画像データの定常性の基準軸に対する角度に基いて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定する実世界推定手段とを含むことを特徴とする。
前記領域選択手段には、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内の注目画素を基準として、画像データに対して垂直方向および水平方向のアクティビティを検出するアクティビティ検出手段をさらに設けるようにさせることができ、アクティビティ検出手段による検出結果に応じて、画像データ内の処理領域を選択させるようにすることができ、特徴検出手段には、領域選択手段により選択された領域内の画素の画素値の最大値と最小値との差であるダイナミックレンジを検出するダイナミックレンジ検出手段と、領域選択手段により選択された領域内の、アクティビティ検出手段による検出結果に応じた方向に隣接する画素間の差分値を検出する差分値検出手段とをさらに設けるようにさせることができ、角度検出手段には、ダイナミックレンジと差分値に応じて、欠落した現実世界の光信号の定常性に対応する画像データの定常性の基準軸に対する角度を統計的に検出させるようにすることができる。
前記ダイナミックレンジ検出手段により検出される領域内の画素の画素値の最大値と最小値とに基いて、領域内の前景オブジェクト成分と背景オブジェクト成分との混合比を推定する混合比推定手段をさらに設けるようにさせることができる。
本発明の画像処理方法は、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内の注目画素に対応する領域を選択する領域選択ステップと、領域選択ステップの処理で選択された領域内の、欠落した現実世界の光信号の定常性に対応する画像データの定常性の基準軸に対する角度を検出するための特徴を検出する特徴検出ステップと、特徴検出ステップの処理で検出された特徴に基いて統計的に角度を検出する角度検出ステップと、角度検出ステップの処理で検出された画像データの定常性の基準軸に対する角度に基いて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定する実世界推定ステップとを含むことを特徴とする。
本発明の記録媒体のプログラムは、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内の注目画素に対応する領域を選択する領域選択ステップと、領域選択ステップの処理で選択された領域内の、欠落した現実世界の光信号の定常性に対応する画像データの定常性の基準軸に対する角度を検出するための特徴を検出する特徴検出ステップと、特徴検出ステップの処理で検出された特徴に基いて統計的に角度を検出する角度検出ステップと、角度検出ステップの処理で検出された画像データの定常性の基準軸に対する角度に基いて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定する実世界推定ステップとを含むことを特徴とする。
本発明のプログラムは、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内の注目画素に対応する領域を選択する領域選択ステップと、領域選択ステップの処理で選択された領域内の、欠落した現実世界の光信号の定常性に対応する画像データの定常性の基準軸に対する角度を検出するための特徴を検出する特徴検出ステップと、特徴検出ステップの処理で検出された特徴に基いて統計的に角度を検出する角度検出ステップと、角度検出ステップの処理で検出された画像データの定常性の基準軸に対する角度に基いて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定する実世界推定ステップとを含む処理をコンピュータに実行させることを特徴とする。
本発明の画像処理装置および方法、並びにプログラムておいては、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内の注目画素に対応する領域が選択され、選択された領域内の、欠落した現実世界の光信号の定常性に対応する画像データの定常性の基準軸に対する角度を検出するための特徴が検出され、検出された特徴に基いて統計的に角度が検出され、検出された画像データの定常性の基準軸に対する角度に基いて、欠落した現実世界の光信号の定常性を推定することにより光信号が推定される。
本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【発明の実施の形態】
図１は、本発明の原理を表している。同図で示されるように、空間、時間、および質量の次元を有する実世界１の事象（現象）は、センサ２により取得され、データ化される。実世界１の事象とは、光（画像）、音声、圧力、温度、質量、濃度、明るさ／暗さ、またはにおいなどをいう。実世界１の事象は、時空間方向に分布している。例えば、実世界１の画像は、実世界１の光の強度の時空間方向の分布である。
【０００１】
センサ２に注目すると、空間、時間、および質量の次元を有する実世界１の事象のうち、センサ２が取得可能な、実世界１の事象が、センサ２により、データ３に変換される。センサ２によって、実世界１の事象を示す情報が取得されるとも言える。
【０００２】
すなわち、センサ２は、実世界１の事象を示す情報を、データ３に変換する。空間、時間、および質量の次元を有する実世界１の事象（現象）を示す情報である信号がセンサ２により取得され、データ化されるとも言える。
【０００３】
以下、実世界１における、画像、音声、圧力、温度、質量、濃度、明るさ／暗さ、またはにおいなどの事象の分布を、実世界１の事象を示す情報である信号とも称する。また、実世界１の事象を示す情報である信号を、単に、実世界１の信号とも称する。本明細書において、信号は、現象および事象を含み、送信側に意思がないものも含むものとする。
【０００４】
センサ２から出力されるデータ３（検出信号）は、実世界１の事象を示す情報を、実世界１に比較して、より低い次元の時空間に射影して得られた情報である。例えば、動画像の画像データであるデータ３は、実世界１の３次元の空間方向および時間方向の画像が、２次元の空間方向、および時間方向からなる時空間に射影されて得られた情報である。また、例えば、データ３がデジタルデータであるとき、データ３は、サンプリングの単位に応じて、丸められている。データ３がアナログデータであるとき、データ３において、ダイナミックレンジに応じて、情報が圧縮されているか、またはリミッタなどにより、情報の一部が削除されている。
【０００５】
このように、所定の次元を有する実世界１の事象を示す情報である信号をデータ３（検出信号）に射影することにより、実世界１の事象を示す情報の一部が欠落する。すなわち、センサ２が出力するデータ３において、実世界１の事象を示す情報の一部が欠落している。
【０００６】
しかしながら、射影により実世界１の事象を示す情報の一部が欠落しているものの、データ３は、実世界１の事象（現象）を示す情報である信号を推定するための有意情報を含んでいる。
【０００７】
本発明においては、実世界１の情報である信号を推定するための有意情報として、データ３に含まれる定常性を有する情報を利用する。定常性は、新たに定義する概念である。
【０００８】
ここで、実世界１に注目すると、実世界１の事象は、所定の次元の方向に一定の特徴を含む。例えば、実世界１の物体（有体物）において、空間方向または時間方向に、形状、模様、若しくは色彩などが連続するか、または形状、模様、若しくは色彩などのパターンが繰り返す。
【０００９】
従って、実世界１の事象を示す情報には、所定の次元の方向に一定の特徴が含まれることになる。
【００１０】
より具体的な例を挙げれば、糸、紐、またはロープなどの線状の物体は、長さ方向の任意の位置において、断面形状が同じであるという長さ方向、すなわち空間方向に一定の特徴を有する。長さ方向の任意の位置において、断面形状が同じであるという空間方向に一定の特徴は、線状の物体が長いという特徴から生じる。
【００１１】
従って、線状の物体の画像は、長さ方向の任意の位置において、断面形状が同じであるという長さ方向、すなわち空間方向に一定の特徴を有している。
【００１２】
また、空間方向に広がりを有する有体物である、単色の物体は、部位にかかわらず、同一の色を有するという空間方向に一定の特徴を有していると言える。
【００１３】
同様に、空間方向に広がりを有する有体物である、単色の物体の画像は、部位にかかわらず、同一の色を有するという空間方向に一定の特徴を有している。
【００１４】
このように、実世界１（現実世界）の事象は、所定の次元の方向に一定の特徴を有しているので、実世界１の信号は、所定の次元の方向に一定の特徴を有する。
【００１５】
本明細書において、このような所定の次元の方向に一定の特徴を定常性と称する。実世界１（現実世界）の信号の定常性とは、実世界１（現実世界）の事象を示す信号が有している、所定の次元の方向に一定の特徴をいう。
【００１６】
実世界１（現実世界）には、このような定常性が無数に存在する。
【００１７】
次に、データ３に注目すると、データ３は、センサ２により、所定の次元を有する実世界１の事象を示す情報である信号が射影されたものであるので、実世界の信号の定常性に対応する定常性を含んでいる。データ３は、実世界の信号の定常性が射影された定常性を含んでいるとも言える。
【００１８】
しかしながら、上述したように、センサ２が出力するデータ３において、実世界１の情報の一部が欠落しているので、データ３から、実世界１（現実世界）の信号に含まれる定常性の一部が欠落してしまう。
【００１９】
換言すれば、データ３は、データの定常性として、実世界１（現実世界）の信号の定常性の中の、一部の定常性を含む。データの定常性とは、データ３が有している、所定の次元の方向に一定の特徴である。
【００２０】
本発明においては、実世界１の事象を示す情報である信号を推定するための有意情報として、データ３が有する、データの定常性が利用される。
【００２１】
例えば、本発明においては、データの定常性を利用して、データ３を信号処理することで、欠落した、実世界１の事象を示す情報が生成される。
【００２２】
なお、本発明においては、実世界１の事象を示す情報である信号の次元の、長さ（空間）、時間、および質量のうち、空間方向または時間方向の定常性が利用される。
【００２３】
図１に戻り、センサ２は、例えば、デジタルスチルカメラ、またはビデオカメラなどで構成され、実世界１の画像を撮像し、得られたデータ３である画像データを信号処理装置４に出力する。センサ２は、例えば、サーモグラフィ装置、または光弾性を利用した圧力センサなどとすることができる。
【００２４】
信号処理装置４は、例えば、パーソナルコンピュータなどで構成される。
【００２５】
信号処理装置４は、例えば、図２で示されるように構成される。ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２２、または記憶部２８に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２３には、ＣＰＵ２１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ２１、ＲＯＭ２２、およびＲＡＭ２３は、バス２４により相互に接続されている。
【００２６】
ＣＰＵ２１にはまた、バス２４を介して入出力インタフェース２５が接続されている。入出力インタフェース２５には、キーボード、マウス、マイクロホンなどよりなる入力部２６、ディスプレイ、スピーカなどよりなる出力部２７が接続されている。ＣＰＵ２１は、入力部２６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ２１は、処理の結果得られた画像や音声等を出力部２７に出力する。
【００２７】
入出力インタフェース２５に接続されている記憶部２８は、例えばハードディスクなどで構成され、ＣＰＵ２１が実行するプログラムや各種のデータを記憶する。通信部２９は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部２９はセンサ２の出力するデータ３を取り込む取得部として働く。
【００２８】
また、通信部２９を介してプログラムを取得し、記憶部２８に記憶してもよい。
【００２９】
入出力インタフェース２５に接続されているドライブ３０は、磁気ディスク５１、光ディスク５２、光磁気ディスク５３、或いは半導体メモリ５４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２８に転送され、記憶される。
【００３０】
図３は、信号処理装置４を示すブロック図である。
【００３１】
なお、信号処理装置４の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えても良い。
【００３２】
図３に構成を示す信号処理装置４においては、データ３の一例である画像データが入力され、入力された画像データ（入力画像）からデータの定常性が検出される。次に、検出されたデータの定常性から、センサ２により取得された実世界１の信号が推定される。そして、推定された実世界１の信号を基に、画像が生成され、生成された画像（出力画像）が出力される。すなわち、図３は、画像処理装置である信号処理装置４の構成を示す図である。
【００３３】
信号処理装置４に入力された入力画像（データ３の一例である画像データ）は、データ定常性検出部１０１および実世界推定部１０２に供給される。
【００３４】
データ定常性検出部１０１は、入力画像からデータの定常性を検出して、検出した定常性を示すデータ定常性情報を実世界推定部１０２および画像生成部１０３に供給する。データ定常性情報は、例えば、入力画像における、データの定常性を有する画素の領域の位置、データの定常性を有する画素の領域の方向（時間方向および空間方向の角度または傾き）、またはデータの定常性を有する画素の領域の長さなどを含む。データ定常性検出部１０１の構成の詳細は、後述する。
【００３５】
実世界推定部１０２は、入力画像、およびデータ定常性検出部１０１から供給されたデータ定常性情報を基に、実世界１の信号を推定する。すなわち、実世界推定部１０２は、入力画像が取得されたときセンサ２に入射された、実世界の信号である画像を推定する。実世界推定部１０２は、実世界１の信号の推定の結果を示す実世界推定情報を画像生成部１０３に供給する。実世界推定部１０２の構成の詳細は、後述する。
【００３６】
画像生成部１０３は、実世界推定部１０２から供給された、推定された実世界１の信号を示す実世界推定情報を基に、実世界１の信号により近似した信号を生成して、生成した信号を出力する。または、画像生成部１０３は、データ定常性検出部１０１から供給されたデータ定常性情報、および実世界推定部１０２から供給された、推定された実世界１の信号を示す実世界推定情報を基に、実世界１の信号により近似した信号を生成して、生成した信号を出力する。
【００３７】
すなわち、画像生成部１０３は、実世界推定情報を基に、実世界１の画像により近似した画像を生成して、生成した画像を出力画像として出力する。または、画像生成部１０３は、データ定常性情報および実世界推定情報を基に、実世界１の画像により近似した画像を生成して、生成した画像を出力画像として出力する。
【００３８】
例えば、画像生成部１０３は、実世界推定情報を基に、推定された実世界１の画像を所望の空間方向または時間方向の範囲で積分することにより、入力画像に比較して、空間方向または時間方向により高解像度の画像を生成して、生成した画像を出力画像として出力する。例えば、画像生成部１０３は、外挿補間により、画像を生成して、生成した画像を出力画像として出力する。
【００３９】
画像生成部１０３の構成の詳細は、後述する。
【００４０】
次に、図４乃至図７を参照して、本発明の原理を説明する。
【００４１】
図４は、従来の信号処理装置１２１における処理の原理を説明する図である。従来の信号処理装置１２１は、データ３を処理の基準とすると共に、データ３を処理の対象として、高解像度化などの処理を実行する。従来の信号処理装置１２１においては、実世界１が考慮されることはなく、データ３が最終的な基準となり、データ３に含まれている情報以上の情報を出力として得ることはできない。
【００４２】
また、従来の信号処理装置１２１において、データ３に存在する、センサ２による歪み（実世界１の情報である信号とデータ３との差）は全く考慮されないので、従来の信号処理装置１２１は、歪みを含んだままの信号を出力することになる。さらに、信号処理装置１２１の処理の内容によっては、データ３に存在する、センサ２による歪みがさらに増幅されて、増幅された歪みを含むデータが出力されることになる。
【００４３】
このように、従来の信号処理においては、データ３が取得された実世界１（の信号）そのものが考慮されることはなかった。換言すれば、従来の信号処理においては、データ３に含まれている情報の枠内で実世界１を捉えていたので、データ３に含まれている情報および歪みにより、信号処理の限界が決定される。
【００４４】
これに対して、本発明の信号処理においては、実世界１（の信号）そのものを明確に考慮して、処理が実行される。
【００４５】
図５は、本発明に係る信号処理装置４における処理の原理を説明する図である。
【００４６】
実世界１の事象を示す情報である信号をセンサ２が取得し、センサ２が、実世界１の情報である信号を射影したデータ３を出力する点では、従来と同様である。
【００４７】
しかしながら、本発明においては、センサ２により取得された、実世界１の事象を示す情報である信号が明確に考慮される。すなわち、データ３が、センサ２による歪み（実世界１の情報である信号とデータ３との差）を含むことを意識して信号処理がなされる。
【００４８】
このようにすることで、本発明の信号処理においては、データ３に含まれている情報および歪みにより処理の結果が限定されることがなく、例えば、従来に比較して、実世界１の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。すなわち、本発明によれば、センサ２に入力された、実世界１の事象を示す情報である信号に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【００４９】
図６および図７は、本発明の原理をより具体的に説明する図である。
【００５０】
図６で示されるように、例えば、画像である、実世界１の信号が、レンズ、または光学ＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）などでなる光学系１４１により、センサ２の一例であるＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）の受光面に結像される。センサ２の一例であるＣＣＤは、積分特性を有しているので、ＣＣＤから出力されるデータ３には、実世界１の画像との差が生じることになる。センサ２の積分特性の詳細については、後述する。
【００５１】
本発明の信号処理においては、ＣＣＤにより取得された実世界１の画像と、ＣＣＤにより撮像され、出力されたデータ３との関係が明確に考慮される。すなわち、データ３と、センサ２で取得された実世界の情報である信号との関係が明確に考慮される。
【００５２】
より具体的には、図７で示されるように、信号処理装置４は、モデル１６１を用いて、実世界１を近似（記述）する。モデル１６１は、例えば、Ｎ個の変数で表現される。より正確には、モデル１６１は、実世界１の信号を近似（記述）する。
【００５３】
モデル１６１を予測するために、信号処理装置４は、データ３から、Ｍ個のデータ１６２を抽出する。データ３から、Ｍ個のデータ１６２を抽出するとき、信号処理装置４は、データ３に含まれるデータの定常性を利用する。換言すれば、信号処理装置４は、データ３に含まれるデータの定常性を基に、モデル１６１を予測するためのデータ１６２を抽出する。結果的に、モデル１６１は、データの定常性に拘束されることになる。
【００５４】
すなわち、モデル１６１は、センサ２で取得されたとき、データ３においてデータの定常性を生じさせる、定常性（所定の次元の方向に一定の特徴）を有する実世界１の事象（を示す情報（信号））を近似する。
【００５５】
ここで、データ１６２の数Ｍが、モデルの変数の数Ｎ以上であれば、Ｍ個のデータ１６２から、Ｎ個の変数で表現されるモデル１６１を予測することができる。
【００５６】
このように、実世界１（の信号）を近似（記述）するモデル１６１を予測することにより、信号処理装置４は、実世界１の情報である信号を考慮することができる。
【００５７】
次に、センサ２の積分効果について説明する。
【００５８】
画像を撮像するセンサ２である、ＣＣＤまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどのイメージセンサは、現実世界を撮像するとき、現実世界の情報である信号を２次元のデータに投影する。イメージセンサの各画素は、いわゆる受光面（受光領域）として、それぞれ所定の面積を有する。所定の面積を有する受光面に入射した光は、画素毎に、空間方向および時間方向に積分され、各画素に対して１つの画素値に変換される。
【００５９】
図８乃至図１１を参照して、画像の空間的時間的な積分について説明する。
【００６０】
イメージセンサは、現実世界の対象物（オブジェクト）を撮像し、撮像の結果得られた画像データを１フレーム単位で出力する。すなわち、イメージセンサは、実世界１の対象物で反射された光である、実世界１の信号を取得し、データ３を出力する。
【００６１】
例えば、イメージセンサは、１秒間に３０フレームからなる画像データを出力する。この場合、イメージセンサの露光時間は、１／３０秒とすることができる。露光時間は、イメージセンサが入射された光の電荷への変換を開始してから、入射された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。
【００６２】
図８は、イメージセンサ上の画素の配置の例を説明する図である。図８中において、Ａ乃至Ｉは、個々の画素を示す。画素は、画像データにより表示される画像に対応する平面上に配置されている。１つの画素に対応する１つの検出素子は、イメージセンサ上に配置されている。イメージセンサが実世界１の画像を撮像するとき、１つの検出素子は、画像データを構成する１つの画素に対応する１つの画素値を出力する。例えば、検出素子の空間方向Ｘの位置（Ｘ座標）は、画像データにより表示される画像上の横方向の位置に対応し、検出素子の空間方向Ｙの位置（Ｙ座標）は、画像データにより表示される画像上の縦方向の位置に対応する。
【００６３】
実世界１の光の強度の分布は、３次元の空間方向および時間方向に広がりを有するが、イメージセンサは、２次元の空間方向および時間方向で、実世界１の光を取得し、２次元の空間方向および時間方向の光の強度の分布を表現するデータ３を生成する。
【００６４】
図９で示されるように、例えば、ＣＣＤである検出素子は、シャッタ時間に対応する期間、受光面（受光領域）（検出領域）に入力された光を電荷に変換して、変換された電荷を蓄積する。光は、３次元の空間上の位置、および時刻により、強度が決定される実世界１の情報（信号）である。実世界１の光の強度の分布は、３次元の空間上の位置ｘ，ｙ、およびｚ、並びに時刻ｔを変数とする関数Ｆ（ｘ，ｙ，ｚ，ｔ）で表すことができる。
【００６５】
ＣＣＤである検出素子に蓄積される電荷の量は、２次元の空間上の広がりを有する受光面の全体に入射された光の強さと、光が入射されている時間にほぼ比例する。検出素子は、シャッタ時間に対応する期間において、受光面の全体に入射された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャッタ時間に対応する期間、２次元の空間上の広がりを有する受光面の全体に入射される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、空間（受光面）および時間（シャッタ時間）に対して、積分効果があるとも言える。
【００６６】
検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値はさらにデジタルデータなどの画素値に変換されて、データ３として出力される。従って、イメージセンサから出力される個々の画素値は、実世界１の情報（信号）の時間的空間的に広がりを有するある部分を、シャッタ時間の時間方向および検出素子の受光面の空間方向について積分した結果である、１次元の空間に射影した値を有する。
【００６７】
すなわち、１つの画素の画素値は、Ｆ（ｘ，ｙ，ｔ）の積分で表される。Ｆ（ｘ，ｙ，ｔ）は、検出素子の受光面における、光の強度の分布を表す関数である。例えば、画素値Ｐは、式（１）で表される。
【００６８】
【数１】
2004246524.tif 000003
2004246524.tif 000004
【００６９】
式（１）において、ｘ１は、検出素子の受光面の左側の境界の空間座標（Ｘ座標）である。ｘ２は、検出素子の受光面の右側の境界の空間座標（Ｘ座標）である。式（１）において、ｙ１は、検出素子の受光面の上側の境界の空間座標（Ｙ座標）である。ｙ２は、検出素子の受光面の下側の境界の空間座標（Ｙ座標）である。また、ｔ１は、入射された光の電荷への変換を開始した時刻である。ｔ２は、入射された光の電荷への変換を終了した時刻である。
【００７０】
なお、実際には、イメージセンサから出力される画像データの画素値は、例えばフレーム全体として、そのゲインが補正されている。
【００７１】
画像データの各画素値は、イメージセンサの各検出素子の受光面に入射した光の積分値であり、イメージセンサに入射された光のうち、検出素子の受光面よりも微小な実世界１の光の波形は、積分値としての画素値に隠されてしまう。
【００７２】
以下、本明細書において、所定の次元を基準として表現される信号の波形を単に波形とも称する。
【００７３】
このように、実世界１の画像は、画素を単位として、空間方向および時間方向に積分されてしまうので、画像データにおいては、実世界１の画像の定常性の一部が欠落し、実世界１の画像の定常性の他の一部のみが画像データに含まれることになる。または、画像データには、実世界１の画像の定常性から変化してしまった定常性が含まれることがある。
【００７４】
積分効果を有するイメージセンサにより撮像された画像の、空間方向の積分効果についてさらに説明する。
【００７５】
図１０は、画素Ｄ乃至画素Ｆに対応する検出素子に入射される光と、画素値との関係を説明する図である。図１０のＦ（ｘ）は、空間上（検出素子上）の空間方向Ｘの座標ｘを変数とする、実世界１の光の強度の分布を表す関数の例である。言い換えれば、Ｆ（ｘ）は、空間方向Ｙおよび時間方向に一定である場合の、実世界１の光の強度の分布を表す関数の例である。図１０において、Ｌは、画素Ｄ乃至画素Ｆに対応する検出素子の受光面の空間方向Ｘの長さを示す。
【００７６】
１つの画素の画素値は、Ｆ（ｘ）の積分で表される。例えば、画素Ｅの画素値Ｐは、式（２）で表される。
【００７７】
【数２】
2004246524.tif 000005
2004246524.tif 000006
【００７８】
式（２）において、ｘ１は、画素Ｅに対応する検出素子の受光面の左側の境界の空間方向Ｘの空間座標である。ｘ２は、画素Ｅに対応する検出素子の受光面の右側の境界の空間方向Ｘの空間座標である。
【００７９】
同様に、積分効果を有するイメージセンサにより撮像された画像の、時間方向の積分効果についてさらに説明する。
【００８０】
図１１は、時間の経過と、１つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。図１１のＦ（ｔ）は、時刻ｔを変数とする、実世界１の光の強度の分布を表す関数である。言い換えれば、Ｆ（ｔ）は、空間方向Ｙおよび空間方向Ｘに一定である場合の、実世界１の光の強度の分布を表す関数の例である。ｔｓは、シャッタ時間を示す。
【００８１】
フレーム＃ｎ−１は、フレーム＃ｎに対して時間的に前のフレームであり、フレーム＃ｎ＋１は、フレーム＃ｎに対して時間的に後のフレームである。すなわち、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１は、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１の順で表示される。
【００８２】
なお、図１１で示される例において、シャッタ時間ｔｓとフレーム間隔とが同一である。
【００８３】
１つの画素の画素値は、Ｆ（ｔ）の積分で表される。例えば、フレーム＃ｎの画素の画素値Ｐは、式（３）で表される。
【００８４】
【数３】
2004246524.tif 000007
2004246524.tif 000008
【００８５】
式（３）において、ｔ１は、入射された光の電荷への変換を開始した時刻である。ｔ２は、入射された光の電荷への変換を終了した時刻である。
【００８６】
以下、センサ２による空間方向の積分効果を単に空間積分効果と称し、センサ２による時間方向の積分効果を単に時間積分効果と称する。また、空間積分効果または時間積分効果を単に積分効果とも称する。
【００８７】
次に、積分効果を有するイメージセンサにより取得されたデータ３に含まれるデータの定常性の例について説明する。
【００８８】
図１２は、実世界１の線状の物（例えば、細線）の画像、すなわち光の強度の分布の例を示す図である。図１２において、図中の上側の位置は、光の強度（レベル）を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向Ｘの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向Ｙの位置を示す。
【００８９】
実世界１の線状の物の画像には、所定の定常性が含まれる。すなわち、図１２で示される画像は、長さ方向の任意の位置において、断面形状（長さ方向に直交する方向の位置の変化に対するレベルの変化）が同じであるという定常性を有する。
【００９０】
図１３は、図１２で示される画像に対応する、実際の撮像により得られた画像データの画素値の例を示す図である。
【００９１】
図１４は、図１３に示す画像データの模式図である。
【００９２】
図１４で示される模式図は、イメージセンサの画素の並び（画素の縦または横の並び）とずれた方向に延びる、各画素の受光面の長さＬよりも短い径の線状の物の画像を、イメージセンサで撮像して得られた画像データの模式図である。図１４で示される画像データが取得されたときにイメージセンサに入射された画像は、図１２の実世界１の線状の物の画像である。
【００９３】
図１４において、図中の上側の位置は、画素値を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向Ｘの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向Ｙの位置を示す。図１４における画素値を示す方向は、図１２におけるレベルの方向に対応し、図１４における空間方向Ｘ、および空間方向Ｙは、図１２における方向と同じである。
【００９４】
各画素の受光面の長さＬよりも短い径の線状の物の画像を、イメージセンサで撮像した場合、撮像の結果得られる画像データにおいて、線状の物は、模式的に、例えば、斜めにずれて並ぶ、複数の所定の長さの円弧形状（かまぼこ型）で表される。各円弧形状は、ほぼ同じ形状である。１つの円弧形状は、縦に１列の画素の上、または横に１列の画素の上に形成される。例えば、図１４における１つの円弧形状は、縦に１列の画素の上に形成される。
【００９５】
このように、例えば、イメージセンサで撮像されて取得された画像データにおいては、実世界１の線状の物の画像が有していた、長さ方向の任意の位置において、空間方向Ｙにおける断面形状が同じであるという定常性が失われている。また、実世界１の線状の物の画像が有していた定常性は、縦に１列の画素の上、または横に１列の画素の上に形成された、同じ形状である円弧形状が一定の間隔で並ぶという定常性に変化していると言える。
【００９６】
図１５は、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像、すなわち光の強度の分布の例を示す図である。図１５において、図中の上側の位置は、光の強度（レベル）を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向Ｘの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向Ｙの位置を示す。
【００９７】
背景とは異なる色の、直線状の縁を有する物の実世界１の画像には、所定の定常性が含まれる。すなわち、図１５で示される画像は、縁の長さ方向の任意の位置において、断面形状（縁に直交する方向の位置の変化に対するレベルの変化）が同じであるという定常性を有する。
【００９８】
図１６は、図１５で示される画像に対応する、実際の撮像により得られた画像データの画素値の例を示す図である。図１６で示されるように、画像データは、画素を単位とした画素値からなるので、階段状になる。
【００９９】
図１７は、図１６に示す画像データの模式図である。
【０１００】
図１７で示される模式図は、イメージセンサの画素の並び（画素の縦または横の並び）とずれた方向に縁が延びる、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像を、イメージセンサで撮像して得られた画像データの模式図である。図１７で示される画像データが取得されたときにイメージセンサに入射された画像は、図１５で示される、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像である。
【０１０１】
図１７において、図中の上側の位置は、画素値を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向Ｘの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向Ｙの位置を示す。図１７における画素値を示す方向は、図１５におけるレベルの方向に対応し、図１７における空間方向Ｘ、および空間方向Ｙは、図１５における方向と同じである。
【０１０２】
背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像を、イメージセンサで撮像した場合、撮像の結果得られる画像データにおいて、直線状の縁は、模式的に、例えば、斜めにずれて並ぶ、複数の所定の長さのつめ（ｐａｗｌ）形状で表される。各つめ形状は、ほぼ同じ形状である。１つのつめ形状は、縦に１列の画素の上、または横に１列の画素の上に形成される。例えば、図１７において、１つのつめ形状は、縦に１列の画素の上に形成される。
【０１０３】
このように、例えば、イメージセンサで撮像されて取得された画像データにおいては、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像が有していた、縁の長さ方向の任意の位置において、断面形状が同じであるという定常性が失われている。また、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像が有していた定常性は、縦に１列の画素の上、または横に１列の画素の上に形成された、同じ形状であるつめ形状が一定の間隔で並ぶという定常性に変化していると言える。
【０１０４】
データ定常性検出部１０１は、このような、例えば、入力画像であるデータ３が有するデータの定常性を検出する。例えば、データ定常性検出部１０１は、所定の次元の方向に一定の特徴を有する領域を検出することにより、データの定常性を検出する。例えば、データ定常性検出部１０１は、図１４で示される、同じ円弧形状が一定の間隔で並ぶ領域を検出する。また、例えば、データ定常性検出部１０１は、図１７で示される、同じつめ形状が一定の間隔で並ぶ領域を検出する。
【０１０５】
また、データ定常性検出部１０１は、同様の形状の並び方を示す、空間方向の角度（傾き）を検出することにより、データの定常性を検出する。
【０１０６】
また、例えば、データ定常性検出部１０１は、空間方向および時間方向の同様の形状の並び方を示す、空間方向および時間方向の角度（動き）を検出することにより、データの定常性を検出する。
【０１０７】
さらに、例えば、データ定常性検出部１０１は、所定の次元の方向に一定の特徴を有する領域の長さを検出することにより、データの定常性を検出する。
【０１０８】
以下、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像がセンサ２により射影されたデータ３の部分を２値エッジとも称する。
【０１０９】
次に、本発明の原理をさらに具体的に説明する。
【０１１０】
図１８で示されるように、従来の信号処理においては、データ３から、例えば、所望の高解像度データ１８１が生成される。
【０１１１】
これに対して、本発明に係る信号処理においては、データ３から、実世界１が推定され、推定の結果に基づいて、高解像度データ１８１が生成される。すなわち、図１９で示されるように、実世界１が、データ３から推定され、高解像度データ１８１が、データ３を考慮して、推定された実世界１から高解像度データ１８１が生成される。
【０１１２】
実世界１から高解像度データ１８１を生成するためには、実世界１とデータ３との関係を考慮する必要がある。例えば、実世界１が、ＣＣＤであるセンサ２により、データ３に射影されるとどうなるかが考慮される。
【０１１３】
ＣＣＤであるセンサ２は、上述したように、積分特性を有する。すなわち、データ３の１つの単位（例えば、画素値）は、実世界１の信号をセンサ２の検出素子（例えば、ＣＣＤ）の検出領域（例えば、受光面）で積分することにより算出することができる。
【０１１４】
これを高解像度データ１８１について当てはめると、仮想的な高解像度のセンサが実世界１の信号をデータ３に射影する処理を、推定された実世界１に適用することにより、高解像度データ１８１を得ることができる。
【０１１５】
換言すれば、図２０で示されるように、データ３から実世界１の信号を推定できれば、実世界１の信号を、仮想的な高解像度のセンサの検出素子の検出領域毎に（時空間方向に）積分することにより、高解像度データ１８１に含まれる１つの値を得ることができる。
【０１１６】
例えば、センサ２の検出素子の検出領域の大きさに比較して、実世界１の信号の変化が、より小さいとき、データ３は、実世界１の信号の小さい変化を表すことができない。そこで、データ３から推定された実世界１の信号を、実世界１の信号の変化に比較して、より小さい領域毎に（時空間方向に）積分することにより、実世界１の信号の小さい変化を示す高解像度データ１８１を得ることができる。
【０１１７】
すなわち、仮想的な高解像度のセンサの各検出素子について、推定された実世界１の信号を検出領域で積分することにより、高解像度データ１８１を得ることができる。
【０１１８】
本発明において、画像生成部１０３は、例えば、仮想的な高解像度のセンサの各検出素子の時空間方向の領域で、推定された実世界１の信号を積分することにより、高解像度データ１８１を生成する。
【０１１９】
次に、データ３から、実世界１を推定するために、本発明においては、データ３と実世界１との関係、定常性、およびデータ３における空間混合が利用される。
【０１２０】
ここで、混合とは、データ３において、実世界１における２つの物体に対する信号が混合されて１つの値となることをいう。
【０１２１】
空間混合とは、センサ２の空間積分効果による、２つの物体に対する信号の空間方向の混合をいう。
【０１２２】
実世界１そのものは、無限の数の事象からなり、従って、実世界１そのものを、例えば、数式で表現するためには、無限の数の変数が必要になる。データ３から、実世界１の全ての事象を予測することはできない。
【０１２３】
同様に、データ３から、実世界１の信号の全てを予測することはできない。
【０１２４】
そこで、図２１で示されるように、本発明においては、実世界１の信号のうち、定常性を有し、関数ｆ（ｘ，ｙ，ｚ，ｔ）で表すことができる部分に注目し、関数ｆ（ｘ，ｙ，ｚ，ｔ）で表すことができる、定常性を有する実世界１の信号の部分が、Ｎ個の変数で表現されるモデル１６１で近似される。そして、図２２で示されるように、モデル１６１が、データ３の中の、Ｍ個のデータ１６２から予測される。
【０１２５】
Ｍ個のデータ１６２からモデル１６１の予測を可能にするには、第１に、モデル１６１を、定常性に基づいて、Ｎ個の変数で表し、第２に、センサ２の積分特性に基づいて、Ｎ個の変数で表現されるモデル１６１とＭ個のデータ１６２との関係を示す、Ｎ個の変数を使用した式を立てることが必要である。モデル１６１が、定常性に基づいて、Ｎ個の変数で表されているので、Ｎ個の変数で表現されるモデル１６１とＭ個のデータ１６２との関係を示す、Ｎ個の変数を使用した式は、定常性を有する実世界１の信号の部分と、データの定常性を有するデータ３の部分との関係を記述しているとも言える。
【０１２６】
換言すれば、Ｎ個の変数で表現されるモデル１６１で近似される、定常性を有する実世界１の信号の部分は、データ３において、データの定常性を生じさせる。
【０１２７】
データ定常性検出部１０１は、定常性を有する実世界１の信号の部分によって、データの定常性が生じたデータ３の部分、およびデータの定常性が生じた部分の特徴を検出する。
【０１２８】
例えば、図２３で示されるように、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像において、図２３中Ａで示す、注目する位置における縁は、傾きを有している。図２３のＢの矢印は、縁の傾きを示す。所定の縁の傾きは、基準となる軸に対する角度または基準となる位置に対する方向で表すことができる。例えば、所定の縁の傾きは、空間方向Ｘの座標軸と、縁との角度で表すことができる。例えば、所定の縁の傾きは、空間方向Ｘの長さおよび空間方向Ｙの長さで示される方向で表すことができる。
【０１２９】
背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像が、センサ２で取得されて、データ３が出力されたとき、データ３において、実世界１の画像における、縁の注目する位置（Ａ）に対する、図２３中Ａ’で示す位置に、縁に対応するつめ形状が並び、実世界１の画像の縁の傾きに対応する、図２３中Ｂ’で示す傾きの方向に、縁に対応するつめ形状が並ぶ。
【０１３０】
Ｎ個の変数で表現されるモデル１６１は、このような、データ３において、データの定常性を生じさせる、実世界の１の信号の部分を近似する。
【０１３１】
Ｎ個の変数で表現されるモデル１６１とＭ個のデータ１６２との関係を示す、Ｎ個の変数を使用した式を立てるとき、データ３において、データの定常性が生じている部分の値を利用する。
【０１３２】
この場合において、図２４で示される、データ３において、データの定常性が生じ、混合領域に属する値に注目して、実世界１の信号を積分した値が、センサ２の検出素子が出力する値に等しいとして、式が立てられる。例えば、データの定常性が生じている、データ３における複数の値について、複数の式を立てることができる。
【０１３３】
図２４において、Ａは、縁の注目する位置を示し、Ａ’は、実世界１の画像における、縁の注目する位置（Ａ）に対する、画素（の位置）を示す。
【０１３４】
ここで、混合領域とは、データ３において、実世界１における２つの物体に対する信号が混合されて１つの値となっているデータの領域をいう。例えば、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像に対するデータ３において、直線状の縁を有する物に対する画像、および背景に対する画像が積分されている画素値は、混合領域に属する。
【０１３５】
図２５は、式を立てる場合における、実世界１における２つの物体に対する信号および混合領域に属する値を説明する図である。
【０１３６】
図２５中の左側は、センサ２の１つの検出素子の検出領域で取得される、空間方向Ｘおよび空間方向Ｙに所定の広がりを有する、実世界１における２つの物体に対する実世界１の信号を示す。図２５中の右側は、図２５中の左側に示す実世界１の信号がセンサ２の１つの検出素子によって射影された、データ３の１つの画素の画素値Ｐを示す。すなわち、センサ２の１つの検出素子によって取得された、空間方向Ｘおよび空間方向Ｙに所定の広がりを有する、実世界１における２つの物体に対する実世界１の信号が射影された、データ３の１つの画素の画素値Ｐを示す。
【０１３７】
図２５のＬは、実世界１における１つの物体に対する、図２５の白い部分の実世界１の信号のレベルを示す。図２５のＲは、実世界１における他の１つの物体に対する、図２５の斜線で表される部分の実世界１の信号のレベルを示す。
【０１３８】
ここで、混合比αは、センサ２の１つの検出素子の、空間方向Ｘおよび空間方向Ｙに所定の広がりを有する検出領域に入射された、２つの物体に対する信号（の面積）の割合を示す。例えば、混合比αは、センサ２の１つの検出素子の検出領域の面積に対する、空間方向Ｘおよび空間方向Ｙに所定の広がりを有する、センサ２の１つの検出素子の検出領域に入射された、レベルＬの信号の面積の割合を示す。
【０１３９】
この場合において、レベルＬ、レベルＲ、および画素値Ｐの関係は、式（４）で表すことができる。
【０１４０】
α×Ｌ＋（１−α）×Ｒ＝Ｐ                          ・・・（４）
【０１４１】
なお、レベルＲは、注目している画素の右側に位置している、データ３の画素の画素値とすることができる場合があり、レベルＬは、注目している画素の左側に位置している、データ３の画素値とすることができる場合がある。
【０１４２】
また、混合比αおよび混合領域は、空間方向と同様に、時間方向を考慮することができる。例えば、センサ２に対して撮像の対象となる実世界１の物体が移動しているとき、時間方向に、センサ２の１つの検出素子の検出領域に入射される、２つの物体に対する信号の割合は変化する。センサ２の１つの検出素子の検出領域に入射された、時間方向に割合が変化する、２つの物体に対する信号は、センサ２の検出素子によって、データ３の１つの値に射影される。
【０１４３】
センサ２の時間積分効果による、２つの物体に対する信号の時間方向の混合を時間混合と称する。
【０１４４】
データ定常性検出部１０１は、例えば、実世界１における２つの物体に対する実世界１の信号が射影された、データ３における画素の領域を検出する。データ定常性検出部１０１は、例えば、実世界１の画像の縁の傾きに対応する、データ３における傾きを検出する。
【０１４５】
そして、実世界推定部１０２は、例えば、データ定常性検出部１０１で検出された、所定の混合比αを有する画素の領域、および領域の傾きを基に、Ｎ個の変数で表現されるモデル１６１とＭ個のデータ１６２との関係を示す、Ｎ個の変数を使用した式を立てて、立てた式を解くことにより、実世界１の信号を推定する。
【０１４６】
さらに、具体的な実世界１の推定について説明する。
【０１４７】
関数Ｆ（ｘ，ｙ，ｚ，ｔ）で表される実世界の信号のうち、空間方向Ｚの断面（センサ２の位置）における関数Ｆ（ｘ，ｙ，ｔ）で表される実世界の信号を、空間方向Ｘにおける位置ｘ、空間方向Ｙにおける位置ｙ、および時刻ｔで決まる近似関数ｆ（ｘ，ｙ，ｔ）で近似することを考える。
【０１４８】
ここで、センサ２の検出領域は、空間方向Ｘおよび空間方向Ｙに広がりを有する。換言すれば、近似関数ｆ（ｘ，ｙ，ｔ）は、センサ２で取得される、空間方向および時間方向に広がりを有する実世界１の信号を近似する関数である。
【０１４９】
センサ２による実世界１の信号の射影によって、データ３の値Ｐ（ｘ，ｙ，ｔ）が得られるものとする。データ３の値Ｐ（ｘ，ｙ，ｔ）は、例えば、イメージセンサであるセンサ２が出力する、画素値である。
【０１５０】
ここで、センサ２による射影を定式化できる場合、近似関数ｆ（ｘ，ｙ，ｔ）を射影して得られた値を射影関数Ｓ（ｘ，ｙ，ｔ）と表すことができる。
【０１５１】
射影関数Ｓ（ｘ，ｙ，ｔ）を求める上で、以下に示す問題がある。
【０１５２】
第１に、一般的に、実世界１の信号を表す関数Ｆ（ｘ，ｙ，ｚ，ｔ）は、無限の次数の関数となりうる。
【０１５３】
第２に、たとえ、実世界の信号を関数として記述できたとしても、センサ２の射影を介した、射影関数Ｓ（ｘ，ｙ，ｔ）を定めることは、一般的にはできない。すなわち、センサ２による射影の動作、言い換えればセンサ２の入力信号と出力信号との関係を知らないので、射影関数Ｓ（ｘ，ｙ，ｔ）を定めることはできない。
【０１５４】
第１の問題点に対して、実世界１の信号を近似する関数ｆ（ｘ，ｙ，ｔ）を記述可能な関数（例えば、有限次数の関数）である関数ｆｉ（ｘ，ｙ，ｔ）および変数ｗｉの積和で表現することを考える。
【０１５５】
また、第２の問題点に対して、センサ２による射影を定式化することで、関数ｆｉ（ｘ，ｙ，ｔ）の記述から、関数Ｓｉ（ｘ，ｙ，ｔ）を記述することができる。
【０１５６】
すなわち、実世界１の信号を近似する関数ｆ（ｘ，ｙ，ｔ）を関数ｆｉ（ｘ，ｙ，ｔ）および変数ｗｉの積和で表現すると、式（５）が得られる。
【０１５７】
【数４】
2004246524.tif 000009
2004246524.tif 000010
【０１５８】
例えば、式（６）で示されるように、センサ２の射影を定式化することにより、式（５）から、データ３と実世界の信号の関係を式（７）のように定式化することができる。
【０１５９】
【数５】
2004246524.tif 000011
2004246524.tif 000012
【０１６０】
【数６】
2004246524.tif 000013
2004246524.tif 000014
式（７）において、ｊは、データのインデックスである。
【０１６１】
式（７）のＮ個の変数ｗｉ（ｉ＝１乃至Ｎ）が共通であるＭ個のデータ群（ｊ＝１乃至Ｍ）が存在すれば、式（８）を満たすので、データ３から実世界のモデル１６１を求めることができる。
【０１６２】
Ｎ≦Ｍ                                  ・・・（８）
Ｎは、実世界１を近似するモデル１６１を表現する変数の数である。Ｍは、データ３に含まれるデータ１６２の数である。
【０１６３】
実世界１の信号を近似する関数ｆ（ｘ，ｙ，ｔ）を式（５）で表すことにより、ｗｉとして変数の部分を独立させることができる。このとき、ｉは、そのまま変数の数を示すことになる。また、ｆｉで示される関数の形を独立させることができ、ｆｉとして所望の関数を利用することができるようになる。
【０１６４】
従って、関数ｆｉの形に依存せず、変数ｗｉの数Ｎを定義でき、変数ｗｉの数Ｎとデータの数Ｍとの関係で変数ｗｉを求めることができる。
【０１６５】
すなわち、以下の３つを用いることで、データ３から実世界１を推定することができるようになる。
【０１６６】
第１に、Ｎ個の変数を定める、すなわち、式（５）を定める。これは、定常性を用いて実世界１を記述することにより可能になる。例えば、断面が多項式で表され、同じ断面形状が一定方向に続く、というモデル１６１で実世界１の信号を記述することができる。
【０１６７】
第２に、例えば、センサ２による射影を定式化して、式（７）を記述する。例えば、実世界２の信号の積分を行った結果がデータ３であると定式化する。
【０１６８】
第３に、Ｍ個のデータ１６２を集めて、式（８）を満足させる。例えば、データ定常性検出部１０１で検出された、データの定常性を有する領域から、データ１６２が集められる。例えば、定常性の一例である、一定の断面が続く領域のデータ１６２が集められる。
【０１６９】
このように、式（５）によって、データ３と実世界１との関係を記述し、Ｍ個のデータ１６２を集めることで、式（８）を満たすことにより、実世界１を推定することができる。
【０１７０】
より具体的には、Ｎ＝Ｍのとき、変数の数Ｎと式の数Ｍが等しいので、連立方程式を立てることにより、変数ｗｉを求めることができる。
【０１７１】
また、Ｎ＜Ｍのとき、様々な解法を適用できる。例えば、最小自乗法により、変数ｗｉを求めることができる。
【０１７２】
ここで、最小自乗法による解法について、詳細に記載する。
【０１７３】
まず、式（７）に従って、実世界１からデータ３を予測する式（９）を示す。
【０１７４】
【数７】
2004246524.tif 000015
2004246524.tif 000016
【０１７５】
式（９）において、Ｐ’ｊ（ｘｊ，ｙｊ，ｔｊ）は、予測値である。
【０１７６】
予測値Ｐ’と実測値Ｐとの差分自乗和Ｅは、式（１０）で表される。
【０１７７】
【数８】
2004246524.tif 000017
2004246524.tif 000018
【０１７８】
差分自乗和Ｅが最小になるように、変数ｗｉが求められる。従って、各変数ｗｋによる式（１０）の偏微分値は０とされる。すなわち、式（１１）が成り立つ。
【０１７９】
【数９】
2004246524.tif 000019
2004246524.tif 000020
【０１８０】
式（１１）から式（１２）が導かれる。
【０１８１】
【数１０】
2004246524.tif 000021
2004246524.tif 000022
【０１８２】
式（１２）がＫ＝１乃至Ｎで成り立つとき、最小自乗法による解が得られる。このときの正規方程式は、式（１３）で示される。
【０１８３】
【数１１】
2004246524.tif 000023
2004246524.tif 000024
ただし、式（１３）において、Ｓｉ（ｘｊ，ｙｊ，ｔｊ）は、Ｓｉ（ｊ）と記述した。
【０１８４】
【数１２】
2004246524.tif 000025
2004246524.tif 000026
【０１８５】
【数１３】
2004246524.tif 000027
2004246524.tif 000028
【０１８６】
【数１４】
2004246524.tif 000029
2004246524.tif 000030
【０１８７】
式（１４）乃至式（１６）から、式（１３）は、ＳＭＡＴＷＭＡＴ＝ＰＭＡＴと表すことができる。
【０１８８】
式（１３）において、Ｓｉは、実世界１の射影を表す。式（１３）において、Ｐｊは、データ３を表す。式（１３）において、ｗｉは、実世界１の信号の特徴を記述し、求めようとする変数である。
【０１８９】
従って、式（１３）にデータ３を入力し、行列解法などによりＷＭＡＴを求めることで、実世界１を推定することが可能になる。すなわち、式（１７）を演算することにより、実世界１を推定することができるようになる。
【０１９０】
ＷＭＡＴ＝ＳＭＡＴ−１ＰＭＡＴ                                  ・・・（１７）
【０１９１】
なお、ＳＭＡＴが正則でない場合、ＳＭＡＴの転置行列を利用して、ＷＭＡＴを求めることができる。
【０１９２】
実世界推定部１０２は、例えば、式（１３）にデータ３を入力し、行列解法などによりＷＭＡＴを求めることで、実世界１を推定する。
【０１９３】
ここで、さらにより具体的な例を説明する。例えば、実世界１の信号の断面形状、すなわち位置の変化に対するレベルの変化を、多項式で記述する。実世界１の信号の断面形状が一定で、実世界１の信号の断面が等速で移動すると仮定する。そして、センサ２による実世界１の信号からデータ３への射影を、実世界１の信号の時空間方向の３次元で積分で定式化する。
【０１９４】
実世界１の信号の断面形状が、等速で移動するとの仮定から、式（１８）および式（１９）が得られる。
【０１９５】
【数１５】
2004246524.tif 000031
2004246524.tif 000032
【０１９６】
【数１６】
2004246524.tif 000033
2004246524.tif 000034
ここで、ｖｘおよびｖｙは、一定である。
【０１９７】
実世界１の信号の断面形状は、式（１８）および式（１９）を用いることで、式（２０）と表される。
【０１９８】
ｆ（ｘ’，ｙ’）＝ｆ（ｘ＋ｖｘｔ，ｙ＋ｖｙｔ）            ・・・（２０）
【０１９９】
センサ２による実世界１の信号からデータ３への射影を、実世界１の信号の時空間方向の３次元で積分で定式化すれば、式（２１）が得られる。
【０２００】
【数１７】
2004246524.tif 000035
2004246524.tif 000036
【０２０１】
式（２１）において、Ｓ（ｘ，ｙ，ｔ）は、空間方向Ｘについて、位置ｘｓから位置ｘｅまで、空間方向Ｙについて、位置ｙｓから位置ｙｅまで、時間方向ｔについて、時刻ｔｓから時刻ｔｅまでの領域、すなわち時空間の直方体で表される領域の積分値を示す。
【０２０２】
式（２１）を定めることができる所望の関数ｆ（ｘ’，ｙ’）を用いて、式（１３）を解けば、実世界１の信号を推定することができる。
【０２０３】
以下では、関数ｆ（ｘ’，ｙ’）の一例として、式（２２）に示す関数を用いることとする。
【０２０４】
2004246524.tif 000037
【０２０５】
すなわち、実世界１の信号が、式（１８）、式（１９）、および式（２２）で表される定常性を含むと仮定している。これは、図２６で示されるように、一定の形状の断面が、時空間方向に移動していることを示す。
【０２０６】
式（２１）に、式（２２）を代入することにより、式（２３）が得られる。
【０２０７】
【数１８】
2004246524.tif 000038
2004246524.tif 000039
ただし、
Ｖｏｌｕｍｅ＝（ｘｅ−ｘｓ）（ｙｅ−ｙｓ）（ｔｅ−ｔｓ）
Ｓ０（ｘ，ｙ，ｔ）＝Ｖｏｌｕｍｅ／２×（ｘｅ＋ｘｓ＋ｖｘ（ｔｅ＋ｔｓ））
Ｓ１（ｘ，ｙ，ｔ）＝Ｖｏｌｕｍｅ／２×（ｙｅ＋ｙｓ＋ｖｙ（ｔｅ＋ｔｓ））
Ｓ２（ｘ，ｙ，ｔ）＝１
である。
【０２０８】
図２７は、データ３から抽出される、Ｍ個のデータ１６２の例を示す図である。例えば、２７個の画素値が、データ１６２として抽出され、抽出された画素値が、Ｐｊ（ｘ，ｙ，ｔ）とされる。この場合、ｊは、０乃至２６である。
【０２０９】
図２７に示す例において、ｎである時刻ｔの注目する位置に対応する画素の画素値がＰ１３（ｘ，ｙ，ｔ）であり、データの定常性を有する画素の画素値の並ぶ方向（例えば、データ定常性検出部１０１で検出された、同じ形状であるつめ形状が並ぶ方向）が、Ｐ４（ｘ，ｙ，ｔ）、Ｐ１３（ｘ，ｙ，ｔ）、およびＰ２２（ｘ，ｙ，ｔ）を結ぶ方向であるとき、ｎである時刻ｔにおける、画素値Ｐ９（ｘ，ｙ，ｔ）乃至Ｐ１７（ｘ，ｙ，ｔ）、ｎより時間的に前である、ｎ−１である時刻ｔにおける、画素値Ｐ０（ｘ，ｙ，ｔ）乃至Ｐ８（ｘ，ｙ，ｔ）、およびｎより時間的に後である、ｎ＋１である時刻ｔにおける、画素値Ｐ１８（ｘ，ｙ，ｔ）乃至Ｐ２６（ｘ，ｙ，ｔ）が抽出される。
【０２１０】
ここで、センサ２であるイメージセンサから出力された、データ３である画素値が取得された領域は、図２８で示されるように、時間方向および２次元の空間方向に広がりを有する。そこで、例えば、図２９で示されるように、画素に対応する直方体（画素値が取得された領域）の重心を、画素の時空間方向の位置として使用することができる。図２９中の丸は、重心を示す。
【０２１１】
２７個の画素値Ｐ０（ｘ，ｙ，ｔ）乃至Ｐ２６（ｘ，ｙ，ｔ）、および式（２３）から、式（１３）を生成し、Ｗを求めることで、実世界１を推定することが可能になる。
【０２１２】
このように、実世界推定部１０２は、例えば、２７個の画素値Ｐ０（ｘ，ｙ，ｔ）乃至Ｐ２６（ｘ，ｙ，ｔ）、および式（２３）から、式（１３）を生成し、Ｗを求めることで、実世界１の信号を推定する。
【０２１３】
なお、関数ｆｉ（ｘ，ｙ，ｔ）として、ガウス関数、またはシグモイド関数などを利用することができる。
【０２１４】
図３０乃至図３４を参照して、推定された実世界１の信号から、データ３に対応する、より高解像度の高解像度データ１８１を生成する処理の例について説明する。
【０２１５】
図３０で示されるように、データ３は、時間方向および２次元の空間方向に実世界１の信号が積分された値を有する。例えば、センサ２であるイメージセンサから出力された、データ３である画素値は、検出素子に入射された光である、実世界１の信号が、時間方向に、検出時間であるシャッタ時間で積分され、空間方向に、検出素子の受光領域で積分された値を有する。
【０２１６】
これに対して、図３１で示されるように、空間方向により解像度の高い高解像度データ１８１は、推定された実世界１の信号を、時間方向に、データ３を出力したセンサ２の検出時間と同じ時間で積分するとともに、空間方向に、データ３を出力したセンサ２の検出素子の受光領域に比較して、より狭い領域で積分することにより、生成される。
【０２１７】
なお、空間方向により解像度の高い高解像度データ１８１を生成する場合において、推定された実世界１の信号が積分される領域は、データ３を出力したセンサ２の検出素子の受光領域と全く無関係に設定することができる。例えば、高解像度データ１８１に、データ３に対して、空間方向に整数倍の解像度を持たせることは勿論、５／３倍など、データ３に対して、空間方向に有理数倍の解像度を持たせることができる。
【０２１８】
また、図３２で示されるように、時間方向により解像度の高い高解像度データ１８１は、推定された実世界１の信号を、空間方向に、データ３を出力したセンサ２の検出素子の受光領域と同じ領域で積分するとともに、時間方向に、データ３を出力したセンサ２の検出時間に比較して、より短い時間で積分することにより、生成される。
【０２１９】
なお、時間方向により解像度の高い高解像度データ１８１を生成する場合において、推定された実世界１の信号が積分される時間は、データ３を出力したセンサ２の検出素子のシャッタ時間と全く無関係に設定することができる。例えば、高解像度データ１８１に、データ３に対して、時間方向に整数倍の解像度を持たせることは勿論、７／４倍など、データ３に対して、時間方向に有理数倍の解像度を持たせることができる。
【０２２０】
図３３で示されるように、動きボケを除去した高解像度データ１８１は、推定された実世界１の信号を、時間方向に積分しないで、空間方向にのみ積分することにより、生成される。
【０２２１】
さらに、図３４で示されるように、時間方向および空間方向により解像度の高い高解像度データ１８１は、推定された実世界１の信号を、空間方向に、データ３を出力したセンサ２の検出素子の受光領域に比較して、より狭い領域で積分するとともに、時間方向に、データ３を出力したセンサ２の検出時間に比較して、より短い時間で積分することにより、生成される。
【０２２２】
この場合において、推定された実世界１の信号が積分される領域および時間は、データ３を出力したセンサ２の検出素子の受光領域およびシャッタ時間と全く無関係に設定することができる。
【０２２３】
このように、画像生成部１０３は、例えば、推定された実世界１の信号を所望の時空間の領域で積分することにより、時間方向、または空間方向に、より高解像度のデータを生成する。
【０２２４】
以上のように、実世界１の信号を推定することにより、実世界１の信号に対してより正確で、時間方向、または空間方向に、より高解像度のデータを生成することができる。
【０２２５】
図３５乃至図３９を参照して、本発明に係る信号処理装置４の、入力画像の例と、処理の結果の例を示す。
【０２２６】
図３５は、入力画像の元の画像を示す図である。図３６は、入力画像の例を示す図である。図３６で示される入力画像は、図３５で示される画像の２×２の画素からなるブロックに属する画素の画素値の平均値を、１つの画素の画素値として生成された画像である。すなわち、入力画像は、図３５で示される画像に、センサの積分特性を模した、空間方向の積分を適用することにより得られた画像である。
【０２２７】
図３５で示される元の画像において、上下方向から、ほぼ５度時計方向に傾いた細線の画像が含まれている。同様に、図３６で示される入力画像において、上下方向から、ほぼ５度時計方向に傾いた細線の画像が含まれている。
【０２２８】
図３７は、図３６で示される入力画像に、従来のクラス分類適応処理を適用して得られた画像を示す図である。ここで、クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものである。適応処理では、例えば、低画質または標準画質の画像が、所定のタップ係数を用いてマッピング（写像）されることにより、高画質の画像に変換される。
【０２２９】
図３７で示される画像において、細線の画像が、図３５の元の画像とは異なるものになっていることがわかる。
【０２３０】
図３８は、データ定常性検出部１０１による、図３６の例で示される入力画像から細線の領域を検出した結果を示す図である。図３８において、白い領域は、細線の領域、すなわち、図１４で示される円弧形状が並んでいる領域を示す。
【０２３１】
図３９は、図３６で示される画像を入力画像として、本発明に係る信号処理装置４から出力された出力画像の例を示す図である。図３９で示されるように、本発明に係る信号処理装置４によれば、図３５で示される元の画像の細線の画像により近い画像を得ることができる。
【０２３２】
図４０は、本発明に係る信号処理装置４による、信号の処理を説明するフローチャートである。
【０２３３】
ステップＳ１０１において、データ定常性検出部１０１は、定常性の検出の処理を実行する。データ定常性検出部１０１は、データ３である入力画像に含まれているデータの定常性を検出して、検出したデータの定常性を示すデータ定常性情報を実世界推定部１０２および画像生成部１０３に供給する。
【０２３４】
データ定常性検出部１０１は、現実世界の信号の定常性に対応するデータの定常性を検出する。ステップＳ１０１の処理において、データ定常性検出部１０１により検出されるデータの定常性は、データ３に含まれる、実世界１の画像の定常性の一部であるか、または、実世界１の信号の定常性から変化してしまった定常性である。
【０２３５】
例えば、データ定常性検出部１０１は、所定の次元の方向に一定の特徴を有する領域を検出することにより、データの定常性を検出する。また、例えば、データ定常性検出部１０１は、同様の形状の並び方を示す、空間方向の角度（傾き）を検出することにより、データの定常性を検出する。
【０２３６】
ステップＳ１０１における、定常性の検出の処理の詳細は、後述する。
【０２３７】
なお、データ定常性情報は、データ３の特徴を示す特徴量として利用することができる。
【０２３８】
ステップＳ１０２において、実世界推定部１０２は、実世界の推定の処理を実行する。すなわち、実世界推定部１０２は、入力画像、およびデータ定常性検出部１０１から供給されたデータ定常性情報を基に、実世界１の信号を推定する。例えば、ステップＳ１０２の処理において、実世界推定部１０２は、実世界１を近似（記述）するモデル１６１を予測することにより、実世界１の信号を推定する。実世界推定部１０２は、推定された実世界１の信号を示す実世界推定情報を画像生成部１０３に供給する。
【０２３９】
例えば、実世界推定部１０２は、線状の物の幅を予測することにより、実世界１の信号を推定する。また、例えば、実世界推定部１０２は、線状の物の色を示すレベルを予測することにより、実世界１の信号を推定する。
【０２４０】
ステップＳ１０２における、実世界の推定の処理の詳細は、後述する。
【０２４１】
なお、実世界推定情報は、データ３の特徴を示す特徴量として利用することができる。
【０２４２】
ステップＳ１０３において、画像生成部１０３は、画像の生成の処理を実行して、処理は終了する。すなわち、画像生成部１０３は、実世界推定情報を基に、画像を生成して、生成した画像を出力する。または、画像生成部１０３は、データ定常性情報および実世界推定情報を基に、画像を生成して、生成した画像を出力する。
【０２４３】
例えば、ステップＳ１０３の処理において、画像生成部１０３は、実世界推定情報を基に、推定された現実世界の光を空間方向に積分することにより、入力画像に比較して、空間方向により高解像度の画像を生成して、生成した画像を出力する。例えば、画像生成部１０３は、実世界推定情報を基に、推定された現実世界の光を時空間方向に積分することにより、入力画像に比較して、時間方向および空間方向により高解像度の画像を生成して、生成した画像を出力する。ステップＳ１０３における、画像の生成の処理の詳細は、後述する。
【０２４４】
このように、本発明に係る信号処理装置４は、データ３からデータの定常性を検出し、検出したデータの定常性を基に、実世界１を推定する。そして、信号処理装置４は、推定された実世界１を基に、より実世界１に近似した信号を生成する。
【０２４５】
以上のように、現実世界の信号を推定して処理を実行するようにした場合には、正確で、精度の高い処理結果を得ることができるようになる。
【０２４６】
また、第１の次元を有する現実世界の信号である第１の信号が射影され、現実世界の信号の定常性の一部が欠落した第１の次元よりも少ない第２の次元の第２の信号の、欠落した現実世界の信号の定常性に対応するデータの定常性を検出し、検出されたデータの定常性に基づいて、欠落した現実世界の信号の定常性を推定することにより第１の信号を推定するようにした場合には、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【０２４７】
次に、データ定常性検出部１０１の構成の詳細について説明する。
【０２４８】
図４１は、データ定常性検出部１０１の構成を示すブロック図である。
【０２４９】
図４１に構成を示すデータ定常性検出部１０１は、細線である対象物を撮像したとき、対象物の有する断面形状が同じであるという定常性から生じた、データ３に含まれるデータの定常性を検出する。すなわち、図４１に構成を示すデータ定常性検出部１０１は、細線である実世界１の画像の有する、長さ方向の任意の位置において、長さ方向に直交する方向の位置の変化に対する光のレベルの変化が同じであるという定常性から生じた、データ３に含まれるデータの定常性を検出する。
【０２５０】
より具体的には、図４１に構成を示すデータ定常性検出部１０１は、細線の画像を空間積分効果を有するセンサ２で撮像して得られたデータ３に含まれる、斜めにずれて隣接して並ぶ、複数の所定の長さの円弧形状（かまぼこ型）が配置される領域を検出する。
【０２５１】
データ定常性検出部１０１は、データ３である入力画像から、データの定常性を有する細線の画像が射影された画像データの部分（以下、定常成分とも称する）以外の画像データの部分（以下、非定常成分と称する）を抽出し、抽出された非定常成分と入力画像とから、実世界１の細線の画像が射影された画素を検出し、入力画像における、実世界１の細線の画像が射影された画素からなる領域を検出する。
【０２５２】
非定常成分抽出部２０１は、入力画像から非定常成分を抽出して、入力画像と共に、抽出された非定常成分を示す非定常成分情報を頂点検出部２０２および単調増減検出部２０３に供給する。
【０２５３】
例えば、図４２で示されるように、ほぼ一定の光のレベルの背景の前に細線がある実世界１の画像がデータ３に射影されたとき、図４３で示されるように、非定常成分抽出部２０１は、データ３である入力画像における背景を平面で近似することにより、背景である非定常成分を抽出する。図４３において、実線は、データ３の画素値を示し、点線は、背景を近似する平面で示される近似値を示す。図４３において、Ａは、細線の画像が射影された画素の画素値を示し、ＰＬは、背景を近似する平面を示す。
【０２５４】
このように、データの定常性を有する画像データの部分における、複数の画素の画素値は、非定常成分に対して不連続となる。
【０２５５】
非定常成分抽出部２０１は、実世界１の光信号である画像が射影され、実世界１の画像の定常性の一部が欠落した、データ３である画像データの複数の画素の画素値の不連続部を検出する。
【０２５６】
非定常成分抽出部２０１における非定常成分の抽出の処理の詳細は、後述する。
【０２５７】
頂点検出部２０２および単調増減検出部２０３は、非定常成分抽出部２０１から供給された非定常成分情報を基に、入力画像から非定常成分を除去する。例えば、頂点検出部２０２および単調増減検出部２０３は、入力画像の各画素のうち、背景の画像のみが射影された画素の画素値を０に設定することにより、入力画像から非定常成分を除去する。また、例えば、頂点検出部２０２および単調増減検出部２０３は、入力画像の各画素の画素値から、平面ＰＬで近似される値を引き算することにより、入力画像から非定常成分を除去する。
【０２５８】
入力画像から背景を除去することができるので、頂点検出部２０２乃至連続性検出部２０４は、細線が射影された画像データの部分のみを処理の対象とすることができ、頂点検出部２０２乃至連続性検出部２０４における処理がより容易になる。
【０２５９】
なお、非定常成分抽出部２０１は、入力画像から非定常成分を除去した画像データを頂点検出部２０２および単調増減検出部２０３に供給するようにしてもよい。
【０２６０】
以下に説明する処理の例において、入力画像から非定常成分が除去された画像データ、すなわち、定常成分を含む画素のみからなる画像データが対象となる。
【０２６１】
ここで、頂点検出部２０２乃至連続性検出部２０４が検出しようとする、細線の画像が射影された画像データについて説明する。
【０２６２】
図４２で示される細線の画像が射影された画像データの空間方向Ｙの断面形状（空間方向の位置の変化に対する画素値の変化）は、光学ＬＰＦがないとした場合、センサ２であるイメージセンサの空間積分効果から、図４４に示す台形、または図４５に示す三角形となることが考えられる。しかしながら、通常のイメージセンサは、光学ＬＰＦを備え、イメージセンサは、光学ＬＰＦを通過した画像を取得し、取得した画像をデータ３に射影するので、現実には、細線の画像データの空間方向Ｙの断面形状は、図４６に示すようなガウス分布に類似した形状となる。
【０２６３】
頂点検出部２０２乃至連続性検出部２０４は、細線の画像が射影された画素であって、同じ断面形状（空間方向の位置の変化に対する画素値の変化）が画面の上下方向に一定の間隔で並ぶものからなる領域を検出して、さらに、実世界１の細線の長さ方向に対応した、領域の繋がりを検出することにより、データの定常性を有する領域である、細線の画像が射影された画素からなる領域を検出する。すなわち、頂点検出部２０２乃至連続性検出部２０４は、入力画像における、縦に１列の画素の上に、円弧形状（かまぼこ型）が形成される領域を検出し、検出された領域が横方向に隣接して並んでいるか否かを判定して、実世界１の信号である細線の画像の長さ方向に対応した、円弧形状が形成される領域の繋がりを検出する。
【０２６４】
また、頂点検出部２０２乃至連続性検出部２０４は、細線の画像が射影された画素であって、同じ断面形状が画面の左右方向に一定の間隔で並ぶものからなる領域を検出して、さらに、実世界１の細線の長さ方向に対応した、検出された領域の繋がりを検出することにより、データの定常性を有する領域である、細線の画像が射影された画素からなる領域を検出する。すなわち、頂点検出部２０２乃至連続性検出部２０４は、入力画像における、横に１列の画素の上に、円弧形状が形成される領域を検出し、検出された領域が縦方向に隣接して並んでいるか否かを判定して、実世界１の信号である細線の画像の長さ方向に対応した、円弧形状が形成される領域の繋がりを検出する。
【０２６５】
まず、細線の画像が射影された画素であって、画面の上下方向に同じ円弧形状が一定の間隔で並ぶものからなる領域を検出する処理を説明する。
【０２６６】
頂点検出部２０２は、周囲の画素に比較して、より大きい画素値を有する画素、すなわち頂点を検出し、頂点の位置を示す頂点情報を単調増減検出部２０３に供給する。画面の上下方向に１列に並ぶ画素を対象とした場合、頂点検出部２０２は、画面の上側に位置する画素の画素値、および画面の下側に位置する画素の画素値に比較して、より大きい画素値を有する画素を頂点として検出する。頂点検出部２０２は、１つの画像、例えば、１つのフレームの画像から、１または複数の頂点を検出する。
【０２６７】
１つの画面には、フレームまたはフィールドが含まれる。以下の説明において、同様である。
【０２６８】
例えば、頂点検出部２０２は、１フレームの画像からまだ注目画素とされていない画素の中から注目画素を選択し、注目画素の画素値と、注目画素の上側の画素の画素値とを比較し、注目画素の画素値と、注目画素の下側の画素の画素値とを比較して、上側の画素の画素値より大きい画素値を有し、下側の画素の画素値より大きい画素値を有する注目画素を検出して、検出された注目画素を頂点とする。頂点検出部２０２は、検出された頂点を示す頂点情報を単調増減検出部２０３に供給する。
【０２６９】
頂点検出部２０２が、頂点を検出しない場合もある。例えば、１つの画像の画素の画素値が全て同じ値であるとき、または、１若しくは２の方向に対して画素値が減少しているとき、頂点は検出されない。この場合、細線の画像は、画像データに射影されていない。
【０２７０】
単調増減検出部２０３は、頂点検出部２０２から供給された、頂点の位置を示す頂点情報を基に、頂点検出部２０２で検出された頂点に対して上下方向に１列に並ぶ画素であって、細線の画像が射影された画素からなる領域の候補を検出し、頂点情報と共に、検出した領域を示す領域情報を連続性検出部２０４に供給する。
【０２７１】
より具体的には、単調増減検出部２０３は、頂点の画素値を基準として、単調減少している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。単調減少とは、頂点からの距離がより長い画素の画素値が、頂点からの距離が短い画素の画素値に比較して、より小さいことをいう。
【０２７２】
また、単調増減検出部２０３は、頂点の画素値を基準として、単調増加している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。単調増加とは、頂点からの距離がより長い画素の画素値が、頂点からの距離が短い画素の画素値に比較して、より大きいことをいう。
【０２７３】
以下、単調増加している画素値を有する画素からなる領域についての処理は、単調減少している画素値を有する画素からなる領域についての処理と同様なので、その説明は省略する。細線の画像が射影された画素であって、画面の横方向に同じ円弧形状が一定の間隔で並ぶものからなる領域を検出する処理における、単調増加している画素値を有する画素からなる領域についての処理も、単調減少している画素値を有する画素からなる領域についての処理と同様なので、その説明は省略する。
【０２７４】
例えば、単調増減検出部２０３は、頂点に対して縦に１列に各画素について、各画素の画素値と、上側の画素の画素値との差分、および下側の画素の画素値との差分を求める。そして、単調増減検出部２０３は、差分の符号が変化する画素を検出することにより、画素値が単調減少している領域を検出する。
【０２７５】
さらに、単調増減検出部２０３は、画素値が単調減少している領域から、頂点の画素値の符号を基準として、頂点の画素値の符号と同じ符号の画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。
【０２７６】
例えば、単調増減検出部２０３は、各画素の画素値の符号と、上側の画素の画素値の符号および下側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出することにより、画素値が単調減少している領域から、頂点と同じ符号の画素値を有する画素からなる領域を検出する。
【０２７７】
このように、単調増減検出部２０３は、上下方向に並び、頂点に対して画素値が単調減少し、頂点と同じ符号の画素値を有する画素からなる領域を検出する。
【０２７８】
図４７は、空間方向Ｙの位置に対する画素値から、細線の画像が射影された画素の領域を検出する、頂点の検出および単調増減領域の検出の処理を説明する図である。
【０２７９】
図４７乃至図４９において、Ｐは、頂点を示す。図４１で構成が示されるデータ定常性検出部１０１の説明において、Ｐは、頂点を示す。
【０２８０】
頂点検出部２０２は、各画素の画素値と、これに空間方向Ｙに隣接する画素の画素値とを比較して、空間方向Ｙに隣接する２つの画素の画素値より大きい画素値を有する画素を検出することにより、頂点Ｐを検出する。
【０２８１】
頂点Ｐと、頂点Ｐの空間方向Ｙの両側の画素とからなる領域は、頂点Ｐの画素値に対して、空間方向Ｙの両側の画素の画素値が単調に減少する単調減少領域である。図４７において、Ａで示す矢印、およびＢで示す矢印は、頂点Ｐの両側に存在する単調減少領域を示す。
【０２８２】
単調増減検出部２０３は、各画素の画素値と、その画素に空間方向Ｙに隣接する画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。単調増減検出部２０３は、検出された、差分の符号が変化する画素と、その手前側（頂点Ｐ側）の画素との境界を、細線の画像が射影された画素からなる細線領域の境界とする。
【０２８３】
図４７において、差分の符号が変化する画素と、その手前側（頂点Ｐ側）の画素との境界である細線領域の境界はＣで示される。
【０２８４】
さらに、単調増減検出部２０３は、単調減少領域において、各画素の画素値の符号と、その画素に空間方向Ｙに隣接する画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。単調増減検出部２０３は、検出された、差分の符号が変化する画素と、その手前側（頂点Ｐ側）の画素との境界を細線領域の境界とする。
【０２８５】
図４７において、差分の符号が変化する画素と、その手前側（頂点Ｐ側）の画素との境界である細線領域の境界はＤで示される。
【０２８６】
図４７で示されるように、細線の画像が射影された画素からなる細線領域Ｆは、細線領域の境界Ｃと、細線領域の境界Ｄとに挟まれる領域とされる。
【０２８７】
単調増減検出部２０３は、このような単調増減領域からなる細線領域Ｆの中から、予め定めた閾値より長い細線領域Ｆ、すなわち、閾値より多い数の画素を含む細線領域Ｆを求める。例えば、閾値が３であるとき、単調増減検出部２０３は、４つ以上の画素を含む細線領域Ｆを検出する。
【０２８８】
さらに、このように検出された細線領域Ｆの中から、単調増減検出部２０３は、頂点Ｐの画素値、および頂点Ｐの右側の画素の画素値、および頂点Ｐの左側の画素の画素値を、それぞれ閾値と比較し、頂点Ｐの画素値が閾値を超え、頂点Ｐの右側の画素の画素値が閾値以下であり、頂点Ｐの左側の画素の画素値が閾値以下である頂点Ｐが属する細線領域Ｆを検出し、検出された細線領域Ｆを細線の画像の成分を含む画素からなる領域の候補とする。
【０２８９】
言い換えれば、頂点Ｐの画素値が閾値以下であるか、頂点Ｐの右側の画素の画素値が閾値を超えるか、または頂点Ｐの左側の画素の画素値が閾値を超える頂点Ｐが属する細線領域Ｆは、細線の画像の成分を含まないと判定され、細線の画像の成分を含む画素からなる領域の候補から除去される。
【０２９０】
すなわち、図４８で示されるように、単調増減検出部２０３は、頂点Ｐの画素値を閾値と比較すると共に、頂点Ｐに対して、空間方向Ｘ（点線ＡＡ’で示す方向）に隣接する画素の画素値を、閾値と比較し、頂点Ｐの画素値が閾値を超え、空間方向Ｘに隣接する画素の画素値が閾値以下である、頂点Ｐが属する細線領域Ｆを検出する。
【０２９１】
図４９は、図４８の点線ＡＡ’で示す空間方向Ｘに並ぶ画素の画素値を表す図である。頂点Ｐの画素値が閾値ＴｈＳを超え、頂点Ｐの空間方向Ｘに隣接する画素の画素値が、閾値ＴｈＳ以下である、頂点Ｐが属する細線領域Ｆは、細線の成分を含む。
【０２９２】
なお、単調増減検出部２０３は、背景の画素値を基準として、頂点Ｐの画素値と背景の画素値との差分を閾値と比較すると共に、頂点Ｐに対して、空間方向Ｘに隣接する画素の画素値と背景の画素値との差分を、閾値と比較し、頂点Ｐの画素値と背景の画素値との差分が閾値を超え、空間方向Ｘに隣接する画素の画素値と背景の画素値との差分が閾値以下である、頂点Ｐが属する細線領域Ｆを検出するようにしてもよい。
【０２９３】
単調増減検出部２０３は、頂点Ｐを基準として、画素値が単調減少し、画素値の符号が頂点Ｐと同じである画素からなる領域であって、その頂点Ｐが閾値を超え、頂点Ｐの右側の画素の画素値が閾値以下であり、頂点Ｐの左側の画素の画素値が閾値以下であるものを示す単調増減領域情報を連続性検出部２０４に供給する。
【０２９４】
画面の上下方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する場合において、単調増減領域情報により示される領域に属する画素は、上下方向に並び、細線の画像が射影された画素を含む。すなわち、単調増減領域情報により示される領域は、画面の上下方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域を含む。
【０２９５】
このように、頂点検出部２０２および単調増減検出部２０３は、細線の画像が射影された画素において、空間方向Ｙの画素値の変化が、ガウス分布に類似するという性質を利用して、細線の画像が射影された画素からなる定常領域を検出する。
【０２９６】
連続性検出部２０４は、単調増減検出部２０３から供給された単調増減領域情報で示される、上下方向に並ぶ画素からなる領域のうち、横方向に隣接している画素を含む領域、すなわち、相似した画素値の変化を有し、縦方向に重複している領域を、連続している領域として検出し、頂点情報、および検出された連続している領域を示すデータ定常性情報を出力する。データ定常性情報は、単調増減領域情報、および領域の繋がりを示す情報などを含んでいる。
【０２９７】
細線が射影された画素において、円弧形状が隣接するように一定の間隔で並ぶので、検出された連続している領域は、細線が射影された画素を含んでいる。
【０２９８】
検出された連続している領域が、細線が射影された、円弧形状が隣接するように一定の間隔で並ぶ画素を含むので、検出された連続している領域を定常領域とし、連続性検出部２０４は、検出された連続している領域を示すデータ定常性情報を出力する。
【０２９９】
すなわち、連続性検出部２０４は、長さ方向に連続するという、実世界１の細線の画像の定常性から生じた、細線を撮像して得られたデータ３における、円弧形状が隣接するように一定の間隔で並ぶ定常性を利用して、頂点検出部２０２および単調増減検出部２０３において検出された領域の候補をさらに絞り込む。
【０３００】
図５０は、単調増減領域の連続性を検出の処理を説明する図である。
【０３０１】
図５０に示すように、連続性検出部２０４は、画面の縦方向に１列に並ぶ画素からなる細線領域Ｆについて、横方向に隣接する画素を含んでいるとき、２つの単調増減領域の間に連続性があるとし、横方向に隣接する画素を含んでいないとき、２つの細線領域Ｆの間に連続性がないとする。例えば、画面の縦方向に１列に並ぶ画素からなる細線領域Ｆ−１は、画面の縦方向に１列に並ぶ画素からなる細線領域Ｆ０の画素と横方向に隣接する画素を含んでいるとき、細線領域Ｆ０と連続しているとされる。画面の縦方向に１列に並ぶ画素からなる細線領域Ｆ０は、画面の縦方向に１列に並ぶ画素からなる細線領域Ｆ１の画素と横方向に隣接する画素を含んでいるとき、細線領域Ｆ１と連続しているとされる。
【０３０２】
このように、頂点検出部２０２乃至連続性検出部２０４により、画面の上下方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域が検出される。
【０３０３】
頂点検出部２０２乃至連続性検出部２０４は、上述したように、画面の上下方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出し、さらに、画面の左右方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する。
【０３０４】
なお、処理の順序は、本発明を限定するものではなく、並列に実行するようにしても良いことは当然である。
【０３０５】
すなわち、頂点検出部２０２は、画面の左右方向に１列に並ぶ画素を対象として、画面の左側に位置する画素の画素値、および画面の右側に位置する画素の画素値に比較して、より大きい画素値を有する画素を頂点として検出し、検出した頂点の位置を示す頂点情報を単調増減検出部２０３に供給する。頂点検出部２０２は、１つの画像、例えば、１フレームの画像から、１または複数の頂点を検出する。
【０３０６】
例えば、頂点検出部２０２は、１フレームの画像からまだ注目画素とされていない画素の中から注目画素を選択し、注目画素の画素値と、注目画素の左側の画素の画素値とを比較し、注目画素の画素値と、注目画素の右側の画素の画素値とを比較して、左側の画素の画素値より大きい画素値を有し、右側の画素の画素値より大きい画素値を有する注目画素を検出して、検出された注目画素を頂点とする。頂点検出部２０２は、検出された頂点を示す頂点情報を単調増減検出部２０３に供給する。
【０３０７】
頂点検出部２０２が、頂点を検出しない場合もある。
【０３０８】
単調増減検出部２０３は、頂点検出部２０２で検出された頂点に対して左右方向に１列に並ぶ画素であって、細線の画像が射影された画素からなる領域の候補を検出検出し、頂点情報と共に、検出した領域を示す単調増減領域情報を連続性検出部２０４に供給する。
【０３０９】
より具体的には、単調増減検出部２０３は、頂点の画素値を基準として、単調減少している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。
【０３１０】
例えば、単調増減検出部２０３は、頂点に対して横に１列の各画素について、各画素の画素値と、左側の画素の画素値との差分、および右側の画素の画素値との差分を求める。そして、単調増減検出部２０３は、差分の符号が変化する画素を検出することにより、画素値が単調減少している領域を検出する。
【０３１１】
さらに、単調増減検出部２０３は、画素値が単調減少している領域から、頂点の画素値の符号を基準として、頂点の画素値の符号と同じ符号の画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。
【０３１２】
例えば、単調増減検出部２０３は、各画素の画素値の符号と、左側の画素の画素値の符号または右側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出することにより、画素値が単調減少している領域から、頂点と同じ符号の画素値を有する画素からなる領域を検出する。
【０３１３】
このように、単調増減検出部２０３は、左右方向に並び、頂点に対して画素値が単調減少し、頂点と同じ符号の画素値を有する画素からなる領域を検出する。
【０３１４】
単調増減検出部２０３は、このような単調増減領域からなる細線領域の中から、予め定めた閾値より長い細線領域、すなわち、閾値より多い数の画素を含む細線領域を求める。
【０３１５】
さらに、このように検出された細線領域の中から、単調増減検出部２０３は、頂点の画素値、および頂点の上側の画素の画素値、および頂点の下側の画素の画素値を、それぞれ閾値と比較し、頂点の画素値が閾値を超え、頂点の上側の画素の画素値が閾値以下であり、頂点の下側の画素の画素値が閾値以下である頂点が属する細線領域を検出し、検出された細線領域を細線の画像の成分を含む画素からなる領域の候補とする。
【０３１６】
言い換えれば、頂点の画素値が閾値以下であるか、頂点の上側の画素の画素値が閾値を超えるか、または頂点の下側の画素の画素値が閾値を超える頂点が属する細線領域は、細線の画像の成分を含まないと判定され、細線の画像の成分を含む画素からなる領域の候補から除去される。
【０３１７】
なお、単調増減検出部２０３は、背景の画素値を基準として、頂点の画素値と背景の画素値との差分を閾値と比較すると共に、頂点に対して、上下方向に隣接する画素の画素値と背景の画素値との差分を、閾値と比較し、頂点の画素値と背景の画素値との差分が閾値を超え、上下方向に隣接する画素の画素値と背景の画素値との差分が閾値以下である、検出された細線領域を細線の画像の成分を含む画素からなる領域の候補とするようにしてもよい。
【０３１８】
単調増減検出部２０３は、頂点を基準として、画素値が単調減少し、画素値の符号が頂点と同じである画素からなる領域であって、その頂点が閾値を超え、頂点の右側の画素の画素値が閾値以下であり、頂点の左側の画素の画素値が閾値以下であるものを示す単調増減領域情報を連続性検出部２０４に供給する。
【０３１９】
画面の左右方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する場合において、単調増減領域情報により示される領域に属する画素は、左右方向に並び、細線の画像が射影された画素を含む。すなわち、単調増減領域情報により示される領域は、画面の左右方向に並ぶ１列の画素であって、細線の画像が射影されたものからなる領域を含む。
【０３２０】
連続性検出部２０４は、単調増減検出部２０３から供給された単調増減領域情報で示される、左右方向に並ぶ画素からなる領域のうち、縦方向に隣接している画素を含む領域、すなわち、相似した画素値の変化を有し、横方向に重複している領域を、連続している領域として検出し、頂点情報、および検出された連続している領域を示すデータ定常性情報を出力する。データ定常性情報は、領域の繋がりを示す情報を含んでいる。
【０３２１】
細線が射影された画素において、円弧形状が隣接するように一定の間隔で並ぶので、検出された連続している領域は、細線が射影された画素を含んでいる。
【０３２２】
検出された連続している領域が、細線が射影された、円弧形状が隣接するように一定の間隔で並ぶ画素を含むので、検出された連続している領域を定常領域とし、連続性検出部２０４は、検出された連続している領域を示すデータ定常性情報を出力する。
【０３２３】
すなわち、連続性検出部２０４は、長さ方向に連続するという、実世界１の細線の画像の定常性から生じた、細線を撮像して得られたデータ３における、円弧形状が隣接するように一定の間隔で並ぶ定常性を利用して、頂点検出部２０２および単調増減検出部２０３において検出された領域の候補をさらに絞り込む。
【０３２４】
図５１は、平面での近似により定常成分を抽出した画像の例を示す図である。図５２は、図５１に示す画像から頂点を検出し、単調減少している領域を検出した結果を示す図である。図５２において、白で示される部分が、検出された領域である。
【０３２５】
図５３は、図５２に示す画像から、隣接している領域の連続性を検出して、連続性が検出された領域を示す図である。図５３において、白で示される部分が、連続性が検出された領域である。連続性の検出により、領域がさらに特定されていることがわかる。
【０３２６】
図５４は、図５３に示す領域の画素値、すなわち、連続性が検出された領域の画素値を示す図である。
【０３２７】
このように、データ定常性検出部１０１は、入力画像であるデータ３に含まれている定常性を検出することができる。すなわち、データ定常性検出部１０１は、細線である実世界１の画像がデータ３に射影されることにより生じた、データ３に含まれるデータの定常性を検出することができる。データ定常性検出部１０１は、データ３から、細線である実世界１の画像が射影された画素からなる領域を検出する。
【０３２８】
図５５は、定常性検出部１０１における、細線の画像が射影された、定常性を有する領域の検出の他の処理の例を示す図である。
【０３２９】
定常性検出部１０１は、図５５に示すように、各画素について、隣接する画素との画素値の差分の絶対値を計算する。計算された差分の絶対値は、画素に対応させて、配置される。例えば、図５５に示すように、画素値がそれぞれＰ０、Ｐ１、Ｐ２である画素が並んでいるとき、定常性検出部１０１は、差分ｄ０＝Ｐ０−Ｐ１および差分ｄ１＝Ｐ１−Ｐ２を計算する。さらに、定常性検出部１０１は、差分ｄ０および差分ｄ１の絶対値を算出する。
【０３３０】
画素値Ｐ０、Ｐ１、およびＰ２に含まれている非定常性成分が同一であるとき、差分ｄ０および差分ｄ１には、細線の成分に対応した値のみが設定されることになる。
【０３３１】
従って、定常性検出部１０１は、画素に対応させて配置されている差分の絶対値のうち、隣り合う差分の値が同一であるとき、その２つの差分の絶対値に対応する画素（２つの差分の絶対値に挟まれた画素）に細線の成分が含まれていると判定する。
【０３３２】
定常性検出部１０１においては、このような、簡便な方法で細線を検出することもできる。
【０３３３】
図５６は、定常性検出の処理を説明するフローチャートである。
【０３３４】
ステップＳ２０１において、非定常成分抽出部２０１は、入力画像から、細線が射影された部分以外の部分である非定常成分を抽出する。非定常成分抽出部２０１は、入力画像と共に、抽出された非定常成分を示す非定常成分情報を頂点検出部２０２および単調増減検出部２０３に供給する。非定常成分の抽出の処理の詳細は、後述する。
【０３３５】
ステップＳ２０２において、頂点検出部２０２は、非定常成分抽出部２０１から供給された非定常成分情報を基に、入力画像から非定常成分を除去し、入力画像に定常成分を含む画素のみを残す。さらに、ステップＳ２０２において、頂点検出部２０２は、頂点を検出する。
【０３３６】
すなわち、頂点検出部２０２は、画面の縦方向を基準として、処理を実行する場合、定常成分を含む画素について、各画素の画素値と、上側および下側の画素の画素値とを比較して、上側の画素の画素値および下側の画素の画素値より大きい画素値を有する画素を検出することにより、頂点を検出する。また、ステップＳ２０２において、頂点検出部２０２は、画面の横方向を基準として、処理を実行する場合、定常成分を含む画素について、各画素の画素値と、右側および左側の画素の画素値とを比較して、右側の画素の画素値および左側の画素の画素値より大きい画素値を有する画素を検出することにより、頂点を検出する。
【０３３７】
頂点検出部２０２は、検出した頂点を示す頂点情報を単調増減検出部２０３に供給する。
【０３３８】
ステップＳ２０３において、単調増減検出部２０３は、非定常成分抽出部２０１から供給された非定常成分情報を基に、入力画像から非定常成分を除去し、入力画像に定常成分を含む画素のみを残す。さらに、ステップＳ２０３において、単調増減検出部２０３は、頂点検出部２０２から供給された、頂点の位置を示す頂点情報を基に、頂点に対する単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。
【０３３９】
単調増減検出部２０３は、画面の縦方向を基準として、処理を実行する場合、頂点の画素値、および頂点に対して縦に１列に並ぶ画素の画素値を基に、縦に並ぶ１列の画素であって、１つの細線の画像が射影された画素からなる単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。すなわち、ステップＳ２０３において、単調増減検出部２０３は、画面の縦方向を基準として、処理を実行する場合、頂点および頂点に対して縦に１列に並ぶ画素について、各画素の画素値と、上側または下側の画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。また、単調増減検出部２０３は、頂点および頂点に対して縦に１列に並ぶ画素について、各画素の画素値の符号と、その画素の上側または下側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。さらに、単調増減検出部２０３は、頂点の画素値、並びに頂点の右側および左側の画素の画素値を、閾値と比較し、頂点の画素値が閾値を超え、右側および左側の画素の画素値が閾値以下である画素からなる領域を検出する。
【０３４０】
単調増減検出部２０３は、このように検出された領域を単調増減領域として、単調増減領域を示す単調増減領域情報を連続性検出部２０４に供給する。
【０３４１】
また、単調増減検出部２０３は、画面の横方向を基準として、処理を実行する場合、頂点の画素値、および頂点に対して横に１列に並ぶ画素の画素値を基に、横に並ぶ１列の画素であって、１つの細線の画像が射影された画素からなる単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。すなわち、ステップＳ２０３において、単調増減検出部２０３は、画面の横方向を基準として、処理を実行する場合、頂点および頂点に対して横に１列に並ぶ画素について、各画素の画素値と、左側または右側の画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。また、単調増減検出部２０３は、頂点および頂点に対して横に１列に並ぶ画素について、各画素の画素値の符号と、その画素の左側または右側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。さらに、単調増減検出部２０３は、頂点の画素値、並びに頂点の上側および下側の画素の画素値を、閾値と比較し、頂点の画素値が閾値を超え、上側および下側の画素の画素値が閾値以下である画素からなる領域を検出する。
【０３４２】
単調増減検出部２０３は、このように検出された領域を単調増減領域として、単調増減領域を示す単調増減領域情報を連続性検出部２０４に供給する。
【０３４３】
ステップＳ２０４において、単調増減検出部２０３は、全画素の処理が終了したか否かを判定する。例えば、非定常成分抽出部２０１は、入力画像の１つの画面（例えば、フレームまたはフィールドなど）の全画素について、頂点を検出し、単調増減領域を検出したか否かを判定する。
【０３４４】
ステップＳ２０４において、全画素の処理が終了していない、すなわち、頂点の検出および単調増減領域の検出の処理の対象とされていない画素がまだあると判定された場合、ステップＳ２０２に戻り、頂点の検出および単調増減領域の検出の処理の対象とされていない画素から処理の対象となる画素を選択して、頂点の検出および単調増減領域の検出の処理を繰り返す。
【０３４５】
ステップＳ２０４において、全画素の処理が終了した、すなわち、全ての画素を対象として頂点および単調増減領域が検出されたと判定された場合、ステップＳ２０５に進み、連続性検出部２０４は、単調増減領域情報を基に、検出された領域の連続性を検出する。例えば、連続性検出部２０４は、単調増減領域情報で示される、画面の縦方向に１列に並ぶ画素からなる単調増減領域について、横方向に隣接する画素を含んでいるとき、２つの単調増減領域の間に連続性があるとし、横方向に隣接する画素を含んでいないとき、２つの単調増減領域の間に連続性がないとする。例えば、連続性検出部２０４は、単調増減領域情報で示される、画面の横方向に１列に並ぶ画素からなる単調増減領域について、縦方向に隣接する画素を含んでいるとき、２つの単調増減領域の間に連続性があるとし、縦方向に隣接する画素を含んでいないとき、２つの単調増減領域の間に連続性がないとする。
【０３４６】
連続性検出部２０４は、検出された連続している領域をデータの定常性を有する定常領域とし、頂点の位置および定常領域を示すデータ定常性情報を出力する。データ定常性情報は、領域の繋がりを示す情報を含んでいる。連続性検出部２０４から出力されるデータ定常性情報は、実世界１の細線の画像が射影された画素からなる、定常領域である細線領域を示す。
【０３４７】
ステップＳ２０６において、定常性方向検出部２０５は、全画素の処理が終了したか否かを判定する。すなわち、定常性方向検出部２０５は、入力画像の所定のフレームの全画素について、領域の連続性を検出したか否かを判定する。
【０３４８】
ステップＳ２０６において、全画素の処理が終了していない、すなわち、領域の連続性の検出の処理の対象とされていない画素がまだあると判定された場合、ステップＳ２０５に戻り、領域の連続性の検出の処理の対象とされていない画素から処理の対象となる画素を選択して、領域の連続性の検出の処理を繰り返す。
【０３４９】
ステップＳ２０６において、全画素の処理が終了した、すなわち、全ての画素を対象として領域の連続性が検出されたと判定された場合、処理は終了する。
【０３５０】
このように、入力画像であるデータ３に含まれている定常性が検出される。すなわち、細線である実世界１の画像がデータ３に射影されることにより生じた、データ３に含まれるデータの定常性が検出され、データ３から、細線である実世界１の画像が射影された画素からなる、データの定常性を有する領域が検出される。
【０３５１】
なお、図４１で構成が示されるデータ定常性検出部１０１は、データ３のフレームから検出されたデータの定常性を有する領域を基に、時間方向のデータの定常性を検出することができる。
【０３５２】
例えば、図５７に示すように、連続性検出部２０４は、フレーム＃ｎにおいて、検出されたデータの定常性を有する領域、フレーム＃ｎ−１において、検出されたデータの定常性を有する領域、およびフレーム＃ｎ＋１において、検出されたデータの定常性を有する領域を基に、領域の端部を結ぶことにより、時間方向のデータの定常性を検出する。
【０３５３】
フレーム＃ｎ−１は、フレーム＃ｎに対して時間的に前のフレームであり、フレーム＃ｎ＋１は、フレーム＃ｎに対して時間的に後のフレームである。すなわち、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１は、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１の順で表示される。
【０３５４】
より具体的には、図５７において、Ｇは、フレーム＃ｎにおいて、検出されたデータの定常性を有する領域、フレーム＃ｎ−１において、検出されたデータの定常性を有する領域、およびフレーム＃ｎ＋１において、検出されたデータの定常性を有する領域のそれぞれの一端を結ぶことにより得られた動きベクトルを示し、Ｇ’は、検出されたデータの定常性を有する領域のそれぞれの他の一端を結ぶことにより得られた動きベクトルを示す。動きベクトルＧおよび動きベクトルＧ’は、時間方向のデータの定常性の一例である。
【０３５５】
さらに、図４１で構成が示されるデータ定常性検出部１０１は、データの定常性を有する領域の長さを示す情報を、データ定常性情報として出力することができる。
【０３５６】
図５８は、データの定常性を有しない画像データの部分である非定常成分を平面で近似して、非定常成分を抽出する、非定常成分抽出部２０１の構成を示すブロック図である。
【０３５７】
図５８に構成を示す非定常成分抽出部２０１は、入力画像から所定の数の画素でなるブロックを抽出し、ブロックと平面で示される値との誤差が所定の閾値未満になるように、ブロックを平面で近似して、非定常成分を抽出する。
【０３５８】
入力画像は、ブロック抽出部２２１に供給されるとともに、そのまま出力される。
【０３５９】
ブロック抽出部２２１は、入力画像から、所定の数の画素からなるブロックを抽出する。例えば、ブロック抽出部２２１は、７×７の画素からなるブロックを抽出し、平面近似部２２２に供給する。例えば、ブロック抽出部２２１は、抽出されるブロックの中心となる画素をラスタスキャン順に移動させ、順次、入力画像からブロックを抽出する。
【０３６０】
平面近似部２２２は、ブロックに含まれる画素の画素値を所定の平面で近似する。例えば、平面近似部２２２は、式（２４）で表される平面でブロックに含まれる画素の画素値を近似する。
【０３６１】
ｚ＝ａｘ＋ｂｙ＋ｃ                                            ・・・（２４）
【０３６２】
式（２４）において、ｘは、画素の画面上の一方の方向（空間方向Ｘ）の位置を示し、ｙは、画素の画面上の他の一方の方向（空間方向Ｙ）の位置を示す。ｚは、平面で示される近似値を示す。ａは、平面の空間方向Ｘの傾きを示し、ｂは、平面の空間方向Ｙの傾きを示す。式（２４）において、ｃは、平面のオフセット（切片）を示す。
【０３６３】
例えば、平面近似部２２２は、回帰の処理により、傾きａ、傾きｂ、およびオフセットｃを求めることにより、式（２４）で表される平面で、ブロックに含まれる画素の画素値を近似する。平面近似部２２２は、棄却を伴う回帰の処理により、傾きａ、傾きｂ、およびオフセットｃを求めることにより、式（２４）で表される平面で、ブロックに含まれる画素の画素値を近似する。
【０３６４】
例えば、平面近似部２２２は、最小自乗法により、ブロックの画素の画素値に対して、誤差が最小となる式（２４）で表される平面を求めることにより、平面でブロックに含まれる画素の画素値を近似する。
【０３６５】
なお、平面近似部２２２は、式（２４）で表される平面でブロックを近似すると説明したが、式（２４）で表される平面に限らず、より高い自由度をもった関数、例えば、ｎ次の多項式で表される面でブロックを近似するようにしてもよい。
【０３６６】
繰り返し判定部２２３は、ブロックの画素値を近似した平面で示される近似値と、ブロックの対応する画素の画素値との誤差を計算する。式（２５）は、ブロックの画素値を近似した平面で示される近似値と、ブロックの対応する画素の画素値ｚｉとの差分である誤差ｅｉを示す式である。
【０３６７】
【数１９】
2004246524.tif 000040
2004246524.tif 000041
【０３６８】
式（２５）において、ｚハット（ｚに＾を付した文字をｚハットと記述する。以下、本明細書において、同様に記載する。）は、ブロックの画素値を近似した平面で示される近似値を示し、ａハットは、ブロックの画素値を近似した平面の空間方向Ｘの傾きを示し、ｂハットは、ブロックの画素値を近似した平面の空間方向Ｙの傾きを示す。式（２５）において、ｃハットは、ブロックの画素値を近似した平面のオフセット（切片）を示す。
【０３６９】
繰り返し判定部２２３は、式（２５）で示される、近似値とブロックの対応する画素の画素値との誤差ｅｉが、最も大きい画素を棄却する。このようにすることで、細線が射影された画素、すなわち定常性を有する画素が棄却されることになる。繰り返し判定部２２３は、棄却した画素を示す棄却情報を平面近似部２２２に供給する。
【０３７０】
さらに、繰り返し判定部２２３は、標準誤差を算出して、標準誤差が、予め定めた近似終了判定用の閾値以上であり、ブロックの画素のうち、半分以上の画素が棄却されていないとき、繰り返し判定部２２３は、平面近似部２２２に、ブロックに含まれる画素のうち、棄却された画素を除いた画素を対象として、平面による近似の処理を繰り返させる。
【０３７１】
定常性を有する画素が棄却されるので、棄却された画素を除いた画素を対象として平面で近似をすることにより、平面は、非定常成分を近似することになる。
【０３７２】
繰り返し判定部２２３は、標準誤差が、近似終了判定用の閾値未満であるとき、または、ブロックの画素のうち、半分以上の画素が棄却されたとき、平面による近似を終了する。
【０３７３】
５×５の画素からなるブロックについて、標準誤差ｅｓは、例えば、式（２６）で算出される。
【０３７４】
【数２０】
2004246524.tif 000042
2004246524.tif 000043
ここで、ｎは、画素の数である。
【０３７５】
なお、繰り返し判定部２２３は、標準誤差に限らず、ブロックに含まれる全ての画素についての誤差の２乗の和を算出して、以下の処理を実行するようにしてもよい。
【０３７６】
ここで、ラスタスキャン方向に１画素ずつずれたブロックを平面で近似するとき、図５９に示すように、図中黒丸で示す、定常性を有する画素、すなわち細線の成分を含む画素は、複数回棄却されることになる。
【０３７７】
繰り返し判定部２２３は、平面による近似を終了したとき、ブロックの画素値を近似した平面を示す情報（式（２４）の平面の傾きおよび切片）を、非定常成分情報として出力する。
【０３７８】
なお、繰り返し判定部２２３は、画素毎の棄却された回数と予め定めた閾値とを比較して、棄却された回数が閾値以上である画素を定常成分を含む画素であるとして、定常成分を含む画素を示す情報を定常成分情報として出力するようにしてもよい。この場合、頂点検出部２０２乃至定常性方向検出部２０５は、定常成分情報で示される、定常成分を含む画素を対象として、それぞれの処理を実行する。
【０３７９】
図６０乃至図６７を参照して、非定常成分抽出の処理の結果の例を説明する。
【０３８０】
図６０は、細線が含まれる画像から、元の画像の２×２の画素の画素値の平均値を画素値として生成した入力画像の例を示す図である。
【０３８１】
図６１は、図６０で示される画像を、棄却をしないで平面で近似した結果得られる標準誤差を画素値とした画像を示す図である。図６１で示される例において、注目している１つの画素に対する５×５の画素からなるブロックを平面で近似した。図６１において、白い画素はより大きい画素値、すなわち、より大きい標準誤差を有する画素であり、黒い画素はより小さい画素値、すなわち、より小さい標準誤差を有する画素である。
【０３８２】
図６１から、棄却をしないで平面で近似した結果得られる標準誤差を画素値とした場合、非定常部の周辺に広く、大きな値が求められていることが確認できる。
【０３８３】
図６２乃至図６７で示される例において、注目している１つの画素に対する７×７の画素からなるブロックを平面で近似した。７×７の画素からなるブロックを平面で近似する場合、１つの画素が４９のブロックに繰り返し含まれることになるので、定常成分を含む画素は、最も多くて４９回、棄却されることになる。
【０３８４】
図６２は、図６０で示される画像を、棄却をして平面で近似したとき、得られる標準誤差を画素値とした画像である。
【０３８５】
図６２において、白い画素はより大きい画素値、すなわち、より大きい標準誤差を有する画素であり、黒い画素はより小さい画素値、すなわち、より小さい標準誤差を有する画素である。棄却をしない場合に比較して、棄却をした場合、全体として、標準誤差がより小さくなることがわかる。
【０３８６】
図６３は、図６０で示される画像を、棄却をして平面で近似したとき、棄却された回数を画素値とした画像を示す図である。図６３において、白い画素はより大きい画素値、すなわち、棄却された回数がより多い画素であり、黒い画素はより小さい画素値、すなわち、棄却された回数がより少ない画素である。
【０３８７】
図６３から、細線の画像が射影された画素は、より多く棄却されていることがわかる。棄却された回数を画素値とした画像を用いて、入力画像の非定常部をマスクする画像を生成することも可能である。
【０３８８】
図６４は、ブロックの画素値を近似した平面の空間方向Ｘの傾きを画素値とした画像を示す図である。図６５は、ブロックの画素値を近似した平面の空間方向Ｙの傾きを画素値とした画像を示す図である。
【０３８９】
図６６は、ブロックの画素値を近似した平面で示される近似値からなる画像を示す図である。図６６で示される画像からは、細線が消えていることがわかる。
【０３９０】
図６７は、図６０で示される、元の画像の２×２の画素のブロックの平均値を画素の画素値として生成した画像と、図６６で示される、平面で示される近似値からなる画像との差分からなる画像を示す図である。図６７の画像の画素値は、非定常成分が除去されるので、細線の画像が射影された値のみを含む。図６７からもわかるように、元の画素値と近似した平面で示される近似値との差分からなる画像では、元の画像の定常成分がうまく抽出できていることが確認できる。
【０３９１】
棄却された回数、ブロックの画素の画素値を近似する平面の空間方向Ｘの傾き、ブロックの画素の画素値を近似する平面の空間方向Ｙの傾き、ブロックの画素の画素値を近似する平面で示される近似値、および誤差ｅｉは、入力画像の特徴量としても利用することができる。
【０３９２】
図６８は、ステップＳ２０１に対応する、図５８に構成を示す非定常成分抽出部２０１による、非定常成分の抽出の処理を説明するフローチャートである。
【０３９３】
ステップＳ２２１において、ブロック抽出部２２１は、入力画素から、所定の数の画素からなるブロックを抽出し、抽出したブロックを平面近似部２２２に供給する。例えば、ブロック抽出部２２１は、入力画素から、まだ、選択されていない画素のうち、１つの画素を選択し、選択された画素を中心とする７×７の画素からなるブロックを抽出する。例えば、ブロック抽出部２２１は、ラスタスキャン順に画素を選択することができる。
【０３９４】
ステップＳ２２２において、平面近似部２２２は、抽出されたブロックを平面で近似する。平面近似部２２２は、例えば、回帰の処理により、抽出されたブロックの画素の画素値を、平面で近似する。例えば、平面近似部２２２は、回帰の処理により、抽出されたブロックの画素のうち、棄却された画素を除いた画素の画素値を、平面で近似する。ステップＳ２２３において、繰り返し判定部２２３は、繰り返し判定を実行する。例えば、ブロックの画素の画素値と近似した平面の近似値とから標準誤差を算出し、棄却された画素の数をカウントすることにより、繰り返し判定を実行する。
【０３９５】
ステップＳ２２４において、繰り返し判定部２２３は、標準誤差が閾値以上であるか否かを判定し、標準誤差が閾値以上であると判定された場合、ステップＳ２２５に進む。
【０３９６】
なお、ステップＳ２２４において、繰り返し判定部２２３は、ブロックの画素のうち、半分以上の画素が棄却されたか否か、および標準誤差が閾値以上であるか否かを判定し、ブロックの画素のうち、半分以上の画素が棄却されておらず、標準誤差が閾値以上であると判定された場合、ステップＳ２２５に進むようにしてもよい。
【０３９７】
ステップＳ２２５において、繰り返し判定部２２３は、ブロックの画素毎に、画素の画素値と近似した平面の近似値との誤差を算出し、誤差が最も大きい画素を棄却し、平面近似部２２２に通知する。手続きは、ステップＳ２２２に戻り、棄却された画素を除いた、ブロックの画素を対象として、平面による近似の処理および繰り返し判定の処理が繰り返される。
【０３９８】
ステップＳ２２５において、ラスタスキャン方向に１画素ずつずれたブロックがステップＳ２２１の処理で抽出される場合、図５９に示すように、細線の成分を含む画素（図中の黒丸で示す）は、複数回棄却されることになる。
【０３９９】
ステップＳ２２４において、標準誤差が閾値以上でないと判定された場合、ブロックが平面で近似されたので、ステップＳ２２６に進む。
【０４００】
なお、ステップＳ２２４において、繰り返し判定部２２３は、ブロックの画素のうち、半分以上の画素が棄却されたか否か、および標準誤差が閾値以上であるか否かを判定し、ブロックの画素のうち、半分以上の画素が棄却されたか、または標準誤差が閾値以上でないと判定された場合、ステップＳ２２５に進むようにしてもよい。
【０４０１】
ステップＳ２２６において、繰り返し判定部２２３は、ブロックの画素の画素値を近似する平面の傾きおよび切片を、非定常成分情報として出力する。
【０４０２】
ステップＳ２２７において、ブロック抽出部２２１は、入力画像の１つの画面の全画素について処理を終了したか否かを判定し、まだ処理の対象となってない画素があると判定された場合、ステップＳ２２１に戻り、まだ処理の対象となっていない画素からブロックを抽出して、上述した処理を繰り返す。
【０４０３】
ステップＳ２２７において、入力画像の１つの画面の全画素について、処理を終了したと判定された場合、処理は終了する。
【０４０４】
このように、図５８に構成を示す非定常成分抽出部２０１は、入力画像から非定常成分を抽出することができる。非定常成分抽出部２０１が入力画像の非定常成分を抽出するので、頂点検出部２０２および単調増減検出部２０３は、入力画像と、非定常成分抽出部２０１で抽出された非定常成分との差分を求めることにより、定常成分を含む差分を対象として処理を実行することができる。
【０４０５】
なお、平面による近似の処理において算出される、棄却した場合の標準誤差、棄却しない場合の標準誤差、画素の棄却された回数、平面の空間方向Ｘの傾き（式（２４）におけるａハット）、平面の空間方向Ｙの傾き（式（２４）におけるｂハット）、平面で置き換えたときのレベル（式（２４）におけるｃハット）、および入力画像の画素値と平面で示される近似値との差分は、特徴量として利用することができる。
【０４０６】
図６９は、ステップＳ２０１に対応する非定常成分の抽出の処理に代わる、図５８に構成を示す非定常成分抽出部２０１による、定常成分の抽出の処理を説明するフローチャートである。ステップＳ２４１乃至ステップＳ２４５の処理は、ステップＳ２２１乃至ステップＳ２２５の処理と同様なので、その説明は省略する。
【０４０７】
ステップＳ２４６において、繰り返し判定部２２３は、平面で示される近似値と入力画像の画素値との差分を、入力画像の定常成分として出力する。すなわち、繰り返し判定部２２３は、平面による近似値と、真値である画素値との差分を出力する。
【０４０８】
なお、繰り返し判定部２２３は、平面で示される近似値と入力画像の画素値との差分が、所定の閾値以上である画素の画素値を、入力画像の定常成分として出力するようにしてもよい。
【０４０９】
ステップＳ２４７の処理は、ステップＳ２２７の処理と同様なので、その説明は省略する。
【０４１０】
平面が非定常成分を近似しているので、非定常成分抽出部２０１は、入力画像の各画素の画素値から、画素値を近似する平面で示される近似値を引き算することにより、入力画像から非定常成分を除去することができる。この場合、頂点検出部２０２乃至連続性検出部２０４は、入力画像の定常成分、すなわち細線の画像が射影された値のみを処理の対象とすることができ、頂点検出部２０２乃至連続性検出部２０４における処理がより容易になる。
【０４１１】
図７０は、ステップＳ２０１に対応する非定常成分の抽出の処理に代わる、図５８に構成を示す非定常成分抽出部２０１による、定常成分の抽出の他の処理を説明するフローチャートである。ステップＳ２６１乃至ステップＳ２６５の処理は、ステップＳ２２１乃至ステップＳ２２５の処理と同様なので、その説明は省略する。
【０４１２】
ステップＳ２６６において、繰り返し判定部２２３は、画素毎の、棄却の回数を記憶し、ステップＳ２６２に戻り、処理を繰り返す。
【０４１３】
ステップＳ２６４において、標準誤差が閾値以上でないと判定された場合、ブロックが平面で近似されたので、ステップＳ２６７に進み、繰り返し判定部２２３は、入力画像の１つの画面の全画素について処理を終了したか否かを判定し、まだ処理の対象となってない画素があると判定された場合、ステップＳ２６１に戻り、まだ処理の対象となっていない画素についてブロックを抽出して、上述した処理を繰り返す。
【０４１４】
ステップＳ２６７において、入力画像の１つの画面の全画素について、処理を終了したと判定された場合、ステップＳ２６８に進み、繰り返し判定部２２３は、まだ選択されていない画素から１つの画素を選択し、選択された画素について、棄却の回数が、閾値以上であるか否かを判定する。例えば、繰り返し判定部２２３は、ステップＳ２６８において、選択された画素について、棄却の回数が、予め記憶している閾値以上であるか否かを判定する。
【０４１５】
ステップＳ２６８において、選択された画素について、棄却の回数が、閾値以上であると判定された場合、選択された画素が定常成分を含むので、ステップＳ２６９に進み、繰り返し判定部２２３は、選択された画素の画素値（入力画像における画素値）を入力画像の定常成分として出力し、ステップＳ２７０に進む。
【０４１６】
ステップＳ２６８において、選択された画素について、棄却の回数が、閾値以上でないと判定された場合、選択された画素が定常成分を含まないので、ステップＳ２６９の処理をスキップして、手続きは、ステップＳ２７０に進む。すなわち、棄却の回数が、閾値以上でないと判定された画素は、画素値が出力されない。
【０４１７】
なお、棄却の回数が、閾値以上でないと判定された画素について、繰り返し判定部２２３は、０を設定した画素値を出力するようにしてもよい。
【０４１８】
ステップＳ２７０において、繰り返し判定部２２３は、入力画像の１つの画面の全画素について、棄却の回数が閾値以上であるか否かの判定の処理を終了したか否かを判定し、全画素について処理を終了していないと判定された場合、まだ処理の対象となってない画素があるので、ステップＳ２６８に戻り、まだ処理の対象となっていない画素から１つの画素を選択して、上述した処理を繰り返す。
【０４１９】
ステップＳ２７０において、入力画像の１つの画面の全画素について処理を終了したと判定された場合、処理は終了する。
【０４２０】
このように、非定常成分抽出部２０１は、定常成分情報として、入力画像の画素のうち、定常成分を含む画素の画素値を出力することができる。すなわち、非定常成分抽出部２０１は、入力画像の画素のうち、細線の画像の成分を含む画素の画素値を出力することができる。
【０４２１】
図７１は、ステップＳ２０１に対応する非定常成分の抽出の処理に代わる、図５８に構成を示す非定常成分抽出部２０１による、定常成分の抽出のさらに他の処理を説明するフローチャートである。ステップＳ２８１乃至ステップＳ２８８の処理は、ステップＳ２６１乃至ステップＳ２６８の処理と同様なので、その説明は省略する。
【０４２２】
ステップＳ２８９において、繰り返し判定部２２３は、平面で示される近似値と、選択された画素の画素値との差分を入力画像の定常成分として出力する。すなわち、繰り返し判定部２２３は、入力画像から非定常成分を除去した画像を定常性情報として出力する。
【０４２３】
ステップＳ２９０の処理は、ステップＳ２７０の処理と同様なので、その説明は省略する。
【０４２４】
このように、非定常成分抽出部２０１は、入力画像から非定常成分を除去した画像を定常性情報として出力することができる。
【０４２５】
以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、第１の画像データの複数の画素の画素値の不連続部を検出し、検出された不連続部からデータの定常性を検出し、検出されたデータの定常性を基に、現実世界の光信号の定常性を推定することにより光信号を推定し、推定された光信号を第２の画像データに変換するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【０４２６】
図７２は、データ定常性検出部１０１の他の構成を示すブロック図である。
【０４２７】
図７２に構成を示すデータ定常性検出部１０１においては、注目している画素である注目画素について、入力画像の空間方向に対する画素値の変化、すなわち入力画像の空間方向のアクティビティが検出され、検出されたアクティビティに応じて、注目画素および基準軸を基準とした角度毎に、垂直方向に１列または水平方向に１列の所定の数の画素からなる画素の組が、複数抽出され、抽出された画素の組の相関が検出され、相関に基づいて、入力画像における、基準軸を基準としたデータの定常性の角度が検出される。
【０４２８】
データの定常性の角度とは、基準軸と、データ３が有している、一定の特徴が繰り返し現れる所定の次元の方向とがなす角度をいう。一定の特徴が繰り返し現れるとは、例えば、データ３における位置の変化に対する値の変化、すなわち断面形状が同じである場合などをいう。
【０４２９】
基準軸は、例えば、空間方向Ｘを示す軸（画面の水平方向）、または空間方向Ｙを示す軸（画面の垂直方向）などとすることができる。
【０４３０】
入力画像は、アクティビティ検出部４０１およびデータ選択部４０２に供給される。
【０４３１】
アクティビティ検出部４０１は、入力画像の空間方向に対する画素値の変化、すなわち空間方向のアクティビティを検出して、検出した結果を示すアクティビティ情報をデータ選択部４０２および定常方向導出部４０４に供給する。
【０４３２】
例えば、アクティビティ検出部４０１は、画面の水平方向に対する画素値の変化、および画面の垂直方向に対する画素値の変化を検出し、検出された水平方向に対する画素値の変化および垂直方向に対する画素値の変化を比較することにより、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいか、または水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいかを検出する。
【０４３３】
アクティビティ検出部４０１は、検出の結果である、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいことを示すか、または水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいことを示すアクティビティ情報をデータ選択部４０２および定常方向導出部４０４に供給する。
【０４３４】
垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きい場合、例えば、図７３で示されるように、垂直方向に１列の画素に円弧形状（かまぼこ型）またはつめ形状が形成され、円弧形状またはつめ形状が垂直により近い方向に繰り返して形成されている。すなわち、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きい場合、基準軸を空間方向Ｘを示す軸とすると、入力画像における、基準軸を基準としたデータの定常性の角度は、４５度乃至９０度のいずれかの値である。
【０４３５】
水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きい場合、例えば、水平方向に１列の画素に円弧形状またはつめ形状が形成され、円弧形状またはつめ形状が水平方向により近い方向に繰り返して形成されている。すなわち、水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きい場合、基準軸を空間方向Ｘを示す軸とすると、入力画像における、基準軸を基準としたデータの定常性の角度は、０度乃至４５度のいずれかの値である。
【０４３６】
例えば、アクティビティ検出部４０１は、図７４で示される、注目画素を中心とした３×３の９つの画素からなるブロックを入力画像から抽出する。アクティビティ検出部４０１は、縦に隣接する画素についての画素値の差分の和、および横に隣接する画素についての画素値の差分の和を算出する。横に隣接する画素についての画素値の差分の和ｈｄｉｆｆは、式（２７）で求められる。
【０４３７】
ｈｄｉｆｆ＝Σ（Ｐｉ＋１，ｊ−Ｐｉ，ｊ）                              ・・・（２７）
【０４３８】
同様に、縦に隣接する画素についての画素値の差分の和ｖｄｉｆｆは、式（２８）で求められる。
【０４３９】
ｖｄｉｆｆ＝Σ（Ｐｉ，ｊ＋１−Ｐｉ，ｊ）                              ・・・（２８）
【０４４０】
式（２７）および式（２８）において、Ｐは、画素値を示し、ｉは、画素の横方向の位置を示し、ｊは、画素の縦方向の位置を示す。
【０４４１】
アクティビティ検出部４０１は、算出された横に隣接する画素についての画素値の差分の和ｈｄｉｆｆおよび縦に隣接する画素についての画素値の差分の和ｖｄｉｆｆを比較して、入力画像における、基準軸を基準としたデータの定常性の角度の範囲を判定するようにしてもよい。すなわち、この場合、アクティビティ検出部４０１は、空間方向の位置に対する画素値の変化で示される形状が水平方向に繰り返して形成されているか、垂直方向に繰り返して形成されているかを判定する。
【０４４２】
例えば、横に１列の画素上に形成された円弧についての横方向の画素値の変化は、縦方向の画素値の変化に比較して大きく、横に１列の画素上に形成された円弧についての縦方向の画素値の変化は、横方向の画素値の変化に比較して大きく、データの定常性の方向、すなわち、データ３である入力画像が有している、一定の特徴の所定の次元の方向の変化は、データの定常性に直交する方向の変化に比較して小さいと言える。言い換えれば、データの定常性の方向の差分に比較して、データの定常性の方向に直交する方向（以下、非定常方向とも称する）の差分は大きい。
【０４４３】
例えば、図７５に示すように、アクティビティ検出部４０１は、算出された横に隣接する画素についての画素値の差分の和ｈｄｉｆｆおよび縦に隣接する画素についての画素値の差分の和ｖｄｉｆｆを比較して、横に隣接する画素についての画素値の差分の和ｈｄｉｆｆが大きい場合、基準軸を基準としたデータの定常性の角度が、４５度乃至１３５度のいずれかの値であると判定し、縦に隣接する画素についての画素値の差分の和ｖｄｉｆｆが大きい場合、基準軸を基準としたデータの定常性の角度が、０度乃至４５度のいずれかの値、または１３５度乃至１８０度のいずれかの値であると判定する。
【０４４４】
例えば、アクティビティ検出部４０１は、判定の結果を示すアクティビティ情報をデータ選択部４０２および定常方向導出部４０４に供給する。
【０４４５】
なお、アクティビティ検出部４０１は、５×５の２５の画素からなるブロック、または７×７の４９の画素からなるブロックなど、任意の大きさのブロックを抽出して、アクティビティを検出することができる。
【０４４６】
データ選択部４０２は、入力画像の画素から注目画素を順に選択し、アクティビティ検出部４０１から供給されたアクティビティ情報を基に、注目画素および基準軸を基準とした角度毎に、垂直方向に１列または水平方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０４４７】
例えば、アクティビティ情報が垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいことを示しているとき、データの定常性の角度が、４５度乃至１３５度のいずれかの値なので、データ選択部４０２は、注目画素および基準軸を基準とした４５度乃至１３５度の範囲の所定の角度毎に、垂直方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０４４８】
アクティビティ情報が水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいことを示しているとき、データの定常性の角度が、０度乃至４５度または１３５度乃至１８０度のいずれかの値なので、データ選択部４０２は、注目画素および基準軸を基準とした０度乃至４５度または１３５度乃至１８０度の範囲の所定の角度毎に、水平方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０４４９】
また、例えば、データの定常性の角度が４５度乃至１３５度のいずれかの値であることを、アクティビティ情報が示しているとき、データ選択部４０２は、注目画素および基準軸を基準とした４５度乃至１３５度の範囲の所定の角度毎に、垂直方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０４５０】
データの定常性の角度が０度乃至４５度または１３５度乃至１８０度のいずれかの値であることを、アクティビティ情報が示しているとき、データ選択部４０２は、注目画素および基準軸を基準とした０度乃至４５度または１３５度乃至１８０度の範囲の所定の角度毎に、水平方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０４５１】
データ選択部４０２は、抽出した画素からなる複数の組を誤差推定部４０３に供給する。
【０４５２】
誤差推定部４０３は、抽出した画素からなる複数の組について、角度毎に、画素の組の相関を検出する。
【０４５３】
例えば、誤差推定部４０３は、１つの角度に対応する、垂直方向に１列の所定の数の画素からなる画素の複数の組について、画素の組における対応する位置の画素の画素値の相関を検出する。誤差推定部４０３は、１つの角度に対応する、水平方向に１列の所定の数の画素からなる画素の複数の組について、組における対応する位置の画素の画素値の相関を検出する。
【０４５４】
誤差推定部４０３は、検出した相関を示す相関情報を定常方向導出部４０４に供給する。誤差推定部４０３は、相関を示す値として、データ選択部４０２から供給された、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出し、差分の絶対値の和を相関情報として定常方向導出部４０４に供給する。
【０４５５】
定常方向導出部４０４は、誤差推定部４０３から供給された相関情報に基いて、欠落した実世界１の光信号の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。例えば、定常方向導出部４０４は、誤差推定部４０３から供給された相関情報に基いて、データの定常性の角度として、最も相関の強い画素の組に対する角度を検出し、検出された最も相関の強い画素の組に対する角度を示すデータ定常性情報を出力する。
【０４５６】
以下の説明において、適宜、０度乃至９０度の範囲（いわゆる第１象限）のデータの定常性の角度を検出するものとして説明する。
【０４５７】
図７６は、図７２に示すデータ定常性検出部１０１のより詳細な構成を示すブロック図である。
【０４５８】
データ選択部４０２は、画素選択部４１１−１乃至画素選択部４１１−Ｌを含む。誤差推定部４０３は、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌを含む。定常方向導出部４０４は、最小誤差角度選択部４１３を含む。
【０４５９】
まず、アクティビティ情報で示される、データの定常性の角度が４５度乃至１３５度のいずれかの値であるときの画素選択部４１１−１乃至画素選択部４１１−Ｌの処理を説明する。
【０４６０】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、空間方向Ｘを示す軸を基準軸として、注目画素を通る、それぞれ異なる所定の角度の直線を設定する。画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列に属する画素であって、注目画素の上側の所定の数の画素、および注目画素の下側の所定の数の画素、並びに注目画素を画素の組として選択する。
【０４６１】
例えば、図７７で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列に属する画素から、注目画素を中心として９つの画素を画素の組として選択する。
【０４６２】
図７７において、マス目状の１つの四角（１つのマス目）は、１つの画素を示す。図７７において、中央に示す丸は、注目画素を示す。
【０４６３】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側の縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図７７において、注目画素の左下側の丸は、選択された画素の例を示す。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側の縦に１列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０４６４】
例えば、図７７で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側の縦に１列の画素の列に属する画素から、直線に最も近い位置の画素を中心として９つの画素を画素の組として選択する。
【０４６５】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側に２つめの縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図７７において、最も左側の丸は、選択された画素の例を示す。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側に２つめの縦に１列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０４６６】
例えば、図７７で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側に２つめの縦に１列の画素の列に属する画素から、直線に最も近い位置の画素を中心として９つの画素を画素の組として選択する。
【０４６７】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側の縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図７７において、注目画素の右上側の丸は、選択された画素の例を示す。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側の縦に１列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０４６８】
例えば、図７７で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側の縦に１列の画素の列に属する画素から、直線に最も近い位置の画素を中心として９つの画素を画素の組として選択する。
【０４６９】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側に２つめの縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図７７において、最も右側の丸は、このように選択された画素の例を示す。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側に２つめの縦に１列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０４７０】
例えば、図７７で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側に２つめの縦に１列の画素の列に属する画素から、直線に最も近い位置の画素を中心として９つの画素を画素の組として選択する。
【０４７１】
このように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、それぞれ、画素の組を５つ選択する。
【０４７２】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、互いに異なる角度（に設定された直線）についての、画素の組を選択する。例えば、画素選択部４１１−１は、４５度についての、画素の組を選択し、画素選択部４１１−２は、４７．５度についての、画素の組を選択し、画素選択部４１１−３は、５０度についての、画素の組を選択する。画素選択部４１１−１乃至画素選択部４１１−Ｌは、５２．５度から１３５度までの、２．５度毎の角度についての、画素の組を選択する。
【０４７３】
なお、画素の組の数は、例えば、３つ、または７つなど、任意の数とすることができ、本発明を限定するものではない。また、１つの組として選択された画素の数は、例えば、５つ、または１３など、任意の数とすることができ、本発明を限定するものではない。
【０４７４】
なお、画素選択部４１１−１乃至画素選択部４１１−Ｌは、縦方向に所定の範囲の画素から、画素の組を選択するようにすることができる。例えば、画素選択部４１１−１乃至画素選択部４１１−Ｌは、縦方向に１２１個の画素（注目画素に対して、上方向に６０画素、下方向に６０画素）から、画素の組を選択する。この場合、データ定常性検出部１０１は、空間方向Ｘを示す軸に対して、８８．０９度まで、データの定常性の角度を検出することができる。
【０４７５】
画素選択部４１１−１は、選択した画素の組を推定誤差算出部４１２−１に供給し、画素選択部４１１−２は、選択した画素の組を推定誤差算出部４１２−２に供給する。同様に、画素選択部４１１−３乃至画素選択部４１１−Ｌのそれぞれは、選択した画素の組を推定誤差算出部４１２−３乃至推定誤差算出部４１２−Ｌのそれぞれに供給する。
【０４７６】
推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。例えば、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、相関を示す値として、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出する。
【０４７７】
より具体的には、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の左側の縦に１列の画素の列に属する画素からなる組の画素の画素値とを基に、最も上の画素の画素値の差分を算出し、上から２番目の画素の画素値の差分を算出するように、上の画素から順に画素値の差分の絶対値を算出して、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の左に２つめの縦に１列の画素の列に属する画素からなる組の画素の画素値とを基に、上の画素から順に画素値の差分の絶対値を算出して、算出された差分の絶対値の和を算出する。
【０４７８】
そして、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の右側の縦に１列の画素の列に属する画素からなる組の画素の画素値とを基に、最も上の画素の画素値の差分を算出し、上から２番目の画素の画素値の差分を算出するように、上の画素から順に画素値の差分の絶対値を算出して、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の右に２つめの縦に１列の画素の列に属する画素からなる組の画素の画素値とを基に、上の画素から順に画素値の差分の絶対値を算出して、算出された差分の絶対値の和を算出する。
【０４７９】
推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、このように算出された画素値の差分の絶対値の和を全て加算して、画素値の差分の絶対値の総和を算出する。
【０４８０】
推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、検出された相関を示す情報を、最小誤差角度選択部４１３に供給する。例えば、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、算出された画素値の差分の絶対値の総和を最小誤差角度選択部４１３に供給する。
【０４８１】
なお、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素値の差分の絶対値の和に限らず、画素値の差分の自乗の和、または画素値を基にした相関係数など他の値を相関値として算出するようにすることができる。
【０４８２】
最小誤差角度選択部４１３は、互いに異なる角度についての、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌにおいて検出された相関に基いて、欠落した実世界１の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。すなわち、最小誤差角度選択部４１３は、互いに異なる角度についての、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌにおいて検出された相関に基いて、最も強い相関を選択し、選択された相関が検出された角度を、基準軸を基準としたデータの定常性の角度とすることにより、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。
【０４８３】
例えば、最小誤差角度選択部４１３は、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌから供給された、画素値の差分の絶対値の総和のうち、最小の総和を選択する。最小誤差角度選択部４１３は、選択された総和が算出された画素の組について、注目画素に対して、左側に２つめの縦に１列の画素の列に属する画素であって、直線に最も近い位置の画素の位置、および、注目画素に対して、右側に２つめの縦に１列の画素の列に属する画素であって、直線に最も近い位置の画素の位置を参照する。
【０４８４】
図７７で示されるように、最小誤差角度選択部４１３は、注目画素の位置に対する、参照する画素の位置の縦方向の距離Ｓを求める。最小誤差角度選択部４１３は、図７８で示すように、式（２９）から、欠落した実世界１の光信号の定常性に対応する、画像データである入力画像における、基準軸である空間方向Ｘを示す軸を基準としたデータの定常性の角度θを検出する。
【０４８５】
θ＝ｔａｎ−１（ｓ／２）                                    ・・・（２９）
【０４８６】
次に、アクティビティ情報で示される、データの定常性の角度が０度乃至４５度および１３５度乃至１８０度のいずれかの値であるときの画素選択部４１１−１乃至画素選択部４１１−Ｌの処理を説明する。
【０４８７】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、空間方向Ｘを示す軸を基準軸として、注目画素を通る、所定の角度の直線を設定し、注目画素が属する横に１列の画素の列に属する画素であって、注目画素の上側の所定の数の画素、および注目画素の下側の所定の数の画素、並びに注目画素を画素の組として選択する。
【０４８８】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、上側の横に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、上側の横に１列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０４８９】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、上側に２つめの横に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、上側に２つめの横に１列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０４９０】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、下側の横に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、下側の横に１列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０４９１】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、下側に２つめの横に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、下側に２つめの横に１列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０４９２】
このように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、それぞれ、画素の組を５つ選択する。
【０４９３】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、互いに異なる角度についての、画素の組を選択する。例えば、画素選択部４１１−１は、０度についての、画素の組を選択し、画素選択部４１１−２は、２．５度についての、画素の組を選択し、画素選択部４１１−３は、５度についての、画素の組を選択する。画素選択部４１１−１乃至画素選択部４１１−Ｌは、７．５度から４５度および１３５度から１８０度までの、２．５度毎の角度についての、画素の組を選択する。
【０４９４】
画素選択部４１１−１は、選択した画素の組を推定誤差算出部４１２−１に供給し、画素選択部４１１−２は、選択した画素の組を推定誤差算出部４１２−２に供給する。同様に、画素選択部４１１−３乃至画素選択部４１１−Ｌのそれぞれは、選択した画素の組を推定誤差算出部４１２−３乃至推定誤差算出部４１２−Ｌのそれぞれに供給する。
【０４９５】
推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、検出された相関を示す情報を、最小誤差角度選択部４１３に供給する。
【０４９６】
最小誤差角度選択部４１３は、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌにおいて検出された相関に基いて、欠落した実世界１の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。
【０４９７】
次に、図７９のフローチャートを参照して、ステップＳ１０１の処理に対応する、図７２で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の処理を説明する。
【０４９８】
ステップＳ４０１において、アクティビティ検出部４０１およびデータ選択部４０２は、入力画像から、注目している画素である注目画素を選択する。アクティビティ検出部４０１およびデータ選択部４０２は、同一の注目画素を選択する。例えば、アクティビティ検出部４０１およびデータ選択部４０２は、入力画像から、ラスタスキャン順に、注目画素を選択する。
【０４９９】
ステップＳ４０２において、アクティビティ検出部４０１は、注目画素に対するアクティビティを検出する。例えば、アクティビティ検出部４０１は、注目画素を中心とした所定の数の画素からなるブロックの縦方向に並ぶ画素の画素値の差分および横方向に並ぶ画素の画素値の差分を基に、アクティビティを検出する。
【０５００】
アクティビティ検出部４０１は、注目画素に対する空間方向のアクティビティを検出して、検出した結果を示すアクティビティ情報をデータ選択部４０２および定常方向導出部４０４に供給する。
【０５０１】
ステップＳ４０３において、データ選択部４０２は、注目画素を含む画素の列から、注目画素を中心とした所定の数の画素を、画素の組として選択する。例えば、データ選択部４０２は、注目画素が属する縦または横に１列の画素の列に属する画素であって、注目画素の上側または左側の所定の数の画素、および注目画素の下側または右側の所定の数の画素、並びに注目画素を画素の組として選択する。
【０５０２】
ステップＳ４０４において、データ選択部４０２は、ステップＳ４０２の処理で検出されたアクティビティを基にした、所定の範囲の角度毎に、所定の数の画素の列から、それぞれ所定の数の画素を、画素の組として選択する。例えば、データ選択部４０２は、所定の範囲の角度を有し、空間方向Ｘを示す軸を基準軸として、注目画素を通る直線を設定し、注目画素に対して、横方向または縦方向に１列または２列離れた画素であって、直線に最も近い画素を選択し、選択された画素の上側または左側の所定の数の画素、および選択された画素の下側または右側の所定の数の画素、並びに線に最も近い選択された画素を画素の組として選択する。データ選択部４０２は、角度毎に、画素の組を選択する。
【０５０３】
データ選択部４０２は、選択した画素の組を誤差推定部４０３に供給する。
【０５０４】
ステップＳ４０５において、誤差推定部４０３は、注目画素を中心とした画素の組と、角度毎に選択した画素の組との相関を計算する。例えば、誤差推定部４０３は、角度毎に、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出する。
【０５０５】
角度毎に選択された、画素の組の相互の相関を基に、データの定常性の角度を検出するようにしてもよい。
【０５０６】
誤差推定部４０３は、算出された相関を示す情報を、定常方向導出部４０４に供給する。
【０５０７】
ステップＳ４０６において、定常方向導出部４０４は、ステップＳ４０５の処理で算出された相関を基に、相関が最も強い画素の組の位置から、欠落した実世界１の光信号の定常性に対応する、画像データである入力画像における、基準軸を基準としたデータの定常性の角度を検出する。例えば、定常方向導出部４０４は、画素値の差分の絶対値の総和のうち、最小の総和を選択し、選択された総和が算出された画素の組の位置から、データの定常性の角度θを検出する。
【０５０８】
定常方向導出部４０４は、検出したデータの定常性の角度を示すデータ定常性情報を出力する。
【０５０９】
ステップＳ４０７において、データ選択部４０２は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステップＳ４０１に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。
【０５１０】
ステップＳ４０７において、全ての画素の処理を終了したと判定された場合、処理は終了する。
【０５１１】
このように、データ定常性検出部１０１は、欠落した実世界１の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出することができる。
【０５１２】
なお、図７２で構成が示されるデータ検出部１０１は、注目しているフレームである注目フレームの、注目している画素である注目画素について、入力画像の空間方向のアクティビティを検出し、検出されたアクティビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームおよび注目フレームの時間的に前または後ろのフレームのそれぞれから、垂直方向に１列または水平方向に１列の所定の数の画素からなる画素の組を、複数抽出し、抽出された画素の組の相関を検出し、相関に基づいて、入力画像における、時間方向および空間方向のデータの定常性の角度を検出するようにしてもよい。
【０５１３】
例えば、図８０に示すように、データ選択部４０２は、検出されたアクティビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームであるフレーム＃ｎ、フレーム＃ｎ−１、およびフレーム＃ｎ＋１のそれぞれから、垂直方向に１列または水平方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０５１４】
フレーム＃ｎ−１は、フレーム＃ｎに対して時間的に前のフレームであり、フレーム＃ｎ＋１は、フレーム＃ｎに対して時間的に後のフレームである。すなわち、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１は、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１の順で表示される。
【０５１５】
誤差推定部４０３は、抽出した画素からなる複数の組について、１つの角度および１つの動きベクトル毎に、画素の組の相関を検出する。定常方向導出部４０４は、画素の組の相関に基づいて、欠落した実世界１の光信号の定常性に対応する、入力画像における、時間方向および空間方向のデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。
【０５１６】
図８１は、図７２に示すデータ定常性検出部１０１のより詳細な他の構成を示すブロック図である。図７６に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。
【０５１７】
データ選択部４０２は、画素選択部４２１−１乃至画素選択部４２１−Ｌを含む。誤差推定部４０３は、推定誤差算出部４２２−１乃至推定誤差算出部４２２−Ｌを含む。
【０５１８】
図８１で示すデータ定常性検出部１０１においては、角度の範囲に対する数の画素からなる、画素の組であって、角度の範囲に対する数の組が抽出されて、抽出された画素の組の相関が検出され、検出された相関に基づいて、入力画像における、基準軸を基準としたデータの定常性の角度が検出される。
【０５１９】
まず、アクティビティ情報で示される、データの定常性の角度が４５度乃至１３５度のいずれかの値であるときの画素選択部４２１−１乃至画素選択部４２１−Ｌの処理を説明する。
【０５２０】
図８２の左側に示すように、図７６で示されるデータ定常性検出部１０１においては、設定された直線の角度によらず、一定の数の画素からなる画素の組が抽出されるのに対して、図８１で示されるデータ定常性検出部１０１においては、図８２の右側に示すように、設定された直線の角度の範囲に応じた数の画素からなる画素の組が抽出される。また、図８１で示されるデータ定常性検出部１０１においては、画素の組が、設定された直線の角度の範囲に応じた数だけ抽出される。
【０５２１】
画素選択部４２１−１乃至画素選択部４２１−Ｌは、４５度乃至１３５度の範囲の、空間方向Ｘを示す軸を基準軸として、注目画素を通る、それぞれ互いに異なる所定の角度の直線を設定する。
【０５２２】
画素選択部４２１−１乃至画素選択部４２１−Ｌは、注目画素が属する縦に１列の画素の列に属する画素であって、それぞれに設定された直線の角度の範囲に応じた数の、注目画素の上側の画素、および注目画素の下側の画素、並びに注目画素を画素の組として選択する。
【０５２３】
画素選択部４２１−１乃至画素選択部４２１−Ｌは、注目画素が属する縦に１列の画素の列に対して、画素を基準とした横方向に所定の距離にある、左側および右側の縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択し、選択された画素に対して縦に１列の画素から、設定された直線の角度の範囲に応じた数の、選択された画素の上側の画素、および選択された画素の下側の画素、並びに選択された画素を画素の組として選択する。
【０５２４】
すなわち、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度の範囲に応じた数の画素を、画素の組として選択する。画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度の範囲に応じた数の、画素の組を選択する。
【０５２５】
例えば、空間方向Ｘに対してほぼ４５度の角度に位置する、検出素子の検出領域の幅とほぼ同じ幅の細線の画像がセンサ２で撮像された場合、細線の画像は、空間方向Ｙに１列に並ぶ３つの画素に円弧形状が形成されるように、データ３に射影される。これに対して、空間方向Ｘに対してほぼ垂直に位置する、検出素子の検出領域の幅とほぼ同じ幅の細線の画像がセンサ２で撮像された場合、細線の画像は、空間方向Ｙに１列に並ぶ、多数の画素に円弧形状が形成されるように、データ３に射影される。
【０５２６】
画素の組に同じ数の画素が含まれるとすると、細線が空間方向Ｘに対してほぼ４５度の角度に位置する場合、画素の組において、細線の画像が射影された画素の数が少なくなり、分解能が低下することになる。逆に、細線が空間方向Ｘに対してほぼ垂直に位置する場合、画素の組において、細線の画像が射影された画素のうちの、一部の画素について処理が実行されることになり、正確さが低下する恐れがある。
【０５２７】
そこで、細線の画像が射影された画素がほぼ同等になるように、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定する直線が空間方向Ｘに対して４５度の角度により近いとき、それぞれ画素の組に含まれる画素の数を少なくして、画素の組の数を多くし、設定する直線が空間方向Ｘに対して垂直により近い場合、それぞれの画素の組に含まれる画素の数を多くして、画素の組の数を少なくするように、画素および画素の組を選択する。
【０５２８】
例えば、図８３および図８４で示されるように、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、４５度以上６３．４度未満の範囲（図８３および図８４において、Ａで示す範囲）にあるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした５つの画素を画素の組として選択すると共に、注目画素に対して、横方向に５画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、５つの画素を画素の組として選択する。
【０５２９】
すなわち、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、４５度以上６３．４度未満の範囲にあるとき、入力画像から、それぞれ５つの画素からなる、１１の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素は、注目画素に対して、縦方向に５画素乃至９画素離れた位置にある。
【０５３０】
図８４において、列の数は、注目画素の左側または右側の、画素の組として画素が選択される画素の列の数を示す。図８４において、１列の画素の数は、注目画素に対して、縦に１列の画素の列、または注目画素の左側または右側の列から、画素の組として選択される画素の数を示す。図８４において、画素の選択範囲は、注目画素に対する、設定された直線に最も近い位置の画素として、選択される画素の縦方向の位置を示す。
【０５３１】
図８５で示されるように、例えば、画素選択部４２１−１は、設定された直線の角度が、４５度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした５つの画素を画素の組として選択すると共に、注目画素に対して、横方向に５画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、５つの画素を画素の組として選択する。すなわち、画素選択部４２１−１は、入力画像から、それぞれ５つの画素からなる、１１の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に５画素離れた位置にある。
【０５３２】
なお、図８５乃至図９２において、点線で表された四角（点線で仕切られた１つのマス目）は、１つの画素を示し、実線で表された四角は、画素の組を示す。図８５乃至図９２において、注目画素の空間方向Ｘの座標を０とし、注目画素の空間方向Ｙの座標を０とした。
【０５３３】
また、図８５乃至図９２において、斜線で表された四角は、注目画素または設定された直線に最も近い位置の画素を示す。図８５乃至図９２において、太線で表された四角は、注目画素を中心として選択された画素の組を示す。
【０５３４】
図８６で示されるように、例えば、画素選択部４２１−２は、設定された直線の角度が、６０．９度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした５つの画素を画素の組として選択すると共に、注目画素に対して、横方向に５画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、５つの画素を画素の組として選択する。すなわち、画素選択部４２１−２は、入力画像から、それぞれ５つの画素からなる、１１の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に９画素離れた位置にある。
【０５３５】
例えば、図８３および図８４で示されるように、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、６３．４度以上７１．６度未満の範囲（図８３および図８４において、Ｂで示す範囲）にあるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした７つの画素を画素の組として選択すると共に、注目画素に対して、横方向に４画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、７つの画素を画素の組として選択する。
【０５３６】
すなわち、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、６３．４度以上７１．６度未満の範囲囲にあるとき、入力画像から、それぞれ７つの画素からなる、９つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素の縦方向の位置は、注目画素に対して、８画素乃至１１画素である。
【０５３７】
図８７で示されるように、例えば、画素選択部４２１−３は、設定された直線の角度が、６３．４度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした７つの画素を画素の組として選択すると共に、注目画素に対して、横方向に４画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、７つの画素を画素の組として選択する。すなわち、画素選択部４２１−３は、入力画像から、それぞれ７つの画素からなる、９つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に８画素離れた位置にある。
【０５３８】
また、図８８で示されるように、例えば、画素選択部４２１−４は、設定された直線の角度が、７０．０度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした７つの画素を画素の組として選択すると共に、注目画素に対して、横方向に４画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、７つの画素を画素の組として選択する。すなわち、画素選択部４２１−４は、入力画像から、それぞれ７つの画素からなる、９つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に１１画素離れた位置にある。
【０５３９】
例えば、図８３および図８４で示されるように、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、７１．６度以上７６．０度未満の範囲（図８３および図８４において、Ｃで示す範囲）にあるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした９つの画素を画素の組として選択すると共に、注目画素に対して、横方向に３画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、９つの画素を画素の組として選択する。
【０５４０】
すなわち、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、７１．６度以上７６．０度未満の範囲にあるとき、入力画像から、それぞれ９つの画素からなる、７つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素の縦方向の位置は、注目画素に対して、９画素乃至１１画素である。
【０５４１】
図８９で示されるように、例えば、画素選択部４２１−５は、設定された直線の角度が、７１．６度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした９つの画素を画素の組として選択すると共に、注目画素に対して、横方向に３画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、９つの画素を画素の組として選択する。すなわち、画素選択部４２１−５は、入力画像から、それぞれ９つの画素からなる、７つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に９画素離れた位置にある。
【０５４２】
また、図９０で示されるように、例えば、画素選択部４２１−６は、設定された直線の角度が、７４．７度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした９つの画素を画素の組として選択すると共に、注目画素に対して、横方向に３画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、９つの画素を画素の組として選択する。すなわち、画素選択部４２１−６は、入力画像から、それぞれ９つの画素からなる、７つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に１１画素離れた位置にある。
【０５４３】
例えば、図８３および図８４で示されるように、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、７６．０度以上８７．７度以下の範囲（図８３および図８４において、Ｄで示す範囲）にあるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした１１の画素を画素の組として選択すると共に、注目画素に対して、横方向に２画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、１１の画素を画素の組として選択する。すなわち、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度が、７６．０度以上８７．７度以下の範囲にあるとき、入力画像から、それぞれ１１の画素からなる、５つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素の縦方向の位置は、注目画素に対して、８画素乃至５０画素である。
【０５４４】
図９１で示されるように、例えば、画素選択部４２１−７は、設定された直線の角度が、７６．０度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした１１の画素を画素の組として選択すると共に、注目画素に対して、横方向に２画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、１１の画素を画素の組として選択する。すなわち、画素選択部４２１−７は、入力画像から、それぞれ１１の画素からなる、５つの画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に８画素離れた位置にある。
【０５４５】
また、図９２で示されるように、例えば、画素選択部４２１−８は、設定された直線の角度が、８７．７度であるとき、注目画素に対して、縦に１列の画素の列から、注目画素を中心とした１１の画素を画素の組として選択すると共に、注目画素に対して、横方向に２画素以内の距離にある、左側および右側の縦に１列の画素の列に属する画素から、それぞれ、１１の画素を画素の組として選択する。すなわち、画素選択部４２１−８は、入力画像から、それぞれ１１の画素からなる、５の画素の組を選択する。この場合において、設定された直線に最も近い位置の画素として、選択される画素のうち、注目画素から最も遠い位置にある画素は、注目画素に対して、縦方向に５０画素離れた位置にある。
【０５４６】
このように、画素選択部４２１−１乃至画素選択部４２１−Ｌは、それぞれ、角度の範囲に対応した所定の数の画素からなる、角度の範囲に対応した所定の数の画素の組を選択する。
【０５４７】
画素選択部４２１−１は、選択した画素の組を推定誤差算出部４２２−１に供給し、画素選択部４２１−２は、選択した画素の組を推定誤差算出部４２２−２に供給する。同様に、画素選択部４２１−３乃至画素選択部４２１−Ｌのそれぞれは、選択した画素の組を推定誤差算出部４２２−３乃至推定誤差算出部４２２−Ｌのそれぞれに供給する。
【０５４８】
推定誤差算出部４２２−１乃至推定誤差算出部４２２−Ｌは、画素選択部４２１−１乃至画素選択部４２１−Ｌのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。例えば、推定誤差算出部４２２−１乃至推定誤差算出部４２２−Ｌは、画素選択部４２１−１乃至画素選択部４２１−Ｌのいずれかから供給された、注目画素を含む画素の組の画素の画素値と、他の画素の組における対応する位置の画素の画素値の差分の絶対値の和を算出し、注目画素を含む画素の組以外の画素の組に含まれる画素の数で、算出された和を割り算する。算出された和を、注目画素を含む組以外の組に含まれる画素の数で、割り算するのは、設定された直線の角度に応じて選択される画素の数が異なるので、相関を示す値を正規化するためである。
【０５４９】
推定誤差算出部４２２−１乃至推定誤差算出部４２２−Ｌは、検出された相関を示す情報を、最小誤差角度選択部４１３に供給する。例えば、推定誤差算出部４２２−１乃至推定誤差算出部４２２−Ｌは、正規化された画素値の差分の絶対値の和を最小誤差角度選択部４１３に供給する。
【０５５０】
次に、アクティビティ情報で示される、データの定常性の角度が０度乃至４５度および１３５度乃至１８０度のいずれかの値であるときの画素選択部４２１−１乃至画素選択部４２１−Ｌの処理を説明する。
【０５５１】
画素選択部４２１−１乃至画素選択部４２１−Ｌは、０度乃至４５度または１３５度乃至１８０度の範囲の、空間方向Ｘを示す軸を基準軸として、注目画素を通る、それぞれ互いに異なる所定の角度の直線を設定する。
【０５５２】
画素選択部４２１−１乃至画素選択部４２１−Ｌは、注目画素が属する横に１列の画素の列に属する画素であって、設定された直線の角度の範囲に応じた数の、注目画素の左側の画素、および注目画素の右側の画素、並びに注目画素を画素の組として選択する。
【０５５３】
画素選択部４２１−１乃至画素選択部４２１−Ｌは、注目画素が属する横に１列の画素の列に対して、画素を基準とした縦方向に所定の距離にある、上側および下側の横に１列の画素の列に属する画素であって、設定された直線に最も近い位置の画素を選択し、選択された画素に対して横に１列の画素から、設定された直線の角度の範囲に応じた数の、選択された画素の左側の画素、および選択された画素の右側の画素、並びに選択された画素を画素の組として選択する。
【０５５４】
すなわち、画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度の範囲に応じた数の画素を、画素の組として選択する。画素選択部４２１−１乃至画素選択部４２１−Ｌは、設定された直線の角度の範囲に応じた数の、画素の組を選択する。
【０５５５】
画素選択部４２１−１は、選択した画素の組を推定誤差算出部４２２−１に供給し、画素選択部４２１−２は、選択した画素の組を推定誤差算出部４２２−２に供給する。同様に、画素選択部４２１−３乃至画素選択部４２１−Ｌのそれぞれは、選択した画素の組を推定誤差算出部４２２−３乃至推定誤差算出部４２２−Ｌのそれぞれに供給する。
【０５５６】
推定誤差算出部４２２−１乃至推定誤差算出部４２２−Ｌは、画素選択部４２１−１乃至画素選択部４２１−Ｌのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。
【０５５７】
推定誤差算出部４２２−１乃至推定誤差算出部４２２−Ｌは、検出された相関を示す情報を、最小誤差角度選択部４１３に供給する。
【０５５８】
次に、図９３のフローチャートを参照して、ステップＳ１０１の処理に対応する、図８１で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の処理を説明する。
【０５５９】
ステップＳ４２１およびステップＳ４２２の処理は、ステップＳ４０１およびステップＳ４０２の処理と同様なので、その説明は省略する。
【０５６０】
ステップＳ４２３において、データ選択部４０２は、ステップＳ４２２の処理で検出されたアクティビティに対する所定の範囲の角度毎に、注目画素を含む画素の列から、注目画素を中心とした、角度の範囲に対して定めた数の画素を、画素の組として選択する。例えば、データ選択部４０２は、注目画素が属する縦または横に１列の画素の列に属する画素であって、設定する直線の角度に対して、角度の範囲により定めた数の、注目画素の上側または左側の画素、および注目画素の下側または右側の画素、並びに注目画素を画素の組として選択する。
【０５６１】
ステップＳ４２４において、データ選択部４０２は、ステップＳ４２２の処理で検出されたアクティビティを基にした、所定の範囲の角度毎に、角度の範囲に対して定めた数の画素の列から、角度の範囲に対して定めた数の画素を、画素の組として選択する。例えば、データ選択部４０２は、所定の範囲の角度を有し、空間方向Ｘを示す軸を基準軸として、注目画素を通る直線を設定し、注目画素に対して、横方向または縦方向に、設定する直線の角度の範囲に対して所定の範囲だけ離れた画素であって、直線に最も近い画素を選択し、選択された画素の上側または左側の、設定する直線の角度の範囲に対する数の画素、および選択された画素の下側または右側の、設定する直線の角度の範囲に対する数の画素、並びに選択された線に最も近い画素を画素の組として選択する。データ選択部４０２は、角度毎に、画素の組を選択する。
【０５６２】
データ選択部４０２は、選択した画素の組を誤差推定部４０３に供給する。
【０５６３】
ステップＳ４２５において、誤差推定部４０３は、注目画素を中心とした画素の組と、角度毎に選択した画素の組との相関を計算する。例えば、誤差推定部４０３は、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出し、他の組に属する画素の数で、画素値の差分の絶対値の和を割り算することにより、相関を計算する。
【０５６４】
角度毎に選択された、画素の組の相互の相関を基に、データの定常性の角度を検出するようにしてもよい。
【０５６５】
誤差推定部４０３は、算出された相関を示す情報を、定常方向導出部４０４に供給する。
【０５６６】
ステップＳ４２６およびステップＳ４２７の処理は、ステップＳ４０６およびステップＳ４０７の処理と同様なので、その説明は省略する。
【０５６７】
このように、データ定常性検出部１０１は、欠落した実世界１の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を、より正確に、より精度良く検出することができる。図８１に構成を示すデータ定常性検出部１０１は、特に、データの定常性の角度が４５度付近である場合において、細線の画像が射影された、より多くの画素の相関を評価することができるので、より精度良くデータの定常性の角度を検出することができる。
【０５６８】
なお、図８１で構成が示されるデータ定常性検出部１０１においても、注目しているフレームである注目フレームの、注目している画素である注目画素について、入力画像の空間方向のアクティビティを検出し、検出されたアクティビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームおよび注目フレームの時間的に前または後ろのフレームのそれぞれから、垂直方向に１列または水平方向に１列の、空間的な角度の範囲に対して定めた数の画素からなる画素の組を、空間的な角度の範囲に対して定めた数だけ抽出し、抽出された画素の組の相関を検出し、相関に基づいて、入力画像における、時間方向および空間方向のデータの定常性の角度を検出するようにしてもよい。
【０５６９】
図９４は、データ定常性検出部１０１のさらに他の構成を示すブロック図である。
【０５７０】
図９４に構成を示すデータ定常性検出部１０１においては、注目している画素である注目画素について、所定の数の画素からなる、注目画素を中心としたブロックと、注目画素の周辺の、それぞれ、所定の数の画素からなる複数のブロックが抽出され、注目画素を中心としたブロックと周辺のブロックとの相関が検出され、相関に基づいて、入力画像における、基準軸を基準としたデータの定常性の角度が検出される。
【０５７１】
データ選択部４４１は、入力画像の画素から注目画素を順に選択し、注目画素を中心とした、所定の数の画素からなるブロック、および、注目画素の周辺の、所定の数の画素からなる複数のブロックを抽出し、抽出したブロックを誤差推定部４４２に供給する。
【０５７２】
例えば、データ選択部４４１は、注目画素を中心とした５×５画素からなるブロック、注目画素の周辺から、注目画素および基準軸を基準とした所定の角度の範囲毎に、５×５画素からなる２つのブロックを抽出する。
【０５７３】
誤差推定部４４２は、データ選択部４４１から供給された、注目画素を中心としたブロックと、注目画素の周辺のブロックとの相関を検出して、検出した相関を示す相関情報を定常方向導出部４４３に供給する。
【０５７４】
例えば、誤差推定部４４２は、角度の範囲毎に、注目画素を中心とした５×５画素からなるブロックと、１つの角度の範囲に対応する、５×５画素からなる２つのブロックとについて、画素値の相関を検出する。
【０５７５】
定常性方向導出部４４３は、誤差推定部４４２から供給された相関情報に基いて、相関の最も強い、注目画素の周辺のブロックの位置から、欠落した実世界１の光信号の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。例えば、定常方向導出部４４３は、誤差推定部４４２から供給された相関情報に基いて、注目画素を中心とした５×５画素からなるブロックに対して最も相関の強い、５×５画素からなる２つのブロックに対する角度の範囲を、データの定常性の角度として検出し、検出された角度を示すデータ定常性情報を出力する。
【０５７６】
図９５は、図９４に示すデータ定常性検出部１０１のより詳細な構成を示すブロック図である。
【０５７７】
データ選択部４４１は、画素選択部４６１−１乃至画素選択部４６１−Ｌを含む。誤差推定部４４２は、推定誤差算出部４６２−１乃至推定誤差算出部４６２−Ｌを含む。定常方向導出部４４３は、最小誤差角度選択部４６３を含む。
【０５７８】
例えば、データ選択部４４１には、画素選択部４６１−１乃至画素選択部４６１−８が設けられる。例えば、誤差推定部４４２には、推定誤差算出部４６２−１乃至推定誤差算出部４６２−８が設けられる。
【０５７９】
画素選択部４６１−１乃至画素選択部４６１−Ｌのそれぞれは、注目画素を中心とした、所定の数の画素からなるブロック、並びに注目画素および基準軸を基準とした所定の角度の範囲に対応した、所定の数の画素からなる２つのブロックを抽出する。
【０５８０】
図９６は、画素選択部４６１−１乃至画素選択部４６１−Ｌにより抽出される、５×５画素のブロックの例を説明する図である。図９６における中央の位置は、注目画素の位置を示す。
【０５８１】
なお、５×５画素のブロックは、一例であって、ブロックに含まれる画素の数は、本発明を限定するものではない。
【０５８２】
例えば、画素選択部４６１−１は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、０度乃至１８．４度および１６１．６度乃至１８０．０度の範囲に対応した、注目画素に対して、右側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ａで示す）を抽出し、注目画素に対して、左側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ａ’で示す）を抽出する。画素選択部４６１−１は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−１に供給する。
【０５８３】
画素選択部４６１−２は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、１８．４度乃至３３．７度の範囲に対応した、注目画素に対して、右側に１０画素移動し、上側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｂで示す）を抽出し、注目画素に対して、左側に１０画素移動し、下側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｂ’で示す）を抽出する。画素選択部４６１−２は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−２に供給する。
【０５８４】
画素選択部４６１−３は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、３３．７度乃至５６．３度の範囲に対応した、注目画素に対して、右側に５画素移動し、上側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｃで示す）を抽出し、注目画素に対して、左側に５画素移動し、下側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｃ’で示す）を抽出する。画素選択部４６１−３は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−３に供給する。
【０５８５】
画素選択部４６１−４は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、５６．３度乃至７１．６度の範囲に対応した、注目画素に対して、右側に５画素移動し、上側に１０画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｄで示す）を抽出し、注目画素に対して、左側に５画素移動し、下側に１０画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｄ’で示す）を抽出する。画素選択部４６１−４は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−４に供給する。
【０５８６】
画素選択部４６１−５は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、７１．６度乃至１０８．４度の範囲に対応した、注目画素に対して、上側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｅで示す）を抽出し、注目画素に対して、下側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｅ’で示す）を抽出する。画素選択部４６１−５は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−５に供給する。
【０５８７】
画素選択部４６１−６は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、１０８．４度乃至１２３．７度の範囲に対応した、注目画素に対して、左側に５画素移動し、上側に１０画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｆで示す）を抽出し、注目画素に対して、右側に５画素移動し、下側に１０画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｆ’で示す）を抽出する。画素選択部４６１−６は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−６に供給する。
【０５８８】
画素選択部４６１−７は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、１２３．７度乃至１４６．３度の範囲に対応した、注目画素に対して、左側に５画素移動し、上側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｇで示す）を抽出し、注目画素に対して、右側に５画素移動し、下側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｇ’で示す）を抽出する。画素選択部４６１−７は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−７に供給する。
【０５８９】
画素選択部４６１−８は、注目画素を中心とした、５×５画素のブロックを抽出すると共に、１４６．３度乃至１６１．６度の範囲に対応した、注目画素に対して、左側に１０画素移動し、上側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｈで示す）を抽出し、注目画素に対して、右側に１０画素移動し、下側に５画素移動した位置にある画素を中心とした、５×５画素のブロック（図９６中Ｈ’で示す）を抽出する。画素選択部４６１−８は、抽出した、５×５画素の３つのブロックを推定誤差算出部４６２−８に供給する。
【０５９０】
以下、注目画素を中心とした、所定の数の画素からなるブロックを注目ブロックと称する。
【０５９１】
以下、注目画素および基準軸を基準とした所定の角度の範囲に対応した、所定の数の画素からなるブロックを参照ブロックと称する。
【０５９２】
このように、画素選択部４６１−１乃至画素選択部４６１−８は、例えば、注目画素を中心として、２５×２５画素の範囲から、注目ブロックおよび参照ブロックを抽出する。
【０５９３】
推定誤差算出部４６２−１乃至推定誤差算出部４６２−Ｌは、画素選択部４６１−１乃至画素選択部４６１−Ｌから供給された、注目ブロックと、２つの参照ブロックとの相関を検出して、検出した相関を示す相関情報を最小誤差角度選択部４６３に供給する。
【０５９４】
例えば、推定誤差算出部４６２−１は、注目画素を中心とした、５×５画素からなる注目ブロックと、０度乃至１８．４度および１６１．６度乃至１８０．０度の範囲に対応して抽出された、注目画素に対して、右側に５画素移動した位置にある画素を中心とした、５×５画素の参照ブロックとについて、注目ブロックに含まれる画素の画素値と、参照ブロックに含まれる画素の画素値との差分の絶対値を算出する。
【０５９５】
この場合において、推定誤差算出部４６２−１は、図９７に示されるように、注目ブロックの中央の画素と参照ブロックの中央の画素とが重なる位置を基準として、画素値の差分の絶対値の算出に、注目画素の画素値が使用されるように、参照ブロックに対して、注目ブロックの位置を、左側に２画素乃至右側に２画素のいずれか、上側に２画素乃至下側に２画素のいずれか移動させた場合に重なる位置となる画素の画素値の差分の絶対値を算出する。すなわち、注目ブロックと参照ブロックとの２５種類の位置における、対応する位置の画素の画素値の差分の絶対値が算出される。言い換えれば、画素値の差分の絶対値が算出される場合において、相対的に移動される注目ブロックおよび参照ブロックとからなる範囲は、９×９画素である。
【０５９６】
図９７において、四角は、画素を示し、Ａは、参照ブロックを示し、Ｂは、注目ブロックを示す。図９７において、太線は、注目画素を示す。すなわち、図９７は、参照ブロックに対して、注目ブロックが右側に２画素、および上側に１画素移動した場合の例を示す図である。
【０５９７】
さらに、推定誤差算出部４６２−１は、注目画素を中心とした、５×５画素からなる注目ブロックと、０度乃至１８．４度および１６１．６度乃至１８０．０度の範囲に対応して抽出された、注目画素に対して、左側に５画素移動した位置にある画素を中心とした、５×５画素の参照ブロックとについて、注目ブロックに含まれる画素の画素値と、参照ブロックに含まれる画素の画素値との差分の絶対値を算出する。
【０５９８】
そして、推定誤差算出部４６２−１は、算出された差分の絶対値の和を求めて、差分の絶対値の和を、相関を示す相関情報として最小誤差角度選択部４６３に供給する。
【０５９９】
推定誤差算出部４６２−２は、５×５画素からなる注目ブロックと、１８．４度乃至３３．７度の範囲に対応して抽出された、５×５画素の２つの参照ブロックとについて、画素値の差分の絶対値を算出し、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部４６２−１は、算出された差分の絶対値の和を、相関を示す相関情報として最小誤差角度選択部４６３に供給する。
【０６００】
同様に、推定誤差算出部４６２−３乃至推定誤差算出部４６２−８のそれぞれは、５×５画素からなる注目ブロックと、所定の角度の範囲に対応して抽出された、５×５画素の２つの参照ブロックとについて、画素値の差分の絶対値を算出し、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部４６２−３乃至推定誤差算出部４６２−８のそれぞれは、算出された差分の絶対値の和を、相関を示す相関情報として最小誤差角度選択部４６３に供給する。
【０６０１】
最小誤差角度選択部４６３は、推定誤差算出部４６２−１乃至推定誤差算出部４６２−８から供給された、相関情報としての画素値の差分の絶対値の和のうち、最も強い相関を示す、最小の値が得られた参照ブロックの位置から、２つの参照ブロックに対する角度をデータの定常性の角度として検出し、検出された角度を示すデータ定常性情報を出力する。
【０６０２】
ここで、参照ブロックの位置と、データの定常性の角度の範囲との関係について説明する。
【０６０３】
実世界の信号を近似する近似関数ｆ（ｘ）をｎ次の一次元多項式で近似した場合、近似関数ｆ（ｘ）は、式（３０）で表すことができる。
【０６０４】
【数２１】
2004246524.tif 000044
2004246524.tif 000045
【０６０５】
近似関数ｆ（ｘ）で近似される実世界１の信号の波形が、空間方向Ｙに対して一定の傾き（角度）を有する場合、式（３０）における、ｘをｘ＋γｙとすることにより得られた式（３１）で、実世界１の信号を近似する近似関数（ｘ，ｙ）は、表現される。
【０６０６】
【数２２】
2004246524.tif 000046
2004246524.tif 000047
【０６０７】
γは、空間方向Ｙの位置の変化に対する、空間方向Ｘの位置の変化の割合を示す。以下、γをシフト量とも称する。
【０６０８】
図９８は、注目画素の位置と、角度θを有する直線との空間方向Ｘの距離を０としたとき、すなわち、注目画素を直線が通るときの、注目画素の周辺の画素の位置と、角度θを有する直線との空間方向Ｘの距離を示す図である。ここで、画素の位置は、画素の中心の位置である。また、位置と直線との距離は、位置が直線に対して左側にあるとき、負の値で示され、位置が直線に対して右側にあるとき、正の値で示される。
【０６０９】
例えば、注目画素の右側に隣接する画素の位置、すなわち空間方向Ｘの座標ｘが１増加する位置と、角度θを有する直線との空間方向Ｘの距離は、１であり、注目画素の左側に隣接する画素の位置、すなわち空間方向Ｘの座標ｘが１減少する位置と、角度θを有する直線との空間方向Ｘの距離は、−１である。注目画素の上側に隣接する画素の位置、すなわち空間方向Ｙの座標ｙが１増加する位置と、角度θを有する直線との空間方向Ｘの距離は、−γであり、注目画素の下側に隣接する画素の位置、すなわち空間方向Ｙの座標ｙが１減少する位置と、角度θを有する直線との空間方向Ｘの距離は、γである。
【０６１０】
角度θが４５度を超え、９０度未満であり、シフト量γが、０を超え、１未満であるとき、シフト量γと角度θとの間には、γ＝１／ｔａｎθの関係式が成り立つ。図９９は、シフト量γと角度θとの関係を示す図である。
【０６１１】
ここで、シフト量γの変化に対する、注目画素の周辺の画素の位置と、注目画素を通り、角度θを有する直線との空間方向Ｘの距離の変化に注目する。
【０６１２】
図１００は、シフト量γに対する、注目画素の周辺の画素の位置と、注目画素を通り、角度θを有する直線との空間方向Ｘの距離を示す図である。図１００において、右上がりの一点鎖線は、シフト量γに対する、注目画素の下側に隣接する画素の位置と直線との空間方向Ｘの距離を示し、左下がりの一点鎖線は、シフト量γに対する、注目画素の上側に隣接する画素の位置と直線との空間方向Ｘの距離を示す。
【０６１３】
図１００において、右上がりの二点鎖線は、シフト量γに対する、注目画素から、２画素下側で、１画素左側に位置する画素の位置と直線との空間方向Ｘの距離を示し、左下がりの二点鎖線は、シフト量γに対する、注目画素から、２画素上側で、１画素右側に位置する画素の位置と直線との空間方向Ｘの距離を示す。
【０６１４】
図１００において、右上がりの三点鎖線は、シフト量γに対する、注目画素から、１画素下側で、１画素左側に位置する画素の位置と直線との空間方向Ｘの距離を示し、左下がりの三点鎖線は、シフト量γに対する、注目画素から、１画素上側で、１画素右側に位置する画素の位置と直線との空間方向Ｘの距離を示す。
【０６１５】
図１００から、シフト量γに対して、距離が最も小さい画素がわかる。
【０６１６】
すなわち、シフト量γが０乃至１／３であるとき、注目画素の上側に隣接する画素および注目画素の下側に隣接する画素から、直線までの距離が最小である。すなわち、角度θが７１．６度乃至９０度であるとき、注目画素の上側に隣接する画素および注目画素の下側に隣接する画素から、直線までの距離が最小である。
【０６１７】
シフト量γが１／３乃至２／３であるとき、注目画素に対して、２画素上側で、１画素右側に位置する画素、および注目画素に対して、２画素下側で、１画素左側に位置する画素から、直線までの距離が最小である。すなわち、角度θが５６．３度乃至７１．６度であるとき、注目画素に対して、２画素上側で、１画素右側に位置する画素、および注目画素に対して、２画素下側で、１画素左側に位置する画素から、直線までの距離が最小である。
【０６１８】
また、シフト量γが２／３乃至１であるとき、注目画素に対して、１画素上側で、１画素右側に位置する画素、および注目画素に対して、１画素下側で、１画素左側に位置する画素から、直線までの距離が最小である。すなわち、角度θが４５度乃至５６．３度であるとき、注目画素に対して、１画素上側で、１画素右側に位置する画素、および注目画素に対して、１画素下側で、１画素左側に位置する画素から、直線までの距離が最小である。
【０６１９】
角度θが０度から４５度までの範囲の直線と画素との関係も、同様に考えることができる。
【０６２０】
図９８に示す画素を、注目ブロックおよび参照ブロックに置き換えて、参照ブロックと直線との空間方向Ｘの距離を考えることができる。
【０６２１】
図１０１に、注目画素を通り、空間方向Ｘの軸に対して角度θの直線との距離が最小の参照ブロックを示す。
【０６２２】
図１０１におけるＡ乃至ＨおよびＡ’乃至Ｈ’は、図９６におけるＡ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックを示す。
【０６２３】
すなわち、注目画素を通り、空間方向Ｘの軸を基準とした、０度乃至１８．４度および１６１．６度乃至１８０．０度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＡおよびＡ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＡおよびＡ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＡおよびＡ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、０度乃至１８．４度および１６１．６度乃至１８０．０度の範囲にあると言える。
【０６２４】
注目画素を通り、空間方向Ｘの軸を基準とした、１８．４度乃至３３．７度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＢおよびＢ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＢおよびＢ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＢおよびＢ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、１８．４度乃至３３．７度の範囲にあると言える。
【０６２５】
注目画素を通り、空間方向Ｘの軸を基準とした、３３．７度乃至５６．３度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＣおよびＣ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＣおよびＣ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＣおよびＣ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、３３．７度乃至５６．３度の範囲にあると言える。
【０６２６】
注目画素を通り、空間方向Ｘの軸を基準とした、５６．３度乃至７１．６度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＤおよびＤ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＤおよびＤ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＤおよびＤ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、５６．３度乃至７１．６度の範囲にあると言える。
【０６２７】
注目画素を通り、空間方向Ｘの軸を基準とした、７１．６度乃至１０８．４度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＥおよびＥ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＥおよびＥ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＥおよびＥ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、７１．６度乃至１０８．４度の範囲にあると言える。
【０６２８】
注目画素を通り、空間方向Ｘの軸を基準とした、１０８．４度乃至１２３．７度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＦおよびＦ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＦおよびＦ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＦおよびＦ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、１０８．４度乃至１２３．７度の範囲にあると言える。
【０６２９】
注目画素を通り、空間方向Ｘの軸を基準とした、１２３．７度乃至１４６．３度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＧおよびＧ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＧおよびＧ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＧおよびＧ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、１２３．７度乃至１４６．３度の範囲にあると言える。
【０６３０】
注目画素を通り、空間方向Ｘの軸を基準とした、１４６．３度乃至１６１．６度のいずれかの角度θを有する直線と、Ａ乃至ＨおよびＡ’乃至Ｈ’の参照ブロックのそれぞれとの空間方向Ｘの距離のうち、直線とＨおよびＨ’の参照ブロックとの距離が最小となる。従って、逆に考えれば、注目ブロックと、ＨおよびＨ’の参照ブロックとの相関が最も強いとき、注目ブロックと、ＨおよびＨ’の参照ブロックとを結ぶ方向に、一定の特徴が繰り返し現れているので、データの定常性の角度は、１４６．３度乃至１６１．６度の範囲にあると言える。
【０６３１】
このように、データ定常性検出部１０１は、注目ブロックと参照ブロックとの相関を基に、データの定常性の角度を検出することができる。
【０６３２】
なお、図９４に構成を示すデータ定常性検出部１０１においては、データの定常性の角度の範囲をデータ定常性情報として出力するようにしても良く、データの定常性の角度の範囲を示す代表値をデータ定常性情報として出力するようにしても良い。例えば、データの定常性の角度の範囲の中央値を代表値とすることができる。
【０６３３】
さらに、図９４に構成を示すデータ定常性検出部１０１は、相関が最も強い参照ブロックの周辺の参照ブロックの相関を利用することにより、検出するデータの定常性の角度の範囲を１／２に、すなわち、検出するデータの定常性の角度の分解能を２倍にすることができる。
【０６３４】
例えば、注目ブロックと、ＥおよびＥ’の参照ブロックとの相関が最も強いとき、最小誤差角度選択部４６３は、図１０２で示されるように、注目ブロックに対する、ＤおよびＤ’の参照ブロックの相関と、注目ブロックに対する、ＦおよびＦ’の参照ブロックの相関とを比較する。注目ブロックに対する、ＤおよびＤ’の参照ブロックの相関が、注目ブロックに対する、ＦおよびＦ’の参照ブロックの相関に比較して、強い場合、最小誤差角度選択部４６３は、データの定常性の角度に、７１．６度乃至９０度の範囲を設定する。また、この場合、最小誤差角度選択部４６３は、データの定常性の角度に、代表値として８１度を設定するようにしてもよい。
【０６３５】
注目ブロックに対する、ＦおよびＦ’の参照ブロックの相関が、注目ブロックに対する、ＤおよびＤ’の参照ブロックの相関に比較して、強い場合、最小誤差角度選択部４６３は、データの定常性の角度に、９０度乃至１０８．４度の範囲を設定する。また、この場合、最小誤差角度選択部４６３は、データの定常性の角度に、代表値として９９度を設定するようにしてもよい。
【０６３６】
最小誤差角度選択部４６３は、同様の処理で、他の角度の範囲についても、検出するデータの定常性の角度の範囲を１／２にすることができる。
【０６３７】
尚、図１０２を参照して説明した手法を、簡易１６方位検出手法とも称する。
【０６３８】
このように、図９４に構成を示すデータ定常性検出部１０１は、簡単な処理で、より範囲の狭い、データの定常性の角度を検出することができる。
【０６３９】
次に、図１０３のフローチャートを参照して、ステップＳ１０１の処理に対応する、図９４で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の処理を説明する。
【０６４０】
ステップＳ４４１において、データ選択部４４１は、入力画像から、注目している画素である注目画素を選択する。例えば、データ選択部４４１は、入力画像から、ラスタスキャン順に、注目画素を選択する。
【０６４１】
ステップＳ４４２において、データ選択部４４１は、注目画素を中心とする所定の数の画素からなる注目ブロックを選択する。例えば、データ選択部４４１は、注目画素を中心とする５×５画素からなる注目ブロックを選択する。
【０６４２】
ステップＳ４４３において、データ選択部４４１は、注目画素の周辺の所定の位置の所定の数の画素からなる参照ブロックを選択する。例えば、データ選択部４４１は、注目画素および基準軸を基準とした所定の角度の範囲毎に、注目ブロックの大きさを基準とした、所定の位置の画素を中心とする５×５画素からなる参照ブロックを選択する。
【０６４３】
データ選択部４４１は、注目ブロックおよび参照ブロックを誤差推定部４４２に供給する。
【０６４４】
ステップＳ４４４において、誤差推定部４４２は、注目画素および基準軸を基準とした所定の角度の範囲毎に、注目ブロックと、角度の範囲に対応した参照ブロックとの相関を計算する。誤差推定部４４２は、算出された相関を示す相関情報を定常方向導出部４４３に供給する。
【０６４５】
ステップＳ４４５において、定常方向導出部４４３は、注目ブロックに対して、相関が最も強い参照ブロックの位置から、欠落した実世界１の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。
【０６４６】
定常方向導出部４４３は、検出したデータの定常性の角度を示すデータ定常性情報を出力する。
【０６４７】
ステップＳ４４６において、データ選択部４４１は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステップＳ４４１に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。
【０６４８】
ステップＳ４４６において、全ての画素の処理を終了したと判定された場合、処理は終了する。
【０６４９】
このように、図９４に構成を示すデータ定常性検出部１０１は、より簡単な処理で、欠落した実世界１の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出することができる。また、図９４に構成を示すデータ定常性検出部１０１は、入力画像の中の、比較的狭い範囲の画素の画素値を使用して、データの定常性の角度を検出することができるので、入力画像にノイズ等が含まれていても、より正確にデータの定常性の角度を検出することができる。
【０６５０】
なお、図９４で構成が示されるデータ検出部１０１は、注目しているフレームである注目フレームの、注目している画素である注目画素について、注目フレームから、所定の数の画素からなる、注目画素を中心としたブロックと、注目画素の周辺の、それぞれ、所定の数の画素からなる複数のブロックとを抽出すると共に、注目フレームに対して時間的に前または後ろのフレームから、所定の数の画素からなる、注目画素に対応する位置の画素を中心としたブロックと、注目画素に対応する位置の画素の周辺の、それぞれ、所定の数の画素からなる複数のブロックとを抽出し、注目画素を中心としたブロックと空間的または時間的に周辺のブロックとの相関を検出し、相関に基づいて、入力画像における、時間方向および空間方向のデータの定常性の角度を検出するようにしてもよい。
【０６５１】
例えば、図１０４に示すように、データ選択部４４１は、注目フレームであるフレーム＃ｎから注目画素を順に選択し、フレーム＃ｎから、注目画素を中心とした、所定の数の画素からなるブロック、および、注目画素の周辺の、所定の数の画素からなる複数のブロックを抽出する。また、データ選択部４４１は、フレーム＃ｎ−１およびフレーム＃ｎ＋１のそれぞれから、注目画素の位置に対応する位置の画素を中心とした、所定の数の画素からなるブロック、および、注目画素の位置に対応する位置の画素の周辺の、所定の数の画素からなる複数のブロックを抽出する。データ選択部４４１は、抽出したブロックを誤差推定部４４２に供給する。
【０６５２】
誤差推定部４４２は、データ選択部４４１から供給された、注目画素を中心としたブロックと、空間的または時間的に周辺のブロックとの相関を検出して、検出した相関を示す相関情報を定常方向導出部４４３に供給する。定常性方向導出部４４３は、誤差推定部４４２から供給された相関情報に基いて、相関の最も強い、空間的または時間的に周辺のブロックの位置から、欠落した実世界１の光信号の定常性に対応する、入力画像における、時間方向および空間方向のデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。
【０６５３】
また、データ定常性検出部１０１は、入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行することができる。
【０６５４】
図１０５は、入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部１０１の構成を示すブロック図である。
【０６５５】
データ定常性検出部４８１−１乃至４８１−３のそれぞれは、上述した、または後述するデータ定常性検出部１０１と同様の構成を有し、入力画像のコンポーネント信号のそれぞれを処理の対象として、上述した、または後述する処理を実行する。
【０６５６】
データ定常性検出部４８１−１は、入力画像の第１のコンポーネント信号を基に、データの定常性を検出し、第１のコンポーネント信号から検出されたデータの定常性を示す情報を決定部４８２に供給する。例えば、データ定常性検出部４８１−１は、入力画像の輝度信号を基に、データの定常性を検出し、輝度信号から検出されたデータの定常性を示す情報を決定部４８２に供給する。
【０６５７】
データ定常性検出部４８１−２は、入力画像の第２のコンポーネント信号を基に、データの定常性を検出し、第２のコンポーネント信号から検出されたデータの定常性を示す情報を決定部４８２に供給する。例えば、データ定常性検出部４８１−２は、入力画像の色差信号であるＩ信号を基に、データの定常性を検出し、Ｉ信号から検出されたデータの定常性を示す情報を決定部４８２に供給する。
【０６５８】
データ定常性検出部４８１−３は、入力画像の第３のコンポーネント信号を基に、データの定常性を検出し、第３のコンポーネント信号から検出されたデータの定常性を示す情報を決定部４８２に供給する。例えば、データ定常性検出部４８１−２は、入力画像の色差信号であるＱ信号を基に、データの定常性を検出し、Ｑ信号から検出されたデータの定常性を示す情報を決定部４８２に供給する。
【０６５９】
決定部４８２は、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号から検出されたデータの定常性を示す情報を基に、入力画像における最終的なデータの定常性を検出して、検出したデータの定常性を示すデータ定常性情報を出力する。
【０６６０】
例えば、決定部４８２は、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号から検出されたデータの定常性のうち、最大のデータの定常性を最終的なデータの定常性とする。また、例えば、決定部４８２は、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号から検出されたデータの定常性のうち、最小のデータの定常性を最終的なデータの定常性とする。
【０６６１】
さらに、例えば、決定部４８２は、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号から検出されたデータの定常性の平均値を最終的なデータの定常性とする。決定部４８２は、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号から検出されたデータの定常性のメディアン（中央値）を最終的なデータの定常性とするようにしてもよい。
【０６６２】
また、例えば、決定部４８２は、外部から入力された信号を基に、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号から検出されたデータの定常性のうち、外部から入力された信号で指定されるデータの定常性を最終的なデータの定常性とする。決定部４８２は、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号から検出されたデータの定常性のうち、予め定めたデータの定常性を最終的なデータの定常性とするようにしてもよい。
【０６６３】
なお、決定部４８２は、データ定常性検出部４８１−１乃至４８１−３から供給された、各コンポーネント信号のデータの定常性の検出の処理で求めた誤差を基に、最終的なデータの定常性を決定するようにしてもよい。データの定常性の検出の処理で求められる誤差については、後述する。
【０６６４】
図１０６は、入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部１０１の他の構成を示す図である。
【０６６５】
コンポーネント処理部４９１は、入力画像のコンポーネント信号を基に、１つの信号を生成し、データ定常性検出部４９２に供給する。例えば、コンポーネント処理部４９１は、入力画像の各コンポーネント信号における値を、画面上で同じ位置の画素について、加算することにより、コンポーネント信号の値の和からなる信号を生成する。
【０６６６】
例えば、コンポーネント処理部４９１は、入力画像の各コンポーネント信号における画素値を、画面上で同じ位置の画素について、平均することにより、コンポーネント信号の画素値の平均値からなる信号を生成する。
【０６６７】
データ定常性検出部４９２は、コンポーネント処理部４９１から供給された、信号を基に、入力画像における、データの定常性を検出し、検出したデータの定常性を示すデータ定常性情報を出力する。
【０６６８】
データ定常性検出部４９２は、上述した、または後述するデータ定常性検出部１０１と同様の構成を有し、コンポーネント処理部４９１から供給された信号を対象として、上述した、または後述する処理を実行する。
【０６６９】
このように、データ定常性検出部１０１は、コンポーネント信号を基に、入力画像のデータの定常性を検出することにより、入力画像にノイズなどが含まれていても、より正確に、データの定常性を検出することができる。例えば、データ定常性検出部１０１は、コンポーネント信号を基に、入力画像のデータの定常性を検出することにより、より正確に、データの定常性の角度（傾き）、混合比、またはデータの定常性を有する領域を検出することができる。
【０６７０】
なお、コンポーネント信号は、輝度信号および色差信号に限らず、ＲＧＢ信号、またはＹＵＶ信号など他の方式のコンポーネント信号であっても良い。
【０６７１】
以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの、欠落した現実世界の光信号の定常性に対応するデータの定常性の、基準軸に対する角度を検出し、検出された角度に基づいて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【０６７２】
また、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している注目画素および基準軸を基準とした角度毎に、所定の数の画素からなる画素の組であって、複数の組を抽出し、角度毎に抽出された、複数の組における対応する位置の画素の画素値の相関を検出し、検出された相関に基いて、欠落した現実世界の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出し、検出された画像データにおける基準軸に対するデータの定常性の角度に基づいて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【０６７３】
図１０７は、データ定常性検出部１０１のさらに他の構成を示すブロック図である。
【０６７４】
図１０７に示されるデータ定常性検出部１０１においては、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している画素である注目画素に対応する領域が選択され、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数が設定されることにより、領域に属する画素の度数が検出され、検出された度数に基いて回帰線を検出することにより、欠落した現実世界の光信号の定常性に対応する、画像データのデータの定常性が検出される。
【０６７５】
フレームメモリ５０１は、入力画像をフレーム単位で記憶し、記憶されているフレームを構成する画素の画素値を画素取得部５０２に供給する。フレームメモリ５０１は、１つのページに入力画像の現在のフレームを記憶し、他のページに記憶している、現在のフレームに対して１つ前（過去）のフレームの画素の画素値を画素取得部５０２に供給し、入力画像のフレームの切り換えの時刻において、ページを切り換えることにより、画素取得部５０２に、動画である入力画像のフレームの画素の画素値を供給することができる。
【０６７６】
画素取得部５０２は、フレームメモリ５０１から供給された画素の画素値を基に、注目している画素である注目画素を選択し、選択された注目画素に対応する、所定の数の画素からなる領域を選択する。例えば、画素取得部５０２は、注目画素を中心とする５×５画素からなる領域を選択する。
【０６７７】
画素取得部５０２が選択する領域の大きさは、本発明を限定するものではない。
【０６７８】
画素取得部５０２は、選択した領域の画素の画素値を取得して、選択した領域の画素の画素値を度数検出部５０３に供給する。
【０６７９】
度数検出部５０３は、画素取得部５０２から供給された、選択された領域の画素の画素値を基に、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出する。度数検出部５０３における、相関値に基づく度数の設定の処理の詳細は、後述する。
【０６８０】
度数検出部５０３は、検出した度数を回帰直線演算部５０４に供給する。
【０６８１】
回帰直線演算部５０４は、度数検出部５０３から供給された度数に基づいて、回帰線を演算する。例えば、回帰直線演算部５０４は、度数検出部５０３から供給された度数に基づいて、回帰直線を演算する。また、例えば、回帰直線演算部５０４は、度数検出部５０３から供給された度数に基づいて、所定の曲線である回帰線を演算する。回帰直線演算部５０４は、演算された回帰線および演算の結果を示す演算結果パラメータを角度算出部５０５に供給する。演算パラメータが示す演算の結果には、後述する変動および共変動などが含まれる。
【０６８２】
角度算出部５０５は、回帰直線演算部５０４から供給された演算結果パラメータで示される、回帰線に基づいて、欠落した現実世界の光信号の定常性に対応する、画像データである入力画像のデータの定常性を検出する。例えば、角度算出部５０５は、回帰直線演算部５０４から供給された演算結果パラメータで示される、回帰直線に基づいて、欠落した実世界１の光信号の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。角度算出部５０５は、力画像における、基準軸を基準としたデータの定常性の角度を示すデータ定常性情報を出力する。
【０６８３】
図１０８乃至図１１０を参照して、入力画像における、基準軸を基準としたデータの定常性の角度について説明する。
【０６８４】
図１０８において、丸は、１つの画素を示し、２重丸は、注目画素を示す。丸の色は、画素の画素値の概略を示し、より明るい色は、より大きい画素値を示す。例えば、黒は、３０である画素値を示し、白は、１２０である画素値を示す。
【０６８５】
図１０８で示される画素からなる画像を人間が見た場合、画像を見た人間は、斜め右上方向に直線が伸びていると認識することができる。
【０６８６】
図１０７に構成を示すデータ定常性検出部１０１は、図１０８で示される画素からなる入力画像を入力したとき、斜め右上方向に直線が伸びていることを検出する。
【０６８７】
図１０９は、図１０８で示される画素の画素値を数値で表した図である。丸は、１つの画素を示し、丸の中の数値は、画素値を示す。
【０６８８】
例えば、注目画素の画素値は、１２０であり、注目画素の上側の画素の画素値は、１００であり、注目画素の下側の画素の画素値は、１００である。また、注目画素の左側の画素の画素値は、８０であり、注目画素の右側の画素の画素値は、８０である。同様に、注目画素の左下側の画素の画素値は、１００であり、注目画素の右上側の画素の画素値は、１００である。注目画素の左上側の画素の画素値は、３０であり、注目画素の右下側の画素の画素値は、３０である。
【０６８９】
図１０７に構成を示すデータ定常性検出部１０１は、図１０９で示される入力画像に対して、図１１０で示されるように、回帰直線Ａを引く。
【０６９０】
図１１１は、入力画像における、画素の空間方向の位置に対する、画素値の変化と、回帰直線Ａとの関係を示す図である。データの定常性を有する領域における画素の画素値は、例えば、図１１１に示すように、山脈状に変化している。
【０６９１】
図１０７に構成を示すデータ定常性検出部１０１は、データの定常性を有する領域における画素の画素値を重みとして、最小自乗法により回帰直線Ａを引く。データ定常性検出部１０１により求められた回帰直線Ａは、注目画素の周辺におけるデータの定常性を表現している。
【０６９２】
入力画像における、基準軸を基準としたデータの定常性の角度は、図１１２で示されるように、回帰直線Ａと、例えば、基準軸である空間方向Ｘを示す軸との角度θを求めることにより、検出される。
【０６９３】
次に、図１０７に構成を示すデータ定常性検出部１０１における、回帰直線の具体的な算出方法について説明する。
【０６９４】
度数検出部５０３は、例えば、画素取得部５０２から供給された、注目画素を中心とする、空間方向Ｘに９画素、空間方向Ｙに５画素、計４５画素からなる領域の画素の画素値から、領域に属する画素の座標に対応する度数を検出する。
【０６９５】
例えば、度数検出部５０３は、式（３２）で示される演算により、度数を算出することにより、領域に属する、座標（ｘｉ，ｙｊ）の度数Ｌｉ，ｊを検出する。
【０６９６】
【数２３】
2004246524.tif 000048
2004246524.tif 000049
【０６９７】
式（３２）において、Ｐ０，０は、注目画素の画素値を示し、Ｐｉ，ｊは、座標（ｘｉ，ｙｊ）の画素の画素値を示す。Ｔｈは、閾値を示す。
【０６９８】
ｉは、領域内における、空間方向Ｘの画素の順番を示し、１≦ｉ≦ｋである。ｊは、領域内における、空間方向Ｙの画素の順番を示し、１≦ｊ≦ｌである。
【０６９９】
ｋは、領域における、空間方向Ｘの画素の数を示し、ｌは、領域における、空間方向Ｙの画素の数を示す。例えば、領域が、空間方向Ｘに９画素、空間方向Ｙに５画素、計４５画素からなるとき、Ｋは、９であり、ｌは、５である。
【０７００】
図１１３は、画素取得部５０２において取得される領域の例を示す図である。図１１３において、点線の四角は、１つの画素を示す。
【０７０１】
例えば、図１１３で示されるように、領域が、空間方向Ｘについて、注目画素を中心とした９画素、空間方向Ｙについて、注目画素を中心とした５画素からなり、注目画素の座標（ｘ，ｙ）が（０，０）であるとき、領域の左上の画素の座標（ｘ，ｙ）は、（−４，２）であり、領域の右上の画素の座標（ｘ，ｙ）は、（４，２）であり、領域の左下の画素の座標（ｘ，ｙ）は、（−４，−２）であり、領域の右下の画素の座標（ｘ，ｙ）は、（４，−２）である。
【０７０２】
領域の左側の画素の、空間方向Ｘにおける、画素の順番ｉは、１であり、領域の右側の画素の、空間方向Ｘにおける、画素の順番ｉは、９である。領域の下側の画素の、空間方向Ｙにおける、画素の順番ｊは、１であり、領域の上側の画素の、空間方向Ｙにおける、画素の順番ｊは、５である。
【０７０３】
すなわち、注目画素の座標（ｘ５，ｙ３）を（０，０）としたとき、領域の左上の画素の座標（ｘ１，ｙ５）は、（−４，２）であり、領域の右上の画素の座標（ｘ９，ｙ５）は、（４，２）であり、領域の左下の画素の座標（ｘ１，ｙ１）は、（−４，−２）であり、領域の右下の画素の座標（ｘ９，ｙ１）は、（４，−２）である。
【０７０４】
度数検出部５０３は、式（３２）において、相関値として、注目画素の画素値と、領域に属する画素の画素値との差分の絶対値を算出するので、実世界１の細線の画像が射影された、入力画像における、データの定常性を有する領域のみならず、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像が射影された、入力画像における、２値エッジのデータの定常性を有する領域における、画素値の空間的な変化の特徴を示す度数を検出することができる。
【０７０５】
なお、度数検出部５０３は、画素の画素値との差分の絶対値に限らず、相関係数など他の相関値を基に、度数を検出するようにしてもよい。
【０７０６】
また、式（３２）において、指数関数を適用しているのは、画素値の差に対して、度数に大きく差をつけるためであり、他の関数を適用するようにしてもよい。
【０７０７】
閾値Ｔｈは、任意の値とすることができる。例えば、閾値Ｔｈは、３０とすることができる。
【０７０８】
このように、度数検出部５０３は、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出する。
【０７０９】
また、例えば、度数検出部５０３は、式（３３）で示される演算により、度数を算出することにより、領域に属する、座標（ｘｉ，ｙｊ）の度数Ｌｉ，ｊを検出する。
【０７１０】
【数２４】
2004246524.tif 000050
2004246524.tif 000051
【０７１１】
座標（ｘｉ，ｙｊ）における度数をＬｉ，ｊ（１≦ｉ≦ｋ，１≦ｊ≦ｌ）としたとき、座標ｘｉにおける、空間方向Ｙの度数Ｌｉ，ｊの和ｑｉは、式（３４）で表され、座標ｙｊにおける、空間方向Ｘの度数Ｌｉ，ｊの和ｈｊは、式（３５）で表される。
【０７１２】
【数２５】
2004246524.tif 000052
2004246524.tif 000053
【０７１３】
【数２６】
2004246524.tif 000054
2004246524.tif 000055
【０７１４】
度数の総和ｕは、式（３６）で表される。
【０７１５】
【数２７】
2004246524.tif 000056
2004246524.tif 000057
【０７１６】
図１１３で示される例において、注目画素の座標の度数Ｌ５，３は、３であり、注目画素の上側の画素の座標の度数Ｌ５，４は、１であり、注目画素の右上側の画素の座標の度数Ｌ６，４は、４であり、注目画素に対して、２画素上側であって、１画素右側の画素の座標の度数Ｌ６，５は、２であり、注目画素に対して、２画素上側であって、２画素右側の画素の座標の度数Ｌ７，５は、３である。また、注目画素の下側の画素の座標の度数Ｌ５，２は、２であり、注目画素の左側の画素の座標の度数Ｌ４，３は、１であり、注目画素の左下側の画素の座標の度数Ｌ４，２は、３であり、注目画素に対して、１画素下側であって、２画素左側の画素の座標の度数Ｌ３，２は、２であり、注目画素に対して、２画素下側であって、２画素左側の画素の座標の度数Ｌ３，１は、４である。図１１３で示される領域の他の画素の座標の度数は、０であり、図１１３において、０である度数の記載は省略する。
【０７１７】
図１１３で示される領域において、空間方向Ｙの度数の和ｑ１は、ｉが１である度数Ｌが全て０なので、０であり、ｑ２は、ｉが２である度数Ｌが全て０なので、０である。ｑ３は、度数Ｌ３，２が２であり、度数Ｌ３，１が４なので、６である。同様に、ｑ４は、４であり、ｑ５は、６であり、ｑ６は、６であり、ｑ７は、３であり、ｑ８は、０であり、ｑ９は、０である。
【０７１８】
図１１３で示される領域において、空間方向Ｘの度数の和ｈ１は、度数Ｌ３，１が４なので、４である。ｈ２は、度数Ｌ３，２が２であり、度数Ｌ４，２が３であり、度数Ｌ５，２が２なので、７である。同様に、ｈ３は、４であり、ｈ４は、５であり、ｈ５は、５である。
【０７１９】
図１１３で示される領域において、度数の総和ｕは、２５である。
【０７２０】
空間方向Ｙの度数Ｌｉ，ｊの和ｑｉに、座標ｘｉを乗じた結果を加算した和Ｔｘは、式（３７）で表される。
【０７２１】
【数２８】
2004246524.tif 000058
2004246524.tif 000059
【０７２２】
空間方向Ｘの度数Ｌｉ，ｊの和ｈｊに、座標ｙｊを乗じた結果を加算した和Ｔｙは、式（３７）で表される。
【０７２３】
【数２９】
2004246524.tif 000060
2004246524.tif 000061
【０７２４】
例えば、図１１３で示される領域において、ｑ１が０であり、ｘ１が−４なので、ｑ１ｘ１は０であり、ｑ２が０であり、ｘ２が−３なので、ｑ２ｘ２は０である。同様に、ｑ３が６であり、ｘ３が−２なので、ｑ３ｘ３は−１２であり、ｑ４が４であり、ｘ４が−１なので、ｑ４ｘ４は、−４であり、ｑ５が６であり、ｘ５が０なので、ｑ５ｘ５は０である。同様に、ｑ６が６であり、ｘ６が１なので、ｑ６ｘ６は６であり、ｑ７が３であり、ｘ７が２なので、ｑ７ｘ７は６であり、ｑ８が０であり、ｘ８が３なので、ｑ８ｘ８は０であり、ｑ９が０であり、ｘ９が４なので、ｑ９ｘ９は０である。従って、ｑ１ｘ１乃至ｑ９ｘ９の和であるＴｘは、−４である。
【０７２５】
例えば、図１１３で示される領域において、ｈ１が４であり、ｙ１が−２なので、ｈ１ｙ１は−８であり、ｈ２が７であり、ｙ２が−１なので、ｈ２ｙ２は−７である。同様に、ｈ３が４であり、ｙ３が０なので、ｈ３ｙ３は０であり、ｈ４が５であり、ｙ４が１なので、ｈ４ｙ４は、５であり、ｈ５が５であり、ｙ５が２なので、ｈ５ｙ５は１０である。従って、ｈ１ｙ１乃至ｈ５ｙ５の和であるＴｙは、０である。
【０７２６】
また、Ｑｉを以下のように定義する。
【０７２７】
【数３０】
2004246524.tif 000062
2004246524.tif 000063
【０７２８】
ｘの変動Ｓｘは、式（４０）で表される。
【０７２９】
【数３１】
2004246524.tif 000064
2004246524.tif 000065
【０７３０】
ｙの変動Ｓｙは、式（４１）で表される。
【０７３１】
【数３２】
2004246524.tif 000066
2004246524.tif 000067
【０７３２】
共変動Ｓｘｙは、式（４２）で表される。
【０７３３】
【数３３】
2004246524.tif 000068
2004246524.tif 000069
【０７３４】
式（４３）に示す１次の回帰直線を求めることを考える。
【０７３５】
ｙ＝ａｘ＋ｂ                                              ・・・（４３）
【０７３６】
傾きａおよび切片ｂは、最小自乗法により、以下のように求めることができる。
【０７３７】
【数３４】
2004246524.tif 000070
2004246524.tif 000071
【０７３８】
【数３５】
2004246524.tif 000072
2004246524.tif 000073
【０７３９】
ただし、正しい回帰直線を求めるための必要条件は、度数Ｌｉ，ｊが、回帰直線に対して、ガウス分布状に、分布していることである。逆に言えば、度数検出部５０３は、度数Ｌｉ，ｊがガウス分布するように、領域の画素の画素値を度数Ｌｉ，ｊに変換する必要がある。
【０７４０】
回帰直線演算部５０４は、式（４４）および式（４５）で示される演算を実行して、回帰直線を求める。
【０７４１】
角度算出部５０５は、式（４６）に示す演算により、回帰直線の傾きａを、基準軸である空間方向Ｘの軸に対する角度θに変換する。
【０７４２】
θ＝ｔａｎ−１（ａ）                                      ・・・（４６）
【０７４３】
なお、回帰直線演算部５０４が所定の曲線である回帰線を演算する場合、角度算出部５０５は、基準軸に対する、注目画素の位置における回帰線の角度θを求める。
【０７４４】
ここで、画素毎にデータの定常性を検出するためには、切片ｂは、不要である。そこで、式（４７）に示す１次の回帰直線を求めることを考える。
【０７４５】
ｙ＝ａｘ                                                ・・・（４７）
【０７４６】
この場合、回帰直線演算部５０４は、最小自乗法により、傾きａを式（４８）で求めることができる。
【０７４７】
【数３６】
2004246524.tif 000074
2004246524.tif 000075
【０７４８】
図１１４のフローチャートを参照して、ステップＳ１０１の処理に対応する、図１０７で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の処理を説明する。
【０７４９】
ステップＳ５０１において、画素取得部５０２は、まだ注目画素とされていない画素の中から注目画素を選択する。例えば、画素取得部５０２は、ラスタスキャン順に、注目画素を選択する。ステップＳ５０２において、画素取得部５０２は、注目画素を中心とする領域に含まれる画素の画素値を取得し、取得した画素の画素値を度数検出部５０３に供給する。例えば、画素取得部５０２は、注目画素を中心とした、９×５画素からなる領域を選択し、領域に含まれる画素の画素値を取得する。
【０７５０】
ステップＳ５０３において、度数検出部５０３は、領域に含まれる画素の画素値を度数に変換することにより、度数を検出する。例えば、度数検出部５０３は、式（３２）に示される演算により、画素値を度数Ｌｉ，ｊに変換する。この場合において、度数Ｌｉ，ｊがガウス分布するように、領域の画素の画素値が度数Ｌｉ，ｊに変換される。度数検出部５０３は、変換された度数を回帰直線演算部５０４に供給する。
【０７５１】
ステップＳ５０４において、回帰直線演算部５０４は、度数検出部５０３から供給された度数を基に、回帰線を求める。例えば、回帰直線演算部５０４は、度数検出部５０３から供給された度数を基に、回帰直線を求める。より具体的には、回帰直線演算部５０４は、式（４４）および式（４５）で示される演算を実行して、回帰直線を求める。回帰直線演算部５０４は、算出された結果である回帰直線を示す演算結果パラメータを角度算出部５０５に供給する。
【０７５２】
ステップＳ５０５において、角度算出部５０５は、基準軸に対する回帰直線の角度を算出することにより、欠落した現実世界の光信号の定常性に対応する、画像データのデータの定常性を検出する。例えば、角度算出部５０５は、式（４６）に示す演算により、回帰直線の傾きａを、基準軸である空間方向Ｘの軸に対する角度θに変換する。角度算出部５０５は、基準軸に対する回帰直線の角度を示すデータ定常性情報を出力する。
【０７５３】
なお、角度算出部５０５は、傾きａを示すデータ定常性情報を出力するようにしてもよい。
【０７５４】
ステップＳ５０６において、画素取得部５０２は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステップＳ５０１に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。
【０７５５】
ステップＳ５０６において、全ての画素の処理を終了したと判定された場合、処理は終了する。
【０７５６】
このように、図１０７に構成を示すデータ定常性検出部１０１は、欠落した実世界１の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出することができる。
【０７５７】
特に、図１０７に構成を示すデータ定常性検出部１０１は、比較的狭い領域の画素の画素値を基に、画素以下の角度を求めることができる。
【０７５８】
以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している画素である注目画素に対応する領域を選択し、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出し、検出された度数に基いて回帰線を検出することにより、欠落した現実世界の光信号の定常性に対応する、画像データのデータの定常性を検出し、検出された画像データのデータの定常性に基いて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【０７５９】
なお、図１０７に構成を示すデータ定常性検出部１０１は、注目画素の属する注目フレームと、注目フレームの時間的に前後のフレームについて、所定の領域に属する画素の画素値を度数に変換し、度数を基に、回帰平面を求めるようにすれば、空間方向のデータの定常性の角度と共に、時間方向のデータの定常性の角度を検出することができる。
【０７６０】
図１１５は、データ定常性検出部１０１のさらに他の構成を示すブロック図である。
【０７６１】
図１１５に示されるデータ定常性検出部１０１においては、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している画素である注目画素に対応する領域が選択され、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数が設定されることにより、領域に属する画素の度数が検出され、検出された度数に基いて回帰線を検出することにより、欠落した現実世界の光信号の定常性に対応する、画像データにおけるデータの定常性を有する領域を検出する。
【０７６２】
フレームメモリ６０１は、入力画像をフレーム単位で記憶し、記憶されているフレームを構成する画素の画素値を画素取得部６０２に供給する。フレームメモリ６０１は、１つのページに入力画像の現在のフレームを記憶し、他のページに記憶している、現在のフレームに対して１つ前（過去）のフレームの画素の画素値を画素取得部６０２に供給し、入力画像のフレームの切り換えの時刻において、ページを切り換えることにより、画素取得部６０２に、動画である入力画像のフレームの画素の画素値を供給することができる。
【０７６３】
画素取得部６０２は、フレームメモリ６０１から供給された画素の画素値を基に、注目している画素である注目画素を選択し、選択された注目画素に対応する、所定の数の画素からなる領域を選択する。例えば、画素取得部６０２は、注目画素を中心とする５×５画素からなる領域を選択する。
【０７６４】
画素取得部６０２が選択する領域の大きさは、本発明を限定するものではない。
【０７６５】
画素取得部６０２は、選択した領域の画素の画素値を取得して、選択した領域の画素の画素値を度数検出部６０３に供給する。
【０７６６】
度数検出部６０３は、画素取得部６０２から供給された、選択された領域の画素の画素値を基に、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出する。度数検出部６０３における、相関値に基づく度数の設定の処理の詳細は、後述する。
【０７６７】
度数検出部６０３は、検出した度数を回帰直線演算部６０４に供給する。
【０７６８】
回帰直線演算部６０４は、度数検出部６０３から供給された度数に基づいて、回帰線を演算する。例えば、回帰直線演算部６０４は、度数検出部６０３から供給された度数に基づいて、回帰直線を演算する。また、例えば、回帰直線演算部６０４は、度数検出部６０３から供給された度数に基づいて、所定の曲線である回帰線を演算する。回帰直線演算部６０４は、演算された回帰線および演算の結果を示す演算結果パラメータを領域算出部６０５に供給する。演算パラメータが示す演算の結果には、後述する変動および共変動などが含まれる。
【０７６９】
領域算出部６０５は、回帰直線演算部６０４から供給された演算結果パラメータで示される、回帰線に基づいて、欠落した現実世界の光信号の定常性に対応する、画像データである入力画像においてデータの定常性を有する領域を検出する。
【０７７０】
図１１６は、入力画像における、画素の空間方向の位置に対する、画素値の変化と、回帰直線Ａとの関係を示す図である。データの定常性を有する領域における画素の画素値は、例えば、図１１６に示すように、山脈状に変化している。
【０７７１】
図１１５に構成を示すデータ定常性検出部１０１は、データの定常性を有する領域における画素の画素値を重みとして、最小自乗法により回帰直線Ａを引く。データ定常性検出部１０１により求められた回帰直線Ａは、注目画素の周辺におけるデータの定常性を表現している。
【０７７２】
回帰直線を引くということは、ガウス関数を前提とした近似を意味する。図１１７に示すように、図１１５に構成を示すデータ定常性検出部１０１は、例えば、標準偏差を求めることで、細線の画像が射影された、データ３における領域の、おおよその幅を知ることができる。また、例えば、図１１５に構成を示すデータ定常性検出部１０１は、相関係数を基に、細線の画像が射影された、データ３における領域の、おおよその幅を知ることができる。
【０７７３】
次に、図１１５に構成を示すデータ定常性検出部１０１における、回帰直線の具体的な算出方法について説明する。
【０７７４】
度数検出部６０３は、例えば、画素取得部６０２から供給された、注目画素を中心とする、空間方向Ｘに９画素、空間方向Ｙに５画素、計４５画素からなる領域の画素の画素値から、領域に属する画素の座標に対応する度数を検出する。
【０７７５】
例えば、度数検出部６０３は、式（４９）で示される演算により、度数を算出することにより、領域に属する、座標（ｘｉ，ｙｊ）の度数Ｌｉ，ｊを検出する。
【０７７６】
【数３７】
2004246524.tif 000076
2004246524.tif 000077
【０７７７】
式（４９）において、Ｐ０，０は、注目画素の画素値を示し、Ｐｉ，ｊは、座標（ｘｉ，ｙｊ）の画素の画素値を示す。Ｔｈは、閾値を示す。
【０７７８】
ｉは、領域内における、空間方向Ｘの画素の順番を示し、１≦ｉ≦ｋである。ｊは、領域内における、空間方向Ｙの画素の順番を示し、１≦ｊ≦ｌである。
【０７７９】
ｋは、領域における、空間方向Ｘの画素の数を示し、ｌは、領域における、空間方向Ｙの画素の数を示す。例えば、領域が、空間方向Ｘに９画素、空間方向Ｙに５画素、計４５画素からなるとき、Ｋは、９であり、ｌは、５である。
【０７８０】
図１１８は、画素取得部６０２において取得される領域の例を示す図である。図１１８において、点線の四角は、１つの画素を示す。
【０７８１】
例えば、図１１８で示されるように、領域が、空間方向Ｘについて、注目画素を中心とした９画素、空間方向Ｙについて、注目画素を中心とした５画素からなり、注目画素の座標（ｘ，ｙ）が（０，０）であるとき、領域の左上の画素の座標（ｘ，ｙ）は、（−４，２）であり、領域の右上の画素の座標（ｘ，ｙ）は、（４，２）であり、領域の左下の画素の座標（ｘ，ｙ）は、（−４，−２）であり、領域の右下の画素の座標（ｘ，ｙ）は、（４，−２）である。
【０７８２】
領域の左側の画素の、空間方向Ｘにおける、画素の順番ｉは、１であり、領域の右側の画素の、空間方向Ｘにおける、画素の順番ｉは、９である。領域の下側の画素の、空間方向Ｙにおける、画素の順番ｊは、１であり、領域の上側の画素の、空間方向Ｙにおける、画素の順番ｊは、５である。
【０７８３】
すなわち、注目画素の座標（ｘ５，ｙ３）を（０，０）としたとき、領域の左上の画素の座標（ｘ１，ｙ５）は、（−４，２）であり、領域の右上の画素の座標（ｘ９，ｙ５）は、（４，２）であり、領域の左下の画素の座標（ｘ１，ｙ１）は、（−４，−２）であり、領域の右下の画素の座標（ｘ９，ｙ１）は、（４，−２）である。
【０７８４】
度数検出部６０３は、式（４９）において、相関値として、注目画素の画素値と、領域に属する画素の画素値との差分の絶対値を算出するので、実世界１の細線の画像が射影された、入力画像における、データの定常性を有する領域のみならず、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像が射影された、入力画像における、２値エッジのデータの定常性を有する領域における、画素値の空間的な変化の特徴を示す度数を検出することができる。
【０７８５】
なお、度数検出部６０３は、画素の画素値との差分の絶対値に限らず、相関係数など他の相関値を基に、度数を検出するようにしてもよい。
【０７８６】
また、式（４９）において、指数関数を適用しているのは、画素値の差に対して、度数に大きく差をつけるためであり、他の関数を適用するようにしてもよい。
【０７８７】
閾値Ｔｈは、任意の値とすることができる。例えば、閾値Ｔｈは、３０とすることができる。
【０７８８】
このように、度数検出部６０３は、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出する。
【０７８９】
また、例えば、度数検出部６０３は、式（５０）で示される演算により、度数を算出することにより、領域に属する、座標（ｘｉ，ｙｊ）の度数Ｌｉ，ｊを検出する。
【０７９０】
【数３８】
2004246524.tif 000078
2004246524.tif 000079
【０７９１】
座標（ｘｉ，ｙｊ）における度数をＬｉ，ｊ（１≦ｉ≦ｋ，１≦ｊ≦ｌ）としたとき、座標ｘｉにおける、空間方向Ｙの度数Ｌｉ，ｊの和ｑｉは、式（５１）で表され、座標ｙｊにおける、空間方向Ｘの度数Ｌｉ，ｊの和ｈｊは、式（５２）で表される。
【０７９２】
【数３９】
2004246524.tif 000080
2004246524.tif 000081
【０７９３】
【数４０】
2004246524.tif 000082
2004246524.tif 000083
【０７９４】
度数の総和ｕは、式（５３）で表される。
【０７９５】
【数４１】
2004246524.tif 000084
2004246524.tif 000085
【０７９６】
図１１８で示される例において、注目画素の座標の度数Ｌ５，３は、３であり、注目画素の上側の画素の座標の度数Ｌ５，４は、１であり、注目画素の右上側の画素の座標の度数Ｌ６，４は、４であり、注目画素に対して、２画素上側であって、１画素右側の画素の座標の度数Ｌ６，５は、２であり、注目画素に対して、２画素上側であって、２画素右側の画素の座標の度数Ｌ７，５は、３である。また、注目画素の下側の画素の座標の度数Ｌ５，２は、２であり、注目画素の左側の画素の座標の度数Ｌ４，３は、１であり、注目画素の左下側の画素の座標の度数Ｌ４，２は、３であり、注目画素に対して、１画素下側であって、２画素左側の画素の座標の度数Ｌ３，２は、２であり、注目画素に対して、２画素下側であって、２画素左側の画素の座標の度数Ｌ３，１は、４である。図１１８で示される領域の他の画素の座標の度数は、０であり、図１１８において、０である度数の記載は省略する。
【０７９７】
図１１８で示される領域において、空間方向Ｙの度数の和ｑ１は、ｉが１である度数Ｌが全て０なので、０であり、ｑ２は、ｉが２である度数Ｌが全て０なので、０である。ｑ３は、度数Ｌ３，２が２であり、度数Ｌ３，１が４なので、６である。同様に、ｑ４は、４であり、ｑ５は、６であり、ｑ６は、６であり、ｑ７は、３であり、ｑ８は、０であり、ｑ９は、０である。
【０７９８】
図１１８で示される領域において、空間方向Ｘの度数の和ｈ１は、度数Ｌ３，１が４なので、４である。ｈ２は、度数Ｌ３，２が２であり、度数Ｌ４，２が３であり、度数Ｌ５，２が２なので、７である。同様に、ｈ３は、４であり、ｈ４は、５であり、ｈ５は、５である。
【０７９９】
図１１８で示される領域において、度数の総和ｕは、２５である。
【０８００】
空間方向Ｙの度数Ｌｉ，ｊの和ｑｉに、座標ｘｉを乗じた結果を加算した和Ｔｘは、式（５４）で表される。
【０８０１】
【数４２】
2004246524.tif 000086
2004246524.tif 000087
【０８０２】
空間方向Ｘの度数Ｌｉ，ｊの和ｈｊに、座標ｙｊを乗じた結果を加算した和Ｔｙは、式（５５）で表される。
【０８０３】
【数４３】
2004246524.tif 000088
2004246524.tif 000089
【０８０４】
例えば、図１１８で示される領域において、ｑ１が０であり、ｘ１が−４なので、ｑ１ｘ１は０であり、ｑ２が０であり、ｘ２が−３なので、ｑ２ｘ２は０である。同様に、ｑ３が６であり、ｘ３が−２なので、ｑ３ｘ３は−１２であり、ｑ４が４であり、ｘ４が−１なので、ｑ４ｘ４は、−４であり、ｑ５が６であり、ｘ５が０なので、ｑ５ｘ５は０である。同様に、ｑ６が６であり、ｘ６が１なので、ｑ６ｘ６は６であり、ｑ７が３であり、ｘ７が２なので、ｑ７ｘ７は６であり、ｑ８が０であり、ｘ８が３なので、ｑ８ｘ８は０であり、ｑ９が０であり、ｘ９が４なので、ｑ９ｘ９は０である。従って、ｑ１ｘ１乃至ｑ９ｘ９の和であるＴｘは、−４である。
【０８０５】
例えば、図１１８で示される領域において、ｈ１が４であり、ｙ１が−２なので、ｈ１ｙ１は−８であり、ｈ２が７であり、ｙ２が−１なので、ｈ２ｙ２は−７である。同様に、ｈ３が４であり、ｙ３が０なので、ｈ３ｙ３は０であり、ｈ４が５であり、ｙ４が１なので、ｈ４ｙ４は、５であり、ｈ５が５であり、ｙ５が２なので、ｈ５ｙ５は１０である。従って、ｈ１ｙ１乃至ｈ５ｙ５の和であるＴｙは、０である。
【０８０６】
また、Ｑｉを以下のように定義する。
【０８０７】
【数４４】
2004246524.tif 000090
2004246524.tif 000091
【０８０８】
ｘの変動Ｓｘは、式（５７）で表される。
【０８０９】
【数４５】
2004246524.tif 000092
2004246524.tif 000093
【０８１０】
ｙの変動Ｓｙは、式（５８）で表される。
【０８１１】
【数４６】
2004246524.tif 000094
2004246524.tif 000095
【０８１２】
共変動Ｓｘｙは、式（５９）で表される。
【０８１３】
【数４７】
2004246524.tif 000096
2004246524.tif 000097
【０８１４】
式（６０）に示す１次の回帰直線を求めることを考える。
【０８１５】
ｙ＝ａｘ＋ｂ                                            ・・・（６０）
【０８１６】
傾きａおよび切片ｂは、最小自乗法により、以下のように求めることができる。
【０８１７】
【数４８】
2004246524.tif 000098
2004246524.tif 000099
【０８１８】
【数４９】
2004246524.tif 000100
2004246524.tif 000101
【０８１９】
ただし、正しい回帰直線を求めるための必要条件は、度数Ｌｉ，ｊが、回帰直線に対して、ガウス分布状に、分布していることである。逆に言えば、度数検出部６０３は、度数Ｌｉ，ｊがガウス分布するように、領域の画素の画素値を度数Ｌｉ，ｊに変換する必要がある。
【０８２０】
回帰直線演算部６０４は、式（６１）および式（６２）で示される演算を実行して、回帰直線を求める。
【０８２１】
また、画素毎にデータの定常性を検出するためには、切片ｂは、不要である。そこで、式（６３）に示す１次の回帰直線を求めることを考える。
【０８２２】
ｙ＝ａｘ                                              ・・・（６３）
【０８２３】
この場合、回帰直線演算部６０４は、最小自乗法により、傾きａを式（６４）で求めることができる。
【０８２４】
【数５０】
2004246524.tif 000102
2004246524.tif 000103
【０８２５】
データの定常性を有する領域を特定する第１の手法においては、式（６０）に示す回帰直線の推定誤差が利用される。
【０８２６】
ｙの変動Ｓｙ・ｘは、式（６５）で示される演算で求められる。
【０８２７】
【数５１】
2004246524.tif 000104
2004246524.tif 000105
【０８２８】
推定誤差の分散は、変動を用いて、式（６６）で示される演算で求められる。
【０８２９】
【数５２】
2004246524.tif 000106
2004246524.tif 000107
【０８３０】
よって、標準偏差は、以下の式で導出される。
【０８３１】
【数５３】
2004246524.tif 000108
2004246524.tif 000109
【０８３２】
ただし、標準偏差は、細線の画像が射影された領域を対象とする場合、細線の幅に値する量なので、一概に、標準偏差が大きいことをもって、データの定常を有する領域ではないという判断をすることはできない。しかしながら、例えば、クラス分類適応処理が破綻するのは、データの定常を有する領域の中でも、細線の幅が狭い部分なので、クラス分類適応処理が破綻する可能性が大きい領域を検出するために、標準偏差を用いて検出された領域を示す情報を利用することができる。
【０８３３】
領域算出部６０５は、式（６７）で示される演算により、標準偏差を算出して、標準偏差を基に、入力画像における、データの定常性を有する領域を算出する。例えば、領域算出部６０５は、標準偏差に所定の係数を乗じて距離を求め、回帰直線から、求めた距離以内の領域を、データの定常性を有する領域とする。例えば、領域算出部６０５は、回帰直線を中心として、回帰直線から標準偏差以内の距離の領域を、データの定常性を有する領域として算出する。
【０８３４】
第２の手法においては、度数の相関をデータの定常を有する領域の検出に用いる。
【０８３５】
相関係数ｒｘｙは、ｘの変動Ｓｘ、ｙの変動Ｓｙ、および共変動Ｓｘｙを基に、式（６８）で示される演算で求めることができる。
【０８３６】
【数５４】
2004246524.tif 000110
2004246524.tif 000111
【０８３７】
相関には、正の相関と負の相関があるので、領域算出部６０５は、相関係数ｒｘｙの絶対値を求めて、相関係数ｒｘｙの絶対値が１に近いほど、相関が強いと判定する。より具体的には、領域算出部６０５は、閾値と、相関係数ｒｘｙの絶対値とを比較し、相関係数ｒｘｙの絶対値が閾値以上である領域を、データの定常性を有する領域として検出する。
【０８３８】
図１１９のフローチャートを参照して、ステップＳ１０１の処理に対応する、図１１５で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の処理を説明する。
【０８３９】
ステップＳ６０１において、画素取得部６０２は、まだ注目画素とされていない画素の中から注目画素を選択する。例えば、画素取得部６０２は、ラスタスキャン順に、注目画素を選択する。ステップＳ６０２において、画素取得部６０２は、注目画素を中心とする領域に含まれる画素の画素値を取得し、取得した画素の画素値を度数検出部６０３に供給する。例えば、画素取得部６０２は、注目画素を中心とした、９×５画素からなる領域を選択し、領域に含まれる画素の画素値を取得する。
【０８４０】
ステップＳ６０３において、度数検出部６０３は、領域に含まれる画素の画素値を度数に変換することにより、度数を検出する。例えば、度数検出部６０３は、式（４９）で示される演算により、画素値を度数Ｌｉ，ｊに変換する。この場合において、度数Ｌｉ，ｊがガウス分布状に分布するように、領域の画素の画素値が度数Ｌｉ，ｊに変換される。度数検出部６０３は、変換された度数を回帰直線演算部６０４に供給する。
【０８４１】
ステップＳ６０４において、回帰直線演算部６０４は、度数検出部５０３から供給された度数を基に、回帰線を求める。例えば、回帰直線演算部６０４は、度数検出部６０３から供給された度数を基に、回帰直線を求める。より具体的には、回帰直線演算部６０４は、式（６１）および式（６２）で示される演算を実行して、回帰直線を求める。回帰直線演算部６０４は、算出された結果である回帰直線を示す演算結果パラメータを領域算出部６０５に供給する。
【０８４２】
ステップＳ６０５において、領域算出部６０５は、回帰直線についての標準偏差を算出する。例えば、領域算出部６０５は、式（６７）に示す演算により、回帰直線に対する標準偏差を算出する。
【０８４３】
ステップＳ６０６において、領域算出部６０５は、標準偏差から、入力画像における、データの定常性を有する領域を特定する。例えば、領域算出部６０５は、標準偏差に所定の係数を乗じて距離を求め、回帰直線から、求めた距離以内の領域を、データの定常性を有する領域として特定する。
【０８４４】
領域算出部６０５は、データの定常性を有する領域を示すデータ定常性情報を出力する。
【０８４５】
ステップＳ６０７において、画素取得部６０２は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステップＳ６０１に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。
【０８４６】
ステップＳ６０７において、全ての画素の処理を終了したと判定された場合、処理は終了する。
【０８４７】
図１２０のフローチャートを参照して、ステップＳ１０１の処理に対応する、図１１５で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の他の処理を説明する。ステップＳ６２１乃至ステップＳ６２４の処理は、ステップＳ６０１乃至ステップＳ６０４の処理と同様なので、その説明は省略する。
【０８４８】
ステップＳ６２５において、領域算出部６０５は、回帰直線についての相関係数を算出する。例えば、領域算出部６０５は、式（６８）で示される演算により、回帰直線に対する相関係数を算出する。
【０８４９】
ステップＳ６２６において、領域算出部６０５は、相関係数から、入力画像における、データの定常性を有する領域を特定する。例えば、領域算出部６０５は、予め記憶している閾値と相関係数の絶対値とを比較し、相関係数の絶対値が閾値以上である領域を、データの定常性を有する領域として特定する。
【０８５０】
領域算出部６０５は、データの定常性を有する領域を示すデータ定常性情報を出力する。
【０８５１】
ステップＳ６２７の処理は、ステップＳ６０７の処理と同様なので、その説明は省略する。
【０８５２】
このように、図１１５に構成を示すデータ定常性検出部１０１は、欠落した実世界１の光信号の定常性に対応する、画像データにおける、データの定常性を有する領域を検出することができる。
【０８５３】
以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データの注目している画素である注目画素に対応する領域を選択し、注目画素の画素値と、選択された領域に属する画素の画素値との相関値が閾値以上である画素に、相関値に基づく度数を設定することにより、領域に属する画素の度数を検出し、検出された度数に基いて回帰線を検出することにより、欠落した現実世界の光信号の定常性に対応する、画像データにおけるデータの定常性を有する領域を検出し、検出された画像データのデータの定常性に基づいて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【０８５４】
図１２１は、データ定常性検出部１０１のその他の実施の形態の構成を示している。
【０８５５】
図１２１のデータ定常性検出部１０１は、データ選択部７０１、データ足し込み部７０２、および、定常方向導出部７０３より構成される。
【０８５６】
データ選択部７０１は、入力画像の各画素を注目画素として、その注目画素毎に対応する画素の画素値データを選択して、データ足し込み部７０２に出力する。
【０８５７】
データ足し込み部７０２は、データ選択部７０１より入力されたデータに基づいて、最小自乗法における足し込み演算を行い、足し込み演算結果を定常方向導出部７０３に出力する。このデータ足し込み部７０２による足し込み演算とは、後述する最小自乗法の演算に用いるサメーションの項における演算であり、その演算結果は、定常性の角度を検出するための画像データの特徴であると言える。
【０８５８】
定常方向導出部７０３は、データ足し込み部７０２より入力された足し込み演算結果から定常方向、すなわち、データの定常性が有する基準軸からの角度（例えば、細線、または２値エッジなどの傾き、または方向）を演算し、これをデータ定常性情報として出力する。
【０８５９】
次に、図１２２を参照して、データ定常性検出部１０１における定常性（方向、または、角度）を検出する動作の概要について説明する。尚、図１２２，図１２３中、図６，図７における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０８６０】
図１２２で示されるように、実世界１の信号（例えば、画像）は、光学系１４１（例えば、レンズ、またはＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）などからなる）により、センサ２（例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）、または、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）など）の受光面に結像される。センサ２は、例えば、ＣＣＤやＣＭＯＳのような積分特性を有する素子から構成される。このような構成により、センサ２から出力されるデータ３から得られる画像は、実世界１の画像とは異なる画像となる（実世界１の画像とは差が生じることになる）。
【０８６１】
そこで、データ定常性検出部１０１は、図１２３で示されるように、モデル７０５を用いて、実世界１を近似式により近似的に記述して、その近似式からデータ定常性を抽出する。モデル７０５は、例えば、Ｎ個の変数で表現される。より正確には、モデル７０５は、実世界１の信号を近似（記述）する。
【０８６２】
データ定常性検出部１０１は、モデル７０５を予測するために、データ３から、Ｍ個のデータ７０６を抽出する。その結果、モデル７０５は、データの定常性に拘束されることになる。
【０８６３】
すなわち、モデル７０５は、センサ２で取得されたとき、データ３においてデータのデータ定常性を生じさせる、定常性（所定の次元の方向に一定の特徴）を有する実世界１の事象（を示す情報（信号））を近似する。
【０８６４】
ここで、データ７０６の数Ｍが、モデル７０５の変数の数Ｎ以上であれば、Ｍ個のデータ７０６から、Ｎ個の変数で表現されるモデル７０５を予測することができる。
【０８６５】
さらに、データ定常性検出部１０１は、実世界１（の信号）を近似（記述）するモデル７０５を予測することにより、実世界１の情報である信号に含まれるデータ定常性を、例えば、細線や２値エッジの方向（傾き、または、所定の方向を軸としたときの軸とのなす角度）として導出し、データ定常性情報として出力する。
【０８６６】
次に、図１２４を参照して、入力画像より細線の方向（角度）をデータ定常性情報として出力するデータ定常性検出部１０１について説明する。
【０８６７】
データ選択部７０１は、水平・垂直判定部７１１、および、データ取得部７１２から構成されている。水平・垂直判定部７１１は、注目画素とその周辺の画素間の画素値の差分から、入力画像の細線の水平方向に対する角度が、水平方向に近い細線か、垂直方向に近い細線かを判定し、判定結果をデータ取得部７１２、および、データ足し込み部７０２にそれぞれ出力する。
【０８６８】
より詳細には、例えば、この手法という意味で、他の手法でもよい。例えば、簡易１６方位検出手法をここで使用してもよい。図１２５で示されるように、水平・垂直判定部７１１は、注目画素と、その注目画素に隣接する画素間の差分（画素間の画素値の差分）のうち、水平方向の画素間の差分（アクティビティ）の和（ｈｄｉｆｆ）と、垂直方向の画素間の差分（アクティビティ）の和の差分（ｖｄｉｆｆ）を求めて、注目画素が垂直方向に隣接する画素間との差分の和が大きいか、または、水平方向に隣接する画素間との差分の和が大きいかを判定する。ここで、図１２５においては、各マス目が画素を示し、図中の中央の画素が注目画素である。また、図中の点線の矢印で示す画素間の差分が、水平方向の画素間の差分であり、その和がｈｄｉｆｆで示される。さらに、図中の実線の矢印で示す画素間の差分が、垂直方向の画素間の差分であり、その和がｖｄｉｆｆで示される。
【０８６９】
このように求められた水平方向の画素間の画素値の差分和ｈｄｉｆｆと、垂直方向の画素間の画素値の差分和ｖｄｉｆｆに基づいて、水平・垂直判定部７１１は、（ｈｄｉｆｆ−ｖｄｉｆｆ）が正であれば、垂直方向よりも水平方向の画素間の画素値の変化（アクティビティ）が大きいので、図１２６で示されるように、水平方向に対する角度がθ（０度度≦θ≦１８０度度）で示される場合、４５度度＜θ≦１３５度度、すなわち、垂直方向に近い角度の細線に属している画素であると判定し、逆に負であれば垂直方向の画素間の画素値の変化（アクティビティ）が大きいので、０度度≦θ＜４５度度、または、１３５度度＜θ≦１８０度度、すなわち、水平方向に近い角度の細線に属している画素であると判定する（細線が続く方向（角度）に存在する画素は、いずれも細線を表現する画素であるので、その画素間の変化（アクティビティ）は小さくなるはずである）。
【０８７０】
また、水平・垂直判定部７１１は、入力画像の各画素を識別するカウンタ（図示せず）を備えており、適宜必要に応じて使用する。
【０８７１】
尚、図１２５においては、注目画素を中心として、３画素×３画素の範囲における垂直方向と水平方向の画素間の画素値の差分の和を比較して、細線が垂直方向に近いか、または、水平方向に近いかを判定する例について説明したが、それ以上の画素数を用いて同様の手法で細線の方向を判定するようにしてもよく、例えば、注目画素を中心として５画素×５画素や、７画素×７画素など、それ以上の画素数のブロックに基づいて判定するようにしてもよい。
【０８７２】
データ取得部７１２は、水平・垂直判定部７１１より入力された細線の方向の判定結果に基づいて、注目画素に対応する水平方向に並ぶ複数の画素からなるブロック単位、または、垂直方向に並ぶ複数の画素のブロック単位で画素値を読み出し（取得し）、読み出した（取得した）注目画素毎に対応する複数の画素間における、水平・垂直方向判定部７１１の判定結果の方向に隣接する画素間の差分データとともに、所定の画素数のブロックに含まれる画素から、画素値の最大値と最小値のデータをデータ足し込み部７０２に出力する。尚、以下においては、データ取得部７１２により、注目画素に対応して取得される複数の画素のブロックを取得ブロックと称する（取得ブロックは、例えば、後述する図１３９で示される複数の画素（各マス目で示される）のうち、黒線の正方形が示された画素を注目画素とするとき、その上下３画素分と、左右１画素分の合計１５画素などである）。
【０８７３】
データ足し込み部７０２の差分足し込み部７２１は、データ選択部７０１より入力された差分データを検出し、データ選択部７０１の水平・垂直判定部７１１より入力される水平方向、または、垂直方向の判定結果に基づいて、後述する最小自乗法の解法に必要な足し込み処理を実行し、その足し込み結果を定常方向導出部７０３に出力する。より具体的には、複数の画素のうち水平・垂直判定部７１１による判定方向に隣接する画素ｉと画素（ｉ＋１）の画素間の画素値の差分データをｙｉとし、注目画素に対応する取得ブロックがｎ個の画素から構成された場合、差分足し込み部７２１は、水平方向、または、垂直方向毎に（ｙ１）２＋（ｙ２）２＋（ｙ３）２＋・・・を足し込んで演算し、定常方向導出部７０３に出力する。
【０８７４】
ＭａｘＭｉｎ取得部７２２は、データ選択部７０１より入力される注目画素に対応する取得ブロックに含まれる各画素毎に設定されるブロック（以下、ダイナミックレンジブロックと称する（ダイナミックレンジブロックは、後述する図１３９で示される取得ブロックの画素のうち、例えば、画素ｐｉｘ１２について、黒の実線で囲まれている、ダイナミックレンジブロックＢ１で示される、画素ｐｉｘ１２の上下３画素分の合計７画素などである））に含まれる画素の画素値の最大値と最小値を取得すると、その差分からダイナミックレンジＤｒｉ（取得ブロック内のｉ番目の画素に対応する、ダイナミックレンジブロックに含まれる画素の画素値の最大値と最小値の差分）を演算（検出）して、差分足し込み部７２３に出力する。
【０８７５】
差分足し込み部７２３は、ＭａｘＭｉｎ取得部７２２より入力されたダイナミックレンジＤｒｉと、データ選択部７０１より入力された差分データを検出し、検出したダイナミックレンジＤｒｉと差分データに基づいて、データ選択部７０１の水平・垂直判定部７１１より入力される水平方向、または、垂直方向毎に、ダイナミックレンジＤｒｉと差分データｙｉを乗じた値を足し込んで、演算結果を定常方向導出部７０３に出力する。すなわち、差分足し込み部７２３が出力する演算結果は、水平方向、または、垂直方向毎にｙ１×Ｄｒ１＋ｙ２×Ｄｒ２＋ｙ３×Ｄｒ３＋・・・となる。
【０８７６】
定常方向導出部７０３の定常方向演算部７３１は、データ足し込み部７０２より入力されてくる、水平方向、または、垂直方向毎の足し込み演算結果に基づいて、細線の角度（方向）を演算し、演算された角度を定常性情報として出力する。
【０８７７】
ここで、細線の方向（細線の傾き、または、角度）の演算方法について説明する。
【０８７８】
図１２７Ａで示されるような入力画像中の白線により囲まれる部分を拡大すると、細線（図中、右上がりで、かつ斜め方向の白線）は、実際には、図１２７Ｂで示されるように表示されている。すなわち、現実世界においては、図１２７Ｃで示されるように、画像は、細線のレベル（図１２７Ｃ中では濃度の薄い斜線部）と背景レベルの２種類のレベルが境界を形成し、その他のレベルが存在しない状態となる。これに対して、センサ２により撮像された画像、すなわち、画素単位で撮像された画像は、図１２７Ｂで示されるように、その積分効果により背景レベルと細線レベルとが空間的に混合した画素が、その比率（混合比）を一定のパターンで変化するように縦方向に配置された複数の画素からなるブロックが細線方向に繰り返して配置されたような画像となる。尚、図１２７Ｂにおいて、各正方形状のマス目は、ＣＣＤの１画素を示し、各辺の長さをｄ＿ＣＣＤであるものとする。また、マス目は、格子状に塗りつぶされた部分が背景のレベルに相当する画素値の最小値であり、その他の斜線状に塗りつぶされた部分は、斜線の密度が低くなるに連れて画素値が高くなるものとする（従って、斜線のない白色のマス目が画素値の最大値となる）。
【０８７９】
図１２８Ａで示されるように、現実世界の背景上に細線が存在する場合、現実世界の画像は、図１２８Ｂで示されるように、横軸にレベル、縦軸にそのレベルに対応する部分の画像上の面積を示すと、画像中の背景に相当する面積と、細線に相当する部分の面積との、画像上における占有面積の関係が示される。
【０８８０】
同様にして、センサ２で撮像された画像は、図１２９Ａで示されるように、背景レベルの画素の中に、縦に並んだ背景レベルと細線レベルとが混合した画素が、その混合比を所定のパターンで変化させながら縦方向に配置されたブロックが、細線の存在する方向に繰り返して配置されたような画像となるため、図１２９Ｂで示すように、背景のレベルとなる領域（背景領域）と、細線のレベルの中間のレベルをとる、背景と細線が空間的に混合した結果生じる画素からなる空間混合領域が存在する。ここで、図１２９Ｂにおいて縦軸は、画素数であるが、１画素の面積は（ｄ＿ＣＣＤ）２となるため、図１２９Ｂの画素値のレベルと画素数の関係は、画素値のレベルと面積の分布の関係と同様であるといえる。
【０８８１】
これは、図１３０Ａの実際の画像中の白線で囲まれる部分（３１画素×３１画素の画像）においても、図１３０Ｂで示されるように同様の結果が得られる。すなわち、図１３０Ａで示される背景部分（図１３０Ａ中では、黒色に見える部分）は、図１３０Ｂで示されるように、画素値レベルの低い（画素値が２０付近の）画素が多く分布しており、これらの変化の少ない部分が、背景領域の画像を形成する。これに対して、図１３０Ｂの画素値レベルが低くない部分、すなわち、画素値レベルが４０付近乃至１６０付近に分布する画素は、細線の画像を形成する、空間混合領域に属する画素であり、各画素値毎の画素数は少ないが、広い画素値の範囲に分布している。
【０８８２】
ところで、現実世界の画像における背景と細線のそれぞれのレベルは、例えば、図１３１Ａで示される矢印方向（Ｙ座標方向）に見ると、図１３１Ｂで示されるように変化することになる。すなわち、矢印の起点から細線までの背景領域では、比較的レベルの低い背景レベルとなり、細線の領域では、レベルの高い細線のレベルとなり、細線領域を通過して再び背景領域に戻ると、レベルの低い背景のレベルとなる。結果として、細線領域のみが高いレベルとなるパルス状の波形となる。
【０８８３】
これに対して、センサ２で撮像された画像のうち、図１３１Ａ中の矢印の向きに対応する、図１３２Ａの空間方向Ｘ＝Ｘ１上の画素（図１３２Ａにおいては、黒丸で示されている画素）の画素値と、その画素の空間方向Ｙの関係は、図１３２Ｂに示されるようになる。尚、図１３２Ａにおいて、右上がりの２本の白線の間が、現実世界の画像上における細線を示している。
【０８８４】
すなわち、図１３２Ｂで示されるように、図１３２Ａ中の中央の画素に対応する画素が最も高い画素値をとるため、各画素の画素値は、空間方向Ｙの位置が、図中の下部から中央の画素に向かうに連れて高くなり、中央の位置を通過すると、徐々に減少することになる。結果として、図１３２Ｂで示すように、山型の波形が形成される。また、図１３２Ａの空間方向Ｘ＝Ｘ０，Ｘ２に対応する各画素の画素値の変化は、空間方向Ｙのピーク位置が、細線の傾きに応じてずれるものの、同様の外形となる。
【０８８５】
例えば、図１３３Ａで示されるような、実際にセンサ２により撮像された画像における場合においても、図１３３Ｂで示されるように、同様の結果が得られる。すなわち、図１３３Ｂは、図１３３Ａの画像中の白線で囲まれる範囲の細線付近の画素値を所定の空間方向Ｘ（図中では、Ｘ＝５６１，５６２，５６３）毎の、空間方向Ｙに対応した画素値の変化を示している。このように、実際のセンサ２により撮像された画像においても、Ｘ＝５６１においては、Ｙ＝７３０付近で、Ｘ＝５６２においては、Ｙ＝７０５付近で、Ｘ＝５６３においては、Ｙ＝６８５付近で、それぞれピークとなる山型の波形となっている。
【０８８６】
このように、現実世界の画像の細線付近のレベルの変化を示す波形はパルス状の波形となるのに対して、センサ２により撮像された画像の画素値の変化を示す波形は山型の波形となる。
【０８８７】
すなわち、換言すれば、現実世界の画像のレベルは、図１３１Ｂで示されるような波形になるべきところが、センサ２により撮像されることにより、撮像された画像は、図１３２Ｂで示されるように、その変化に歪が生じて、現実世界の画像とは異なる（現実世界の情報が欠落した）波形に変化していると言える。
【０８８８】
そこで、このセンサ２により撮像された画像から、現実世界の画像の定常性情報を取得するため、センサ２より取得された画像のデータから現実世界を近似的に記述するためのモデル（図１２３のモデル７０５に相当する）を設定する。例えば、細線の場合、図１３４で示されるように、現実世界の画像を設定する。すなわち、図中左部の背景部分のレベルをＢ１、図中右側の背景部分のレベルをＢ２、細線部分のレベルをＬ、細線の混合比をα、細線の幅をＷ、細線の水平方向に対する角度をθとしてパラメータを設定し、モデル化して、現実世界を近似的に表現する関数を設定し、各パラメータを求めることにより現実世界を近似的に表現する近似関数を求め、その近似関数から細線の方向（傾き、または、基準軸に対する角度）を求める。
【０８８９】
このとき、背景領域は、左部、および、右部は、同一であるものとして近似することができるので、図１３５で示されるように、統一してＢ（＝Ｂ１＝Ｂ２）とする。また、細線の幅を１画素以上であるものとする。このように設定された現実世界をセンサ２で撮像するとき、撮像された画像は、図１３６Ａで示されるように撮像されることになる。尚、図１３６Ａにおいて、右上がりの２本の白線の間が、現実世界の画像上における細線を示している。
【０８９０】
すなわち、現実世界の細線上の位置に存在する画素は、細線のレベルに最も近いレベルとなり、垂直方向（空間方向Ｙの方向）に対して細線から離れるに従って画素値が減少し、細線領域に接することのない位置に存在する画素の画素値、すなわち、背景領域の画素は、背景レベルの画素値となる。このとき、細線領域と背景領域に跨る位置に存在する画素の画素値は、背景レベルの画素値Ｂと、細線レベルの画素値Ｌが、混合比αで混合された画素値となっている。
【０８９１】
このように、撮像された画像の各画素を注目画素とした場合、データ取得部７１２は、その注目画素に対応する取得ブロックの画素を抽出し、その抽出した取得ブロックを構成する画素毎に、ダイナミックレンジブロックを抽出し、そのダイナミックレンジブロックを構成する画素のうちの最大値となる画素値をとる画素と、最小値となる画素値をとる画素とを抽出する。すなわち、図１３６Ａで示すように、取得ブロック中の所定の画素（図中の１マスの中に黒の実線で正方形が記述された画素ｐｉｘ４）に対応したダイナミックレンジブロックの画素（例えば、図中の黒の実線で囲まれた画素ｐｉｘ１乃至７の７画素））が抽出された場合、その各画素に対応する現実世界の画像は、図１３６Ｂで示されるようになる。
【０８９２】
すなわち、図１３６Ｂで示されるように、画素ｐｉｘ１は、左部の略１／８の面積を占める部分が背景領域となり、右部の略７／８の面積を占める部分が細線領域となる。画素ｐｉｘ２は、略全領域が細線領域となる。画素ｐｉｘ３は、左部の略７／８の面積を占める部分が細線領域となり、右部１／８の面積を占める部分が細線領域となる。画素ｐｉｘ４は、左部の略２／３の面積を占める部分が細線領域となり、右部の略１／３の面積を占める部分が背景領域となる。画素ｐｉｘ５は、左部の略１／３の面積を占める部分が細線領域となり、右部の略２／３の面積を占める部分が背景領域となる。画素ｐｉｘ６は、左部の略１／８の面積を占める部分が細線領域となり、右部の略７／８の面積を占める部分が背景領域となる。さらに、画素ｐｉｘ７は、全体が背景領域となる。
【０８９３】
結果として、図１３６で示されるダイナミックレンジブロックの各画素ｐｉｘ１乃至７の画素値は、細線領域と背景領域の面積の比率に対応した混合比で、背景レベルと細線レベルが混合された画素値となる。すなわち、背景レベル：前景レベルの混合比は、画素ｐｉｘ１が略１：７、画素ｐｉｘ２が略０：１、画素ｐｉｘ３が略１：７、画素ｐｉｘ４が略１：２、画素ｐｉｘ５が略２：１、画素ｐｉｘ６が略７：１、および、画素ｐｉｘ７が略１：０となる。
【０８９４】
従って、抽出されたダイナミックレンジブロックの画素ｐｉｘ１乃至７の各画素の画素値は、画素ｐｉｘ２が最も高く、次いで画素ｐｉｘ１，３が続き、以下画素値が高い順に画素ｐｉｘ４，５，６，７となる。従って、図１３６Ｂで示される場合、最大値は、画素ｐｉｘ２の画素値であり、最小値は、画素ｐｉｘ７の画素値となる。
【０８９５】
また、図１３７Ａで示されるように、細線の方向は、画素値の最大値をとる画素が連続する方向であると言えるので、この最大値をとる画素が配置された方向が細線の方向となる。
【０８９６】
ここで、細線の方向を示す傾きＧｆｌは、空間方向Ｘの単位距離に対する、空間方向Ｙへの変化（距離の変化）の比であるので、図１３７Ａで示されるような場合、図中の空間方向Ｘへの１画素の距離に対する、空間方向Ｙの距離が傾きＧｆｌとなる。
【０８９７】
空間方向Ｘ０乃至Ｘ２の各々の空間方向Ｙに対する画素値の変化は、図１３７Ｂで示されるように、各空間方向Ｘ毎に所定の間隔で山型の波形が繰り返されることになる。上述のように、センサ２により撮像された画像において、細線は、最大値をとる画素が連続する方向であるので、各空間方向Ｘの最大値となる空間方向Ｙの間隔Ｓが、細線の傾きＧｆｌとなる。すなわち、図１３７Ｃで示されるように、水平方向に１画素の距離に対する垂直方向の変化量が傾きＧｆｌとなる。従って、この細線の傾きＧｆｌ（水平方向を基準軸としたときの角度に対応する）は、図１３７Ｃで示すように、その傾きに対応する水平方向を基準軸とした細線の角度をθとして表現する場合、以下の式（６９）で示される関係が成立することになる。
【０８９８】
θ＝Ｔａｎ−１（Ｇｆｌ）（＝Ｔａｎ−１（Ｓ））・・・（６９）
【０８９９】
また、図１３５で示されるようなモデルを設定し、さらに、空間方向Ｙの画素と画素値の関係が、図１３７Ｂで示される山型の波形が、完全な三角波形（立ち上がり、または、立下りが直線的に変化する、二等辺三角形状の波形）であると仮定する場合、図１３８で示すように、所定の注目画素の空間方向Ｘにおける、空間方向Ｙ上に存在する各画素の画素値の最大値をＭａｘ＝Ｌ（ここでは、現実世界の細線のレベルに対応する画素値）、最小値をＭｉｎ＝Ｂ（ここでは、現実世界の背景のレベルに対応する画素値）とするとき、以下の式（７０）で示される関係が成立する。
【０９００】
Ｌ−Ｂ＝Ｇｆｌ×ｄ＿ｙ・・・（７０）
【０９０１】
ここで、ｄ＿ｙは、空間方向Ｙの画素間の画素値の差分を示す。
【０９０２】
すなわち、空間方向の傾きＧｆｌは、大きいほど細線がより垂直なものに近づくため、山型の波形は、底辺の大きな二等辺三角形状の波形となり、逆に、傾きＳが小さいほど底辺の小さな二等辺三角形状の波形となる。この結果、傾きＧｆｌが大きいほど、空間方向Ｙの画素間の画素値の差分ｄ＿ｙは小さく、傾きＳが小さいほど、空間方向Ｙの画素間の画素値の差分ｄ＿ｙは大きくなる。
【０９０３】
そこで、上述の式（７０）の関係が成立する傾きＧｆｌを求めることにより、細線の基準軸に対する角度θを求めることが可能となる。式（７０）は、傾きＧｆｌを変数とする１変数の関数であるため、注目画素について、周辺の画素間の画素値の（垂直方向の）差分ｄ＿ｙ、並びに、最大値、および、最小値の差分（Ｌ−Ｂ）を１組用いれば求めることが可能であるが、上述のように、空間方向Ｙの画素値の変化が完全な三角波形であることを前提とした近似式を用いたものであるので、注目画素に対応する抽出ブロックの各画素についてダイナミックレンジブロックを抽出し、さらに、その最大値と最小値からダイナミックレンジＤｒを求めるとともに、抽出ブロックの各画素毎の空間方向Ｙの画素間の画素値の差分ｄ＿ｙを用いて、最小自乗法により統計的に求める。
【０９０４】
ここで、最小自乗法による統計的な処理の説明にあたり、まず、抽出ブロック、および、ダイナミックレンジブロックについて、詳細を説明する。
【０９０５】
抽出ブロックは、例えば、図１３９で示すように、注目画素（図中の黒の実線で正方形が描かれているマス目の画素）の、空間方向Ｙについて上下３画素分、空間方向Ｘについて、左右１画素分の合計１５画素などでもよい。また、この場合、抽出ブロックの各画素の画素間の画素値の差分ｄ＿ｙは、例えば、画素ｐｉｘ１１に対応する差分がｄ＿ｙ１１で示されるとき、空間方向Ｘ＝Ｘ０の場合、画素ｐｉｘ１１とｐｉｘ１２、ｐｉｘ１２とｐｉｘ１３、ｐｉｘ１３とｐｉｘ１４、ｐｉｘ１５とｐｉｘ１６、ｐｉｘ１６とｐｉｘ１７の画素間の画素値の差分ｄ＿ｙ１１乃至ｄ＿ｙ１６が得られることになる。このとき、空間方向Ｘ＝Ｘ１，Ｘ２についても、同様にして画素間の画素値の差分が得られる。結果として、この場合、画素間の画素値の差分ｄ＿ｙは、１８個存在することになる。
【０９０６】
さらに、抽出ブロックの各画素について、ダイナミックレンジブロックの画素が、例えば、画素ｐｉｘ１１については、水平・垂直判定部７１１の判定結果に基づいて、今の場合、垂直方向であると判定されるので、図１３９で示されるように、画素ｐｉｘ１１を含めて、垂直方向（空間方向Ｙ）の上下方向にそれぞれ３画素分のダイナミックレンジブロックＢ１の範囲の７画素であるものとすると、このダイナミックレンジブロックＢ１の画素の画素値の最大値と最小値を求め、さらに、この最大値と最小値から得られるダイナミックレンジをダイナミックレンジＤｒ１１とする。同様にして、抽出ブロックの画素ｐｉｘ１２については、図１３９中のダイナミックレンジブロックＢ２の７画素から同様にしてダイナミックレンジＤｒ１２を求める。このようにして、抽出ブロック内の１８個の画素間差分ｄ＿ｙｉと、対応するダイナミックレンジＤｒｉとの組み合わせに基づいて、最小自乗法を用いて統計的に傾きＧｆｌが求められる。
【０９０７】
次に、１変数の最小自乗法の解法について説明する。尚、ここでは、水平・垂直判定部７１１の判定結果が垂直方向であったものとする。
【０９０８】
１変数の最小自乗法による解法は、例えば、図１４０で示される黒点で示される全ての実測値に対しての距離を最小とする、予測値Ｄｒｉ＿ｃからなる直線の傾きＧｆｌを求めるものである。そこで、上述の式（７０）で示される関係から以下のような手法により、傾きＳが求められる。
【０９０９】
すなわち、上述の式（７０）は、最大値と最小値の差分をダイナミックレンジＤｒとするとき、以下の式（７１）で示すように記述される。
【０９１０】
Ｄｒ＝Ｇｆｌ×ｄ＿ｙ・・・（７１）
【０９１１】
上述の式（７１）に、抽出ブロックの各画素間についての差分ｄ＿ｙｉを代入することによりダイナミックレンジＤｒｉ＿ｃが求められることになる。従って、各画素について、以下の式（７２）の関係が満たされることになる。
【０９１２】
Ｄｒｉ＿ｃ＝Ｇｆｌ×ｄ＿ｙｉ・・・（７２）
【０９１３】
ここで、差分ｄ＿ｙｉは、各画素ｉの空間方向Ｙの画素間の画素値の差分（例えば、画素ｉに対して、上方向、または、下方向に隣接した画素との画素間の画素値の差分であり、Ｄｒｉ＿ｃは、画素ｉについて式（７０）が成立するときに得られるダイナミックレンジである。
【０９１４】
上述のように、ここでいう最小自乗法は、抽出ブロックの画素ｉのダイナミックレンジＤｒｉ＿ｃと、図１３６を参照して説明した方法で得られる、画素ｉの実測値となるダイナミックレンジＤｒｉ＿ｒとの差分自乗和Ｑが、画像内のすべての画素において最小となるときの傾きＧｆｌを求める方法である。従って、差分自乗和Ｑは以下の式（７３）により求められることになる。
【０９１５】
【数５５】
2004246524.tif 000112
2004246524.tif 000113
【０９１６】
式（７３）で示される差分自乗和Ｑは、２次関数であるので、変数Ｇｆｌ（傾きＧｆｌ）について図１４１で示すような下に凸の曲線となるため、傾きＧｆｌが最小となるＧｆｌｍｉｎが最小自乗法の解となる。
【０９１７】
式（７３）で示される差分自乗和Ｑは、変数Ｇｆｌで微分されると、以下に示す式（７４）で示されるｄＱ／ｄＧｆｌとなる。
【０９１８】
【数５６】
2004246524.tif 000114
2004246524.tif 000115
【０９１９】
式（７４）が、０となるＧｆｌが図１４１で示す差分自乗和Ｑの最小値をとるＧｆｌｍｉｎとなるので、式（７４）が０となるときの式を展開することにより、以下の式（７５）で傾きＧｆｌが求められることになる。
【０９２０】
【数５７】
2004246524.tif 000116
2004246524.tif 000117
【０９２１】
上述の式（７５）は、いわゆる、１変数（傾きＧｆｌ）の正規方程式となる。
【０９２２】
このようにして、得られた傾きＧｆｌを上述の式（６９）に代入することにより、細線の傾きＧｆｌに対応する、水平方向を基準軸としたときの細線の角度θを得ることができる。
【０９２３】
尚、以上の説明においては、注目画素が、水平方向を基準軸としたときの角度θが４５度度≦θ＜１３５度度の範囲となる細線上の画素である場合の例について説明してきたが、例えば、注目画素が、水平方向を基準軸に対する細線の角度θが０度度≦θ＜４５度度、または、１３５度度≦θ＜１０８度度となる、水平方向に近い細線上の画素である場合、画素ｉに隣接する画素間の画素値の差分は、水平方向に隣接する画素間の画素値の差分ｄ＿ｘｉとなり、同様に、画素ｉに対応する複数の画素から画素値の最大値、または、最小値を求める際に、抽出するダイナミックレンジブロックの画素についても、画素ｉに対して水平方向に存在する複数の画素のうちから選択されることになる。この場合の処理については、上述の説明における水平方向と垂直方向の関係が入れ替わるのみであるので、その説明は省略する。
【０９２４】
また、同様の手法により、２値エッジの傾きに対応する角度を求めることも可能である。
【０９２５】
すなわち、図１４２Ａで示されるような入力画像中の白線により囲まれる部分を拡大すると、画像中のエッジ部分（図中、黒地の旗に描かれた「十」という白で描かれた文字の下の部分）（以下、このように、２値のレベルからなる画像上のエッジ部分を２値エッジとも称する）は、実際には、図１４２Ｂで示されるように表示されている。すなわち、現実世界においては、図１４２Ｃで示されるように、画像では、第１のレベル（旗の地のレベル）と、第２のレベル（文字のレベル（図１４２Ｃ中では濃度の薄い斜線部））との２種類のレベルからなる境界が形成されており、その他のレベルが存在しない。これに対して、センサ２により撮像された画像、すなわち、画素単位で撮像された画像は、図１４２Ｂで示されるように、第１のレベルと第２のレベルとが空間的に混合した画素が、その比率（混合比）を一定のパターンで変化するように縦方向に配置された複数の画素からなるブロックがエッジが構成されている方向に繰り返して配置されたような領域を境とした第１のレベルの画素が配置される部分と、第２のレベルの画素が配置される部分とが存在する画像となる。
【０９２６】
すなわち、図１４３Ａで示されるように、空間方向Ｘ＝Ｘ０，Ｘ１，Ｘ２について、それぞれの空間方向Ｙへの画素値の変化は、図１４３Ｂ中では、各画素値は、図中の下から２値エッジ（図１４３Ａ中の右上がりの直線）の境界手前付近までは、所定の最小値の画素値になっているが、２値エッジの境界手前付近で、画素値が徐々に増大し、エッジを越えると図中の点ＰＥにおいて、画素値が所定の最大値となる。より詳細には、空間方向Ｘ＝Ｘ０の変化は、図１４３Ｂで示されるように、画素値の最小値となる点ＰＳを通過した後、徐々に画素値が増大し、画素値の最大値となる点Ｐ０となる。これに対して、空間方向Ｘ＝Ｘ１に対応する各画素の画素値の変化は、空間方向にずれた波形となるため、図１４３Ｂで示されるように、画素値の最小値から徐々に画素値が増大する位置が空間方向Ｙの正方向にずれて、図中の点Ｐ１を経由して、画素値の最大値にまで増大する。さらに、空間方向Ｘ＝Ｘ２における空間方向Ｙの画素値の変化は、空間方向Ｙの正の方向にさらにずれ込んだ図中の点Ｐ２を経由して減少し、画素値の最大値から最小値となる。
【０９２７】
これは、実際の画像中の白線で囲まれる部分においても、同様の傾向が見られる。すなわち、図１４４Ａの実際の画像中の白線で囲まれる部分（３１画素×３１画素の画像）において、背景部分（図１４４Ａ中では、黒色に見える部分）は、図１４４Ｂで示されるように、画素値の低い（画素値が９０付近の）画素数が多く分布しており、これらの変化の少ない部分が、背景領域の画像を形成する。これに対して、図１４４Ｂの画素値が低くない部分、すなわち、画素値が１００付近乃至２００付近に分布する画素は、文字領域と背景領域との空間混合領域に属する画素の分布であり、各画素値毎の画素数は少ないが、広い画素値の範囲に分布している。さらに、画素値の高い文字領域（図１４４Ａ中では、白色に見える部分）の画素が、２２０で示される画素値の付近に多く分布している。
【０９２８】
この結果、図１４５Ａで示されるエッジ画像における所定の空間方向Ｘに対する、空間方向Ｙの画素値の変化は、図１４５Ｂで示されるようになものとなる。
【０９２９】
すなわち、図１４５Ｂは、図１４５Ａの画像中の白線で囲まれる範囲のエッジ付近の画素値を所定の空間方向Ｘ（図中では、Ｘ＝６５８，６５９，６６０）毎の、空間方向Ｙに対応した画素値の変化を示している。このように、実際のセンサ２により撮像された画像においても、Ｘ＝６５８において、画素値は、Ｙ＝３７４付近で増大を開始し（図中、黒丸で示される分布）、Ｘ＝３８２付近で最大画素値に到達する。また、Ｘ＝６５９においては、空間方向Ｙに対して正方向にずれ込んで、画素値は、Ｙ＝３７８付近で増大を開始し（図中、黒三角で示される分布）、Ｘ＝３８６付近で最大画素値に到達する。さらに、Ｘ＝６６０においては、空間方向Ｙに対して、さらに、正方向にずれ込んで、画素値は、Ｙ＝３８２付近で増大を開始し（図中、黒四角で示される分布）、Ｘ＝３９０付近で最大画素値に到達する。
【０９３０】
そこで、このセンサ２により撮像された画像から、現実世界の画像の定常性情報を取得するため、センサ２より取得された画像のデータから現実世界を近似的に記述するためのモデルを設定する。例えば、２値エッジの場合、図１４６で示すように、現実世界の画像を設定する。すなわち、図中左部の背景部分のレベルをＶ１、図中右側の文字部分のレベルをＶ２、２値エッジ付近の画素間の混合比をα、エッジの水平方向に対する角度をθとしてパラメータを設定し、モデル化して、現実世界を近似的に表現する関数を設定し、各パラメータを求めることにより現実世界を近似的に表現する関数を求め、その近似関数からエッジの方向（傾き、または、基準軸に対する角度）を求める。
【０９３１】
ここで、エッジの方向を示す傾きは、空間方向Ｘの単位距離に対する、空間方向Ｙへの変化（距離の変化）の比であるので、図１４７Ａで示されるような場合、図中の空間方向Ｘへの１画素の距離に対する、空間方向Ｙの距離が傾きとなる。
【０９３２】
空間方向Ｘ０乃至Ｘ２の各々の空間方向Ｙに対する画素値の変化は、図１４７Ｂで示されるように、各空間方向Ｘ毎に所定の間隔で同様の波形が繰り返されることになる。上述のように、センサ２により撮像された画像において、エッジは、類似した画素値の変化（今の場合、最小値から最大値へと変化する、所定の空間方向Ｙ上の画素値の変化）が空間的に連続する方向であるので、各空間方向Ｘにおいて、空間方向Ｙの画素値の変化が開始される位置、または、変化が終了する位置となる空間方向Ｙの間隔Ｓが、エッジの傾きＧｆｅとなる。すなわち、図１４７Ｃで示されるように、水平方向に１画素の距離に対する垂直方向の変化量が傾きＧｆｅとなる。
【０９３３】
ところで、この関係は、図１３７Ａ乃至Ｃを参照して上述した細線の傾きＧｆｌにおける関係と同様である。従って、その関係式についても、同様のものとなる。すなわち、２値エッジにおける場合の関係式は、図１４８で示すものとなり、背景領域の画素値をＶ１、文字領域の画素値をＶ２、それぞれは最小値、および、最大値となる。また、エッジ付近の画素の混合比をαとし、エッジの傾きをＧｆｅとおけば、成立する関係式は、上述の式（６９）乃至式（７１）と同様となる（ただし、Ｇｆｌは、Ｇｆｅに置き換えられる）。
【０９３４】
このため、図１２４で示されるデータ定常性検出部１０１は、同様の処理により、細線の傾きに対応する角度、および、エッジの傾きに対応する角度を、データ定常性情報として検出することができる。そこで、以下においては、傾きは、細線の傾きと、２値エッジの傾きとを総称して、傾きＧｆと称する。また、上述の式（７３）乃至式（７５）の式における傾きＧｆｌは、Ｇｆｅであってもよいものであり、結果として、傾きＧｆと置き換えて考えるものとする。
【０９３５】
次に、図１４９のフローチャートを参照して、データ定常性の検出の処理を説明する。
【０９３６】
ステップＳ７０１において、水平・垂直判定部７１１は、入力画像の各画素を識別するカウンタＴを初期化する。
【０９３７】
ステップＳ７０２において、水平・垂直判定部７１１は、後段の処理に必要なデータの抽出処理を実行する。
【０９３８】
ここで、図１５０のフローチャートを参照して、データを抽出する処理について説明する。
【０９３９】
ステップＳ７１１において、データ選択部７０１の水平・垂直判定部７１１は、各注目画素Ｔについて、図１２５を参照して説明したように、水平方向、垂直方向、および対角方向に隣接する９画素の水平方向に隣接する画素間の画素値の差分（アクティビティ）の和ｈｄｉｆｆと、垂直方向に隣接する画素間の画素値の差分（アクティビティ）の和ｖｄｉｆｆとを演算し、さらに、その差分（ｈｄｉｆｆ−ｖｄｉｆｆ）を求め、差分（ｈｄｉｆｆ−ｖｄｉｆｆ）≧０の場合、その注目画素Ｔが、水平方向を基準軸としたとき、その基準軸との角度θが４５度度≦θ＜１３５度度となる、垂直方向に近い細線、または、２値エッジ付近の画素であるものとみなし、使用する抽出ブロックを垂直方向に対応したものとする判定結果をデータ取得部７１２、および、データ足し込み部７０２に出力する。
【０９４０】
一方、差分（ｈｄｉｆｆ−ｖｄｉｆｆ）＜０の場合、水平・垂直判定部７１１は、その注目画素が、水平方向を基準軸にしたとき、その基準軸との細線、または、２値エッジのなす角度θが０度度≦θ＜４５度度、または、１３５度度≦θ＜１８０度度となる、水平方向に近い細線、または、エッジ付近の画素であるものとみなし、使用する抽出ブロックを水平方向に対応したものとする判定結果をデータ取得部７１２、および、データ足し込み部７０２に出力する。
【０９４１】
すなわち、細線、または、２値エッジの傾きが垂直方向に近いと言うことは、例えば、図１３１Ａで示されているように、図中の矢印が細線と交差する部分が増えることになるため、垂直方向の画素数を多めにした抽出ブロックを設定する（縦長な抽出ブロックを設定する）。同様にして、細線の傾きが水平方向に近い場合についても、水平方向の画素数を多めにした抽出ブロックを設定するようにする（横長な抽出ブロックを設定する）。このようにすることにより、不要な計算量を増やすことなく、正確な最大値と最小値の演算が可能となる。
【０９４２】
ステップＳ７１２において、データ取得部７１２は、注目画素について水平・垂直判定部７１１より入力される水平方向、または、垂直方向の判定結果に対応した抽出ブロックの画素を抽出する。すなわち、例えば、図１３９で示されるように、注目画素を中心として、（水平方向に３画素）×（垂直方向に７画素）の合計２１画素を抽出ブロックとして抽出し、記憶する。
【０９４３】
ステップＳ７１３において、データ取得部７１２は、抽出ブロックの各画素について、水平・垂直判定部７１１の判定結果に対応した方向に対応するダイナミックレンジブロックの画素を抽出し、記憶する。すなわち、図１３９を参照して、上述したように、例えば、抽出ブロックの画素ｐｉｘ１１については、今の場合、水平・垂直判定部７１１の判定結果が垂直方向になるので、データ取得部７１２は、垂直方向に、ダイナミックレンジブロックＢ１を、同様にして、画素ｐｉｘ１２は、ダイナミックレンジブロックＢ２を抽出する。その他の抽出ブロックについても同様にしてダイナミックレンジブロックが抽出される。
【０９４４】
すなわち、このデータ抽出処理により、所定の注目画素Ｔについて、正規方程式の演算に必要な画素の情報がデータ取得部７１２に蓄えられることになる（処理される領域が選択されることになる）。
【０９４５】
ここで、図１４９のフローチャートの説明に戻る。
【０９４６】
ステップＳ７０３において、データ足し込み部７０２は、正規方程式（ここでは、式（７４））の演算の各項に必要な値の足し込み処理を実行する。
【０９４７】
ここで、図１５１のフローチャートを参照して、正規方程式への足し込み処理について説明する。
【０９４８】
ステップＳ７２１において、差分足し込み部７２１は、データ選択部７０１の水平・垂直判定部７１１の判定結果に応じて、データ取得部７１２に記憶されている抽出ブロックの画素間の画素値の差分を求め（検出し）、さらに、２乗（自乗）して足し込む。すなわち、水平・垂直判定部７１１の判定結果が垂直方向である場合、差分足し込み部７２１は、抽出ブロックの各画素について垂直方向に隣接する画素間の画素値の差分を求めて、さらに２乗して足し込む。同様にして、水平・垂直判定部７１１の判定結果が水平方向である場合、差分足し込み部７２１は、抽出ブロックの各画素について水平方向に隣接する画素間の画素値の差分を求めて、さらに２乗して足し込む。結果として、差分足し込み部７２１は、上述の式（７５）の分母となる項の差分の自乗和を生成し、記憶する。
【０９４９】
ステップＳ７２２において、ＭａｘＭｉｎ取得部７２２は、データ取得部７１２に記憶されたダイナミックレンジブロックに含まれる画素の画素値の最大値と最小値を取得し、ステップＳ７２３において、その最大値と最小値との差分からダイナミックレンジを求め（検出し）、差分足し込み部７２３に出力する。すなわち、図１３６Ｂで示されているような、画素ｐｉｘ１乃至７からなる７画素のダイナミックレンジブロックの場合、ｐｉｘ２の画素値が最大値として検出され、ｐｉｘ７の画素が最小値として検出され、これらの差分がダイナミックレンジとして求められる。
【０９５０】
ステップＳ７２４において、差分足し込み部７２３は、データ取得部７１２に記憶されている抽出ブロックの画素間のうち、データ選択部７０１の水平・垂直判定部７１１の判定結果に対応する方向に隣接する画素間の画素値の差分を求め（検出し）、ＭａｘＭｉｎ取得部７２２より入力されたダイナミックレンジを乗じた値を足し込む。すなわち、差分足し込み部７２１は、上述の式（７５）の分子となる項の和を生成し、記憶する。
【０９５１】
ここで、図１４９のフローチャートの説明に戻る。
【０９５２】
ステップＳ７０４において、差分足し込み部７２１は、抽出ブロックの全ての画素の画素間の画素値の差分（水平・垂直判定部７１１の判定結果に対応する方向に隣接する画素間の画素値の差分）を足し込んだか否かを判定し、例えば、抽出ブロックの全ての画素の画素間の差分を足し込んでいないと判定した場合、その処理は、ステップＳ７０２に戻り、それ以降の処理が繰り返される。すなわち、抽出ブロックの全ての画素の画素間の画素値の差分が足し込まれたと判定されるまで、ステップＳ７０２乃至Ｓ７０４の処理が繰り返される。
【０９５３】
ステップＳ７０４において、抽出ブロックの全ての画素の画素間の画素値の差分が足し込まれたと判定された場合、ステップＳ７０５にいて、差分足し込み部７２１，７２３は、自らで記憶している足し込み結果を定常方向導出部７０３に出力する。
【０９５４】
ステップＳ７０６において、定常方向演算部７３１は、データ足し込み部７０２の差分足し込み部７２１より入力された、取得ブロックの各画素間のうち、水平・垂直判定部７１１により判定された方向に隣接する画素間の画素値の差分の自乗和、差分足し込み部７２３より入力された、取得ブロックの各画素間のうち、水平・垂直判定部７１１により判定された方向に隣接する画素間の画素値の差分、および、取得ブロックの各画素に対応するダイナミックレンジとの積の和に基づいて、上述の式（７５）で示した正規方程式を解くことにより、最小自乗法を用いて統計的に注目画素のデータ定常性情報である、定常性の方向を示す角度（細線、または、２値エッジの傾きを示す角度）を演算し、出力する。
【０９５５】
ステップＳ７０７において、データ取得部７１２は、入力画像の全ての画素について処理が行われたか否かを判定し、例えば、入力画像の全ての画素について処理が行われていない、すなわち、入力画像の全ての画素について、細線、または、２値エッジの角度の情報を出力していないと判定した場合、ステップＳ７０８において、カウンタＴを１インクリメントして、その処理は、ステップＳ７０２に戻る。すなわち、入力画像のうちの処理しようとする画素が変更されて、入力画像の全ての画素について処理がなされるまで、ステップＳ７０２乃至Ｓ７０８の処理が繰り返されることになる。このカウンタＴによる画素の変化は、例えば、ラスタスキャンなどであってもよいし、それ以外の規則により順次変化していくものであってもよい。
【０９５６】
ステップＳ７０７において、入力画像の全ての画素について処理がなされたと判定された場合、ステップＳ７０９において、データ取得部７１２は、次の入力画像があるか否かを判定し、次の入力画像があると判定された場合、その処理は、ステップＳ７０１に戻り、それ以降の処理が繰り返される。
【０９５７】
ステップＳ７０９において、次の入力画像はないと判定された場合、その処理は、終了する。
【０９５８】
以上の処理により、細線、または、２値エッジの角度が、定常性情報として検出されて、出力される。
【０９５９】
このように統計的処理により得られる細線、または、エッジの傾きの角度は、相関を用いて得られる細線、または、２値エッジの角度とほぼ一致する。すなわち、図１５２Ａで示すような画像の白線で囲まれる範囲の画像について、細線上の所定の水平方向の座標上の空間方向Ｙへの傾きの変化は、図１５２Ｂで示されるように、相関を用いた方法により得られる細線の傾きを示す角度（図中の黒丸印）と、図１２４で示されたデータ定常性検出部１０１により統計処理により得られる細線の角度（図中の黒三角印）は、細線近傍の空間方向Ｙの座標上で、それぞれがほぼ一致している。尚、図１５２Ｂにおいては、図中の黒実線で挟まれた空間方向Ｙ＝６８０乃至７３０が細線上の座標である。
【０９６０】
同様にして、図１５３Ａで示すような画像の白線で囲まれる範囲の画像について、２値エッジ上の所定の水平方向の座標上の空間方向Ｙへの傾きの変化は、図１５３Ｂで示されるように、相関を用いた方法により得られる２値エッジの傾きを示す角度（図中の黒丸印）と、図１２４で示されたデータ定常性検出部１０１により統計処理により得られる２値エッジの角度（図中の黒三角印）は、細線近傍の空間方向Ｙの座標上で、それぞれがほぼ一致している。尚、図１５３Ｂにおいては、空間方向Ｙ＝３７６（付近）乃至３８８（付近）が細線上の座標であるである。
【０９６１】
結果として、図１２４に示されるデータ定常性検出部１０１は、データの定常性として細線、または、２値エッジの角度を求める際、所定の画素からなるブロックによる相関を用いる方法と異なり、各画素の周辺の情報を用いて、統計的に細線、または、２値エッジの傾きを示す角度（ここでは、水平方向を基準軸とした角度）を求めることができるので、相関を用いた方法に見られるように、所定の角度の範囲に応じて切り替わることが無いので、全ての細線、または、２値エッジの傾きの角度を同一の処理により求めることが可能となるため、処理を簡単なものとすることが可能となる。
【０９６２】
また、以上においては、データ定常性検出部１０１は、細線、または、２値エッジの所定の基準軸とのなす角度を定常性情報として出力する例について説明してきたが、後段の処理によっては、傾きをそのまま出力する方が、処理効率が向上することも考えられる。そのような場合、データ定常性検出部１０１の定常方向導出部７０３の定常方向演算部７３１は、最小自乗法により求められた細線、または、２値エッジの傾きＧｆを、そのまま定常性情報として出力するようにしてもよい。
【０９６３】
さらに、以上においては、式（７５）において、ダイナミックレンジＤｒｉ＿ｒは、抽出ブロックの各画素について求められるものとして演算してきたが、このダイナミックレンジは、ダイナミックレンジブロックを十分に大きく設定することにより、すなわち、多くの注目画素について、その周辺の多くの画素を用いて設定することにより、画像中の画素の画素値の最大値と最小値が、常に選択されることになるはずである。従って、ダイナミックレンジＤｒｉ＿ｒは、抽出ブロックの各画素について演算することなく、抽出ブロック中、または、画像データ中の画素の最大値と最小値から得られるダイナミックレンジを固定値として演算するようにしてもよい。
【０９６４】
すなわち、以下の式（７６）のように、画素間の画素値の差分のみを足し込むことにより細線の角度θ（傾きＧｆ）を求めるようにしてもよい。このように、ダイナミックレンジを固定することにより、演算処理をより簡素化することができ、高速で処理を行うことが可能となる。
【０９６５】
【数５８】
2004246524.tif 000118
2004246524.tif 000119
【０９６６】
次に、図１５４を参照して、データ定常性情報として、各画素の混合比を検出するデータ定常性検出部１０１について説明する。
【０９６７】
尚、図１５４のデータ定常性検出部１０１においては、図１２４のデータ定常性検出部１０１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０９６８】
図１５４のデータ定常性検出部１０１において、図１２４のデータ定常性検出部１０１と異なるのは、データ足し込み部７０２、および、定常性方向導出部７０３に代えて、データ足し込み部７５１、および、混合比導出部７６１が設けられている点である。
【０９６９】
データ足し込み部７５１のＭａｘＭｉｎ取得部７５２は、図１２４におけるＭａｘＭｉｎ取得部７２２と同様の処理を行うものであるが、ダイナミックレンジブロックの各画素の画素値の最大値と最小値を取得し、最大値と最小値の差分（ダイナミックレンジ）を求め、足し込み部７５３，７５５に出力すると共に、最大値を差分演算部７５４に出力する。
【０９７０】
足し込み部７５３は、ＭａｘＭｉｎ取得部より入力された値を自乗して、抽出ブロックの全ての画素について足し込み、その和を求めて、混合比導出部７６１に出力する。
【０９７１】
差分演算部７５４は、データ取得部７１２の取得ブロックの各画素について、対応するダイナミックレンジブロックの最大値との差分を求めて、足し込み部７５５に出力する。
【０９７２】
足し込み部７５５は、取得ブロックの各画素について、ＭａｘＭｉｎ取得部７５２より入力された最大値と最小値の差分（ダイナミックレンジ）と、差分演算部７５４より入力された取得ブロックの各画素の画素値と、対応するダイナミックレンジブロックの最大値との差分と乗じて、その和を求め、混合比導出部７６１に出力する。
【０９７３】
混合比導出部７６１の混合比算出部７６２は、データ足し込み部の足し込み部７５３，７５５のそれぞれより入力された、値に基づいて、注目画素の混合比を最小自乗法により統計的に求め、データ定常性情報として出力する。
【０９７４】
次に、混合比の導出方法について説明する。
【０９７５】
図１５５Ａで示されるように、画像上に細線が存在する場合、センサ２で撮像された画像は、図１５５Ｂで示されるような画像となる。個の画像について、図１５５Ｂの空間方向Ｘ＝Ｘ１上の黒の実線で囲まれた画素について注目する。尚、図１５５Ｂの白線ではさまれた範囲は、細線領域に対応する位置を示す。この画素の画素値Ｍは、背景領域のレベルに対応する画素値Ｂと、細線領域のレベルに対応する画素値Ｌの中間色となっているはずであり、さらに詳細には、この画素値ＰＳは、背景領域と細線領域の面積比で、それぞれのレベルが混合されているはずである。従って、この画素値ＰＳは、以下の式（７７）により表現される。
【０９７６】
ＰＳ＝α×Ｂ＋（１−α）×Ｌ・・・（７７）
【０９７７】
ここで、αは、混合比であり、より具体的には、注目されている画素中の背景領域の占める面積の割合を示すものである。従って、（１−α）は、細線領域の占める面積の割合を示しているともいえる。尚、背景領域の画素は、背景に存在するオブジェクトの成分とも考えられるので、背景オブジェクト成分とも言える。また、細線領域の画素は、背景オブジェクトに対して前景オブジェクトの成分であると考えられるので、前景オブジェクト成分とも言える。
【０９７８】
この結果、混合比αは、式（７７）を展開することにより、以下の式（７８）で表現できることになる。
【０９７９】
α＝（ＰＳ−Ｌ）／（Ｂ−Ｌ）・・・（７８）
【０９８０】
さらに、今の場合、画素値は、第１の画素値（画素値Ｂ）の領域と第２の画素値（画素値Ｌ）の領域とをまたいだ位置に存在することが前提であるので、画素値Ｌは、画素値の最大値Ｍａｘで置き換えることができ、さらに、画素値Ｂは、画素値の最小値と置き換えることができる。従って、混合比αは、以下の式（７９）でも表現することができる。
【０９８１】
α＝（ＰＳ−Ｍａｘ）／（Ｍｉｎ−Ｍａｘ）・・・（７９）
【０９８２】
以上の結果、混合比αは、注目画素についてのダイナミックレンジブロックのダイナミックレンジ（（Ｍｉｎ−Ｍａｘ）に相当する）と、注目画素と、ダイナミックレンジブロック内の画素の最大値との差分から求めることが可能となるが、より精度を向上させるため、ここでは、最小自乗法により統計的に混合比αを求める。
【０９８３】
すなわち、上述の式（７９）は、展開すると以下の式（８０）となる。
【０９８４】
（ＰＳ−Ｍａｘ）＝α×（Ｍｉｎ−Ｍａｘ）・・・（８０）
【０９８５】
この式（８０）は、上述の式（７１）と同様の１変数の最小自乗法の式となる。すなわち、式（７１）においては、最小自乗法により傾きＧｆが求められていたが、ここでは、混合比αが求められることになる。従って、以下の式（８１）で示される正規方程式を解くことにより、混合比αは、統計的に求められる。
【０９８６】
【数５９】
2004246524.tif 000120
2004246524.tif 000121
【０９８７】
ここで、ｉは、抽出ブロックの各画素を識別するものである。従って、式（８１）においては、抽出ブロックの画素数はｎである。
【０９８８】
次に、図１５６のフローチャートを参照して、混合比をデータ定常性としたときのデータ定常性の検出の処理について説明する。
【０９８９】
ステップＳ７３１において、水平・垂直判定部７１１は、入力画像の各画素を識別するカウンタＵを初期化する。
【０９９０】
ステップＳ７３２において、水平・垂直判定部７１１は、後段の処理に必要なデータの抽出処理を実行する。尚、ステップＳ７３２の処理は、図１５０のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【０９９１】
ステップＳ７３３において、データ足し込み部７５１は、正規方程式（ここでは、式（８１））の演算の各項に必要な値の足し込み処理を実行する。
【０９９２】
ここで、図１５７のフローチャートを参照して、正規方程式への足し込み処理について説明する。
【０９９３】
ステップＳ７５１において、ＭａｘＭｉｎ取得部７５２は、データ取得部７１２に記憶されたダイナミックレンジブロックに含まれる画素の画素値の最大値と最小値を取得し、そのうち、最小値を差分演算部７５４に出力する。
【０９９４】
ステップＳ７５２において、ＭａｘＭｉｎ取得部７５２は、その最大値と最小値との差分からダイナミックレンジを求め、差分足し込み部７５３，７５５に出力する。
【０９９５】
ステップＳ７５３において、足し込み部７５３は、ＭａｘＭｉｎ取得部７５２より入力されたダイナミックレンジ（Ｍａｘ−Ｍｉｎ）を自乗して、足し込む。すなわち、足し込み部７５３は、上述の式（８１）の分母に相当する値を足し込みにより生成する。
【０９９６】
ステップＳ７５４において、差分演算部７５４は、ＭａｘＭｉｎ取得部７５２より入力されたダイナミックレンジブロックの最大値と、抽出ブロックにおける今現在処理中の画素の画素値との差分を求めて、足し込み部７５５に出力する。
【０９９７】
ステップＳ７５５において、足し込み部７５５は、ＭａｘＭｉｎ取得部７５２より入力されたダイナミックレンジと、差分演算部７５４より入力された、今現在処理している画素の画素値と、ダイナミックレンジブロックの画素のうち最大値となる値との差分を乗じて、足し込む。すなわち、足し込み部７５５は、上述の式（８１）の分子の項に相当する値を生成する。
【０９９８】
以上のように、データ足し込み部７５１は、足し込み処理により、上述の式（８１）の各項の演算を実行する。
【０９９９】
ここで、図１５６のフローチャートの説明に戻る。
【１０００】
ステップＳ７３４において、差分足し込み部７２１は、抽出ブロックの全ての画素について、足し込みが終了したか否かを判定し、例えば、抽出ブロックの全ての画素についての足し込み処理が終了していないと判定した場合、その処理は、ステップＳ７３２に戻り、それ以降の処理が繰り返される。すなわち、抽出ブロックの全ての画素について、足し込み処理が終了したと判定されるまで、ステップＳ７３２乃至Ｓ７３４の処理が繰り返される。
【１００１】
ステップＳ７３４において、抽出ブロックの全ての画素について足し込みが終了したと判定された場合、ステップＳ７３５にいて、足し込み部７５３，７５５は、自らで記憶している足し込み結果を混合比導出部７６１に出力する。
【１００２】
ステップＳ７３６において、混合比導出部７６１の混合比算出部７６２は、データ足し込み部７５１の足し込み部７５３，７５５より入力された、ダイナミックレンジの自乗和、および、抽出ブロックの各画素の画素値とダイナミックレンジブロックの最大値との差分と、ダイナミックレンジとを乗じた和に基づいて、上述の式（８１）で示した正規方程式を解くことにより、最小自乗法を用いて統計的に注目画素のデータ定常性情報である、混合比を演算し、出力する。
【１００３】
ステップＳ７３７において、データ取得部７１２は、入力画像の全ての画素について処理が行われたか否かを判定し、例えば、入力画像の全ての画素について処理が行われていない、すなわち、入力画像の全ての画素について、混合比を出力していないと判定した場合、ステップＳ７３８において、カウンタＵを１インクリメントして、その処理は、ステップＳ７３２に戻る。
【１００４】
すなわち、入力画像のうちの処理しようとする画素が変更されて、入力画像の全ての画素について混合比が演算されるまで、ステップＳ７３２乃至Ｓ７３８の処理が繰り返されることになる。このカウンタＵによる画素の変化は、例えば、ラスタスキャンなどであってもよいし、それ以外の規則により順次変化していくものであってもよい。
【１００５】
ステップＳ７３７において、入力画像の全ての画素について処理がなされたと判定された場合、ステップＳ７３９において、データ取得部７１２は、次の入力画像があるか否かを判定し、次の入力画像があると判定された場合、その処理は、ステップＳ７３１に戻り、それ以降の処理が繰り返される。
【１００６】
ステップＳ７３９において、次の入力画像はないと判定された場合、その処理は、終了する。
【１００７】
以上の処理により、各画素の混合比が、定常性情報として検出されて、出力される。
【１００８】
以上の手法により、例えば、図１５８Ａで示される画像中の白線内の細線の画像について、所定の空間方向Ｘ（＝５６１，５６２，５６３）上の混合比の変化が、図１５８Ｂに示されている。図１５８Ｂで示されるように、水平方向に連続する空間方向Ｙの混合比の変化は、それぞれ、空間方向Ｘ＝５６３の場合、混合比は、空間方向Ｙ＝６６０付近で立ち上がり、Ｙ＝６８５付近でピークとなり、Ｙ＝７１０まで減少する。また、空間方向Ｘ＝５６２の場合、混合比は、空間方向Ｙ＝６８０付近で立ち上がり、Ｙ＝７０５付近でピークとなり、Ｙ＝７３５まで減少する。さらに、空間方向Ｘ＝５６１の場合、混合比は、空間方向Ｙ＝７０５付近で立ち上がり、Ｙ＝７２５付近でピークとなり、Ｙ＝７５５まで減少する。
【１００９】
このように、図１５８Ｂで示されるように、連続する空間方向Ｘのそれぞれの混合比の変化は、混合比により変化する画素値の変化（図１３３Ｂで示した画素値の変化）と同様の変化であり、周期的に連続していることから、細線近傍の画素の混合比が正確に表現されていることが分かる。
【１０１０】
また、同様にして、図１５９Ａで示される画像中の白線内の２値エッジの画像について、所定の空間方向Ｘ（＝６５８，６５９，６６０）上の混合比の変化が、図１５９Ｂに示されている。図１５９Ｂで示されるように、水平方向に連続する空間方向Ｙの混合比の変化は、それぞれ、空間方向Ｘ＝６６０の場合、混合比は、空間方向Ｙ＝７５０付近で立ち上がり、Ｙ＝７６５付近でピークとなる。また、空間方向Ｘ＝６５９の場合、混合比は、空間方向Ｙ＝７６０付近で立ち上がり、Ｙ＝７７５付近でピークとなる。さらに、空間方向Ｘ＝６５８の場合、混合比は、空間方向Ｙ＝７７０付近で立ち上がり、Ｙ＝７８５付近でピークとなる。
【１０１１】
このように、図１５９Ｂで示されるように、２値エッジの混合比の変化は、混合比により変化する画素値の変化（図１４５Ｂで示した画素値の変化）と同様の変化とほぼ同様であり、周期的に連続していることから、２値エッジ近傍の画素値の混合比が正確に表現されていることが分かる。
【１０１２】
以上によれば、最小自乗法により統計的にデータ定常性情報として、各画素の混合比を求めることが可能となる。さらに、この混合比に基づいて、各画素の画素値を直接生成することが可能となる。
【１０１３】
また、混合比の変化が、定常性を有するものであり、さらに、この混合比の変化が直線的なもので近似すると、以下の式（８２）で示されるような関係が成立する。
【１０１４】
α＝ｍ×ｙ＋ｎ・・・（８２）
【１０１５】
ここで、ｍは、混合比αが、空間方向Ｙに対して変化するときの傾きを示し、また、ｎは、混合比αが直線的に変化するときの切片に相当するものである。
【１０１６】
すなわち、図１６０で示されるように、混合比を示す直線は、背景領域のレベルに相当する画素値Ｂと、細線のレベルに相当するレベルＬの境界を示す直線であり、この場合、空間方向Ｙについて単位距離進んだときの混合比の変化量が傾きｍとなる。
【１０１７】
そこで、式（８２）を、式（７７）に代入すると以下の式（８３）が導出される。
【１０１８】
Ｍ＝（ｍ×ｙ＋ｎ）×Ｂ＋（１−（ｍ×ｙ＋ｎ））×Ｌ・・・（８３）
【１０１９】
さらに、この式（８３）を展開すると、以下の式（８４）が導出される。
【１０２０】
Ｍ−Ｌ＝（ｙ×Ｂ−ｙ×Ｌ）×ｍ＋（Ｂ−Ｌ）×ｎ・・・（８４）
【１０２１】
式（８４）においては、第１項のｍが、混合比の空間方向の傾きを示し、第２項が混合比の切片を示す項である。従って、上述の式（８４）のｍ，ｎを２変数の最小自乗法を用いて、正規方程式を生成し、求めるようにすることもできる。
【１０２２】
しかしながら、混合比αの傾きｍは、上述した細線や２値エッジの傾き（上述の傾きＧｆ）そのものであるので、予め、上述の方法を用いて、細線、または、２値エッジの傾きＧｆを求めた後、その傾きを用いて、式（８４）に代入することにより、切片の項についての１変数の関数とし、上述した手法と同様に、１変数の最小自乗法により求めるようにしてもよい。
【１０２３】
以上の例においては、空間方向の細線、または、２値エッジの角度（傾き）、または、混合比をデータ定常性情報として検出するデータ定常性検出部１０１について説明してきたが、例えば、空間内の軸（空間方向Ｘ，Ｙ）のいずれかを、時間方向（フレーム方向）Ｔの軸に置き換えることにより得られる、空間方向における角度に対応するものであってもよい。すなわち、空間内の軸（空間方向Ｘ，Ｙ）のいずれかを、時間方向（フレーム方向）Ｔの軸に置き換えることにより得られる角度に対応するものとは、物体の動きベクトル（動きベクトルの方向）である。
【１０２４】
より具体的には、図１６１Ａで示すように、物体が、時間が進むにつれて空間方向Ｙについて、図中の上方向に移動している場合、図中の細線に相当する部分（図１３１Ａとの比較）には、物体の移動の軌跡が現れることになる。従って、時間方向Ｔの細線における傾きは、図１６１Ａにおいては、物体の動く方向（物体の動きを示す角度）を示すもの（動きベクトルの方向と同値のもの）である。従って、現実世界において、図１６１Ａ中の矢印で示される、所定の時刻におけるフレームでは、図１６１Ｂで示すように物体の軌跡となる部分が、物体の（色の）レベルとなり、それ以外の部分が、背景のレベルとなったパルス状の波形となる。
【１０２５】
このように、センサ２により動きのある物体を撮像したした場合、図１６２Ａで示されるように、時刻Ｔ１乃至Ｔ３におけるフレームの各画素の画素値の分布は、図１６２Ｂで示されるように、空間方向Ｙに対して、それぞれ山型の波形をとる。この関係は、図１３２Ａ，Ｂを参照して、説明した空間方向Ｘ，Ｙにおける関係と同様であるものと考えることができる。従って、フレーム方向Ｔに対して、物体に動きがある場合、上述した細線の傾き、または、２値エッジの角度（傾き）の情報と同様の手法により、物体の動きベクトルの方向をデータ定常性情報として求めることも可能である。尚、図１６２Ｂにおいては、フレーム方向Ｔ（時間方向Ｔ）について、各マス目は、１フレームの画像を構成するシャッタ時間となる。
【１０２６】
また、同様にして、図１６３Ａで示されるように、フレーム方向Ｔ毎に、空間方向Ｙについて物体に動きがある場合、図１６３Ｂで示されるように、所定の時刻Ｔ１に相当するフレーム上で空間方向Ｙに向けて、物体の動きに対応して、各画素値が得られることになる。このとき、例えば、図１６３Ｂにおける、黒の実線で囲まれた画素の画素値は、図１６３Ｃで示されるように、物体の動きに対応して、背景のレベルと物体のレベルがフレーム方向に混合比βで混合している画素値である。
【１０２７】
この関係は、図１５５Ａ，Ｂ，Ｃを参照して説明した関係と同様である。
【１０２８】
さらに、図１６４で示されるように、物体のレベルＯと背景のレベルＢとは、フレーム方向（時間方向）の混合比βにより直線近似することも可能である。個の関係は、図１６０を参照して説明した空間方向の混合比の直線近似と同様の関係である。
【１０２９】
従って、空間方向の混合比αと同様の手法により、時間（フレーム）方向の混合比βをデータ定常性情報として求めることも可能である。
【１０３０】
また、フレーム方向、または、空間方向のいずれか１次元を選択して、定常性の角度、または、動きベクトルの方向を求めるようにしてもよいし、同様にして混合比α，βを選択的に求めるようにしてもよい。
【１０３１】
以上によれば、現実世界の光信号を射影し、現実世界の光信号の定常性の一部が欠落した画像データ内の注目画素に対応する領域を選択し、選択した領域内の、欠落した現実世界の光信号の定常性に対応する画像データの定常性の基準軸に対する角度を検出するための特徴を検出し、検出した特徴に基いて統計的に角度を検出し、検出した画像データの定常性の基準軸に対する角度に基いて、欠落した現実世界の光信号の定常性を推定することにより光信号を推定するようにしたので、定常性の角度（動きベクトルの方向）、または、（時空間の）混合比を求めることが可能となる。
【１０３２】
次に、図１６５を参照して、データ定常性情報としてデータ定常性情報を用いた処理を行うべき領域の情報を出力する、データ定常性情報検出部１０１について説明する。
【１０３３】
角度検出部８０１は、入力された画像のうち、定常性を有する領域、すなわち、画像上において定常性を有する細線や２値エッジを構成する部分の空間方向の角度を検出し、検出した角度を実世界推定部８０２に出力する。尚、この角度検出部８０１は、図３におけるデータ定常性検出部１０１と同様のものである。
【１０３４】
実世界推定部８０２は、角度検出部８０１より入力されたデータ定常性の方向を示す角度と、入力画像の情報に基づいて実世界を推定する。すなわち、実世界推定部８０２は、入力された角度と、入力画像の各画素から実世界の光信号の強度分布を近似的に記述する近似関数の係数を求めて、求めた係数を実世界の推定結果として誤差演算部８０３に出力する。尚、この実世界推定部８０２は、図３における実世界推定部１０２と同様のものである。
【１０３５】
誤差演算部８０３は、実世界推定部８０２より入力された係数に基づいて、近似的に記述された現実世界の光の強度分布を示す近似関数を構成し、さらに、この近似関数に基づいて各画素位置に相当する光の強度を積分して、近似関数により推定された光の強度分布から各画素の画素値を生成し、実際に入力された画素値との差分を誤差として比較部８０４に出力する。
【１０３６】
比較部８０４は、各画素について誤差演算部８０３より入力された誤差と、予め設定された閾値とを比較することにより、定常性情報を用いた処理を施す画素の存在する処理領域と、非処理領域とを識別して、この定常性情報を用いた処理をする処理領域と非処理領域の識別がなされた領域情報を定常性情報として出力する。
【１０３７】
次に、図１６６のフローチャートを参照して、図１６５のデータ定常性検出部１０１による、定常性の検出の処理について説明する。
【１０３８】
ステップＳ８０１において、角度検出部８０１は、入力された画像を取得し、ステップＳ８０２において、定常性の方向を示す角度を検出する。より詳細には、角度検出部８０１は、例えば、水平方向を基準軸としたときの細線、または、２値エッジの有する定常性の方向を示す角度を検出して、実世界推定部８０２に出力する。
【１０３９】
ステップＳ８０３において、実世界推定部８０２は、角度検出部８０１より入力される角度の情報と、入力画像の情報に基づいて、現実世界を表現する関数Ｆ（ｘ）に近似的に記述する、多項式からなる近似関数ｆ（ｘ）の係数を求めて、誤差演算部８０３に出力する。すなわち、現実世界を表現する近似関数ｆ（ｘ）は、以下の式（８５）のような１次元多項式で示される。
【１０４０】
【数６０】
2004246524.tif 000122
2004246524.tif 000123
【１０４１】
ここで、ｗｉは、多項式の係数であり、実世界推定部８０２は、この係数ｗｉを求めて、誤差演算部８０３に出力する。さらに、角度検出部８０１より入力される角度により、定常性の方向から傾きを求めることができる（Ｇｆ＝ｔａｎ−１θ，Ｇｆ：傾き，θ：角度）ので、この傾きＧｆの拘束条件を代入することにより、上述の式（８５）の式は、以下の式（８６）で示されるように、２次元多項式で記述することができる。
【１０４２】
【数６１】
2004246524.tif 000124
2004246524.tif 000125
【１０４３】
すなわち、上述の式（８６）は、式（８５）で記述される１次元の近似関数ｆ（ｘ）が、空間方向Ｙに平行移動することにより生じるずれ幅をシフト量α（＝−ｄｙ／Ｇｆ：ｄｙは、空間方向Ｙへの変化量）で表現することにより得られる２次元の関数ｆ（ｘ，ｙ）を記述している。
【１０４４】
したがって、実世界推定部８０２は、入力画像と、定常性方向の角度の情報を用いて、上述の式（８６）の各係数ｗｉを解いて、求められた係数ｗｉを誤差演算部８０３に出力する。
【１０４５】
ここで、図１６６のフローチャートの説明に戻る。
【１０４６】
ステップＳ８０４において、誤差演算部８０３は、実世界推定部８０２より入力された係数から、各画素について再積分を実行する。すなわち、誤差演算部８０３は、実世界推定部８０２より入力された係数から、上述の式（８６）を、以下の式（８７）で示されるように、各画素について積分する。
【１０４７】
【数６２】
2004246524.tif 000126
2004246524.tif 000127
【１０４８】
ここで、ＳＳは、図１６７で示される空間方向の積分結果を示す。また、その積分範囲は、図１６７で示すように、空間方向Ｘについては、ｘｍ乃至ｘｍ＋Ｂであり、空間方向Ｙについては、ｙｍ乃至ｙｍ＋Ａである。また、図１６７においては、各マス目（正方形）は、１画素を示すものとし、空間方向Ｘ，Ｙについて、いずれも１であるものとする。
【１０４９】
従って、誤差演算部８０３は、図１６８で示されるように、近似関数ｆ（ｘ，ｙ）で示される曲面の空間方向Ｘについてｘｍ乃至ｘｍ＋１、および、空間方向Ｙについてｙｍ乃至ｙｍ＋１（Ａ＝Ｂ＝１）で、以下の式（８８）で示されるような積分演算を各画素について実行し、実世界を近似的に表現する近似関数を空間的に積分することにより得られる各画素の画素値ＰＳを演算する。
【１０５０】
【数６３】
2004246524.tif 000128
2004246524.tif 000129
【１０５１】
すなわち、この処理により、誤差演算部８０３は、言わば一種の画素値生成部として機能し、近似関数から画素値を生成する。
【１０５２】
ステップＳ８０５において、誤差演算部８０３は、上述の式（８８）で示したような積分により得られた画素値と、入力画像の画素値との差分を演算し、これを誤差として比較部８０４に出力する。すなわち、誤差演算部８０３は、上述の図１６７，図１６８で示した積分範囲（空間方向Ｘについてｘｍ乃至ｘｍ＋１、および、空間方向Ｙについてｙｍ乃至ｙｍ＋１）に対応する画素の画素値と、画素に対応する範囲の積分結果により得られた画素値との差分を、誤差として求めて比較部８０４に出力する。
【１０５３】
ステップＳ８０６において、比較部８０４は、誤差演算部８０３より入力される積分により得られた画素値と入力画像の画素値との誤差の絶対値が、所定の閾値以下であるか否かを判定する。
【１０５４】
ステップＳ８０６において、誤差が所定の閾値以下であると判定された場合、ステップＳ８０７において、比較部８０４は、積分により得られた画素値が、入力画像の画素の画素値と近い値が得られているので、その画素の画素値を演算するにあたり設定した近似関数が、現実世界の光信号の光の強度分布と十分に近似しているとみなし、今処理した画素の領域は、定常性情報に基づいた近似関数による処理を行う処理領域として認識する。より詳細には、比較部８０４は、図示せぬメモリに今処理した画素が、以降の処理領域の画素であることを記憶させる。
【１０５５】
一方、ステップＳ８０６において、誤差が所定の閾値以下ではないと判定された場合、ステップＳ８０８において、比較部８０４は、積分により得られた画素値が、実際の画素値と離れた値となっているので、その画素の画素値を演算するにあたり設定した近似関数が、現実世界の光信号の光の強度分布と十分に近似していないとみなし、今処理した画素の領域は、後段において定常性情報に基づいた近似関数による処理を行わない非処理領域として認識する。より詳細には、比較部８０４は、図示せぬメモリに今処理した画素の領域が、以降の非処理領域であることを記憶させる。
【１０５６】
ステップＳ８０９において、比較部８０４は、全ての画素で処理が実行されたか否かを判定し、全ての画素で処理が実行されていないと判定された場合、その処理は、ステップＳ８０２に戻り、それ以降の処理が繰り返される。すなわち、全ての画素について、積分による画素値と、入力された画素値との比較がなされ、処理領域であるか否かの判定処理が完了するまで、ステップＳ８０２乃至Ｓ８０９の処理が繰り返される。
【１０５７】
ステップＳ８０９において、全ての画素について、再積分による画素値と、入力された画素値との比較がなされ、処理領域であるか否かの判定処理が完了したと判定された場合、ステップＳ８１０において、比較部８０４は、図示せぬメモリに記憶されている、入力画像について、後段の処理において空間方向の定常性情報に基づいた処理がなされる処理領域と、空間方向の定常性情報に基づいた処理がなされない非処理領域が識別された領域情報を、定常性情報として出力する。
【１０５８】
以上の処理によれば、定常性情報に基づいて演算された近似関数ｆ（ｘ）を用いて各画素に対応する範囲の積分結果により得られた画素値と、実際の入力画像中の画素値との誤差に基づいて、近似関数の表現の確からしさの評価が領域毎（画素毎に）にされることになり、誤差の小さい領域、すなわち、近似関数に基づいた積分により得られる画素値が確からしい画素の存在する領域のみを処理領域とし、それ以外の領域を非処理領域とすることになるので、確からしい領域にのみ空間方向の定常性情報に基づいた処理を施すことができ、必要な処理だけを実行させるようにすることができるため、処理速度を向上させることができると共に、確からしい領域にのみ処理を実行させることができるので、この処理による画質劣化を抑制することが可能となる。
【１０５９】
次に、図１６９を参照して、データ定常性情報としてデータ定常性情報を用いた処理を行う画素の存在する領域情報を出力する、データ定常性情報検出部１０１のその他の実施例について説明する。
【１０６０】
動き検出部８２１は、入力された画像のうち、定常性を有する領域、すなわち、画像上においてフレーム方向に定常性を有する動き（動きベクトルの方向：Ｖｆ）を検出し、検出した動きを実世界推定部８２２に出力する。尚、この動き検出部８２１は、図３におけるデータ定常性検出部１０１と同様のものである。
【１０６１】
実世界推定部８２２は、動き検出部８２１より入力されたデータ定常性の動きと、入力画像の情報に基づいて実世界を推定する。すなわち、実世界推定部８２２は、入力された動きと、入力画像の各画素からフレーム方向（時間方向）の実世界の光信号の強度分布を近似的に記述する近似関数の係数を求めて、求めた係数を実世界の推定結果として誤差演算部８２３に出力する。尚、この実世界推定部８２２は、図３における実世界推定部１０２と同様のものである。
【１０６２】
誤差演算部８２３は、実世界推定部８２２より入力された係数に基づいて、近似的に記述されたフレーム方向の現実世界の光の強度分布を示す近似関数を構成し、さらに、この近似関数からフレーム毎に各画素位置に相当する光の強度を積分して、近似関数により推定された光の強度分布から各画素の画素値を生成し、実際に入力された画素値との差分を誤差として比較部８２４に出力する。
【１０６３】
比較部８２４は、各画素について誤差演算部８２３より入力された誤差と、予め設定された閾値とを比較することにより、定常性情報を用いた処理を施す画素の存在する処理領域と、非処理領域とを識別して、この定常性情報を用いた処理をする処理領域と非処理領域の識別がなされた領域情報を定常性情報として出力する。
【１０６４】
次に、図１７０のフローチャートを参照して、図１６９のデータ定常性検出部１０１による、定常性の検出の処理について説明する。
【１０６５】
ステップＳ８２１において、動き検出部８０１は、入力された画像を取得し、ステップＳ８２２において、定常性を示す動きを検出する。より詳細には、動き検出部８０１は、例えば、入力画像中で動く物体の動き（動きベクトルの方向：Ｖｆ）を検出して、実世界推定部８２２に出力する。
【１０６６】
ステップＳ８２３において、実世界推定部８２２は、動き検出部８２１より入力される動きの情報と、入力画像の情報に基づいて、現実世界を表現するフレーム方向の関数Ｆ（ｔ）に近似的に記述する、多項式からなる関数ｆ（ｔ）の係数を求めて、誤差演算部８２３に出力する。すなわち、現実世界を表現する関数ｆ（ｔ）は、以下の式（８９）のような１次元多項式で示される。
【１０６７】
【数６４】
2004246524.tif 000130
2004246524.tif 000131
【１０６８】
ここで、ｗｉは、多項式の係数であり、実世界推定部８２２は、この係数ｗｉを求めて、誤差演算部８２３に出力する。さらに、動き検出部８２１より入力される動きにより、定常性の動きを求めることができる（Ｖｆ＝ｔａｎ−１θｖ，Ｖｆ：動きベクトルのフレーム方向の傾き，θｖ：動きベクトルのフレーム方向の角度）ので、この傾きの拘束条件を代入することにより、上述の式（８９）の式は、以下の式（９０）で示されるように、２次元多項式で記述することができる。
【１０６９】
【数６５】
2004246524.tif 000132
2004246524.tif 000133
【１０７０】
すなわち、上述の式（９０）は、式（８９）で記述される１次元の近似関数ｆ（ｔ）が、空間方向Ｙに平行移動することにより生じるずれ幅を、シフト量αｔ（＝−ｄｙ／Ｖｆ：ｄｙは、空間方向Ｙへの変化量）で表現することにより得られる２次元の関数ｆ（ｔ，ｙ）を記述している。
【１０７１】
したがって、実世界推定部８２２は、入力画像と、定常性の動きの情報を用いて、上述の式（９０）の各係数ｗｉを解いて、求められた係数ｗｉを誤差演算部８２３に出力する。
【１０７２】
ここで、図１７０のフローチャートの説明に戻る。
【１０７３】
ステップＳ８２４において、誤差演算部８２３は、実世界推定部８２２より入力された係数から、各画素についてフレーム方向に積分を実行する。すなわち、誤差演算部８２３は、実世界推定部８２２より入力された係数から、上述の式（９０）を、以下の式（９１）で示されるように、各画素について積分する。
【１０７４】
【数６６】
2004246524.tif 000134
2004246524.tif 000135
【１０７５】
ここで、Ｓｔは、図１７１で示されるフレーム方向の積分結果を示す。また、その積分範囲は、図１７１で示すように、フレーム方向Ｔについては、Ｔｍ乃至Ｔｍ＋Ｂであり、空間方向Ｙについては、ｙｍ乃至ｙｍ＋Ａである。また、図１７１においては、各マス目（正方形）は、１画素を示すものとし、フレーム方向Ｔ、および、空間方向Ｙのいずれも１であるものとする。ここで、フレーム方向Ｔについて１であるとは、１フレーム分のシャッタ時間を１とすることである。
【１０７６】
従って、誤差演算部８２３は、図１７２で示されるように、近似関数ｆ（ｔ，ｙ）で示される曲面の空間方向ＴについてＴｍ乃至Ｔｍ＋１、および、空間方向Ｙについてｙｍ乃至ｙｍ＋１（Ａ＝Ｂ＝１）で、以下の式（９２）で示されるような積分演算を各画素について実行し、実世界を近似的に表現する関数から得られる各画素の画素値Ｐｔを演算する。
【１０７７】
【数６７】
2004246524.tif 000136
2004246524.tif 000137
【１０７８】
すなわち、この処理により、誤差演算部８２３は、言わば一種の画素値生成部として機能し、近似関数から画素値を生成する。
【１０７９】
ステップＳ８２５において、誤差演算部８０３は、上述の式（９２）で示したような積分により得られた画素値と、入力画像の画素値との差分を演算し、これを誤差として比較部８２４に出力する。すなわち、誤差演算部８２３は、上述の図１７１，図１７２で示した積分範囲（空間方向ＴについてＴｍ乃至Ｔｍ＋１、および、空間方向Ｙについてｙｍ乃至ｙｍ＋１）に対応する画素の画素値と、画素に対応する範囲の積分結果により得られた画素値との差分を、誤差として求めて比較部８２４に出力する。
【１０８０】
ステップＳ８２６において、比較部８２４は、誤差演算部８２３より入力された積分により得られた画素値と入力画像の画素値との誤差の絶対値が、所定の閾値以下であるか否かを判定する。
【１０８１】
ステップＳ８２６において、誤差が所定の閾値以下であると判定された場合、ステップＳ８２７において、比較部８２４は、積分により得られた画素値が、入力画像の画素値と近い値が得られているので、その画素の画素値を演算するにあたり設定した近似関数が、実世界の光信号の光の強度分布と十分に近似されているとみなし、今処理した画素の領域は、処理領域として認識する。より詳細には、比較部８２４は、図示せぬメモリに今処理した画素が、以降の処理領域の画素であることを記憶させる。
【１０８２】
一方、ステップＳ８２６において、誤差が所定の閾値以下ではないと判定された場合、ステップＳ８２８において、比較部８２４は、積分により得られた画素値が、実際の画素値と離れた値となっているので、その画素の画素値を演算するにあたり設定した近似関数が、現実世界の光の強度分布と十分に近似していないとみなし、今処理した画素の領域は、後段において定常性情報に基づいた近似関数による処理を行わない非処理領域として認識する。より詳細には、比較部８２４は、図示せぬメモリに今処理した画素の領域が、以降の非処理領域であることを記憶させる。
【１０８３】
ステップＳ８２９において、比較部８２４は、全ての画素で処理が実行されたか否かを判定し、全ての画素で処理が実行されていないと判定された場合、その処理は、ステップＳ８２２に戻り、それ以降の処理が繰り返される。すなわち、全ての画素について、積分による画素値と、入力された画素値との比較がなされ、処理領域であるか否かの判定処理が完了するまで、ステップＳ８２２乃至Ｓ８２９の処理が繰り返される。
【１０８４】
ステップＳ８２９において、全ての画素について、再積分による画素値と、入力された画素値との比較がなされ、処理領域であるか否かの判定処理が完了したと判定された場合、ステップＳ８３０において、比較部８２４は、図示せぬメモリに記憶されている、入力画像について、後段の処理においてフレーム方向の定常性情報に基づいた処理がなされる処理領域と、フレーム方向の定常性情報に基づいた処理がなされない非処理領域が識別された領域情報を、定常性情報として出力する。
【１０８５】
以上の処理によれば、定常性情報に基づいて演算された近似関数ｆ（ｔ）を用いた各画素に対応する範囲の積分結果により得られた画素値と、実際の入力画像中の画素値との誤差に基づいて、近似関数の表現の確からしさの評価が領域毎（画素毎に）にされることになり、誤差の小さい領域、すなわち、近似関数に基づいて積分により得られる画素値が確からしい画素の存在する領域のみを処理領域とし、それ以外の領域を非処理領域とすることになるので、確からしい領域にのみフレーム方向の定常性情報に基づいた処理を施すことができ、必要な処理だけを実行させるようにすることができるため、処理速度を向上させることができると共に、確からしい領域にのみ処理を実行させることができるので、この処理による画質劣化を抑制することが可能となる。
【１０８６】
図１６５および図１６９のデータ定常性情報検出部１０１の構成を組み合わせて、時空間方向のうち、いずれか１次元を選択して、選択的に領域情報を出力させるようにしてもよい。
【１０８７】
以上によれば、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる画像データにおけるデータの定常性を検出し、検出した定常性に対応して、画像データの時空間方向のうち少なくとも１次元方向の位置に対応する各画素の画素値が少なくとも１次元方向の積分効果により取得された画素値であるとして現実世界の光信号に対応する関数を近似することにより、現実世界の光信号に対応する関数を推定し、推定した関数を少なくとも１次元方向の各画素に対応する単位で積分することにより取得される画素値と、各画素の画素値との差分値を検出し、差分値に応じて関数を選択的に出力するようにしたので、近似関数に基づいて積分により得られる画素値が確からしい画素の存在する領域のみを処理領域とし、それ以外の領域を非処理領域とすることが可能となり、確からしい領域にのみフレーム方向の定常性情報に基づいた処理を施すことができ、必要な処理だけを実行させるようにすることができるため、処理速度を向上させることができると共に、確からしい領域にのみ処理を実行させることができるので、この処理による画質劣化を抑制することが可能となる。
【１０８８】
次に、実世界１の信号の推定について説明する。
【１０８９】
図１７３は、実世界推定部１０２の構成を示すブロック図である。
【１０９０】
図１７３に構成を示す実世界推定部１０２においては、入力画像、および定常性検出部１０１から供給されたデータ定常性情報を基に、実世界１の信号である画像における、細線の幅が検出され、細線のレベル（実世界１の信号の光の強度）が推定される。
【１０９１】
線幅検出部２１０１は、定常性検出部１０１から供給された、細線の画像が射影された画素からなる、細線領域である定常領域を示すデータ定常性情報を基に、細線の幅を検出する。線幅検出部２１０１は、データ定常性情報と共に、検出された細線の幅を示す細線幅情報を信号レベル推定部２１０２に供給する。
【１０９２】
信号レベル推定部２１０２は、入力画像、線幅検出部２１０１から供給された細線の幅を示す細線幅情報、およびデータ定常性情報を基に、実世界１の信号である、細線の画像のレベル、すなわち光の強度のレベルを推定し、細線の幅および細線の画像のレベルを示す実世界推定情報を出力する。
【１０９３】
図１７４および図１７５は、実世界１の信号における、細線の幅を検出する処理を説明する図である。
【１０９４】
図１７４および図１７５において、太線で囲む領域（４つの四角からなる領域）は、１つの画素を示し、点線で囲む領域は、細線の画像が射影された画素からなる、細線領域を示し、丸は、細線領域の重心を示す。図１７４および図１７５において、斜線は、センサ２に入射された細線の画像を示す。斜線は、センサ２に、実世界１の細線の画像が射影された領域を示しているとも言える。
【１０９５】
図１７４および図１７５において、Ｓは、細線領域の重心の位置から算出される傾きを示し、Ｄは、細線領域の重複である。ここで、傾きＳは、細線領域が隣接しているので、画素を単位とした、重心と重心との距離である。また、細線領域の重複Ｄとは、２つの細線領域において、隣接している画素の数である。
【１０９６】
図１７４および図１７５において、Ｗは、細線の幅を示す。
【１０９７】
図１７４において、傾きＳは、２であり、重複Ｄは、２である。
【１０９８】
図１７５において、傾きＳは、３であり、重複Ｄは、１である。
【１０９９】
細線領域が隣接し、細線領域が隣接する方向の重心と重心の距離は、１画素であるので、Ｗ：Ｄ＝１：Ｓが成立し、細線の幅Ｗは、重複Ｄ／傾きＳで求めることができる。
【１１００】
例えば、図１７４で示されるように、傾きＳは、２であり、重複Ｄは、２であるとき、２／２は、１であるから、細線の幅Ｗは、１である。また、例えば、図１７５で示されるように、傾きＳは、３であり、重複Ｄは、１であるとき、細線の幅Ｗは、１／３である。
【１１０１】
線幅検出部２１０１は、このように、細線領域の重心の位置から算出される傾き、および細線領域の重複から、細線の幅を検出する。
【１１０２】
図１７６は、実世界１の信号における、細線の信号のレベルを推定する処理を説明する図である。
【１１０３】
図１７６において、太線で囲む領域（４つの四角からなる領域）は、１つの画素を示し、点線で囲む領域は、細線の画像が射影された画素からなる、細線領域を示す。図１７６において、Ｅは、細線領域の画素を単位とした、細線領域の長さを示し、Ｄは、細線領域の重複（他の細線領域に隣接している画素の数）である。
【１１０４】
細線の信号のレベルは、処理単位（細線領域）内で一定であると近似し、細線が射影された画素の画素値に射影された、細線以外の画像のレベルは、隣接している画素の画素値に対するレベルに等しいと近似する。
【１１０５】
細線の信号のレベルをＣとしたとき、細線領域に射影された信号（画像）における、図中の、細線の信号が射影された部分の左側の部分のレベルをＡとし、図中の、細線の信号が射影された部分の右側の部分のレベルをＢとする。
【１１０６】
このとき、式（９３）が成立する。
【１１０７】
細線領域の画素値の総和＝（Ｅ−Ｄ）／２＊Ａ＋（Ｅ−Ｄ）／２＊Ｂ＋Ｄ＊Ｃ      ・・・（９３）
【１１０８】
細線の幅が一定であり、細線領域の幅は、１画素なので、細線領域の細線（の信号が射影された部分）の面積は、細線領域の重複Ｄに等しい。細線領域の幅は、１画素なので、細線領域の画素を単位とした、細線領域の面積は、細線領域の長さＥに等しい。
【１１０９】
細線領域のうち、細線の左側の面積は、（Ｅ−Ｄ）／２である。細線領域のうち、細線の右側の面積は、（Ｅ−Ｄ）／２である。
【１１１０】
式（９３）の右辺の第１項は、左側に隣接している画素に射影された信号のレベルと同じレベルの信号が射影された画素値の部分であり、式（９４）で表すことができる。
【１１１１】
【数６８】
2004246524.tif 000138
2004246524.tif 000139
【１１１２】
式（９４）において、Ａｉは、左側に隣接している画素の画素値を示す。
【１１１３】
式（９４）において、αｉは、左側に隣接している画素に射影された信号のレベルと同じレベルの信号が、細線領域の画素に射影される面積の割合を示す。すなわち、αｉは、細線領域の画素の画素値に含まれている、左側に隣接している画素の画素値と同じ画素値の割合を示す。
【１１１４】
ｉは、細線領域の左側に隣接している画素の位置を示す。
【１１１５】
例えば、図１７６において、細線領域の画素の画素値に含まれている、細線領域の左側に隣接している画素の画素値Ａ０と同じ画素値の割合は、α０である。図１７６において、細線領域の画素の画素値に含まれている、細線領域の左側に隣接している画素の画素値Ａ１と同じ画素値の割合は、α１である。図１７６において、細線領域の画素の画素値に含まれている、細線領域の左側に隣接している画素の画素値Ａ２と同じ画素値の割合は、α２である。
【１１１６】
式（９３）の右辺の第２項は、右側に隣接している画素に射影された信号のレベルと同じレベルの信号が射影された画素値の部分であり、式（９５）で表すことができる。
【１１１７】
【数６９】
2004246524.tif 000140
2004246524.tif 000141
【１１１８】
式（９５）において、Ｂｊは、右側に隣接している画素の画素値を示す。
【１１１９】
式（９５）において、βｊは、右側に隣接している画素に射影された信号のレベルと同じレベルの信号が、細線領域の画素に射影される面積の割合を示す。すなわち、βｊは、細線領域の画素の画素値に含まれている、右側に隣接している画素の画素値と同じ画素値の割合を示す。
【１１２０】
ｊは、細線領域の右側に隣接している画素の位置を示す。
【１１２１】
例えば、図１７６において、細線領域の画素の画素値に含まれている、細線領域の右側に隣接している画素の画素値Ｂ０と同じ画素値の割合は、β０である。図１７６において、細線領域の画素の画素値に含まれている、細線領域の右側に隣接している画素の画素値Ｂ１と同じ画素値の割合は、β１である。図１７６において、細線領域の画素の画素値に含まれている、細線領域の右側に隣接している画素の画素値Ｂ２と同じ画素値の割合は、β２である。
【１１２２】
このように、信号レベル推定部２１０２は、式（９４）および式（９５）を基に、細線領域に含まれる画素値のうちの、細線以外の画像の画素値を算出し、式（９３）を基に、細線領域の画素値から細線以外の画像の画素値を除去することにより、細線領域に含まれる画素値のうちの、細線のみの画像の画素値を求める。そして、信号レベル推定部２１０２は、細線のみの画像の画素値と細線の面積とから、細線の信号のレベルを求める。より具体的には、信号レベル推定部２１０２は、細線領域に含まれる画素値のうちの、細線のみの画像の画素値を、細線領域の細線の面積、すなわち細線領域の重複Ｄで割り算することにより、細線の信号のレベルを算出する。
【１１２３】
信号レベル推定部２１０２は、実世界１の信号における、細線の幅、および細線の信号のレベルを示す実世界推定情報を出力する。
【１１２４】
本発明の手法では、細線の波形を画素ではなく幾何学的に記述しているので、どのような解像度でも使用することができる。
【１１２５】
次に、ステップＳ１０２の処理に対応する、実世界の推定の処理を図１７７のフローチャートを参照して説明する。
【１１２６】
ステップＳ２１０１において、線幅検出部２１０１は、データ定常性情報を基に、細線の幅を検出する。例えば、線幅検出部２１０１は、細線領域の重心の位置から算出される傾き、および細線領域の重複から、重複を傾きで割り算することにより、実世界１の信号における、細線の幅を推定する。
【１１２７】
ステップＳ２１０２において、信号レベル推定部２１０２は、細線の幅、および細線領域に隣接する画素の画素値を基に、細線の信号のレベルを推定し、推定された細線の幅および細線の信号のレベルを示す実世界推定情報を出力して、処理は終了する。例えば、信号レベル推定部２１０２は、細線領域に含まれる細線以外の画像が射影された画素値を算出し、細線領域から細線以外の画像が射影された画素値を除去することにより、細線のみの画像が射影された画素値を求めて、求められた細線のみの画像が射影された画素値と細線の面積とから、細線の信号のレベルを算出することにより、実世界１の信号における、細線のレベルを推定する。
【１１２８】
このように、実世界推定部１０２は、実世界１の信号の細線の幅およびレベルを推定することができる。
【１１２９】
以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した第１の画像データの、データの定常性を検出し、データの定常性に対応する現実世界の光信号の波形を表すモデルに基いて、第１の画像データの定常性から現実世界の光信号の波形を推定し、推定された光信号を第２の画像データに変換するようにした場合、現実世界の光信号に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【１１３０】
図１７８は、実世界推定部１０２の他の構成を示すブロック図である。
【１１３１】
図１７８に構成を示す実世界推定部１０２においては、入力画像、およびデータ定常性検出部１０１から供給されたデータ定常性情報を基に、領域が再度検出され、再度検出された領域を基に、実世界１の信号である画像における、細線の幅が検出され、実世界１の信号の光の強度（レベル）が推定される。例えば、図１７８に構成を示す実世界推定部１０２においては、細線の画像が射影された画素からなる定常性領域が再度検出され、再度検出された領域を基に、実世界１の信号である画像における、細線の幅が検出され、実世界１の信号の光の強度が推定される。
【１１３２】
データ定常性検出部１０１から供給され、図１７８に構成を示す実世界推定部１０２に入力されるデータ定常性情報には、データ３である入力画像のうちの、細線の画像が射影された定常成分以外の非定常成分を示す非定常成分情報、定常領域の中の単調増減領域を示す単調増減領域情報、および定常領域を示す情報などが含まれている。例えば、データ定常性情報に含まれる非定常成分情報は、入力画像における背景などの非定常成分を近似する平面の傾きおよび切片からなる。
【１１３３】
実世界推定部１０２に入力されたデータ定常性情報は、境界検出部２１２１に供給される。実世界推定部１０２に入力された入力画像は、境界検出部２１２１および信号レベル推定部２１０２に供給される。
【１１３４】
境界検出部２１２１は、データ定常性情報に含まれる非定常成分情報、および入力画像から、細線の画像が射影された定常成分のみからなる画像を生成し、定常成分のみからなる画像を基に、画素に射影された、実世界１の信号である細線の画像が射影された割合を示す分配比を算出し、算出された分配比から細線領域の境界を示す回帰直線を算出することにより、定常領域である細線領域を再び検出する。
【１１３５】
図１７９は、境界検出部２１２１の構成を示すブロック図である。
【１１３６】
分配比算出部２１３１は、データ定常性情報、データ定常性情報に含まれる非定常成分情報、および入力画像から、細線の画像が射影された定常成分のみからなる画像を生成する。より具体的には、分配比算出部２１３１は、データ定常性情報に含まれる単調増減領域情報を基に、入力画像から、定常領域の中の隣り合う単調増減領域を検出し、検出された単調増減領域に属する画素の画素値から、定常成分情報に含まれる傾きおよび切片で示される平面で近似される近似値を引き算することにより、細線の画像が射影された定常成分のみからなる画像を生成する。
【１１３７】
なお、分配比算出部２１３１は、入力画像の画素の画素値から、定常成分情報に含まれる傾きおよび切片で示される平面で近似される近似値を引き算することにより、細線の画像が射影された定常成分のみからなる画像を生成するようにしてもよい。
【１１３８】
分配比算出部２１３１は、生成された定常成分のみからなる画像を基に、実世界１の信号である細線の画像が、定常領域の中の隣り合う単調増減領域に属する２つの画素に分配された割合を示す分配比を算出する。分配比算出部２１３１は、算出した分配比を回帰直線算出部２１３２に供給する。
【１１３９】
図１８０乃至図１８２を参照して、分配比算出部２１３１における、分配比の算出の処理を説明する。
【１１４０】
図１８０の左側の２列の数値は、入力画像の画素値から、定常成分情報に含まれる傾きおよび切片で示される平面で近似される近似値を引き算することにより、算出された画像のうち、縦に２列の画素の画素値を示す。図１８０の左側の四角で囲む２つの領域は、隣り合う２つの単調増減領域である、単調増減領域２１４１−１および単調増減領域２１４１−２を示す。すなわち、単調増減領域２１４１−１および単調増減領域２１４１−２に示す数値は、データ定常性検出部１０１において検出された定常性領域である単調増減領域に属する画素の画素値を示す。
【１１４１】
図１８０の右側の１列の数値は、図１８０の左側の２列の画素の画素値のうち、横に並ぶ画素の画素値を加算した値を示す。すなわち、図１８０の右側の１列の数値は、縦に１列の画素からなる単調増減領域であって、２つの隣接するものについて、横に隣接する画素毎に、細線の画像が射影された画素値を加算した値を示す。
【１１４２】
例えば、それぞれ、縦に１列の画素からなり、隣接する単調増減領域２１４１−１および単調増減領域２１４１−２のいずれかに属し、横に隣接する画素の画素値が、２および５８であるとき、加算した値は、６０である。それぞれ、縦に１列の画素からなり、隣接する単調増減領域２１４１−１および単調増減領域２１４１−２のいずれかに属し、横に隣接する画素の画素値が、１および６５であるとき、加算した値は、６６である。
【１１４３】
図１８０の右側の１列の数値、すなわち、縦に１列の画素からなり、２つの隣接する単調増減領域の横方向に隣接する画素について、細線の画像が射影された画素値を加算した値は、ほぼ一定となることがわかる。
【１１４４】
同様に、横に１列の画素からなり、２つの隣接する単調増減領域の縦方向に隣接する画素について、細線の画像が射影された画素値を加算した値は、ほぼ一定となる。
【１１４５】
分配比算出部２１３１は、２つの隣接する単調増減領域の隣接する画素について、細線の画像が射影された画素値を加算した値が、ほぼ一定となる性質を利用して、細線の画像が１列の画素の画素値にどのように分配されているかを算出する。
【１１４６】
分配比算出部２１３１は、図１８１に示すように、縦に１列の画素からなる単調増減領域であって、２つの隣接するものに属する画素の画素値を、横に隣接する画素毎に、細線の画像が射影された画素値を加算した値で割り算することにより、２つの隣接する単調増減領域に属する各画素について、分配比を算出する。ただし、算出された結果、１００を超える分配比には、１００が設定される。
【１１４７】
例えば、図１８１に示すように、縦に１列の画素からなる単調増減領域であって、２つの隣接するものに属する、横に隣接する画素の画素値が、それぞれ２および５８であるとき、加算した値が６０なので、それぞれの画素に対して、３．５および９５．０である分配比が算出される。縦に１列の画素からなる単調増減領域であって、２つの隣接するものに属する、横に隣接する画素の画素値が、それぞれ１および６５であるとき、加算した値が６５なので、それぞれの画素に対して、１．５および９８．５である分配比が算出される。
【１１４８】
この場合において、３つの単調増減領域が隣接する場合、どちらの列から計算するかは、図１８２で示されるように、横に隣接する画素毎に、細線の画像が射影された画素値を加算した、２つの値のうち、頂点Ｐの画素値により近い値を基に、分配比が算出される。
【１１４９】
例えば、頂点Ｐの画素値が８１であり、注目している単調増減領域に属する画素の画素値が７９であるとき、左側に隣接する画素の画素値が３であり、右側に隣接する画素の画素値が−１である場合、左側に隣接する画素の画素値を加算した値が、８２であり、右側に隣接する画素の画素値を加算した値が、７８なので、頂点Ｐの画素値８１により近い、８２が選択され、左側に隣接する画素を基に、分配比が算出される。同様に、頂点Ｐの画素値が８１であり、注目している単調増減領域に属する画素の画素値が７５であるとき、左側に隣接する画素の画素値が０であり、右側に隣接する画素の画素値が３である場合、左側に隣接する画素の画素値を加算した値が、７５であり、右側に隣接する画素の画素値を加算した値が、７８なので、頂点Ｐの画素値８１により近い、７８が選択され、右側に隣接する画素を基に、分配比が算出される。
【１１５０】
このように、分配比算出部２１３１は、縦に１列の画素からなる単調増減領域について、分配比を算出する。
【１１５１】
分配比算出部２１３１は、同様の処理で、横に１列の画素からなる単調増減領域について、分配比を算出する。
【１１５２】
回帰直線算出部２１３２は、単調増減領域の境界が直線であると仮定して、分配比算出部２１３１において算出された分配比を基に、単調増減領域の境界を示す回帰直線を算出することにより、定常領域の中の単調増減領域を再び検出する。
【１１５３】
図１８３および図１８４を参照して、回帰直線算出部２１３２における、単調増減領域の境界を示す回帰直線の算出の処理を説明する。
【１１５４】
図１８３において、白丸は、単調増減領域２１４１−１乃至単調増減領域２１４１−５の上側の境界に位置する画素を示す。回帰直線算出部２１３２は、回帰の処理により、単調増減領域２１４１−１乃至単調増減領域２１４１−５の上側の境界について回帰直線を算出する。例えば、回帰直線算出部２１３２は、単調増減領域２１４１−１乃至単調増減領域２１４１−５の上側の境界に位置する画素との距離の自乗の和が最小となる直線Ａを算出する。
【１１５５】
また、図１８３において、黒丸は、単調増減領域２１４１−１乃至単調増減領域２１４１−５の下側の境界に位置する画素を示す。回帰直線算出部２１３２は、回帰の処理により、単調増減領域２１４１−１乃至単調増減領域２１４１−５の下側の境界について回帰直線を算出する。例えば、回帰直線算出部２１３２は、単調増減領域２１４１−１乃至単調増減領域２１４１−５の下側の境界に位置する画素との距離の自乗の和が最小となる直線Ｂを算出する。
【１１５６】
回帰直線算出部２１３２は、算出された回帰直線を基に、単調増減領域の境界を決定することにより、定常領域の中の単調増減領域を再び検出する。
【１１５７】
図１８４に示すように、回帰直線算出部２１３２は、算出された直線Ａを基に、単調増減領域２１４１−１乃至単調増減領域２１４１−５の上側の境界を決定する。例えば、回帰直線算出部２１３２は、単調増減領域２１４１−１乃至単調増減領域２１４１−５のそれぞれについて、算出された直線Ａに最も近い画素から上側の境界を決定する。例えば、回帰直線算出部２１３２は、単調増減領域２１４１−１乃至単調増減領域２１４１−５のそれぞれについて、算出された直線Ａに最も近い画素が領域に含まれるように上側の境界を決定する。
【１１５８】
図１８４に示すように、回帰直線算出部２１３２は、算出された直線Ｂを基に、単調増減領域２１４１−１乃至単調増減領域２１４１−５の下側の境界を決定する。例えば、回帰直線算出部２１３２は、単調増減領域２１４１−１乃至単調増減領域２１４１−５のそれぞれについて、算出された直線Ｂに最も近い画素から下側の境界を決定する。例えば、回帰直線算出部２１３２は、単調増減領域２１４１−１乃至単調増減領域２１４１−５のそれぞれについて、算出された直線Ｂに最も近い画素が領域に含まれるように上側の境界を決定する。
【１１５９】
このように、回帰直線算出部２１３２は、データ定常性検出部１０１により検出された定常領域の境界を回帰する回帰線に基づいて、頂点から単調に画素値が増加または減少している領域を再び検出する。すなわち、回帰直線算出部２１３２は、算出された回帰直線を基に、単調増減領域の境界を決定することにより、定常領域の中の単調増減領域である領域を再び検出し、検出した領域を示す領域情報を線幅検出部２１０１に供給する。
【１１６０】
以上のように、境界検出部２１２１は、画素に射影された、実世界１の信号である細線の画像が射影された割合を示す分配比を算出し、算出された分配比から単調増減領域の境界を示す回帰直線を算出することにより、定常領域の中の単調増減領域を再び検出する。このようにすることで、より正確な単調増減領域を検出することができる。
【１１６１】
図１７８に示す線幅検出部２１０１は、境界検出部２１２１から供給された、再度検出された領域を示す領域情報を基に、図１７３に示す場合と同様の処理で、細線の幅を検出する。線幅検出部２１０１は、データ定常性情報と共に、検出された細線の幅を示す細線幅情報を信号レベル推定部２１０２に供給する。
【１１６２】
図１７８に示す信号レベル推定部２１０２の処理は、図１７３に示す場合と同様の処理なので、その説明は省略する。
【１１６３】
図１８５は、ステップＳ１０２の処理に対応する、図１７８に構成を示す実世界推定部１０２による、実世界の推定の処理を説明するフローチャートである。
【１１６４】
ステップＳ２１２１において、境界検出部２１２１は、データ定常性検出部１０１により検出された定常領域に属する画素の画素値に基づいて、再び領域を検出する、境界検出の処理を実行する。境界検出の処理の詳細は、後述する。
【１１６５】
ステップＳ２１２２およびステップＳ２１２３の処理は、ステップＳ２１０１およびステップＳ２１０２の処理と同様なので、その説明は省略する。
【１１６６】
図１８６は、ステップＳ２１２１の処理に対応する、境界検出の処理を説明するフローチャートである。
【１１６７】
ステップＳ２１３１において、分配比算出部２１３１は、単調増減領域を示すデータ定常性情報および入力画像を基に、細線の画像が射影された割合を示す分配比を算出する。例えば、分配比算出部２１３１は、データ定常性情報に含まれる単調増減領域情報を基に、入力画像から、定常領域の中の隣り合う単調増減領域を検出し、検出された単調増減領域に属する画素の画素値から、定常成分情報に含まれる傾きおよび切片で示される平面で近似される近似値を引き算することにより、細線の画像が射影された定常成分のみからなる画像を生成する。そして、分配比算出部２１３１は、１列の画素からなる単調増減領域であって、２つの隣接するものに属する画素の画素値を、隣接する画素の画素値の和で割り算することにより、２つの隣接する単調増減領域に属する各画素について、分配比を算出する。
【１１６８】
分配比算出部２１３１は、算出された分配比を回帰直線算出部２１３２に供給する。
【１１６９】
ステップＳ２１３２において、回帰直線算出部２１３２は、細線の画像が射影された割合を示す分配比を基に、単調増減領域の境界を示す回帰直線を算出することにより、定常領域の中の領域を再び検出する。例えば、回帰直線算出部２１３２は、単調増減領域の境界が直線であると仮定して、単調増減領域の一端の境界を示す回帰直線を算出し、単調増減領域の他の一端の境界を示す回帰直線を算出することにより、定常領域の中の単調増減領域を再び検出する。
【１１７０】
回帰直線算出部２１３２は、再び検出された、定常領域の中の領域を示す領域情報を線幅検出部２１０１に供給して、処理は終了する。
【１１７１】
このように、図１７８に構成を示す実世界推定部１０２は、細線の画像が射影された画素からなる領域を再度検出し、再度検出された領域を基に、実世界１の信号である画像における、細線の幅を検出し、実世界１の信号の光の強度（レベル）を推定する。このようにすることで、実世界１の信号に対して、より正確に、細線の幅を検出し、より正確に、光の強度を推定することができる。
【１１７２】
以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した第１の画像データにおける、複数の画素の画素値の不連続部を検出し、検出された不連続部から、データの定常性を有する定常領域を検出し、検出された定常領域に属する画素の画素値に基づいて、再び領域を検出し、再び検出された領域に基づいて実世界を推定するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【１１７３】
次に、図１８７を参照して、定常性を有する領域における、画素毎の空間方向の近似関数の微分値を実世界推定情報として出力する実世界推定部１０２について説明する。
【１１７４】
参照画素抽出部２２０１は、データ定常性検出部１０１より入力されるデータ定常性情報（定常性の角度、または、領域の情報）に基づいて、入力画像の各画素が処理領域であるか否かを判定し、処理領域である場合には、入力画像から実世界の近似関数を求めるために必要な参照画素の情報（演算に必要な注目画素周辺の複数の画素の位置、および、画素値の情報）を抽出して、近似関数推定部２２０２に出力する。
【１１７５】
近似関数推定部２２０２は、参照画素抽出部２２０１より入力された参照画素の情報に基づいて注目画素周辺の現実世界を近似的に記述する近似関数を最小自乗法に基づいて推定し、推定した近似関数を微分処理部２２０３に出力する。
【１１７６】
微分処理部２２０３は、近似関数推定部２２０２より入力された近似関数に基づいて、データ定常性情報の角度（例えば、細線や２値エッジの所定の軸に対する角度：傾き）に応じて、注目画素から生成しようとする画素の位置のシフト量を求め、そのシフト量に応じた近似関数上の位置における微分値（定常性に対応する線からの１次元方向に沿った距離に対応する各画素の画素値を近似する関数の微分値）を演算し、さらに、注目画素の位置、画素値、および、定常性の傾きの情報を付加して、これを実世界推定情報として画像生成部１０３に出力する。
【１１７７】
次に、図１８８のフローチャートを参照して、図１８７の実世界推定部１０２による実世界推定の処理について説明する。
【１１７８】
ステップＳ２２０１において、参照画素抽出部２２０１は、入力画像と共に、データ定常性検出部１０１よりデータ定常性情報としての角度、および、領域の情報を取得する。
【１１７９】
ステップＳ２２０２において、参照画素抽出部２２０１は、入力画像の未処理画素から注目画素を設定する。
【１１８０】
ステップＳ２２０３において、参照画像抽出部２２０１は、データ定常性情報の領域の情報に基づいて、注目画素が、処理領域のものであるか否かを判定し、処理領域の画素ではないと判定した場合、その処理は、ステップＳ２２１０に進み、その注目画素については、処理領域外であることを近似関数推定部２２０２を介して、微分処理部２２０３に伝え、これに応じて、微分処理部２２０３が、対応する注目画素についての微分値を０として、さらに、その注目画素の画素値を付加して実世界推定情報として画像生成部１０３に出力すると共に、その処理は、ステップＳ２２１１に進む。また、注目画素が処理領域のものであると判定された場合、その処理は、ステップＳ２２０４に進む。
【１１８１】
ステップＳ２２０４において、参照画素抽出部２２０１は、データ定常性情報に含まれる角度の情報から、データ定常性の有する方向が、水平方向に近い角度か、または、垂直に近い角度であるか否かを判定する。すなわち、参照画素抽出部２２０１は、データ定常性の有する角度θが、０度≦θ＜４５度、または、１３５度≦θ＜１８０度となる場合、注目画素の定常性の方向は、水平方向に近いと判定し、データ定常性の有する角度θが、４５度≦θ＜１３５度となる場合、注目画素の定常性の方向は、垂直方向に近いと判定する。
【１１８２】
ステップＳ２２０５において、参照画素抽出部２２０１は、判定した方向に対応した参照画素の位置情報、および、画素値をそれぞれ入力画像から抽出し、近似関数推定部２２０２に出力する。すなわち、参照画素は、後述する近似関数を演算する際に使用されるデータとなるので、傾きに応じて抽出されることが望ましい。従って、水平方向、または、垂直方向のいずれかの判定方向に対応して、その方向に長い範囲の参照画素が抽出される。より具体的には、例えば、図１８９で示されるように、傾きＧｆが垂直方向に近いと、垂直方向であると判定され、この場合、参照画素抽出部２２０１は、例えば、図１８９で示されるように、図１８９中の中央の画素（０，０）を注目画素とするとき、画素（−１，２），（−１，１），（−１，０），（−１，−１），（−１，−２），（０，２），（０，１），（０，０），（０，−１），（０，−２），（１，２），（１，１），（１，０），（１，−１），（１，−２）のそれぞれの画素値を抽出する。尚、図１８９においては、各画素の水平方向、および、垂直方向の大きさが１であるものとする。
【１１８３】
すなわち、参照画素抽出部２２０１は、注目画素を中心として垂直（上下）方向にそれぞれ２画素×水平（左右）方向にそれぞれ１画素の合計１５画素となるように、垂直方向に長い範囲の画素を参照画素として抽出する。
【１１８４】
逆に、水平方向であると判定された場合、注目画素を中心として垂直（上下）方向にそれぞれ１画素×水平（左右）方向にそれぞれ２画素の合計１５画素となるように、水平方向に長い範囲の画素を参照画素として抽出して、近似関数推定部２２０２に出力する。もちろん、参照画素は、上述のように１５画素に限定されるものではなく、それ以外の個数であってもよい。
【１１８５】
ステップＳ２２０６において、近似関数推定部２２０２は、参照画素抽出部２２０１より入力された参照画素の情報に基づいて、最小自乗法により近似関数ｆ（ｘ）を推定し、微分処理部２２０３に出力する。
【１１８６】
すなわち、近似関数ｆ（ｘ）は、以下の式（９６）で示されるような多項式である。
【１１８７】
【数７０】
2004246524.tif 000142
2004246524.tif 000143
【１１８８】
このように、式（９６）の多項式の各係数Ｗ１乃至Ｗｎ＋１が求められれば、実世界を近似する近似関数ｆ（ｘ）が求められることになる。しかしながら、係数の数よりも多くの参照画素値が必要となるので、例えば、参照画素が、図１８９で示されるような場合、合計１５画素であるので、多項式の係数は、１５個までしか求められない。そこで、この場合、多項式は、１４次までの多項式とし、係数Ｗ１乃至Ｗ１５を求めることにより近似関数を推定するものとする。尚、今の場合、１５次の多項式からなる近似関数ｆ（ｘ）を設定して、連立方程式としてもよい。
【１１８９】
従って、図１８９で示される１５個の参照画素値を用いるとき、近似関数推定部２２０２は、以下の式（９７）を、最小自乗法を用いて解くことにより推定する。
【１１９０】
2004246524.tif 000144
【１１９１】
尚、多項式の次数にあわせて、参照画素の数を変えるようにしてもよい。
【１１９２】
ここで、Ｃｘ（ｔｙ）は、シフト量であり、定常性の傾きがＧｆで示されるとき、Ｃｘ（ｔｙ）＝ｔｙ／Ｇｆで定義される。このシフト量Ｃｘ（ｔｙ）は、空間方向Ｙ＝０の位置上で定義される近似関数ｆ（ｘ）が、傾きＧｆに沿って、連続している（定常性を有している）ことを前提としたとき、空間方向Ｙ＝ｔｙの位置における、空間方向Ｘに対するずれ幅を示すものである。従って、例えば、空間方向Ｙ＝０の位置上で近似関数がｆ（ｘ）として定義されている場合、この近似関数ｆ（ｘ）は、空間方向Ｙ＝ｔｙにおいては、傾きＧｆに沿って空間方向ＸについてＣｘ（ｔｙ）だけずれているはずなので、関数は、ｆ（ｘ−Ｃｘ（ｔｙ））（＝ｆ（ｘ−ｔｙ／Ｇｆ））で定義されることになる。
【１１９３】
ステップＳ２２０７において、微分処理部２２０３は、近似関数推定部２２０２より入力された近似関数ｆ（ｘ）に基づいて、生成しようとする画素の位置における、シフト量を求める。
【１１９４】
すなわち、水平方向、および、垂直方向にそれぞれ２倍の密度（合計４倍の密度）となるように画素を生成する場合、微分処理部２２０３は、例えば、まず、垂直方向に２倍の密度となる画素Ｐａ，Ｐｂに２分割するために、図１９０で示されるように、注目画素の中心位置がＰｉｎ（Ｘｉｎ，Ｙｉｎ）での微分値を求めるため、中心位置のＰｉｎ（Ｘｉｎ，Ｙｉｎ）のシフト量を求める。このシフト量は、Ｃｘ（０）となるため、実質的には０となる。尚、図１９０中において、画素Ｐｉｎは、（Ｘｉｎ，Ｙｉｎ）を略重心位置とする正方形であり、画素Ｐａ，Ｐｂは、（Ｘｉｎ，Ｙｉｎ＋０．２５）、（Ｘｉｎ，Ｙｉｎ−０．２５）をそれぞれ略重心位置とする図中水平方向に長い長方形である。
【１１９５】
ステップＳ２２０８において、微分処理部２２０３は、近似関数ｆ（ｘ）を微分して、近似関数の１次微分関数ｆ（ｘ）’を求め、求められたシフト量に応じた位置での微分値を求めて、これを実世界推定情報として画像生成部１０３に出力する。すなわち、今の場合、微分処理部２２０３は、微分値ｆ（Ｘｉｎ）’を求め、その位置（今の場合、注目画素（Ｘｉｎ，Ｙｉｎ））と、その画素値、および、定常性の方向の傾きの情報とを付加して出力する。
【１１９６】
ステップＳ２２０９において、微分処理部２２０３は、求められている密度の画素を生成するのに必要なだけの微分値が求められているか否かを判定する。例えば、今の場合、２倍の密度となるための微分値のみしか求められていない（空間方向Ｙ方向について２倍の密度となるための微分値のみしか求められていない）ので、求められている密度の画素を生成するのに必要なだけの微分値が求められていないと判定し、その処理は、ステップＳ２２０７に戻る。
【１１９７】
ステップＳ２２０７において、微分処理部２２０３は、再度、近似関数推定部２２０２より入力された近似関数ｆ（ｘ）に基づいて、生成しようとする画素の位置における、シフト量を求める。すなわち、微分処理部２２０３は、今の場合、２分割された画素Ｐａ，Ｐｂのそれぞれを２分割するために必要な微分値をそれぞれ求める。画素Ｐａ，Ｐｂの画素の位置は、図１９０における黒丸で示すそれぞれの位置であるので、微分処理部２２０３は、それぞれの位置に対応するシフト量を求める。画素Ｐａ，Ｐｂのシフト量は、それぞれＣｘ（０．２５），Ｃｘ（−０．２５）となる。
【１１９８】
ステップＳ２２０８において、微分処理部２２０３は、近似関数ｆ（ｘ）を１次微分して、画素Ｐａ，Ｐｂのそれぞれに対応したシフト量に応じた位置での微分値を求めて、これを実世界推定情報として画像生成部１０３に出力する。
【１１９９】
すなわち、図１８９で示した参照画素を使用する場合、微分処理部２２０３は、図１９１で示すように、求められた近似関数ｆ（ｘ）について微分関数ｆ（ｘ）’を求め、空間方向Ｘについて、シフト量Ｃｘ（０．２５），Ｃｘ（−０．２５）だけずれた位置となる（Ｘｉｎ−Ｃｘ（０．２５））と（Ｘｉｎ−Ｃｘ（−０．２５））の位置での微分値をそれぞれｆ（Ｘｉｎ−Ｃｘ（０．２５））’，ｆ（Ｘｉｎ−Ｃｘ（−０．２５））’として求め、その微分値に対応する位置情報を付加して、これを実世界推定情報として出力する。尚、最初の処理で画素値の情報が出力されているので画素値の情報は付加されない。
【１２００】
ステップＳ２２０９において、再び、微分処理部２２０３は、求められている密度の画素を生成するのに必要なだけの微分値が求められているか否かを判定する。例えば、今の場合、４倍の密度となるための微分値が求められたことになるので、求められている密度の画素を生成するのに必要なだけの微分値が求められたと判定し、その処理は、ステップＳ２２１１に進む。
【１２０１】
ステップＳ２２１１において、参照画素抽出部２２０１は、全ての画素を処理したか否かを判定し、全ての画素を処理していないと判定した場合、その処理は、ステップＳ２２０２に戻る。また、ステップＳ２２１１において、全ての画素を処理したと判定した場合、その処理は、終了する。
【１２０２】
上述のように、入力画像について、水平方向、および、垂直方向に４倍の密度となるように画素を生成する場合、画素は、分割される画素の中央の位置の近似関数の微分値を用いて、外挿補間により分割されるので、４倍密度の画素を生成するには、合計３個の微分値の情報が必要となる。
【１２０３】
すなわち、図１９０で示されるように、１画素について最終的には、画素Ｐ０１，Ｐ０２，Ｐ０３，Ｐ０４の４画素（図１９０において、画素Ｐ０１，Ｐ０２，Ｐ０３，Ｐ０４は、図中の４個のバツ印の位置を重心位置とする正方形であり、各辺の長さは、画素Ｐｉｎが、それぞれ１であるので、画素Ｐ０１，Ｐ０２，Ｐ０３，Ｐ０４は、それぞれ略０．５となる）の生成に必要な微分値が必要となるので、４倍密度の画素を生成するには、まず、水平方向、または、垂直方向（今の場合、垂直方向）に２倍密度の画素を生成し（上述の最初のステップＳ２２０７，Ｓ２２０８の処理）、さらに、分割された２画素を、それぞれ最初に分割した方向と垂直の方向（今の場合、水平方向）に分割する（上述の２回目のステップＳ２２０７，Ｓ２２０８の処理）ためである。
【１２０４】
尚、以上の例においては、４倍密度の画素を演算する際の微分値を例として説明してきたが、それ以上の密度の画素を演算する場合、ステップＳ２２０７乃至Ｓ２２０９の処理を繰り返すことにより、画素値の演算に必要なさらに多くの微分値を求めるようにしてもよい。また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数ｆ（ｘ）は連続関数であるので、倍密度以外の画素値についても必要な微分値を求めることが可能となる。
【１２０５】
以上によれば、注目画素近傍の画素の画素値を使用して、実世界を近似的に表現する近似関数を求め、空間方向の画素の生成必要な位置の微分値を実世界推定情報として出力することが可能となる。
【１２０６】
以上の図１８７において説明した実世界推定部１０２においては、画像を生成するのに必要な微分値を実世界推定情報として出力していたが、微分値とは、必要な位置での近似関数ｆ（ｘ）の傾きと同値のものである。
【１２０７】
そこで、次は、図１９２を参照して、近似関数ｆ（ｘ）を求めることなく、画素生成に必要な近似関数ｆ（ｘ）上の傾きのみを直接求めて、実世界推定情報として出力する実世界推定部１０２について説明する。
【１２０８】
参照画素抽出部２２１１は、データ定常性検出部１０１より入力されるデータ定常性情報（定常性の角度、または、領域の情報）に基づいて、入力画像の各画素が処理領域であるか否かを判定し、処理領域である場合には、入力画像から傾きを求めるために必要な参照画素の情報（演算に必要な注目画素を含む垂直方向に並ぶ周辺の複数の画素、または、注目画素を含む水平方向に並ぶ周辺の複数の画素の位置、および、それぞれの画素値の情報）を抽出して、傾き推定部２２１２に出力する。
【１２０９】
傾き推定部２２１２は、参照画素抽出部２２１１より入力された参照画素の情報に基づいて、画素生成に必要な画素位置の傾きの情報を生成して、実世界推定情報として画像生成部１０３に出力する。より詳細には、傾き推定部２２１２は、画素間の画素値の差分情報を用いて、実世界を近似的に表現する近似関数ｆ（ｘ）上の注目画素の位置における傾きを求め、これに、注目画素の位置情報、画素値、および、定常性の方向の傾きの情報を実世界推定情報として出力する。
【１２１０】
次に、図１９３のフローチャートを参照して、図１９２の実世界推定部１０２による実世界推定の処理について説明する。
【１２１１】
ステップＳ２２２１において、参照画素抽出部２２１１は、入力画像と共に、データ定常性検出部１０１よりデータ定常性情報としての角度、および、領域の情報を取得する。
【１２１２】
ステップＳ２２２２において、参照画素抽出部２２１１は、入力画像の未処理画素から注目画素を設定する。
【１２１３】
ステップＳ２２２３において、参照画像抽出部２２１１は、データ定常性情報の領域の情報に基づいて、注目画素が、処理領域のものであるか否かを判定し、処理領域の画素ではないと判定した場合、その処理は、ステップＳ２２２８に進み、その注目画素については、処理領域外であることを傾き推定部２２１２に伝え、これに応じて、傾き推定部２２１２が、対応する注目画素についての傾きを０として、さらに、その注目画素の画素値を付加して実世界推定情報として画像生成部１０３に出力すると共に、その処理は、ステップＳ２２２９に進む。また、注目画素が処理領域のものであると判定された場合、その処理は、ステップＳ２２２４に進む。
【１２１４】
ステップＳ２２２４において、参照画素抽出部２２１１は、データ定常性情報に含まれる角度の情報から、データ定常性の有する方向が、水平方向に近い角度か、または、垂直に近い角度であるか否かを判定する。すなわち、参照画素抽出部２２１１は、データ定常性の有する角度θが、０度≦θ＜４５度、または、１３５度≦θ＜１８０度となる場合、注目画素の定常性の方向は、水平方向に近いと判定し、データ定常性の有する角度θが、４５度≦θ＜１３５度となる場合、注目画素の定常性の方向は、垂直方向に近いと判定する。
【１２１５】
ステップＳ２２２５において、参照画素抽出部２２１１は、判定した方向に対応した参照画素の位置情報、および、画素値をそれぞれ入力画像から抽出し、傾き推定部２２１２に出力する。すなわち、参照画素は、後述する傾きを演算する際に使用されるデータとなるので、定常性の方向を示す傾きに応じて抽出されることが望ましい。従って、水平方向、または、垂直方向のいずれかの判定方向に対応して、その方向に長い範囲の参照画素が抽出される。より具体的には、例えば、傾きが垂直方向に近いと判定された場合、参照画素抽出部２２１１は、図１９４で示されるように、図１９４中の中央の画素（０，０）を注目画素とするとき、画素（０，２），（０，１），（０，０），（０，−１），（０，−２）のそれぞれの画素値を抽出する。尚、図１９４においては、各画素の大きさが水平方向、および、垂直方向についてそれぞれ１であるものとする。
【１２１６】
すなわち、参照画素抽出部２２１１は、注目画素を中心として垂直（上下）方向にそれぞれ２画素の合計５画素となるように、垂直方向に長い範囲の画素を参照画素として抽出する。
【１２１７】
逆に、水平方向であると判定された場合、注目画素を中心として水平（左右）方向に２画素の合計５画素となるように、水平方向に長い範囲の画素を参照画素として抽出して、近似関数推定部２２０２に出力する。もちろん、参照画素は、上述のように５画素に限定されるものではなく、それ以外の個数であってもよい。
【１２１８】
ステップＳ２２２６において、傾き推定部２２１２は、参照画素抽出部２２１１より入力された参照画素の情報と、定常性方向の傾きＧｆに基づいて、それぞれの画素値のシフト量を演算する。すなわち、空間方向Ｙ＝０に対応する近似関数ｆ（ｘ）を基準とした場合、空間方向Ｙ＝−２，−１，１，２に対応する近似関数は、図１９４で示されるように、定常性の傾きＧｆに沿って連続していることになるので、各近似関数は、ｆ（ｘ−Ｃｘ（２）），ｆ（ｘ−Ｃｘ（１）），ｆ（ｘ−Ｃｘ（−１）），ｆ（ｘ−Ｃｘ（−２））のように記述され、空間方向Ｙ＝−２，−１，１，２毎に、各シフト量分だけ空間方向Ｘにずれた関数として表現される。
【１２１９】
そこで、傾き推定部２２１２は、これらのシフト量Ｃｘ（−２）乃至Ｃｘ（２）を求める。例えば、参照画素が、図１９４で示されるように抽出された場合、そのシフト量は、図中の参照画素（０，２）は、Ｃｘ（２）＝２／Ｇｆとなり、参照画素（０，１）は、Ｃｘ（１）＝１／Ｇｆとなり、参照画素（０，０）は、Ｃｘ（０）＝０となり、参照画素（０，−１）は、Ｃｘ（−１）＝−１／Ｇｆとなり、参照画素（０，−２）は、Ｃｘ（−２）＝−２／Ｇｆとなる。
【１２２０】
ステップＳ２２２７において、傾き推定部２２１２は、注目画素の位置における近似関数ｆ（ｘ）上の傾きを演算する（推定する）。例えば、図１９４で示されるように、注目画素について定常性の方向が、垂直方向に近い角度の場合、水平方向に隣接する画素間では画素値が大きく異なるので、垂直方向の画素間では、画素間の変化が小さく、変化が類似していることから、傾き推定部２２１２は、垂直方向の画素間の変化をシフト量による空間方向Ｘの変化と捕らえることにより、垂直方向の画素間の差分を水平方向の画素間の差分に置き換えて、注目画素の位置における近似関数ｆ（ｘ）上での傾きを求める。
【１２２１】
すなわち、現実世界を近似的に記述する近似関数ｆ（ｘ）が存在すると仮定すると、上述のシフト量と各参照画素の画素値との関係は、図１９５で示されるようなものとなる。ここで、図１９４の各画素の画素値は、上からＰ（０，２），Ｐ（０，１），Ｐ（０，０），Ｐ（０，−１），Ｐ（０，−２）で表される。結果として、注目画素（０，０）近傍の画素値Ｐとシフト量Ｃｘは、（Ｐ，Ｃｘ）＝（Ｐ（０，２），−Ｃｘ（２）），（Ｐ（０，１），−Ｃｘ（１）），（Ｐ（０，−１）），−Ｃｘ（−１）），（Ｐ（０，−２），−Ｃｘ（−２）），（Ｐ（０，０），０）の５組の関係が得られることになる。
【１２２２】
ところで、画素値Ｐ、シフト量Ｃｘ、および、傾きＫｘ（近似関数ｆ（ｘ）上の傾き）は、以下のような式（９８）のような関係が成立することになる。
【１２２３】
Ｐ＝Ｋｘ×Ｃｘ・・・（９８）
【１２２４】
上述の式（９８）は、変数Ｋｘについての１変数の関数であるので、傾き推定部２２１２は、この変数Ｋｘ（傾き）について、１変数の最小自乗法により傾きＫｘを求める。
【１２２５】
すなわち、傾き推定部２２１２は、以下に示すような式（９９）のような正規方程式を解くことにより、注目画素の傾きを求め、注目画素の画素値、および、定常性の方向の傾きの情報を付加して、実世界推定情報として画像生成部１０３に出力する。
【１２２６】
【数７１】
2004246524.tif 000145
2004246524.tif 000146
【１２２７】
ここで、ｉは、上述の参照画素の画素値Ｐとシフト量Ｃの組をそれぞれ識別する番号であり、１乃至ｍである。また、ｍは、注目画素を含む参照画素の個数となる。
【１２２８】
ステップＳ２２２９において、参照画素抽出部２２１１は、全ての画素を処理したか否かを判定し、全ての画素を処理していないと判定した場合、その処理は、ステップＳ２２２２に戻る。また、ステップＳ２２２９において、全ての画素が処理されたと判定された場合、その処理は、終了する。
【１２２９】
尚、上述の処理により実世界推定情報として出力される傾きは、最終的に求めようとする画素値を外挿補間して演算する際に使用される。また、以上の例においては、２倍密度の画素を演算する際の傾きを例として説明してきたが、それ以上の密度の画素を演算する場合、画素値の演算に必要な、さらに多くの位置での傾きを求めるようにしてもよい。
【１２３０】
例えば、図１９０で示されるように、水平方向に２倍の密度で、かつ、垂直方向に２倍の密度の空間方向に合計４倍の密度の画素を生成する場合、上述したように、図１９０中のＰｉｎ，Ｐａ，Ｐｂのそれぞれの位置に対応する近似関数ｆ（ｘ）の傾きＫｘを求めるようにすればよい。
【１２３１】
また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数ｆ（ｘ）は連続関数であるので、倍密度以外の位置の画素の画素値についても必要な傾きを求めることが可能となる。
【１２３２】
以上によれば、注目画素近傍の画素の画素値を使用して、実世界を近似的に表現する近似関数を求めることなく、空間方向の画素の生成必要な位置の近似関数上の傾きを実世界推定情報として生成し、さらに出力することが可能となる。
【１２３３】
次に、図１９６を参照して、定常性を有する領域における、画素毎のフレーム方向（時間方向）の近似関数上の微分値を実世界推定情報として出力する実世界推定部１０２について説明する。
【１２３４】
参照画素抽出部２２３１は、データ定常性検出部１０１より入力されるデータ定常性情報（定常性の動き（動きベクトル）、および、領域の情報）に基づいて、入力画像の各画素が処理領域であるか否かを判定し、処理領域である場合には、入力画像から実世界の近似関数を求めるために必要な参照画素の情報（演算に必要な注目画素周辺の複数の画素の位置、および、画素値の情報）を抽出して、近似関数推定部２２０２に出力する。
【１２３５】
近似関数推定部２２３２は、参照画素抽出部２２３１より入力されたフレーム方向の参照画素の情報に基づいて注目画素周辺の現実世界を近似的に記述する近似関数を最小自乗法に基づいて推定し、推定した関数を微分処理部２２３３に出力する。
【１２３６】
微分処理部２２３３は、近似関数推定部２２３２より入力されたフレーム方向の近似関数に基づいて、データ定常性情報の動きに応じて、注目画素から生成しようとする画素の位置のフレーム方向のシフト量を求め、そのシフト量に応じたフレーム方向の近似関数上の位置における微分値（定常性に対応する線からの１次元方向に沿った距離に対応する各画素の画素値を近似する関数の微分値）を演算し、さらに、注目画素の位置、画素値、および、定常性の動きの情報を付加して、これを実世界推定情報として画像生成部１０３に出力する。
【１２３７】
次に、図１９７のフローチャートを参照して、図１９６の実世界推定部１０２による実世界推定の処理について説明する。
【１２３８】
ステップＳ２２４１において、参照画素抽出部２２３１は、入力画像と共に、データ定常性検出部１０１よりデータ定常性情報としての動き、および、領域の情報を取得する。
【１２３９】
ステップＳ２２４２において、参照画素抽出部２２３１は、入力画像の未処理画素から注目画素を設定する。
【１２４０】
ステップＳ２２４３において、参照画像抽出部２２３１は、データ定常性情報の領域の情報に基づいて、注目画素が、処理領域のものであるか否かを判定し、処理領域の画素ではないと判定した場合、その処理は、ステップＳ２２５０に進み、その注目画素については、処理領域外であることを近似関数推定部２２３２を介して、微分処理部２２３３に伝え、これに応じて、微分処理部２２３３が、対応する注目画素についての微分値を０として、さらに、その注目画素の画素値を付加して実世界推定情報として画像生成部１０３に出力すると共に、その処理は、ステップＳ２２５１に進む。また、注目画素が処理領域のものであると判定された場合、その処理は、ステップＳ２２４４に進む。
【１２４１】
ステップＳ２２４４において、参照画素抽出部２２３１は、データ定常性情報に含まれる動きの情報から、データ定常性の有する方向が、空間方向に近い動きか、または、フレーム方向に近い動きであるか否かを判定する。すなわち、図１９８で示されるように、フレーム方向Ｔと空間方向Ｙからなる面において、フレーム方向を基準軸とした、時間と空間の面内の方向を示す角度をθｖとすれば、参照画素抽出部２２０１は、データ定常性の有する角度θｖが、０度≦θｖ＜４５度、または、１３５度≦θｖ＜１８０度となる場合、注目画素の定常性の動きは、フレーム方向（時間方向）に近いと判定し、データ定常性の有する角度θが、４５度≦θ＜１３５度となる場合、注目画素の定常性の方向は、空間方向に近いと判定する。
【１２４２】
ステップＳ２２４５において、参照画素抽出部２２０１は、判定した方向に対応した参照画素の位置情報、および、画素値をそれぞれ入力画像から抽出し、近似関数推定部２２３２に出力する。すなわち、参照画素は、後述する近似関数を演算する際に使用されるデータとなるので、角度に応じて抽出されることが望ましい。従って、フレーム方向、または、空間方向のいずれかの判定方向に対応して、その方向に長い範囲の参照画素が抽出される。より具体的には、例えば、図１９８で示されるように、動き方向Ｖｆが空間方向に近いと、空間方向であると判定され、この場合、参照画素抽出部２２３１は、例えば、図１９８で示されるように、図１９８中の中央の画素（ｔ，ｙ）＝（０，０）を注目画素とするとき、画素（ｔ，ｙ）＝（−１，２），（−１，１），（−１，０），（−１，−１），（−１，−２），（０，２），（０，１），（０，０），（０，−１），（０，−２），（１，２），（１，１），（１，０），（１，−１），（１，−２）のそれぞれの画素値を抽出する。尚、図１９８においては、各画素のフレーム方向、および、空間方向の大きさが１であるものとする。
【１２４３】
すなわち、参照画素抽出部２２３１は、注目画素を中心として空間（図中の上下）方向にそれぞれ２画素×フレーム（図中の左右）方向にそれぞれ１フレーム分の合計１５画素となるように、フレーム方向に対して空間方向が長い範囲の画素を参照画素として抽出する。
【１２４４】
逆に、フレーム方向であると判定された場合、注目画素を中心として空間（図中の上下）方向にそれぞれ１画素×フレーム（図中の左右）方向にそれぞれ２フレーム分の合計１５画素となるように、フレーム方向に長い範囲の画素を参照画素として抽出して、近似関数推定部２２３２に出力する。もちろん、参照画素は、上述のように１５画素に限定されるものではなく、それ以外の個数であってもよい。
【１２４５】
ステップＳ２２４６において、近似関数推定部２２３２は、参照画素抽出部２２３１より入力された参照画素の情報に基づいて、最小自乗法により近似関数ｆ（ｔ）を推定し、微分処理部２２３３に出力する。
【１２４６】
すなわち、近似関数ｆ（ｔ）は、以下の式（１００）で示されるような多項式である。
【１２４７】
【数７２】
2004246524.tif 000147
2004246524.tif 000148
【１２４８】
このように、式（１００）の多項式の各係数Ｗ１乃至Ｗｎ＋１が求められれば、実世界を近似するフレーム方向の近似関数ｆ（ｔ）が求められることになる。しかしながら、係数の数よりも多くの参照画素値が必要となるので、例えば、参照画素が、図１９８で示されるような場合、合計１５画素であるので、多項式の係数は、１５個までしか求められない。そこで、この場合、多項式は、１４次までの多項式とし、係数Ｗ１乃至Ｗ１５を求めることにより近似関数を推定するものとする。尚、今の場合、１５次の多項式からなる近似関数ｆ（ｘ）を設定して、連立方程式としてもよい。
【１２４９】
従って、図１９８で示される１５個の参照画素値を用いるとき、近似関数推定部２２３２は、以下の式（１０１）を、最小自乗法を用いて解くことにより推定する。
【１２５０】
2004246524.tif 000149
【１２５１】
尚、多項式の次数にあわせて、参照画素の数を変えるようにしてもよい。
【１２５２】
ここで、Ｃｔ（ｔｙ）は、シフト量であり、上述のＣｘ（ｔｙ）と同様のものであり、定常性の傾きがＶｆで示されるとき、Ｃｔ（ｔｙ）＝ｔｙ／Ｖｆで定義される。このシフト量Ｃｔ（ｔｙ）は、空間方向Ｙ＝０の位置上で定義される近似関数ｆ（ｔ）が、傾きＶｆに沿って、連続している（定常性を有している）ことを前提としたとき、空間方向Ｙ＝ｔｙの位置における、フレーム方向Ｔに対するずれ幅を示すものである。従って、例えば、空間方向Ｙ＝０の位置上で近似関数がｆ（ｔ）として定義されている場合、この近似関数ｆ（ｔ）は、空間方向Ｙ＝ｔｙにおいては、フレーム方向（時間方向）ＴについてＣｔ（ｔｙ）だけずれているはずなので、関数は、ｆ（ｔ−Ｃｔ（ｔｙ））（＝ｆ（ｔ−ｔｙ／Ｖｆ））で定義されることになる。
【１２５３】
ステップＳ２２４７において、微分処理部２２３３は、近似関数推定部２２３２より入力された近似関数ｆ（ｔ）に基づいて、生成しようとする画素の位置における、シフト量を求める。
【１２５４】
すなわち、フレーム方向、および、空間方向にそれぞれ２倍の密度（合計４倍の密度）となるように画素を生成する場合、微分処理部２２３３は、例えば、まず、空間方向に２倍の密度となる画素Ｐａｔ，Ｐｂｔに２分割するために、図１９９で示されるように、注目画素の中心位置がＰｉｎ（Ｔｉｎ，Ｙｉｎ）での微分値を求めるため、中心位置のＰｉｎ（Ｔｉｎ，Ｙｉｎ）のシフト量を求める。このシフト量は、Ｃｔ（０）となるため、実質的には０となる。尚、図１９９中において、画素Ｐｉｎは、（Ｔｉｎ，Ｙｉｎ）を略重心位置とする正方形であり、画素Ｐａｔ，Ｐｂｔは、（Ｔｉｎ，Ｙｉｎ＋０．２５）、（Ｔｉｎ，Ｙｉｎ−０．２５）をそれぞれ略重心位置とする図中水平方向に長い長方形である。また、注目画素Ｐｉｎのフレーム方向Ｔの長さが１であるとは、１フレーム分のシャッタ時間に対応するものである。
【１２５５】
ステップＳ２２４８において、微分処理部２２３３は、近似関数ｆ（ｔ）を微分して、近似関数の１次微分関数ｆ（ｔ）’を求め、求められたシフト量に応じた位置での微分値を求めて、これを実世界推定情報として画像生成部１０３に出力する。すなわち、今の場合、微分処理部２２３３は、微分値ｆ（Ｔｉｎ）’を求め、その位置（今の場合、注目画素（Ｔｉｎ，Ｙｉｎ））と、その画素値、および、定常性の方向の動きの情報とを付加して出力する。
【１２５６】
ステップＳ２２４９において、微分処理部２２３３は、求められている密度の画素を生成するのに必要なだけの微分値が求められているか否かを判定する。例えば、今の場合、空間方向に２倍の密度となるための微分値のみしか求められていない（フレーム方向に２倍の密度となるための微分値が求められていない）ので、求められている密度の画素を生成するのに必要なだけの微分値が求められていないと判定し、その処理は、ステップＳ２２４７に戻る。
【１２５７】
ステップＳ２２４７において、微分処理部２２０３は、再度、近似関数推定部２２０２より入力された近似関数ｆ（ｔ）に基づいて、生成しようとする画素の位置における、シフト量を求める。すなわち、微分処理部２２０３は、今の場合、２分割された画素Ｐａｔ，Ｐｂｔのそれぞれをさらに２分割するために必要な微分値をそれぞれ求める。画素Ｐａｔ，Ｐｂｔの画素の位置は、図１９９における黒丸で示すそれぞれの位置であるので、微分処理部２２３３は、それぞれの位置に対応するシフト量を求める。画素Ｐａｔ，Ｐｂｔのシフト量は、それぞれＣｔ（０．２５），Ｃｔ（−０．２５）となる。
【１２５８】
ステップＳ２２４８において、微分処理部２２３３は、近似関数ｆ（ｔ）を微分して、画素Ｐａｔ，Ｐｂｔのそれぞれに対応したシフト量に応じた位置での微分値を求めて、これを実世界推定情報として画像生成部１０３に出力する。
【１２５９】
すなわち、図１９８で示した参照画素を使用する場合、微分処理部２２３３は、図２００で示すように、求められた近似関数ｆ（ｔ）について微分関数ｆ（ｔ）’を求め、空間方向Ｔについて、シフト量Ｃｔ（０．２５），Ｃｔ（−０．２５）だけずれた位置となる（Ｔｉｎ−Ｃｔ（０．２５））と（Ｔｉｎ−Ｃｔ（−０．２５））の位置での微分値をそれぞれｆ（Ｔｉｎ−Ｃｔ（０．２５））’，ｆ（Ｔｉｎ−Ｃｔ（−０．２５））’として求め、その微分値に対応する位置情報を付加して、これを実世界推定情報として出力する。尚、最初の処理で画素値の情報が出力されているので画素値の情報は付加されない。
【１２６０】
ステップＳ２２４９において、再び、微分処理部２２３３は、求められている密度の画素を生成するのに必要なだけの微分値が求められているか否かを判定する。例えば、今の場合、空間方向Ｙとフレーム方向Ｔについてそれぞれ２倍（合計４倍）の密度となるための微分値が求められたことになるので、求められている密度の画素を生成するのに必要なだけの微分値が求められたと判定し、その処理は、ステップＳ２２５１に進む。
【１２６１】
ステップＳ２２５１において、参照画素抽出部２２３１は、全ての画素を処理したか否かを判定し、全ての画素を処理していないと判定した場合、その処理は、ステップＳ２２４２に戻る。また、ステップＳ２２５１において、全ての画素を処理したと判定した場合、その処理は、終了する。
【１２６２】
上述のように、入力画像について、フレーム方向（時間方向）、および、空間方向に４倍の密度となるように画素を生成する場合、画素は、分割される画素の中央の位置の近似関数の微分値を用いて、外挿補間により分割されるので、４倍密度の画素を生成するには、合計３個の微分値の情報が必要となる。
【１２６３】
すなわち、図１９９で示されるように、１画素について最終的には、画素Ｐ０１ｔ，Ｐ０２ｔ，Ｐ０３ｔ，Ｐ０４ｔの４画素（図１９９において、画素Ｐ０１ｔ，Ｐ０２ｔ，Ｐ０３ｔ，Ｐ０４ｔは、図中の４個のバツ印の位置を重心位置とする正方形であり、各辺の長さは、画素Ｐｉｎが、それぞれ１であるので、画素Ｐ０１ｔ，Ｐ０２ｔ，Ｐ０３ｔ，Ｐ０４ｔは、それぞれ略０．５となる）の生成に必要な微分値が必要となるので、４倍密度の画素を生成するには、まず、フレーム方向、または、空間方向に２倍密度の画素を生成し（上述の最初のステップＳ２２４７，Ｓ２２４８の処理）、さらに、分割された２画素を、それぞれ最初に分割した方向と垂直の方向（今の場合、フレーム方向）に分割する（上述の２回目のステップＳ２２４７，Ｓ２２４８の処理）ためである。
【１２６４】
尚、以上の例においては、４倍密度の画素を演算する際の微分値を例として説明してきたが、それ以上の密度の画素を演算する場合、ステップＳ２２４７乃至Ｓ２２４９の処理を繰り返すことにより、画素値の演算に必要なさらに多くの微分値を求めるようにしてもよい。また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数ｆ（ｔ）は連続関数であるので、倍密度以外の画素値についても必要な微分値を求めることが可能となる。
【１２６５】
以上によれば、注目画素近傍の画素の画素値を使用して、実世界を近似的に表現する近似関数を求め、画素の生成必要な位置の微分値を実世界推定情報として出力することが可能となる。
【１２６６】
以上の図１９６において説明した実世界推定部１０２においては、画像を生成するのに必要な微分値を実世界推定情報として出力していたが、微分値とは、必要な位置での近似関数ｆ（ｔ）の傾きと同値のものである。
【１２６７】
そこで、次は、図２０１を参照して、近似関数を求めることなく、画素生成に必要な、近似関数上のフレーム方向の傾きのみを直接求めて、実世界推定情報として出力する実世界推定部１０２について説明する。
【１２６８】
参照画素抽出部２２５１は、データ定常性検出部１０１より入力されるデータ定常性情報（定常性の動き、および、領域の情報）に基づいて、入力画像の各画素が処理領域であるか否かを判定し、処理領域である場合には、入力画像から傾きを求めるために必要な参照画素の情報（演算に必要な注目画素を含む空間方向に並ぶ周辺の複数の画素、または、注目画素を含むフレーム方向に並ぶ周辺の複数の画素の位置、および、それぞれの画素値の情報）を抽出して、傾き推定部２２５２に出力する。
【１２６９】
傾き推定部２２５２は、参照画素抽出部２２５１より入力された参照画素の情報に基づいて、画素生成に必要な画素位置の傾きの情報を生成して、実世界推定情報として画像生成部１０３に出力する。より詳細には、傾き推定部２２５２は、画素間の画素値の差分情報を用いて、実世界を近似的に表現する近似関数上の注目画素の位置におけるフレーム方向の傾きを求め、これに、注目画素の位置情報、画素値、および、定常性の方向の動きの情報を実世界推定情報として出力する。
【１２７０】
次に、図２０２のフローチャートを参照して、図２０１の実世界推定部１０２による実世界推定の処理について説明する。
【１２７１】
ステップＳ２２６１において、参照画素抽出部２２５１は、入力画像と共に、データ定常性検出部１０１よりデータ定常性情報としての動き、および、領域の情報を取得する。
【１２７２】
ステップＳ２２６２において、参照画素抽出部２２５１は、入力画像の未処理画素から注目画素を設定する。
【１２７３】
ステップＳ２２６３において、参照画像抽出部２２５１は、データ定常性情報の領域の情報に基づいて、注目画素が、処理領域のものであるか否かを判定し、処理領域の画素ではないと判定した場合、その処理は、ステップＳ２２６８に進み、その注目画素については、処理領域外であることを傾き推定部２２５２に伝え、これに応じて、傾き推定部２２５２が、対応する注目画素についての傾きを０として、さらに、その注目画素の画素値を付加して実世界推定情報として画像生成部１０３に出力すると共に、その処理は、ステップＳ２２６９に進む。また、注目画素が処理領域のものであると判定された場合、その処理は、ステップＳ２２６４に進む。
【１２７４】
ステップＳ２２６４において、参照画素抽出部２２１１は、データ定常性情報に含まれる動きの情報から、データ定常性の動きが、フレーム方向に近い動きか、または、空間方向に近い動きであるか否かを判定する。すなわち、フレーム方向Ｔと空間方向Ｙからなる面において、フレーム方向を基準軸とした、時間と空間の面内の方向を示す角度をθｖとすれば、参照画素抽出部２２５１は、データ定常性の動きの角度θｖが、０度≦θｖ＜４５度、または、１３５度≦θｖ＜１８０度となる場合、注目画素の定常性の動きは、フレーム方向に近いと判定し、データ定常性の有する角度θｖが、４５度≦θｖ＜１３５度となる場合、注目画素の定常性の動きは、空間方向に近いと判定する。
【１２７５】
ステップＳ２２６５において、参照画素抽出部２２５１は、判定した方向に対応した参照画素の位置情報、および、画素値をそれぞれ入力画像から抽出し、傾き推定部２２５２に出力する。すなわち、参照画素は、後述する傾きを演算する際に使用されるデータとなるので、定常性の動きに応じて抽出されることが望ましい。従って、フレーム方向、または、空間方向のいずれかの判定方向に対応して、その方向に長い範囲の参照画素が抽出される。より具体的には、例えば、動きが空間方向に近いと判定された場合、参照画素抽出部２２５１は、図２０３で示されるように、図２０３中の中央の画素（ｔ，ｙ）＝（０，０）を注目画素とするとき、画素（ｔ，ｙ）＝（０，２），（０，１），（０，０），（０，−１），（０，−２）のそれぞれの画素値を抽出する。尚、図２０３においては、各画素の大きさがフレーム方向、および、空間方向についてそれぞれ１であるものとする。
【１２７６】
すなわち、参照画素抽出部２２５１は、注目画素を中心として空間（図中の上下）方向にそれぞれ２画素の合計５画素となるように、空間方向に長い範囲の画素を参照画素として抽出する。
【１２７７】
逆に、フレーム方向であると判定された場合、注目画素を中心としてフレーム（図中の左右）方向に２画素の合計５画素となるように、水平方向に長い範囲の画素を参照画素として抽出して、近似関数推定部２２５２に出力する。もちろん、参照画素は、上述のように５画素に限定されるものではなく、それ以外の個数であってもよい。
【１２７８】
ステップＳ２２６６において、傾き推定部２２５２は、参照画素抽出部２２５１より入力された参照画素の情報と、定常性方向の動きＶｆの方向に基づいて、それぞれの画素値のシフト量を演算する。すなわち、空間方向Ｙ＝０に対応する近似関数ｆ（ｔ）を基準とした場合、空間方向Ｙ＝−２，−１，１，２に対応する近似関数は、図２０３で示されるように、定常性の傾きＶｆに沿って連続していることになるので、各近似関数は、ｆ（ｔ−Ｃｔ（２）），ｆ（ｔ−Ｃｔ（１）），ｆ（ｔ−Ｃｔ（−１）），ｆ（ｔ−Ｃｔ（−２））のように記述され、空間方向Ｙ＝−２，−１，１，２毎に、各シフト量分だけフレーム方向Ｔにずれた関数として表現される。
【１２７９】
そこで、傾き推定部２２５２は、これらのシフト量Ｃｔ（−２）乃至Ｃｔ（２）を求める。例えば、参照画素が、図２０３で示されるように抽出された場合、そのシフト量は、図中の参照画素（０，２）は、Ｃｔ（２）＝２／Ｖｆとなり、参照画素（０，１）は、Ｃｔ（１）＝１／Ｖｆとなり、参照画素（０，０）は、Ｃｔ（０）＝０となり、参照画素（０，−１）は、Ｃｔ（−１）＝−１／Ｖｆとなり、参照画素（０，−２）は、Ｃｔ（−２）＝−２／Ｖｆとなる。傾き推定部２２５２は、これらのシフト量Ｃｔ（−２）乃至Ｃｔ（２）を求める。
【１２８０】
ステップＳ２２６７において、傾き推定部２２５２は、注目画素のフレーム方向の傾きを演算する（推定する）。例えば、図２０３で示されるように、注目画素について定常性の方向が、空間方向に近い角度の場合、フレーム方向に隣接する画素間では画素値が大きく異なるので、空間方向の画素間では、画素間の変化が小さく、変化が類似していることから、傾き推定部２２５２は、空間方向の画素間の変化をシフト量によるフレーム方向Ｔの変化と捕らえることにより、空間方向の画素間の差分をフレーム方向の画素間の差分に置き換えて、注目画素での傾きを求める。
【１２８１】
すなわち、現実世界を近似的に記述する関数ｆ（ｔ）が存在すると仮定すると、上述のシフト量と各参照画素の画素値との関係は、図２０４で示されるようなものとなる。ここで、図２０４の各画素の画素値は、上からＰ（０，２），Ｐ（０，１），Ｐ（０，０），Ｐ（０，−１），Ｐ（０，−２）で表される。結果として、注目画素（０，０）近傍の画素値Ｐとシフト量Ｃｔは、（Ｐ，Ｃｔ）＝（Ｐ（０，２），−Ｃｔ（２）），（Ｐ（０，１），−Ｃｔ（１）），（Ｐ（０，−１）），−Ｃｔ（−１）），（Ｐ（０，−２），−Ｃｔ（−２）），（Ｐ（０，０），０）の５組の関係が得られることになる。
【１２８２】
ところで、画素値Ｐ、シフト量Ｃｔ、および、傾きＫｔ（近似関数ｆ（ｔ）上の傾き）は、以下のような式（１０２）のような関係が成立することになる。
【１２８３】
Ｐ＝Ｋｔ×Ｃｔ・・・（１０２）
【１２８４】
上述の式（１０２）は、変数Ｋｔについての１変数の関数であるので、傾き推定部２２１２は、この変数Ｋｔ（傾き）について、１変数の最小自乗法により傾きＫｔを求める。
【１２８５】
すなわち、傾き推定部２２５２は、以下に示すような式（１０３）のような正規方程式を解くことにより、注目画素の傾きを求め、注目画素の画素値、および、定常性の方向の傾きの情報を付加して、実世界推定情報として画像生成部１０３に出力する。
【１２８６】
【数７３】
2004246524.tif 000150
2004246524.tif 000151
【１２８７】
ここで、ｉは、上述の参照画素の画素値Ｐとシフト量Ｃｔの組をそれぞれ識別する番号であり、１乃至ｍである。また、ｍは、注目画素を含む参照画素の個数となる。
【１２８８】
ステップＳ２２６９において、参照画素抽出部２２５１は、全ての画素を処理したか否かを判定し、全ての画素を処理していないと判定した場合、その処理は、ステップＳ２２６２に戻る。また、ステップＳ２２６９において、全ての画素が処理されたと判定された場合、その処理は、終了する。
【１２８９】
尚、上述の処理により実世界推定情報として出力されるフレーム方向の傾きは、最終的に求めようとする画素値を外挿補間して演算する際に使用される。また、以上の例においては、２倍密度の画素を演算する際の傾きを例として説明してきたが、それ以上の密度の画素を演算する場合、画素値の演算に必要な、さらに多くの位置での傾きを求めるようにしてもよい。
【１２９０】
例えば、図１９０で示されるように、水平方向に２倍の密度で、かつ、フレーム方向に２倍の密度の時空間方向に合計４倍の密度の画素を生成する場合、上述したように、図１９０中のＰｉｎ，Ｐａｔ，Ｐｂｔのそれぞれの位置に対応する近似関数ｆ（ｔ）の傾きＫｔを求めるようにすればよい。
【１２９１】
また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数ｆ（ｔ）は連続関数であるので、倍密度以外の位置の画素の画素値についても必要な傾きを求めることが可能となる。
【１２９２】
言うまでもなく、フレーム方向、または、空間方向に対する近似関数上の傾き、または、微分値を求める処理の順序は問わない。さらに、空間方向において、上述の例においては、空間方向Ｙとフレーム方向Ｔとの関係を用いて、説明してきたが、空間方向Ｘとフレーム方向Ｔとの関係を用いたものであってもよい。さらに、時空間方向のいずれか２次元の関係から（いずれから１次元の方向の）傾き、または、微分値を選択的に求めるようにしてもよい。
【１２９３】
以上によれば、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる画像データにおけるデータの定常性を検出し、検出した定常性に対応して、画像データ内の注目画素に対して時空間方向のうち１次元方向の位置に対応する複数画素の画素値の傾きを、現実世界の光信号に対応する関数として推定するようにしたので、注目画素近傍の画素の画素値を使用して、実世界を近似的に表現するフレーム方向の近似関数を求めることなく、画素の生成必要な位置のフレーム方向（時間方向）の近似関数上の傾きを実世界推定情報として生成し、さらに出力することが可能となる。
【１２９４】
次に、図２０５乃至図２３５を参照して、実世界推定部１０２（図３）の実施の形態の他の例について説明する。
【１２９５】
図２０５は、この例の実施の形態の原理を説明する図である。
【１２９６】
図２０５で示されるように、センサ２に入射される画像である、実世界１の信号（光の強度の分布）は、所定の関数Ｆで表される。なお、以下、この例の実施の形態の説明においては、画像である、実世界１の信号を、特に光信号と称し、関数Ｆを、特に光信号関数Ｆと称する。
【１２９７】
この例の実施の形態においては、光信号関数Ｆで表される実世界１の光信号が所定の定常性を有する場合、実世界推定部１０２が、センサ２からの入力画像（定常性に対応するデータの定常性を含む画像データ）と、データ定常性検出部１０１からのデータ定常性情報（入力画像のデータの定常性に対応するデータ定常性情報）を使用して、光信号関数Ｆを所定の関数ｆで近似することによって、光信号関数Ｆを推定する。なお、以下、この例の実施の形態の説明においては、関数ｆを、特に近似関数ｆと称する。
【１２９８】
換言すると、この例の実施の形態においては、実世界推定部１０２が、近似関数ｆで表されるモデル１６１（図７）を用いて、光信号関数Ｆで表される画像（実世界１の光信号）を近似（記述）する。従って、以下、この例の実施の形態を、関数近似手法と称する。
【１２９９】
ここで、関数近似手法の具体的な説明に入る前に、本願出願人が関数近似手法を発明するに至った背景について説明する。
【１３００】
図２０６は、センサ２がＣＣＤとされる場合の積分効果を説明する図である。
【１３０１】
図２０６で示されるように、センサ２の平面上には、複数の検出素子２−１が配置されている。
【１３０２】
図２０６の例では、検出素子２−１の所定の１辺に平行な方向が、空間方向の１方向であるＸ方向とされており、Ｘ方向に垂直な方向が、空間方向の他方向であるＹ方向とされている。そして、Ｘ−Ｙ平面に垂直な方向が、時間方向であるｔ方向とされている。
【１３０３】
また、図２０６の例では、センサ２の各検出素子２−１のそれぞれの空間的な形状は、１辺の長さが１の正方形とされている。そして、センサ２のシャッタ時間（露光時間）が１とされている。
【１３０４】
さらに、図２０６の例では、センサ２の所定の１つの検出素子２−１の中心が、空間方向（Ｘ方向とＹ方向）の原点（Ｘ方向の位置ｘ＝０、およびＹ方向の位置ｙ＝０）とされており、また、露光時間の中間時刻が、時間方向（ｔ方向）の原点（ｔ方向の位置ｔ＝０）とされている。
【１３０５】
この場合、空間方向の原点（ｘ＝０，ｙ＝０）にその中心が存在する検出素子２−１は、Ｘ方向に−０．５乃至０．５の範囲、Ｙ方向に−０．５乃至０．５の範囲、およびｔ方向に−０．５乃至０．５の範囲で光信号関数Ｆ（ｘ，ｙ，ｔ）を積分し、その積分値を画素値Ｐとして出力することになる。
【１３０６】
即ち、空間方向の原点にその中心が存在する検出素子２−１から出力される画素値Ｐは、次の式（１０４）で表される。
【１３０７】
【数７４】
2004246524.tif 000152
2004246524.tif 000153
【１３０８】
その他の検出素子２−１も同様に、対象とする検出素子２−１の中心を空間方向の原点とすることで、式（１０４）で示される画素値Ｐを出力することになる。
【１３０９】
図２０７は、センサ２の積分効果の具体的な例を説明する図である。
【１３１０】
図２０７において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図２０６）を表している。
【１３１１】
実世界１の光信号のうちの１部分（以下、このような部分を、領域と称する）２３０１は、所定の定常性を有する領域の１例を表している。
【１３１２】
なお、実際には、領域２３０１は連続した光信号の１部分（連続した領域）である。これに対して、図２０７においては、領域２３０１は、２０個の小領域（正方形の領域）に区分されているように示されている。これは、領域２３０１の大きさが、Ｘ方向に対して４個分、かつＹ方向に対して５個分のセンサ２の検出素子（画素）が並んだ大きさに相当することを表すためである。即ち、領域２３０１内の２０個の小領域（仮想領域）のそれぞれは１つの画素に相当する。
【１３１３】
また、領域２３０１のうちの図中白い部分は細線に対応する光信号を表している。従って、領域２３０１は、細線が続く方向に定常性を有していることになる。そこで、以下、領域２３０１を、細線含有実世界領域２３０１と称する。
【１３１４】
この場合、細線含有実世界領域２３０１（実世界１の光信号の１部分）がセンサ２により検出されると、センサ２からは、積分効果により、入力画像（画素値）の領域２３０２（以下、細線含有データ領域２３０２と称する）が出力される。
【１３１５】
なお、細線含有データ領域２３０２の各画素のそれぞれは、図中、画像として示されているが、実際には、所定の１つの値を表すデータである。即ち、細線含有実世界領域２３０１は、センサ２の積分効果により、所定の１つの画素値をそれぞれ有する２０個の画素（Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素）に区分された細線含有データ領域２３０２に変化してしまう（歪んでしまう）。
【１３１６】
図２０８は、センサ２の積分効果の具体的な他の例（図２０７とは異なる例）を説明する図である。
【１３１７】
図２０８において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図２０６）を表している。
【１３１８】
実世界１の光信号の１部分（領域）２３０３は、所定の定常性を有する領域の他の例（図２０７の細線含有実世界領域２３０１とは異なる例）を表している。
【１３１９】
なお、領域２３０３は、細線含有実世界領域２３０１と同じ大きさを有する領域である。即ち、細線含有実世界領域２３０１と同様に、領域２３０３も、実際には連続した実世界１の光信号の１部分（連続した領域）であるが、図２０８においては、センサ２の１画素に相当する２０個の小領域（正方形の領域）に区分されているように示されている。
【１３２０】
また、領域２３０３は、所定の第１の光の強度（値）を有する第１の部分と、所定の第２の光の強度（値）を有する第２の部分のエッジを含んでいる。従って、領域２３０３は、エッジが続く方向に定常性を有していることになる。そこで、以下、領域２３０３を、２値エッジ含有実世界領域２３０３と称する。
【１３２１】
この場合、２値エッジ含有実世界領域２３０３（実世界１の光信号の１部分）がセンサ２により検出されると、センサ２からは、積分効果により、入力画像（画素値）の領域２３０４（以下、２値エッジ含有データ領域２３０４と称する）が出力される。
【１３２２】
なお、２値エッジ含有データ領域２３０４の各画素値のそれぞれは、細線含有データ領域２３０２と同様に、図中、画像として表現されているが、実際には、所定の値を表すデータである。即ち、２値エッジ含有実世界領域２３０３は、センサ２の積分効果により、所定の１つの画素値をそれぞれ有する２０個の画素（Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素）に区分された２値エッジ含有データ領域２３０４に変化してしまう（歪んでしまう）。
【１３２３】
従来の画像処理装置は、このような細線含有データ領域２３０２や２値エッジ含有データ領域２３０４等、センサ２から出力された画像データを原点（基準）とするとともに、画像データを処理の対象として、それ以降の画像処理を行っていた。即ち、センサ２から出力された画像データは、積分効果により実世界１の光信号とは異なるもの（歪んだもの）となっているにも関わらず、従来の画像処理装置は、その実世界１の光信号とは異なるデータを正として画像処理を行っていた。
【１３２４】
その結果、従来の画像処理装置では、センサ２から出力された段階で、実世界のディテールがつぶれてしまった波形（画像データ）を基準として、その波形から、元のディテールを復元することは非常に困難であるという課題があった。
【１３２５】
そこで、関数近似手法においては、この課題を解決するために、上述したように（図２０５で示されるように）、実世界推定部１０２が、細線含有データ領域２３０２や２値エッジ含有データ領域２３０４のようなセンサ２から出力された画像データ（入力画像）から、光信号関数Ｆ（実世界１の光信号）を近似関数ｆで近似することによって、光信号関数Ｆを推定する。
【１３２６】
これにより、実世界推定部１０２より後段において（いまの場合、図３の画像生成部１０３）、積分効果が考慮された画像データ、即ち、近似関数ｆにより表現可能な画像データを原点として、その処理を実行することが可能になる。
【１３２７】
以下、図面を参照して、このような関数近似手法のうちの３つの具体的な手法（第１乃至第３の関数近似手法）のそれぞれについて個別に説明していく。
【１３２８】
はじめに、図２０９乃至図２２３を参照して、第１の関数近似手法について説明する。
【１３２９】
図２０９は、上述した図２０７で示される細線含有実世界領域２３０１を再度表した図である。
【１３３０】
図２０９において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図２０６）を表している。
【１３３１】
第１の関数近似手法は、例えば、図２０９で示されるような細線含有実世界領域２３０１に対応する光信号関数Ｆ（ｘ，ｙ，ｔ）をＸ方向（図中矢印２３１１の方向）に射影した１次元の波形（以下、このような波形を、Ｘ断面波形Ｆ（ｘ）と称する）を、ｎ次（ｎは、任意の整数）の多項式である近似関数ｆ（ｘ）で近似する手法である。従って、以下、第１の関数近似手法を、特に、１次元多項式近似手法と称する。
【１３３２】
なお、１次元多項式近似手法において、近似の対象となるＸ断面波形Ｆ（ｘ）は、勿論、図２０９の細線含有実世界領域２３０１に対応するものに限定されない。即ち、後述するように、１次元多項式近似手法においては、定常性を有する実世界１の光信号に対応するＸ断面波形Ｆ（ｘ）であれば、いずれのものでも近似することが可能である。
【１３３３】
また、光信号関数Ｆ（ｘ，ｙ，ｔ）の射影の方向はＸ方向に限定されず、Ｙ方向またはｔ方向でもよい。即ち、１次元多項式近似手法においては、光信号関数Ｆ（ｘ，ｙ，ｔ）をＹ方向に射影した関数Ｆ（ｙ）を、所定の近似関数ｆ（ｙ）で近似することも可能であるし、光信号関数Ｆ（ｘ，ｙ，ｔ）をｔ方向に射影した関数Ｆ（ｔ）を、所定の近似関数ｆ（ｔ）で近似することも可能である。
【１３３４】
より詳細には、１次元多項式近似手法は、例えば、Ｘ断面波形Ｆ（ｘ）を、次の式（１０５）で示されるような、ｎ次の多項式である近似関数ｆ（ｘ）で近似する手法である。
【１３３５】
【数７５】
2004246524.tif 000154
2004246524.tif 000155
【１３３６】
即ち、１次元多項式近似手法においては、実世界推定部１０２が、式（１０５）のｘ＾ｉの係数（特徴量）ｗｉを演算することで、Ｘ断面波形Ｆ（ｘ）を推定する。
【１３３７】
この特徴量ｗｉの演算方法は、特に限定されず、例えば、次の第１乃至第３の方法が使用可能である。
【１３３８】
即ち、第１の方法は、従来から利用されている方法である。
【１３３９】
これに対して、第２の方法は、本願出願人が新たに発明した方法であって、第１の方法に対して、さらに、空間方向の定常性を考慮した方法である。
【１３４０】
しかしながら、後述するように、第１の方法と第２の方法においては、センサ２の積分効果が考慮されていない。従って、第１の方法または第２の方法により演算された特徴量ｗｉを上述した式（１０５）に代入して得られる近似関数ｆ（ｘ）は、入力画像の近似関数ではあるが、厳密には、Ｘ断面波形Ｆ（ｘ）の近似関数とは言えない。
【１３４１】
そこで、本願出願人は、第２の方法に対して、センサ２の積分効果をさらに考慮して特徴量ｗｉを演算する第３の方法を発明した。この第３の方法により演算された特徴量ｗｉを、上述した式（１０５）に代入して得られる近似関数ｆ（ｘ）は、センサ２の積分効果を考慮している点で、Ｘ断面波形Ｆ（ｘ）の近似関数であると言える。
【１３４２】
このように、厳密には、第１の方法と第２の方法は、１次元多項式近似手法とは言えず、第３の方法のみが１次元多項式近似手法であると言える。
【１３４３】
換言すると、図２１０で示されるように、第２の方法は、１次元多項式近似手法とは異なる、本発明の実世界推定部１０２の実施の形態である。即ち、図２１０は、第２の方法に対応する実施の形態の原理を説明する図である。
【１３４４】
図２１０で示されるように、第２の方法に対応する実施の形態においては、光信号関数Ｆで表される実世界１の光信号が所定の定常性を有する場合、実世界推定部１０２が、センサ２からの入力画像（定常性に対応するデータの定常性を含む画像データ）と、データ定常性検出部１０１からのデータ定常性情報（入力画像のデータの定常性に対応するデータ定常性情報）を使用して、Ｘ断面波形Ｆ（ｘ）を近似するのではなく、センサ２からの入力画像を所定の近似関数ｆ２（ｘ）で近似する。
【１３４５】
このように、第２の方法は、センサ２の積分効果を考慮せず、入力画像の近似に留まっている点で、第３の方法と同一レベルの手法であるとは言い難い。しかしながら、第２の方法は、空間方向の定常性を考慮している点で、従来の第１の方法よりも優れた手法である。
【１３４６】
以下、第１の方法、第２の方法、および第３の方法のそれぞれの詳細について、その順番で個別に説明していく。
【１３４７】
なお、以下、第１の方法、第２の方法、および第３の方法により生成される近似関数ｆ（ｘ）のそれぞれを、他の方法のものと区別する場合、特に、近似関数ｆ１（ｘ）、近似関数ｆ２（ｘ）、および近似関数ｆ３（ｘ）とそれぞれ称する。
【１３４８】
はじめに、第１の方法の詳細について説明する。
【１３４９】
第１の方法においては、上述した式（１０５）で示される近似関数ｆ１（ｘ）が、図２１１の細線含有実世界領域２３０１内で成り立つとして、次の予測方程式（１０６）を定義する。
【１３５０】
【数７６】
2004246524.tif 000156
2004246524.tif 000157
【１３５１】
式（１０６）において、ｘは、注目画素からのＸ方向に対する相対的な画素位置を表している。ｙは、注目画素からのＹ方向に対する相対的な画素位置を表している。ｅは、誤差を表している。具体的には、例えば、いま、図２１１で示されるように、注目画素が、細線含有データ領域２３０２（細線含有実世界領域２３０１（図２０９）がセンサ２により検出されて、出力されたデータ）のうちの、図中、左からＸ方向に２画素目であって、下からＹ方向に３画素目の画素であるとする。また、注目画素の中心を原点（０，０）とし、センサ２のＸ方向とＹ方向（図２０６）のそれぞれに平行なｘ軸とｙ軸を軸とする座標系（以下、注目画素座標系と称する）が設定されているとする。この場合、注目画素座標系の座標値（ｘ，ｙ）が、相対画素位置を表すことになる。
【１３５２】
また、式（１０６）において、Ｐ（ｘ，ｙ）は、相対画素位置（ｘ，ｙ）における画素値を表している。具体的には、いまの場合、細線含有データ領域２３０２内のＰ（ｘ，ｙ）は、図２１２で示されるようになる。
【１３５３】
図２１２は、この画素値Ｐ（ｘ，ｙ）をグラフ化したものを表している。
【１３５４】
図２１２において、各グラフのそれぞれの縦軸は、画素値を表しており、横軸は、注目画素からのＸ方向の相対位置ｘを表している。また、図中、上から１番目のグラフの点線は入力画素値Ｐ（ｘ，−２）を、上から２番目のグラフの３点鎖線は入力画素値Ｐ（ｘ，−１）を、上から３番目のグラフの実線は入力画素値Ｐ（ｘ，０）を、上から４番目のグラフの１点鎖線は入力画素値Ｐ（ｘ，１）を、上から５番目（下から１番目）のグラフの２点鎖線は入力画素値Ｐ（ｘ，２）を、それぞれ表している。
【１３５５】
上述した式（１０６）に対して、図２１２で示される２０個の入力画素値Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）（ただし、ｘは、−１乃至２のうちのいずれかの整数値）のそれぞれを代入すると、次の式（１０７）で示される２０個の方程式が生成される。なお、ｅｋ（ｋは、１乃至２０のうちのいずれかの整数値）のそれぞれは、誤差を表している。
【１３５６】
【数７７】
2004246524.tif 000158
2004246524.tif 000159
【１３５７】
式（１０７）は、２０個の方程式より構成されているので、近似関数ｆ１（ｘ）の特徴量ｗｉの個数が２０個より少ない場合、即ち、近似関数ｆ１（ｘ）が１９次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量ｗｉの算出が可能である。なお、最小自乗法の具体的な解法は後述する。
【１３５８】
例えば、いま、近似関数ｆ１（ｘ）の次数が５次とされた場合、式（１０７）を利用して最小自乗法により演算された近似関数ｆ１（ｘ）（演算された特徴量ｗｉにより生成される近似関数ｆ１（ｘ））は、図２１３で示される曲線のようになる。
【１３５９】
なお、図２１３において、縦軸は画素値を表しており、横軸は注目画素からの相対位置ｘを表している。
【１３６０】
即ち、図２１１の細線含有データ領域２３０２を構成する２０個の画素値Ｐ（ｘ，ｙ）のそれぞれ（図２１２で示される入力画素値Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）のそれぞれ）を、例えば、ｘ軸に沿ってそのまま足しこむ（Ｙ方向の相対位置ｙを一定とみなして、図２１２で示される５つのグラフを重ねる）と、図２１３で示されるような、ｘ軸に平行な複数の線（点線、３点鎖線、実線、１点鎖線、および２点鎖線）が分布する。
【１３６１】
ただし、図２１３においては、点線は入力画素値Ｐ（ｘ，−２）を、３点鎖線は入力画素値Ｐ（ｘ，−１）を、実線は入力画素値Ｐ（ｘ，０）を、１点鎖線は入力画素値Ｐ（ｘ，１）を、２点鎖線は入力画素値Ｐ（ｘ，２）を、それぞれ表している。また、同一の画素値の場合、実際には２本以上の線が重なることになるが、図２１３においては、各線の区別がつくように、各線のそれぞれが重ならないように描画されている。
【１３６２】
そして、このように分布した２０個の入力画素値Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）のそれぞれと、値ｆ１（ｘ）の誤差が最小となるような回帰曲線（最小自乗法により演算された特徴量ｗｉを上述した式（１０４）に代入して得られる近似関数ｆ１（ｘ））が、図２１３で示される曲線（近似関数ｆ１（ｘ））となる。
【１３６３】
このように、近似関数ｆ１（ｘ）は、Ｙ方向の画素値（注目画素からのＸ方向の相対位置ｘが同一の画素値）Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）の平均値を、Ｘ方向に結んだ曲線を単に表しているに過ぎない。即ち、光信号が有する空間方向の定常性を考慮することなく、近似関数ｆ１（ｘ）が生成されている。
【１３６４】
例えば、いまの場合、近似の対象は、細線含有実世界領域２３０１（図２０９）とされている。この細線含有実世界領域２３０１は、図２１４で示されるように、傾きＧＦで表される空間方向の定常性を有している。なお、図２１４において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図２０６）を表している。
【１３６５】
従って、データ定常性検出部１０１（図２０５）は、空間方向の定常性の傾きＧＦに対応するデータ定常性情報として、図２１４で示されるような角度θ（傾きＧＦに対応する傾きＧｆで表されるデータの定常性の方向と、Ｘ方向のなす角度θ）を出力することができる。
【１３６６】
しかしながら、第１の方法においては、データ定常性検出部１０１より出力されるデータ定常性情報は一切用いられていない。
【１３６７】
換言すると、図２１４で示されるように、細線含有実世界領域２３０１の空間方向の定常性の方向は略角度θ方向である。しかしながら、第１の方法は、細線含有実世界領域２３０１の空間方向の定常性の方向はＹ方向であると仮定して（即ち、角度θが９０度であると仮定して）、近似関数ｆ１（ｘ）の特徴量ｗｉを演算する方法である。
【１３６８】
このため、近似関数ｆ１（ｘ）は、その波形が鈍り、元の画素値よりディテールが減少する関数となってしまう。換言すると、図示はしないが、第１の方法により生成される近似関数ｆ１（ｘ）は、実際のＸ断面波形Ｆ（ｘ）とは大きく異なる波形となってしまう。
【１３６９】
そこで、本願出願人は、第１の方法に対して、空間方向の定常性をさらに考慮して（角度θを利用して）特徴量ｗｉを演算する第２の方法を発明した。
【１３７０】
即ち、第２の方法は、細線含有実世界領域２３０１の定常性の方向は略角度θ方向であるとして、近似関数ｆ２（ｘ）  の特徴量ｗｉを演算する方法である。
【１３７１】
具体的には、例えば、空間方向の定常性に対応するデータの定常性を表す傾きＧｆは、次の式（１０８）で表される。
【１３７２】
【数７８】
2004246524.tif 000160
2004246524.tif 000161
【１３７３】
なお、式（１０８）において、ｄｘは、図２１４で示されるようなＸ方向の微小移動量を表しており、ｄｙは、図２１４で示されるようなｄｘに対するＹ方向の微小移動量を表している。
【１３７４】
この場合、シフト量Ｃｘ（ｙ）を、次の式（１０９）のように定義すると、第２の方法においては、第１の方法で利用した式（１０６）に相当する式は、次の式（１１０）のようになる。
【１３７５】
【数７９】
2004246524.tif 000162
2004246524.tif 000163
【１３７６】
【数８０】
2004246524.tif 000164
2004246524.tif 000165
【１３７７】
即ち、第１の方法で利用した式（１０６）は、画素の中心の位置（ｘ、ｙ）のうちのＸ方向の位置ｘが、同一の位置に位置する画素の画素値Ｐ（ｘ，ｙ）はいずれも同じ値であることを表している。換言すると、式（１０６）は、同じ画素値の画素がＹ方向に続いている（Ｙ方向に定常性がある）ことを表している。
【１３７８】
これに対して、第２の方法で利用する式（１１０）は、画素の中心の位置が（ｘ，ｙ）である画素の画素値Ｐ（ｘ，ｙ）は、注目画素（その中心の位置が原点（０，０）である画素）からＸ方向にｘだけ離れた場所に位置する画素の画素値（≒ｆ２（ｘ））とは一致せず、その画素からさらにＸ方向にシフト量Ｃｘ（ｙ）だけ離れた場所に位置する画素（注目画素からＸ方向にｘ＋Ｃｘ（ｙ）だけ離れた場所に位置する画素）の画素値（≒ｆ２（ｘ＋Ｃｘ（ｙ）））と同じ値であることを表している。換言すると、式（１１０）は、同じ画素値の画素が、シフト量Ｃｘ（ｙ）に対応する角度θ方向に続いている（略角度θ方向に定常性がある）ことを表している。
【１３７９】
このように、シフト量Ｃｘ（ｙ）が、空間方向の定常性（いまの場合、図２１４の傾きＧＦで表される定常性（厳密には、傾きＧｆで表されるデータの定常性））を考慮した補正量であり、シフト量Ｃｘ（ｙ）により式（１０６）を補正したものが式（１１０）となる。
【１３８０】
この場合、図２１１で示される細線含有データ領域２３０２の２０個の画素値Ｐ（ｘ，ｙ）（ただし、ｘは、−１乃至２のうちのいずれかの整数値。ｙは、−２乃至２のうちのいずれかの整数値）のそれぞれを、上述した式（１１０）に代入すると次の式（１１１）で示される２０個の方程式が生成される。
【１３８１】
【数８１】
2004246524.tif 000166
2004246524.tif 000167
【１３８２】
式（１１１）は、上述した式（１０７）と同様に、２０個の方程式より構成されている。従って、第１の方法と同様に第２の方法においても、近似関数ｆ２（ｘ）の特徴量ｗｉの個数が２０個より少ない場合、即ち、近似関数ｆ２（ｘ）が１９次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量ｗｉの算出が可能である。なお、最小自乗法の具体的な解法は後述する。
【１３８３】
例えば、第１の方法と同様に近似関数ｆ２（ｘ）の次数が５次とされた場合、第２の方法においては、次のようにして特徴量ｗｉが演算される。
【１３８４】
即ち、図２１５は、式（１１１）の左辺で示される画素値Ｐ（ｘ，ｙ）をグラフ化したものを表している。図２１５で示される５つのグラフのそれぞれは、基本的に図２１２で示されるものと同一である。
【１３８５】
図２１５で示されるように、最大の画素値（細線に対応する画素値）は、傾きＧｆで表されるデータの定常性の方向に続いている。
【１３８６】
そこで、第２の方法においては、図２１５で示される入力画素値Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）のそれぞれを、例えば、ｘ軸に沿って足しこむ場合、第１の方法のようにそのまま足しこむ（ｙを一定とみなして、図２１５で示される状態のまま５つのグラフを重ねる）のではなく、図２１６で示される状態に変化させてから足しこむ。
【１３８７】
即ち、図２１６は、図２１５で示される入力画素値Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）のそれぞれを、上述した式（１０９）で示されるシフト量Ｃｘ（ｙ）だけシフトさせた状態を表している。換言すると、図２１６は、図２１５で示される５つのグラフを、データの定常性の実際の方向を表す傾きＧＦを、あたかも傾きＧＦ’とするように（図中、点線の直線を実線の直線とするように）移動させた状態を表している。
【１３８８】
図２１６の状態で、入力画素値Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）のそれぞれを、例えば、ｘ軸に沿って足しこむと（図２１６で示される状態で５つのグラフを重ねると）、図２１７で示されるような、ｘ軸に平行な複数の線（点線、３点鎖線、実線、１点鎖線、および２点鎖線）が分布する。
【１３８９】
なお、図２１７において、縦軸は画素値を表しており、横軸は注目画素からの相対位置ｘを表している。また、点線は入力画素値Ｐ（ｘ，−２）を、３点鎖線は入力画素値Ｐ（ｘ，−１）を、実線は入力画素値Ｐ（ｘ，０）を、１点鎖線は入力画素値Ｐ（ｘ，１）を、２点鎖線は入力画素値Ｐ（ｘ，２）を、それぞれ表している。さらに、同一の画素値の場合、実際には２本以上の線が重なることになるが、図２１７においては、各線の区別がつくように、各線のそれぞれが重ならないように描画されている。
【１３９０】
そして、このように分布した２０個の入力画素値Ｐ（ｘ，ｙ）のそれぞれ（ただし、ｘは、−１乃至２のうちのいずれかの整数値。ｙは、−２乃至２のうちのいずれかの整数値）と、値ｆ２（ｘ＋Ｃｘ（ｙ））の誤差が最小となるような回帰曲線（最小自乗法により演算された特徴量ｗｉを上述した式（１０４）に代入して得られる近似関数ｆ２（ｘ））は、図２１７の実線で示される曲線ｆ２（ｘ）となる。
【１３９１】
このように、第２の方法により生成された近似関数ｆ２（ｘ）は、データ定常性検出部１０１（図２０５）より出力される角度θ方向（即ち、ほぼ空間方向の定常性の方向）の入力画素値Ｐ（ｘ，ｙ）の平均値をＸ方向に結んだ曲線を表すことになる。
【１３９２】
これに対して、上述したように、第１の方法により生成された近似関数ｆ１（ｘ）は、Ｙ方向（即ち、空間方向の定常性とは異なる方向）の入力画素値Ｐ（ｘ，ｙ）の平均値を、Ｘ方向に結んだ曲線を単に表しているに過ぎない。
【１３９３】
従って、図２１７で示されるように、第２の方法により生成された近似関数ｆ２（ｘ）は、第１の方法により生成された近似関数ｆ１（ｘ）よりも、その波形の鈍り度合いが減少し、かつ、元の画素値に対するディテールの減り具合も減少する関数となる。換言すると、図示はしないが、第２の方法により生成される近似関数ｆ２（ｘ）は、第１の方法により生成される近似関数ｆ１（ｘ）よりも実際のＸ断面波形Ｆ（ｘ）により近い波形となる。
【１３９４】
しかしながら、上述したように、近似関数ｆ２（ｘ）は、空間方向の定常性が考慮されたものではあるが、入力画像（入力画素値）を原点（基準）として生成されたものに他ならない。即ち、上述した図２１０で示されるように、近似関数ｆ２（ｘ）は、Ｘ断面波形Ｆ（ｘ）とは異なる入力画像を近似したに過ぎず、Ｘ断面波形Ｆ（ｘ）を近似したとは言い難い。換言すると、第２の方法は、上述した式（１１０）が成立するとして特徴量ｗｉを演算する方法であり、上述した式（１０４）の関係は考慮していない（センサ２の積分効果を考慮していない）。
【１３９５】
そこで、本願出願人は、第２の方法に対して、センサ２の積分効果をさらに考慮することで近似関数ｆ３（ｘ）の特徴量ｗｉを演算する第３の方法を発明した。
【１３９６】
即ち、第３の方法は、空間混合領域の概念を導入した方法である。
【１３９７】
第３の方法の説明の前に、図２１８を参照して、空間混合領域について説明する。
【１３９８】
図２１８において、実世界１の光信号の１部分２３２１（以下、領域２３２１と称する）は、センサ２の１つの検出素子（画素）と同じ面積を有する領域を表している。
【１３９９】
領域２３２１がセンサ２に検出されると、センサ２からは、領域２３２１が時空間方向（Ｘ方向，Ｙ方向，およびｔ方向）に積分された値（１つの画素値）２３２２が出力される。なお、画素値２３２２は、図中、画像として表現されているが、実際には、所定の値を表すデータである。
【１４００】
実世界１の領域２３２１は、前景（例えば、上述した細線）に対応する光信号（図中白い領域）と、背景に対応する光信号（図中黒い領域）に明確に区分される。
【１４０１】
これに対して、画素値２３２２は、前景に対応する実世界１の光信号と、背景に対応する実世界１の光信号が積分された値である。換言すると、画素値２３２２は、前景に対応する光のレベルと背景に対応する光のレベルが空間的に混合されたレベルに対応する値である。
【１４０２】
このように、実世界１の光信号のうちの１画素（センサ２の検出素子）に対応する部分が、同一レベルの光信号が空間的に一様に分布する部分ではなく、前景と背景のように異なるレベルの光信号のそれぞれが分布する部分である場合、その領域は、センサ２により検出されると、センサ２の積分効果により、異なる光のレベルがあたかも空間的に混合されて（空間方向に積分されて）１つの画素値となってしまう。このように、前景に対する画像（実世界１の光信号）と、背景に対する画像（実世界１の光信号）が空間的に積分されている画素からなる領域を、ここでは、空間混合領域と称している。
【１４０３】
従って、第３の方法においては、実世界推定部１０２（図２０５）が、実世界１の元の領域２３２１（実世界１の光信号のうちの、センサ２の１画素に対応する部分２３２１）を表すＸ断面波形Ｆ（ｘ）を、例えば、図２１９で示されるような、１次の多項式である近似関数ｆ３（ｘ）で近似することによって、Ｘ断面波形Ｆ（ｘ）を推定する。
【１４０４】
即ち、図２１９は、空間混合領域である画素値２３２２（図２１８）に対応する近似関数ｆ３（ｘ）、即ち、実世界１の領域２３３１内の実線（図２１８）に対応するＸ断面波形Ｆ（ｘ）を近似する近似関数ｆ３（ｘ）の例を表している。図２１９において、図中水平方向の軸は、画素値２３２２に対応する画素の左下端ｘｓから右下端ｘｅまでの辺（図２１８）に平行な軸を表しており、ｘ軸とされている。図中垂直方向の軸は、画素値を表す軸とされている。
【１４０５】
図２１９において、近似関数ｆ３（ｘ）をｘｓからｘｅの範囲（画素幅）で積分したものが、センサ２から出力される画素値Ｐ（ｘ，ｙ）とほぼ一致する（誤差ｅだけ存在する）として、次の式（１１２）を定義する。
【１４０６】
【数８２】
2004246524.tif 000168
2004246524.tif 000169
【１４０７】
いまの場合、図２１４で示される細線含有データ領域２３０２の２０個の画素値Ｐ（ｘ，ｙ）（ただし、ｘは、−１乃至２のうちのいずれかの整数値。ｙは、−２乃至２のうちのいずれかの整数値）から、近似関数ｆ３（ｘ）の特徴量ｗｉが算出されるので、式（１１２）の画素値Ｐは、画素値Ｐ（ｘ，ｙ）となる。
【１４０８】
また、第２の方法と同様に、空間方向の定常性も考慮する必要があるので、式（１１２）の積分範囲の開始位置ｘｓと終了位置ｘｅのそれぞれは、シフト量Ｃｘ（ｙ）にも依存することになる。即ち、式（１１２）の積分範囲の開始位置ｘｓと終了位置ｘｅのそれぞれは、次の式（１１３）のように表される。
【１４０９】
【数８３】
2004246524.tif 000170
2004246524.tif 000171
【１４１０】
この場合、図２１４で示される細線含有データ領域２３０２の各画素値それぞれ、即ち、図２１５で示される入力画素値Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）のそれぞれ（ただし、ｘは、−１乃至２のうちのいずれかの整数値）を、上述した式（１１２）（積分範囲は、上述した式（１１３））に代入すると次の式（１１４）で示される２０個の方程式が生成される。
【１４１１】
【数８４】
2004246524.tif 000172
【数８５】
2004246524.tif 000173
2004246524.tif 000174
【１４１２】
式（１１４）は、上述した式（１１１）と同様に、２０個の方程式より構成されている。従って、第２の方法と同様に第３の方法においても、近似関数ｆ３（ｘ）の特徴量ｗｉの個数が２０個より少ない場合、即ち、近似関数ｆ３（ｘ）が１９次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量ｗｉの算出が可能である。なお、最小自乗法の具体的な解法は後述する。
【１４１３】
例えば、近似関数ｆ３（ｘ）の次数が５次とされた場合、式（１１４）を利用して最小自乗法により演算された近似関数ｆ３（ｘ）（演算された特徴量ｗｉにより生成される近似関数ｆ３（ｘ））は、図２２０の実線で示される曲線のようになる。
【１４１４】
なお、図２２０において、縦軸は画素値を表しており、横軸は注目画素からの相対位置ｘを表している。
【１４１５】
図２２０で示されるように、第３の方法により生成された近似関数ｆ３（ｘ）（図中、実線で示される曲線）は、第２の方法により生成された近似関数ｆ２（ｘ）（図中、点線で示される曲線）と比較すると、ｘ＝０における画素値が大きくなり、また、曲線の傾斜の度合いも急な波形となる。これは、入力画素よりディテイルが増加して、入力画素の解像度とは無関係となっているためである。即ち、近似関数ｆ３（ｘ）は、Ｘ断面波形Ｆ（ｘ）を近似していると言える。従って、図示はしないが、近似関数ｆ３（ｘ）は、近似関数ｆ２（ｘ）よりもＸ断面波形Ｆ（ｘ）に近い波形となる。
【１４１６】
図２２１は、このような１次多項式近似手法を利用する実世界推定部１０２の構成例を表している。
【１４１７】
図２２１において、実世界推定部１０２は、例えば、特徴量ｗｉを上述した第３の方法（最小自乗法）により演算し、演算した特徴量ｗｉを利用して上述した式（１０５）の近似関数ｆ（ｘ）を生成することで、Ｘ断面波形Ｆ（ｘ）を推定する。
【１４１８】
図２２１で示されるように、実世界推定部１０２には、条件設定部２３３１、入力画像記憶部２３３２、入力画素値取得部２３３３、積分成分演算部２３３４、正規方程式生成部２３３５、および近似関数生成部２３３６が設けられている。
【１４１９】
条件設定部２３３１は、注目画素に対応するＸ断面波形Ｆ（ｘ）を推定するために使用する画素の範囲（以下、タップ範囲と称する）や、近似関数ｆ（ｘ）の次数ｎを設定する。
【１４２０】
入力画像記憶部２３３２は、センサ２からの入力画像（画素値）を一次的に格納する。
【１４２１】
入力画素値取得部２３３３は、入力画像記憶部２３３２に記憶された入力画像のうちの、条件設定部２２３１により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部２３３５に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。なお、入力画素値テーブルの具体例については後述する。
【１４２２】
ところで、ここでは、実世界推定部１０２は、上述した式（１１２）と式（１１３）を利用して最小自乗法により近似関数ｆ（ｘ）の特徴量ｗｉを演算するが、上述した式（１１２）は、次の式（１１５）のように表現することができる。
【１４２３】
【数８６】
2004246524.tif 000175
2004246524.tif 000176
【１４２４】
式（１１５）において、Ｓｉ（ｘｓ，ｘｅ）は、ｉ次項の積分成分を表している。即ち、積分成分Ｓｉ（ｘｓ，ｘｅ）は、次の式（１１６）で示される。
【１４２５】
【数８７】
2004246524.tif 000177
2004246524.tif 000178
【１４２６】
積分成分演算部２３３４は、この積分成分Ｓｉ（ｘｓ、ｘｅ）を演算する。
【１４２７】
具体的には、式（１１６）で示される積分成分Ｓｉ（ｘｓ，ｘｅ）（ただし、値ｘｓと値ｘｅは、上述した式（１１２）で示される値）は、相対画素位置（ｘ，ｙ）、シフト量Ｃｘ（ｙ）、および、ｉ次項のｉが既知であれば演算可能である。また、これらのうちの、相対画素位置（ｘ，ｙ）は注目画素とタップ範囲により、シフト量Ｃｘ（ｙ）は角度θにより（上述した式（１０７）と式（１０９）により）、ｉの範囲は次数ｎにより、それぞれ決定される。
【１４２８】
従って、積分成分演算部２３３４は、条件設定部２３３１により設定されたタップ範囲および次数、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度θに基づいて積分成分Ｓｉ（ｘｓ，ｘｅ）を演算し、その演算結果を積分成分テーブルとして正規方程式生成部２３３５に供給する。
【１４２９】
正規方程式生成部２３３５は、入力画素値取得部２３３３より供給された入力画素値テーブルと、積分成分演算部２３３４より供給された積分成分テーブルを利用して、上述した式（１１２）、即ち、式（１１５）の右辺の特徴量ｗｉを最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部２３３６に供給する。なお、正規方程式の具体例については後述する。
【１４３０】
近似関数生成部２３３６は、正規方程式生成部２３３５より供給された正規方程式テーブルに含まれる正規方程式を行列解放で解くことにより、上述した式（１１５）の特徴量ｗｉ（即ち、１次元多項式である近似関数ｆ（ｘ）の係数ｗｉ）のそれぞれを演算し、画像生成部１０３に出力する。
【１４３１】
次に、図２２２のフローチャートを参照して、１次元多項式近似手法を利用する実世界推定部１０２（図２２１）の実世界の推定処理（図４０のステップＳ１０２の処理）について説明する。
【１４３２】
例えば、いま、センサ２から出力された１フレームの入力画像であって、上述した図２０７の細線含有データ領域２３０２を含む入力画像が、既に入力画像記憶部２３３２に記憶されているとする。また、データ定常性検出部１０１が、ステップＳ１０１（図４０）の定常性の検出の処理において、細線含有データ領域２３０２に対してその処理を施して、データ定常性情報として角度θを既に出力しているとする。
【１４３３】
この場合、図２２２のステップＳ２３０１において、条件設定部２３３１は、条件（タップ範囲と次数）を設定する。
【１４３４】
例えば、いま、図２２３で示されるタップ範囲２３５１が設定されるとともに、次数として５次が設定されたとする。
【１４３５】
即ち、図２２３は、タップ範囲の１例を説明する図である。図２２３において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図２０６）を表している。また、タップ範囲２３５１は、Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素（図中、２０個の正方形）からなる画素群を表している。
【１４３６】
さらに、図２２３で示されるように、注目画素が、タップ範囲２３５１のうちの、図中、左から２画素目であって、下から３画素目の画素に設定されるとする。また、各画素のそれぞれに対して、注目画素からの相対画素位置（ｘ，ｙ）（注目画素の中心（０，０）を原点とする注目画素座標系の座標値）に応じて、図２２３で示されるような番号ｌ（ｌは、０乃至１９のうちのいずれかの整数値）が付されるとする。
【１４３７】
図２２２に戻り、ステップＳ２３０２において、条件設定部２３３１は、注目画素を設定する。
【１４３８】
ステップＳ２３０３において、入力画素値取得部２３３３は、条件設定部２３３１により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。即ち、いまの場合、入力画素値取得部２３３３は、細線含有データ領域２３０２（図２１１）を取得し、入力画素値テーブルとして、２０個の入力画素値Ｐ（ｌ）からなるテーブルを生成する。
【１４３９】
なお、いまの場合、入力画素値Ｐ（ｌ）と、上述した入力画素値Ｐ（ｘ，ｙ）の関係は、次の式（１１７）で示される関係とされる。ただし、式（１１７）において、左辺が入力画素値Ｐ（ｌ）を表し、右辺が入力画素値Ｐ（ｘ，ｙ）を表している。
【１４４０】
【数８８】
2004246524.tif 000179
2004246524.tif 000180
【１４４１】
ステップＳ２３０４において、積分成分演算部２３３４は、条件設定部２３３１により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度θ）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【１４４２】
いまの場合、上述したように、入力画素値は、Ｐ（ｘ，ｙ）でなくＰ（ｌ）といった、画素の番号ｌの値として取得されるので、積分成分演算部２３３４は、上述した式（１１６）の積分成分Ｓｉ（ｘｓ，ｘｅ）を、次の式（１１８）の左辺で示される積分成分Ｓｉ（ｌ）といったｌの関数として演算する。
【１４４３】
Ｓｉ（ｌ）  ＝  Ｓｉ（ｘｓ，ｘｅ）  ・・・（１１８）
【１４４４】
具体的には、いまの場合、次の式（１１９）で示される積分成分Ｓｉ（ｌ）が演算される。
【１４４５】
【数８９】
2004246524.tif 000181
2004246524.tif 000182
【１４４６】
なお、式（１１９）において、左辺が積分成分Ｓｉ（ｌ）を表し、右辺が積分成分Ｓｉ（ｘｓ，ｘｅ）を表している。即ち、いまの場合、ｉは０乃至５であるので、２０個のＳ０（ｌ），２０個のＳ１（ｌ），２０個のＳ２（ｌ），２０個のＳ３（ｌ），２０個のＳ４（ｌ），２０個のＳ５（ｌ）の総計１２０個のＳｉ（ｌ）が演算されることになる。
【１４４７】
より具体的には、はじめに、積分成分演算部２３３４は、データ定常性検出部１０１より供給された角度θを使用して、シフト量Ｃｘ（−２），Ｃｘ（−１），Ｃｘ（１），Ｃｘ（２）のそれぞれを演算する。次に、積分成分演算部２３３４は、演算したシフト量Ｃｘ（−２），Ｃｘ（−１），Ｃｘ（１），Ｃｘ（２）を使用して式（１１８）の右辺に示される２０個の積分成分Ｓｉ（ｘｓ，ｘｅ）のそれぞれを、ｉ＝０乃至５のそれぞれについて演算する。即ち、１２０個の積分成分Ｓｉ（ｘｓ，ｘｅ）が演算される。なお、この積分成分Ｓｉ（ｘｓ，ｘｅ）の演算においては、上述した式（１１６）が使用される。そして、積分成分演算部２３３４は、式（１１９）に従って、演算した１２０個の積分成分Ｓｉ（ｘｓ，ｘｅ）のそれぞれを、対応する積分成分Ｓｉ（ｌ）に変換し、変換した１２０個の積分成分Ｓｉ（ｌ）を含む積分成分テーブルを生成する。
【１４４８】
なお、ステップＳ２３０３の処理とステップＳ２３０４の処理の順序は、図２２２の例に限定されず、ステップＳ２３０４の処理が先に実行されてもよいし、ステップＳ２３０３の処理とステップＳ２３０４の処理が同時に実行されてもよい。
【１４４９】
次に、ステップＳ２３０５において、正規方程式生成部２３３５は、ステップＳ２３０３の処理で入力画素値取得部２３３３により生成された入力画素値テーブルと、ステップＳ２３０４の処理で積分成分演算部２３３４により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。
【１４５０】
具体的には、いまの場合、最小自乗法により、上述した式（１１５）に対応する次の式（１２０）の特徴量ｗｉを演算する。で、それに対応する正規方程式は、次の式（１２１）のように表される。
【１４５１】
【数９０】
2004246524.tif 000183
2004246524.tif 000184
【１４５２】
【数９１】
2004246524.tif 000185
2004246524.tif 000186
【１４５３】
なお、式（１２１）において、Ｌは、タップ範囲の画素の番号ｌのうちの最大値を表している。ｎは、多項式である近似関数ｆ（ｘ）の次数を表している。具体的には、いまの場合、ｎ＝５となり、Ｌ＝１９となる。
【１４５４】
式（１２１）で示される正規方程式の各行列のそれぞれを、次の式（１２２）乃至（１２４）のように定義すると、正規方程式は、次の式（１２５）のように表される。
【１４５５】
【数９２】
2004246524.tif 000187
2004246524.tif 000188
【１４５６】
【数９３】
2004246524.tif 000189
2004246524.tif 000190
【１４５７】
【数９４】
2004246524.tif 000191
2004246524.tif 000192
【１４５８】
【数９５】
2004246524.tif 000193
2004246524.tif 000194
【１４５９】
式（１２３）で示されるように、行列ＷＭＡＴの各成分は、求めたい特徴量ｗｉである。従って、式（１２５）において、左辺の行列ＳＭＡＴと右辺の行列ＰＭＡＴが決定されれば、行列解法によって行列ＷＭＡＴ（即ち、特徴量ｗｉ）の算出が可能である。
【１４６０】
具体的には、式（１２２）で示されるように、行列ＳＭＡＴの各成分は、上述した積分成分Ｓｉ（ｌ）が既知であれば演算可能である。積分成分Ｓｉ（ｌ）は、積分成分演算部２３３４より供給された積分成分テーブルに含まれているので、正規方程式生成部２３３５は、積分成分テーブルを利用して行列ＳＭＡＴの各成分を演算することができる。
【１４６１】
また、式（１２４）で示されるように、行列ＰＭＡＴの各成分は、積分成分Ｓｉ（ｌ）と入力画素値Ｐ（ｌ）が既知であれば演算可能である。積分成分Ｓｉ（ｌ）は、行列ＳＭＡＴの各成分に含まれるものと同一のものであり、また、入力画素値Ｐ（ｌ）は、入力画素値取得部２３３３より供給された入力画素値テーブルに含まれているので、正規方程式生成部２３３５は、積分成分テーブルと入力画素値テーブルを利用して行列ＰＭＡＴの各成分を演算することができる。
【１４６２】
このようにして、正規方程式生成部２３３５は、行列ＳＭＡＴと行列ＰＭＡＴの各成分を演算し、その演算結果（行列ＳＭＡＴと行列ＰＭＡＴの各成分）を正規方程式テーブルとして近似関数生成部２３３６に出力する。
【１４６３】
正規方程式生成部２３３５より正規方程式テーブルが出力されると、ステップＳ２３０６において、近似関数生成部２３３６は、正規方程式テーブルに基づいて、上述した式（１２５）の行列ＷＭＡＴの各成分である特徴量ｗｉ（即ち、１次元多項式である近似関数ｆ（ｘ）の係数ｗｉ）を演算する。
【１４６４】
具体的には、上述した式（１２５）の正規方程式は、次の式（１２６）のように変形できる。
【１４６５】
【数９６】
2004246524.tif 000195
2004246524.tif 000196
【１４６６】
式（１２６）において、左辺の行列ＷＭＡＴの各成分が、求めたい特徴量ｗｉである。また、行列ＳＭＡＴと行列ＰＭＡＴのそれぞれの各成分は、正規方程式生成部２３３５より供給された正規方程式テーブルに含まれている。従って、近似関数生成部２３３６は、正規方程式テーブルを利用して、式（１２６）の右辺の行列演算を行うことで行列ＷＭＡＴを演算し、その演算結果（特徴量ｗｉ）を画像生成部１０３に出力する。
【１４６７】
ステップＳ２３０７において、近似関数生成部２３３６は、全画素の処理を終了したか否かを判定する。
【１４６８】
ステップＳ２３０７において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ２３０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ２３０２乃至Ｓ２３０７の処理が繰り返される。
【１４６９】
そして、全画素の処理が終了すると（ステップＳ２３０７において、全画素の処理が終了されたと判定されると）、実世界１の推定処理は終了となる。
【１４７０】
なお、以上のようにして演算された係数（特徴量）ｗｉにより生成される近似関数ｆ（ｘ）の波形は、上述した図２２０の近似関数ｆ３（ｘ）のような波形となる。
【１４７１】
このように、１次元多項式近似手法においては、１次元のＸ断面波形Ｆ（ｘ）と同一形状の波形が定常性の方向に連なっていると仮定して、１次元の多項式である近似関数ｆ（ｘ）の特徴量が演算される。従って、１次元多項式近似手法においては、他の関数近似手法に比較して、少ない演算処理量で近似関数ｆ（ｘ）の特徴量の算出が可能となる。
【１４７２】
換言すると、１次元多項式近似手法においては、例えば、図２０５（図３）のデータ定常性検出部１０１が、それぞれ時空間積分効果を有する、センサの複数の検出素子（例えば、図２０６のセンサ２の検出素子２−１）により実世界１の光信号（例えば、図２０７の実世界１の光信号の１部分２３０１）が射影され、実世界１の光信号の定常性（例えば、図２１４の傾きＧＦで表される定常性）の一部が欠落した、検出素子２−１により射影された画素値（例えば、図２１２の各グラフに示される入力画素値Ｐ（ｘ，ｙ））を有する複数の画素からなる画像データ（例えば、図２０７の画像データ（入力画像の領域）２３０２）におけるデータの定常性（例えば、図２１４の傾きＧｆで表されるデータの定常性）を検出する。
【１４７３】
例えば、図２０５（図３）の実世界推定部１０２は、データ定常性検出部１０１により検出されたデータの定常性に対応して、画像データの時空間方向のうち１次元方向（例えば、図２０９の矢印２３１１、即ち、Ｘ方向）の位置に対応する画素の画素値（例えば、上述した式（１１２）の左辺である入力画素値Ｐ）が、１次元方向の積分効果により取得された画素値（例えば、式（１１２）の右辺に示されるように、近似関数ｆ３（ｘ）がＸ方向に積分された値）であるとして、実世界１の光信号を表す光信号関数Ｆ（具体的には、Ｘ断面波形Ｆ（ｘ））を所定の近似関数ｆ（具体的には、例えば、図２２０の近似関数ｆ３（ｘ））で近似することで、光信号関数Ｆを推定する。
【１４７４】
詳細には、例えば、実世界推定部１０２は、定常性検出手部１０１により検出されたデータの定常性に対応する線（例えば、図２１６の傾きＧｆに対応する線（点線））からの１次元方向（例えば、Ｘ方向）に沿った距離（例えば、図２１６のシフト量Ｃｘ（ｙ））に対応する画素の画素値が、１次元方向の積分効果により取得された画素値（例えば、上述した式（１１２）に示されるような積分範囲で、式（１１２）の右辺に示されるように、近似関数ｆ３（ｘ）がＸ方向に積分された値）であるとして、光信号関数Ｆを近似関数ｆで近似することにより、光信号関数Ｆを推定する。
【１４７５】
従って、１次元多項式近似手法においては、他の関数近似手法に比較して、少ない演算処理量で近似関数ｆ（ｘ）の特徴量の算出が可能となる。
【１４７６】
次に、図２２４乃至図２３０を参照して、第２の関数近似手法について説明する。
【１４７７】
即ち、第２の関数近似手法とは、例えば、図２２４で示されるような、傾きＧＦで表される空間方向の定常性を有する実世界１の光信号を、Ｘ−Ｙ平面上（空間方向の１方向であるＸ方向と、Ｘ方向に垂直なＹ方向に水平な平面上）の波形Ｆ（ｘ，ｙ）とみなし、２次元の多項式である近似関数ｆ（ｘ，ｙ）で波形Ｆ（ｘ，ｙ）を近似することによって、その波形Ｆ（ｘ，ｙ）を推定する手法である。従って、以下、第２の関数近似手法を、２次元多項式近似手法と称する。
【１４７８】
なお、図２２４において、図中、水平方向は、空間方向の１方向であるＸ方向を、右上方向は、空間方向の他方向であるＹ方向を、垂直方向は、光のレベルを、それぞれ表している。ＧＦは、空間方向の定常性の傾きを表している。
【１４７９】
また、２次元多項式近似手法の説明においても、センサ２は、図２２５で示されるような、複数の検出素子２−１がその平面上に配置されて構成されるＣＣＤとされる。
【１４８０】
図２２５の例では、検出素子２−１の所定の１辺に平行な方向が、空間方向の１方向であるＸ方向とされており、Ｘ方向に垂直な方向が、空間方向の他方向であるＹ方向とされている。そして、Ｘ−Ｙ平面に垂直な方向が、時間方向であるｔ方向とされている。
【１４８１】
また、図２２５の例では、センサ２の各検出素子２−１のそれぞれの空間的な形状は、１辺の長さが１の正方形とされている。そして、センサ２のシャッタ時間（露光時間）が１とされている。
【１４８２】
さらに、図２２５の例では、センサ２の所定の１つの検出素子２−１の中心が、空間方向（Ｘ方向とＹ方向）の原点（Ｘ方向の位置ｘ＝０、およびＹ方向の位置ｙ＝０）とされており、また、露光時間の中間時刻が、時間方向（ｔ方向）の原点（ｔ方向の位置ｔ＝０）とされている。
【１４８３】
この場合、空間方向の原点（ｘ＝０，ｙ＝０）にその中心が存在する検出素子２−１は、Ｘ方向に−０．５乃至０．５の範囲、Ｙ方向に−０．５乃至０．５の範囲、およびｔ方向に−０．５乃至０．５の範囲で光信号関数Ｆ（ｘ，ｙ，ｔ）を積分し、その積分値を画素値Ｐとして出力することになる。
【１４８４】
即ち、空間方向の原点にその中心が存在する検出素子２−１から出力される画素値Ｐは、次の式（１２７）で表される。
【１４８５】
【数９７】
2004246524.tif 000197
2004246524.tif 000198
【１４８６】
その他の検出素子２−１も同様に、対象とする検出素子２−１の中心を空間方向の原点とすることで、式（１２７）で示される画素値Ｐを出力することになる。
【１４８７】
ところで、上述したように、２次元多項式近似手法は、実世界１の光信号を、例えば、図２２４で示されるような波形Ｆ（ｘ，ｙ）として扱い、その２次元の波形Ｆ（ｘ，ｙ）を、２次元の多項式である近似関数ｆ（ｘ，ｙ）に近似する手法である。
【１４８８】
そこで、はじめに、このような近似関数ｆ（ｘ，ｙ）を２次元の多項式で表現する手法について説明する。
【１４８９】
上述したように、実世界１の光信号は、３次元の空間上の位置ｘ，ｙ、およびｚ、並びに時刻ｔを変数とする光信号関数Ｆ（ｘ，ｙ，ｔ）で表される。この光信号関数Ｆ（ｘ，ｙ，ｔ）を、Ｙ方向の任意の位置ｙにおいて、Ｘ方向に射影した１次元の波形を、ここでは、Ｘ断面波形Ｆ（ｘ）と称している。
【１４９０】
このＸ断面波形Ｆ（ｘ）に注目すると、実世界１の信号が、空間方向の所定の方向に定常性を有している場合、Ｘ断面波形Ｆ（ｘ）と同一形状の波形がその定常性の方向に連なっていると考えることができる。例えば、図２２４の例では、Ｘ断面波形Ｆ（ｘ）と同一形状の波形が、傾きＧＦの方向に連なっている。換言すると、Ｘ断面波形Ｆ（ｘ）と同一形状の波形が傾きＧＦの方向に連なって、波形Ｆ（ｘ，ｙ）が形成されているとも言える。
【１４９１】
従って、波形Ｆ（ｘ，ｙ）を近似する近似関数ｆ（ｘ，ｙ）の波形は、Ｘ断面波形Ｆ（ｘ）を近似する近似関数ｆ（ｘ）と同一形状の波形が連なって形成されると考えることで、近似関数ｆ（ｘ，ｙ）を２次元の多項式で表現することが可能になる。
【１４９２】
さらに詳細に、近似関数ｆ（ｘ，ｙ）の表現方法について説明する。
【１４９３】
例えば、いま、上述した図２２４で示されるような、実世界１の光信号、即ち、傾きＧＦで表される空間方向の定常性を有する光信号が、センサ２（図２２５）により検出されて入力画像（画素値）として出力されたとする。
【１４９４】
さらに、図２２６で示されるように、データ定常性検出部１０１（図３）が、この入力画像のうちの、Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素（図中、点線で表される２０個の正方形）から構成される入力画像の領域２４０１に対してその処理を実行し、データ定常性情報の１つとして角度θ（傾きＧＦに対応する傾きＧｆで表されるデータの定常性の方向と、Ｘ方向とのなす角度θ）を出力したとする。
【１４９５】
なお、入力画像の領域２４０１において、図中水平方向は、空間方向の１方向であるＸ方向を表しており、図中垂直方向は、空間方向の他方向であるＹ方向を表している。
【１４９６】
また、図２２６中、左から２画素目であって、下から３画素目の画素が注目画素とされ、その注目画素の中心を原点（０，０）とするように（ｘ，ｙ）座標系が設定されている。そして、原点（０，０）を通る角度θの直線（データの定常性の方向を表す傾きＧｆの直線）に対するＸ方向の相対的な距離（以下、断面方向距離と称する）がｘ’と記述されている。
【１４９７】
さらに、図２２６中、右側のグラフは、Ｘ断面波形Ｆ（ｘ’）が近似された関数であって、ｎ次（ｎは、任意の整数）の多項式である近似関数ｆ（ｘ’）を表している。右側のグラフの軸のうち、図中水平方向の軸は、断面方向距離を表しており、図中垂直方向の軸は、画素値を表している。
【１４９８】
この場合、図２２６で示される近似関数ｆ（ｘ’）は、ｎ次の多項式であるので、次の式（１２８）のように表される。
【１４９９】
【数９８】
2004246524.tif 000199
2004246524.tif 000200
【１５００】
また、角度θが決定されていることから、原点（０，０）を通る角度θの直線は一意に決まり、Ｙ方向の任意の位置ｙにおける、直線のＸ方向の位置ｘｌが、次の式（１２９）のように表される。ただし、式（１２９）において、ｓはｃｏｔθを表している。
【１５０１】
ｘｌ  ＝  ｓ×ｙ  ・・・（１２９）
【１５０２】
即ち、図２２６で示されるように、傾きＧｆで表されるデータの定常性に対応する直線上の点は、座標値（ｘｌ，ｙ）で表される。
【１５０３】
式（１２９）より、断面方向距離ｘ’は、次の式（１３０）のように表される。
【１５０４】
ｘ’  ＝  ｘ−ｘｌ  ＝  ｘ−ｓ×ｙ  ・・・（１３０）
【１５０５】
従って、入力画像の領域２４０１内の任意の位置（ｘ，ｙ）における近似関数ｆ（ｘ，ｙ）は、式（１２８）と式（１３０）より、次の式（１３１）のように示される。
【１５０６】
【数９９】
2004246524.tif 000201
2004246524.tif 000202
【１５０７】
なお、式（１３１）において、ｗｉは、近似関数ｆ（ｘ，ｙ）の係数を表している。なお、近似関数ｆ（ｘ，ｙ）を含む近似関数ｆの係数ｗｉを、近似関数ｆの特徴量と位置づけることもできる。従って、以下、近似関数ｆの係数ｗｉを、近似関数ｆの特徴量ｗｉとも称する。
【１５０８】
このようにして、角度θが既知であれば、２次元波形の近似関数ｆ（ｘ，ｙ）を、式（１３１）の多項式として表現することができる。
【１５０９】
従って、実世界推定部１０２は、式（１３１）の特徴量ｗｉを演算することができれば、図２２４で示されるような波形Ｆ（ｘ，ｙ）を推定することができる。
【１５１０】
そこで、以下、式（１３１）の特徴量ｗｉを演算する手法について説明する。
【１５１１】
即ち、式（１３１）で表される近似関数ｆ（ｘ，ｙ）を、画素（センサ２の検出素子２−１（図２２５））に対応する積分範囲（空間方向の積分範囲）で積分すれば、その積分値が、画素の画素値の推定値となる。このことを、式で表現したものが、次の式（１３２）である。なお、２次元多項式近似手法においては、時間方向ｔは一定値とみなされるので、式（１３２）は、空間方向（Ｘ方向とＹ方法）の位置ｘ，ｙを変数とする方程式とされている。
【１５１２】
【数１００】
2004246524.tif 000203
2004246524.tif 000204
【１５１３】
式（１３２）において、Ｐ（ｘ，ｙ）は、センサ２からの入力画像のうちの、その中心位置が位置（ｘ，ｙ）（注目画素からの相対位置（ｘ，ｙ））に存在する画素の画素値を表している。また、ｅは、誤差を表している。
【１５１４】
このように、２次元多項式近似手法においては、入力画素値Ｐ（ｘ，ｙ）と、２次元の多項式である近似関数ｆ（ｘ，ｙ）の関係を、式（１３２）で表現することが可能であるので、実世界推定部１０２は、式（１３２）を利用して、特徴量ｗｉを、例えば、最小自乗法等により演算することで（演算した特徴量ｗｉを式（１３０）に代入して近似関数ｆ（ｘ，ｙ）を生成することで）、２次元の関数Ｆ（ｘ，ｙ）（傾きＧＦ（図２２４）で表される空間方向の定常性を有する実世界１の光信号を、空間方向に着目して表した波形Ｆ（ｘ，ｙ））を推定することが可能となる。
【１５１５】
図２２７は、このような２次元多項式近似手法を利用する実世界推定部１０２の構成例を表している。
【１５１６】
図２２７で示されるように、実世界推定部１０２には、条件設定部２４２１、入力画像記憶部２４２２、入力画素値取得部２４２３、積分成分演算部２４２４、正規方程式生成部２４２５、および近似関数生成部２４２６が設けられている。
【１５１７】
条件設定部２４２１は、注目画素に対応する関数Ｆ（ｘ，ｙ）を推定するために使用する画素の範囲（タップ範囲）や、近似関数ｆ（ｘ，ｙ）の次数ｎを設定する。
【１５１８】
入力画像記憶部２４２２は、センサ２からの入力画像（画素値）を一次格納する。
【１５１９】
入力画素値取得部２４２３は、入力画像記憶部２４２２に記憶された入力画像のうちの、条件設定部２４２１により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部２４２５に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。なお、入力画素値テーブルの具体例については後述する。
【１５２０】
ところで、上述したように、２次元多項式近似手法を利用する実世界推定部１０２は、上述した式（１３２）を最小自乗法で解くことにより、上述した式（１３１）で示される近似関数ｆ（ｘ，ｙ）の特徴量ｗｉを演算する。
【１５２１】
式（１３２）は、次の式（１３３）乃至式（１３５）を用いることで得られる次の式（１３６）を使用することで、次の式（１３７）のように表現することができる。
【１５２２】
【数１０１】
2004246524.tif 000205
2004246524.tif 000206
【１５２３】
【数１０２】
2004246524.tif 000207
2004246524.tif 000208
【１５２４】
【数１０３】
2004246524.tif 000209
2004246524.tif 000210
【１５２５】
【数１０４】
2004246524.tif 000211
2004246524.tif 000212
【１５２６】
【数１０５】
2004246524.tif 000213
2004246524.tif 000214
【１５２７】
式（１３７）において、Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）は、ｉ次項の積分成分を表している。即ち、積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）は、次の式（１３８）で示される通りである。
【１５２８】
【数１０６】
2004246524.tif 000215
2004246524.tif 000216
【１５２９】
積分成分演算部２４２４は、この積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）を演算する。
【１５３０】
具体的には、式（１３８）で示される積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）は、相対画素位置（ｘ，ｙ）、上述した式（１３１）における変数ｓ、および、ｉ次項のｉが既知であれば、演算可能である。これらのうちの、相対画素位置（ｘ，ｙ）は注目画素とタップ範囲により、変数ｓはｃｏｔθであるので角度θにより、ｉの範囲は次数ｎにより、それぞれ決定される。
【１５３１】
従って、積分成分演算部２４２４は、条件設定部２４２１により設定されたタップ範囲および次数、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度θに基づいて積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）を演算し、その演算結果を積分成分テーブルとして正規方程式生成部２４２５に供給する。
【１５３２】
正規方程式生成部２４２５は、入力画素値取得部２４２３より供給された入力画素値テーブルと、積分成分演算部２４２４より供給された積分成分テーブルを利用して、上述した式（１３２）、即ち、式（１３７）を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部２４２６に出力する。なお、正規方程式の具体例については後述する。
【１５３３】
近似関数生成部２４２６は、正規方程式生成部２４２５より供給された正規方程式テーブルに含まれる正規方程式を行列解放で解くことにより、上述した式（１３２）の特徴量ｗｉ（即ち、２次元多項式である近似関数ｆ（ｘ，ｙ）の係数ｗｉ）のそれぞれを演算し、画像生成部１０３に出力する。
【１５３４】
次に、図２２８のフローチャートを参照して、２次元多項式近似手法が適用される実世界の推定処理（図４０のステップＳ１０２の処理）について説明する。
【１５３５】
例えば、いま、傾きＧＦで表される空間方向の定常性を有する実世界１の光信号が、センサ２（図２２５）により検出されて、１フレームに対応する入力画像として、入力画像記憶部２４２２に既に記憶されているとする。また、データ定常性検出部１０１が、ステップＳ１０１（図４０）の定常性の検出の処理において、入力画像のうちの、上述した図２２６で示される領域２４０１に対して処理を施して、データ定常性情報として角度θを既に出力しているとする。
【１５３６】
この場合、ステップＳ２４０１において、条件設定部２４２１は、条件（タップ範囲と次数）を設定する。
【１５３７】
例えば、いま、図２２９で示されるタップ範囲２４４１が設定されるとともに、次数として５次が設定されたとする。
【１５３８】
即ち、図２２９は、タップ範囲の１例を説明する図である。図２２９において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図２２５）を表している。また、タップ範囲２４４１は、Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素（図中、２０個の正方形）からなる画素群を表している。
【１５３９】
さらに、図２２９に示されるように、注目画素が、タップ範囲２４４１のうちの、図中、左から２画素目であって、下から３画素目の画素に設定されるとする。また、各画素のそれぞれに対して、注目画素からの相対画素位置（ｘ，ｙ）（注目画素の中心（０，０）を原点とする注目画素座標系の座標値）に応じて、図２２９で示されるような番号ｌ（ｌは、０乃至１９のうちのいずれかの整数値）が付されるとする。
【１５４０】
図２２８に戻り、ステップＳ２４０２において、条件設定部２４２１は、注目画素を設定する。
【１５４１】
ステップＳ２４０３において、入力画素値取得部２４２３は、条件設定部２４２１により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。即ち、いまの場合、入力画素値取得部２４２３は、入力画像の領域２４０１（図２２６）を取得し、入力画素値テーブルとして、２０個の入力画素値Ｐ（ｌ）からなるテーブルを生成する。
【１５４２】
なお、いまの場合、入力画素値Ｐ（ｌ）と、上述した入力画素値Ｐ（ｘ，ｙ）の関係は、次の式（１３９）で示される関係とされる。ただし、式（１３９）において、左辺が入力画素値Ｐ（ｌ）を表し、右辺が入力画素値Ｐ（ｘ，ｙ）を表している。
【１５４３】
【数１０７】
2004246524.tif 000217
2004246524.tif 000218
【１５４４】
ステップＳ２４０４において、積分成分演算部２４２４は、条件設定部２４２１により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度θ）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【１５４５】
いまの場合、上述したように、入力画素値は、Ｐ（ｘ，ｙ）でなくＰ（ｌ）といった、画素の番号ｌの値として取得されるので、積分成分演算部２４２４は、上述した式（１３８）の積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）を、次の式（１４０）の左辺で示される積分成分Ｓｉ（ｌ）といったｌの関数として演算する。
【１５４６】
Ｓｉ（ｌ）  ＝  Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）  ・・・（１４０）
【１５４７】
具体的には、いまの場合、次の式（１４１）で示される積分成分Ｓｉ（ｌ）が演算される。
【１５４８】
【数１０８】
2004246524.tif 000219
2004246524.tif 000220
【１５４９】
なお、式（１４１）において、左辺が積分成分Ｓｉ（ｌ）を表し、右辺が積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）を表している。即ち、いまの場合、ｉは０乃至５であるので、２０個のＳ０（ｌ），２０個のＳ１（ｌ），２０個のＳ２（ｌ），２０個のＳ３（ｌ），２０個のＳ４（ｌ），２０個のＳ５（ｌ）の総計１２０個のＳｉ（ｌ）が演算されることになる。
【１５５０】
より具体的には、はじめに、積分成分演算部２４２４は、データ定常性検出部１０１より供給された角度θに対するｃｏｔθを演算し、それを変数ｓとする。次に、積分成分演算部２４２４は、演算した変数ｓを使用して式（１４０）の右辺で示される２０個の積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）  のそれぞれを、ｉ＝０乃至５のそれぞれについて演算する。即ち、１２０個の積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）  が演算されることになる。なお、この積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）  の演算においては、上述した式（１３８）が使用される。そして、積分成分演算部２４２４は、式（１４１）に従って、演算した１２０個の積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）のそれぞれを、対応するＳｉ（ｌ）のそれぞれに変換し、変換した１２０個のＳｉ（ｌ）を含む積分成分テーブルを生成する。
【１５５１】
なお、ステップＳ２４０３の処理とステップＳ２４０４の処理の順序は、図２２８の例に限定されず、ステップＳ２４０４の処理が先に実行されてもよいし、ステップＳ２４０３の処理とステップＳ２４０４の処理が同時に実行されてもよい。
【１５５２】
次に、ステップＳ２４０５において、正規方程式生成部２４２５は、ステップＳ２４０３の処理で入力画素値取得部２４２３により生成された入力画素値テーブルと、ステップＳ２４０４の処理で積分成分演算部２４２４により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。
【１５５３】
具体的には、いまの場合、上述した式（１３７）を利用して最小自乗法により特徴量ｗｉが演算される（ただし、式（１３６）において、積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）は、式（１４０）により変換されるＳｉ（ｌ）が使用される）ので、それに対応する正規方程式は、次の式（１４２）のように表される。
【１５５４】
【数１０９】
2004246524.tif 000221
2004246524.tif 000222
【１５５５】
なお、式（１４２）において、Ｌは、タップ範囲の画素の番号ｌのうちの最大値を表している。ｎは、多項式である近似関数ｆ（ｘ）の次数を表している。具体的には、いまの場合、ｎ＝５となり、Ｌ＝１９となる。
【１５５６】
式（１４２）で示される正規方程式の各行列のそれぞれを、次の式（１４３）乃至（１４５）のように定義すると、正規方程式は、次の式（１４６）のように表現される。
【１５５７】
【数１１０】
2004246524.tif 000223
2004246524.tif 000224
【１５５８】
【数１１１】
2004246524.tif 000225
2004246524.tif 000226
【１５５９】
【数１１２】
2004246524.tif 000227
2004246524.tif 000228
【１５６０】
【数１１３】
2004246524.tif 000229
2004246524.tif 000230
【１５６１】
式（１４４）で示されるように、行列ＷＭＡＴの各成分は、求めたい特徴量ｗｉである。従って、式（１４６）において、左辺の行列ＳＭＡＴと右辺の行列ＰＭＡＴが決定されれば、行列解法によって行列ＷＭＡＴの演算が可能になる。
【１５６２】
具体的には、式（１４３）で示されるように、行列ＳＭＡＴの各成分は、上述した積分成分Ｓｉ（ｌ）で演算可能である。即ち、積分成分Ｓｉ（ｌ）は、積分成分演算部２４２４より供給された積分成分テーブルに含まれているので、正規方程式生成部２４２５は、積分成分テーブルを利用して行列ＳＭＡＴの各成分を演算することができる。
【１５６３】
また、式（１４５）で示されるように、行列ＰＭＡＴの各成分は、積分成分Ｓｉ（ｌ）と入力画素値Ｐ（ｌ）で演算可能である。即ち、積分成分Ｓｉ（ｌ）は、行列ＳＭＡＴの各成分に含まれるものと同一のものであり、また、入力画素値Ｐ（ｌ）は、入力画素値取得部２４２３より供給された入力画素値テーブルに含まれているので、正規方程式生成部２４２５は、積分成分テーブルと入力画素値テーブルを利用して行列ＰＭＡＴの各成分を演算することができる。
【１５６４】
このようにして、正規方程式生成部２４２５は、行列ＳＭＡＴと行列ＰＭＡＴの各成分を演算し、その演算結果（行列ＳＭＡＴと行列ＰＭＡＴの各成分）を正規方程式テーブルとして近似関数生成部２４２６に出力する。
【１５６５】
正規方程式生成部２４２５より正規方程式テーブルが出力されると、ステップＳ２４０６において、近似関数生成部２４２６は、正規方程式テーブルに基づいて、上述した式（１４６）の行列ＷＭＡＴの各成分である特徴量ｗｉ（即ち、２次元多項式である近似関数ｆ（ｘ，ｙ）の係数ｗｉ）を演算する。
【１５６６】
具体的には、上述した式（１４６）の正規方程式は、次の式（１４７）のように変形できる。
【１５６７】
【数１１４】
2004246524.tif 000231
2004246524.tif 000232
【１５６８】
式（１４７）において、左辺の行列ＷＭＡＴの各成分が、求めたい特徴量ｗｉである。また、行列ＳＭＡＴと行列ＰＭＡＴのそれぞれの各成分は、正規方程式生成部２４２５より供給された正規方程式テーブルに含まれている。従って、近似関数生成部２４２６は、正規方程式テーブルを利用して、式（１４７）の右辺の行列演算を行うことで行列ＷＭＡＴを演算し、その演算結果（特徴量ｗｉ）を画像生成部１０３に出力する。
【１５６９】
ステップＳ２４０７において、近似関数生成部２４２６は、全画素の処理を終了したか否かを判定する。
【１５７０】
ステップＳ２４０７において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ２４０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ２４０２乃至Ｓ２４０７の処理が繰り返される。
【１５７１】
そして、全画素の処理が終了すると（ステップＳ２４０７において、全画素の処理が終了されたと判定されると）、実世界１の推定処理は終了となる。
【１５７２】
以上、２次元多項式近似手法の説明として、空間方向（Ｘ方向とＹ方向）に対する近似関数ｆ（ｘ，ｙ）の係数（特徴量）ｗｉを演算する例を用いたが、２次元多項式近似手法は、時空間方向（Ｘ方向とｔ方向、または、Ｙ方向とｔ方向）に対しても適用可能である。
【１５７３】
即ち、上述した例は、実世界１の光信号が、例えば、傾きＧＦ（図２２４）で表される空間方向の定常性を有する場合の例であったので、上述した式（１３２）で示されるような、空間方向（Ｘ方向とＹ方向）の二次元積分が含まれる式が利用された。しかしながら、二次元積分の考え方は、空間方向だけによるものではなく、時空間方向（Ｘ方向とｔ方向、または、Ｙ方向とｔ方向）に対して適用することも可能である。
【１５７４】
換言すると、２次元多項式近似手法においては、推定したい光信号関数Ｆ（ｘ，ｙ，ｔ）が、空間方向の定常性のみならず、時空間方向（ただし、Ｘ方向とｔ方向、または、Ｙ方向とｔ方向）の定常性を有している場合であっても、２次元の多項式により近似することが可能である。
【１５７５】
具体的には、例えば、Ｘ方向に水平に等速で動いている物体がある場合、その物体の動きの方向は、図２３０で示されるようなＸ−ｔ平面においては、傾きＶＦのように表される。換言すると、傾きＶＦは、Ｘ−ｔ平面における時空間方向の定常性の方向を表しているとも言える。従って、データ定常性検出部１０１は、上述した角度θ（Ｘ−Ｙ平面における、傾きＧＦで表される空間方向の定常性に対応するデータ定常性情報）と同様に、Ｘ−ｔ平面における時空間方向の定常性を表す傾きＶＦに対応するデータ定常性情報として、図２３０で示されるような動きθ（厳密には、図示はしないが、傾きＶＦに対応する傾きＶｆで表されるデータの定常性の方向と、空間方向のＸ方向とのなす角度である動きθ）を出力することが可能である。
【１５７６】
従って、２次元多項式近似手法を利用する実世界推定部１０２は、動きθを上述した角度θの代わりとして使用すれば、上述した方法と同様な方法で、近似関数ｆ（ｘ，ｔ）の係数（特徴量）ｗｉを演算することが可能になる。ただし、この場合、使用される式は、上述した式（１３２）ではなく、次の式（１４８）である。
【１５７７】
【数１１５】
2004246524.tif 000233
2004246524.tif 000234
【１５７８】
なお、式（１４８）において、ｓはｃｏｔθ（ただし、θは動きである）である。
【１５７９】
また、空間方向Ｘの変わりに、空間方向Ｙに注目した近似関数ｆ（ｙ，ｔ）も、上述した近似関数ｆ（ｘ、ｔ）と全く同様に取り扱うことが可能である。
【１５８０】
このように、２次元多項式近似手法においては、例えば、図２０５（図３）のデータ定常性検出部１０１が、それぞれ時空間積分効果を有する、センサの複数の検出素子（例えば、図２２５のセンサ２の検出素子２−１）により実世界１（図２０５）の光信号が射影され、実世界１の光信号の定常性（例えば、図２２４の傾きＧＦで表される定常性）の一部が欠落した、検出素子２−１により射影された画素値を有する複数の画素からなる画像データ（例えば、図２０５の入力画像）におけるデータの定常性（例えば、図２２６の傾きＧｆで表されるデータの定常性）を検出する。
【１５８１】
そして、例えば、図２０５（図３）の実世界推定部１０２（構成は、図２２７）が、データ定常性検出部１０１により検出されたデータの定常性に対応して、画像データの時空間方向のうち少なくとも２次元方向（例えば、図２２４と図２２５の空間方向Ｘと、空間方向Ｙ）の位置に対応する画素の画素値（例えば、上述した式（１３１）の左辺である入力画素値Ｐ（ｘ、ｙ））が、少なくとも２次元方向の積分効果により取得された画素値（例えば、式（１３２）の右辺に示されるように、上述した式（１３１）で示される近似関数ｆ（ｘ，ｙ）がＸ方向とＹ方向に積分された値）であるとして、実世界１の光信号を表す光信号関数Ｆ（具体的には、図２２４の関数Ｆ（ｘ，ｙ））を、多項式である近似関数ｆ（例えば、式（１３１）で示される近似関数ｆ（ｘ，ｙ））で近似することで、光信号関数Ｆを推定する。
【１５８２】
詳細には、例えば、実世界推定部１０２は、データ定常性検出部１０１により検出されたデータの定常性に対応する線（例えば、図２２６の傾きＧｆに対応する線（矢印））からの少なくとも２次元方向に沿った距離（例えば、図２２６の断面方向距離ｘ‘）に対応する画素の画素値が、少なくとも２次元方向の積分効果により取得された画素値であるとして、現実世界の光信号を表す第１の関数を、多項式である第２の関数で近似することで、第１の関数を推定する。
【１５８３】
このように、２次元多項式近似手法は、１次元ではなく２次元の積分効果を考慮しているので、１次元多項式近似手法に比較して、より正確に実世界１の光信号を推定することが可能になる。
【１５８４】
次に、図２３１乃至図２３５を参照して、第３の関数近似手法について説明する。
【１５８５】
即ち、第３の関数近似手法とは、例えば、時空間方向のうちの所定の方向の定常性を有する実世界１の光信号が、光信号関数Ｆ（ｘ，ｙ，ｔ）で表されることに注目して、近似関数ｆ（ｘ，ｙ，ｔ）で光信号関数Ｆ（ｘ，ｙ，ｔ）を近似することによって、光信号関数Ｆ（ｘ，ｙ，ｔ）を推定する手法である。従って、以下、第３の関数近似手法を、３次元関数近似手法と称する。
【１５８６】
また、３次元関数近似手法の説明においても、センサ２は、図２３１で示されるような、複数の検出素子２−１がその平面上に配置されて構成されるＣＣＤとされる。
【１５８７】
図２３１の例では、検出素子２−１の所定の１辺に平行な方向が、空間方向の１方向であるＸ方向とされており、Ｘ方向に垂直な方向が、空間方向の他方向であるＹ方向とされている。そして、Ｘ−Ｙ平面に垂直な方向が、時間方向であるｔ方向とされている。
【１５８８】
また、図２３１の例では、センサ２の各検出素子２−１のそれぞれの空間的な形状は、１辺の長さが１の正方形とされている。そして、センサ２のシャッタ時間（露光時間）が１とされている。
【１５８９】
さらに、図２３１の例では、センサ２の所定の１つの検出素子２−１の中心が、空間方向（Ｘ方向とＹ方向）の原点（Ｘ方向の位置ｘ＝０、およびＹ方向の位置ｙ＝０）とされており、また、露光時間の中間時刻が、時間方向（ｔ方向）の原点（ｔ方向の位置ｔ＝０）とされている。
【１５９０】
この場合、空間方向の原点（ｘ＝０，ｙ＝０）にその中心が存在する検出素子２−１は、Ｘ方向に−０．５乃至０．５の範囲、Ｙ方向に−０．５乃至０．５の範囲、およびｔ方向に−０．５乃至０．５の範囲で光信号関数Ｆ（ｘ，ｙ，ｔ）を積分し、その積分値を画素値Ｐとして出力することになる。
【１５９１】
即ち、空間方向の原点にその中心が存在する検出素子２−１から出力される画素値Ｐは、次の式（１４９）で表される。
【１５９２】
【数１１６】
2004246524.tif 000235
2004246524.tif 000236
【１５９３】
その他の検出素子２−１も同様に、対象とする検出素子２−１の中心を空間方向の原点とすることで、式（１４９）で示される画素値Ｐを出力することになる。
【１５９４】
ところで、上述したように、３次元関数近似手法においては、光信号関数Ｆ（ｘ，ｙ，ｔ）は、３次元の近似関数ｆ（ｘ，ｙ，ｔ）に近似される。
【１５９５】
具体的には、例えば、近似関数ｆ（ｘ，ｙ，ｔ）を、Ｎ個の変数（特徴量）を有する関数とし、式（１４９）に対応する入力画素値Ｐ（ｘ，ｙ，ｔ）と近似関数ｆ（ｘ，ｙ，ｔ）の関係式を定義する。これにより、Ｎより大きいＭ個の入力画素値Ｐ（ｘ，ｙ，ｔ）が取得されていれば、定義された関係式からＮ個の変数（特徴量）の算出が可能である。即ち、実世界推定部１０２は、Ｍ個の入力画素値Ｐ（ｘ，ｙ，ｔ）を取得してＮ個の変数（特徴量）を演算することで、光信号関数Ｆ（ｘ，ｙ，ｔ）を推定することが可能である。
【１５９６】
この場合、実世界推定部１０２は、センサ２からの入力画像（入力画素値）に含まれるデータの定常性を縛りとして（即ち、データ定常性検出部１０１より出力される入力画像に対するデータ定常性情報を利用して）、入力画像全体のうちの、Ｍ個の入力画像Ｐ（ｘ，ｙ，ｔ）を抽出（取得）する。結果的に、予測関数ｆ（ｘ，ｙ，ｔ）は、データの定常性に拘束されることになる。
【１５９７】
例えば、図２３２で示されるように、入力画像に対応する光信号関数Ｆ（ｘ，ｙ，ｔ）が、傾きＧＦで表される空間方向の定常性を有している場合、データ定常性検出部１０１は、入力画像に対するデータ定常性情報として、角度θ（傾きＧＦに対応する傾きＧｆ（図示せず）で表されるデータの定常性の方向と、Ｘ方向のなす角度θ）を出力することになる。
【１５９８】
この場合、光信号関数Ｆ（ｘ，ｙ，ｔ）をＸ方向に射影した１次元の波形（ここでは、このような波形を、Ｘ断面波形と称している）は、Ｙ方向のいずれの位置で射影した場合であっても同一の形状であるとする。
【１５９９】
即ち、同一形状のＸ断面波形が、定常性の方向（Ｘ方向に対して角度θ方向）に連なっている２次元の（空間方向の）波形が存在するとし、そのような２次元波形が時間方向ｔに連なった３次元波形を、近似関数ｆ（ｘ，ｙ，ｔ）で近似する。
【１６００】
換言すると、注目画素の中心からＹ方向に位置ｙだけずれたＸ断面波形は、注目画素の中心を通るＸ断面波形がＸ方向に所定の量（角度θに応じて変化する量）だけ移動した（シフトした）波形となる。なお、以下、このような量を、シフト量と称する。
【１６０１】
このシフト量は、次のようにして算出が可能である。
【１６０２】
即ち、傾きＶｆ（例えば、図２３２の傾きＶＦに対応する、データの定常性の方向を表す傾きＶｆ）と角度θは、次の式（１５０）のように表される。
【１６０３】
【数１１７】
2004246524.tif 000237
2004246524.tif 000238
【１６０４】
なお、式（１５０）において、ｄｘは、Ｘ方向の微小移動量を表しており、ｄｙは、ｄｘに対するＹ方向の微小移動量を表している。
【１６０５】
従って、Ｘ方向に対するシフト量をＣｘ（ｙ）と記述すると、次の式（１５１）のように表される。
【１６０６】
【数１１８】
2004246524.tif 000239
2004246524.tif 000240
【１６０７】
このようにして、シフト量Ｃｘ（ｙ）を定義すると、式（１４９）に対応する入力画素値Ｐ（ｘ，ｙ，ｔ）と近似関数ｆ（ｘ，ｙ，ｔ）の関係式は、次の式（１５２）のように表される。
【１６０８】
【数１１９】
2004246524.tif 000241
2004246524.tif 000242
【１６０９】
式（１５２）において、ｅは、誤差を表している。ｔｓは、ｔ方向の積分開始位置を表しており、ｔｅは、ｔ方向の積分終了位置を表している。同様に、ｙｓは、Ｙ方向の積分開始位置を表しており、ｙｅは、Ｙ方向の積分終了位置を表している。また、ｘｓは、Ｘ方向の積分開始位置を表しており、ｘｅは、Ｘ方向の積分終了位置を表している。ただし、具体的な各積分範囲のそれぞれは、次の式（１５３）で示される通りになる。
【１６１０】
【数１２０】
2004246524.tif 000243
2004246524.tif 000244
【１６１１】
式（１５３）で示されるように、注目画素から空間方向に（ｘ，ｙ）だけ離れて位置する画素に対するＸ方向の積分範囲を、シフト量Ｃｘ（ｙ）だけ移動させることで、同一形状のＸ断面波形が、定常性の方向（Ｘ方向に対して角度θ方向）に連なっていることを表すことが可能になる。
【１６１２】
このように、３次元関数近似手法においては、画素値Ｐ（ｘ，ｙ、ｔ）と、３次元の近似関数ｆ（ｘ，ｙ，ｔ）の関係を式（１５２）（積分範囲は、式（１５３））で表すことができるので、式（１５２）と式（１５３）を利用して、近似関数ｆ（ｘ，ｙ，ｔ）のＮ個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数Ｆ（ｘ，ｙ，ｔ）（例えば、図２３２で示されるような傾きＶＦ表される空間方向の定常性を有する光信号）の推定が可能となる。
【１６１３】
なお、光信号関数Ｆ（ｘ，ｙ，ｔ）で表される光信号が、例えば、図２３２で示されるような傾きＶＦで表される空間方向の定常性を有している場合、次のようにして光信号関数Ｆ（ｘ，ｙ，ｔ）を近似してもよい。
【１６１４】
即ち、光信号関数Ｆ（ｘ，ｙ，ｔ）をＹ方向に射影した１次元の波形（以下、このような波形を、Ｙ断面波形と称する）は、Ｘ方向のいずれの位置で射影した場合であっても同一の形状であるとする。
【１６１５】
換言すると、同一形状のＹ断面波形が、定常性の方向（Ｘ方向に対して角度θ方向）に連なっている２次元の（空間方向の）波形が存在するとし、そのような２次元波形が時間方向ｔに連なった３次元波形を、近似関数ｆ（ｘ，ｙ，ｔ）で近似する。
【１６１６】
従って、注目画素の中心からＸ方向にｘだけずれたＹ断面波形は、注目画素の中心を通るＹ断面波形がＹ方向に所定のシフト量（角度θに応じて変化するシフト量）だけ移動した波形となる。
【１６１７】
このシフト量は、次のようにして算出が可能である。
【１６１８】
即ち、傾きＧＦが、上述した式（１５０）のように表されるので、Ｙ方向に対するシフト量をＣｙ（ｘ）と記述すると、次の式（１５４）のように表される。
【１６１９】
【数１２１】
2004246524.tif 000245
2004246524.tif 000246
【１６２０】
このようにして、シフト量Ｃｙ（ｘ）を定義すると、式（１４９）に対応する入力画素値Ｐ（ｘ，ｙ，ｔ）と近似関数ｆ（ｘ，ｙ，ｔ）の関係式は、シフト量Ｃｘ（ｙ）を定義したときと同様に、上述した式（１５２）で表される。
【１６２１】
ただし、今度は、具体的な各積分範囲のそれぞれは、次の式（１５５）で示される通りになる。
【１６２２】
【数１２２】
2004246524.tif 000247
2004246524.tif 000248
【１６２３】
式（１５５）（および上述した式（１５２））で示されるように、注目画素から（ｘ，ｙ）だけ離れて位置する画素に対するＹ方向の積分範囲を、シフト量Ｃｙ（ｘ）だけ移動させることで、同一形状のＹ断面波形が、定常性の方向（Ｘ方向に対して角度θ方向）に連なっていることを表すことが可能になる。
【１６２４】
このように、３次元関数近似手法においては、上述した式（１５２）の右辺の積分範囲を式（１５３）のみならず式（１５５）とすることもできるので、積分範囲として式（１５５）が採用された式（１５２）を利用して、近似関数ｆ（ｘ，ｙ，ｔ）のｎ個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数Ｆ（ｘ，ｙ，ｔ）（傾きＧＦで表される空間方向の定常性を有する実世界１の光信号）の推定が可能となる。
【１６２５】
このように、積分範囲を表す式（１５３）と式（１５５）は、定常性の方向にあわせて周辺画素をＸ方向にシフトさせるか（式（１５３）の場合）、或いはＹ方向にシフトさせるか（式（１５５）の場合）の違いがあるだけであり、本質的には同じことを表している。
【１６２６】
しかしながら、定常性の方向（傾きＧＦ）に応じて、光信号関数Ｆ（ｘ，ｙ，ｔ）を、Ｘ断面波形の集まりと捉えるか、Ｙ断面波形の集まりと捉えるかが異なる。即ち、定常性の方向がＹ方向に近い場合、光信号関数Ｆ（ｘ，ｙ，ｔ）を、Ｘ断面波形の集まりと捉えた方が好適である。これに対して、定常性の方向がＸ方向に近い場合、光信号関数Ｆ（ｘ，ｙ，ｔ）を、Ｙ断面波形の集まりと捉えた方が好適である。
【１６２７】
従って、実世界推定部１０２は、積分範囲として式（１５３）と式（１５５）の両方を用意しておき、定常性の方向に応じて、適宜式（１５２）の右辺の積分範囲として、式（１５３）と式（１５５）のうちのいずれか一方を選択するとよい。
【１６２８】
以上、光信号関数Ｆ（ｘ，ｙ，ｔ）が空間方向（Ｘ方向とＹ方向）の定常性（例えば、図２３２の傾きＧＦで表される空間方向の定常性）を有する場合についての３次元関数手法について説明したが、３次元関数手法は、図２３３で示されるように、光信号関数Ｆ（ｘ，ｙ，ｔ）が時空間方向（Ｘ方向、Ｙ方向、およびｔ方向）の定常性（傾きＶＦで表される定常性）を有する場合についても適用可能である。
【１６２９】
即ち、図２３３において、フレーム番号＃Ｎ−１のフレームに対応する光信号関数がＦ（ｘ、ｙ、＃Ｎ−１）とされ、フレーム番号＃Ｎのフレームに対応する光信号関数がＦ（ｘ、ｙ、＃Ｎ）とされ、かつ、フレーム番号＃Ｎ＋１のフレームに対応する光信号関数がＦ（ｘ、ｙ、＃Ｎ＋１）とされている。
【１６３０】
なお、図２３３において、図中、水平方向は、空間方向の１方向であるＸ方向とされており、右斜め上方向は、空間方向の他方向であるＹ方向とされており、かつ、垂直方向は、時間方向であるｔ方向とされている。
【１６３１】
また、フレーム＃Ｎ−１は、フレーム＃Ｎに対して時間的に前のフレームであり、フレーム＃Ｎ＋１は、フレーム＃Ｎに対して時間的に後のフレームである。即ち、フレーム＃Ｎ−１、フレーム＃Ｎ、およびフレーム＃Ｎ＋１は、フレーム＃Ｎ−１、フレーム＃Ｎ、およびフレーム＃Ｎ＋１の順で表示される。
【１６３２】
図２３３の例では、傾きＶＦで示される方向（図中左下手前から右上奥の方向）に沿った断面の光のレベルがほぼ一定とされている。従って、図２３３の例では、光信号関数Ｆ（ｘ，ｙ，ｔ）は、傾きＶＦで表される時空間方向の定常性を有していると言える。
【１６３３】
この場合、時空間方向の定常性を表す関数Ｃ（ｘ，ｙ，ｔ）を定義し、かつ、定義された関数Ｃ（ｘ，ｙ，ｔ）を利用して、上述した式（１５２）の積分範囲を定義すれば、上述した式（１５３）や式（１５５）と同様に、近似関数ｆ（ｘ，ｙ，ｔ）のＮ個の特徴量の算出が可能になる。
【１６３４】
関数Ｃ（ｘ，ｙ，ｔ）は、定常性の方向を表す関数であれば特に限定されない。ただし、以下においては、直線的な定常性であるとして、それに対応する関数Ｃ（ｘ，ｙ，ｔ）として、上述した空間方向の定常性を表す関数であるシフト量Ｃｘ（ｙ）（式（１５１））やシフト量Ｃｙ（ｘ）（式（１５３））に相当する、Ｃｘ（ｔ）とＣｙ（ｔ）を次のように定義するとする。
【１６３５】
即ち、上述した空間方向のデータの定常性を表す傾きＧｆに対応する、時空間方向のデータの定常性の傾きをＶｆとすると、この傾きＶｆをＸ方向の傾き（以下、Ｖｆｘと記述する）とＹ方向の傾き（以下、Ｖｆｙと記述する）に分割すると、傾きＶｆｘは次の式（１５６）で、傾きＶｆｙは次の式（１５７）で、それぞれ表される。
【１６３６】
【数１２３】
2004246524.tif 000249
2004246524.tif 000250
【１６３７】
【数１２４】
2004246524.tif 000251
2004246524.tif 000252
【１６３８】
この場合、関数Ｃｘ（ｔ）は、式（１５６）で示される傾きＶｆｘを利用して、次の式（１５８）のように表される。
【１６３９】
【数１２５】
2004246524.tif 000253
2004246524.tif 000254
【１６４０】
同様に、関数Ｃｙ（ｔ）は、式（１５７）で示される傾きＶｆｙを利用して、次の式（１５９）のように表される。
【１６４１】
【数１２６】
2004246524.tif 000255
2004246524.tif 000256
【１６４２】
このようにして、時空間方向の定常性２５１１を表す関数Ｃｘ（ｔ）と関数Ｃｙ（ｔ）を定義すると、式（１５２）の積分範囲は、次の式（１６０）のように表される。
【１６４３】
【数１２７】
2004246524.tif 000257
2004246524.tif 000258
【１６４４】
このように、３次元関数近似手法においては、画素値Ｐ（ｘ，ｙ、ｔ）と、３次元の近似関数ｆ（ｘ，ｙ，ｔ）の関係を式（１５２）で表すことができるので、その式（１５２）の右辺の積分範囲として式（１６０）を利用して、近似関数ｆ（ｘ，ｙ，ｔ）のｎ＋１個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数Ｆ（ｘ，ｙ，ｔ）（時空間方向の所定の方向に定常性を有する実世界１の光信号）を推定することが可能となる。
【１６４５】
図２３４は、このような３次元関数近似手法を利用する実世界推定部１０２の構成例を表している。
【１６４６】
なお、３次元関数近似手法を利用する実世界推定部１０２が演算する近似関数ｆ（ｘ，ｙ，ｔ）（実際には、その特徴量（係数）を演算する）は、特に限定されないが、以下の説明においては、ｎ（ｎ＝Ｎ−１）次の多項式とされる。
【１６４７】
図２３４で示されるように、実世界推定部１０２には、条件設定部２５２１、入力画像記憶部２５２２、入力画素値取得部２５２３、積分成分演算部２５２４、正規方程式生成部２５２５、および近似関数生成部２５２６が設けられている。
【１６４８】
条件設定部２５２１は、注目画素に対応する光信号関数Ｆ（ｘ，ｙ，ｔ）を推定するために使用する画素の範囲（タップ範囲）や、近似関数ｆ（ｘ，ｙ，ｔ）の次数ｎを設定する。
【１６４９】
入力画像記憶部２５２２は、センサ２からの入力画像（画素値）を一次格納する。
【１６５０】
入力画素値取得部２５２３は、入力画像記憶部２５２２に記憶された入力画像のうちの、条件設定部２５２１により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部２５２５に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。
【１６５１】
ところで、上述したように、３次元関数近似手法を利用する実世界推定部１０２は、上述した式（１５２）（ただし積分範囲は、式（１５３）、式（１５６）、または式（１６０））を利用して最小自乗法により近似関数ｆ（ｘ，ｙ）のＮ個の特徴量（いまの場合、各次の係数）を演算する。
【１６５２】
式（１５２）の右辺は、その積分を演算することで、次の式（１６１）のように表現することができる。
【１６５３】
【数１２８】
2004246524.tif 000259
2004246524.tif 000260
【１６５４】
式（１６１）において、ｗｉは、ｉ次項の係数（特徴量）を表しており、また、Ｓｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ，ｔｓ，ｔｅ）は、ｉ次項の積分成分を表している。ただし、ｘｓはＸ方向の積分範囲の開始位置を、ｘｅはＸ方向の積分範囲の終了位置を、ｙｓはＹ方向の積分範囲の開始位置を、ｙｅはＹ方向の積分範囲の終了位置を、ｔｓはｔ方向の積分範囲の開始位置を、ｔｅはｔ方向の積分範囲の終了位置を、それぞれ表している。
【１６５５】
積分成分演算部２５２４は、この積分成分Ｓｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ，ｔｓ，ｔｅ）を演算する。
【１６５６】
即ち、積分成分演算部２５２４は、条件設定部２５２１により設定されたタップ範囲および次数、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度若しくは動き（積分範囲として、上述した式（１５３）若しくは式（１５６）が利用される場合には角度であり、上述した式（１６０）が利用される場合には動きである）に基づいて積分成分Ｓｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ，ｔｓ，ｔｅ）を演算し、その演算結果を積分成分テーブルとして正規方程式生成部２５２５に供給する。
【１６５７】
正規方程式生成部２５２５は、入力画素値取得部２５２３より供給された入力画素値テーブルと、積分成分演算部２５２４より供給された積分成分テーブルを利用して、上述した式（１６１）を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部２５２６に出力する。正規方程式の例については、後述する。
【１６５８】
近似関数生成部２５２６は、正規方程式生成部２５２５より供給された正規方程式テーブルに含まれる正規方程式を行列解放で解くことにより、特徴量ｗｉ（いまの場合、３次元多項式である画素値関数ｆ（ｘ，ｙ）の係数ｗｉ）のそれぞれを演算し、画像生成部１０３に出力する。
【１６５９】
次に、図２３５のフローチャートを参照して、３次元関数近似手法が適用される実世界の推定処理（図４０のステップＳ１０２の処理）について説明する。
【１６６０】
はじめに、ステップＳ２５０１において、条件設定部２５２１は、条件（タップ範囲と次数）を設定する。
【１６６１】
例えば、いま、Ｌ個の画素からなるタップ範囲が設定されたとする。また、各画素のそれぞれに対して、所定の番号ｌ（ｌは、０乃至Ｌ−１のうちのいずれかの整数値）が付されるとする。
【１６６２】
次に、ステップＳ２５０２において、条件設定部２５２１は、注目画素を設定する。
【１６６３】
ステップＳ２５０３において、入力画素値取得部２５２３は、条件設定部２５２１により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。いまの場合、Ｌ個の入力画素値Ｐ（ｘ，ｙ，ｔ）からなるテーブルが生成されることになる。ここで、Ｌ個の入力画素値Ｐ（ｘ，ｙ，ｔ）のそれぞれを、その画素の番号ｌの関数としてＰ（ｌ）と記述することにする。即ち、入力画素値テーブルは、Ｌ個のＰ（ｌ）が含まれるテーブルとなる。
【１６６４】
ステップＳ２５０４において、積分成分演算部２５２４は、条件設定部２５２１により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度若しくは動き）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【１６６５】
ただし、いまの場合、上述したように、入力画素値は、Ｐ（ｘ，ｙ，ｔ）でなくＰ（ｌ）といった、画素の番号ｌの値として取得されるので、積分成分演算部２５２４は、上述した式（１６１）の積分成分Ｓｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ，ｔｓ，ｔｅ）を、積分成分Ｓｉ（ｌ）といったｌの関数として演算することになる。即ち、積分成分テーブルは、Ｌ×ｉ個のＳｉ（ｌ）が含まれるテーブルとなる。
【１６６６】
なお、ステップＳ２５０３の処理とステップＳ２５０４の処理の順序は、図２３５の例に限定されず、ステップＳ２５０４の処理が先に実行されてもよいし、ステップＳ２５０３の処理とステップＳ２５０４の処理が同時に実行されてもよい。
【１６６７】
次に、ステップＳ２５０５において、正規方程式生成部２５２５は、ステップＳ２５０３の処理で入力画素値取得部２５２３により生成された入力画素値テーブルと、ステップＳ２５０４の処理で積分成分演算部２５２４により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。
【１６６８】
具体的には、いまの場合、最小自乗法により、上述した式（１６１）に対応する次の式（１６２）の特徴量ｗｉを演算する。で、それに対応する正規方程式は、次の式（１６３）のように表される。
【１６６９】
【数１２９】
2004246524.tif 000261
2004246524.tif 000262
【１６７０】
【数１３０】
2004246524.tif 000263
2004246524.tif 000264
【１６７１】
式（１６３）で示される正規方程式の各行列のそれぞれを、次の式（１６４）乃至（１６６）のように定義すると、正規方程式は、次の式（１６７）のように表される。
【１６７２】
【数１３１】
2004246524.tif 000265
2004246524.tif 000266
【１６７３】
【数１３２】
2004246524.tif 000267
2004246524.tif 000268
【１６７４】
【数１３３】
2004246524.tif 000269
2004246524.tif 000270
【１６７５】
【数１３４】
2004246524.tif 000271
2004246524.tif 000272
【１６７６】
式（１６５）で示されるように、行列ＷＭＡＴの各成分は、求めたい特徴量ｗｉである。従って、式（１６７）において、左辺の行列ＳＭＡＴと右辺の行列ＰＭＡＴが決定されれば、行列解法によって行列ＷＭＡＴ（即ち、特徴量ｗｉ）の算出が可能である。
【１６７７】
具体的には、式（１６４）で示されるように、行列ＳＭＡＴの各成分は、上述した積分成分Ｓｉ（ｌ）が既知であれば演算可能である。積分成分Ｓｉ（ｌ）は、積分成分演算部２５２４より供給された積分成分テーブルに含まれているので、正規方程式生成部２５２５は、積分成分テーブルを利用して行列ＳＭＡＴの各成分を演算することができる。
【１６７８】
また、式（１６６）で示されるように、行列ＰＭＡＴの各成分は、積分成分Ｓｉ（ｌ）と入力画素値Ｐ（ｌ）が既知であれば演算可能である。積分成分Ｓｉ（ｌ）は、行列ＳＭＡＴの各成分に含まれるものと同一のものであり、また、入力画素値Ｐ（ｌ）は、入力画素値取得部２５２３より供給された入力画素値テーブルに含まれているので、正規方程式生成部２５２５は、積分成分テーブルと入力画素値テーブルを利用して行列ＰＭＡＴの各成分を演算することができる。
【１６７９】
このようにして、正規方程式生成部２５２５は、行列ＳＭＡＴと行列ＰＭＡＴの各成分を演算し、その演算結果（行列ＳＭＡＴと行列ＰＭＡＴの各成分）を正規方程式テーブルとして近似関数生成部２５２６に出力する。
【１６８０】
正規方程式生成部２５２６より正規方程式テーブルが出力されると、ステップＳ２５０６において、近似関数生成部２５２６は、正規方程式テーブルに基づいて、上述した式（１６７）の行列ＷＭＡＴの各成分である特徴量ｗｉ（即ち、近似関数ｆ（ｘ，ｙ，ｔ）の係数ｗｉ）を演算する。
【１６８１】
具体的には、上述した式（１６７）の正規方程式は、次の式（１６８）のように変形できる。
【１６８２】
【数１３５】
2004246524.tif 000273
2004246524.tif 000274
【１６８３】
式（１６８）において、左辺の行列ＷＭＡＴの各成分が、求めたい特徴量ｗｉである。また、行列ＳＭＡＴと行列ＰＭＡＴのそれぞれの各成分は、正規方程式生成部２５２５より供給された正規方程式テーブルに含まれている。従って、近似関数生成部２５２６は、正規方程式テーブルを利用して、式（１６８）の右辺の行列演算を行うことで行列ＷＭＡＴを演算し、その演算結果（特徴量ｗｉ）を画像生成部１０３に出力する。
【１６８４】
ステップＳ２５０７において、近似関数生成部２５２６は、全画素の処理を終了したか否かを判定する。
【１６８５】
ステップＳ２５０７において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ２５０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ２５０２乃至Ｓ２５０７の処理が繰り返される。
【１６８６】
そして、全画素の処理が終了すると（ステップＳ５４０７において、全画素の処理が終了されたと判定されると）、実世界１の推定処理は終了となる。
【１６８７】
以上、説明したように、３次元関数近似手法は、１次元や２次元ではなく、時空間方向の３次元の積分効果を考慮しているので、１次元多項式近似手法や２次元多項式近似手法に比較して、より正確に実世界１の光信号を推定することが可能になる。
【１６８８】
換言すると、３次元関数近似手法においては、例えば、図２０５（図３）の実世界推定部１０２（構成は、例えば、図２３４）は、それぞれ時空間積分効果を有する、センサの複数の検出素子（例えば、図２３１のセンサ２の検出素子２−１）により実世界１の光信号が射影され、実世界１の光信号の定常性（例えば、図２３２の傾きＧＦ、または、図２３３の傾きＶＦで表される定常性）の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像の、時空間方向のうち少なくとも１次元方向（例えば、図２３３の空間方向Ｘ、空間方向Ｙ、および、時間方向ｔの３次元方向）の位置に対応する前記画素の前記画素値（例えば、式（１５３）の左辺の入力画素値Ｐ（ｘ，ｙ，ｚ））が、少なくとも１次元方向の積分効果により取得された画素値（例えば、上述した式（１５３）の右辺に示されるように、近似関数ｆ（ｘ，ｙ，ｔ）がＸ方向、Ｙ方向、およびｔ方向の３次元に積分された値）であるとして、実世界の光信号を表す光信号関数Ｆ（具体的には、例えば、図２３２や図２３３の光信号関数Ｆ（ｘ，ｙ，ｔ））を所定の近似関数ｆ（具体的には、例えば、式（１５２）の右辺の近似関数ｆ（ｘ，ｙ，ｔ））で近似することで、光信号関数Ｆを推定する。
【１６８９】
さらに、例えば、図２０５（図３）のデータ定常性検出部１０１が、入力画像のデータの定常性を検出した場合、実世界推定部１０２は、データ定常性検出部１０１により検出されたデータの定常性に対応して、画像データの時空間方向のうち少なくとも１次元方向の位置に対応する画素の画素値が、少なくとも１次元方向の積分効果により取得された画素値であるとして、光信号関数Ｆを近似関数ｆで近似することで、光信号関数Ｆを推定する。
【１６９０】
詳細には、例えば、実世界推定部１０２は、定常性検出部１０１により検出されたデータの定常性に対応する線からの少なくとも１次元方向に沿った距離（例えば、上述した式（１５１）のシフト量Ｃｘ（ｙ））に対応する画素の画素値が、少なくとも１次元方向の積分効果により取得された画素値（例えば、上述した式（１５３）で示されるような積分範囲で、式（１５２）の右辺に示されるように、近似関数ｆ（ｘ，ｙ，ｔ）がＸ方向、Ｙ方向、およびｔ方向の３次元に積分された値）であるとして、光信号関数Ｆを近似関数で近似することで、光信号関数を推定する。
【１６９１】
従って、３次元関数近似手法は、より正確に実世界１の光信号を推定することが可能になる。
【１６９２】
次に、図２３６乃至図２５７を参照して、画像生成部１０３（図３）の実施の形態の１例について説明する。
【１６９３】
図２３６は、この例の実施の形態の原理を説明する図である。
【１６９４】
図２３６で示されるように、この例の実施の形態においては、実世界推定部１０２が、関数近似手法を利用することが前提とされている。即ち、センサ２に入射される画像である、実世界１の信号（光の強度の分布）が、所定の関数Ｆで表されるとして、実世界推定部１０２が、センサ２から出力された入力画像（画素値Ｐ）と、データ定常性検出部１０１から出力されたデータ定常性情報を使用して、関数Ｆを所定の関数ｆで近似することによって、関数Ｆを推定することが前提とされている。
【１６９５】
なお、以下、この例の実施の形態の説明においても、画像である、実世界１の信号を、特に光信号と称し、関数Ｆを、特に光信号関数Ｆと称する。また、関数ｆを、特に近似関数ｆと称する。
【１６９６】
そこで、この例の実施の形態においては、このような前提に基づいて、画像生成部１０３が、データ定常性検出部１０１から出力されたデータ定常性情報と、実世界推定部１０２から出力された実世界推定情報（図２３６の例では、近似関数ｆの特徴量）を使用して、近似関数ｆを所定の時空間範囲で積分し、その積分値を出力画素値Ｍ（出力画像）として出力する。なお、この例の実施の形態においては、入力画像の画素と出力画像の画素を区別するために、入力画素値をＰと記述し、出力画素値をＭと記述する。
【１６９７】
換言すると、光信号関数Ｆが１度積分されて入力画素値Ｐとなり、その入力画素値Ｐから光信号関数Ｆが推測され（近似関数ｆで近似され）、推測された光信号関数Ｆ（即ち、近似関数ｆ）が再度積分されて、出力画素値Ｍが生成される。従って、以下、画像生成部１０３が実行する近似関数ｆの積分を、再積分と称する。また、この例の実施の形態を、再積分手法と称する。
【１６９８】
なお、後述するように、再積分手法において、出力画素値Ｍが生成される場合の近似関数ｆの積分範囲は、入力画素値Ｐが生成される場合の光信号関数Ｆの積分範囲（即ち、空間方向においては、センサ２の検出素子の縦幅と横幅であり、時間方向においては、センサ２の露光時間である）に限定されず、任意の積分範囲が可能である。
【１６９９】
例えば、出力画素値Ｍが生成される場合、近似関数ｆの積分範囲のうちの空間方向の積分範囲を可変することで、その積分範囲に応じて出力画像の画素ピッチを可変することが可能になる。即ち、空間解像度の創造が可能になる。
【１７００】
同様に、例えば、出力画素値Ｍが生成される場合、近似関数ｆの積分範囲のうちの時間方向の積分範囲を可変することで、時間解像度の創造が可能になる。
【１７０１】
以下、図面を参照して、このような再積分手法のうちの３つの具体的な手法についてそれぞれ個別に説明していく。
【１７０２】
即ち、３つの具体的な手法とは、関数近似手法の３つの具体的な手法（実世界推定部１０２の実施の形態の上述した３つの具体的な例）のそれぞれに対応する再積分手法である。
【１７０３】
具体的には、１つ目の手法は、上述した１次元多項式近似手法（関数近似手法の１手法）に対応する再積分手法である。従って、１つ目の手法では１次元の再積分を行うことになるので、以下、このような再積分手法を、１次元再積分手法と称する。
【１７０４】
２つ目の手法は、上述した２次元多項式近似手法（関数近似手法の１手法）に対応する再積分手法である。従って、２つ目の手法では２次元の再積分を行うことになるので、以下、このような再積分手法を、２次元再積分手法と称する。
【１７０５】
３つ目の手法は、上述した３次元関数近似手法（関数近似手法の１手法）に対応する再積分手法である。従って、３つ目の手法では３次元の再積分を行うことになるので、以下、このような再積分手法を、３次元再積分手法と称する。
【１７０６】
以下、１次元再積分手法、２次元再積分手法、および３次元再積分手法のそれぞれの詳細について、その順番で説明していく。
【１７０７】
はじめに、１次元再積分手法について説明する。
【１７０８】
１次元再積分手法においては、１次元多項式近似手法により近似関数ｆ（ｘ）が既に生成されていることが前提とされる。
【１７０９】
即ち、３次元の空間上の位置ｘ，ｙ、およびｚ、並びに時刻ｔを変数とする光信号関数Ｆ（ｘ，ｙ，ｔ）を、空間方向であるＸ方向、Ｙ方向、およびＺ方向、並びに時間方向であるｔ方向のうちの所定の１方向（例えば、Ｘ方向）に射影した１次元の波形（再積分手法の説明においても、このような波形のうちのＸ方向に射影した波形を、Ｘ断面波形Ｆ（ｘ）と称することにする）が、ｎ次（ｎは、任意の整数）の多項式である近似関数ｆ（ｘ）で近似されていることが前提とされる。
【１７１０】
この場合、１次元再積分手法においては、出力画素値Ｍは、次の式（１６９）のように演算される。
【１７１１】
【数１３６】
2004246524.tif 000275
2004246524.tif 000276
【１７１２】
なお、式（１６９）において、ｘｓは、積分開始位置を表しており、ｘｅは、積分終了位置を表している。また、Ｇｅは、所定のゲインを表している。
【１７１３】
具体的には、例えば、いま、実世界推測部１０２が、図２３７で示されるような画素３１０１（センサ２の所定の１つの検出素子に対応する画素３１０１）を注目画素として、図２３７で示されるような近似関数ｆ（ｘ）（Ｘ断面波形Ｆ（ｘ）の近似関数ｆ（ｘ））を既に生成しているとする。
【１７１４】
なお、図２３７の例では、画素３１０１の画素値（入力画素値）がＰとされ、かつ、画素３１０１の形状が、１辺の長さが１の正方形とされている。また、空間方向のうちの、画素３１０１の１辺に平行な方向（図中水平方向）がＸ方向とされ、Ｘ方向に垂直な方向（図中垂直方向）がＹ方向とされている。
【１７１５】
また、図２３７の下側に、画素３１０１の中心が原点とされる空間方向（Ｘ方向とＹ方向）の座標系（以下、注目画素座標系と称する）と、その座標系における画素３１０１が示されている。
【１７１６】
さらに、図２３７の上方に、ｙ＝０（ｙは、図中下側で示される注目画素座標系のＹ方向の座標値）における近似関数ｆ（ｘ）をグラフ化したものが示されている。このグラフにおいて、図中水平方向に平行な軸は、図中下側で示される注目画素座標系のＸ方向のｘ軸と同一の軸であり（原点も同一であり）、また、図中垂直方向に平行な軸は、画素値を表す軸とされている。
【１７１７】
この場合、近似関数ｆ（ｘ）と画素３１０１の画素値Ｐの間には、次の式（１７０）の関係が成立する。
【１７１８】
【数１３７】
2004246524.tif 000277
2004246524.tif 000278
【１７１９】
また、図２３７で示されるように、画素３１０１は、傾きＧｆで表される空間方向のデータの定常性を有しているとする。そして、データ定常性検出部１０１（図２３６）が、傾きＧｆで表されるデータの定常性に対応するデータ定常性情報として、図２３７で示されるような角度θを既に出力しているとする。
【１７２０】
この場合、例えば、１次元再積分方法においては、図２３８で示されるように、Ｘ方向に−０．５乃至０．５の範囲、かつＹ方向に−０．５乃至０．５の範囲（図２３７の画素３１０１が位置する範囲）に、４個の画素３１１１乃至画素３１１４を新たに創造することが可能である。
【１７２１】
なお、図２３８の下側に、図２３７のものと同一の注目画素座標系と、その注目画素座標系における画素３１１１乃至画素３１１４が示されている。また、図２３８の上側に、図２３７のものと同一のグラフ（ｙ＝０における近似関数ｆ（ｘ）をグラフ化したもの）が示されている。
【１７２２】
具体的には、図２３８で示されるように、１次元再積分方法においては、次の式（１７１）により画素３１１１の画素値Ｍ（１）の算出が、次の式（１７２）により画素３１１２の画素値Ｍ（２）の算出が、次の式（１７３）により画素３１１３の画素値Ｍ（３）の算出が、次の式（１７４）により画素３１１４の画素値Ｍ（４）の算出が、それぞれ可能である。
【１７２３】
【数１３８】
2004246524.tif 000279
2004246524.tif 000280
【１７２４】
【数１３９】
2004246524.tif 000281
2004246524.tif 000282
【１７２５】
【数１４０】
2004246524.tif 000283
2004246524.tif 000284
【１７２６】
【数１４１】
2004246524.tif 000285
2004246524.tif 000286
【１７２７】
なお、式（１７１）のｘｓ１、式（１７２）のｘｓ２、式（１７３）のｘｓ３、および式（１７４）のｘｓ４のそれぞれは、対応する式の積分開始位置を表している。また、式（１７１）のｘｅ１、式（１７２）のｘｅ２、式（１７３）のｘｅ３、および式（１７４）のｘｅ４のそれぞれは、対応する式の積分終了位置を表している。
【１７２８】
式（１７１）乃至式（１７４）のそれぞれの右辺の積分範囲は、画素３１１１乃至画素３１１４のそれぞれの画素幅（Ｘ方向の長さ）となる。即ち、ｘｅ１−ｘｓ１，ｘｅ２−ｘｓ２，ｘｅ３−ｘｓ３，ｘｅ４−ｘｓ４のそれぞれは、０．５となる。
【１７２９】
ただし、いまの場合、ｙ＝０における近似関数ｆ（ｘ）と同一形状の１次元の波形が、Ｙ方向ではなく、傾きＧｆで表されるデータの定常性の方向（即ち、角度θ方向）に連なっていると考えられる（実際には、ｙ＝０におけるＸ断面波形Ｆ（ｘ）と同一形状の波形が定常性の方向に連なっている）。即ち、図２３８の注目画素座標系における原点（０，０）（図２３７の画素３１０１の中心）における画素値ｆ（０）を画素値ｆ１とした場合、画素値ｆ１が続く方向は、Ｙ方向ではなく、傾きＧｆで表されるデータの定常性の方向（角度θ方向）である。
【１７３０】
換言すると、Ｙ方向の所定の位置ｙ（ただし、ｙは０以外の数値）における近似関数ｆ（ｘ）の波形を考えた場合、画素値ｆ１となる位置は、位置（０，ｙ）ではなく、位置（０，ｙ）からＸ方向に所定の量（ここでも、このような量をシフト量と称することにする。また、シフト量は、Ｙ方向の位置ｙに依存する量であるので、このシフト量をＣｘ（ｙ）と記述することにする）だけ移動した位置（Ｃｘ（ｙ），ｙ）である。
【１７３１】
従って、上述した式（１７１）乃至式（１７４）のそれぞれの右辺の積分範囲として、求めたい画素値Ｍ（ｌ）（ただし、ｌは、１乃至４のうちのいずれかの整数値）の中心が存在するＹ方向の位置ｙを考慮した範囲、即ち、シフト量Ｃｘ（ｙ）を考慮した積分範囲の設定が必要である。
【１７３２】
具体的には、例えば、画素３１１１と画素３１１２の中心が存在するＹ方向の位置ｙは、ｙ＝０ではなく、ｙ＝０．２５である。
【１７３３】
従って、ｙ＝０．２５における近似関数ｆ（ｘ）の波形は、ｙ＝０における近似関数ｆ（ｘ）の波形をＸ方向にシフト量Ｃｘ（０．２５）だけ移動させた波形に相当する。
【１７３４】
換言すると、上述した式（１７１）において、画素３１１１に対する画素値Ｍ（１）は、ｙ＝０における近似関数ｆ（ｘ）を所定の積分範囲（開始位置ｘｓ１から終了位置ｘｅ１まで）で積分したものであるとすると、その積分範囲は、開始位置ｘｓ１＝−０．５から終了位置ｘｅ１＝０までの範囲（画素３１１１がＸ方向に占める範囲そのもの）ではなく、図２３８で示される範囲、即ち、開始位置ｘｓ１＝−０．５＋Ｃｘ（０．２５）から終了位置ｘｅ１＝０＋Ｃｘ（０．２５）（シフト量Ｃｘ（０．２５）だけ画素３１１１を仮に移動させた場合における、画素３１１１がＸ方向に占める範囲）となる。
【１７３５】
同様に、上述した式（１７２）において、画素３１１２に対する画素値Ｍ（２）は、ｙ＝０における近似関数ｆ（ｘ）を所定の積分範囲（開始位置ｘｓ２から終了位置ｘｅ２まで）で積分したものであるとすると、その積分範囲は、開始位置ｘｓ２＝０から終了位置ｘｅ２＝０．５までの範囲（画素３１１２のＸ方向に占める範囲そのもの）ではなく、図２３８で示される範囲、即ち、開始位置ｘｓ２＝０＋Ｃｘ（０．２５）から終了位置ｘｅ１＝０．５＋Ｃｘ（０．２５）（シフト量Ｃｘ（０．２５）だけ画素３１１２を仮に移動させた場合における、画素３１１２のＸ方向に占める範囲）となる。
【１７３６】
また、例えば、画素３１１３と画素３１１４の中心が存在するＹ方向の位置ｙは、ｙ＝０ではなく、ｙ＝−０．２５である。
【１７３７】
従って、ｙ＝−０．２５における近似関数ｆ（ｘ）の波形は、ｙ＝０における近似関数ｆ（ｘ）の波形をＸ方向にシフト量Ｃｘ（−０．２５）だけ移動させた波形に相当する。
【１７３８】
換言すると、上述した式（１７３）において、画素３１１３に対する画素値Ｍ（３）は、ｙ＝０における近似関数ｆ（ｘ）を所定の積分範囲（開始位置ｘｓ３から終了位置ｘｅ３まで）で積分したものであるとすると、その積分範囲は、開始位置ｘｓ３＝−０．５から終了位置ｘｅ３＝０までの範囲（画素３１１３のＸ方向に占める範囲そのもの）ではなく、図２３８で示される範囲、即ち、開始位置ｘｓ３＝−０．５＋Ｃｘ（−０．２５）から終了位置ｘｅ３＝０＋Ｃｘ（−０．２５）（シフト量Ｃｘ（−０．２５）だけ画素３１１３を仮に移動させた場合における、画素３１１３のＸ方向に占める範囲）となる。
【１７３９】
同様に、上述した式（１７４）において、画素３１１４に対する画素値Ｍ（４）は、ｙ＝０における近似関数ｆ（ｘ）を所定の積分範囲（開始位置ｘｓ４から終了位置ｘｅ４まで）で積分したものであるとすると、その積分範囲は、開始位置ｘｓ４＝０から終了位置ｘｅ４＝０．５までの範囲（画素３１１４のＸ方向の占める範囲そのもの）ではなく、図２３８で示される範囲、即ち、開始位置ｘｓ４＝０＋Ｃｘ（−０．２５）から終了位置ｘｅ１＝０．５＋Ｃｘ（−０．２５）（シフト量Ｃｘ（−０．２５）だけ画素３１１４を仮に移動させた場合における、画素３１１４のＸ方向に占める範囲）となる。
【１７４０】
従って、画像生成部１０２（図２３６）は、上述した式（１７１）乃至式（１７４）のそれぞれに、上述した積分範囲のうちの対応するものを代入してそれぞれ演算し、それらの演算結果を出力画素値Ｍ（１）乃至Ｍ（４）のそれぞれとして出力することになる。
【１７４１】
このように、画像生成部１０２は、１次元再積分手法を利用することで、センサ２（図２３６）からの出力画素３１０１（図２３７）における画素として、出力画素３１０１よりも空間解像度の高い４つの画素、即ち、画素３１１１乃至画素３１１４（図２３８）を創造することができる。さらに、図示はしないが、上述したように、画像生成部１０２は、画素３１１１乃至画素３１１４のみならず、積分範囲を適宜変えることで、出力画素３１０１に対して任意の倍率の空間解像度の画素を劣化することなく創造することができる。
【１７４２】
図２３９は、このような１次元再積分手法を利用する画像生成部１０３の構成例を表している。
【１７４３】
図２３９で示されるように、この例の画像生成部１０３には、条件設定部３１２１、特徴量記憶部３１２２、積分成分演算部３１２３、および出力画素値演算部３１２４が設けられている。
【１７４４】
条件設定部３１２１は、実世界推定部１０２より供給された実世界推定情報（図２３９の例では、近似関数ｆ（ｘ）の特徴量）に基づいて近似関数ｆ（ｘ）の次数ｎを設定する。
【１７４５】
条件設定部３１２１はまた、近似関数ｆ（ｘ）を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部３１２１が設定する積分範囲は、画素の幅である必要は無い。例えば、近似関数ｆ（ｘ）は空間方向（Ｘ方向）に積分されるので、センサ２（図２３６）からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部１０３がこれから演算する画素）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な積分範囲の決定が可能である。従って、条件設定部３１２１は、積分範囲として、例えば、空間解像度倍率を設定することもできる。
【１７４６】
特徴量記憶部３１２２は、実世界推定部１０２より順次供給されてくる近似関数ｆ（ｘ）の特徴量を一次的に記憶する。そして、特徴量記憶部３１２２は、近似関数ｆ（ｘ）の特徴量の全てを記憶すると、近似関数ｆ（ｘ）の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部３１２４に供給する。
【１７４７】
ところで、上述したように、画像生成部１０３は、上述した式（１６９）を利用して出力画素値Ｍを演算するが、上述した式（１６９）の右辺に含まれる近似関数ｆ（ｘ）は、具体的には、次の式（１７５）のように表される。
【１７４８】
【数１４２】
2004246524.tif 000287
2004246524.tif 000288
【１７４９】
なお、式（１７５）において、ｗｉは、実世界推定部１０２より供給される近似関数ｆ（ｘ）の特徴量を表している。
【１７５０】
従って、上述した式（１６９）の右辺の近似関数ｆ（ｘ）に、式（１７５）の近似関数ｆ（ｘ）を代入して、式（１６９）の右辺を展開（演算）すると、出力画素値Ｍは、次の式（１７６）のように表される。
【１７５１】
【数１４３】
2004246524.tif 000289
2004246524.tif 000290
【１７５２】
式（１７６）において、Ｋｉ（ｘｓ，ｘｅ）は、ｉ次項の積分成分を表している。即ち、積分成分Ｋｉ（ｘｓ，ｘｅ）は、次の式（１７７）で示される通りである。
【１７５３】
【数１４４】
2004246524.tif 000291
2004246524.tif 000292
【１７５４】
積分成分演算部３１２３は、この積分成分Ｋｉ（ｘｓ，ｘｅ）を演算する。
【１７５５】
具体的には、式（１７７）で示されるように、積分成分Ｋｉ（ｘｓ，ｘｅ）は、積分範囲の開始位置ｘｓ、および終了位置ｘｅ、ゲインＧｅ、並びにｉ次項のｉが既知であれば演算可能である。
【１７５６】
これらのうちの、ゲインＧｅは、条件設定部３１２１により設定された空間解像度倍率（積分範囲）により決定される。
【１７５７】
ｉの範囲は、条件設定部３１２１により設定された次数ｎにより決定される。
【１７５８】
また、積分範囲の開始位置ｘｓ、および終了位置ｘｅのそれぞれは、これから生成する出力画素の中心画素位置（ｘ，ｙ）および画素幅、並びにデータの定常性の方向を表すシフト量Ｃｘ（ｙ）により決定される。なお、（ｘ，ｙ）は、実世界推定部１０２が近似関数ｆ（ｘ）を生成したときの注目画素の中心位置からの相対位置を表している。
【１７５９】
さらに、これから生成する出力画素の中心画素位置（ｘ，ｙ）および画素幅のそれぞれは、条件設定部３１２１により設定された空間解像度倍率（積分範囲）により決定される。
【１７６０】
また、シフト量Ｃｘ（ｙ）と、データ定常性検出部１０１より供給された角度θは、次の式（１７８）と式（１７９）のような関係が成り立つので、シフト量Ｃｘ（ｙ）は角度θにより決定される。
【１７６１】
【数１４５】
2004246524.tif 000293
2004246524.tif 000294
【１７６２】
【数１４６】
2004246524.tif 000295
2004246524.tif 000296
【１７６３】
なお、式（１７８）において、Ｇｆは、データの定常性の方向を表す傾きを表しており、θは、データ定常性検出部１０１（図２３６）より出力されるデータ定常性情報の１つである角度（空間方向の１方向であるＸ方向と、傾きＧｆで表されるデータの定常性の方向とのなす角度）を表している。また、ｄｘは、Ｘ方向の微小移動量を表しており、ｄｙは、ｄｘに対するＹ方向（Ｘ方向と垂直な空間方向）の微小移動量を表している。
【１７６４】
従って、積分成分演算部３１２３は、条件設定部３１２１により設定された次数および空間解像度倍率（積分範囲）、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度θに基づいて積分成分Ｋｉ（ｘｓ，ｘｅ）を演算し、その演算結果を積分成分テーブルとして出力画素値演算部３１２４に供給する。
【１７６５】
出力画素値演算部３１２４は、特徴量記憶部３１２２より供給された特徴量テーブルと、積分成分演算部３１２３より供給された積分成分テーブルを利用して、上述した式（１７６）の右辺を演算し、その演算結果を出力画素値Ｍとして外部に出力する。
【１７６６】
次に、図２４０のフローチャートを参照して、１次元再積分手法を利用する画像生成部１０３（図２３９）の画像の生成の処理（図４０のステップＳ１０３の処理）について説明する。
【１７６７】
例えば、いま、上述した図４０のステップＳ１０２の処理で、実世界推測部１０２が、上述した図２３７で示されるような画素３１０１を注目画素として、図２３７で示されるような近似関数ｆ（ｘ）を既に生成しているとする。
【１７６８】
また、上述した図４０のステップＳ１０１の処理で、データ定常性検出部１０１が、データ定常性情報として、図２３７で示されるような角度θを既に出力しているとする。
【１７６９】
この場合、図２４０のステップＳ３１０１において、条件設定部３１２１は、条件（次数と積分範囲）を設定する。
【１７７０】
例えば、いま、次数として５が設定されるとともに、積分範囲として空間４倍密（画素のピッチ幅が上下左右ともに１／２倍となる空間解像度倍率）が設定されたとする。
【１７７１】
即ち、この場合、図２３８で示されるように、Ｘ方向に−０．５乃至０．５の範囲、かつＹ方向に−０．５乃至０．５の範囲（図２３７の画素３１０１の範囲）に、４個の画素３１１１乃至画素３１１４を新たに創造することが設定されたことになる。
【１７７２】
ステップＳ３１０２において、特徴量記憶部３１２２は、実世界推定部１０２より供給された近似関数ｆ（ｘ）の特徴量を取得し、特徴量テーブルを生成する。いまの場合、５次の多項式である近似関数ｆ（ｘ）の係数ｗ０乃至ｗ５が実世界推定部１０２より供給されるので、特徴量テーブルとして、（ｗ０，ｗ１，ｗ２，ｗ３，ｗ４，ｗ５）が生成される。
【１７７３】
ステップＳ３１０３において、積分成分演算部３１２３は、条件設定部３１２１により設定された条件（次数および積分範囲）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度θ）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【１７７４】
具体的には、例えば、これから生成する画素３１１１乃至画素３１１４のそれぞれに対して、番号（このような番号を、以下、モード番号と称する）１乃至４のそれぞれが付されているとすると、積分成分演算部３１２３は、上述した式（１７７）の積分成分Ｋｉ（ｘｓ，ｘｅ）を、次の式（１８０）の左辺で示される積分成分Ｋｉ（ｌ）といったｌ（ただし、ｌはモード番号を表している）の関数として演算する。
【１７７５】
Ｋｉ（ｌ）  ＝  Ｋｉ（ｘｓ，ｘｅ）  ・・・（１８０）
【１７７６】
具体的には、いまの場合、次の式（１８１）で示される積分成分Ｋｉ（ｌ）が演算される。
【１７７７】
【数１４７】
2004246524.tif 000297
2004246524.tif 000298
【１７７８】
なお、式（１８１）において、左辺が積分成分Ｋｉ（ｌ）を表し、右辺が積分成分Ｋｉ（ｘｓ，ｘｅ）を表している。即ち、いまの場合、ｌは、１乃至４のうちのいずれかであり、かつ、ｉは０乃至５のうちのいずれかであるので、６個のＫｉ（１），６個のＫｉ（２），６個のＫｉ（３），６個のＫｉ（４）の総計２４個のＫｉ（ｌ）が演算されることになる。
【１７７９】
より具体的には、はじめに、積分成分演算部３１２３は、データ定常性検出部１０１より供給された角度θを使用して、上述した式（１７８）と式（１７９）よりシフト量Ｃｘ（−０．２５）、およびＣｘ（０．２５）のそれぞれを演算する。
【１７８０】
次に、積分成分演算部３１２３は、演算したシフト量Ｃｘ（−０．２５）、およびＣｘ（０．２５）を使用して、式（１８１）の４つの式の各右辺の積分成分Ｋｉ（ｘｓ，ｘｅ）のそれぞれを、ｉ＝０乃至５についてそれぞれ演算する。なお、この積分成分Ｋｉ（ｘｓ，ｘｅ）の演算においては、上述した式（１７７）が使用される。
【１７８１】
そして、積分成分演算部３１２３は、式（１８１）に従って、演算した２４個の積分成分Ｋｉ（ｘｓ，ｘｅ）のそれぞれを、対応する積分成分Ｋｉ（ｌ）に変換し、変換した２４個の積分成分Ｋｉ（ｌ）（即ち、６個のＫｉ（１）、６個のＫｉ（２）、６個のＫｉ（３）、および６個のＫｉ（４））を含む積分成分テーブルを生成する。
【１７８２】
なお、ステップＳ３１０２の処理とステップＳ３１０３の処理の順序は、図２４０の例に限定されず、ステップＳ３１０３の処理が先に実行されてもよいし、ステップＳ３１０２の処理とステップＳ３１０３の処理が同時に実行されてもよい。
【１７８３】
次に、ステップＳ３１０４において、出力画素値演算部３１２４は、ステップＳ３１０２の処理で特徴量記憶部３１２２により生成された特徴量テーブルと、ステップＳ３１０３の処理で積分成分演算部３１２３により生成された積分成分テーブルに基づいて出力画素値Ｍ（１）乃至Ｍ（４）のそれぞれを演算する。
【１７８４】
具体的には、いまの場合、出力画素値演算部３１２４は、上述した式（１７６）に対応する、次の式（１８２）乃至式（１８５）の右辺を演算することで、画素３１１１（モード番号１の画素）の画素値Ｍ（１）、画素３１１２（モード番号２の画素）の画素値Ｍ（２）、画素３１１３（モード番号３の画素）の画素値Ｍ（３）、および画素３１１４（モード番号４の画素）の画素値Ｍ（４）のそれぞれを演算する。
【１７８５】
【数１４８】
2004246524.tif 000299
2004246524.tif 000300
【１７８６】
【数１４９】
2004246524.tif 000301
2004246524.tif 000302
【１７８７】
【数１５０】
2004246524.tif 000303
2004246524.tif 000304
【１７８８】
【数１５１】
2004246524.tif 000305
2004246524.tif 000306
【１７８９】
ステップＳ３１０５において、出力画素値演算部３１２４は、全画素の処理を終了したか否かを判定する。
【１７９０】
ステップＳ３１０５において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ３１０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ３１０２乃至Ｓ３１０４の処理が繰り返される。
【１７９１】
そして、全画素の処理が終了すると（ステップＳ３１０５において、全画素の処理が終了されたと判定すると）、出力画素値演算部３１２４は、ステップＳ３１０６において、画像を出力する。その後、画像の生成の処理は終了となる。
【１７９２】
次に、図２４１乃至図２４８を参照して、所定の入力画像に対して、１次元再積分手法を適用して得られた出力画像と、他の手法（従来のクラス分類適応処理）を適用して得られた出力画像の違いについて説明する。
【１７９３】
図２４１は、入力画像の元の画像を示す図であり、図２４２は、図２４１の元の画像に対応する画像データを示している。図２４２において、図中垂直方向の軸は、画素値を示し、図中右下方向の軸は、画像の空間方向の一方向であるＸ方向を示し、図中右上方向の軸は、画像の空間方向の他の方向であるＹ方向を示す。なお、後述する図２４４、図２４６、および図２４８の軸のそれぞれは、図２４２の軸と対応している。
【１７９４】
図２４３は、入力画像の例を示す図である。図２４３で示される入力画像は、図２４１で示される画像の２×２の画素からなるブロックに属する画素の画素値の平均値を、１つの画素の画素値として生成された画像である。即ち、入力画像は、図２４１で示される画像に、センサの積分特性を模した、空間方向の積分を適用することにより得られた画像である。また、図２４４は、図２４３の入力画像に対応する画像データを示している。
【１７９５】
図２４１で示される元の画像において、上下方向から、ほぼ５度時計方向に傾いた細線の画像が含まれている。同様に、図２４３で示される入力画像において、上下方向から、ほぼ５度時計方向に傾いた細線の画像が含まれている。
【１７９６】
図２４５は、図２４３で示される入力画像に、従来のクラス分類適応処理を適用して得られた画像（以下、図２４５で示される画像を、従来の画像と称する）を示す図である。また、図２４６は、従来の画像に対応する画像データを示している。
【１７９７】
なお、クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものである。適応処理では、例えば、低画質または標準画質の画像が、所定のタップ係数を用いてマッピング（写像）されることにより、高画質の画像に変換される。
【１７９８】
図２４７は、図２４３で示される入力画像に、本発明が適用される１次元再積分手法を適用して得られた画像（以下、図２４７で示される画像を、本発明の画像と称する）を示す図である。また、図２４８は、本発明の画像に対応する画像データを示している。
【１７９９】
図２４５の従来の画像と、図２４７の本発明の画像を比較するに、従来の画像においては、細線の画像が、図２４１の元の画像とは異なるものになっているのに対して、本発明の画像においては、細線の画像が、図２４１の元の画像とほぼ同じものになっていることがわかる。
【１８００】
この違いは、従来のクラス分類適応処理は、あくまでも図２４３の入力画像を基準（原点）として処理を行う手法であるのに対して、本発明の１次元再積分手法は、細線の定常性を考慮して、図２４１の元の画像を推定し（元の画像に対応する近似関数ｆ（ｘ）を生成し）、推定した元の画像を基準（原点）として処理を行う（再積分して画素値を演算する）手法であるからである。
【１８０１】
このように、１次元再積分手法においては、１次元多項式近似手法により生成された１次元の多項式である近似関数ｆ（ｘ）（実世界のＸ断面波形Ｆ（ｘ）の近似関数ｆ（ｘ））を基準（原点）として、近似関数ｆ（ｘ）を任意の範囲に積分することで出力画像（画素値）が生成される。
【１８０２】
従って、１次元再積分手法においては、従来の他の手法に比較して、元の画像（センサ２に入射される前の実世界１の光信号）により近い画像の出力が可能になる。
【１８０３】
換言すると、１次元再積分手法においては、図２３６のデータ定常性検出部１０１が、それぞれ時空間積分効果を有する、センサ２の複数の検出素子により実世界１の光信号が射影され、実世界１の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像におけるデータの定常性を検出し、実世界推定部１０２が、検出されたデータの定常性に対応して、入力画像の時空間方向のうち１次元方向の位置に対応する画素の画素値が、その１次元方向の積分効果により取得された画素値であるとして、実世界１の光信号を表す光信号関数Ｆ（具体的には、Ｘ断面波形Ｆ（ｘ））を、所定の近似関数ｆ（ｘ）で近似することで、光信号関数Ｆを推定していることが前提とされている。
【１８０４】
詳細には、例えば、検出されたデータの定常性に対応する線からの１次元方向に沿った距離に対応する各画素の画素値が、その１次元方向の積分効果により取得された画素値であるとして、Ｘ断面波形Ｆ（ｘ）が近似関数ｆ（ｘ）で近似されていることが前提とされている。
【１８０５】
そして、１次元再積分手法においては、このような前提に基づいて、例えば、図２３６（図３）の画像生成部１０３が、実世界推定部１０２により推定されたＸ断面波形Ｆ（ｘ）、即ち、近似関数ｆ（ｘ）を、１次元方向の所望の単位で積分することにより所望の大きさの画素に対応する画素値Ｍを生成し、それを出力画像として出力する。
【１８０６】
従って、１次元再積分手法においては、従来の他の手法に比較して、元の画像（センサ２に入射される前の実世界１の光信号）により近い画像の出力が可能になる。
【１８０７】
また、１次元再積分手法においては、上述したように、積分範囲は任意なので、積分範囲を可変することにより、入力画像の解像度とは異なる解像度（時間解像度、または空間解像度）を創造することも可能になる。即ち、入力画像の解像度に対して、整数値だけではなく任意の倍率の解像度の画像を生成することが可能になる。
【１８０８】
さらに、１次元再積分手法においては、他の再積分手法に比較して、より少ない演算処理量で出力画像（画素値）の算出が可能となる。
【１８０９】
次に、図２４９乃至図２５５を参照して、２次元再積分手法について説明する。
【１８１０】
２次元再積分手法においては、２次元多項式近似手法により近似関数ｆ（ｘ，ｙ）が既に生成されていることが前提とされる。
【１８１１】
即ち、例えば、図２４９で示されるような、傾きＧＦで表される空間方向の定常性を有する実世界１（図２３６）の光信号を表す画像関数Ｆ（ｘ，ｙ，ｔ）を、空間方向（Ｘ方向とＹ方向）に射影した波形、即ち、Ｘ−Ｙ平面上の波形Ｆ（ｘ，ｙ）が、ｎ次（ｎは、任意の整数）の多項式である近似関数ｆ（ｘ，ｙ）に近似されていることが前提とされる。
【１８１２】
図２４９において、図中、水平方向は、空間方向の１方向であるＸ方向を、右上方向は、空間方向の他方向であるＹ方向を、垂直方向は、光のレベルを、それぞれ表している。ＧＦは、空間方向の定常性の傾きを表している。
【１８１３】
なお、図２４９の例では、定常性の方向は、空間方向（Ｘ方向とＹ方向）とされているため、近似の対象とされる光信号の射影関数は、関数Ｆ（ｘ，ｙ）とされているが、後述するように、定常性の方向に応じて、関数Ｆ（ｘ，ｔ）や関数Ｆ（ｙ，ｔ）が近似の対象とされてもよい。
【１８１４】
図２４９の例の場合、２次元再積分手法においては、出力画素値Ｍは、次の式（１８６）のように演算される。
【１８１５】
【数１５２】
2004246524.tif 000307
2004246524.tif 000308
【１８１６】
なお、式（１８６）において、ｙｓは、Ｙ方向の積分開始位置を表しており、ｙｅは、Ｙ方向の積分終了位置を表している。同様に、ｘｓは、Ｘ方向の積分開始位置を表しており、ｘｅは、Ｘ方向の積分終了位置を表している。また、Ｇｅは、所定のゲインを表している。
【１８１７】
式（１８６）において、積分範囲は任意に設定可能であるので、２次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ２（図２３６）からの入力画像の画素）に対して任意の倍率の空間解像度の画素を劣化することなく創造することが可能になる。
【１８１８】
図２５０は、２次元再積分手法を利用する画像生成部１０３の構成例を表している。
【１８１９】
図２５０で示されるように、この例の画像生成部１０３には、条件設定部３２０１、特徴量記憶部３２０２、積分成分演算部３２０３、および出力画素値演算部３２０４が設けられている。
【１８２０】
条件設定部３２０１は、実世界推定部１０２より供給された実世界推定情報（図２５０の例では、近似関数ｆ（ｘ，ｙ）の特徴量）に基づいて近似関数ｆ（ｘ，ｙ）の次数ｎを設定する。
【１８２１】
条件設定部３２０１はまた、近似関数ｆ（ｘ，ｙ）を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部３２０１が設定する積分範囲は、画素の縦幅や横幅である必要は無い。例えば、近似関数ｆ（ｘ，ｙ）は空間方向（Ｘ方向とＹ方向）に積分されるので、センサ２からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部１０３がこれから生成する画素）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な積分範囲の決定が可能である。従って、条件設定部３２０１は、積分範囲として、例えば、空間解像度倍率を設定することもできる。
【１８２２】
特徴量記憶部３２０２は、実世界推定部１０２より順次供給されてくる近似関数ｆ（ｘ，ｙ）の特徴量を一次的に記憶する。そして、特徴量記憶部３２０２は、近似関数ｆ（ｘ，ｙ）の特徴量の全てを記憶すると、近似関数ｆ（ｘ，ｙ）の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部３２０４に供給する。
【１８２３】
ここで、近似関数ｆ（ｘ，ｙ）の詳細について説明する。
【１８２４】
例えば、いま、上述した図２４９で示されるような傾きＧＦで表される空間方向の定常性を有する実世界１（図２３６）の光信号（波形Ｆ（ｘ，ｙ）で表される光信号）が、センサ２（図２３６）により検出されて入力画像（画素値）として出力されたとする。
【１８２５】
さらに、例えば、図２５１で示されるように、データ定常性検出部１０１（図３）が、この入力画像のうちの、Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素（図中、点線で表される２０個の正方形）から構成される入力画像の領域３２２１に対してその処理を実行し、データ定常性情報の１つとして角度θ（傾きＧＦに対応する傾きＧｆで表されるデータの定常性の方向と、Ｘ方向とのなす角度θ）を出力したとする。
【１８２６】
なお、実世界推定部１０２から見ると、データ定常性検出部１０１は、注目画素における角度θを単に出力すればよいので、データ定常性検出部１０１の処理範囲は、上述した入力画像の領域３２２１に限定されない。
【１８２７】
また、入力画像の領域３２２１において、図中水平方向は、空間方向の１方向であるＸ方向を表しており、図中垂直方向は、空間方向の他方向であるＹ方向を表している。
【１８２８】
さらに、図２５１中、左から２画素目であって、下から３画素目の画素が注目画素とされ、その注目画素の中心を原点（０，０）とするように（ｘ，ｙ）座標系が設定されている。そして、原点（０，０）を通る角度θの直線（データの定常性の方向を表す傾きＧｆの直線）に対するＸ方向の相対的な距離（以下、断面方向距離と称する）がｘ’とされている。
【１８２９】
さらに、図２５１中、右側のグラフは、３次元の空間上の位置ｘ，ｙ、およびｚ、並びに時刻ｔを変数とする画像関数Ｆ（ｘ，ｙ，ｔ）を、Ｙ方向の任意の位置ｙにおいて、Ｘ方向に射影した１次元の波形（以下、このような波形を、Ｘ断面波形Ｆ（ｘ’）と称する）が近似された関数であって、ｎ次（ｎは、任意の整数）の多項式である近似関数ｆ（ｘ’）を表している。右側のグラフの軸のうち、図中水平方向の軸は、断面方向距離を表しており、図中垂直方向の軸は、画素値を表している。
【１８３０】
この場合、図２５１で示される近似関数ｆ（ｘ’）は、ｎ次の多項式であるので、次の式（１８７）のように表される。
【１８３１】
【数１５３】
2004246524.tif 000309
2004246524.tif 000310
【１８３２】
また、角度θが決定されていることから、原点（０，０）を通る角度θの直線は一意に決まり、Ｙ方向の任意の位置ｙにおける、直線のＸ方向の位置ｘｌが、次の式（１８８）のように表される。ただし、式（１８８）において、ｓはｃｏｔθを表している。
【１８３３】
ｘｌ  ＝  ｓ×ｙ  ・・・（１８８）
【１８３４】
即ち、図２５１で示されるように、傾きＧｆで表されるデータの定常性に対応する直線上の点は、座標値（ｘｌ，ｙ）で表される。
【１８３５】
式（１８８）より、断面方向距離ｘ’は、次の式（１８９）のように表される。
【１８３６】
ｘ’  ＝  ｘ−ｘｌ  ＝  ｘ−ｓ×ｙ  ・・・（１８９）
【１８３７】
従って、入力画像の領域３２２１内の任意の位置（ｘ，ｙ）における近似関数ｆ（ｘ，ｙ）は、式（１８７）と式（１８９）より、次の式（１９０）のように示される。
【１８３８】
【数１５４】
2004246524.tif 000311
2004246524.tif 000312
【１８３９】
なお、式（１９０）において、ｗｉは、近似関数ｆ（ｘ，ｙ）の特徴量を表している。
【１８４０】
図２５０に戻り、式（１９０）に含まれる特徴量ｗｉが、実世界推定部１０２より供給され、特徴量記憶部３２０２に記憶される。特徴量記憶部３２０２は、式（１９０）で表される特徴量ｗｉの全てを記憶すると、特徴量ｗｉを全て含む特徴量テーブルを生成し、出力画素値演算部３２０４に供給する。
【１８４１】
また、上述した式（１８６）の右辺の近似関数ｆ（ｘ，ｙ）に、式（１９０）の近似関数ｆ（ｘ，ｙ）を代入して、式（１８６）の右辺を展開（演算）すると、出力画素値Ｍは、次の式（１９１）のように表される。
【１８４２】
【数１５５】
2004246524.tif 000313
2004246524.tif 000314
【１８４３】
式（１９１）において、Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ）は、ｉ次項の積分成分を表している。即ち、積分成分Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ）は、次の式（１９２）で示される通りである。
【１８４４】
【数１５６】
2004246524.tif 000315
2004246524.tif 000316
【１８４５】
積分成分演算部３２０３は、この積分成分Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ）を演算する。
【１８４６】
具体的には、式（１９１）と式（１９２）で示されるように、積分成分Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ）は、積分範囲のＸ方向の開始位置ｘｓ、およびＸ方向の終了位置ｘｅ、積分範囲のＹ方向の開始位置ｙｓ、およびＹ方向の終了位置ｙｅ、変数ｓ、ゲインＧｅ、並びにｉ次項のｉが既知であれば演算可能である。
【１８４７】
これらのうちの、ゲインＧｅは、条件設定部３２０１により設定された空間解像度倍率（積分範囲）により決定される。
【１８４８】
ｉの範囲は、条件設定部３２０１により設定された次数ｎにより決定される。
【１８４９】
変数ｓは、上述したように、ｃｏｔθであるので、データ定常性検出部１０１より出力される角度θにより決定される。
【１８５０】
また、積分範囲のＸ方向の開始位置ｘｓ、およびＸ方向の終了位置ｘｅ、並びに、積分範囲のＹ方向の開始位置ｙｓ、およびＹ方向の終了位置ｙｅのそれぞれは、これから生成する出力画素の中心画素位置（ｘ，ｙ）および画素幅により決定される。なお、（ｘ，ｙ）は、実世界推定部１０２が近似関数ｆ（ｘ）を生成したときの注目画素の中心位置からの相対位置を表している。
【１８５１】
さらに、これから生成する出力画素の中心画素位置（ｘ，ｙ）および画素幅のそれぞれは、条件設定部３２０１により設定された空間解像度倍率（積分範囲）により決定される。
【１８５２】
従って、積分成分演算部３２０３は、条件設定部３２０１により設定された次数および空間解像度倍率（積分範囲）、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度θに基づいて積分成分Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ）を演算し、その演算結果を積分成分テーブルとして出力画素値演算部３２０４に供給する。
【１８５３】
出力画素値演算部３２０４は、特徴量記憶部３２０２より供給された特徴量テーブルと、積分成分演算部３２０３より供給された積分成分テーブルを利用して、上述した式（１９１）の右辺を演算し、その演算結果を出力画素値Ｍとして外部に出力する。
【１８５４】
次に、図２５２のフローチャートを参照して、２次元再積分手法を利用する画像生成部１０３（図２５１）の画像の生成の処理（図４０のステップＳ１０３の処理）について説明する。
【１８５５】
例えば、いま、図２４９で示される関数Ｆ（ｘ，ｙ）で表される光信号がセンサ２に入射されて入力画像となり、上述した図４０のステップＳ１０２の処理で、実世界推測部１０２が、その入力画像のうちの、図２５３で示されるような１つの画素３２３１を注目画素として、関数Ｆ（ｘ，ｙ）を近似する近似関数ｆ（ｘ，ｙ）を既に生成しているとする。
【１８５６】
なお、図２５３において、画素３２３１の画素値（入力画素値）がＰとされ、かつ、画素３２３１の形状が、１辺の長さが１の正方形とされている。また、空間方向のうちの、画素３２３１の１辺に平行な方向がＸ方向とされ、Ｘ方向に垂直な方向がＹ方向とされている。さらに、画素３２３１の中心が原点とされる空間方向（Ｘ方向とＹ方向）の座標系（以下、注目画素座標系と称する）が設定されている。
【１８５７】
また、図２５３において、上述した図４０のステップＳ１０１の処理で、データ定常性検出部１０１が、画素３２３１を注目画素として、傾きＧｆで表されるデータの定常性に対応するデータ定常性情報として、角度θを既に出力しているとする。
【１８５８】
図２５２に戻り、この場合、ステップＳ３２０１において、条件設定部３２０１は、条件（次数と積分範囲）を設定する。
【１８５９】
例えば、いま、次数として５が設定されるとともに、積分範囲として空間４倍密（画素のピッチ幅が上下左右ともに１／２倍となる空間解像度倍率）が設定されたとする。
【１８６０】
即ち、この場合、図２５４で示されるように、Ｘ方向に−０．５乃至０．５の範囲、かつＹ方向に−０．５乃至０．５の範囲（図２５３の画素３２３１の範囲）に、４個の画素３２４１乃至画素３２４４を新たに創造することが設定されたことになる。なお、図２５４においても、図２５３のものと同一の注目画素座標系が示されている。
【１８６１】
また、図２５４において、Ｍ（１）は、これから生成される画素３２４１の画素値を、Ｍ（２）は、これから生成される画素３２４２の画素値を、Ｍ（３）は、これから生成される画素３２４３の画素値を、Ｍ（４）は、これから生成される画素３２４１の画素値を、それぞれ表している。
【１８６２】
図２５２に戻り、ステップＳ３２０２において、特徴量記憶部３２０２は、実世界推定部１０２より供給された近似関数ｆ（ｘ，ｙ）の特徴量を取得し、特徴量テーブルを生成する。いまの場合、５次の多項式である近似関数ｆ（ｘ）の係数ｗ０乃至ｗ５が実世界推定部１０２より供給されるので、特徴量テーブルとして、（ｗ０，ｗ１，ｗ２，ｗ３，ｗ４，ｗ５）が生成される。
【１８６３】
ステップＳ３２０３において、積分成分演算部３２０３は、条件設定部３２０１により設定された条件（次数および積分範囲）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度θ）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【１８６４】
具体的には、例えば、これから生成される画素３２４１乃至画素３２４４のそれぞれに対して、番号（このような番号を、以下、モード番号と称する）１乃至４のそれぞれが付されているとすると、積分成分演算部３２０３は、上述した式（１９１）の積分成分Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ）を、次の式（１９３）の左辺で示される積分成分Ｋｉ（ｌ）といったｌ（ただし、ｌはモード番号を表している）の関数として演算する。
【１８６５】
Ｋｉ（ｌ）  ＝  Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ）  ・・・（１９３）
【１８６６】
具体的には、いまの場合、次の式（１９４）で示される積分成分Ｋｉ（ｌ）が演算される。
【１８６７】
【数１５７】
2004246524.tif 000317
2004246524.tif 000318
【１８６８】
なお、式（１９４）において、左辺が積分成分Ｋｉ（ｌ）を表し、右辺が積分成分Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ）を表している。即ち、いまの場合、ｌは、１乃至４のうちのいずれかであり、かつ、ｉは０乃至５のうちのいずれかであるので、６個のＫｉ（１），６個のＫｉ（２），６個のＫｉ（３），６個のＫｉ（４）の総計２４個のＫｉ（ｌ）が演算されることになる。
【１８６９】
より具体的には、はじめに、積分成分演算部３２０３は、データ定常性検出部１０１より供給された角度θを使用して、上述した式（１８８）の変数ｓ（ｓ＝ｃｏｔθ）を演算する。
【１８７０】
次に、積分成分演算部３２０３は、演算した変数ｓを使用して、式（１９４）の４つの式の各右辺の積分成分Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ）のそれぞれを、ｉ＝０乃至５についてそれぞれ演算する。なお、この積分成分Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ）の演算においては、上述した式（１９１）が使用される。
【１８７１】
そして、積分成分演算部３２０３は、式（１９４）に従って、演算した２４個の積分成分Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ）のそれぞれを、対応する積分成分Ｋｉ（ｌ）に変換し、変換した２４個の積分成分Ｋｉ（ｌ）（即ち、６個のＫｉ（１）、６個のＫｉ（２）、６個のＫｉ（３）、および６個のＫｉ（４））を含む積分成分テーブルを生成する。
【１８７２】
なお、ステップＳ３２０２の処理とステップＳ３２０３の処理の順序は、図２５２の例に限定されず、ステップＳ３２０３の処理が先に実行されてもよいし、ステップＳ３２０２の処理とステップＳ３２０３の処理が同時に実行されてもよい。
【１８７３】
次に、ステップＳ３２０４において、出力画素値演算部３２０４は、ステップＳ３２０２の処理で特徴量記憶部３２０２により生成された特徴量テーブルと、ステップＳ３２０３の処理で積分成分演算部３２０３により生成された積分成分テーブルに基づいて出力画素値Ｍ（１）乃至Ｍ（４）のそれぞれを演算する。
【１８７４】
具体的には、いまの場合、出力画素値演算部３２０４は、上述した式（１９１）に対応する、次の式（１９５）乃至式（１９８）の右辺のそれぞれを演算することで、図２５４で示される、画素３２４１（モード番号１の画素）の画素値Ｍ（１）、画素３２４２（モード番号２の画素）の画素値Ｍ（２）、画素３２４３（モード番号３の画素）の画素値Ｍ（３）、および画素３２４４（モード番号４の画素）の画素値Ｍ（４）のそれぞれを演算する。
【１８７５】
【数１５８】
2004246524.tif 000319
2004246524.tif 000320
【１８７６】
【数１５９】
2004246524.tif 000321
2004246524.tif 000322
【１８７７】
【数１６０】
2004246524.tif 000323
2004246524.tif 000324
【１８７８】
【数１６１】
2004246524.tif 000325
2004246524.tif 000326
【１８７９】
ただし、いまの場合、式（１９５）乃至式（１９８）のｎは全て５となる。
【１８８０】
ステップＳ３２０５において、出力画素値演算部３２０４は、全画素の処理を終了したか否かを判定する。
【１８８１】
ステップＳ３２０５において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ３２０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ３２０２乃至Ｓ３２０４の処理が繰り返される。
【１８８２】
そして、全画素の処理が終了すると（ステップＳ３２０５において、全画素の処理が終了されたと判定すると）、出力画素値演算部３２０４は、ステップＳ３２０６において、画像を出力する。その後、画像の生成の処理は終了となる。
【１８８３】
このように、２次元再積分手法を利用することで、センサ２（図２３６）からの入力画像の画素３２３１（図２５３）における画素として、入力画素３２３１よりも空間解像度の高い４つの画素、即ち、画素３２４１乃至画素３２４４（図２５４）を創造することができる。さらに、図示はしないが、上述したように、画像生成部１０３は、画素３２４１乃至画素３２４４のみならず、積分範囲を適宜変えることで、入力画素３２３１に対して任意の倍率の空間解像度の画素を劣化することなく創造することができる。
【１８８４】
以上、２次元再積分手法の説明として、空間方向（Ｘ方向とＹ方向）に対する近似関数ｆ（ｘ，ｙ）を２次元積分する例を用いたが、２次元再積分手法は、時空間方向（Ｘ方向とｔ方向、または、Ｙ方向とｔ方向）に対しても適用可能である。
【１８８５】
即ち、上述した例は、実世界１（図２３６）の光信号が、例えば、図２４９で示されるような傾きＧＦで表される空間方向の定常性を有する場合の例であったので、上述した式（１８６）で示されるような、空間方向（Ｘ方向とＹ方向）の二次元積分が含まれる式が利用された。しかしながら、二次元積分の考え方は、空間方向だけによるものではなく、時空間方向（Ｘ方向とｔ方向、または、Ｙ方向とｔ方向）に対して適用することも可能である。
【１８８６】
換言すると、２次元再積分手法の前提となる２次元多項式近似手法においては、光信号を表す画像関数Ｆ（ｘ，ｙ，ｔ）が、空間方向の定常性のみならず、時空間方向（ただし、Ｘ方向とｔ方向、または、Ｙ方向とｔ方向）の定常性を有している場合であっても、２次元の多項式により近似することが可能である。
【１８８７】
具体的には、例えば、Ｘ方向に水平に等速で動いている物体がある場合、その物体の動きの方向は、図２５５で示されるようなＸ−ｔ平面においては、傾きＶＦのように表される。換言すると、傾きＶＦは、Ｘ−ｔ平面における時空間方向の定常性の方向を表しているとも言える。従って、データ定常性検出部１０１（図２３６）は、上述した角度θ（Ｘ−Ｙ平面における、空間方向の定常性を表す傾きＧＦに対応するデータ定常性情報）と同様に、Ｘ−ｔ平面における時空間方向の定常性を表す傾きＶＦに対応するデータ定常性情報として、図２５５で示されるような動きθ（厳密には、図示はしないが、傾きＶＦに対応する傾きＶｆで表されるデータの定常性の方向と、空間方向のＸ方向とのなす角度である動きθ）を出力することが可能である。
【１８８８】
また、２次元多項式近似手法を利用する実世界推定部１０２（図２３６）は、動きθを上述した角度θの代わりとして使用すれば、上述した方法と同様な方法で、近似関数ｆ（ｘ，ｔ）の係数（特徴量）ｗｉを演算することが可能になる。ただし、この場合、使用される式は、上述した式（１９０）ではなく、次の式（１９９）である。
【１８８９】
【数１６２】
2004246524.tif 000327
2004246524.tif 000328
【１８９０】
なお、式（１９９）において、ｓはｃｏｔθ（ただし、θは動きである）である。
【１８９１】
従って、２次元再積分手法を利用する画像生成部１０３（図２３６）は、次の式（２００）の右辺に、上述した式（１９９）のｆ（ｘ，ｔ）を代入して、演算することで、画素値Ｍを算出することが可能になる。
【１８９２】
【数１６３】
2004246524.tif 000329
2004246524.tif 000330
【１８９３】
なお、式（２００）において、ｔｓは、ｔ方向の積分開始位置を表しており、ｔｅは、ｔ方向の積分終了位置を表している。同様に、ｘｓは、Ｘ方向の積分開始位置を表しており、ｘｅは、Ｘ方向の積分終了位置を表している。Ｇｅは、所定のゲインを表している。
【１８９４】
また、空間方向Ｘの変わりに、空間方向Ｙに注目した近似関数ｆ（ｙ，ｔ）も、上述した近似関数ｆ（ｘ、ｔ）と全く同様に取り扱うことが可能である。
【１８９５】
ところで、式（１９９）において、ｔ方向を一定とみなし、即ち、ｔ方向の積分を無視して積分することで、時間方向には積分されないデータ、即ち、動きボケのないデータを得ることが可能になる。換言すると、この手法は、２次元の多項式のうちの所定の１次元を一定として再積分する点で、２次元再積分手法の１つとみなしてもよいし、実際には、Ｘ方向の１次元の再積分をすることになるという点で、１次元再積分手法の１つとみなしてもよい。
【１８９６】
また、式（２００）において、積分範囲は任意に設定可能であるので、２次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ２（図２３６）からの入力画像の画素）に対して任意の倍率の解像度の画素を劣化することなく創造することが可能になる。
【１８９７】
即ち、２次元再積分手法においては、時間方向ｔの積分範囲を適宜変えることで、時間解像度の創造が可能になる。また、空間方向Ｘ（または、空間方向Ｙ）の積分範囲を適宜変えることで、空間解像度の創造が可能になる。さらに、時間方向ｔと空間方向Ｘの積分範囲のそれぞれを適宜変えることで、時間解像度と空間解像度の両方の創造が可能になる。
【１８９８】
なお、上述したように、時間解像度と空間解像度のうちのいずれか一方の創造は、１次元再積分手法でも可能であるが、両方の解像度の創造は、１次元再積分手法では原理上不可能であり、２次元以上の再積分を行うことではじめて可能になる。即ち、２次元再積分手法と後述する３次元再積分手法ではじめて、両方の解像度の創造が可能になる。
【１８９９】
また、２次元再積分手法は、１次元ではなく２次元の積分効果を考慮しているので、より実世界１（図２３６）の光信号に近い画像を生成することも可能になる。
【１９００】
換言すると、２次元再積分手法においては、例えば、図２３６（図３）のデータ定常性検出部１０１が、それぞれ時空間積分効果を有する、センサ２の複数の検出素子により実世界１の光信号が射影され、実世界１の光信号の定常性（例えば、図２４９の傾きＧＦで表される定常性）の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像におけるデータの定常性（例えば、図２５１の傾きＧｆで表されるデータの定常性）を検出する。
【１９０１】
そして、例えば、図２３６（図３）の実世界推定部１０２が、データ定常性検出部１０１により検出されたデータの定常性に対応して、画像データの時空間方向のうち少なくとも２次元方向（例えば、図２４９の空間方向Ｘと、空間方向Ｙ）の位置に対応する画素の画素値が、少なくとも２次元方向の積分効果により取得された画素値であるとして、実世界１の光信号を表す光信号関数Ｆ（具体的には、図２４９の関数Ｆ（ｘ，ｙ））を、多項式である近似関数ｆ（ｘ，ｙ）で近似することで、光信号関数Ｆを推定することが前提とされている。
【１９０２】
詳細には、例えば、実世界推定部１０２は、データ定常性検出部１０１により検出されたデータの定常性に対応する線（例えば、図２５１の傾きＧｆに対応する線（矢印））からの少なくとも２次元方向に沿った距離（例えば、図２５１の断面方向距離ｘ‘）に対応する画素の画素値が、少なくとも２次元方向の積分効果により取得された画素値であるとして、現実世界の光信号を表す第１の関数を、多項式である第２の関数で近似することで、第１の関数を推定することが前提とされている。
【１９０３】
２次元再積分手法においては、このような前提に基づいて、例えば、図２３６（図３）の画像生成部１０３（構成は、図２５０）が、実世界推定部１０２により推定された関数Ｆ（ｘ，ｙ）、即ち、近似関数ｆ（ｘ，ｙ）を、少なくとも２次元方向の所望の単位で積分する（例えば、上述した式（１８６）の右辺を演算する）ことにより所望の大きさの画素（例えば、図２３６の出力画像（画素値Ｍ）。具体的には、例えば、図２５４の画素３２４１乃至画素３２４４）に対応する画素値を生成する。
【１９０４】
従って、２次元再積分手法においては、時間解像度と空間解像度のうちのいずれか一方の創造のみならず、両方の解像度の創造が可能になる。また、２次元再積分手法においては、１次元再積分手法に比較して、より実世界１（図２３６）の光信号に近い画像を生成することも可能になる。
【１９０５】
次に、図２５６と図２５７を参照して、３次元再積分手法について説明する。
【１９０６】
３次元再積分手法においては、３次元関数近似手法により近似関数ｆ（ｘ，ｙ，ｔ）が既に生成されていることが前提とされる。
【１９０７】
この場合、３次元再積分手法においては、出力画素値Ｍは、次の式（２０１）のように演算される。
【１９０８】
【数１６４】
2004246524.tif 000331
2004246524.tif 000332
【１９０９】
なお、式（２０１）において、ｔｓは、ｔ方向の積分開始位置を表しており、ｔｅは、ｔ方向の積分終了位置を表している。同様に、ｙｓは、Ｙ方向の積分開始位置を表しており、ｙｅは、Ｙ方向の積分終了位置を表している。また、ｘｓは、Ｘ方向の積分開始位置を表しており、ｘｅは、Ｘ方向の積分終了位置を表している。さらに、Ｇｅは、所定のゲインを表している。
【１９１０】
式（２０１）において、積分範囲は任意に設定可能であるので、３次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ２（図２３６）からの入力画像の画素）に対して任意の倍率の時空間解像度の画素を劣化することなく創造することが可能になる。即ち、空間方向の積分範囲を小さくすれば、画素ピッチを自由に細かくできる。逆に、空間方向の積分範囲を大きくすれば、画素ピッチを自由に大きくすることができる。また、時間方向の積分範囲を小さくすれば、実世界波形に基づいて時間解像度を創造できる。
【１９１１】
図２５６は、３次元再積分手法を利用する画像生成部１０３の構成例を表している。
【１９１２】
図２５６で示されるように、この例の画像生成部１０３には、条件設定部３３０１、特徴量記憶部３３０２、積分成分演算部３３０３、および出力画素値演算部３３０４が設けられている。
【１９１３】
条件設定部３３０１は、実世界推定部１０２より供給された実世界推定情報（図２５６の例では、近似関数ｆ（ｘ，ｙ，ｔ）の特徴量）に基づいて近似関数ｆ（ｘ，ｙ，ｔ）の次数ｎを設定する。
【１９１４】
条件設定部３３０１はまた、近似関数ｆ（ｘ，ｙ，ｔ）を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部３３０１が設定する積分範囲は、画素の幅（縦幅と横幅）やシャッタ時間そのものである必要は無い。例えば、センサ２（図２３６）からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部１０３がこれから生成する画素）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な空間方向の積分範囲の決定が可能である。同様に、センサ２（図２３６）のシャッタ時間に対する出力画素値の相対的な時間（時間解像度の倍率）がわかれば、具体的な時間方向の積分範囲の決定が可能である。従って、条件設定部３３０１は、積分範囲として、例えば、空間解像度倍率や時間解像度倍率を設定することもできる。
【１９１５】
特徴量記憶部３３０２は、実世界推定部１０２より順次供給されてくる近似関数ｆ（ｘ，ｙ，ｔ）の特徴量を一次的に記憶する。そして、特徴量記憶部３３０２は、近似関数ｆ（ｘ，ｙ，ｔ）の特徴量の全てを記憶すると、近似関数ｆ（ｘ，ｙ，ｔ）の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部３３０４に供給する。
【１９１６】
ところで、上述した式（２０１）の右辺の近似関数ｆ（ｘ，ｙ）の右辺を展開（演算）すると、出力画素値Ｍは、次の式（２０２）のように表される。
【１９１７】
【数１６５】
2004246524.tif 000333
2004246524.tif 000334
【１９１８】
式（２０２）において、Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ，ｔｓ，ｔｅ）は、ｉ次項の積分成分を表している。ただし、ｘｓはＸ方向の積分範囲の開始位置を、ｘｅはＸ方向の積分範囲の終了位置を、ｙｓはＹ方向の積分範囲の開始位置を、ｙｅはＹ方向の積分範囲の終了位置を、ｔｓはｔ方向の積分範囲の開始位置を、ｔｅはｔ方向の積分範囲の終了位置を、それぞれ表している。
【１９１９】
積分成分演算部３３０３は、この積分成分Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ，ｔｓ，ｔｅ）を演算する。
【１９２０】
具体的には、積分成分演算部３３０３は、条件設定部３３０１により設定された次数、および積分範囲（空間解像度倍率や時間解像度倍率）、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度θまたは動きθに基づいて積分成分Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ，ｔｓ，ｔｅ）を演算し、その演算結果を積分成分テーブルとして出力画素値演算部３３０４に供給する。
【１９２１】
出力画素値演算部３３０４は、特徴量記憶部３３０２より供給された特徴量テーブルと、積分成分演算部３３０３より供給された積分成分テーブルを利用して、上述した式（２０２）の右辺を演算し、その演算結果を出力画素値Ｍとして外部に出力する。
【１９２２】
次に、図２５７のフローチャートを参照して、３次元再積分手法を利用する画像生成部１０３（図２５６）の画像の生成の処理（図４０のステップＳ１０３の処理）について説明する。
【１９２３】
例えば、いま、上述した図４０のステップＳ１０２の処理で、実世界推測部１０２（図２３６）が、入力画像のうちの、所定の画素を注目画素として、実世界１（図２３６）の光信号を近似する近似関数ｆ（ｘ，ｙ，ｔ）を既に生成しているとする。
【１９２４】
また、上述した図４０のステップＳ１０１の処理で、データ定常性検出部１０１（図２３６）が、実世界推定部１０２と同じ画素を注目画素として、データ定常性情報として、角度θまたは動きθを既に出力しているとする。
【１９２５】
この場合、図２５７のステップＳ３３０１において、条件設定部３３０１は、条件（次数と積分範囲）を設定する。
【１９２６】
ステップＳ３３０２において、特徴量記憶部３３０２は、実世界推定部１０２より供給された近似関数ｆ（ｘ，ｙ，ｔ）の特徴量ｗｉを取得し、特徴量テーブルを生成する。
【１９２７】
ステップＳ３３０３において、積分成分演算部３３０３は、条件設定部３３０１により設定された条件（次数および積分範囲）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度θまたは動きθ）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【１９２８】
なお、ステップＳ３３０２の処理とステップＳ３３０３の処理の順序は、図２５７の例に限定されず、ステップＳ３３０３の処理が先に実行されてもよいし、ステップＳ３３０２の処理とステップＳ３３０３の処理が同時に実行されてもよい。
【１９２９】
次に、ステップＳ３３０４において、出力画素値演算部３３０４は、ステップＳ３３０２の処理で特徴量記憶部３３０２により生成された特徴量テーブルと、ステップＳ３３０３の処理で積分成分演算部３３０３により生成された積分成分テーブルに基づいて各出力画素値のそれぞれを演算する。
【１９３０】
ステップＳ３３０５において、出力画素値演算部３３０４は、全画素の処理を終了したか否かを判定する。
【１９３１】
ステップＳ３３０５において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ３３０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ３３０２乃至Ｓ３３０４の処理が繰り返される。
【１９３２】
そして、全画素の処理が終了すると（ステップＳ３３０５において、全画素の処理が終了されたと判定すると）、出力画素値演算部３３０４は、ステップＳ３３０６において、画像を出力する。その後、画像の生成の処理は終了となる。
【１９３３】
このように、上述した式（２０１）において、その積分範囲は任意に設定可能であるので、３次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ２（図２３６）からの入力画像の画素）に対して任意の倍率の解像度の画素を劣化することなく創造することが可能になる。
【１９３４】
即ち、３次元再積分手法においては、時間方向の積分範囲を適宜変えることで、時間解像度の創造が可能になる。また、空間方向の積分範囲を適宜変えることで、空間解像度の創造が可能になる。さらに、時間方向と空間方向の積分範囲のそれぞれを適宜変えることで、時間解像度と空間解像度の両方の創造が可能になる。
【１９３５】
具体的には、３次元再積分手法においては、２次元や１次元に落とすときの近似がないので精度の高い処理が可能になる。また、斜め方向の動きも２次元に縮退することなく処理することが可能になる。さらに、２次元に縮退していないので各次元の加工が可能になる。例えば、２次元再積分手法において、空間方向（Ｘ方向とＹ方向）に縮退している場合には時間方向であるｔ方向の加工ができなくなってしまう。これに対して、３次元再積分手法においては、時空間方向のいずれの加工も可能になる。
【１９３６】
なお、上述したように、時間解像度と空間解像度のうちのいずれか一方の創造は、１次元再積分手法でも可能であるが、両方の解像度の創造は、１次元再積分手法では原理上不可能であり、２次元以上の再積分を行うことではじめて可能になる。即ち、上述した２次元再積分手法と３次元再積分手法ではじめて、両方の解像度の創造が可能になる。
【１９３７】
また、３次元再積分手法は、１次元や２次元ではなく３次元の積分効果を考慮しているので、より実世界１（図２３６）の光信号に近い画像を生成することも可能になる。
【１９３８】
換言すると、３次元再積分似手法においては、例えば、図２３６（図３）の実世界推定部１０２は、それぞれ時空間積分効果を有する、センサ２の複数の検出素子により実世界１の光信号が射影され、実世界１の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像の、時空間方向のうち少なくとも１次元方向の位置に対応する画素の画素値が、少なくとも１次元方向の積分効果により取得された画素値であるとして、実世界の光信号を表す光信号関数Ｆを所定の近似関数ｆで近似することで、光信号関数Ｆを推定することが前提とされる。
【１９３９】
さらに、例えば、図２３６（図３）のデータ定常性検出部１０１が、入力画像のデータの定常性を検出した場合、実世界推定部１０２は、データ定常性検出部１０１により検出されたデータの定常性に対応して、画像データの時空間方向のうち少なくとも１次元方向の位置に対応する画素の画素値が、少なくとも１次元方向の積分効果により取得された画素値であるとして、光信号関数Ｆを近似関数ｆで近似することで、光信号関数Ｆを推定することが前提とされる。
【１９４０】
詳細には、例えば、実世界推定部１０２は、定常性検出部１０１により検出されたデータの定常性に対応する線からの少なくとも１次元方向に沿った距離に対応する画素の画素値が、少なくとも１次元方向の積分効果により取得された画素値であるとして、光信号関数Ｆを近似関数で近似することで、光信号関数を推定することが前提とされる。
【１９４１】
３次元再積分手法においては、例えば、図２３６（図３）の画像生成部１０３（構成は、図２５６）が、実世界推定部１０２により推定された光信号関数Ｆ、即ち、近似関数ｆを、少なくとも１次元方向の所望の単位で積分する（例えば、上述した式（２０１）の右辺を演算する）ことにより所望の大きさの画素に対応する画素値を生成する。
【１９４２】
従って、３次元再積分手法は、従来の画像生成手法や、上述した１次元または２次元再積分手法に比較して、より実世界１（図２３６）の光信号に近い画像を生成することも可能になる。
【１９４３】
次に、図２５８を参照して、実世界推定部１０２より入力される実世界推定情報が、実世界を近似的に表現する近似関数ｆ（ｘ）上の、各画素の微分値、または、傾きの情報である場合、各画素の微分値、または、傾きに基づいて、新たに画素を生成し、画像を出力する画像生成部１０３について説明する。
【１９４４】
尚、ここでいう微分値は、現実世界を近似的に表現する近似関数ｆ（ｘ）を求めた後、その近似関数ｆ（ｘ）から得られる１次微分式ｆ（ｘ）’（近似関数がフレーム方向の場合、近似関数ｆ（ｔ）から得られる１次微分式ｆ（ｔ）’）を用いて、所定の位置で得られる値のことである。また、ここでいう傾きは、上述の近似関数ｆ（ｘ）（または、ｆ（ｔ））を求めることなく、所定の位置における周辺画素の画素値から直接得られる近似関数ｆ（ｘ）上の所定の位置の傾きのことを示している。しかしながら、微分値は、近似関数ｆ（ｘ）の所定の位置での傾きなので、いずれも、現実世界を近似的に記述する近似関数ｆ（ｘ）上の所定の位置における傾きである。そこで、実世界推定部１０２より入力される実世界推定情報としての微分値と傾きについては、図２５８、および、図２６２の画像生成部１０３の説明においては、統一して近似関数ｆ（ｘ）（または、ｆ（ｔ））上の傾きと称する。
【１９４５】
傾き取得部３４０１は、実世界推定部１０２より入力される実世界を近似的に表現する近似関数ｆ（ｘ）についての、各画素の傾きの情報と、対応する画素の画素値、および、定常性の方向の傾きを取得して、外挿補間部３４０２に出力する。
【１９４６】
外挿補間部３４０２は、傾き取得部３４０１より入力された各画素の近似関数ｆ（ｘ）上の傾きと、対応する画素の画素値、および、定常性の方向の傾きに基づいて、外挿補間により、入力画像よりも所定の倍率の高密度の画素を生成し、出力画像として出力する。
【１９４７】
次に、図２５９のフローチャートを参照して、図２５８の画像生成部１０３による画像の生成の処理について説明する。
【１９４８】
ステップＳ３４０１において、傾き取得部３４０１は、実世界推定部１０２より入力されてくる、各画素の近似関数ｆ（ｘ）上の傾き（微分値）、位置、画素値、および、定常性の方向の傾きの情報を実世界推定情報として取得する。
【１９４９】
このとき、例えば、入力画像に対して空間方向Ｘ、および、空間方向Ｙについてそれぞれ２倍（合計４倍）の密度の画素からなる画像を生成する場合、実世界推定部１０２からは、図２６０で示されるような画素Ｐｉｎに対して、傾きｆ（Ｘｉｎ）’（画素Ｐｉｎの中央位置における傾き），ｆ（Ｘｉｎ−Ｃｘ（−０．２５））’（画素ＰｉｎからＹ方向に２倍密度の画素が生成されるときの画素Ｐａの中央位置の傾き），ｆ（Ｘｉｎ−Ｃｘ（０．２５））’  （画素ＰｉｎからＹ方向に２倍密度の画素が生成されるときの画素Ｐｂの中央位置の傾き）、画素Ｐｉｎの位置、画素値、および、定常性の方向の傾きＧｆの情報が入力される。
【１９５０】
ステップＳ３４０２において、傾き取得部３４０１は、入力された実世界推定情報のうち、対応する注目画素の情報を選択し、外挿補間部３４０２に出力する。
【１９５１】
ステップＳ３４０３において、外挿補間部３４０２は、入力された画素の位置情報と定常性の方向の傾きＧｆからシフト量を求める。
【１９５２】
ここで、シフト量Ｃｘ（ｔｙ）は、定常性の傾きがＧｆで示されるとき、Ｃｘ（ｔｙ）＝ｔｙ／Ｇｆで定義される。このシフト量Ｃｘ（ｔｙ）は、空間方向Ｙ＝０の位置上で定義される近似関数ｆ（ｘ）が、空間方向Ｙ＝ｔｙの位置における、空間方向Ｘに対するずれ幅を示すものである。従って、例えば、空間方向Ｙ＝０の位置上で近似関数がｆ（ｘ）として定義されている場合、この近似関数ｆ（ｘ）は、空間方向Ｙ＝ｔｙにおいては、空間方向ＸについてＣｘ（ｔｙ）だけずれた関数となるので、近似関数は、ｆ（ｘ−Ｃｘ（ｔｙ））（＝ｆ（ｘ−ｔｙ／Ｇｆ））で定義されることになる。
【１９５３】
例えば、図２６０で示されるような画素Ｐｉｎの場合、図中の１画素（図中の１画素の大きさは、水平方向、および、垂直方向ともに１であるものとする）を垂直方向に２分割するとき（垂直方向に倍密度の画素を生成するとき）、外挿補間部３４０２は、求めようとする画素Ｐａ，Ｐｂのシフト量を求める。すなわち、今の場合、画素Ｐａ，Ｐｂは、画素Ｐｉｎからみて、空間方向Ｙについて、それぞれ−０．２５，０．２５だけシフトしているので、画素Ｐａ，Ｐｂのシフト量は、それぞれＣｘ（−０．２５），Ｃｘ（０．２５）となる。尚、図２６０中において、画素Ｐｉｎは、（Ｘｉｎ，Ｙｉｎ）を略重心位置とする正方形であり、画素Ｐａ，Ｐｂは、（Ｘｉｎ，Ｙｉｎ＋０．２５）、（Ｘｉｎ，Ｙｉｎ−０．２５）をそれぞれ略重心位置とする図中水平方向に長い長方形である。
【１９５４】
ステップＳ３４０４において、外挿補間部３４０２は、ステップＳ３４０３の処理で求められたシフト量Ｃｘ、実世界推定情報として取得された画素Ｐｉｎの近似関数ｆ（ｘ）上の注目画素上での傾きｆ（Ｘｉｎ）’、および、画素Ｐｉｎの画素値に基づいて、以下の式（２０３），式（２０４）により外挿補間を用いて画素Ｐａ，Ｐｂの画素値を求める。
【１９５５】
Ｐａ＝Ｐｉｎ−ｆ（Ｘｉｎ）’×Ｃｘ（−０．２５）・・・（２０３）
【１９５６】
Ｐｂ＝Ｐｉｎ−ｆ（Ｘｉｎ）’×Ｃｘ（０．２５）・・・（２０４）
【１９５７】
以上の式（２０３），式（２０４）において、Ｐａ，Ｐｂ，Ｐｉｎは、画素Ｐａ，Ｐｂ，Ｐｉｎの画素値を示す。
【１９５８】
すなわち、図２６１で示されるように、注目画素Ｐｉｎにおける傾きｆ（Ｘｉｎ）’に、Ｘ方向の移動距離、すなわち、シフト量を乗じることにより画素値の変化量を設定し、注目画素の画素値を基準として、新たに生成する画素の画素値を設定する。
【１９５９】
ステップＳ３４０５において、外挿補間部３４０２は、所定の解像度の画素が得られたか否かを判定する。例えば、所定の解像度が入力画像の画素に対して、垂直方向に２倍の密度の画素であれば、以上の処理により、外挿補間部３４０２は、所定の解像度の画像が得られたと判定することになるが、例えば、入力画像の画素に対して、４倍の密度（水平方向に２倍×垂直方向に２倍）の画素が所望とされていた場合、以上の処理では、所定の解像度の画素が得られていないことになる。そこで、４倍の密度の画像が所望とされていた画像である場合、外挿補間部３４０２は、所定の解像度の画素が得られていないと判定し、その処理は、ステップＳ３４０３に戻る。
【１９６０】
ステップＳ３４０３において、外挿補間部３４０２は、２回目の処理で、求めようとする画素Ｐ０１，Ｐ０２，Ｐ０３，およびＰ０４（注目画素Ｐｉｎに対して４倍となる密度の画素）を生成しようとする画素の中心位置からのシフト量をそれぞれ求める。すなわち、今の場合、画素Ｐ０１，Ｐ０２は、画素Ｐａから得られるものなので、画素Ｐａからのシフト量がそれぞれ求められることになる。ここで、画素Ｐ０１，Ｐ０２は、画素Ｐａからみて空間方向Ｘについて、それぞれ−０．２５，０．２５だけシフトしているので、その値そのものがシフト量となる（空間方向Ｘについてシフトしているため）。同様にして、画素Ｐ０３，Ｐ０４は、画素Ｐｂからみて空間方向Ｘについて、それぞれ−０．２５，０．２５だけシフトしているので、その値そのものがシフト量となる。尚、図２６０において、画素Ｐ０１，Ｐ０２，Ｐ０３，Ｐ０４は、図中の４個のバツ印の位置を重心位置とする正方形であり、各辺の長さは、画素Ｐｉｎが、それぞれ１であるので、画素Ｐ０１，Ｐ０２，Ｐ０３，Ｐ０４は、それぞれ略０．５となる。
【１９６１】
ステップＳ３４０４において、外挿補間部３４０２は、ステップＳ３４０３の処理で求められたシフト量Ｃｘ、実世界推定情報として取得された画素Ｐａ，Ｐｂの近似関数ｆ（ｘ）上の所定の位置での傾きｆ（Ｘｉｎ−Ｃｘ（−０．２５））’，ｆ（Ｘｉｎ−Ｃｘ（０．２５））’、および、上述の処理で求められた画素Ｐａ，Ｐｂの画素値に基づいて、外挿補間により以下の式（２０５）乃至式（２０８）により画素Ｐ０１，Ｐ０２，Ｐ０３，Ｐ０４の画素値を求め、図示せぬメモリに記憶させる。
【１９６２】
Ｐ０１＝Ｐａ＋ｆ（Ｘｉｎ−Ｃｘ（−０．２５））’×（−０．２５）・・・（２０５）
【１９６３】
Ｐ０２＝Ｐａ＋ｆ（Ｘｉｎ−Ｃｘ（−０．２５））’×（０．２５）・・・（２０６）
【１９６４】
Ｐ０３＝Ｐｂ＋ｆ（Ｘｉｎ−Ｃｘ（０．２５））’×（−０．２５）・・・（２０７）
【１９６５】
Ｐ０４＝Ｐｂ＋ｆ（Ｘｉｎ−Ｃｘ（０．２５））’×（０．２５）・・・（２０８）
【１９６６】
上述の式（２０５）乃至式（２０８）において、Ｐ０１乃至Ｐ０４は、画素Ｐ０１乃至Ｐ０４のそれぞれの画素値を示す。
【１９６７】
ステップＳ３４０５において、外挿補間部３４０２は、所定の解像度の画素が得られたか否かを判定し、今の場合、所望とされていた４倍の密度の画素が得られたことになるので、外挿補間部３４０２は、所定の解像度の画素が得られたと判定し、その処理は、ステップＳ３４０６に進む。
【１９６８】
ステップＳ３４０６において、傾き取得部３４０１は、全ての画素で処理がなされたか否かを判定し、まだ、全ての画素について処理がなされていないと判定した場合、その処理は、ステップＳ３４０２に戻り、それ以降の処理が繰り返される。
【１９６９】
ステップＳ３４０６において、傾き取得部３４０１は、全ての画素について処理がなされたと判定した場合、ステップＳ３４０７において、外挿補間部３４０２は、図示せぬメモリに記憶されている、生成された画素からなる画像を出力する。
【１９７０】
すなわち、図２６１で示されるように、近似関数ｆ（ｘ）上の傾きｆ（ｘ）’を用いて、その傾きを求めた注目画素から空間方向Ｘに離れた距離に応じて、新たな画素の画素値が外挿補間により求められる。
【１９７１】
尚、以上の例においては、４倍密度の画素を演算する際の傾き（微分値）を例として説明してきたが、さらに多くの位置における、傾きの情報が、実世界推定情報として得られれば、上述と同様の手法で、それ以上の空間方向の密度の画素を演算する事も可能である。
【１９７２】
また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数ｆ（ｘ）は連続関数であるので、倍密度以外の画素値についても必要な傾き（微分値）の情報が得られれば、さらに高密度の画素からなる画像を生成することが可能となる。
【１９７３】
以上によれば、実世界推定情報として供給される入力画像の各画素の実世界を空間方向に近似する近似関数ｆ（ｘ）の傾き（または、微分値）ｆ（ｘ）’の情報に基づいて、入力画像よりも高解像度の画像の画素を生成することが可能となる。
【１９７４】
次に、図２６２を参照して、実世界推定部１０２より入力される実世界推定情報が、実世界を近似的に表現するフレーム方向（時間方向）の関数ｆ（ｔ）上の、各画素の微分値、または、傾きの情報である場合、各画素の微分値、または、傾きに基づいて、新たに画素を生成し、画像を出力する画像生成部１０３について説明する。
【１９７５】
傾き取得部３４１１は、実世界推定部１０２より入力される実世界を近似的に表現する近似関数ｆ（ｔ）上の、各画素の位置における傾きの情報と、対応する画素の画素値、および、定常性の動きを取得して、外挿補間部３４１２に出力する。
【１９７６】
外挿補間部３４１２は、傾き取得部３４１１より入力された各画素の近似関数ｆ（ｔ）上の傾きと、対応する画素の画素値、および、定常性の動きに基づいて、外挿補間により、入力画像よりも所定の倍率の高密度の画素を生成し、出力画像として出力する。
【１９７７】
次に、図２６３のフローチャートを参照して、図２６２の画像生成部１０３による画像の生成の処理について説明する。
【１９７８】
ステップＳ３４２１において、傾き取得部３４１１は、実世界推定部１０２より入力されてくる、各画素の近似関数ｆ（ｔ）上の傾き（微分値）、位置、画素値、および、定常性の動きの情報を実世界推定情報として取得する。
【１９７９】
このとき、例えば、入力画像に対して空間方向、および、フレーム方向にそれぞれ２倍（合計４倍）の密度の画素からなる画像を生成する場合、実世界推定部１０２からは、図２６４で示されるような画素Ｐｉｎに対して、傾きｆ（Ｔｉｎ）’（画素Ｐｉｎの中央位置における傾き），ｆ（Ｔｉｎ−Ｃｔ（−０．２５））’（画素ＰｉｎからＹ方向に２倍密度の画素が生成されるときの画素Ｐａｔの中央位置の傾き），ｆ（Ｔｉｎ−Ｃｔ（０．２５））’（画素ＰｉｎからＹ方向に２倍密度の画素が生成されるときの画素Ｐｂｔの中央位置の傾き）、画素Ｐｉｎの位置、画素値、および、定常性の動き（動きベクトル）の情報が入力される。
【１９８０】
ステップＳ３４２２において、傾き取得部３４１１は、入力された実世界推定情報のうち、対応する注目画素の情報を選択し、外挿補間部３４１２に出力する。
【１９８１】
ステップＳ３４２３において、外挿補間部３４１２は、入力された画素の位置情報と定常性の方向の傾きからシフト量を求める。
【１９８２】
ここで、シフト量Ｃｔ（ｔｙ）は、定常性の動き（フレーム方向と空間方向からなる面に対する傾き）がＶｆで示されるとき、Ｃｔ（ｔｙ）＝ｔｙ／Ｖｆで定義される。このシフト量Ｃｔ（ｔｙ）は、空間方向Ｙ＝０の位置上で定義される近似関数ｆ（ｔ）が、空間方向Ｙ＝ｔｙの位置における、フレーム方向Ｔに対するずれ幅を示すものである。従って、例えば、空間方向Ｙ＝０の位置上で近似関数がｆ（ｔ）として定義されている場合、この近似関数ｆ（ｔ）は、空間方向Ｙ＝ｔｙにおいては、空間方向ＴについてＣｔ（ｔｙ）だけずれた関数となるので、近似関数は、ｆ（ｔ−Ｃｔ（ｔｙ））（＝ｆ（ｔ−ｔｙ／Ｖｆ））で定義されることになる。
【１９８３】
例えば、図２６４で示されるような画素Ｐｉｎの場合、図中の１画素（図中の１画素の大きさは、フレーム方向、および、空間方向ともに１であるものとする）を空間方向に２分割するとき（空間方向に倍密度の画素を生成するとき）、外挿補間部３４１２は、求めようとする画素Ｐａｔ，Ｐｂｔのシフト量を求める。すなわち、今の場合、画素Ｐａｔ，Ｐｂｔは、画素Ｐｉｎからみて、空間方向Ｙについて、それぞれ−０．２５，０．２５だけシフトしているので、画素Ｐａｔ，Ｐｂｔのシフト量は、それぞれＣｔ（−０．２５），Ｃｔ（０．２５）となる。尚、図２６４中において、画素Ｐｉｎは、（Ｘｉｎ，Ｙｉｎ）を略重心位置とする正方形であり、画素Ｐａｔ，Ｐｂｔは、（Ｘｉｎ，Ｙｉｎ＋０．２５）、（Ｘｉｎ，Ｙｉｎ−０．２５）をそれぞれ略重心位置とする図中水平方向に長い長方形である。
【１９８４】
ステップＳ３４２４において、外挿補間部３４１２は、ステップＳ３４２３の処理で求められたシフト量、実世界推定情報として取得された画素Ｐｉｎの近似関数ｆ（ｔ）上の注目画素上での傾きｆ（Ｔｉｎ）’、および、画素Ｐｉｎの画素値に基づいて、外挿補間により以下の式（２０９），式（２１０）により画素Ｐａｔ，Ｐｂｔの画素値を求める。
【１９８５】
Ｐａｔ＝Ｐｉｎ−ｆ（Ｔｉｎ）’×Ｃｔ（−０．２５）・・・（２０９）
【１９８６】
Ｐｂｔ＝Ｐｉｎ−ｆ（Ｘｉｎ）’×Ｃｔ（０．２５）・・・（２１０）
【１９８７】
以上の式（２０９），式（２１０）において、Ｐａｔ，Ｐｂｔ，Ｐｉｎは、画素Ｐａｔ，Ｐｂｔ，Ｐｉｎの画素値を示す。
【１９８８】
すなわち、図２６５で示されるように、注目画素Ｐｉｎにおける傾きｆ（Ｘｉｎ）’に、Ｘ方向の移動距離、すなわち、シフト量を乗じることにより画素値の変化量を設定し、注目画素の画素値を基準として、新たに生成する画素の画素値を設定する。
【１９８９】
ステップＳ３４２５において、外挿補間部３４１２は、所定の解像度の画素が得られたか否かを判定する。例えば、所定の解像度が入力画像の画素に対して、空間方向に２倍の密度の画素であれば、以上の処理により、外挿補間部３４０２は、所定の解像度の画像が得られたと判定することになるが、例えば、入力画像の画素に対して、４倍の密度（フレーム方向に２倍×空間方向に２倍）の画素が所望とされていた場合、以上の処理では、所定の解像度の画素が得られていないことになる。そこで、４倍の密度の画像が所望とされていた画像である場合、外挿補間部３４１２は、所定の解像度の画素が得られていないと判定し、その処理は、ステップＳ３４２３に戻る。
【１９９０】
ステップＳ３４２３において、外挿補間部３４１２は、２回目の処理で、求めようとする画素Ｐ０１ｔ，Ｐ０２ｔ，Ｐ０３ｔ，およびＰ０４ｔ（注目画素Ｐｉｎに対して４倍となる密度の画素）を生成しようとする画素の中心位置からのシフト量をそれぞれ求める。すなわち、今の場合、画素Ｐ０１ｔ，Ｐ０２ｔは、画素Ｐａｔから得られるものなので、画素Ｐａｔからのシフト量がそれぞれ求められることになる。ここで、画素Ｐ０１ｔ，０２ｔは、画素Ｐａｔからみてフレーム方向Ｔについて、それぞれ−０．２５，０．２５だけシフトしているので、その値そのものがシフト量となる（空間方向Ｘについてシフトしているため）。同様にして、画素Ｐ０３ｔ，Ｐ０４ｔは、画素Ｐｂｔからみてフレーム方向Ｔについて、それぞれ−０．２５，０．２５だけシフトしているので、その値そのものがシフト量となる。尚、図２６４において、画素Ｐ０１ｔ，Ｐ０２ｔ，Ｐ０３ｔ，Ｐ０４ｔは、図中の４個のバツ印の位置を重心位置とする正方形であり、各辺の長さは、画素Ｐｉｎが、それぞれ１であるので、画素Ｐ０１ｔ，Ｐ０２ｔ，Ｐ０３ｔ，Ｐ０４ｔは、それぞれ略０．５となる。
【１９９１】
ステップＳ３４２４において、外挿補間部３４１２は、ステップＳ３４２３の処理で求められたシフト量Ｃｔ、実世界推定情報として取得された画素Ｐａｔ，Ｐｂｔの近似関数ｆ（ｔ）上の所定の位置での傾きｆ（Ｔｉｎ−Ｃｔ（−０．２５））’，ｆ（Ｔｉｎ−Ｃｔ（０．２５））’、および、上述の処理で求められた画素Ｐａｔ，Ｐｂｔの画素値に基づいて、外挿補間により以下の式（２１１）乃至式（２１４）により画素Ｐ０１ｔ，Ｐ０２ｔ，Ｐ０３ｔ，Ｐ０４ｔの画素値を求め、図示せぬメモリに記憶させる。
【１９９２】
Ｐ０１ｔ＝Ｐａｔ＋ｆ（Ｔｉｎ−Ｃｔ（−０．２５））’×（−０．２５）・・・（２１１）
【１９９３】
Ｐ０２ｔ＝Ｐａｔ＋ｆ（Ｔｉｎ−Ｃｔ（−０．２５））’×（０．２５）・・・（２１２）
【１９９４】
Ｐ０３ｔ＝Ｐｂｔ＋ｆ（Ｔｉｎ−Ｃｔ（０．２５））’×（−０．２５）・・・（２１３）
【１９９５】
Ｐ０４ｔ＝Ｐｂｔ＋ｆ（Ｔｉｎ−Ｃｔ（０．２５））’×（０．２５）・・・（２１４）
【１９９６】
上述の式（２０５）乃至式（２０８）において、Ｐ０１ｔ乃至Ｐ０４ｔは、画素Ｐ０１ｔ乃至Ｐ０４ｔのそれぞれの画素値を示す。
【１９９７】
ステップＳ３４２５において、外挿補間部３４１２は、所定の解像度の画素が得られたか否かを判定し、今の場合、所望とされていた４倍密度の画素が得られたことになるので、外挿補間部３４１２は、所定の解像度の画素が得られたと判定し、その処理は、ステップＳ３４２６に進む。
【１９９８】
ステップＳ３４２６において、傾き取得部３４１１は、全ての画素で処理がなされたか否かを判定し、まだ、全ての画素について処理がなされていないと判定した場合、その処理は、ステップＳ３４２２に戻り、それ以降の処理が繰り返される。
【１９９９】
ステップＳ３４２６において、傾き取得部３４１１は、全ての画素について処理がなされたと判定された場合、ステップＳ３４２７において、外挿補間部３４１２は、図示せぬメモリに記憶されている、生成された画素からなる画像を出力する。
【２０００】
すなわち、図２６５で示されるように、近似関数ｆ（ｔ）上の傾きｆ（ｔ）’を用いて、その傾きを求めた注目画素からフレーム方向Ｔに離れたフレーム数に応じて、新たな画素の画素値が外挿補間により求められる。
【２００１】
尚、以上の例においては、４倍密度の画素を演算する際の傾き（微分値）を例として説明してきたが、さらに多くの位置における、傾きの情報が、実世界推定情報として得られれば、上述と同様の手法で、それ以上のフレーム方向の密度の画素を演算する事も可能である。
【２００２】
また、以上の例については、倍密度の画素値を求める例について説明してきたが、近似関数ｆ（ｔ）は連続関数であるので、倍密度以外の画素値についても必要な傾き（微分値）の情報が得られれば、さらに高密度の画素からなる画像を生成することが可能となる。
【２００３】
以上の処理により、実世界推定情報として供給される入力画像の各画素の実世界をフレーム方向に近似する近似関数ｆ（ｔ）の傾き（または、微分値）ｆ（ｔ）’の情報に基づいて、入力画像よりも高解像度の画像の画素をフレーム方向にも生成することが可能となる。
【２００４】
以上によれば、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる画像データにおけるデータの定常性を検出し、検出された定常性に対応して、画像データ内の注目画素に対して時空間方向のうち１次元方向にシフトした位置の複数画素の画素値の傾きを、現実世界の光信号に対応する関数として推定し、注目画素の中心位置から１次元方向にシフトした位置を中心とする傾きを有する直線の前記注目画素内に配される両端の値を注目画素よりも高解像度の画素の画素値として生成するようにしたので、入力画像よりも時空間方向に高解像度の画素を生成することが可能となる。
【２００５】
次に、図２６６乃至図２９１を参照して、画像生成部１０３（図３）の実施の形態のさらに他の例について説明する。
【２００６】
図２６６は、この例の実施の形態が適用される画像生成部１０３の構成例を表している。
【２００７】
図２６６で示される画像生成部１０３には、従来のクラス分類適応処理を実行するクラス分類適応処理部３５０１、クラス分類適応処理に対する補正の処理（処理の詳細については後述する）を実行するクラス分類適応処理補正部３５０２、および、クラス分類適応処理部３５０１より出力された画像と、クラス分類適応処理補正部３５０２より出力された画像を加算し、加算した画像を出力画像として外部に出力する加算部３５０３が設けられている。
【２００８】
なお、以下、クラス分類適応処理部３５０１より出力される画像を、予測画像と称し、クラス分類適応処理補正部３５０２より出力される画像を、補正画像、または、差分予測画像と称する。ただし、予測画像と差分予測画像の名称の由来についてはそれぞれ後述する。
【２００９】
また、この例の実施の形態においては、クラス分類適応処理は、例えば、入力画像の空間解像度を向上する処理であるとする。即ち、標準解像度の画像である入力画像を、高解像度の画像である予測画像に変換する処理であるとする。
【２０１０】
なお、以下、標準解像度の画像を、適宜、ＳＤ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）画像と称する。また、ＳＤ画像を構成する画素を、適宜、ＳＤ画素と称する。
【２０１１】
これに対して、以下、高解像度の画像を、適宜、ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）画像と称する。また、ＨＤ画像を構成する画素を、適宜、ＨＤ画素と称する。
【２０１２】
具体的には、この例の実施の形態においては、クラス分類適応処理とは、次のような処理である。
【２０１３】
即ち、はじめに、入力画像（ＳＤ画像）の注目画素（ＳＤ画素）における、予測画像（ＨＤ画像）のＨＤ画素を求めるために、注目画素を含めた、その付近に配置されるＳＤ画素（以下、このようなＳＤ画素を、クラスタップと称する）の特徴量のそれぞれを求めて、その特徴量毎に予め分類されたクラスを特定する（クラスタップ群のクラスコードを特定する）
【２０１４】
そして、予め設定された複数の係数群（各係数群のそれぞれは、所定の１つのクラスコードに対応している）のうちの、特定されたクラスコードに対応する係数群を構成する各係数と、注目画素を含めた、その付近のＳＤ画素（以下、このような入力画像のＳＤ画素を、予測タップと称する。なお、予測タップは、クラスタップと同じこともある）とを用いて積和演算を実行することで、入力画像（ＳＤ画像）の注目画素（ＳＤ画素）における、予測画像（ＨＤ画像）のＨＤ画素を求めるものである。
【２０１５】
従って、この例の実施の形態においては、入力画像（ＳＤ画像）は、クラス分類適応処理部３５０１において、従来のクラス分類適応処理が施されて予測画像（ＨＤ画像）となり、さらに、加算部３５０３において、その予測画像が、クラス分類適応処理補正部３５０２からの補正画像で補正されて（補正画像が加算されて）出力画像（ＨＤ画像）となる。
【２０１６】
即ち、この例の実施の形態は、定常性の観点からは、定常性を用いて処理を行う画像処理装置（図３）のうちの画像生成部１０３の１つの実施の形態であると言える。これに対して、クラス分類適応処理の観点からは、センサ２とクラス分類適応処理部３５０１から構成される従来の画像処理装置に対して、クラス分類適応処理の補正を行うために、データ定常性検出部１０１、実世界推定部１０２、クラス分類適応処理補正部３５０２、および加算部３５０３をさらに付加した画像処理装置の実施の形態であるとも言える。
【２０１７】
従って、以下、この例の実施の形態を、上述した再積分手法に対して、クラス分類適応処理補正手法と称する。
【２０１８】
クラス分類適応処理補正手法を利用する画像生成部１０３についてさらに詳しく説明する。
【２０１９】
図２６６において、画像である、実世界１の信号（光の強度の分布）がセンサ２に入射されると、センサ２からは入力画像が出力される。この入力画像は、データ定常性検出部１０１に入力されるとともに、画像生成部１０３のクラス分類適応処理部３５０１に入力される。
【２０２０】
クラス分類適応処理部３５０１は、入力画像に対して、従来のクラス分類適応処理を施して予測画像を生成し、加算部３５０３に出力する。
【２０２１】
このように、クラス分類適応処理部３５０１は、センサ２からの入力画像（画像データ）を基準とするとともに、入力画像そのものを処理の対象としている。即ち、センサ２からの入力画像は、上述した積分効果により実世界１の信号とは異なるもの（歪んだもの）となっているにも関わらず、クラス分類適応処理部３５０１は、その実世界１の信号とは異なる入力画像を正として処理を行っている。
【２０２２】
その結果、センサ２から出力された段階で実世界１のディテールがつぶれてしまった入力画像（ＳＤ画像）は、クラス分類適応処理によりたとえＨＤ画像とされても、元のディテールが完全に復元されないことがあるという課題が発生してしまう。
【２０２３】
そこで、この課題を解決するために、クラス分類適応処理補正手法においては、画像生成部１０３のクラス分類適応処理補正部３５０２が、センサ２からの入力画像ではなく、センサ２に入射される前の元の画像（所定の定常性を有する実世界１の信号）を推定する情報（実世界推定情報）を基準とするとともに、その実世界推定情報を処理の対象として、クラス分類適応処理部３５０１より出力された予測画像を補正するための補正画像を生成する。
【２０２４】
この実世界推定情報は、データ定常性検出部１０１と実世界推定部１０２により生成される。
【２０２５】
即ち、データ定常性検出部１０１は、センサ２からの入力画像に含まれるデータの定常性（センサ２に入射された実世界１の信号が有する定常性に対応するデータの定常性）を検出し、その検出結果をデータ定常性情報として実世界推定部１０２に出力する。
【２０２６】
なお、データ定常性情報は、図２６６の例では角度とされているが、角度に限定されず、上述した様々な情報が使用可能である。
【２０２７】
実世界推定部１０２は、入力された角度（データ定常性情報）に基づいて、実世界推定情報を生成し、画像生成部１０３のクラス分類適応処理補正部３５０２に出力する。
【２０２８】
なお、実世界推定情報は、図２６６の例では特徴量画像（その詳細は後述する）とされているが、特徴量画像に限定されず、上述した様々な情報が使用可能である。
【２０２９】
クラス分類適応処理補正部３５０２は、入力された特徴量画像（実世界推定情報）に基づいて補正画像を生成し、加算部３５０３に出力する。
【２０３０】
加算部３５０３は、クラス分類適応処理部３５０１より出力された予測画像と、クラス分類適応処理補正部３５０２より出力された補正画像を加算し、加算した画像（ＨＤ画像）を出力画像として外部に出力する。
【２０３１】
このようにして出力された出力画像は、予測画像よりもより実世界１の信号（画像）に近い画像となる。即ち、クラス分類適応処理補正手法は、上述した課題を解決することが可能な手法である。
【２０３２】
さらに、図２６６のように信号処理装置（画像処理装置）４を構成することで、１フレームの全体的に処理をアプライすることが可能になる。即ち、後述する併用手法を利用する信号処理装置（例えば、後述する図２９２）等では、画素の領域特定をした上で出力画像を生成する必要があるが、図２６６の信号処理装置４は、この領域特定が不要になるという効果を奏することが可能になる。
【２０３３】
次に、画像生成部１０３のうちのクラス分類適応処理部３５０１の詳細について説明する。
【２０３４】
図２６７は、クラス分類適応処理部３５０１の構成例を表している。
【２０３５】
図２６７において、センサ２より入力された入力画像（ＳＤ画像）は、領域抽出部３５１１と領域抽出部３５１５にそれぞれ供給される。領域抽出部３５１１は、供給された入力画像から、クラス分類を行うために必要なクラスタップ（注目画素（ＳＤ画素）を含む予め設定された位置に存在するＳＤ画素）を抽出し、パターン検出部３５１２に出力する。パターン検出部３５１２は、入力されたクラスタップに基づいて入力画像のパターンを検出する。
【２０３６】
クラスコード決定部３５１３は、パターン検出部３５１２で検出されたパターンに基づいてクラスコードを決定し、係数メモリ３５１４、および、領域抽出部３５１５に出力する。係数メモリ３５１４は、学習により予め求められたクラスコード毎の係数を記憶しており、クラスコード決定部３５１３より入力されたクラスコードに対応する係数を読み出し、予測演算部３５１６に出力する。
【２０３７】
なお、係数メモリ３５１４の係数の学習処理については、図２６９のクラス分類適応処理用学習部のブロック図を参照して後述する。
【２０３８】
また、係数メモリ３５１４に記憶される係数は、後述するように、予測画像（ＨＤ画像）を生成するときに使用される係数である。従って、以下、係数メモリ３５１４に記憶される係数を、他の係数と区別するために、予測係数と称する。
【２０３９】
領域抽出部３５１５は、クラスコード決定部３５１３より入力されたクラスコードに基づいて、センサ２より入力された入力画像（ＳＤ画像）から、予測画像（ＨＤ画像）を予測生成するのに必要な予測タップ（注目画素を含む予め設定された位置に存在するＳＤ画素）をクラスコードに対応して抽出し、予測演算部３５１６に出力する。
【２０４０】
予測演算部３５１６は、領域抽出部３５１５より入力された予測タップと、係数メモリ３５１４より入力された予測係数とを用いて積和演算を実行し、入力画像（ＳＤ画像）の注目画素（ＳＤ画素）における、予測画像（ＨＤ画像）のＨＤ画素を生成し、加算部３５０３に出力する。
【２０４１】
より詳細には、係数メモリ３５１４は、クラスコード決定部３５１３より供給されるクラスコードに対応する予測係数を、予測演算部３５１６に出力する。予測演算部３５１６は、領域抽出部３５１５より供給される入力画像の所定の画素位置の画素値から抽出された予測タップと、係数メモリ３５１４より供給された予測係数とを用いて、次の式（２１５）で示される積和演算を実行することにより、予測画像（ＨＤ画像）のＨＤ画素を求める（予測推定する）。
【２０４２】
【数１６６】
2004246524.tif 000335
2004246524.tif 000336
【２０４３】
式（２１５）において、ｑ’は、予測画像（ＨＤ画像）のＨＤ画素を表している。ｃｉ（ｉは、１乃至ｎの整数値）のそれぞれは、予測タップ（ＳＤ画素）のそれぞれを表している。また、ｄ  ｉのそれぞれは、予測係数のそれぞれを表している。
【２０４４】
このように、クラス分類適応処理部３５０１は、ＳＤ画像（入力画像）から、それに対するＨＤ画像を予測推定するので、ここでは、クラス分類適応処理部３５０１から出力されるＨＤ画像を、予測画像と称している。
【２０４５】
図２６８は、このようなクラス分類適応処理部３５０１の係数メモリ３５１４に記憶される予測係数（式（２１５）におけるｄ  ｉ）を決定するための学習装置（予測係数の算出装置）を表している。
【２０４６】
なお、クラス分類適応処理補正手法においては、係数メモリ３５１４の他に、クラス分類適応処理補正部３５０２の係数メモリ（後述する図２７６で示される補正係数メモリ３５５４）が設けられている。従って、図２６８で示されるように、クラス分類適応処理手法における学習装置３５０４には、クラス分類適応処理部３５０１の係数メモリ３５１４に記憶される予測係数（式（２１５）におけるｄ  ｉ）を決定するための学習部３５２１（以下、クラス分類適応処理用学習部３５２１と称する）の他に、クラス分類適応処理補正部３５０２の補正係数メモリ３５５４に記憶される係数を決定するための学習部３５６１（以下、クラス分類適応処理補正用学習部３５６１と称する）が設けられている。
【２０４７】
従って、以下、クラス分類適応処理用学習部３５２１における教師画像を第１の教師画像と称するのに対して、クラス分類適応処理補正用学習部３５６１における教師画像を第２の教師画像と称する。同様に、以下、クラス分類適応処理用学習部３５２１における生徒画像を第１の生徒画像と称するのに対して、クラス分類適応処理補正用学習部３５６１における生徒画像を第２の生徒画像と称する。
【２０４８】
なお、クラス分類適応処理補正用学習部３５６１については後述する。
【２０４９】
図２６９は、クラス分類適応処理用学習部３５２１の詳細な構成例を表している。
【２０５０】
図２６９において、所定の画像が、第１の教師画像（ＨＤ画像）としてダウンコンバート部３５３１と正規方程式生成部３５３６のそれぞれに入力されるとともに、クラス分類適応処理補正用学習部３５６１（図２６８）に入力される。
【２０５１】
ダウンコンバート部３５３１は、入力された第１の教師画像（ＨＤ画像）から、第１の教師画像よりも解像度の低い第１の生徒画像（ＳＤ画像）を生成し（第１の教師画像をダウンコンバートしたものを第１の生徒画像とし）、領域抽出部３５３２、領域抽出部３５３５、およびクラス分類適応処理補正用学習部３５６１（図２６８）のそれぞれに出力する。
【２０５２】
このように、クラス分類適応処理用学習部３５２１には、ダウンコンバート部３５３１が設けられているので、第１の教師画像（ＨＤ画像）は、上述したセンサ２（図２６６）からの入力画像よりも高解像度の画像である必要は無い。なぜならば、第１の教師画像がダウンコンバートされた（解像度が下げられた）第１の生徒画像をＳＤ画像とすれば、第１の生徒画像に対する第１の教師画像がＨＤ画像になるからである。従って、第１の教師画像は、例えば、センサ２からの入力画像そのものとされてもよい。
【２０５３】
領域抽出部３５３２は、供給された第１の生徒画像（ＳＤ画像）から、クラス分類を行うために必要なクラスタップ（ＳＤ画素）を抽出し、パターン検出部３５３３に出力する。パターン検出部３５３３は、入力されたクラスタップのパターンを検出し、その検出結果をクラスコード決定部３５３４に出力する。クラスコード決定部３５３４は、入力されたパターンに対応するクラスコードを決定し、そのクラスコードを領域抽出部３５３５、および、正規方程式生成部３５３６のそれぞれに出力する。
【２０５４】
領域抽出部３５３５は、クラスコード決定部３５３４より入力されたクラスコードに基づいて、ダウンコンバート部３５３１より入力された第１の生徒画像（ＳＤ画像）から予測タップ（ＳＤ画素）を抽出し、正規方程式生成部３５３６と予測演算部３５５８のそれぞれに出力する。
【２０５５】
なお、以上の領域抽出部３５３２、パターン検出部３５３３、クラスコード決定部３５３４、および領域抽出部３５３５のそれぞれは、図２６７のクラス分類適応処理部３５０１の領域抽出部３５１１、パターン検出部３５１２、クラスコード決定部３５１３、および、領域抽出部３５１５のそれぞれと、基本的に同様の構成と機能を有するものである。
【２０５６】
正規方程式生成部３５３６は、クラスコード決定部３５３４より入力された全てのクラスコードに対して、クラスコード毎に、領域抽出部３５３５より入力される第１の生徒画像（ＳＤ画像）の予測タップ（ＳＤ画素）と、第１の教師画像（ＨＤ画像）のＨＤ画素とから正規方程式を生成し、係数決定部３５３７に供給する。係数決定部３５３７は、正規方程式生成部３５３７より所定のクラスコードに対応する正規方程式が供給されてきたとき、その正規方程式より予測係数のそれぞれを演算し、係数メモリ３５１４にクラスコードと関連付けて記憶させるとともに、予測演算部３５３８に供給する。
【２０５７】
正規方程式生成部３５３６と、係数決定部３５３７についてさらに詳しく説明する。
【２０５８】
上述した式（２１５）において、学習前は予測係数ｄｉのそれぞれが未定係数である。学習は、クラスコード毎に複数の教師画像（ＨＤ画像）のＨＤ画素を入力することによって行う。所定のクラスコードに対応するＨＤ画素がｍ個存在し、ｍ個のＨＤ画素のそれぞれを、ｑｋ（ｋは、１乃至ｍの整数値）と記述する場合、式（２１５）から、次の式（２１６）が設定される。
【２０５９】
【数１６７】
2004246524.tif 000337
2004246524.tif 000338
【２０６０】
即ち、式（２１６）は、右辺の演算をすることで、所定のＨＤ画素ｑｋを予測推定することができることを表している。なお、式（２１６）において、ｅｋは誤差を表している。即ち、右辺の演算結果である予測画像（ＨＤ画像）のＨＤ画素ｑｋ’が、実際のＨＤ画素ｑｋと厳密には一致せず、所定の誤差ｅｋを含む。
【２０６１】
そこで、式（２１６）において、例えば、誤差ｅｋの自乗和を最小にするような予測係数ｄｉが、学習により求まればよい。
【２０６２】
具体的には、例えば、ｍ＞ｎとなるように、ＨＤ画素ｑｋを学習により集めることができれば、最小自乗法によって予測係数ｄｉが一意に決定される。
【２０６３】
即ち、式（２１６）の右辺の予測係数ｄｉを最小自乗法で求める場合の正規方程式は、次の式（２１７）で表される。
【２０６４】
【数１６８】
2004246524.tif 000339
2004246524.tif 000340
【２０６５】
従って、式（２１７）で示される正規方程式が生成されれば、その正規方程式を解くことで予測係数ｄｉが一意に決定されることになる。
【２０６６】
具体的には、式（２１７）で示される正規方程式の各行列のそれぞれを、次の式（２１８）乃至（２２０）のように定義すると、正規方程式は、次の式（２２１）のように表される。
【２０６７】
【数１６９】
2004246524.tif 000341
2004246524.tif 000342
【２０６８】
【数１７０】
2004246524.tif 000343
2004246524.tif 000344
【２０６９】
【数１７１】
2004246524.tif 000345
2004246524.tif 000346
【２０７０】
【数１７２】
2004246524.tif 000347
2004246524.tif 000348
【２０７１】
式（２１９）で示されるように、行列ＤＭＡＴの各成分は、求めたい予測係数ｄｉである。従って、式（２２１）において、左辺の行列ＣＭＡＴと右辺の行列ＱＭＡＴが決定されれば、行列解法によって行列ＤＭＡＴ（即ち、予測係数ｄｉ）の算出が可能である。
【２０７２】
より具体的には、式（２１８）で示されるように、行列ＣＭＡＴの各成分は、予測タップｃｉｋが既知であれば演算可能である。予測タップｃｉｋは、領域抽出部３５３５により抽出されるので、正規方程式生成部３５３６は、領域抽出部３５３５より供給されてくる予測タップｃｉｋのそれぞれを利用して行列ＣＭＡＴの各成分を演算することができる。
【２０７３】
また、式（２２０）で示されるように、行列ＱＭＡＴの各成分は、予測タップｃｉｋとＨＤ画素ｑｋが既知であれば演算可能である。予測タップｃｉｋは、行列ＣＭＡＴの各成分に含まれるものと同一のものであり、また、ＨＤ画素ｑｋは、予測タップｃｉｋに含まれる注目画素（第１の生徒画像のＳＤ画素）に対する第１の教師画像のＨＤ画素である。従って、正規方程式生成部３５３６は、領域抽出部３５３５より供給された予測タップｃｉｋと、第１の教師画像を利用して行列ＱＭＡＴの各成分を演算することができる。
【２０７４】
このようにして、正規方程式生成部３５３６は、クラスコード毎に、行列ＣＭＡＴと行列ＱＭＡＴの各成分を演算し、その演算結果をクラスコードに対応付けて係数決定部３５３７に供給する。
【２０７５】
係数決定部３５３７は、供給された所定のクラスコードに対応する正規方程式に基づいて、上述した式（２２１）の行列ＤＭＡＴの各成分である予測係数ｄｉを演算する。
【２０７６】
具体的には、上述した式（２２１）の正規方程式は、次の式（２２２）のように変形できる。
【２０７７】
【数１７３】
2004246524.tif 000349
2004246524.tif 000350
【２０７８】
式（２２２）において、左辺の行列ＤＭＡＴの各成分が、求めたい予測係数ｄｉである。また、行列ＣＭＡＴと行列ＱＭＡＴのそれぞれの各成分は、正規方程式生成部３５３６より供給されるものである。従って、係数決定部３５３７は、正規方程式生成部３５３６より所定のクラスコードに対応する行列ＣＭＡＴと行列ＱＭＡＴのそれぞれの各成分が供給されてきたとき、式（２２２）の右辺の行列演算を行うことで行列ＤＭＡＴを演算し、その演算結果（予測係数ｄｉ）をクラスコードに対応付けて係数メモリ３５１４に記憶させるとともに、予測演算部３５３８に供給する。
【２０７９】
予測演算部３５３８は、領域抽出部３５３５より入力された予測タップと、係数決定部３５３７により決定された予測係数とを用いて積和演算を実行し、第１の生徒画像（ＳＤ画像）の注目画素（ＳＤ画素）における、予測画像（第１の教師画像を予測する画像）のＨＤ画素を生成し、それを学習用予測画像としてクラス分類適応処理補正用学習部３５６１（図２６８）に出力する。
【２０８０】
より詳細には、予測演算部３５３８は、領域抽出部３５３５より供給される第１の生徒画像の所定の画素位置の画素値から抽出された予測タップを、ｃｉ（ｉは、１乃至ｎの整数値）とし、係数決定部３５３７より供給された予測係数を、ｄ  ｉとして、上述した式（２１５）で示される積和演算を実行することにより、学習用予測画像（ＨＤ画像）のＨＤ画素ｑ’を求める（第１の教師画像を予測推定する）。
【２０８１】
ここで、図２７０乃至図２７５を参照して、上述した従来のクラス分類適応処理（クラス分類適応処理部３５０１）が有する課題、即ち、図２６６において、センサ２から出力された段階で実世界１のディテールがつぶれてしまった入力画像（ＳＤ画像）は、クラス分類適応処理部３５０１によりたとえＨＤ画像（実世界１の信号を予測する予測画像）とされても、元のディテールが完全に復元されないことがあるという課題について説明する。
【２０８２】
図２７０は、クラス分類適応処理部３５０１の処理結果の例を表している。
【２０８３】
図２７０において、ＨＤ画像３５４１は、図中上下方向から、ほぼ５度時計方向に傾いた細線の画像が含まれる画像である。また、ＳＤ画像３５４２は、ＨＤ画像３５４１の２×２の画素（ＨＤ画素）からなるブロックに属する画素（ＨＤ画素）の画素値の平均値を、１つの画素（ＳＤ画素）の画素値として生成された画像である。即ち、ＳＤ画像３５４２は、ＨＤ画像３５４１がダウンコンバートされた（解像度が落とされた）画像である。
【２０８４】
換言すると、ＨＤ画像３５４１は、センサ２（図２６６）に入射される前の画像（実世界１（図２６６）の信号）を模した画像であるとする。この場合、ＳＤ画像３５４２は、ＨＤ画像３５４１に、センサ２の積分特性を模した、空間方向の積分を適用することにより得られた画像に相当することなる。即ち、ＳＤ画像３５４２は、センサ２からの入力画像を模した画像となる。
【２０８５】
また、ＳＤ画像３５４２をクラス分類適応処理部３５０１（図２６６）に入力させ、クラス分類適応処理部３５０１より出力された予測画像が、予測画像３５４３である。即ち、予測画像３５４３は、従来のクラス分類適応処理により生成されたＨＤ画像（元のＨＤ画像３５４１と同一解像度の画像）である。ただし、クラス分類適応処理部３５０１が予測演算に使用した予測係数（係数メモリ３５１４（図２６７）に記憶された予測係数）は、ＨＤ画像３５４１を第１の教師画像とし、かつＳＤ画像３５４２を第１の生徒画像として、クラス分類適応処理用学習部３５６１（図２６９）に学習演算させたものである。
【２０８６】
ＨＤ画像３５４１、ＳＤ画像３５４２、および予測画像３５４３のそれぞれを比較するに、予測画像３５４３は、ＳＤ画像３５４２よりも、ＨＤ画像３５４１により近い画像となっていることがわかる。
【２０８７】
この比較結果は、クラス分類適応処理部３５０１が、ＨＤ画像３５４１のディテールがつぶれてしまったＳＤ画像３５４２に対して、従来のクラス分類適応処理を施すことで、元のディテールが復元された予測画像３５４３を生成することができるということを意味している。
【２０８８】
しかしながら、予測画像３５４３とＨＤ画像３５４１を比較するに、予測画像３５４３は、ＨＤ画像３５４１を完全に復元した画像であるとは言い難い。
【２０８９】
そこで、本願出願人は、予測画像３５４３がＨＤ画像３５４１を完全に復元できていない理由を調査するために、所定の加算器３５４６により、ＨＤ画像３５４１と、予測画像３５４３の反転入力との加算画像、即ち、ＨＤ画像３５４１と予測画像３５４３の差分画像（画素の差分が大の場合、白に近い画素とし、画素の差分が小の場合、黒に近い画素とした画像）３５４４を生成した。
【２０９０】
同様に、本願出願人は、所定の加算器３５４７により、ＨＤ画像３５４１と、ＳＤ画像３５４２の反転入力との加算画像、即ち、ＨＤ画像３５４１とＳＤ画像３５４２の差分画像（画素の差分が大の場合、白に近い画素とし、画素の差分が小の場合、黒に近い画素とした画像）３５４５を生成した。
【２０９１】
そして、本願出願人は、このようにして生成された差分画像３５４４と差分画像３５４５を比較することによって、次のような調査結果を得た。
【２０９２】
即ち、ＨＤ画像３５４１とＳＤ画像３５４２の差分の大きい領域（差分画像３５４５の白に近い領域）と、ＨＤ画像３５４１と予測画像３５４３の差分の大きい領域（差分画像３５４４の白に近い領域）はほぼ対応している。
【２０９３】
換言すると、予測画像３５４３がＨＤ画像３５４１を完全に復元できていない領域は、予測画像３５４３のうちの、ＨＤ画像３５４１とＳＤ画像３５４２の差分の大きい領域（差分画像３５４５の白に近い領域）にほぼ一致する。
【２０９４】
そこで、本願出願人は、この調査結果の要因を解明するために、さらに次のような調査を行った。
【２０９５】
即ち、本願出願人は、まず、ＨＤ画像３５４１と予測画像３５４３の差分の小さい領域（差分画像３５４４の黒に近い領域）において、ＨＤ画像３５４１の具体的な画素値、ＳＤ画像３５４２の具体的な画素値、およびＨＤ画像３５４１に対応する実際の波形（実世界１の信号）を調査した。その調査結果が、図２７１と図２７２に示されている。
【２０９６】
図２７１は、調査した領域のうちの１例を示している。なお、図２７１において、図中、水平方向は、空間方向の１方向であるＸ方向とされており、また、垂直方向は、空間方向の他方向であるＹ方向とされている。
【２０９７】
即ち、本願出願人は、ＨＤ画像３５４１と予測画像３５４３の差分の小さい領域の１例として、図２７１で示される、差分画像３５４４の領域３５４４−１について調査した。
【２０９８】
図２７２は、図２７１で示される領域３５４４−１に含まれるＸ方向に連続した６個のＨＤ画素のうちの、図中左から４個分のＨＤ画素に対応する、ＨＤ画像３５４１の具体的な画素値、ＳＤ画像３５４２の具体的な画素値、および、実際の波形（実世界１の信号）のそれぞれをプロットしたものを表している。
【２０９９】
図２７２において、縦軸は画素値を、横軸は空間方向Ｘに平行なｘ軸を、それぞれ表している。ｘ軸において、原点は、差分画像３５４４の６個のＨＤ画素のうちの図中左から３番目のＨＤ画素の左端の位置とされており、その原点を基準として座標値が付されている。ただし、ｘ軸の座標値は、差分画像３５４４のＨＤ画素の画素幅を０．５として付されている。即ち、差分画像３５４４はＨＤ画像であるので、ＨＤ画像３５４１の画素幅Ｌｔ（以下、ＨＤ画素幅Ｌｔと称する）も０．５になる。従って、いまの場合、ＳＤ画像３５４２の画素幅（以下、ＳＤ画素幅Ｌｓと称する）は、ＨＤ画素幅Ｌｔの２倍になるので、ＳＤ画素幅Ｌｓは１になる。
【２１００】
また、図２７２において、実線は、ＨＤ画像３５４１の画素値を、点線は、ＳＤ画像３５４２の画素値を、一点鎖線は、実世界１の信号のＸ断面波形を、それぞれ表している。ただし、実世界１の信号の波形を実際に描写することは困難であるので、図２７２で示される一点鎖線は、上述した１次元多項式近似手法（図２６６の実世界推定部１０２の１実施形態）によりＸ断面波形が近似された近似関数ｆ（ｘ）が示されている。
【２１０１】
次に、本願出願人は、上述した差分の小さい領域の調査と同様に、ＨＤ画像３５４１と予測画像３５４３の差分の大きい領域（差分画像３５４４の白に近い領域）においても、ＨＤ画像３５４１の具体的な画素値、ＳＤ画像３５４２の具体的な画素値、およびＨＤ画像３５４１に対応する実際の波形（実世界１の信号）を調査した。その調査結果が、図２７３と図２７４に示されている。
【２１０２】
図２７３は、調査した領域のうちの１例を示している。なお、図２７３において、図中、水平方向は、空間方向の１方向であるＸ方向とされており、また、垂直方向は、空間方向の他方向であるＹ方向とされている。
【２１０３】
即ち、本願出願人は、ＨＤ画像３５４１と予測画像３５４３の差分の大きい領域の１例として、図２７３で示される、差分画像３５４４の領域３５４４−２について調査した。
【２１０４】
図２７４は、図２７３で示される領域３５４４−２に含まれるＸ方向に連続した６個のＨＤ画素のうちの、図中左から４個分のＨＤ画素に対応する、ＨＤ画像３５４１の具体的な画素値、ＳＤ画像３５４２の具体的な画素値、および実際の波形（実世界１の信号）のそれぞれをプロットしたものを表している。
【２１０５】
図２７４において、縦軸は画素値を、横軸は空間方向Ｘに平行なｘ軸を、それぞれ表している。ｘ軸において、原点は、差分画像３５４４の６個のＨＤ画素のうちの図中左から３番目のＨＤ画素の左端の位置とされており、その原点を基準として座標値が付されている。ただし、ｘ軸の座標値は、ＳＤ画素幅Ｌｓを１として付されている。
【２１０６】
図２７４において、実線は、ＨＤ画像３５４１の画素値を、点線は、ＳＤ画像３５４２の画素値を、一点鎖線は、実世界１の信号のＸ断面波形を、それぞれ表している。ただし、図２７４で示される一点鎖線は、図２７２で示される一点鎖線と同様に、Ｘ断面波形が近似された近似関数ｆ（ｘ）が示されている。
【２１０７】
図２７２と図２７４を比較するに、両者の近似関数ｆ（ｘ）の波形の形状より、いずれの領域も細線の領域を含んでいることがわかる。
【２１０８】
しかしながら、図２７２においては、細線の領域は、ほぼｘ＝０からｘ＝１の範囲に存在するのに対して、図２７４においては、細線の領域は、ほぼｘ＝−０．５からｘ＝０．５の範囲に存在する。即ち、図２７２においては、ｘ＝０からｘ＝１の範囲に存在するＳＤ画像３５４２の１つのＳＤ画素内に細線の領域がほぼ含まれることになる。これに対して、図２７４においては、ｘ＝０からｘ＝１の範囲に存在するＳＤ画像３５４２の１つのＳＤ画素内に、細線の領域が一部だけ含まれる（細線と背景の境目が含まれる）ことになる。
【２１０９】
従って、図２７２で示される状態の場合、ｘ＝０からｘ＝１．０の範囲に存在するＨＤ画像３５４１の２つのＨＤ画素の画素値（図中、実線）の差は小さくなる。その結果、当然ながら、これら２つのＨＤ画素の画素値の平均値である、ＳＤ画像３５４２の１つのＳＤ画素の画素値（図中、点線）と、ＨＤ画像３５４１の２つのＨＤ画素の画素値のそれぞれとの差分は小さいものになる。
【２１１０】
このような状態で（図２７２で示される状態で）、ｘ＝０からｘ＝１．０の範囲に存在するＳＤ画像３５４２の１つのＳＤ画素が注目画素とされて、従来のクラス分類適応処理によりｘ＝０からｘ＝１．０の範囲に２つのＨＤ画素（予測画像３５４３の画素）が生成された場合について考える。この場合、図２７１で示されるように、生成された予測画像３５４３のＨＤ画素は、ＨＤ画像３５４１のＨＤ画素をほぼ正確に予測したものになる。即ち、図２７１で示されるように、領域３５４４−１においては、予測画像３５４３のＨＤ画素と、ＨＤ画像３５４１のＨＤ画素の差分も小さくなるので、黒に近い画像が表示される。
【２１１１】
これに対して、図２７４で示される状態の場合、ｘ＝０からｘ＝１．０の範囲に存在するＨＤ画像３５４１の２つのＨＤ画素の画素値（図中、実線）の差は大きくなる。その結果、当然ながら、これら２つのＨＤ画素の画素値の平均値である、ＳＤ画像３５４２の１つのＳＤ画素の画素値（図中、点線）と、ＨＤ画像３５４１の２つのＨＤ画素の画素値のそれぞれとの差分は、図２７２の対応する差分に対して大きなものになる。
【２１１２】
このような状態で（図２７４で示される状態で）、ｘ＝０からｘ＝１．０の範囲に存在するＳＤ画像３５４２の１つのＳＤ画素が注目画素とされて、従来のクラス分類適応処理によりｘ＝０からｘ＝１．０の範囲にＨＤ画素（予測画像３５４３の画素）が生成された場合について考える。この場合、図２７３で示されるように、生成された予測画像３５４３のＨＤ画素は、ＨＤ画像３５４１のＨＤ画素を正確に予測したものとはならない。即ち、図２７３で示されるように、領域３５４４−２においては、予測画像３５４３のＨＤ画素と、ＨＤ画像３５４１のＨＤ画素の差分も大きなものになってしまうので、白に近い画像が表示される。
【２１１３】
ところで、図２７２と図２７４の実世界１の信号の近似関数ｆ（ｘ）（図中、一点鎖線）のそれぞれを比較するに、図２７２においては、ｘ＝０からｘ＝１の範囲での近似関数ｆ（ｘ）の変化量は小さいのに対して、図２７４においては、ｘ＝０からｘ＝１の範囲での近似関数ｆ（ｘ）の変化量は大きいことがわかる。
【２１１４】
従って、図２７２で示されるｘ＝０からｘ＝１．０の範囲に存在するＳＤ画像３５４２の１つのＳＤ画素は、ＳＤ画素内での近似関数ｆ（ｘ）の変化量が小さい（即ち、実世界１の信号の変化量が小さい）ＳＤ画素と言える。
【２１１５】
このような観点から、上述した調査結果を言いなおすと、例えば、図２７２で示されるｘ＝０からｘ＝１．０の範囲に存在するＳＤ画素のような、ＳＤ画素内での近似関数ｆ（ｘ）の変化が少ない（即ち、実世界１の信号の変化が少ない）ＳＤ画素から、従来のクラス分類適応処理によりＨＤ画素が生成されると、生成されたＨＤ画素は、実世界１の信号（いまの場合、細線の画像）をほぼ正確に予測したものとなる。
【２１１６】
これに対して、図２７４で示されるｘ＝０からｘ＝１．０の範囲に存在するＳＤ画像３５４２の１つのＳＤ画素は、ＳＤ画素内での近似関数ｆ（ｘ）の変化量が大きい（即ち、実世界１の信号の変化量が大きい）ＳＤ画素と言える。
【２１１７】
このような観点から、上述した調査結果を言いなおすと、例えば、図２７４で示されるｘ＝０からｘ＝１．０の範囲に存在するＳＤ画素のような、ＳＤ画素内での近似関数ｆ（ｘ）の変化が大きい（即ち、実世界１の信号の変化が大きい）ＳＤ画素から、従来のクラス分類適応処理によりＨＤ画素が生成されると、生成されたＨＤ画素は、実世界１の信号（いまの場合、細線の画像）を正確に予測したものとはならない。
【２１１８】
以上の調査結果をまとめると、図２７５で示されるような状態の場合、従来の画素間の信号処理（例えば、クラス分類適応処理）では、画素内のディテールを復元することは困難であるということである。
【２１１９】
即ち、図２７５は、本願出願人が上述したような調査を行った結果として、得られた知見を説明する図である。
【２１２０】
図２７５において、図中水平方向は、センサ２（図２６６）の検出素子が並んでいる方向（空間方向）のうちの１方向であるＸ方向を表しており、図中垂直方向は、光のレベルまたは画素値を表している。点線は、画像である、実世界１（図２６６）の信号のＸ断面波形Ｆ（ｘ）を表しており、実線は、Ｘ断面波形Ｆ（ｘ）で表される実世界１の信号（画像）がセンサ２に入射された場合、センサ２から出力される画素値Ｐを表している。また、センサ２の１つの検出素子の幅（Ｘ方向の長さ）は、Ｌｃと記述されており、△Ｐは、センサ２の１つの検出素子の幅Ｌｃ、即ち、センサ２の画素幅Ｌｃ内におけるＸ断面波形Ｆ（ｘ）の変化量を表している。
【２１２１】
ところで、上述したＳＤ画像３５４２（図２７０）は、センサ２からの入力画像（図２６６）を模したものであるので、ＳＤ画像３５４２のＳＤ画素幅Ｌｓ（図２７２と図２７４）は、センサ２の画素幅（検出素子の幅）Ｌｃとして考えることができる。
【２１２２】
また、上述した調査においては、細線に対応する実世界１の信号（近似関数ｆ（ｘ））に対する調査であったが、細線に限らず、実世界１の信号のレベルの変化は存在する。
【２１２３】
従って、上述した調査結果を、図２７５で示される状態に当てはめると、次の通りになる。
【２１２４】
即ち、図２７５で示されるような、画素内において実世界１の信号の変化量（Ｘ断面波形Ｆ（ｘ）の変化量）△Ｐが大きいＳＤ画素（センサ２からの出力画素）が注目画素とされて、従来のクラス分類適応処理によりＨＤ画素（例えば、図２６６のクラス分類適応処理部３５０１から出力される予測画像の画素）が生成された場合、生成されたＨＤ画素は、実世界１の信号（図２７５の例では、Ｘ断面波形Ｆ（ｘ））を正確に予測したものとはならない。
【２１２５】
具体的には、クラス分類適応処理をはじめとする従来の手法においては、センサ２の画素の画素間の画像処理が行われている。
【２１２６】
即ち、図２７５で示されるように、実世界１では、１画素内の領域でＸ断面波形Ｆ（ｘ）の変化量△Ｐが大きい状態であっても、センサ２からは、Ｘ断面波形Ｆ（ｘ）が積分された（厳密には、実世界１の信号が、時空間方向に積分された）１つの画素値Ｐ（１画素内で均一の値Ｐ）のみが出力される。
【２１２７】
従来の手法においては、その画素値Ｐが基準とされるとともに、画素値Ｐが処理の対象とされて画像処理が行われている。換言すると、従来の手法においては、画素内における実世界１の信号（Ｘ断面波形Ｆ（ｘ））の変化、即ち、画素内のディテールを無視して、画像処理が行われている。
【２１２８】
このように、画素を最小の単位として処理する限り、例えどのような画像処理（クラス分類適応処理でも）を施したとしても、画素内における実世界１の信号の変化を正確に再現することは困難である。特に、実世界１の信号の変化量△Ｐが大きい場合、その困難さはより顕著なものとなる。
【２１２９】
換言すると、上述したクラス分類適応処理が有する課題、即ち、図２６６において、センサ２から出力された段階で実世界１のディテールがつぶれてしまった入力画像（ＳＤ画像）は、クラス分類適応処理によりたとえＨＤ画像とされても、元のディテールが完全に復元されないことがあるという課題が発生する原因は、画素内における実世界１の信号の変化量△Ｐを考慮せずに、画素（１つの画素値しか有しない画素）を最小の単位としてクラス分類適応処理が行われているからである。
【２１３０】
この課題は、クラス分類適応処理に限らず従来の画像処理手法の全てが有する課題であり、課題が発生する原因も全く同じである。
【２１３１】
以上、従来の画像処理手法が有する課題と、その発生要因について説明した。
【２１３２】
ところで、上述したように、本発明のデータ定常性検出部１０１と実世界推定部１０２（図３）は、実世界１の信号が有する定常性を利用して、センサ２からの入力画像（即ち、画素内における、実世界１の信号の変化が無視された画像）から、実世界１の信号を推定することができる。即ち、実世界推定部１０２は、実世界１の信号を推定することが可能な実世界推定情報を出力することができる。
【２１３３】
従って、この実世界推定情報から、画素内における、実世界１の信号の変化量の推定も可能である。
【２１３４】
そこで、本願出願人は、従来のクラス分類適応処理により生成された予測画像（画素内における、実世界１の信号の変化を考慮せずに、実世界１を予測した画像）を、実世界推定情報に基づいて生成される所定の補正画像（画素内における、実世界１の信号の変化に起因する予測画像の誤差を推定した画像）で補正することで、上述した課題の解決が可能になるという思想に基づいて、例えば、図２６６で示されるような、クラス分類適応処理補正手法を発明した。
【２１３５】
即ち、図２６６において、データ定常性検出部１０１と実世界推定部１０２が、実世界推定情報を生成し、クラス分類適応処理補正部３５０２が、生成された実世界推定情報に基づいて所定の補正画像を生成する。そして、加算部３５０３が、クラス分類適応処理部３５０１より出力された予測画像を、クラス分類適応処理補正部３５０２より出力された補正画像で補正する（具体的には、予測画像に補正画像を加算した画像を出力画像として出力する）。
【２１３６】
クラス分類適応処理補正手法を利用する画像生成部１０３のうちの、クラス分類適応処理部３５０１の詳細については既に説明した。また、加算部３５０３は、予測画像と補正画像を加算することができるものであれば、その形態は特に限定されず、例えば、従来より存在する、様々な加算器やプログラム等を適用することが可能である。
【２１３７】
そこで、以下、残りのクラス分類適応処理補正部３５０２の詳細について説明する。
【２１３８】
はじめに、クラス分類適応処理補正部３５０２の原理について説明する。
【２１３９】
上述したように、図２７０において、ＨＤ画像３５４１を、センサ２（図２６６）に入射される前の元の画像（実世界１の信号）とみなし、かつ、ＳＤ画像３５４２を、センサ２からの入力画像とみなすと、予測画像３５４３が、クラス分類適応処理部３５０１より出力される予測画像（元の画像（ＨＤ画像３５４１）を予測した予測画像）となる。
【２１４０】
また、ＨＤ画像３５４１から、その予測画像３５４３を減算した画像が、差分画像３５４４である。
【２１４１】
従って、クラス分類適応処理補正部３５０２が、差分画像３５４４を生成し、その差分画像３５４４を補正画像として出力することができれば、加算部３５０３が、クラス分類適応処理部３５０１より出力された予測画像３５４３と、クラス分類適応処理補正部３５０２より出力された差分画像３５４４（補正画像）を加算することで、ＨＤ画像３５４１を復元することができる。
【２１４２】
即ち、クラス分類適応処理補正部３５０２が、画像である、実世界１の信号（センサ２に入射される前の元の画像）と、クラス分類適応処理部３５０１から出力される予測画像との差分画像（ただし、クラス分類適応処理部３５０１から出力される予測画像と同一解像度の画像）を適切に予測し、予測した差分画像（以下、差分予測画像と称する。これが、上述した差分予測画像の名称の由来である）を補正画像として出力することができれば、実世界１の信号（元の画像）をほぼ復元することができる。
【２１４３】
ところで、上述したように、実世界１の信号（センサ２に入射される前の元の画像）と、クラス分類適応処理部３５０１から出力される予測画像との差分（誤差）の度合いと、入力画像の１画素内における、実世界１の信号の変化量の度合いは対応している。また、実世界推定部１０２は、実世界１の信号自身を推定することができるので、当然ながら、入力画像の１画素内における、実世界１の信号の変化量の度合いを表す所定の特徴量を画素毎に算出することも可能である。
【２１４４】
従って、クラス分類適応処理補正部３５０２は、入力画像の各画素のそれぞれに対する特徴量を取得することで、差分予測画像を生成する（差分画像を予測する）ことができる。
【２１４５】
そこで、例えば、クラス分類適応処理補正部３５０２は、実世界推定部１０２より、特徴量を画素値とする画像（以下、このような画像を、特徴量画像と称する）を実世界推定情報として実世界推定部１０２より入力する。
【２１４６】
このとき、特徴量画像の解像度は、センサ２からの入力画像と同一の解像度である。また、補正画像（差分予測画像）は、クラス分類適応処理部３５０１より出力される予測画像と同一の解像度である。
【２１４７】
従って、クラス分類適応処理補正部３５０２が、特徴量画像をＳＤ画像とし、補正画像（差分予測画像）をＨＤ画像とし、従来のクラス分類適応処理を利用して、特徴量画像から差分画像を予測演算すれば、その予測演算の結果が、適切な差分予測画像となる。
【２１４８】
以上、クラス分類適応処理補正部３５０２の原理について説明した。
【２１４９】
図２７６は、このような原理で動作するクラス分類適応処理補正部３５０２の構成例を表している。
【２１５０】
図２７６において、実世界推定部１０２より入力された特徴量画像（ＳＤ画像）は、領域抽出部３５５１と領域抽出部３５５５にそれぞれ供給される。領域抽出部３５５１は、供給された特徴量画像から、クラス分類を行うために必要なクラスタップ（注目画素を含む予め設定された位置に存在するＳＤ画素）を抽出し、パターン検出部３５５２に出力する。パターン検出部３５５２は、入力されたクラスタップに基づいて特徴量画像のパターンを検出する。
【２１５１】
クラスコード決定部３５５３は、パターン検出部３５５２で検出されたパターンに基づいてクラスコードを決定し、補正係数メモリ３５５４、および、領域抽出部３５５５に出力する。補正係数メモリ３５５４は、学習により予め求められたクラスコード毎の係数を記憶しており、クラスコード決定部３５５３より入力されたクラスコードに対応する係数を読み出し、補正演算部３５５６に出力する。
【２１５２】
なお、補正係数メモリ３５５４の係数の学習処理については、図２７７のクラス分類適応処理補正用学習部のブロック図を参照して後述する。
【２１５３】
また、補正係数メモリ３５５４に記憶される係数は、後述するように、差分画像を予測する（ＨＤ画像である差分予測画像を生成する）ときに使用される予測係数である。しかしながら、ここでは、クラス分類適応処理部３５０１の係数メモリ３５１４（図２６７）に記憶されている係数を、予測係数と称している。従って、以下、補正係数メモリ３５５４に記憶される予測係数を、係数メモリ３５１４に記憶される予測係数と区別するために、補正係数と称する。
【２１５４】
領域抽出部３５５５は、クラスコード決定部３５５３より入力されたクラスコードに基づいて、実世界推定部１０２より入力された特徴量画像（ＳＤ画像）から、差分画像（ＨＤ画像）を予測する（ＨＤ画像である差分予測画像を生成する）のに必要な予測タップ（注目画素を含む予め設定された位置に存在するＳＤ画素）をクラスコードに対応して抽出し、補正演算部３５５６に出力する。補正演算部３５５６は、領域抽出部３５５５より入力された予測タップと、補正係数メモリ３５５４より入力された補正係数とを用いて積和演算を実行し、特徴量画像（ＳＤ画像）の注目画素（ＳＤ画素）における、差分予測画像（ＨＤ画像）のＨＤ画素を生成する。
【２１５５】
より詳細には、補正係数メモリ３５５４は、クラスコード決定部３５５３より供給されるクラスコードに対応する補正係数を、補正演算部３５５６に出力する。補正演算部３５５６は、領域抽出部３５５５より供給される入力画像の所定の画素位置の画素値から抽出された予測タップ（ＳＤ画素）と、補正係数メモリ３５５４より供給された補正係数とを用いて、次の式（２２３）で示される積和演算を実行することにより、差分予測画像（ＨＤ画像）のＨＤ画素を求める（差分画像を予測推定する）。
【２１５６】
【数１７４】
2004246524.tif 000351
2004246524.tif 000352
【２１５７】
式（２２３）において、ｕ’は、差分予測画像（ＨＤ画像）のＨＤ画素を表している。ａｉ（ｉは、１乃至ｎの整数値）のそれぞれは、予測タップ（ＳＤ画素）のそれぞれを表している。また、ｇ  ｉのそれぞれは、補正係数のそれぞれを表している。
【２１５８】
従って、図２６６において、クラス分類適応処理部３５０１からは、上述した式（２１５）で示される予測画像のＨＤ画素ｑ’が出力されるのに対して、クラス分類適応処理補正部３５０２からは、式（２２３）で示される差分予測画像のＨＤ画素ｕ’が出力される。そして、加算部３５０３が、予測画像のＨＤ画素ｑ’と、差分予測画像のＨＤ画素ｕ’とを加算した画素（以下、ｏ’と記述する）を、出力画像のＨＤ画素として外部に出力する。
【２１５９】
即ち、画像生成部１０３より最終的に出力される出力画像のＨＤ画素ｏ’は、次の式（２２４）で示されるようになる。
【２１６０】
【数１７５】
2004246524.tif 000353
2004246524.tif 000354
【２１６１】
図２７７は、このようなクラス分類適応処理補正部３５０２の補正係数メモリ３５５４に記憶される補正係数（上述した式（２２２）におけるｇ  ｉ）を決定するための学習部、即ち、上述した図２６８の学習装置３５０４のクラス分類適応処理補正用学習部３５６１の詳細な構成例を表している。
【２１６２】
図２６８において、上述したように、クラス分類適応処理用学習部３５２１は、その学習処理を終了すると、クラス分類適応処理補正用学習部３５６１に対して、学習に利用した第１の教師画像（ＨＤ画像）と第１の生徒画像（ＳＤ画像）のそれぞれを出力するともに、学習により求められた予測係数を用いて第１の生徒画像から第１の教師画像を予測した画像である、学習用予測画像を出力してくる。
【２１６３】
図２７７に戻り、これらのうちの第１の生徒画像は、データ定常性検出部３５７２に入力される。
【２１６４】
一方、これらのうちの第１の教師画像と学習用予測画像は、加算部３５７１に入力される。ただし、学習用予測画像は、反転入力される。
【２１６５】
加算部３５７１は、入力された第１の教師画像と、反転入力された学習用予測画像を加算し、即ち、第１の教師画像と学習用予測画像の差分画像を生成し、それをクラス分類適応処理補正用学習部３５６１における教師画像（この教師画像を、上述したように、第１の教師画像と区別するために、第２の教師画像と称する）として正規方程式生成部３５７８に出力する。
【２１６６】
データ定常性検出部３５７２は、入力された第１の生徒画像に含まれるデータの定常性を検出し、その検出結果をデータ定常性情報として実世界推定部３５７３に出力する。
【２１６７】
実世界推定部３５７３は、入力されたデータ定常性情報に基づいて、特徴量画像を生成し、それをクラス分類適応処理補正用学習部３５６１における生徒画像（この生徒画像を、上述したように、第１の生徒画像と区別するために、第２の生徒画像と称する）として領域抽出部３５７４と領域抽出部３５７７のそれぞれに出力する。
【２１６８】
領域抽出部３５７４は、供給された第２の生徒画像（ＳＤ画像）から、クラス分類を行うために必要なＳＤ画素（クラスタップ）を抽出し、パターン検出部３５７５に出力する。パターン検出部３５７５は、入力されたクラスタップのパターンを検出し、検出結果をクラスコード決定部３５７６に出力する。クラスコード決定部３５７６は、入力されたパターンに対応するクラスコードを決定し、そのクラスコードを領域抽出部３５７７、および、正規方程式生成部３５７８のそれぞれに出力する。
【２１６９】
領域抽出部３５７７は、クラスコード決定部３５７６より入力されたクラスコードに基づいて、実世界推定部３５７３より入力された第２の生徒画像（ＳＤ画像）から予測タップ（ＳＤ画素）を抽出し、正規方程式生成部３５７８に出力する。
【２１７０】
なお、以上の領域抽出部３５７４、パターン検出部３５７５、クラスコード決定部３５７６、および領域抽出部３５７７のそれぞれは、図２７６のクラス分類適応処理補正部３５０２の領域抽出部３５５１、パターン検出部３５５２、クラスコード決定部３５５３、および、領域抽出部３５５５のそれぞれと、基本的に同様の構成と機能を有するものである。また、以上のデータ定常性検出部３５７２、および実世界推定部３５７３のそれぞれは、図２６６のデータ定常性検出部１０１、および実世界推定部１０２のそれぞれと、基本的に同様の構成と機能を有するものである。
【２１７１】
正規方程式生成部３５７８は、クラスコード決定部３５７６より入力された全てのクラスコードに対して、クラスコード毎に、領域抽出部３５７７より入力される第２の生徒画像（ＳＤ画像）の予測タップ（ＳＤ画素）と、第２の教師画像（ＨＤ画像）のＨＤ画素とから正規方程式を生成し、補正係数決定部３５７９に供給する。補正係数決定部３５７９は、正規方程式生成部３５７８より所定のクラスコードに対応する正規方程式が供給されてきたとき、その正規方程式より補正係数のそれぞれを演算し、補正係数メモリ３５５４にクラスコードと関連付けて記憶させる。
【２１７２】
正規方程式生成部３５７８と、補正係数決定部３５７９についてさらに詳しく説明する。
【２１７３】
上述した式（２２３）において、学習前は補正係数ｇｉのそれぞれが未定係数である。学習は、クラスコード毎に複数の教師画像（ＨＤ画像）のＨＤ画素を入力することによって行う。所定のクラスコードに対応するＨＤ画素がｍ個存在し、ｍ個のＨＤ画素のそれぞれを、ｕｋ（ｋは、１乃至ｍの整数値）と記述する場合、式（２２３）から、次の式（２２５）が設定される。
【２１７４】
【数１７６】
2004246524.tif 000355
2004246524.tif 000356
【２１７５】
即ち、式（２２５）は、右辺の演算をすることで、所定のＨＤ画素を予測推定することができることを表している。なお、式（２２５）において、ｅｋは誤差を表している。即ち、右辺の演算結果である差分予測画像（ＨＤ画像）のＨＤ画素ｕｋ’が、実際の差分画像のＨＤ画素ｕｋと厳密には一致せず、所定の誤差ｅｋを含む。
【２１７６】
そこで、式（２２２５）において、例えば、誤差ｅｋの自乗和を最小にするような補正係数ａｉが、学習により求まればよい。
【２１７７】
例えば、ｍ＞ｎとなるように、差分画像のＨＤ画素ｕｋを学習により集めることができれば、最小自乗法によって補正係数ａｉが一意に決定される。
【２１７８】
即ち、式（２２５）の右辺の補正係数ａｉを最小自乗法で求める場合の正規方程式は、次の式（２２６）で示される通りになる。
【２１７９】
【数１７７】
2004246524.tif 000357
2004246524.tif 000358
【２１８０】
式（２２６）で示される正規方程式の各行列のそれぞれを、次の式（２２７）乃至（２２９）のように定義すると、正規方程式は、次の式（２３０）のように表される。
【２１８１】
【数１７８】
2004246524.tif 000359
2004246524.tif 000360
【２１８２】
【数１７９】
2004246524.tif 000361
2004246524.tif 000362
【２１８３】
【数１８０】
2004246524.tif 000363
2004246524.tif 000364
【２１８４】
【数１８１】
2004246524.tif 000365
2004246524.tif 000366
【２１８５】
式（２２８）で示されるように、行列ＧＭＡＴの各成分は、求めたい補正係数ｇｉである。従って、式（２３０）において、左辺の行列ＡＭＡＴと右辺の行列ＵＭＡＴが決定されれば、行列解法によって行列ＧＭＡＴ（即ち、補正係数ｇｉ）の算出が可能である。
【２１８６】
具体的には、式（２２７）で示されるように、行列ＡＭＡＴの各成分は、予測タップａｉｋが既知であれば演算可能である。予測タップａｉｋは、領域抽出部３５７７により抽出されるので、正規方程式生成部３５７８は、領域抽出部３５７７より供給されてくる予測タップａｉｋのそれぞれを利用して行列ＡＭＡＴの各成分を演算することができる。
【２１８７】
また、式（２２９）で示されるように、行列ＵＭＡＴの各成分は、予測タップａｉｋと差分画像のＨＤ画素ｕｋが既知であれば演算可能である。予測タップａｉｋは、行列ＡＭＡＴの各成分に含まれるものと同一のものであり、また、差分画像のＨＤ画素ｕｋは、加算部３５７１より出力される第２の教師画像のＨＤ画素である。従って、正規方程式生成部３５７８は、領域抽出部３５７７より供給された予測タップａｉｋと、第２の教師画像（第１の教師画像と、学習用予測画像の差分画像）を利用して行列ＵＭＡＴの各成分を演算することができる。
【２１８８】
このようにして、正規方程式生成部３５７８は、クラスコード毎に、行列ＡＭＡＴと行列ＵＭＡＴの各成分を演算し、その演算結果をクラスコードに対応付けて補正係数決定部３５７９に供給する。
【２１８９】
補正係数決定部３５７９は、供給された所定のクラスコードに対応する正規方程式に基づいて、上述した式（２３０）の行列ＧＭＡＴの各成分である補正係数ｇｉを演算する。
【２１９０】
具体的には、上述した式（２３０）の正規方程式は、次の式（２３１）のように変形できる。
【２１９１】
【数１８２】
2004246524.tif 000367
2004246524.tif 000368
【２１９２】
式（２３１）において、左辺の行列ＧＭＡＴの各成分が、求めたい補正係数ｇｉである。また、行列ＡＭＡＴと行列ＵＭＡＴのそれぞれの各成分は、正規方程式生成部３５７８より供給されるものである。従って、補正係数決定部３５７９は、正規方程式生成部３５７８より所定のクラスコードに対応する行列ＡＭＡＴと行列ＵＭＡＴのそれぞれの各成分が供給されてきたとき、式（２３１）の右辺の行列演算を行うことで行列ＧＭＡＴを演算し、その演算結果（補正係数ｇｉ）をクラスコードに対応付けて補正係数メモリ３５５４に記憶させる。
【２１９３】
以上、クラス分類適応処理補正部３５０２と、それに付随する学習部である、クラス分類適応処理補正用学習部３５６１の詳細について説明した。
【２１９４】
ところで、上述した特徴量画像は、クラス分類適応処理補正部３５０２がそれに基づいて補正画像（差分予測画像）を生成することが可能なものであれば、その形態は特に限定されない。換言すると、特徴量画像の各画素の画素値、即ち、特徴量は、上述したように、画素（センサ２（図２６６）の画素）内における実世界１（図２６６）の信号の変化量の度合いを表すことができるものであれば、特に、限定されない。
【２１９５】
例えば、特徴量として、画素内傾斜を適用することが可能である。
【２１９６】
画素内傾斜とは、ここで新しく定義した言葉である。そこで、以下、画素内傾斜について説明する。
【２１９７】
上述したように、図２６６において、画像である、実世界１の信号は、３次元の空間上の位置ｘ，ｙ、およびｚ、並びに時刻ｔを変数とする関数Ｆ（ｘ，ｙ，ｔ）で表される。
【２１９８】
また、例えば、画像である、実世界１の信号が、空間方向の所定の方向に定常性を有する場合、関数Ｆ（ｘ，ｙ，ｔ）を、空間方向であるＸ方向、Ｙ方向、およびＺ方向のうちの所定の１方向（例えば、Ｘ方向）に射影した１次元の波形（ここでも、このような波形のうちのＸ方向に射影した波形を、Ｘ断面波形Ｆ（ｘ）と称することにする）と同一形状の波形が、定常性の方向に連なっていると考えることができる。
【２１９９】
従って、実世界推定部１０２は、例えば、データ定常性検出部１０１より出力される、実世界１の信号が有する定常性に対応するデータ定常性情報（例えば、角度）に基づいて、Ｘ断面波形Ｆ（ｘ）を、ｎ次（ｎは、任意の整数）の多項式である近似関数ｆ（ｘ）で近似することができる。
【２２００】
図２７８は、このような近似関数ｆ（ｘ）の一例として、次の式（２３２）で示されるｆ４（ｘ）（５次の多項式であるｆ４（ｘ））と、次の式（２３３）で示されるｆ５（ｘ）（１次の多項式であるｆ５（ｘ））をプロットしたものを表している。
【２２０１】
【数１８３】
2004246524.tif 000369
2004246524.tif 000370
【２２０２】
【数１８４】
2004246524.tif 000371
2004246524.tif 000372
【２２０３】
なお、式（２３２）のｗ０乃至ｗ５、並びに、式（２３３）のｗ０’およびｗ１’のそれぞれは、実世界推定部１０２が演算した各次の係数を表している。
【２２０４】
また、図２７８において、図中水平方向のｘ軸は、注目画素の左端を原点（ｘ＝０）とした場合における、注目画素からの空間方向Ｘの相対位置を表している。ただし、ｘ軸においては、センサ２の検出素子の幅Ｌｃが１とされている。また、図中垂直方向の軸は、画素値を表している。
【２２０５】
図２７８で示されるように、１次の近似関数ｆ５（ｘ）（式（２３２）で示される近似関数ｆ５（ｘ））は、注目画素におけるＸ断面波形Ｆ（ｘ）を直線近似したものである。この近似直線の傾きを、ここでは、画素内傾斜と称している。即ち、画素内傾斜とは、式（２３３）におけるｘの係数ｗ１’である。
【２２０６】
画素内傾斜が急な場合、それは、注目画素における、Ｘ断面波形Ｆ（ｘ）の変化量が大きいことを表している。これに対して、画素内傾斜が緩やかな場合、それは、注目画素における、Ｘ断面波形Ｆ（ｘ）の変化量が小さいことを表している。
【２２０７】
このように、画素内傾斜は、画素（センサ２の画素）内における実世界１の信号の変化量の度合いを適切に表すことができる。従って、特徴量として、画素内傾斜を適用することができる。
【２２０８】
例えば、図２７９には、画素内傾斜を特徴量として実際に生成された特徴量画像が示されている。
【２２０９】
即ち、図２７９において、図中左側の画像は、上述した図２７０で示されるＳＤ画像３５４２と同一の画像を表している。また、図中右側の画像は、左側のＳＤ画像３５４２を構成する各画素のそれぞれに対して画素内傾斜を求め、画素内傾斜に対応する値を画素値としてプロットした特徴量画像３５９１を表している。ただし、特徴量画像３５９１は、画素内傾斜がない場合（近似直線が、Ｘ方向に平行な場合）、黒となり、これに対して、画素内傾斜が直角の場合（近似直線が、Ｙ方向に平行な場合）、白となるように生成されている。
【２２１０】
ＳＤ画像３５４２の領域３５４２−１は、上述した図２７１の差分画像３５４４の領域３５４４−１（上述した図２７２を参照して、画素内における実世界１の信号の変化量が小さい領域の１例として説明した領域）に対応する領域である。このＳＤ画像３５４２の領域３５４２−１に対応する特徴量画像３５９１の領域が、領域３５９１−１である。
【２２１１】
また、ＳＤ画像３５４２の領域３５４２−２は、上述した図２７３の差分画像３５４４の領域３５４４−２（上述した図２７４を参照して、画素内における実世界１の信号の変化量が大きい領域の１例として説明した領域）に対応する領域である。このＳＤ画像３５４２の領域３５４２−２に対応する特徴量画像３５９１の領域が、領域３５９１−２である。
【２２１２】
ＳＤ画像３５４２の領域３５４２−１と特徴量画像３５９１の領域３５９１−１とを比較するに、実世界１の信号の変化量が小さい領域は、特徴量画像３５９１においては、黒に近い領域（画素内傾斜が緩い領域）となっていることがわかる。
【２２１３】
これに対して、ＳＤ画像３５４２の領域３５４２−２と特徴量画像３５９１の領域３５９１−２とを比較するに、実世界１の信号の変化量が大きい領域は、特徴量画像３５９１においては、白に近い領域（画素内傾斜が急な領域）となっていることがわかる。
【２２１４】
このように、画素内傾斜に対応する値を画素として生成された特徴量画像は、各画素内のそれぞれにおける実世界１の信号の変化量の度合いを適切に表すことができる。
【２２１５】
次に、画素内傾斜の具体的な算出方法について説明する。
【２２１６】
即ち、注目画素における画素内傾斜を、ｇｒａｄと記述すると、画素内傾斜ｇｒａｄは、次の式（２３４）で表される。
【２２１７】
【数１８５】
2004246524.tif 000373
2004246524.tif 000374
【２２１８】
式（２３４）において、Ｐｎは、注目画素の画素値を表している。Ｐｃは、中心画素の画素値を表している。
【２２１９】
具体的には、例えば、図２８０で示されるように、センサ２からの入力画像のうちの、５×５の画素（図中５×５＝２５個の正方形）からなる領域であって、所定のデータの定常性を有する領域３６０１（以下、定常領域３６０１と称する）が存在した場合、この定常領域３６０１の中心の画素３６０２が中心画素とされる。従って、Ｐｃは、中心画素３６０２の画素値となる。そして、例えば、画素３６０３が注目画素とされた場合、Ｐｎは、注目画素３６０３の画素値となる。
【２２２０】
また、式（２３４）において、ｘｎ’は、注目画素の中心点における断面方向距離を表している。なお、ここでは、中心画素（図２８０の例では、画素３６０２）の中心を空間方向の原点（０，０）とし、その原点を通るデータの定常性の方向と平行な直線（図２８０の例では、直線３６０４）を引いたとすると、その直線に対するＸ方向の相対的な距離を、断面方向距離と称している。
【２２２１】
図２８１は、図２８０の定常領域３６０１内の各画素の断面方向距離を表した図である。即ち、図２８１において、定常領域３６０１の各画素（図中５×５＝２５個の正方形）内のそれぞれに記載されている値が、対応する画素の断面方向距離である。例えば、注目画素３６０３の断面距離ｘｎ’は、−２βである。
【２２２２】
ただし、各画素幅は、Ｘ方向もＹ方向も１とされている。Ｘ方向の正方向は、図中右方向とされている。また、βは、中心画素３６０２のＹ方向に対して１つ隣（図中１つ下）の画素３６０５の断面方向距離を表している。このβは、図２８１で示されるような角度θ（直線３６０４の方向と、Ｘ方向のなす角度θ）が、データ定常性検出部１０１よりデータ定常性情報として出力されている場合、次の式（２３５）を利用して簡単に演算することが可能である。
【２２２３】
【数１８６】
2004246524.tif 000375
2004246524.tif 000376
【２２２４】
このように、画素内傾斜は、中心画素（図２８１の例では画素３６０２）と注目画素（図２８１の例では画素３６０３）の２つの入力画素値と、角度θを利用する簡単な演算で算出可能である。従って、実世界推定部１０２は、画素内傾斜に対応する値を画素値とする画像を、特徴量画像として生成すれば、その処理量を大幅に低減することが可能になる。
【２２２５】
なお、さらに精度のよい画素内傾斜を求めたい場合、実世界推定部１０２は、注目画素の周辺画素を用いて最小自乗法により演算すればよい。具体的には、実世界推定部１０２は、注目画素を含むｍ個（ｍは２以上の整数）の画素に対して番号ｉ（ｉは、１乃至ｍ）を付与し、番号ｉの画素のそれぞれの入力画素値Ｐｉと断面方向距離ｘｉ’を、次の式（２３６）の右辺に代入して注目画素における画素内傾斜ｇｒａｄを演算すればよい。即ち、式（２３６）は、上述した１変数を最小自乗法で求める式と同様の式である。
【２２２６】
【数１８７】
2004246524.tif 000377
2004246524.tif 000378
【２２２７】
次に、図２８２を参照して、クラス分類適応処理補正手法を利用する画像生成部１０３（図２６６）の画像の生成の処理（図４０のステップＳ１０３の処理）について説明する。
【２２２８】
図２６６において、画像である、実世界１の信号がセンサ２に入射されると、センサ２からは入力画像が出力される。この入力画像は、データ定常性検出部１０１に入力されるとともに、画像生成部１０３のクラス分類適応処理部３５０１に入力される。
【２２２９】
そこで、図２８２のステップＳ３５０１において、クラス分類適応処理部３５０１は、入力された入力画像（ＳＤ画像）に対してクラス分類適応処理を施して、予測画像（ＨＤ画像）を生成し、加算部３５０３に出力する。
【２２３０】
なお、以下、このようなクラス分類適応処理部３５０１が実行するステップＳ３５０１の処理を、「入力画像クラス分類適応処理」と称する。この例の「入力画像クラス分類適応処理」の詳細については、図２８３のフローチャートを参照して後述する。
【２２３１】
ステップＳ３５０１の処理とほぼ同時に、データ定常性検出部１０１は、入力画像に含まれるデータの定常性を検出し、その検出結果（いまの場合、角度）をデータ定常性情報として実世界推定部１０２に出力する（図４０のステップＳ１０１の処理）。
【２２３２】
実世界推定部１０２は、入力した角度（データ定常性情報）に基づいて、実世界推定情報（いまの場合、ＳＤ画像である特徴量画像）を生成し、画像生成部１０３のクラス分類適応処理補正部３５０２に供給する（図４０のステップＳ１０２の処理）。
【２２３３】
そこで、ステップＳ３５０２において、クラス分類適応処理補正部３５０２は、供給された特徴量画像（ＳＤ画像）に対してクラス分類適応処理を施して、差分予測画像（ＨＤ画像）を生成し（実際の画像（実世界１の信号）と、クラス分類適応処理部３５０１から出力された予測画像との差分画像（ただし、ＨＤ画像）を予測演算し）、それを補正画像として加算部３５０３に出力する。
【２２３４】
なお、以下、このようなクラス分類適応処理補正部３５０２が実行するステップＳ３５０２の処理を、「クラス分類適応処理の補正処理」と称する。この例の「クラス分類適応処理の補正処理」の詳細については、図２８４のフローチャートを参照して後述する。
【２２３５】
そして、ステップＳ３５０３において、加算部３５０３が、ステップＳ３５０１の処理でクラス分類適応処理部３５０１により生成された予測画像（ＨＤ画像）の注目画素（ＨＤ画素）と、その注目画素に対応する、ステップＳ３５０２の処理でクラス分類適応処理補正部３５０２により生成された補正画像（ＨＤ画像）の画素（ＨＤ画素）を加算し、出力画像（ＨＤ画像）の画素（ＨＤ画素）を生成する。
【２２３６】
ステップＳ３５０４において、加算部３５０３は、全画素の処理を終了したか否かを判定する。
【２２３７】
ステップＳ３５０４において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ３５０１に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ３５０１乃至Ｓ３５０３の処理が繰り返される。
【２２３８】
そして、全画素の処理が終了すると（ステップＳ３５０４において、全画素の処理が終了されたと判定すると）、加算部３５０４は、ステップＳ３５０５において、出力画像（ＨＤ画像）を外部に出力する。その後、画像の生成の処理は終了となる。
【２２３９】
次に、図面を参照して、この例における「入力画像クラス分類適応処理（ステップＳ３５０１の処理）」、および、「クラス分類適応処理の補正処理（ステップＳ３５０２の処理）」のそれぞれの詳細について、その順番で個別に説明する。
【２２４０】
はじめに、図２８３のフローチャートを参照して、クラス分類適応処理部３５０１（図２６７）が実行する「入力画像クラス分類適応処理」の詳細について説明する。
【２２４１】
入力画像（ＳＤ画像）がクラス分類適応処理部３５０１に入力されると、ステップＳ３５２１において、領域抽出部３５１１と領域抽出部３５１５のそれぞれは、入力画像を入力する。
【２２４２】
ステップＳ３５２２において、領域抽出部３５１１は、入力画像の中から、注目画素（ＳＤ画素）、および、予め設定された注目画素からの相対位置（１以上の位置）のそれぞれに位置する画素（ＳＤ画素）を、クラスタップとして抽出し、パターン検出部３５１２に供給する。
【２２４３】
ステップＳ３５２３において、パターン検出部３５１２は、供給されたクラスタップのパターンを検出し、クラスコード決定部３５１３に供給する。
【２２４４】
ステップＳ３５２４において、クラスコード決定部３５１３は、予め設定されている複数のクラスコードの中から、供給されたクラスタップのパターンに適合するクラスコードを決定し、係数メモリ３５１４と領域抽出部３５１５のそれぞれに供給する。
【２２４５】
ステップＳ３５２５において、係数メモリ３５１４は、予め学習処理により決定された複数の予測係数（群）の中から、供給されたクラスコードに基づいてこれから使用する予測係数（群）を読み出し、予測演算部３５１６に供給する。
【２２４６】
なお、学習処理については、図２８８のフローチャートを参照して後述する。
【２２４７】
ステップＳ３５２６において、領域抽出部３５１５は、供給されたクラスコードに対応して、入力画像の中から、注目画素（ＳＤ画素）、および、予め設定された注目画素からの相対位置（１以上の位置であって、クラスタップの位置とは独立して設定された位置。ただし、クラスタップの位置と同一の位置でもよい）のそれぞれに位置する画素（ＳＤ画素）を、予測タップとして抽出し、予測演算部３５１６に供給する。
【２２４８】
ステップＳ３５２７において、予測演算部３５１６は、領域抽出部３５１５より供給された予測タップを、係数メモリ３５１４より供給された予測係数を用いて演算し、予測画像（ＨＤ画像）を生成して加算部３５０３に出力する。
【２２４９】
具体的には、予測演算部３５１６は、領域抽出部３５１５より供給された予測タップのそれぞれをｃｉ（ｉは、１乃至ｎのうちのいずれかの整数）とし、かつ、係数メモリ３５１４より供給された予測係数のそれぞれをｄｉとして、上述した式（２１５）の右辺を演算することにより、注目画素（ＳＤ画素）におけるＨＤ画素ｑ’を算出し、それを予測画像（ＨＤ画像）を構成する１つの画素として加算部３５０３に出力する。これにより、入力画像クラス分類適応処理が終了となる。
【２２５０】
次に、図２８４のフローチャートを参照して、クラス分類適応処理補正部３５０２（図２７６）が実行する「クラス分類適応処理の補正処理」の詳細について説明する。
【２２５１】
実世界推定部１０２より実世界推定情報として特徴量画像（ＳＤ画像）がクラス分類適応処理補正部３５０２に入力されると、ステップＳ３５４１において、領域抽出部３５５１と領域抽出部３５５５のそれぞれは、特徴量画像を入力する。
【２２５２】
ステップＳ３５４２において、領域抽出部３５５１は、特徴量画像の中から、注目画素（ＳＤ画素）、および、予め設定された注目画素からの相対位置（１以上の位置）のそれぞれに位置する画素（ＳＤ画素）を、クラスタップとして抽出し、パターン検出部３５５２に供給する。
【２２５３】
具体的には、この例においては、例えば、図２８５で示されるようなクラスタップ（群）３６２１が抽出されるとする。即ち、図２８５は、クラスタップ配置の１例を表している。
【２２５４】
図２８５において、図中水平方向は、空間方向の１方向であるＸ方向とされており、図中垂直方向は、空間方向の他方向であるＹ方向とされている。また、注目画素は、画素３６２１−２とされている。
【２２５５】
この場合、図２８５の例では、注目画素３６２１−２、Ｙ方向に対して注目画素３６２１−２の隣の画素３６２１−０および画素３６２１−４、並びに、Ｘ方向に対して注目画素３６２１−２の隣の画素３６２１−１および画素３６２１−３の総計５個の画素からなる画素群３６２１が、クラスタップとして抽出されることになる。
【２２５６】
勿論、クラスタップ配置は、注目画素３６２１−２を含む配置であれば、図２８５の例に限定されず、様々な配置が可能である。
【２２５７】
図２８４に戻り、ステップＳ３５４３において、パターン検出部３５５２は、供給されたクラスタップのパターンを検出し、クラスコード決定部３５５３に供給する。
【２２５８】
具体的には、この例においては、例えば、パターン検出部３５５２は、図２８５で示される５個のクラスタップ３６２１−０乃至３６２１−４のそれぞれの画素値、即ち、特徴量の値（例えば、画素内傾斜）のそれぞれが、予め設定された複数のクラスのうちのいずれのクラスに属するのかを検出し、それらの検出結果を１つにまとめたものをパターンとして出力する。
【２２５９】
例えば、いま、図２８６で示されるようなパターンが検出されたとする。即ち、図２８６は、クラスタップのパターンの１例を表している。
【２２６０】
図２８６において、図中水平方向の軸は、クラスタップを表しており、図中垂直方向の軸は、画素内傾斜を表している。また、画素内傾斜により、クラス３６３１、クラス３６３２、およびクラス３６３３の３つのクラスが予め設定されているとする。
【２２６１】
この場合、図２８６で示されるパターンは、クラスタップ３６２１−０はクラス３６３１に、クラスタップ３６２１−１はクラス３６３１に、クラスタップ３６２１−２はクラス３６３３に、クラスタップ３６２１−３はクラス３６３１に、クラスタップ３６２１−４はクラス３６３２に、それぞれ属するパターンを表している。
【２２６２】
このように、５個のクラスタップ３６２１−０乃至３６２１−４のそれぞれは、３つのクラス３６３１乃至３６３３のうちのいずれかに属することになる。従って、この例においては、図２８６で示されるパターンを含めて総計２７３（＝３＾５）個のパターンが存在することになる。
【２２６３】
図２８４に戻り、ステップＳ３５４４において、クラスコード決定部３５５３は、予め設定されている複数のクラスコードの中から、供給されたクラスタップのパターンに適合するクラスコードを決定し、補正係数メモリ３５５４と領域抽出部３５５５のそれぞれに供給する。いまの場合、２７３個のパターンが存在するので、予め設定されているクラスコードの数も２７３個（または、それ以上）となる。
【２２６４】
ステップＳ３５４５において、補正係数メモリ３５５４は、予め学習処理により決定された複数の補正係数（群）の中から、供給されたクラスコードに基づいてこれから使用する補正係数（群）を読み出し、補正演算部３５５６に供給する。補正係数メモリ３５５４に記憶されている補正係数（群）のそれぞれは、予め設定されたクラスコードのうちのいずれかに対応付けられているので、いまの場合、補正係数（群）の数は、予め設定されているクラスコードの数と同数（２７３個以上）となる。
【２２６５】
なお、学習処理については、図２８８のフローチャートを参照して後述する。
【２２６６】
ステップＳ３５４６において、領域抽出部３５５５は、供給されたクラスコードに対応して、入力画像の中から、注目画素（ＳＤ画素）、および、予め設定された注目画素からの相対位置（１以上の位置であって、クラスタップの位置とは独立して設定された位置。ただし、クラスタップの位置と同一の位置でもよい）のそれぞれに位置する画素（ＳＤ画素）を、予測タップとして抽出し、補正演算部３５５６に供給する。
【２２６７】
具体的には、この例においては、例えば、図２８７で示されるような予測タップ（群）３６４１が抽出されるとする。即ち、図２８７は、予測タップ配置の１例を表している。
【２２６８】
図２８７において、図中水平方向は、空間方向の１方向であるＸ方向とされており、図中垂直方向は、空間方向の他方向であるＹ方向とされている。また、注目画素は、画素３６４１−１とされている。即ち、画素３６４１−１は、クラスタップ３６２１−２（図２８５）に対応する画素である。
【２２６９】
この場合、図２８７の例では、注目画素３６４１−１を中心とする５×５の画素群（総計２５個の画素からなる画素群）３６４１が、予測タップ（群）として抽出されることになる。
【２２７０】
勿論、予測タップ配置は、注目画素３６４１−１を含む配置であれば、図２８７の例に限定されず、様々な配置が可能である。
【２２７１】
図２８４に戻り、ステップＳ３５４７において、補正演算部３５５６は、領域抽出部３５５５より供給された予測タップを、補正係数メモリ３５５４より供給された補正係数を用いて演算し、差分予測画像（ＨＤ画像）を生成し、補正画像として加算部３５０３に出力する。
【２２７２】
より詳細には、補正演算部３５５６は、領域抽出部３５５５より供給された予測タップのそれぞれをａｉ（ｉは、１乃至ｎのうちのいずれかの整数）とし、かつ、補正係数メモリ３５５４より供給された補正係数のそれぞれをｇｉとして、上述した式（２２３）の右辺を演算することにより、注目画素（ＳＤ画素）におけるＨＤ画素ｕ’を算出し、それを補正画像（ＨＤ画像）を構成する１つの画素として加算部３５０３に出力する。これにより、クラス分類適応処理の補正処理は終了となる。
【２２７３】
次に、図２８８のフローチャートを参照して、学習装置（図２６８）の学習処理、即ち、クラス分類適応処理部３５０１（図２６７）が使用する予測係数と、クラス分類適応処理補正部３５０２（図２７６）が使用する補正係数のそれぞれを学習により生成する学習処理について説明する。
【２２７４】
ステップＳ３５６１において、クラス分類適応処理用学習部３５２１は、クラス分類適応処理部３５０１が使用する予測係数を生成する。
【２２７５】
即ち、クラス分類適応処理用学習部３５２１は、所定の画像を第１の教師画像（ＨＤ画像）として入力し、その第１の教師画像の解像度を下げて第１の生徒画像（ＳＤ画像）を生成する。
【２２７６】
そして、クラス分類適応処理用学習部３５２１は、クラス分類適応処理により第１の生徒画像（ＳＤ画像）から第１の教師画像（ＨＤ画像）を適切に予測することが可能な予測係数を生成し、クラス分類適応処理部３５０１の係数メモリ３５１４（図２６７）に記憶させる。
【２２７７】
なお、以下、このようなクラス分類適応処理用学習部３５２１が実行するステップＳ３５６１の処理を、「クラス分類適応処理用学習処理」と称する。この例の「クラス分類適応処理用学習処理」の詳細については、図２８９のフローチャートを参照して後述する。
【２２７８】
クラス分類適応処理部３５０１が使用する予測係数が生成されると、ステップＳ３５６２において、クラス分類適応処理補正用学習部３５６１は、クラス分類適応処理補正部３５０２が使用する補正係数を生成する。
【２２７９】
即ち、クラス分類適応処理補正用学習部３５６１は、クラス分類適応処理用学習部３５２１より、第１の教師画像、第１の生徒画像、および学習用予測画像（クラス分類適応処理用学習部３５２１により生成された予測係数を用いて、第１の教師画像を予測した画像）のそれぞれを入力する。
【２２８０】
次に、クラス分類適応処理補正用学習部３５６１は、第２の教師画像として、第１の教師画像と学習用予測画像の差分画像を生成するとともに、第２の生徒画像として、第１の生徒画像から特徴量画像を生成する。
【２２８１】
そして、クラス分類適応処理補正用学習部３５６１は、クラス分類適応処理により第２の生徒画像（ＳＤ画像）から第２の教師画像（ＨＤ画像）を適切に予測することが可能な予測係数を生成し、それを補正係数としてクラス分類適応処理補正部３５０２の補正係数メモリ３５５４に記憶させる。これにより、学習処理は終了となる。
【２２８２】
なお、以下、このようなクラス分類適応処理補正用学習部３５６１が実行するステップＳ３５６２の処理を、「クラス分類適応処理補正用学習処理」と称する。この例の「クラス分類適応処理補正用学習処理」の詳細については、図２９０のフローチャートを参照して後述する。
【２２８３】
次に、図面を参照して、この例における「クラス分類適応処理用学習処理（ステップＳ３５６１の処理）」、および、「クラス分類適応処理補正用学習処理（ステップＳ３５６２の処理）」のそれぞれの詳細について、その順番で個別に説明する。
【２２８４】
はじめに、図２８９のフローチャートを参照して、クラス分類適応処理用学習部３５２１（図２６９）が実行する「クラス分類適応処理用学習処理」の詳細について説明する。
【２２８５】
ステップＳ３５８１において、ダウンコンバート部３５３１と正規方程式生成部３５３６のそれぞれは、供給された所定の画像を、第１の教師画像（ＨＤ画像）として入力する。なお、第１の教師画像は、上述したように、クラス分類適応処理補正用学習部３５６１にも入力される。
【２２８６】
ステップＳ３５８２において、ダウンコンバート部３５３１は、入力された第１の教師画像をダウンコンバートして（解像度を落として）第１の生徒画像（ＳＤ画像）を生成し、領域抽出部３５３２と領域抽出部３５３５のそれぞれに供給するとともに、クラス分類適応処理補正用学習部３５６１にも出力する。
【２２８７】
ステップＳ３５８３において、領域抽出部３５３２は、供給された第１の生徒画像からクラスタップを抽出してパターン検出部３５３３に出力する。なお、ステップＳ３５８３の処理は、ブロックに入力される情報と、ブロックから出力される情報は厳密には違う情報であるが（以下、このような違いを、単に、入出力の違いと称する）、上述したステップＳ３５２２（図２８３）の処理と基本的に同様の処理である。
【２２８８】
ステップＳ３５８４において、パターン検出部３５３３は、供給されたクラスタップよりクラスコードを決定するためのパターンを検出し、クラスコード決定部３５３４に供給する。なお、ステップＳ３５８４の処理は、入出力の違いはあるが、上述したステップＳ３５２３（図２８３）の処理と基本的に同様の処理である。
【２２８９】
ステップＳ３５８５において、クラスコード決定部３５３４は、供給されたクラスタップのパターンに基づいてクラスコードを決定し、領域抽出部３５３５と正規方程式生成部３５３６のそれぞれに供給する。なお、ステップＳ３５８５の処理は、入出力の違いはあるが、上述したステップＳ３５２４（図２８３）の処理と基本的に同様の処理である。
【２２９０】
ステップＳ３５８６において、領域抽出部３５３５は、供給されたクラスコードに対応して、第１の生徒画像の中から予測タップを抽出し、正規方程式生成部３５３６と予測演算部３５３８のそれぞれに供給する。なお、ステップＳ３５８６の処理は、入出力の違いはあるが、上述したステップＳ３５２６（図２８３）の処理と基本的に同様の処理である。
【２２９１】
ステップＳ３５８７において、正規方程式生成部３５３６は、領域抽出部３５３５より供給された予測タップ（ＳＤ画素）、および、第１の教師画像（ＨＤ画像）を構成するＨＤ画素のうちの所定のＨＤ画素から、上述した式（２１７）（即ち、式（２２１））で示される正規方程式を生成し、クラスコード決定部３５３４より供給されたクラスコードとともに係数決定部３５３７に供給する。
【２２９２】
ステップＳ３５８８において、係数決定部３５３７は、供給された正規方程式を解いて予測係数を決定し、即ち、上述した式（２２２）の右辺を演算することで予測係数を算出し、供給されたクラスコードに対応付けて係数メモリ３５１４に記憶させるとともに、予測演算部３５３８に供給する。
【２２９３】
ステップＳ３５８９において、予測演算部３５３８は、領域抽出部３５３５より供給された予測タップを、係数決定部３５３７より供給された予測係数を用いて演算し、学習用予測画像（ＨＤ画素）を生成する。
【２２９４】
具体的には、予測演算部３５３８は、領域抽出部３５３５より供給された予測タップのそれぞれをｃｉ（ｉは、１乃至ｎのうちのいずれかの整数）とし、かつ、係数決定部３５３７より供給された予測係数のそれぞれをｄｉとして、上述した式（２１５）の右辺を演算することにより、第１の教師画像の所定のＨＤ画素ｑを予測したＨＤ画素ｑ’を算出し、たＨＤ画素ｑ’を学習用予測画像の１つの画素とする。
【２２９５】
ステップＳ３５９０において、全ての画素について処理が施されたか否かが判定され、全ての画素について処理が施されていないと判定された場合、その処理は、ステップＳ３５８３に戻る。即ち、全ての画素の処理が終了されるまで、ステップＳ３５８３乃至Ｓ３５９０の処理が繰り返される。
【２２９６】
そして、ステップＳ３５９０において、全ての画素について処理が施されたと判定された場合、ステップＳ３５９１において、予測演算部３５３８は、学習予測画像（ステップＳ３５８９の処理毎に生成された各ＨＤ画素ｑ’から構成されるＨＤ画像）を、クラス分類適応処理補正用学習部３５６１に出力する。これにより、クラス分類適応処理用学習処理は終了となる。
【２２９７】
このように、この例においては、全ての画素の処理が終了された後、第１の教師画像を予測したＨＤ画像である学習用予測画像がクラス分類適応処理補正用学習部３５６１に出力される。即ち、全てのＨＤ画素（予測画素）が一括して出力される。
【２２９８】
しかしながら、全ての画素が一括して出力されることは必須ではなく、ステップＳ３５８９の処理でＨＤ画素（予測画素）が生成される毎に、クラス分類適応処理補正用学習部３５６１に出力されてもよい。この場合、ステップＳ３５９１の処理は省略される。
【２２９９】
次に、図２９０のフローチャートを参照して、クラス分類適応処理補正用学習部３５６１（図２７７）が実行する「クラス分類適応処理補正用学習処理」の詳細について説明する。
【２３００】
クラス分類適応処理用学習部３５２１より第１の教師画像（ＨＤ画像）と学習用予測画像（ＨＤ画像）が入力されると、ステップＳ３６０１において、加算部３５７１は、第１の教師画像から学習用予測画像を減算し、差分画像（ＨＤ画像）を生成し、それを第２の教師画像として正規方程式生成部３５７８に供給する。
【２３０１】
また、クラス分類適応処理用学習部３５２１より第１の生徒画像（ＳＤ画像）が入力されると、ステップＳ３６０２において、データ定常性検出部３５７２と実世界推定部３５７３は、入力された第１の生徒画像（ＳＤ画像）から特徴量画像を生成し、それを第２の生徒画像として領域抽出部３５７４と領域抽出部３５７７のそれぞれに供給する。
【２３０２】
即ち、データ定常性検出部３５７２は、第１の生徒画像に含まれるデータの定常性を検出し、その検出結果（いまの場合、角度）をデータ定常性情報として実世界推定部３５７３に出力する。なお、ステップＳ３６０２のデータ定常性検出部３５７２の処理は、入出力の違いはあるが、上述した図４０のステップＳ１０１の処理と基本的に同様の処理である。
【２３０３】
実世界推定部３５７３は、入力した角度（データ定常性情報）に基づいて、実世界推定情報（いまの場合、ＳＤ画像である特徴量画像）を生成し、それを第２の生徒画像として領域抽出部３５７４と領域抽出部３５７７のそれぞれに供給する。なお、ステップＳ３６０２の実世界推定部３５７３の処理は、入出力の違いはあるが、上述した図４０のステップＳ１０２の処理と基本的に同様の処理である。
【２３０４】
また、ステップＳ３６０１とＳ３６０２の処理の順番は、図２９０の例に限定されない。即ち、ステップＳ３６０２の処理が先に実行されてもよいし、ステップＳ３６０１とＳ３６０２の処理が同時に実行されてもよい。
【２３０５】
ステップＳ３６０３において、領域抽出部３５７４は、供給された第２の生徒画像（特徴量画像）からクラスタップを抽出してパターン検出部３５７５に出力する。なお、ステップＳ３６０３の処理は、入出力の違いはあるが、上述したステップＳ３５４２（図２８４）の処理と基本的に同様の処理である。即ち、いまの場合、図２８５で示される配置の画素群３６２１がクラスタップとして抽出される。
【２３０６】
ステップＳ３６０４において、パターン検出部３５７５は、供給されたクラスタップよりクラスコードを決定するためのパターンを検出し、クラスコード決定部３５７６に供給する。なお、ステップＳ３６０４の処理は、入出力の違いはあるが、上述したステップＳ３５４３（図２８４）の処理と基本的に同様の処理である。即ち、いまの場合、学習処理が終了されるときには、少なくとも２７３個のパターンが検出されることになる。
【２３０７】
ステップＳ３６０５において、クラスコード決定部３５７６は、供給されたクラスタップのパターンに基づいてクラスコードを決定し、領域抽出部３５７７と正規方程式生成部３５７８のそれぞれに供給する。なお、ステップＳ３６０５の処理は、入出力の違いはあるが、上述したステップＳ３５４４（図２８４）の処理と基本的に同様の処理である。即ち、いまの場合、学習処理が終了されるときには、少なくとも２７３個のクラスコードが決定されることになる。
【２３０８】
ステップＳ３６０６において、領域抽出部３５７７は、供給されたクラスコードに対応して、第２の生徒画像（特徴量画像）の中から予測タップを抽出し、正規方程式生成部３５７８に供給する。なお、ステップＳ３６０６の処理は、入出力の違いはあるが、上述したステップＳ３５４６（図２８４）の処理と基本的に同様の処理である。即ち、いまの場合、図２８７で示される配置の画素群３６４１が予測タップとして抽出される。
【２３０９】
ステップＳ３６０７において、正規方程式生成部３５７８は、領域抽出部３５７７より供給された予測タップ（ＳＤ画素）、および、第２の教師画像（ＨＤ画像である、第１の教師画像と学習用予測画像の差分画像）を構成するＨＤ画素のうちの所定のＨＤ画素から、上述した式（２２６）（即ち、式（２３０））で示される正規方程式を生成し、クラスコード決定部３５７６より供給されたクラスコードとともに補正係数決定部３５７９に供給する。
【２３１０】
ステップＳ３６０８において、補正係数決定部３５７９は、供給された正規方程式を解いて補正係数を決定し、即ち、上述した式（２３１）の右辺を演算することで補正係数を算出し、供給されたクラスコードに対応付けて補正係数メモリ３５５４に記憶させる。
【２３１１】
ステップＳ３６０９において、全ての画素について処理が施されたか否かが判定され、全ての画素について処理が施されていないと判定された場合、その処理は、ステップＳ３６０３に戻る。即ち、全ての画素の処理が終了されるまで、ステップＳ３６０３乃至Ｓ３６０９の処理が繰り返される。
【２３１２】
そして、ステップＳ３６０９において、全ての画素について処理が施されたと判定された場合、クラス分類適応処理補正用学習処理は終了となる。
【２３１３】
以上、説明したように、クラス分類適応補正処理手法においては、クラス分類適応処理部３５０１より出力された予測画像に対して、クラス分類適応処理補正部３５０２より出力された補正画像（差分予測画像）が加算されて出力される。
【２３１４】
例えば、上述した図２７０で示されるＨＤ画像３５４１の解像度を落とした画像であるＳＤ画像３５４２が入力画像とされた場合、クラス分類適応処理部３５０１からは、図２９１で示される予測画像３５４３が出力される。そして、この予測画像３５４３に、クラス分類適応処理補正部３５０２より出力された補正画像（図示せず）が加算されると（補正画像により補正されると）、図２７１で示される出力画像３６５１となる。
【２３１５】
出力画像３６５１、予測画像３５４３、および、元の画像であるＨＤ画像３５４１（図２７０）のそれぞれを比較するに、出力画像３６５１は、予測画像３５４３よりもＨＤ画像３５４１により近い画像になっていることがわかる。
【２３１６】
このように、クラス分類適応処理補正手法においては、クラス分類適応処理を含む従来の他の手法に比較して、元の画像（センサ２に入射される前の実世界１の信号）により近い画像の出力が可能になる。
【２３１７】
換言すると、クラス分類適応処理補正手法においては、例えば、図２６６のデータ定常性検出部１０１が、それぞれ時空間積分効果を有する、センサ（例えば、図２６６のセンサ２）の複数の検出素子により図２６６の実世界１の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、検出素子により射影された画素値を有する複数の画素からなる入力画像（図２６６）におけるデータの定常性を検出する。
【２３１８】
例えば、図２６６の実世界推定部１０２は、検出されたデータの定常性に対応して、実世界１の光信号を表す光信号関数Ｆ（ｘ）（図２７５）が有する実世界特徴（例えば、図２６６の特徴量画像を構成する画素に対応する特徴量）を検出することで、実世界１の光信号を推定する。
【２３１９】
詳細には、例えば、実世界推定部１０２は、出されたデータの定常性に対応する線（例えば、図２８０の線３６０４）からの少なくとも１次元方向に沿った距離（例えば、図２８０の断面方向距離Ｘｎ’）に対応する画素の画素値が、少なくとも１次元方向の積分効果により取得された画素値であるとして、光信号関数Ｆ（ｘ）を、例えば、図２７８の近似関数ｆ５（ｘ）で近似し、所定画素（例えば、図２８０の画素３６０３）内における近似関数ｆ５（ｘ）の傾斜である画素内傾斜（例えば、上述した式（２３４）のｇｒａｄであり、式（２３３）のｘの係数ｗ１‘）を、実世界特徴として検出することで、実世界１の光信号を推定する。
【２３２０】
そして、例えば、図２６６の画像生成部１０３が、実世界推定手段により検出された実世界特徴に基いて、入力画像よりも高質な出力画像（図２６６）を予測し生成する。
【２３２１】
詳細には、例えば、画像生成部１０３において、例えば、図２６６のクラス分類適応処理部３５０１が、出力画像における注目画素の周辺に位置する、実世界１の光信号の定常性が欠落した入力画像内の複数の画素の画素値から注目画素の画素値（例えば、図２６６の予測画像の画素であり、上述した式（２２４）のｑ’）を予測する。
【２３２２】
一方、例えば、図２６６のクラス分類適応処理補正部３５０２は、例えば、図２６６の実世界推定部１０２より供給された特徴量画像（実世界推定情報）から、クラス分類適応処理部３５０１により予測された予測画像の注目画素の画素値を補正する補正項（例えば、図２６６の補正画像（差分予測画像）の画素であり、式（２２４）のｕ‘）を予測する。
【２３２３】
そして、例えば、図２６６の加算部３５０３は、クラス分類適応処理部３５０１により予測された予測画像の注目画素の画素値を、クラス分類適応処理部３５０１により予測された補正項で補正する（例えば、式（２２４）のように演算する）。
【２３２４】
また、クラス分類適応処理補正手法においては、例えば、図２６７の係数メモリ３５１４に記憶される予測係数を学習により決定する図２６８のクラス分類適応処理学習部３５２１と、例えば、図２７６の補正係数メモリ３５５４に記憶される補正係数を学習により決定する図２６８のクラス分類適応処理補正用学習部３５６１を有する図２６８の学習装置３５０４が設けられている。
【２３２５】
詳細には、例えば、図２６９のクラス分類適応処理学習部３５２１には、学習用画像データをダウンコンバートするダウンコンバート部３５３１、並びに、学習用画像データを第１の教師画像とし、ダウンコンバート部３５３１によりダウンコンバートされた学習用画像データを第１の生徒画像とし、第１の教師画像と第１の生徒画像の関係を学習することにより、予測係数を生成する係数決定部３５３７、および、領域抽出部３５３２乃至正規方程式生成部３５３６が設けられている。
【２３２６】
クラス分類適応処理学習部３５２１にはさらに、例えば、係数決定部３５３７により生成（決定）された予測係数を使用して、第１の生徒画像から第１の教師画像を予測する画像データとして、学習用予測画像を生成する予測演算部３５３８が設けられている。
【２３２７】
また、例えば、図２７７のクラス分類適応処理補正用学習部３５６１には、第１の生徒画像におけるデータの定常性を検出し、検出したデータの定常性に基づいて、第１の生徒画像を構成する各画素のそれぞれに対応する実世界特徴を検出し、検出した実世界特徴に対応する値を画素値とする特徴量画像（具体的には、例えば、図２７９の特徴量画像３５９１）を、第２の生徒画像（例えば、図２７７の第２の生徒画像）として生成するデータ定常性検出部３５７２および実世界推定部３５７３、第１の教師画像と、学習用予測画像の差分からなる画像データ（差分画像）を、第２教師画像として生成する加算部３５７１、並びに、第２の教師画像と、第２の生徒画像の関係を学習することにより、補正係数を生成する補正係数決定部３５７９、および領域抽出部３５７４乃至正規方程式生成部３５７８が設けられている。
【２３２８】
従って、クラス分類適応処理補正手法においては、クラス分類適応処理を含む従来の他の手法に比較して、元の画像（センサ２に入射される前の実世界１の信号）により近い画像の出力が可能になる。
【２３２９】
なお、クラス分類適応処理は、上述したように、ＳＤ画像には含まれていないが、ＨＤ画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、上述した式（２１５）や式（２２３）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見えるが、クラス分類適応処理では、その補間フィルタの係数に相当する予測係数ｄｉまたは補足係数ｇｉが、教師データと生徒データ（第１の教師画像と第１の生徒画像、または、第２の教師画像と第２の生徒画像）を用いての学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、上述したようなクラス分類適応処理は、いわば画像の創造（解像度創造）作用がある処理と称することができる。
【２３３０】
さらに、上述した例では、空間解像度を向上させる場合を例にして説明したが、クラス分類適応処理によれば、教師データおよび生徒データを変えて学習を行うことにより得られる種々の係数を用いることで、例えば、Ｓ／Ｎ（Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）  の向上や、ぼけの改善、その他の各種の処理を行うことが可能である。
【２３３１】
即ち、例えば、Ｓ／Ｎの向上やぼけの改善を、クラス分類適応処理によって行うには、Ｓ／Ｎの高い画像データを教師データとするとともに、その教師データのＳ／Ｎを低下させた画像（あるいは、ぼかした画像）を生徒データとして、係数を求めればよい。
【２３３２】
以上、本発明の実施の形態として、図３の構成の信号処理装置について説明したが、本発明の実施の形態は、図３の例に限定されず、様々な形態を取ることが可能である。即ち、図１の信号処理装置４の実施の形態は、図３の例に限定されず、様々な形態を取ることが可能である。
【２３３３】
例えば、図３の構成の信号処理装置は、画像である、実世界１の信号が有する定常性に基づいて信号処理を行う。このため、図３の構成の信号処理装置は、実世界１の信号のうちの定常性が存在する部分に対しては、他の信号処理装置の信号処理に比べて、精度のよい信号処理を実行することができ、その結果、より実世界１の信号に近い画像データを出力することが可能になる。
【２３３４】
しかしながら、図３の構成の信号処理装置は、定常性に基づいて信号処理を実行する以上、実世界１の信号のうちの明確な定常性が存在しない部分に対しては、定常性が存在する部分に対する処理と同等の精度で、信号処理を実行することができず、その結果、実世界１の信号に対して誤差を含む画像データを出力することになる。
【２３３５】
そこで、図３の構成の信号処理装置に対してさらに、定常性を利用しない他の信号処理を行う装置（または、プログラム等）を付加することができる。この場合、実世界１の信号のうちの定常性が存在する部分については、図３の構成の信号処理装置が信号処理を実行し、実世界１の信号のうちの明確な定常性が存在しない部分については、付加した他の装置（または、プログラム等）が信号処理を実行することになる。なお、以下、このような実施形態を併用手法と称する。
【２３３６】
以下、図２９２乃至図３０５を参照して、具体的な５つの併用手法（以下、それぞれの併用手法を、第１乃至第５の併用手法と称する）について説明する。
【２３３７】
なお、各併用手法が適用される信号処理装置の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、後述する図２９２乃至図２９４、図２９８、図３００、図３０２、および図３０４のそれぞれのブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えても良い。
【２３３８】
図２９２は、第１の併用手法が適用される信号処理装置の構成例を表している。
【２３３９】
図２９２の信号処理装置においては、データ３（図１）の一例である画像データが入力され、入力された画像データ（入力画像）に基づいて、後述する画像処理が施されて画像が生成され、生成された画像（出力画像）が出力される。即ち、図２９２は、画像処理装置である信号処理装置４（図１）の構成を示す図である。
【２３４０】
信号処理装置４に入力された入力画像（データ３の一例である画像データ）は、データ定常性検出部４１０１、実世界推定部４１０２、および画像生成部４１０４のそれぞれに供給される。
【２３４１】
データ定常性検出部４１０１は、入力画像からデータの定常性を検出して、検出した定常性を示すデータ定常性情報を実世界推定部４１０２および画像生成部４１０３に供給する。
【２３４２】
このように、データ定常性検出部４１０１は、図３のデータ定常性検出部１０１と基本的に同様の構成と機能を有するものである。従って、データ定常性検出部４１０１は、上述した様々な実施の形態を取ることが可能である。
【２３４３】
ただし、データ定常性検出部４１０１はさらに、注目画素の領域を特定するための情報（以下、領域特定情報と称する）を生成し、領域検出部４１１１に供給する。
【２３４４】
この領域特定情報は、特に限定されず、データ定常性情報が生成された後に新たに生成された情報でもよいし、データ定常性情報が生成される場合に付帯して生成される情報でもよい。
【２３４５】
具体的には、例えば、領域特定情報として、推定誤差が使用可能である。即ち、例えば、データ定常性検出部４１０１が、データ定常性情報として角度を算出し、かつ、その角度を最小自乗法により演算する場合、最小自乗法の演算で推定誤差が付帯的に算出される。この推定誤差が、領域特定情報として使用可能である。
【２３４６】
実世界推定部４１０２は、入力画像、およびデータ定常性検出部４１０１から供給されたデータ定常性情報に基づいて、実世界１（図１）の信号を推定する。即ち、実世界推定部４１０２は、入力画像が取得されたときセンサ２（図１）に入射された、実世界１の信号である画像を推定する。実世界推定部４１０２は、実世界１の信号の推定の結果を示す実世界推定情報を画像生成部４１０３に供給する。
【２３４７】
このように、実世界推定部４１０２は、図３の実世界推定部１０２と基本的に同様の構成と機能を有するものである。従って、実世界推定部４１０２は、上述した様々な実施の形態を取ることが可能である。
【２３４８】
画像生成部４１０３は、実世界推定部４１０２から供給された、推定された実世界１の信号を示す実世界推定情報に基づいて、実世界１の信号により近似した信号を生成して、生成した信号をセレクタ４１１２に供給する。または、画像生成部４１０３は、データ定常性検出部４１０１から供給されたデータ定常性情報、および実世界推定部４１０２から供給された、推定された実世界１の信号を示す実世界推定情報に基づいて、実世界１の信号により近似した信号を生成して、生成した信号をセレクタ４１１２に供給する。
【２３４９】
即ち、画像生成部４１０３は、実世界推定情報に基づいて、実世界１の画像により近似した画像を生成し、セレクタ４１１２に供給する。または、画像生成部４１０３は、データ定常性情報、および実世界推定情報に基づいて、実世界１の画像により近似した画像を生成し、セレクタ４１１２に供給する。
【２３５０】
このように、画像生成部４１０３は、図３の画像生成部１０３と基本的に同様の構成と機能を有するものである。従って、画像生成部４１０３は、上述した様々な実施の形態を取ることが可能である。
【２３５１】
画像生成部４１０４は、入力画像に対して所定の画像処理を施して、画像を生成し、セレクタ４１１２に供給する。
【２３５２】
なお、画像生成部４１０４が実行する画像処理は、データ定常性検出部４１０１、実世界推定部４１０２、および画像生成部４１０３が実行する画像処理とは異なる画像処理であれば、特に限定されない。
【２３５３】
例えば、画像生成部４１０４は、従来のクラス分類適応処理を行うことができる。このクラス分類適応処理を実行する画像生成部４１０４の構成例が、図２９３に示されている。なお、図２９３の説明、即ち、クラス分類適応処理を実行する画像生成部４１０４の詳細の説明については後述する。また、クラス分類適応処理についても、図２９３の説明をするときに併せて説明する。
【２３５４】
定常領域検出部４１０５には、領域検出部４１１１、およびセレクタ４１１２が設けられている。
【２３５５】
領域検出部４１１１は、データ定常性検出部４１０１より供給された領域特定情報に基づいて、セレクタ４１１２に供給された画像（注目画素）が、定常領域であるか、或いは非定常領域であるかを検出し、その検出結果をセレクタ４１１２に供給する。
【２３５６】
なお、領域検出部４１１１が実行する領域検出の処理は、特に限定されず、例えば、上述した推定誤差が領域特定情報として供給される場合、領域検出部４１１１は、供給された推定誤差が所定の閾値よりも小さいとき、入力画像の注目画素は定常領域であると検出し、一方、供給された推定誤差が所定の閾値以上であるとき、入力画像の注目画素は非定常領域であると検出する。
【２３５７】
セレクタ４１１２は、領域検出部４１１１より供給された検出結果に基づいて、画像生成部４１０３より供給された画像、または、画像生成部４１０４より供給された画像のうちのいずれか一方を選択し、選択した画像を出力画像として外部に出力する。
【２３５８】
即ち、領域検出部４１１１により注目画素が定常領域であると検出された場合、セレクタ４１１２は、画像生成部４１０３より供給された画像（入力画像の注目画素における、画像生成部４１０３により生成された画素）を出力画像として選択する。
【２３５９】
これに対して、領域検出部４１１１により注目画素が非定常領域であると検出された場合、セレクタ４１１２は、画像生成部４１０４より供給された画像（入力画像の注目画素における、画像生成部４１０４により生成された画素）を出力画像として選択する。
【２３６０】
なお、外部の出力先に応じて、セレクタ４１１２は、画素単位で、出力画像を出力する（選択した画素毎に出力する）こともできるし、全ての画素の処理が終了するまで処理済みの画素を格納しておき、全ての画素の処理が終了したとき、全ての画素を一括して（出力画像全体を１単位として）出力することもできる。
【２３６１】
次に、図２９３を参照して、画像処理の１例であるクラス分類適応処理を実行する画像生成部４１０４の詳細について説明する。
【２３６２】
図２９３において、画像生成部４１０４が実行するクラス分類適応処理は、例えば、入力画像の空間解像度を向上する処理であるとする。即ち、標準解像度の画像である入力画像を、高解像度の画像である予測画像に変換する処理であるとする。
【２３６３】
なお、以下の説明においても、標準解像度の画像を、適宜、ＳＤ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）画像と称するとともに、ＳＤ画像を構成する画素を、適宜、ＳＤ画素と称することにする。
【２３６４】
また、以下の説明においても、高解像度の画像を、適宜、ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）画像と称するとともに、ＨＤ画像を構成する画素を、適宜、ＨＤ画素と称することにする。
【２３６５】
具体的には、画像生成部４１０４が実行するクラス分類適応処理とは、次のようなものである。
【２３６６】
即ち、はじめに、入力画像（ＳＤ画像）の注目画素（ＳＤ画素）における、予測画像（ＨＤ画像）のＨＤ画素を求めるために、注目画素を含めた、その付近に配置されるＳＤ画素（以下の説明においても、このようなＳＤ画素を、クラスタップと称することにする）の特徴量のそれぞれを求めて、その特徴量毎に予め分類されたクラスを特定する（クラスタップ群のクラスコードを特定する）。
【２３６７】
そして、予め設定された複数の係数群（各係数群のそれぞれは、所定の１つのクラスコードに対応している）のうちの、特定されたクラスコードに対応する係数群を構成する各係数と、注目画素を含めた、その付近のＳＤ画素（以下の説明においても、このような入力画像のＳＤ画素を、予測タップと称することにする。なお、予測タップは、クラスタップと同じこともある）とを用いて積和演算を実行することで、入力画像（ＳＤ画像）の注目画素（ＳＤ画素）における、予測画像（ＨＤ画像）のＨＤ画素を求めるものである。
【２３６８】
より詳細には、図１において、画像である、実世界１の信号（光の強度の分布）がセンサ２に入射されると、センサ２からは入力画像が出力される。
【２３６９】
図２９３において、この入力画像（ＳＤ画像）は、画像生成部４１０４のうちの領域抽出部４１２１と領域抽出部４１２５にそれぞれ供給される。領域抽出部４１２５は、供給された入力画像から、クラス分類を行うために必要なクラスタップ（注目画素（ＳＤ画素）を含む予め設定された位置に存在するＳＤ画素）を抽出し、パターン検出部４１２２に出力する。パターン検出部４１２２は、入力されたクラスタップに基づいて入力画像のパターンを検出する。
【２３７０】
クラスコード決定部４１２３は、パターン検出部４１２２で検出されたパターンに基づいてクラスコードを決定し、係数メモリ４１２４、および、領域抽出部４１２５に出力する。係数メモリ４１２４は、学習により予め求められたクラスコード毎の係数を記憶しており、クラスコード決定部４１２３より入力されたクラスコードに対応する係数を読み出し、予測演算部４１２６に出力する。
【２３７１】
なお、係数メモリ４１２４の係数の学習処理については、図２９４の学習装置のブロック図を参照して後述する。
【２３７２】
また、係数メモリ４１２４に記憶される係数は、後述するように、予測画像（ＨＤ画像）を生成するときに使用される係数である。従って、以下、係数メモリ４１２４に記憶される係数を予測係数と称する。
【２３７３】
領域抽出部４１２５は、クラスコード決定部４１２３より入力されたクラスコードに基づいて、センサ２より入力された入力画像（ＳＤ画像）から、予測画像（ＨＤ画像）を予測生成するのに必要な予測タップ（注目画素を含む予め設定された位置に存在するＳＤ画素）をクラスコードに対応して抽出し、予測演算部４１２６に出力する。
【２３７４】
予測演算部４１２６は、領域抽出部４１２５より入力された予測タップと、係数メモリ４１２４より入力された予測係数とを用いて積和演算を実行し、入力画像（ＳＤ画像）の注目画素（ＳＤ画素）における、予測画像（ＨＤ画像）のＨＤ画素を生成し、セレクタ４１１２に出力する。
【２３７５】
より詳細には、係数メモリ４１２４は、クラスコード決定部４１２３より供給されるクラスコードに対応する予測係数を、予測演算部４１２６に出力する。予測演算部４１２６は、領域抽出部４１２５より供給される入力画像の所定の画素位置の画素値から抽出された予測タップと、係数メモリ４１２４より供給された予測係数とを用いて、次の式（２３７）で示される積和演算を実行することにより、予測画像（ＨＤ画像）のＨＤ画素を求める（予測推定する）。
【２３７６】
【数１８８】
2004246524.tif 000379
2004246524.tif 000380
【２３７７】
式（２３７）において、ｑ’は、予測画像（ＨＤ画像）のＨＤ画素を表している。ｃｉ（ｉは、１乃至ｎの整数値）のそれぞれは、予測タップ（ＳＤ画素）のそれぞれを表している。また、ｄ  ｉのそれぞれは、予測係数のそれぞれを表している。
【２３７８】
このように、画像生成部４１０４は、ＳＤ画像（入力画像）から、それに対するＨＤ画像を予測推定するので、ここでは、画像生成部４１０４から出力されるＨＤ画像を、予測画像と称している。
【２３７９】
図２９４は、このような画像生成部４１０４の係数メモリ４１２４に記憶される予測係数（式（２３７）におけるｄ  ｉ）を決定するための学習装置（予測係数の算出装置）を表している。
【２３８０】
図２９４において、所定の画像が、教師画像（ＨＤ画像）としてダウンコンバート部４１４１と正規方程式生成部４１４６のそれぞれに入力される。
【２３８１】
ダウンコンバート部４１４６は、入力された教師画像（ＨＤ画像）から、教師画像よりも解像度の低い生徒画像（ＳＤ画像）を生成し（教師画像をダウンコンバートしたものを生徒画像とし）、領域抽出部４１４２と領域抽出部４１４５のそれぞれに出力する。
【２３８２】
このように、学習装置４１３１には、ダウンコンバート部４１４１が設けられているので、教師画像（ＨＤ画像）は、センサ２（図１）からの入力画像よりも高解像度の画像である必要は無い。なぜならば、教師画像がダウンコンバートされた（解像度が下げられた）生徒画像をＳＤ画像とすれば、生徒画像に対する教師画像がＨＤ画像になるからである。従って、教師画像は、例えば、センサ２からの入力画像そのものとされてもよい。
【２３８３】
領域抽出部４１４２は、ダウンコンバート部４１４１より供給された生徒画像（ＳＤ画像）から、クラス分類を行うために必要なクラスタップ（ＳＤ画素）を抽出し、パターン検出部４１４３に出力する。パターン検出部４１４３は、入力されたクラスタップのパターンを検出し、その検出結果をクラスコード決定部４１４４に出力する。クラスコード決定部４１４４は、入力されたパターンに対応するクラスコードを決定し、そのクラスコードを領域抽出部４１４５、および、正規方程式生成部４１４６のそれぞれに出力する。
【２３８４】
領域抽出部４１４５は、クラスコード決定部４１４４より入力されたクラスコードに基づいて、ダウンコンバート部４１４１より入力された生徒画像（ＳＤ画像）から予測タップ（ＳＤ画素）を抽出し、正規方程式生成部４１４６に出力する。
【２３８５】
なお、以上の領域抽出部４１４２、パターン検出部４１４３、クラスコード決定部４１４４、および領域抽出部４１４５のそれぞれは、図２９３の画像生成部４１０４の領域抽出部４１２１、パターン検出部４１２２、クラスコード決定部４１２３、および、領域抽出部４１２５のそれぞれと、基本的に同様の構成と機能を有するものである。
【２３８６】
正規方程式生成部４１４６は、クラスコード決定部４１４４より入力された全てのクラスコードに対して、クラスコード毎に、領域抽出部４１４５より入力される生徒画像（ＳＤ画像）の予測タップ（ＳＤ画素）と、教師画像（ＨＤ画像）のＨＤ画素とから正規方程式を生成し、係数決定部４１４７に供給する。
【２３８７】
係数決定部４１４７は、正規方程式生成部４１４６より所定のクラスコードに対応する正規方程式が供給されてきたとき、その正規方程式より予測係数のそれぞれを演算し、係数メモリ４１２４にクラスコードと関連付けて記憶させる。
【２３８８】
正規方程式生成部４１４６と、係数決定部４１４７についてさらに詳しく説明する。
【２３８９】
上述した式（２３７）において、学習前は予測係数ｄｉのそれぞれが未定係数である。学習は、クラスコード毎に複数の教師画像（ＨＤ画像）のＨＤ画素を入力することによって行う。所定のクラスコードに対応するＨＤ画素がｍ個存在し、ｍ個のＨＤ画素のそれぞれを、ｑｋ（ｋは、１乃至ｍの整数値）と記述する場合、式（２３７）から、次の式（２３８）が設定される。
【２３９０】
【数１８９】
2004246524.tif 000381
2004246524.tif 000382
【２３９１】
即ち、式（２３８）は、右辺の演算をすることで、所定のＨＤ画素ｑｋを予測推定することができることを表している。なお、式（２３８）において、ｅｋは、誤差を表している。即ち、右辺の演算結果である予測画像（ＨＤ画像）のＨＤ画素ｑｋ’が、実際のＨＤ画素ｑｋと厳密には一致せず、所定の誤差ｅｋを含む。
【２３９２】
そこで、式（２３８）において、誤差ｅｋの自乗和を最小にする予測係数ｄｉが学習により求まれば、その予測係数ｄｉは、実際のＨＤ画素ｑｋを予測するのに最適な係数であると言える。
【２３９３】
従って、例えば、学習により集められたｍ個（ただし、ｍは、ｎより大きい整数）のＨＤ画素ｑｋを用いて、最小自乗法により最適な予測係数ｄｉを一意に決定することができる。
【２３９４】
即ち、式（２３８）の右辺の予測係数ｄｉを最小自乗法で求める場合の正規方程式は、次の式（２３９）で表される。
【２３９５】
【数１９０】
2004246524.tif 000383
2004246524.tif 000384
【２３９６】
従って、式（２３９）で示される正規方程式が生成されれば、その正規方程式を解くことで予測係数ｄｉが一意に決定されることになる。
【２３９７】
具体的には、式（２３９）で示される正規方程式の各行列のそれぞれを、次の式（２４０）乃至（２４２）のように定義すると、正規方程式は、次の式（２４３）のように表される。
【２３９８】
【数１９１】
2004246524.tif 000385
2004246524.tif 000386
【２３９９】
【数１９２】
2004246524.tif 000387
2004246524.tif 000388
【２４００】
【数１９３】
2004246524.tif 000389
2004246524.tif 000390
【２４０１】
【数１９４】
2004246524.tif 000391
2004246524.tif 000392
【２４０２】
式（２４１）で示されるように、行列ＤＭＡＴの各成分は、求めたい予測係数ｄｉである。従って、式（２４３）において、左辺の行列ＣＭＡＴと右辺の行列ＱＭＡＴが決定されれば、行列解法によって行列ＤＭＡＴ（即ち、予測係数ｄｉ）の算出が可能である。
【２４０３】
より具体的には、式（２４０）で示されるように、行列ＣＭＡＴの各成分は、予測タップｃｉｋが既知であれば演算可能である。予測タップｃｉｋは、領域抽出部４１４５により抽出されるので、正規方程式生成部４１４６は、領域抽出部４１４５より供給されてくる予測タップｃｉｋのそれぞれを利用して行列ＣＭＡＴの各成分を演算することができる。
【２４０４】
また、式（２４２）で示されるように、行列ＱＭＡＴの各成分は、予測タップｃｉｋとＨＤ画素ｑｋが既知であれば演算可能である。予測タップｃｉｋは、行列ＣＭＡＴの各成分に含まれるものと同一のものであり、また、ＨＤ画素ｑｋは、予測タップｃｉｋに含まれる注目画素（生徒画像のＳＤ画素）に対する教師画像のＨＤ画素である。従って、正規方程式生成部４１４６は、領域抽出部４１４５より供給された予測タップｃｉｋと、教師画像を利用して行列ＱＭＡＴの各成分を演算することができる。
【２４０５】
このようにして、正規方程式生成部４１４６は、クラスコード毎に、行列ＣＭＡＴと行列ＱＭＡＴの各成分を演算し、その演算結果をクラスコードに対応付けて係数決定部４１４７に供給する。
【２４０６】
係数決定部４１４７は、供給された所定のクラスコードに対応する正規方程式に基づいて、上述した式（２４３）の行列ＤＭＡＴの各成分である予測係数ｄｉを演算する。
【２４０７】
具体的には、上述した式（２４３）の正規方程式は、次の式（２４４）のように変形できる。
【２４０８】
【数１９５】
2004246524.tif 000393
2004246524.tif 000394
【２４０９】
式（２４４）において、左辺の行列ＤＭＡＴの各成分が、求めたい予測係数ｄｉである。また、行列ＣＭＡＴと行列ＱＭＡＴのそれぞれの各成分は、正規方程式生成部４１４６より供給されるものである。従って、係数決定部４１４７は、正規方程式生成部４１４６より所定のクラスコードに対応する行列ＣＭＡＴと行列ＱＭＡＴのそれぞれの各成分が供給されてきたとき、式（２４４）の右辺の行列演算を行うことで行列ＤＭＡＴを演算し、その演算結果（予測係数ｄｉ）をクラスコードに対応付けて係数メモリ４１２４に記憶させる。
【２４１０】
なお、クラス分類適応処理は、上述したように、ＳＤ画像には含まれていないが、ＨＤ画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、上述した式（２３７）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見えるが、その補間フィルタの係数に相当する予測係数ｄｉが、教師データと生徒データを用いての学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。このことから、上述したようなクラス分類適応処理は、いわば画像の創造（解像度創造）作用がある処理と称することができる。
【２４１１】
さらに、上述した例では、空間解像度を向上させる場合を例にして説明したが、クラス分類適応処理によれば、教師データおよび生徒データを変えて学習を行うことにより得られる種々の係数を用いることで、例えば、Ｓ／Ｎ（Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）  の向上や、ぼけの改善、その他の各種の処理を行うことが可能である。
【２４１２】
即ち、例えば、Ｓ／Ｎの向上やぼけの改善を、クラス分類適応処理によって行うには、Ｓ／Ｎの高い画像データを教師データとするとともに、その教師データのＳ／Ｎを低下させた画像（あるいは、ぼかした画像）を生徒データとして、係数を求めればよい。
【２４１３】
以上、クラス分類適応処理を実行する画像生成部４１０４と、その学習装置４１３１のそれぞれの構成について説明した。
【２４１４】
なお、上述したように、画像生成部４１０４は、クラス分類適応処理以外の画像処理を実行する構成とすることも可能であるが、説明の簡略上、以下の説明においては、画像生成部４１０４の構成は、上述した図２９３の構成とされる。即ち、以下、画像生成部４１０４は、クラス分類適応処理を実行することで、入力画像より空間解像度の高い画像を生成し、セレクタ４１１２に供給するとする。
【２４１５】
次に、図２９５を参照して、第１の併用手法が適用される信号処理装置（図２９２）の信号の処理について説明する。
【２４１６】
なお、ここでは、データ定常性検出部４１０１は、角度（画像である、実世界１（図１）の信号の注目位置における、定常性の方向（空間方向）と、空間方向の１方向であるＸ方向（センサ２（図１）の検出素子の所定の一辺と平行な方向）とのなす角度）を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。
【２４１７】
データ定常性検出部４１０１はまた、角度を演算するときに併せて算出される推定誤差（最小自乗法の誤差）を、領域特定情報として出力するとする。
【２４１８】
図１において、画像である、実世界１の信号がセンサ２に入射されると、センサ２からは入力画像が出力される。
【２４１９】
図２９２において、この入力画像は、データ定常性検出部４１０１、および実世界推定部４１０２に入力されるとともに、画像生成部４１０４に入力される。
【２４２０】
そこで、図２９５のステップＳ４１０１において、画像生成部４１０４は、入力画像（ＳＤ画像）の所定のＳＤ画素を注目画素として、上述したクラス分類適応処理を実行し、予測画像（ＨＤ画像）のＨＤ画素（注目画素におけるＨＤ画素）を生成し、セレクタ４１１２に供給する。
【２４２１】
なお、以下、画像生成部４１０４より出力される画素と、画像生成部４１０３より出力される画素のそれぞれを区別する場合、画像生成部４１０４より出力される画素を第１の画素と称し、画像生成部４１０３より出力される画素を第２の画素と称する。
【２４２２】
また、以下、このような画像生成部４１０４が実行する処理（いまの場合、ステップＳ４１０１の処理）を、「クラス分類適応処理の実行処理」と称する。この例の「クラス分類適応処理の実行処理」の詳細については、図２９６のフローチャートを参照して後述する。
【２４２３】
一方、ステップＳ４１０２において、データ定常性検出部４１０１は、定常性の方向に対応する角度を検出するとともに、その推定誤差を演算する。検出された角度は、データ定常性情報として実世界推定部４１０２と画像生成部４１０３のそれぞれに供給される。また、演算された推定誤差は、領域特定情報として領域検出部４１１１に供給される。
【２４２４】
ステップＳ４１０３において、実世界推定部４１０２は、データ定常性検出部４１０１により検出された角度と、入力画像に基づいて、実世界１の信号を推定する。
【２４２５】
なお、上述したように、実世界推定部４１０２が実行する推定の処理は、特に限定されず、上述した様々な手法を利用することができる。ここでは、例えば、実世界推定部４１０２は、実世界１の信号を表す関数Ｆ（以下の説明においても、関数Ｆを光信号関数Ｆと称することにする）を、所定の関数ｆ（以下の説明においても、関数ｆを近似関数ｆと称することにする）で近似することで、実世界１の信号（光信号関数Ｆ）を推定するとする。
【２４２６】
また、ここでは、例えば、実世界推定部４１０２は、近似関数ｆの特徴量（係数）を、実世界推定情報として画像生成部４１０３に供給するとする。
【２４２７】
ステップＳ４１０４において、画像生成部４１０３は、実世界推定部４１０２により推定された実世界１の信号に基づいて、画像生成部４１０４のクラス分類適応処理により生成された第１の画素（ＨＤ画素）に対応する第２の画素（ＨＤ画素）を生成し、セレクタ４１１２に供給する。
【２４２８】
いまの場合、実世界推定部４１０２より近似関数ｆの特徴量（係数）が供給されてくるので、画像生成部４１０３は、例えば、供給された近似関数ｆの特徴量に基づいて、近似関数ｆを所定の積分範囲で積分することで、第２の画素（ＨＤ画素）を生成する。
【２４２９】
ただし、積分範囲は、画像生成部４１０４より出力される第１の画素（ＨＤ画素）と同一の大きさ（同一の解像度）の第２の画素が生成可能な範囲とされる。即ち、空間方向においては、積分範囲は、これから生成される第２の画素の画素幅となる。
【２４３０】
なお、ステップＳ４１０１の「クラス分類適応処理の実行処理」と、ステップＳ４１０２乃至Ｓ４１０４の一連の処理の順番は、図２９５の例に限定されず、ステップＳ４１０２乃至Ｓ４１０４の一連の処理が先に実行されても構わないし、ステップＳ４１０１の「クラス分類適応処理の実行処理」と、ステップＳ４１０２乃至Ｓ４１０４の一連の処理が同時に実行されても構わない。
【２４３１】
ステップＳ４１０５において、領域検出部４１１１は、ステップＳ４１０２の処理でデータ定常性検出部４１０１により演算された推定誤差（領域特定情報）に基づいて、ステップＳ４１０４の処理で画像生成部４１０３により生成された第２の画素（ＨＤ画素）の領域を検出する。
【２４３２】
即ち、第２の画素は、データ定常性検出部４１０１が注目画素として使用した入力画像のＳＤ画素におけるＨＤ画素である。従って、注目画素（入力画像のＳＤ画素）と第２の画素（ＨＤ画素）の領域の種類（定常領域、または非定常領域）は同一である。
【２４３３】
また、データ定常性検出部４１０１が出力する領域特定情報は、注目画素における角度が最小自乗法により算出された場合の推定誤差である。
【２４３４】
そこで、領域検出部４１１１は、データ定常性検出部４１０１より供給された注目画素（入力画像のＳＤ画素）に対する推定誤差と、予め設定された閾値を比較し、その比較の結果が、推定誤差が閾値よりも小さい場合、第２の画素は定常領域であると検出し、一方、推定誤差が閾値以上である場合、第２の画素は非定常領域であると検出する。そして、検出結果は、セレクタ４１１２に供給される。
【２４３５】
この領域検出部４１１１の検出結果がセレクタ４１１２に供給されると、ステップＳ４１０６において、セレクタ４１１２は、検出された領域が、定常領域であるか否かを判定する。
【２４３６】
ステップＳ４１０６において、検出された領域が、定常領域であると判定した場合、セレクタ４１１２は、ステップＳ４１０７において、画像生成部４１０３より供給された第２の画素を、出力画像として外部に出力する。
【２４３７】
これに対して、ステップＳ４１０６において、検出された領域が、定常領域ではない（非定常領域である）と判定した場合、セレクタ４１１２は、ステップＳ４１０８において、画像生成部４１０４より供給された第１の画素を、出力画像として外部に出力する。
【２４３８】
その後、ステップＳ４１０９において、全画素の処理を終了したか否かが判定され、全画素の処理がまだ終了していないと判定された場合、その処理は、ステップＳ４１０１に戻る。即ち、全ての画素の処理が終了されるまで、ステップＳ４１０１乃至Ｓ４１０９の処理が繰り返される。
【２４３９】
そして、ステップＳ４１０９において、全画素の処理を終了したと判定された場合、その処理は終了となる。
【２４４０】
このように、図２９５のフローチャートの例においては、第１の画素（ＨＤ画素）と第２の画素（ＨＤ画素）が生成される毎に、出力画像として第１の画素または第２の画素が画素単位で出力される。
【２４４１】
しかしながら、上述したように、画素単位で出力されることは必須ではなく、全ての画素の処理が終了された後、出力画像として、全ての画素が一括して出力されてもよい。この場合、ステップＳ４１０７とステップＳ４１０８のそれぞれの処理においては、画素（第１の画素または第２の画素）は出力されずに、セレクタ４１１２に一次格納され、ステップＳ４１０９の処理の後、全ての画素を出力する処理が追加される。
【２４４２】
次に、図２９６のフローチャートを参照して、図２９３の構成の画像生成部４１０４が実行する「クラス分類適応処理の実行処理」（例えば、上述した図２９５のステップＳ４１０１の処理）の詳細について説明する。
【２４４３】
センサ２からの入力画像（ＳＤ画像）が画像生成部４１０４に入力されると、ステップＳ４１２１において、領域抽出部４１２１と領域抽出部４１２５のそれぞれは、入力画像を入力する。
【２４４４】
ステップＳ４１２２において、領域抽出部４１２１は、入力画像の中から、注目画素（ＳＤ画素）、および、予め設定された注目画素からの相対位置（１以上の位置）のそれぞれに位置する画素（ＳＤ画素）を、クラスタップとして抽出し、パターン検出部４１２２に供給する。
【２４４５】
ステップＳ４１２３において、パターン検出部４１２２は、供給されたクラスタップのパターンを検出し、クラスコード決定部４１２３に供給する。
【２４４６】
ステップＳ４１２４において、クラスコード決定部４１２３は、予め設定されている複数のクラスコードの中から、供給されたクラスタップのパターンに適合するクラスコードを決定し、係数メモリ４１２４と領域抽出部４１２５のそれぞれに供給する。
【２４４７】
ステップＳ４１２５において、係数メモリ４１２４は、供給されたクラスコードに基づいて、予め学習処理により決定された複数の予測係数（群）の中から、これから使用する予測係数（群）を読み出し、予測演算部４１２６に供給する。
【２４４８】
なお、学習処理については、図２９７のフローチャートを参照して後述する。
【２４４９】
ステップＳ４１２６において、領域抽出部４１２５は、供給されたクラスコードに対応して、入力画像の中から、注目画素（ＳＤ画素）、および、予め設定された注目画素からの相対位置（１以上の位置であって、クラスタップの位置とは独立して設定された位置。ただし、クラスタップの位置と同一の位置でもよい）のそれぞれに位置する画素（ＳＤ画素）を、予測タップとして抽出し、予測演算部４１２６に供給する。
【２４５０】
ステップＳ４１２７において、予測演算部４１２６は、領域抽出部４１２５より供給された予測タップを、係数メモリ４１２４より供給された予測係数を用いて演算し、予測画像（第１の画素）を生成して外部（図２９２の例では、セレクタ４１１２）に出力する。
【２４５１】
具体的には、予測演算部４１２６は、領域抽出部４１２５より供給された予測タップのそれぞれをｃｉ（ｉは、１乃至ｎのうちのいずれかの整数）とし、かつ、係数メモリ４１２４より供給された予測係数のそれぞれをｄｉとして、上述した式（２３７）の右辺を演算することにより、注目画素（ＳＤ画素）におけるＨＤ画素ｑ’を算出し、それを予測画像（ＨＤ画像）の所定の１つの画素（第１の画素）として外部に出力する。その後、処理は終了となる。
【２４５２】
次に、図２９７のフローチャートを参照して、画像生成部４１０４に対する学習装置４１３１（図２９４）が実行する学習処理（画像生成部４１０４が使用する予測係数を学習により生成する処理）について説明する。
【２４５３】
ステップＳ４１４１において、ダウンコンバート部４１４１と正規方程式生成部４１４６のそれぞれは、供給された所定の画像を、教師画像（ＨＤ画像）として入力する。
【２４５４】
ステップＳ４１４２において、ダウンコンバート部４１４１は、入力された教師画像をダウンコンバートして（解像度を落として）生徒画像（ＳＤ画像）を生成し、領域抽出部４１４２と領域抽出部４１４５のそれぞれに供給する。
【２４５５】
ステップＳ４１４３において、領域抽出部４１４２は、供給された生徒画像からクラスタップを抽出してパターン検出部４１４３に出力する。なお、ステップＳ４１４３の処理は、上述したステップＳ４１２２（図２９６）の処理と基本的に同様の処理である。
【２４５６】
ステップＳ４１４４において、パターン検出部４１４３は、供給されたクラスタップよりクラスコードを決定するためのパターンを検出し、クラスコード決定部４１４４に供給する。なお、ステップＳ４１４４の処理は、上述したステップＳ４１２３（図２９６）の処理と基本的に同様の処理である。
【２４５７】
ステップＳ４１４５において、クラスコード決定部４１４４は、供給されたクラスタップのパターンに基づいてクラスコードを決定し、領域抽出部４１４５と正規方程式生成部４１４６のそれぞれに供給する。なお、ステップＳ４１４５の処理は、上述したステップＳ４１２４（図２９６）の処理と基本的に同様の処理である。
【２４５８】
ステップＳ４１４６において、領域抽出部４１４５は、供給されたクラスコードに対応して、生徒画像の中から予測タップを抽出し、正規方程式生成部４１４６に供給する。なお、ステップＳ４１４６の処理は、上述したステップＳ４１２６（図２９６）の処理と基本的に同様の処理である。
【２４５９】
ステップＳ４１４７において、正規方程式生成部４１４６は、領域抽出部４１４５より供給された予測タップ（ＳＤ画素）、および、教師画像（ＨＤ画像）の所定のＨＤ画素から、上述した式（２３９）（即ち、式（２４３））で示される正規方程式を生成し、生成した正規方程式と、クラスコード決定部４１４４より供給されたクラスコードを関連付けて係数決定部４１４７に供給する。
【２４６０】
ステップＳ４１４８において、係数決定部４１４７は、供給された正規方程式を解いて予測係数を決定し、即ち、上述した式（２４４）の右辺を演算することで予測係数を算出し、供給されたクラスコードに対応付けて係数メモリ４１２４に記憶させる。
【２４６１】
その後、ステップＳ４１４９において、全ての画素について処理が施されたか否かが判定され、全ての画素について処理が施されていないと判定された場合、その処理は、ステップＳ４１４３に戻る。即ち、全ての画素の処理が終了されるまで、ステップＳ４１４３乃至Ｓ４１４９の処理が繰り返される。
【２４６２】
そして、ステップＳ４１４９において、全ての画素について処理が施されたと判定された場合、処理は終了となる。
【２４６３】
次に、図２９８と図２９９を参照して、第２の併用手法について説明する。
【２４６４】
図２９８は、第２の併用手法が適用される信号処理装置の構成例を表している。
【２４６５】
図２９８において、第１の併用手法が適用される信号処理装置（図２９２）と対応する部分には、対応する符号が付してある。
【２４６６】
図２９２の構成例（第１の併用手法）においては、領域特定情報は、データ定常性検出部４１０１より出力され、領域検出部４１１１に入力されていたが、図２９８の構成例（第２の併用手法）においては、領域特定情報は、実世界推定部４１０２より出力され、領域検出部４１１１に入力される。
【２４６７】
この領域特定情報は、特に限定されず、実世界推定部４１０２が実世界１（図１）の信号を推定した後に新たに生成された情報でもよいし、実世界１の信号が推定される場合に付帯して生成される情報でもよい。
【２４６８】
具体的には、例えば、領域特定情報として、推定誤差が使用可能である。
【２４６９】
ここで、推定誤差について説明する。
【２４７０】
上述したように、データ定常性検出部４１０１より出力される推定誤差（図２９２の領域特定情報）は、例えば、データ定常性検出部４１０１より出力されるデータ定常性情報が角度であり、かつ、その角度が最小自乗法により演算される場合、その最小自乗法の演算で付帯的に算出される推定誤差である。
【２４７１】
これに対して、実世界推定部４１０２より出力される推定誤差（図２９８の領域特定情報）は、例えば、マッピング誤差である。
【２４７２】
即ち、実世界推定部４１０２により実世界１の信号が推定されているので、推定された実世界１の信号から任意の大きさの画素を生成する（画素値を演算する）ことが可能である。ここでは、このように、新たな画素を生成することを、マッピングと称している。
【２４７３】
従って、実世界推定部４１０２は、実世界１の信号を推定した後、その推定した実世界１の信号から、入力画像の注目画素（実世界１が推定される場合に注目画素として使用された画素）が配置されていた位置における新たな画素を生成する（マッピングする）。即ち、実世界推定部４１０２は、推定した実世界１の信号から、入力画像の注目画素の画素値を予測演算する。
【２４７４】
そして、実世界推定部４１０２は、マッピングした新たな画素の画素値（予測した入力画像の注目画素の画素値）と、実際の入力画像の注目画素の画素値との差分を演算する。この差分を、ここでは、マッピング誤差と称している。
【２４７５】
このようにして実世界推定部４１０２は、マッピング誤差（推定誤差）を演算することで、演算したマッピング誤差（推定誤差）を、領域特定情報として領域検出部４１１１に供給することができる。
【２４７６】
なお、領域検出部４１１１が実行する領域検出の処理は、上述したように、特に限定されないが、例えば、実世界推定部４１０２が、上述したマッピング誤差（推定誤差）を領域特定情報として領域検出部４１１１に供給する場合、領域検出部４１１１は、供給されたマッピング誤差（推定誤差）が所定の閾値よりも小さいとき、入力画像の注目画素は定常領域であると検出し、一方、供給されたマッピング誤差（推定誤差）が所定の閾値以上であるとき、入力画像の注目画素は非定常領域であると検出する。
【２４７７】
その他の構成は、図２９２のそれと基本的に同様である。即ち、第２の併用手法が適用される信号処理装置（図２９８）においても、第１の併用手法が適用される信号処理装置（図２９２）と基本的に同様の構成と機能を有する、データ定常性検出部４１０１、実世界推定部４１０２、画像生成部４１０３、画像生成部４１０４、並びに定常領域検出部４１０５（領域検出部４１１１およびセレクタ４１１２）が設けられている。
【２４７８】
図２９９は、図２９８の構成の信号処理装置の信号の処理（第２の併用手法の信号の処理）を説明するフローチャートである。
【２４７９】
第２の併用手法の信号の処理は、第１の併用手法の信号の処理（図２９５のフローチャートで示される処理）と類似している。そこで、ここでは、第１の併用手法において説明した処理については、その説明を適宜省略し、以下、図２９９のフローチャートを参照して、第１の併用手法とは異なる第２の併用手法の信号の処理を中心に説明する。
【２４８０】
なお、ここでは、データ定常性検出部４１０１は、第１の併用手法と同様に、角度（実世界１（図１）の信号の注目位置における、定常性の方向（空間方向）と、空間方向の１方向であるＸ方向（センサ２（図１）の検出素子の所定の一辺と平行な方向）とのなす角度）を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。
【２４８１】
ただし、上述したように、第１の併用手法においては、データ定常性検出部４１０１が領域特定情報（例えば、推定誤差）を領域検出部４１１１に供給していたのに対して、第２の併用手法においては、実世界推定部４１０２が領域特定情報（例えば、推定誤差（マッピング誤差））を領域検出部４１１１に供給する。
【２４８２】
従って、第２の併用手法においては、データ定常性検出部４１０１の処理として、ステップＳ４１６２の処理が実行される。この処理は、第１の併用手法における、図２９５のステップＳ４１０２の処理に相当する。即ち、ステップＳ４１６２において、データ定常性検出部４１０１は、入力画像に基づいて、定常性の方向に対応する角度を検出し、検出した角度をデータ定常性情報として、実世界推定部４１０２と画像生成部４１０３のそれぞれに供給する。
【２４８３】
また、第２の併用手法においては、実世界推定部４１０２の処理として、ステップＳ４１６３の処理が実行される。この処理は、第１の併用手法における、図２９５のステップＳ４１０３の処理に相当する。即ち、ステップＳ４１６３において、実世界推定部４１０２は、ステップＳ４１６２の処理でデータ定常性検出部４１０１により検出された角度に基づいて、実世界１（図１）の信号を推定するとともに、推定された実世界１の信号の推定誤差、即ち、マッピング誤差を演算し、それを領域特定情報として領域検出部４１１１に供給する。
【２４８４】
その他の処理は、第１の併用手法の対応する処理（図２９５のフローチャートで示される処理のうちの対応する処理）と基本的に同様であるので、その説明は省略する。
【２４８５】
次に、図３００と図３０１を参照して、第３の併用手法について説明する。
【２４８６】
図３００は、第３の併用手法が適用される信号処理装置の構成例を表している。
【２４８７】
図３００において、第１の併用手法が適用される信号処理装置（図２９２）と対応する部分には、対応する符号が付してある。
【２４８８】
図２９２の構成例（第１の併用手法）においては、定常領域検出部４１０５は、画像生成部４１０３と画像生成部４１０４の後段に配設されていたが、図３００の構成例（第３の併用手法）においては、それに対応する定常領域検出部４１６１が、データ定常性検出部４１０１の後段であって、実世界推定部４１０２と画像生成部４１０４の前段に配設されている。
【２４８９】
このような配設位置の違いにより、第１の併用手法における定常領域検出部４１０５と、第３の併用手法における定常領域検出部４１６１は若干差異がある。そこで、この差異を中心に、定常領域検出部４１６１について説明する。
【２４９０】
定常領域検出部４１６１には、領域検出部４１７１と実行指令生成部４１７２が設けられている。このうちの領域検出部４１７１は、定常領域検出部４１０５の領域検出部４１１１（図２９２）と基本的に同様の構成と機能を有している。一方、実行指令生成部４１７２の機能は、定常領域検出部４１０５のセレクタ４１１２（図２９２）のそれと若干差異がある。
【２４９１】
即ち、上述したように、第１の併用手法におけるセレクタ４１１２は、領域検出部４１１１の検出結果に基づいて、画像生成部４１０３からの画像と、画像生成部４１０４からの画像のうちのいずれか一方を選択し、選択した画像を出力画像として出力する。このように、セレクタ４１１２は、領域検出部４１１１の検出結果の他に、画像生成部４１０３からの画像と、画像生成部４１０４からの画像を入力し、出力画像を出力する。
【２４９２】
一方、第３の併用手法における実行指令生成部４１７２は、領域検出部４１７１の検出結果に基づいて、入力画像の注目画素（データ定常性検出部４１０１が注目画素とした画素）における新たな画素の生成の処理を実行するのは、画像生成部４１０３であるのか画像生成部４１０４であるのかを選択する。
【２４９３】
即ち、領域検出部４１７１が、入力画像の注目画素は定常領域であるという検出結果を実行指令生成部４１７２に供給した場合、実行指令生成部４１７２は、画像生成部４１０３を選択し、実世界推定部４１０２に対して、その処理の実行を開始させる指令（このような指令を、以下、実行指令と称する）を供給する。すると、実世界推定部４１０２が、その処理を開始し、実世界推定情報を生成し、画像生成部４１０３に供給する。画像生成部４１０３は、供給された実世界推定情報（必要に応じて、それに加えてデータ定常性検出部４１０１より供給されたデータ定常性情報）に基づいて新たな画像を生成し、それを出力画像として外部に出力する。
【２４９４】
これに対して、領域検出部４１７１が、入力画像の注目画素は非定常領域であるという検出結果を実行指令生成部４１７２に供給した場合、実行指令生成部４１７２は、画像生成部４１０４を選択し、画像生成部４１０４に対して実行指令を供給する。すると、画像生成部４１０４が、その処理を開始し、入力画像に対して所定の画像処理（いまの場合、クラス分類適応処理）を施して、新たな画像を生成し、それを出力画像として外部に出力する。
【２４９５】
このように、第３の併用手法における実行指令生成部４１７２は、領域検出部４１７１の検出結果を入力し、実行指令を出力する。即ち、実行指令生成部４１７２は、画像を入出力しない。
【２４９６】
なお、定常領域検出部４１６１以外の構成は、図２９２のそれと基本的に同様である。即ち、第２の併用手法が適用される信号処理装置（図３００の信号処理装置）においても、第１の併用手法が適用される信号処理装置（図２９２）と基本的に同様の構成と機能を有する、データ定常性検出部４１０１、実世界推定部４１０２、画像生成部４１０３、および、画像生成部４１０４が設けられている。
【２４９７】
ただし、第３の併用手法においては、実世界推定部４１０２と画像生成部４１０４のそれぞれは、実行指令生成部４１７２からの実行指令が入力されない限り、その処理を実行しない。
【２４９８】
ところで、図３００の例では、画像の出力単位は画素単位とされている。そこで、図示はしないが、出力単位を１フレームの画像全体とするために（全ての画素を一括して出力するために）、例えば、画像生成部４１０３と画像生成部４１０４の後段に、画像合成部をさらに設けることもできる。
【２４９９】
この画像合成部は、画像生成部４１０３から出力された画素値と、画像生成部４１０４より出力された画素値を加算し（合成し）、加算した値を対応する画素の画素値とする。この場合、画像生成部４１０３と画像生成部４１０４のうちの、実行指令が供給されていない方は、その処理を実行せず、所定の一定値（例えば、０）を画像合成部に常時供給する。
【２５００】
画像合成部は、このような処理を全ての画素について繰り返し実行し、全ての画素の処理を終了すると、全ての画素を一括して（１フレームの画像データとして）外部に出力する。
【２５０１】
次に、図３０１のフローチャートを参照して、第３の併用手法が適用される信号処理装置（図３００）の信号の処理について説明する。
【２５０２】
なお、ここでは、第１の併用手法のときと同様に、データ定常性検出部４１０１は、角度（実世界１（図１）の信号の注目位置における、定常性の方向（空間方向）と、空間方向の１方向であるＸ方向（センサ２（図１）の検出素子の所定の一辺と平行な方向）とのなす角度）を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。
【２５０３】
データ定常性検出部４１０１はまた、角度を演算するときに併せて算出される推定誤差（最小自乗法の誤差）を、領域特定情報として出力するとする。
【２５０４】
図１において、実世界１の信号がセンサ２に入射されると、センサ２からは入力画像が出力される。
【２５０５】
図３００において、この入力画像は、画像生成部４１０４に入力されるとともに、データ定常性検出部４１０１、および実世界推定部４１０２にも入力される。
【２５０６】
そこで、図３０１のステップＳ４１８１において、データ定常性検出部４１０１は、入力画像に基づいて、定常性の方向に対応する角度を検出するとともに、その推定誤差を演算する。検出された角度は、データ定常性情報として実世界推定部４１０２と画像生成部４１０３のそれぞれに供給される。また、演算された推定誤差は、領域特定情報として領域検出部４１７１に供給される。
【２５０７】
なお、ステップＳ４１８１の処理は、上述したステップＳ４１０２（図２９５）の処理と基本的に同様の処理である。
【２５０８】
また、上述したように、いまの時点においては（実行指令生成部４１７２から実行指令が供給されない限り）、実世界推定部４１０２も画像生成部４１０４もその処理を実行しない。
【２５０９】
ステップＳ４１８２において、領域検出部４１７１は、データ定常性検出部４１０１により演算された推定誤差（供給された領域特定情報）に基づいて、入力画像の注目画素（データ定常性検出部４１０１が角度を検出する場合に注目画素とした画素）の領域を検出し、その検出結果を実行指令生成部４１７２に供給する。なお、ステップＳ４１８２の処理は、上述したステップＳ４１０５（図２９５）の処理と基本的に同様の処理である。
【２５１０】
領域検出部４１７１の検出結果が実行指令生成部４１７２に供給されると、ステップＳ４１８３において、実行指令生成部４１７２は、検出された領域が、定常領域であるか否かを判定する。なお、ステップＳ４１８３の処理は、上述したステップＳ４１０６（図２９５）の処理と基本的に同様の処理である。
【２５１１】
ステップＳ４１８３において、検出された領域が定常領域ではないと判定した場合、実行指令生成部４１７２は、実行指令を画像生成部４１０４に供給する。すると、画像生成部４１０４は、ステップＳ４１８４において、「クラス分類適応処理の実行処理」を実行して、第１の画素（注目画素（入力画像のＳＤ画素）におけるＨＤ画素）を生成し、ステップＳ４１８５において、クラス分類適応処理により生成された第１の画素を、出力画像として外部に出力する。
【２５１２】
なお、ステップＳ４１８４の処理は、上述したステップＳ４１０１（図２９５）の処理と基本的に同様の処理である。即ち、図２９６のフローチャートは、ステップＳ４１８４の処理の詳細を説明するフローチャートでもある。
【２５１３】
これに対して、ステップＳ４１８３において、検出された領域が定常領域であると判定した場合、実行指令生成部４１７２は、実行指令を実世界推定部４１０２に供給する。すると、ステップＳ４１８６において、実世界推定部４１０２は、データ定常性検出部４１０１により検出された角度と、入力画像に基づいて、実世界１の信号を推定する。なお、ステップＳ４１８６の処理は、上述したステップＳ４１０３（図２９５）の処理と基本的に同様の処理である。
【２５１４】
そして、画像生成部４１０３は、ステップＳ４１８７において、実世界推定部４１０２により推定された実世界１の信号に基づいて、検出された領域（即ち、入力画像の注目画素（ＳＤ画素））における第２の画素（ＨＤ画素）を生成し、ステップＳ４１８８において、その第２の画素を出力画像として出力する。なお、ステップＳ４１８７の処理は、上述したステップＳ４１０４（図２９５）の処理と基本的に同様の処理である。
【２５１５】
第１の画素または第２の画素が出力画像として出力されると（ステップＳ４１８５、またはステップＳ４１８８の処理の後）、ステップＳ４１８９において、全画素の処理を終了したか否かが判定され、全画素の処理がまだ終了していないと判定された場合、その処理は、ステップＳ４１８１に戻る。即ち、全ての画素の処理が終了されるまで、ステップＳ４１８１乃至Ｓ４１８９の処理が繰り返される。
【２５１６】
そして、ステップＳ４１８９において、全画素の処理を終了したと判定された場合、その処理は終了となる。
【２５１７】
このように、図３０１のフローチャートの例においては、第１の画素（ＨＤ画素）と第２の画素（ＨＤ画素）が生成される毎に、出力画像として第１の画素または第２の画素が画素単位で出力される。
【２５１８】
しかしながら、上述したように、図３００の構成の信号処理装置の最終段（画像生成部４１０３と画像生成部４１０４の後段）に画像合成部（図示せず）をさらに設ければ、全ての画素の処理が終了された後、出力画像として、全ての画素を一括して出力することが可能になる。この場合、ステップＳ４１８５とステップＳ４１８８のそれぞれに処理においては、画素（第１の画素または第２の画素）は外部ではなく画像合成部に出力される。そして、ステップＳ４１８９の処理の前に、画像合成部が、画像生成部４１０３から供給される画素の画素値と、画像生成部４１０４から供給される画素の画素値を合成して、出力画像の画素を生成する処理と、ステップＳ４１８９の処理の後に、画像合成部が、全ての画素を出力する処理が追加される。
【２５１９】
次に、図３０２と図３０３を参照して、第４の併用手法について説明する。
【２５２０】
図３０２は、第４の併用手法が適用される信号処理装置の構成例を表している。
【２５２１】
図３０２において、第３の併用手法が適用される信号処理装置（図３００）と対応する部分には、対応する符号が付してある。
【２５２２】
図３００の構成例（第３の併用手法）においては、領域特定情報は、データ定常性検出部４１０１より出力され領域検出部４１７１に入力されていたが、図３０２の構成例（第４の併用手法）においては、領域特定情報は、実世界推定部４１０２より出力され領域検出部４１７１に入力される。
【２５２３】
その他の構成は、図３００のそれと基本的に同様である。即ち、第４の併用手法が適用される信号処理装置（図３０２）においても、第３の併用手法が適用される信号処理装置（図３００）と基本的に同様の構成と機能を有する、データ定常性検出部４１０１、実世界推定部４１０２、画像生成部４１０３、画像生成部４１０４、並びに定常領域検出部４１６１（領域検出部４１７１および実行指令生成部４１７２）が設けられている。
【２５２４】
なお、第３の併用方法と同様に、図示はしないが、全ての画素を一括して出力するために、例えば、画像生成部４１０３と画像生成部４１０４の後段に、画像合成部をさらに設けることもできる。
【２５２５】
図３０３は、図３０２の構成の信号処理装置の信号の処理（第４の併用手法の信号の処理）を説明するフローチャートである。
【２５２６】
第４の併用手法の信号の処理は、第３の併用手法の信号の処理（図３０１のフローチャートで示される処理）と類似している。そこで、ここでは、第３の併用手法において説明した処理については、その説明を適宜省略し、以下、図３０３のフローチャートを参照して、第３の併用手法とは異なる第４の併用手法の信号の処理を中心に説明する。
【２５２７】
なお、ここでは、データ定常性検出部４１０１は、第３の併用手法と同様に、角度（実世界１（図１）の信号の注目位置における、定常性の方向（空間方向）と、空間方向の１方向であるＸ方向（センサ２（図１）の検出素子の所定の一辺と平行な方向）とのなす角度）を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。
【２５２８】
ただし、上述したように、第３の併用手法においては、データ定常性検出部４１０１が領域特定情報（例えば、推定誤差）を領域検出部４１７１に供給していたのに対して、第４の併用手法においては、実世界推定部４１０２が領域特定情報（例えば、推定誤差（マッピング誤差））を領域検出部４１７１に供給する。
【２５２９】
従って、第４の併用手法においては、データ定常性検出部４１０１の処理として、ステップＳ４２０１の処理が実行される。この処理は、第３の併用手法における、図３０１のステップＳ４１８１の処理に相当する。即ち、ステップＳ４２０１において、データ定常性検出部４１０１は、入力画像に基づいて、定常性の方向に対応する角度を検出し、検出した角度をデータ定常性情報として、実世界推定部４１０２と画像生成部４１０３のそれぞれに供給する。
【２５３０】
また、第４の併用手法においては、実世界推定部４１０２の処理として、ステップＳ４２０２の処理が実行される。この処理は、第３の併用手法における、図２９５のステップＳ４１８２の処理に相当する。即ち、実世界推定部４１０２は、ステップＳ４２０２の処理でデータ定常性検出部４１０１により検出された角度に基づいて、実世界１（図１）の信号を推定するとともに、推定された実世界１の信号の推定誤差、即ち、マッピング誤差を演算し、それを領域特定情報として領域検出部４１７１に供給する。
【２５３１】
その他の処理は、第３の併用手法の対応する処理（図３０１のフローチャートで示される処理のうちの対応する処理）と基本的に同様であるので、その説明は省略する。
【２５３２】
次に、図３０４と図３０５を参照して、第５の併用手法について説明する。
【２５３３】
図３０４は、第５の併用手法が適用される信号処理装置の構成例を表している。
【２５３４】
図３０４において、第３と第４の併用手法が適用される信号処理装置（図３００と図３０２）と対応する部分には、対応する符号が付してある。
【２５３５】
図３００の構成例（第３の併用手法）においては、データ定常性検出部４１０１の後段であって、実世界推定部４１０２と画像生成部４１０４の前段に、１つの定常領域検出部４１６１が配設されている。
【２５３６】
また、図３０２の構成例（第４の併用手法）においては、実世界推定部４１０２の後段であって、画像生成部４１０３と画像生成部４１０４の前段に、１つの定常領域検出部４１６１が配設されている。
【２５３７】
これらに対して、図３０４の構成例（第５の併用手法）においては、第３の併用方法と同様に、データ定常性検出部４１０１の後段であって、実世界推定部４１０２と画像生成部４１０４の前段に、定常領域検出部４１８１が配設されている。さらに、第４の併用方法と同様に、実世界推定部４１０２の後段であって、画像生成部４１０３と画像生成部４１０４の前段に、定常領域検出部４１８２が配設されている。
【２５３８】
定常領域検出部４１８１と定常領域検出部４１８２のそれぞれは、定常領域検出部４１６１（図３００または図３０２）と基本的に同様の構成と機能を有している。即ち、領域検出部４１９１と領域検出部４２０１はいずれも、領域検出部４１７１と基本的に同様の構成と機能を有している。また、実行指令生成部４１９２と実行指令生成部４２０２はいずれも、実行指令生成部４１７２と基本的に同様の構成と機能を有している。
【２５３９】
換言すると、第５の併用手法は、第３の併用手法と第４の併用手法を組み合わせたものである。
【２５４０】
即ち、第３の併用手法や第４の併用手法においては、１つの領域特定情報（第３の併用手法においては、データ定常性検出部４１０１からの領域特定情報であり、第４の併用手法においては、実世界推定部４１０２からの領域特定情報である）に基づいて、入力画像の注目画素が定常領域であるか非定常領域であるかが検出される。従って、第３の併用手法や第４の併用手法では、本来、非定常領域であるにも関わらず、定常領域であると検出される恐れもある。
【２５４１】
そこで、第５の併用手法においては、はじめにデータ定常性検出部４１０１からの領域特定情報（第５の併用手法の説明においては、第１の領域特定情報と称する）に基づいて、入力画像の注目画素が定常領域であるか非定常領域であるかが検出された後、さらに、実世界推定部４１０２からの領域特定情報（第５の併用手法の説明においては、第２の領域特定情報と称する）に基づいて、入力画像の注目画素が定常領域であるか非定常領域であるかが検出される。
【２５４２】
このように、第５の併用手法においては、領域の検出の処理が２回行われるので、第３の併用手法や第４の併用手法に比較して、定常領域の検出精度が上がることになる。さらに、第１の併用手法や第２の併用手法においても、第３の併用手法や第４の併用手法と同様に、１つの定常領域検出部４１０５（図２９２または図２９８）しか設けられていない。従って、第１の併用手法や第２の併用手法と比較しても、定常領域の検出精度が上がることになる。その結果、第１乃至第４の併用手法のいずれよりも実世界１（図１）の信号に近い画像データを出力することが可能になる。
【２５４３】
ただし、第１乃至第４の併用手法でも、従来の画像処理を行う画像生成部４１０４と、本発明が適用されるデータの定常性を利用して画像を生成する装置またはプログラム等（即ち、データ定常性検出部４１０１、実世界推定部４１０２、および、画像生成部４１０３）を併用していることに変わりはない。
【２５４４】
従って、第１乃至第４の併用手法でも、従来の信号処理装置や、図３の構成の本発明の信号処理のいずれよりも実世界１（図１）の信号に近い画像データを出力することが可能になる。
【２５４５】
一方、処理速度の観点からは、第１乃至第４の併用手法においては、領域の検出の処理が１回だけで済むので、領域の検出の処理を２回行う第５の併用手法よりも優れていることになる。
【２５４６】
従って、ユーザ（または製造者）等は、必要とされる出力画像の品質と、必要とされる処理時間（出力画像が出力されるまでの時間）に合致した併用手法を選択的に利用することができる。
【２５４７】
なお、図３０４におけるその他の構成は、図３００、または、図３０２のそれと基本的に同様である。即ち、第５の併用手法が適用される信号処理装置（図３０４）においても、第３または第４の併用手法が適用される信号処理装置（図３００、または図３０２）と基本的に同様の構成と機能を有する、データ定常性検出部４１０１、実世界推定部４１０２、画像生成部４１０３、および画像生成部４１０４が設けられている。
【２５４８】
ただし、第５の併用手法においては、実世界推定部４１０２は、実行指令生成部４１９２からの実行指令が入力されない限り、画像生成部４１０３は、実行指令生成部４２０２からの実行指令が入力されない限り、画像生成部４１０４は、実行指令生成部４１９２、または実行指令生成部４２０２からの実行指令が入力されない限り、その処理を実行しない。
【２５４９】
また、第５の併用手法においても、第３や第４の併用方法と同様に、図示はしないが、全ての画素を一括して出力するために、例えば、画像生成部４１０３と画像生成部４１０４の後段に、画像合成部をさらに設けることもできる。
【２５５０】
次に、図３０５のフローチャートを参照して、第５の併用手法が適用される信号処理装置（図３０４）の信号の処理について説明する。
【２５５１】
なお、ここでは、第３や第４の併用手法のときと同様に、データ定常性検出部４１０１は、角度（実世界１（図１）の信号の注目位置における、定常性の方向（空間方向）と、空間方向の１方向であるＸ方向（センサ２（図１）の検出素子の所定の一辺と平行な方向）とのなす角度）を最小自乗法により演算し、演算した角度をデータ定常性情報として出力するとする。
【２５５２】
また、ここでは、第３の併用手法のときと同様に、データ定常性検出部４１０１はまた、角度を演算するときに併せて算出される推定誤差（最小自乗法の誤差）を、第１の領域特定情報として出力するとする。
【２５５３】
さらに、ここでは、第４の併用手法のときと同様に、実世界推定部４１０２は、マッピング誤差（推定誤差）を、第２の領域特定情報として出力するとする。
【２５５４】
図１において、実世界１の信号がセンサ２に入射されると、センサ２からは入力画像が出力される。
【２５５５】
図３０４において、この入力画像は、データ定常性検出部４１０１、実世界推定部４１０２、および、画像生成部４１０４のそれぞれに入力される。
【２５５６】
そこで、図３０５のステップＳ４２２１において、データ定常性検出部４１０１は、入力画像に基づいて、定常性の方向に対応する角度を検出するとともに、その推定誤差を演算する。検出された角度は、データ定常性情報として実世界推定部４１０２と画像生成部４１０３のそれぞれに供給される。また、演算された推定誤差は、第１の領域特定情報として領域検出部４１９１に供給される。
【２５５７】
なお、ステップＳ４２２１の処理は、上述したステップＳ４１８１（図３０１）の処理と基本的に同様の処理である。
【２５５８】
また、上述したように、いまの時点においては（実行指令生成部４１９２から実行指令が供給されない限り）、実世界推定部４１０２も画像生成部４１０４もその処理を実行しない。
【２５５９】
ステップＳ４２２２において、領域検出部４１９１は、データ定常性検出部４１０１により演算された推定誤差（供給された第１の領域特定情報）に基づいて、入力画像の注目画素（データ定常性検出部４１０１が角度を検出する場合に注目画素とした画素）の領域を検出し、その検出結果を実行指令生成部４１９２に供給する。なお、ステップＳ４２２２の処理は、上述したステップＳ４１８２（図３０１）の処理と基本的に同様の処理である。
【２５６０】
領域検出部４１８１の検出結果が実行指令生成部４１９２に供給されると、ステップＳ４２２３において、実行指令生成部４１９２は、検出された領域が、定常領域であるか否かを判定する。なお、ステップＳ４２２３の処理は、上述したステップＳ４１８３（図３０１）の処理と基本的に同様の処理である。
【２５６１】
ステップＳ４２２３において、検出された領域が定常領域ではない（非定常領域である）と判定した場合、実行指令生成部４１９２は、実行指令を画像生成部４１０４に供給する。すると、画像生成部４１０４は、ステップＳ４２２４において、「クラス分類適応処理の実行処理」を実行して、第１の画素（注目画素（入力画像のＳＤ画素）におけるＨＤ画素）を生成し、ステップＳ４２２５において、クラス分類適応処理により生成された第１の画素を、出力画像として外部に出力する。
【２５６２】
なお、ステップＳ４２２４の処理は、上述したステップＳ４１８４（図３０１）の処理と基本的に同様の処理である。即ち、図２９６のフローチャートは、ステップＳ４１８６の処理の詳細を説明するフローチャートでもある。また、ステップＳ４２２５の処理は、上述したステップＳ４１８５（図３０１）の処理と基本的に同様の処理である。
【２５６３】
これに対して、ステップＳ４２２３において、検出された領域が定常領域であると判定した場合、実行指令生成部４１９２は、実行指令を実世界推定部４１０２に供給する。すると、ステップＳ４２２６において、実世界推定部４１０２は、ステップＳ４２２１の処理でデータ定常性検出部４１０１により検出された角度に基づいて、実世界１の信号を推定するとともに、その推定誤差（マッピング誤差）を演算する。推定された実世界１の信号は、実世界推定情報として画像生成部４１０３に供給される。また、演算された推定誤差は、第２の領域特定情報として領域検出部４２０１に供給される。
【２５６４】
なお、ステップＳ４２２６の処理は、上述したステップＳ４２０２（図３０３）の処理と基本的に同様の処理である。
【２５６５】
また、上述したように、いまの時点においては（実行指令生成部４１９２、または実行指令生成部４２０２から実行指令が供給されない限り）、画像生成部４１０３も画像生成部４１０４もその処理を実行しない。
【２５６６】
ステップＳ４２２７において、領域検出部４２０１は、実世界推定部４１０２により演算された推定誤差（供給された第２の領域特定情報）に基づいて、入力画像の注目画素（データ定常性検出部４１０１が角度を検出する場合に注目画素とした画素）の領域を検出し、その検出結果を実行指令生成部４２０２に供給する。なお、ステップＳ４２２７の処理は、上述したステップＳ４２０３（図３０３）の処理と基本的に同様の処理である。
【２５６７】
領域検出部４２０１の検出結果が実行指令生成部４２０２に供給されると、ステップＳ４２２８において、実行指令生成部４２０２は、検出された領域が、定常領域であるか否かを判定する。なお、ステップＳ４２２８の処理は、上述したステップＳ４２０４（図３０３）の処理と基本的に同様の処理である。
【２５６８】
ステップＳ４２２８において、検出された領域が定常領域ではない（非定常領域である）と判定した場合、実行指令生成部４２０２は、実行指令を画像生成部４１０４に供給する。すると、画像生成部４１０４は、ステップＳ４２２４において、「クラス分類適応処理の実行処理」を実行して、第１の画素（注目画素（入力画像のＳＤ画素）におけるＨＤ画素）を生成し、ステップＳ４２２５において、クラス分類適応処理により生成された第１の画素を、出力画像として外部に出力する。
【２５６９】
なお、いまの場合のステップＳ４２２４の処理は、上述したステップＳ４２０５（図３０３）の処理と基本的に同様の処理である。また、いまの場合のステップＳ４２２５の処理は、上述したステップＳ４２０６（図３０３）の処理と基本的に同様の処理である。
【２５７０】
これに対して、ステップＳ４２２８において、検出された領域が定常領域であると判定した場合、実行指令生成部４２０２は、実行指令を画像生成部４１０３に供給する。すると、ステップＳ４２２９において、画像生成部４１０３は、実世界推定部４１０２により推定された実世界１の信号（および、必要に応じてデータ定常性検出部４１０１からのデータ定常性情報）に基づいて、領域検出部４２０１により検出された領域（即ち、入力画像の注目画素（ＳＤ画素））における、第２の画素（ＨＤ画素）を生成する。そして、ステップＳ４２３０において、画像生成部４１０３は、生成された第２の画素を、出力画像として外部に出力する。
【２５７１】
なお、ステップＳ４２２９とＳ４２３０のそれぞれの処理は、上述したステップＳ４２０７とＳ４２０８（図３０３）のそれぞれの処理と基本的に同様の処理である。
【２５７２】
第１の画素または第２の画素が出力画像として出力されると（ステップＳ４２２５、またはステップＳ４２３０の処理の後）、ステップＳ４２３１において、全画素の処理を終了したか否かが判定され、全画素の処理がまだ終了していないと判定された場合、その処理は、ステップＳ４２２１に戻る。即ち、全ての画素の処理が終了されるまで、ステップＳ４２２１乃至Ｓ４２３１の処理が繰り返される。
【２５７３】
そして、ステップＳ４２３１において、全画素の処理を終了したと判定された場合、その処理は終了となる。
【２５７４】
以上、図２９２乃至図３０５を参照して、本発明の信号処理装置４（図１）の実施の形態の１例として、併用手法について説明した。
【２５７５】
上述したように、併用手法においては、図３の構成の本発明の信号処理装置に対してさらに、定常性を利用しない他の信号処理を行う装置（または、プログラム等）が付加されている。
【２５７６】
換言すると、併用手法においては、従来の信号処理装置（または、プログラム等）に対して、図３の構成の本発明の信号処理装置（または、プログラム等）が付加されている。
【２５７７】
即ち、併用手法においては、例えば、図２９２や図２９８の定常領域検出部４１０５が、実世界１の光信号が射影され、実世界１の光信号の定常性の一部が欠落した画像データ（例えば、図２９２や図２９８の入力画像）内において、画像データのデータの定常性を有する領域（例えば、図２９５のステップＳ４１０６や図２９９のステップＳ４１６６に記載の定常領域）を検出する。
【２５７８】
また、図２９２や図２９８の実世界推定部４１０２が、実世界１の光信号の定常性の一部が欠落した画像データのデータの定常性に基づいて、欠落した実世界１の光信号の定常性を推定することにより光信号を推定する。
【２５７９】
さらに、例えば、図２９２や図２９８のデータ定常性検出部４１０１が、実世界１の光信号が射影され、実世界１の光信号の定常性の一部が欠落した画像データ内において、画像データのデータの定常性の基準軸に対する角度（例えば、図２９５のステップＳ４１０２や図２９９のステップＳ４１６２に記載の角度）を検出する。この場合、例えば、図２９２や図２９８の定常領域検出部４１０５は、角度に基いて画像データのデータの定常性を有する領域を検出し、実世界推定部４１０２は、その領域に対して、欠落した実世界１の光信号の定常性を推定することにより光信号を推定する。
【２５８０】
ただし、図２９２においては、定常領域検出部４１０５は、角度に沿って定常であるモデルと入力画像との誤差（即ち、例えば、図中の領域特定情報であって、図２９５のステップＳ４１０２の処理で演算される推定誤差）に基づいて入力画像のデータの定常性を有する領域を検出する。
【２５８１】
これに対して、図２９８においては、定常領域検出部４１０５は、実世界推定部４１０２の後段に配され、実世界推定部４１０２により演算される、入力画像に対応する実世界１の光信号を表す実世界モデルと、入力画像との誤差（即ち、例えば、図中の領域特定情報であって、図２９５のステップＳ４１６３の処理で演算される実世界の信号の推定誤差（マッピング誤差））に基いて、実世界推定部４１０２により推定された実世界モデル、即ち、画像生成部４１０３から出力される画像を選択的に出力する（例えば、図２９８のセレクタ４１１２が、図２９９のステップＳ４１６６乃至Ｓ４１６８の処理を実行する）。
【２５８２】
以上、図２９２と図２９８の例で説明したが、以上のことは、図３００、図３０２、および図３０４においても同様である。
【２５８３】
従って、併用手法においては、実世界１の信号のうちの定常性が存在する部分（画像データのデータの定常性を有する領域）については、図３の構成の信号処理装置に相当する装置（またはプログラム等）が信号処理を実行し、実世界１の信号のうちの明確な定常性が存在しない部分については、従来の信号処理装置（または、プログラム等）が信号処理を実行することが可能になる。その結果、従来の信号処理装置や、図３の構成の本発明の信号処理のいずれよりも実世界１（図１）の信号に近い画像データを出力することが可能になる。
【２５８４】
次に、図３０６，図３０７を参照して、データ定常性検出部１０１より直接画像を生成する例について説明する。
【２５８５】
図３０６のデータ定常性検出部１０１は、図１６５のデータ定常性検出部１０１に画像生成部４５０１を付加したものである。画像生成部４５０１は、実世界推定部８０２より出力される実世界の近似関数ｆ（ｘ）の係数を実世界推定情報として取得し、この係数に基づいて、各画素を再積分することにより画像を生成して出力する。
【２５８６】
次に、図３０７のフローチャートを参照して、図３０６のデータの定常性の検出の処理について説明する。尚、図３０７のフローチャートのステップＳ４５０１乃至Ｓ４５０４、および、ステップＳ４５０６乃至Ｓ４５１１の処理に付いては、図１６６のフローチャートのステップＳ８０１乃至Ｓ８１０の処理と同様であるのでその説明は省略する。
【２５８７】
ステップＳ４５０４において、画像生成部４５０１は、実世界推定部８０２より入力された係数に基づいて各画素を再積分して、画像を生成し出力する。
【２５８８】
以上の処理により、データ定常性検出部１０１は、領域情報のみならず、その領域判定に用いた（実世界推定情報に基づいて生成された画素からなる）画像を出力することができる。
【２５８９】
このように、図３０６のデータ定常性検出部１０１においては、画像生成部４５０１が設けられている。即ち、図３０６のデータ定常性検出部１０１は、入力画像のデータの定常性に基づいて出力画像を生成することができる。従って、図３０６で示される構成を有する装置を、データ定常性検出部１０１の実施の形態と捉えるのではなく、図１の信号処理装置（画像処理装置）４の他の実施の形態と捉えることもできる。
【２５９０】
さらに、上述した併用手法が適用される信号処理装置において、実世界１の信号のうちの定常性が存在する部分に対して信号処理を施す信号処理部として、図３０６で示される構成を有する装置（即ち、図３０６のデータ定常性検出部１０１と同様の機能と構成を有する信号処理装置）を適用することも可能である。
【２５９１】
具体的には、例えば、第１の併用手法が適用される図２９２の信号処理装置においては、実世界１の信号のうちの定常性が存在する部分に対して信号処理を施す信号処理部は、データ定常性検出部４１０１、実世界推定部４１０２、および画像生成部４１０３とされている。図示はしないが、これらのデータ定常性検出部４１０１、実世界推定部４１０２、および画像生成部４１０３の代わりに、図３０６の構成の信号処理装置（画像処理装置）を適用することも可能である。この場合、図３０６の比較部８０４が、その出力を領域特定情報をとして領域検出部４１１１に供給し、また、画像生成部４５０１が、出力画像（第２の画素）をセレクタ４１１２に供給することになる。
【２５９２】
なお、センサ２は、固体撮像素子である、例えば、ＢＢＤ（Ｂｕｃｋｅｔ  Ｂｒｉｇａｄｅ  Ｄｅｖｉｃｅ）、ＣＩＤ（Ｃｈａｒｇｅ  Ｉｎｊｅｃｔｉｏｎ  Ｄｅｖｉｃｅ）、またはＣＰＤ（Ｃｈａｒｇｅ  Ｐｒｉｍｉｎｇ  Ｄｅｖｉｃｅ）などのセンサでもよい。
【２５９３】
本発明の信号処理を行うプログラムを記録した記録媒体は、図２で示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク５１（フレキシブルディスクを含む）、光ディスク５２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｕｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）を含む）、光磁気ディスク５３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）（商標）を含む）、もしくは半導体メモリ５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ２２や、記憶部２８に含まれるハードディスクなどで構成される。
【２５９４】
なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【２５９５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【２５９６】
【発明の効果】
以上のように、本発明によれば、正確で、精度の高い処理結果を得ることができるようになる。
また、本発明によれば、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【図面の簡単な説明】
【図１】本発明の原理を示す図である。
【図２】信号処理装置４の構成の例を示すブロック図である。
【図３】信号処理装置４を示すブロック図である。
【図４】従来の信号処理装置１２１の処理の原理を説明する図である。
【図５】信号処理装置４の処理の原理を説明する図である。
【図６】本発明の原理をより具体的に説明する図である。
【図７】本発明の原理をより具体的に説明する図である。
【図８】イメージセンサ上の画素の配置の例を説明する図である。
【図９】ＣＣＤである検出素子の動作を説明する図である。
【図１０】画素Ｄ乃至画素Ｆに対応する検出素子に入射される光と、画素値との関係を説明する図である。
【図１１】時間の経過と、１つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。
【図１２】実世界１の線状の物の画像の例を示す図である。
【図１３】実際の撮像により得られた画像データの画素値の例を示す図である。
【図１４】画像データの模式図である。
【図１５】背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像の例を示す図である。
【図１６】実際の撮像により得られた画像データの画素値の例を示す図である。
【図１７】画像データの模式図である。
【図１８】本発明の原理を説明する図である。
【図１９】本発明の原理を説明する図である。
【図２０】高解像度データ１８１の生成の例を説明する図である。
【図２１】モデル１６１による近似を説明する図である。
【図２２】Ｍ個のデータ１６２によるモデル１６１の推定を説明する図である。
【図２３】実世界１の信号とデータ３との関係を説明する図である。
【図２４】式を立てるときに注目するデータ３の例を示す図である。
【図２５】式を立てる場合における、実世界１における２つの物体に対する信号および混合領域に属する値を説明する図である。
【図２６】式（１８）、式（１９）、および式（２２）で表される定常性を説明する図である。
【図２７】データ３から抽出される、Ｍ個のデータ１６２の例を示す図である。
【図２８】データ３である画素値が取得された領域を説明する図である。
【図２９】画素の時空間方向の位置の近似を説明する図である。
【図３０】データ３における、時間方向および２次元の空間方向の実世界１の信号の積分を説明する図である。
【図３１】空間方向により解像度の高い高解像度データ１８１を生成するときの、積分の領域を説明する図である。
【図３２】時間方向により解像度の高い高解像度データ１８１を生成するときの、積分の領域を説明する図である。
【図３３】動きボケを除去した高解像度データ１８１を生成するときの、積分の領域を説明する図である。
【図３４】時間空間方向により解像度の高い高解像度データ１８１を生成するときの、積分の領域を説明する図である。
【図３５】入力画像の元の画像を示す図である。
【図３６】入力画像の例を示す図である。
【図３７】従来のクラス分類適応処理を適用して得られた画像を示す図である。
【図３８】細線の領域を検出した結果を示す図である。
【図３９】信号処理装置４から出力された出力画像の例を示す図である。
【図４０】信号処理装置４による、信号の処理を説明するフローチャートである。
【図４１】データ定常性検出部１０１の構成を示すブロック図である。
【図４２】背景の前に細線がある実世界１の画像を示す図である。
【図４３】平面による背景の近似を説明する図である。
【図４４】細線の画像が射影された画像データの断面形状を示す図である。
【図４５】細線の画像が射影された画像データの断面形状を示す図である。
【図４６】細線の画像が射影された画像データの断面形状を示す図である。
【図４７】頂点の検出および単調増減領域の検出の処理を説明する図である。
【図４８】頂点の画素値が閾値を超え、隣接する画素の画素値が閾値以下である細線領域を検出する処理を説明する図である。
【図４９】図４８の点線ＡＡ’で示す方向に並ぶ画素の画素値を表す図である。
【図５０】単調増減領域の連続性の検出の処理を説明する図である。
【図５１】平面での近似により定常成分を抽出した画像の例を示す図である。
【図５２】単調減少している領域を検出した結果を示す図である。
【図５３】連続性が検出された領域を示す図である。
【図５４】連続性が検出された領域の画素値を示す図である。
【図５５】細線の画像が射影された領域の検出の他の処理の例を示す図である。
【図５６】定常性検出の処理を説明するフローチャートである。
【図５７】時間方向のデータの定常性を検出の処理を説明する図である。
【図５８】非定常成分抽出部２０１の構成を示すブロック図である。
【図５９】棄却される回数を説明する図である。
【図６０】入力画像の例を示す図である。
【図６１】棄却をしないで平面で近似した結果得られる標準誤差を画素値とした画像を示す図である。
【図６２】棄却をして平面で近似した結果得られる標準誤差を画素値とした画像を示す図である。
【図６３】棄却された回数を画素値とした画像を示す図である。
【図６４】平面の空間方向Ｘの傾きを画素値とした画像を示す図である。
【図６５】平面の空間方向Ｙの傾きを画素値とした画像を示す図である。
【図６６】平面で示される近似値からなる画像を示す図である。
【図６７】平面で示される近似値と画素値との差分からなる画像を示す図である。
【図６８】非定常成分の抽出の処理を説明するフローチャートである。
【図６９】定常成分の抽出の処理を説明するフローチャートである。
【図７０】定常成分の抽出の他の処理を説明するフローチャートである。
【図７１】定常成分の抽出のさらに他の処理を説明するフローチャートである。
【図７２】データ定常性検出部１０１の他の構成を示すブロック図である。
【図７３】データの定常性を有する入力画像におけるアクティビティを説明する図である。
【図７４】アクティビティを検出するためのブロックを説明する図である。
【図７５】アクティビティに対するデータの定常性の角度を説明する図である。
【図７６】データ定常性検出部１０１のより詳細な構成を示すブロック図である。
【図７７】画素の組を説明する図である。
【図７８】画素の組の位置とデータの定常性の角度との関係を説明する図である。
【図７９】データの定常性の検出の処理を説明するフローチャートである。
【図８０】時間方向および空間方向のデータの定常性の角度を検出するとき、抽出される画素の組を示す図である。
【図８１】データ定常性検出部１０１のより詳細な他の構成を示すブロック図である。
【図８２】設定された直線の角度の範囲に応じた数の画素からなる画素の組を説明する図である。
【図８３】設定された直線の角度の範囲を説明する図である。
【図８４】設定された直線の角度の範囲と、画素の組の数、および画素の組毎の画素の数を説明する図である。
【図８５】画素の組の数および画素の組毎の画素の数を説明する図である。
【図８６】画素の組の数および画素の組毎の画素の数を説明する図である。
【図８７】画素の組の数および画素の組毎の画素の数を説明する図である。
【図８８】画素の組の数および画素の組毎の画素の数を説明する図である。
【図８９】画素の組の数および画素の組毎の画素の数を説明する図である。
【図９０】画素の組の数および画素の組毎の画素の数を説明する図である。
【図９１】画素の組の数および画素の組毎の画素の数を説明する図である。
【図９２】画素の組の数および画素の組毎の画素の数を説明する図である。
【図９３】データの定常性の検出の処理を説明するフローチャートである。
【図９４】データ定常性検出部１０１のさらに他の構成を示すブロック図である。
【図９５】データ定常性検出部１０１のより詳細な構成を示すブロック図である。
【図９６】ブロックの例を説明する図である。
【図９７】注目ブロックと参照ブロックとの、画素値の差分の絶対値の算出の処理を説明する図である。
【図９８】注目画素の周辺の画素の位置と、角度θを有する直線との空間方向Ｘの距離を説明する図である。
【図９９】シフト量γと角度θとの関係を示す図である。
【図１００】シフト量γに対する、注目画素の周辺の画素の位置と、注目画素を通り、角度θを有する直線との空間方向Ｘの距離を示す図である。
【図１０１】注目画素を通り、空間方向Ｘの軸に対して角度θの直線との距離が最小の参照ブロックを示す図である。
【図１０２】検出するデータの定常性の角度の範囲を１／２にする処理を説明する図である。
【図１０３】データの定常性の検出の処理を説明するフローチャートである。
【図１０４】間方向および空間方向のデータの定常性の角度を検出するとき、抽出されるブロックを示す図である。
【図１０５】入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部１０１の構成を示すブロック図である。
【図１０６】入力画像のコンポーネント信号を基に、データの定常性の検出の処理を実行するデータ定常性検出部１０１の構成を示すブロック図である。
【図１０７】データ定常性検出部１０１のさらに他の構成を示すブロック図である。
【図１０８】入力画像における、基準軸を基準としたデータの定常性の角度を説明する図である。
【図１０９】入力画像における、基準軸を基準としたデータの定常性の角度を説明する図である。
【図１１０】入力画像における、基準軸を基準としたデータの定常性の角度を説明する図である。
【図１１１】入力画像における、画素の空間方向の位置に対する、画素値の変化と、回帰直線との関係を示す図である。
【図１１２】回帰直線Ａと、例えば、基準軸である空間方向Ｘを示す軸との角度を説明する図である。
【図１１３】領域の例を示す図である。
【図１１４】図１０７で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の処理を説明するフローチャートである。
【図１１５】データ定常性検出部１０１のさらに他の構成を示すブロック図である。
【図１１６】入力画像における、画素の空間方向の位置に対する、画素値の変化と、回帰直線との関係を示す図である。
【図１１７】標準偏差とデータの定常性を有する領域との関係を説明する図である。
【図１１８】領域の例を示す図である。
【図１１９】図１１５で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の処理を説明するフローチャートである。
【図１２０】図１１５で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の他の処理を説明するフローチャートである。
【図１２１】本発明を適用した細線、または、２値エッジの角度をデータ定常性情報として検出するデータ定常性検出部の構成を示すブロック図である。
【図１２２】データ定常性情報の検出方法を説明する図である。
【図１２３】データ定常性情報の検出方法を説明する図である。
【図１２４】図１２１のデータ定常性検出部のより詳細な構成を示す図である。
【図１２５】水平・垂直判定処理を説明する図である。
【図１２６】水平・垂直判定処理を説明する図である。
【図１２７】現実世界の細線とセンサにより撮像される細線の関係を説明する図である。
【図１２８】現実世界の画像の細線と背景の関係を説明する図である。
【図１２９】センサにより撮像された画像の細線と背景の関係を説明する図である。
【図１３０】センサにより撮像された画像の細線と背景の関係の例を説明する図である。
【図１３１】現実世界の画像の細線と背景の関係を説明する図である。
【図１３２】センサにより撮像された画像の細線と背景の関係を説明する図である。
【図１３３】センサにより撮像された画像の細線と背景の関係の例を説明する図である。
【図１３４】細線の角度を求めるためのモデルを示す図である。
【図１３５】細線の角度を求めるためのモデルを示す図である。
【図１３６】注目画素に対応するダイナミックレンジブロックの画素値の最大値と最小値を説明する図である。
【図１３７】細線の角度の求め方を説明する図である。
【図１３８】細線の角度の求め方を説明する図である。
【図１３９】抽出ブロックとダイナミックレンジブロックを説明する図である。
【図１４０】最小自乗法の解法を説明する図である。
【図１４１】最小自乗法の解法を説明する図である。
【図１４２】２値エッジを説明する図である。
【図１４３】センサにより撮像された画像の２値エッジを説明する図である。
【図１４４】センサにより撮像された画像の２値エッジの例を説明する図である。
【図１４５】センサにより撮像された画像の２値エッジを説明する図である。
【図１４６】２値エッジの角度を求めるためのモデルを示す図である。
【図１４７】２値エッジの角度を求める方法を説明する図である。
【図１４８】２値エッジの角度を求める方法を説明する図である。
【図１４９】細線、または、２値エッジの角度をデータ定常性と検出する処理を説明するフローチャートである。
【図１５０】データ抽出処理を説明するフローチャートである。
【図１５１】正規方程式への足し込み処理を説明するフローチャートである。
【図１５２】本発明を適用して求めた細線の傾きと、相関を用いて求めた細線の角度とを比較する図である。
【図１５３】本発明を適用して求めた２値エッジの傾きと、相関を用いて求めた細線の角度とを比較する図である。
【図１５４】本発明を適用した混合比をデータ定常性情報として検出するデータ定常性検出部の構成を示すブロック図である。
【図１５５】混合比の求め方を説明する図である。
【図１５６】混合比をデータ定常性と検出する処理を説明するフローチャートである。
【図１５７】正規方程式への足し込み処理を説明するフローチャートである。
【図１５８】細線の混合比の分布例を示す図である。
【図１５９】２値エッジの混合比の分布例を示す図である。
【図１６０】混合比の直線近似を説明する図である。
【図１６１】物体の動きをデータ定常性情報として求める方法を説明する図である。
【図１６２】物体の動きをデータ定常性情報として求める方法を説明する図である。
【図１６３】物体の動きによる混合比をデータ定常性情報として求める方法を説明する図である。
【図１６４】物体の動きによる混合比をデータ定常性情報として求める際の混合比の直線近似を説明する図である。
【図１６５】本発明を適用した処理領域をデータ定常性情報として検出するデータ定常性検出部の構成を示すブロック図である。
【図１６６】図１６５のデータ定常性検出部による定常性の検出の処理を説明するフローチャートである。
【図１６７】図１６５のデータ定常性検出部による定常性の検出の処理の積分範囲を説明する図である。
【図１６８】図１６５のデータ定常性検出部による定常性の検出の処理の積分範囲を説明する図である。
【図１６９】本発明を適用した処理領域をデータ定常性情報として検出するデータ定常性検出部のその他の構成を示すブロック図である。
【図１７０】図１６９のデータ定常性検出部による定常性の検出の処理を説明するフローチャートである。
【図１７１】図１６９のデータ定常性検出部による定常性の検出の処理の積分範囲を説明する図である。
【図１７２】図１６９のデータ定常性検出部による定常性の検出の処理の積分範囲を説明する図である。
【図１７３】実世界推定部１０２の構成を示すブロック図である。
【図１７４】実世界１の信号における、細線の幅を検出する処理を説明する図である。
【図１７５】実世界１の信号における、細線の幅を検出する処理を説明する図である。
【図１７６】実世界１の信号における、細線の信号のレベルを推定する処理を説明する図である。
【図１７７】実世界の推定の処理を説明するフローチャートである。
【図１７８】実世界推定部１０２の他の構成を示すブロック図である。
【図１７９】境界検出部２１２１の構成を示すブロック図である。
【図１８０】分配比の算出の処理を説明する図である。
【図１８１】分配比の算出の処理を説明する図である。
【図１８２】分配比の算出の処理を説明する図である。
【図１８３】単調増減領域の境界を示す回帰直線の算出の処理を説明する図である。
【図１８４】単調増減領域の境界を示す回帰直線の算出の処理を説明する図である。
【図１８５】実世界の推定の処理を説明するフローチャートである。
【図１８６】境界検出の処理を説明するフローチャートである。
【図１８７】空間方向の微分値を実世界推定情報として推定する実世界推定部の構成を示すブロック図である。
【図１８８】図１８７の実世界推定部による実世界推定の処理を説明するフローチャートである。
【図１８９】参照画素を説明する図である。
【図１９０】空間方向の微分値を求める位置を説明する図である。
【図１９１】空間方向の微分値とシフト量の関係を説明する図である。
【図１９２】空間方向の傾きを実世界推定情報として推定する実世界推定部の構成を示すブロック図である。
【図１９３】図１９２の実世界推定部による実世界推定の処理を説明するフローチャートである。
【図１９４】空間方向の傾きを求める処理を説明する図である。
【図１９５】空間方向の傾きを求める処理を説明する図である。
【図１９６】フレーム方向の微分値を実世界推定情報として推定する実世界推定部の構成を示すブロック図である。
【図１９７】図１９６の実世界推定部による実世界推定の処理を説明するフローチャートである。
【図１９８】参照画素を説明する図である。
【図１９９】フレーム方向の微分値を求める位置を説明する図である。
【図２００】フレーム方向の微分値とシフト量の関係を説明する図である。
【図２０１】フレーム方向の傾きを実世界推定情報として推定する実世界推定部の構成を示すブロック図である。
【図２０２】図２０１の実世界推定部による実世界推定の処理を説明するフローチャートである。
【図２０３】フレーム方向の傾きを求める処理を説明する図である。
【図２０４】フレーム方向の傾きを求める処理を説明する図である。
【図２０５】図３の実世界推定部の実施の形態の１例である、関数近似手法の原理を説明する図である。
【図２０６】センサがＣＣＤとされる場合の積分効果を説明する図である。
【図２０７】図２０６のセンサの積分効果の具体的な例を説明する図である。
【図２０８】図２０６のセンサの積分効果の具体的な他の例を説明する図である。
【図２０９】図２０７で示される細線含有実世界領域を表した図である。
【図２１０】図３の実世界推定部の実施の形態の１例の原理を、図２０５の例と対比させて説明する図である。
【図２１１】図２０７で示される細線含有データ領域を表した図である。
【図２１２】図２１１の細線含有データ領域に含まれる各画素値のそれぞれをグラフ化した図である。
【図２１３】図２１２の細線含有データ領域に含まれる各画素値を近似した近似関数をグラフ化した図である。
【図２１４】図２０７で示される細線含有実世界領域が有する空間方向の定常性を説明する図である。
【図２１５】図２１１の細線含有データ領域に含まれる各画素値のそれぞれをグラフ化した図である。
【図２１６】図２１５で示される入力画素値のそれぞれを、所定のシフト量だけシフトさせた状態を説明する図である。
【図２１７】空間方向の定常性を考慮して、図２１２の細線含有データ領域に含まれる各画素値を近似した近似関数をグラフ化した図である。
【図２１８】空間混合領域を説明する図である。
【図２１９】空間混合領域における、実世界の信号を近似した近似関数を説明する図である。
【図２２０】センサの積分特性と空間方向の定常性の両方を考慮して、図２１２の細線含有データ領域に対応する実世界の信号を近似した近似関数をグラフ化した図である。
【図２２１】図２０５で示される原理を有する関数近似手法のうちの、１次多項式近似手法を利用する実世界推定部の構成例を説明するブロック図である。
【図２２２】図２２１の構成の実世界推定部が実行する実世界の推定処理を説明するフローチャートである。
【図２２３】タップ範囲を説明する図である。
【図２２４】空間方向の定常性を有する実世界の信号を説明する図である。
【図２２５】センサがＣＣＤとされる場合の積分効果を説明する図である。
【図２２６】断面方向距離を説明する図である。
【図２２７】図２０５で示される原理を有する関数近似手法のうちの、２次多項式近似手法を利用する実世界推定部の構成例を説明するブロック図である。
【図２２８】図２２７の構成の実世界推定部が実行する実世界の推定処理を説明するフローチャートである。
【図２２９】タップ範囲を説明する図である。
【図２３０】時空間方向の定常性の方向を説明する図である。
【図２３１】センサがＣＣＤとされる場合の積分効果を説明する図である。
【図２３２】空間方向の定常性を有する実世界の信号を説明する図である。
【図２３３】時空間方向の定常性を有する実世界の信号を説明する図である。
【図２３４】図２０５で示される原理を有する関数近似手法のうちの、３次元関数近似手法を利用する実世界推定部の構成例を説明するブロック図である。
【図２３５】図２３４の構成の実世界推定部が実行する実世界の推定処理を説明するフローチャートである。
【図２３６】図３の画像生成部の実施の形態の１例である、再積分手法の原理を説明する図である。
【図２３７】入力画素と、その入力画素に対応する、実世界の信号を近似する近似関数の例を説明する図である。
【図２３８】図２３７で示される近似関数から、図２３７で示される１つの入力画素における、高解像度の４つの画素を創造する例を説明する図である。
【図２３９】図２３６で示される原理を有する再積分手法のうちの、１次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。
【図２４０】図２３９の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。
【図２４１】入力画像の元の画像の例を表す図である。
【図２４２】図２４１の画像に対応する画像データの例を表す図である。
【図２４３】入力画像の例を表す図である。
【図２４４】図２４３の画像に対応する画像データの例を表す図である。
【図２４５】入力画像に対して従来のクラス分類適応処理を施して得られる画像の例を表す図である。
【図２４６】図２４５の画像に対応する画像データの例を表す図である。
【図２４７】入力画像に対して本発明の１次元再積分手法の処理を施して得られる画像の例を表す図である。
【図２４８】図２４７の画像に対応する画像データの例を表す図である。
【図２４９】空間方向の定常性を有する実世界の信号を説明する図である。
【図２５０】図２３６で示される原理を有する再積分手法のうちの、２次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。
【図２５１】断面方向距離を説明する図である。
【図２５２】図２５０の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。
【図２５３】入力画素の１例を説明する図である。
【図２５４】２次元再積分手法により、図２５３で示される１つの入力画素における、高解像度の４つの画素を創造する例を説明する図である。
【図２５５】時空間方向の定常性の方向を説明する図である。
【図２５６】図２３６で示される原理を有する再積分手法のうちの、３次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。
【図２５７】図２５６の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。
【図２５８】本発明を適用した画像生成部のその他の構成を示すブロック図である。
【図２５９】図２５８の画像生成部による画像の生成の処理を説明するフローチャートである。
【図２６０】入力画素から４倍密度の画素を生成する処理を説明する図である。
【図２６１】画素値を示す近似関数とシフト量との関係を示す図である。
【図２６２】本発明を適用した画像生成部のその他の構成を示すブロック図である。
【図２６３】図２６２の画像生成部による画像の生成の処理を説明するフローチャートである。
【図２６４】入力画素から４倍密度の画素を生成する処理を説明する図である。
【図２６５】画素値を示す近似関数とシフト量との関係を示す図である。
【図２６６】図３の画像生成部の実施の形態の１例である、クラス分類適応処理補正手法の１次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。
【図２６７】図２６６の画像生成部のクラス分類適応処理部の構成例を説明するブロック図である。
【図２６８】図２６６のクラス分類適応処理部と、クラス分類適応処理補正部が使用する係数を学習により決定する学習装置の構成例を示すブロック図である。
【図２６９】図２６８のクラス分類適応処理用学習部の詳細な構成例を説明するブロック図である。
【図２７０】図２６７のクラス分類適応処理部の処理結果の例を示す図である。
【図２７１】図２７０の予測画像とＨＤ画像の差分画像を示す図である。
【図２７２】図２７１で示される領域に含まれるＸ方向に連続した６個のＨＤ画素のうちの、図中左から４個のＨＤ画素に対応する、図２７０のＨＤ画像の具体的な画素値、ＳＤ画像の具体的な画素値、および、実際の波形（実世界の信号）のそれぞれをプロットしたものを示す図である。
【図２７３】図２７０の予測画像とＨＤ画像の差分画像を示す図である。
【図２７４】図２７３で示される領域に含まれるＸ方向に連続した６個のＨＤ画素のうちの、図中左から４個のＨＤ画素に対応する、図２７０のＨＤ画像の具体的な画素値、ＳＤ画像の具体的な画素値、および、実際の波形（実世界の信号）のそれぞれをプロットしたものを示す図である。
【図２７５】図２７２乃至図２７４に示される内容に基づいて得られた知見を説明する図である。
【図２７６】図２６６の画像生成部のクラス分類適応処理補正部の構成例を説明するブロック図である。
【図２７７】図２６８のクラス分類適応処理補正用学習部の詳細な構成例を説明するブロック図である。
【図２７８】画素内傾斜を説明する図である。
【図２７９】図２７０のＳＤ画像と、そのＳＤ画像の各画素の画素内傾斜を画素値とする特徴量画像を示す図である。
【図２８０】画素内傾斜の算出方法を説明する図である。
【図２８１】画素内傾斜の算出方法を説明する図である。
【図２８２】図２６６の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。
【図２８３】図２８２の画像の生成処理の入力画像クラス分類適応処理の詳細を説明するフローチャートである。
【図２８４】図２８２の画像の生成処理のクラス分類適応処理の補正処理の詳細を説明するフローチャートである。
【図２８５】クラスタップの配置例を説明する図である。
【図２８６】クラス分類の１例を説明する図である。
【図２８７】予測タップ配置例を説明する図である。
【図２８８】図２６８の学習装置の学習処理を説明するフローチャートである。
【図２８９】図２８８の学習処理のクラス分類適応処理用学習処理の詳細を説明するフローチャートである。
【図２９０】図２８８の学習処理のクラス分類適応処理補正用学習処理の詳細を説明するフローチャートである。
【図２９１】図２７０の予測画像と、その予測画像に補正画像を加算した画像（図２６６の画像生成部により生成される画像）を表した図である。
【図２９２】図１の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第１の構成例を説明するブロック図である。
【図２９３】図２９２の信号処理装置の、クラス分類適応処理を実行する画像生成部の構成例を説明するブロック図である。
【図２９４】図２９３の画像生成部に対する学習装置の構成例を説明するブロック図である。
【図２９５】図２９２の構成の信号処理装置が実行する信号の処理を説明するフローチャートである。
【図２９６】図２９５の信号の処理のクラス分類適応処理の実行処理の詳細を説明するフローチャートである。
【図２９７】図２９４の学習装置の学習処理を説明するフローチャートである。
【図２９８】図１の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第２の構成例を説明するブロック図である。
【図２９９】図２９６の構成の信号処理装置が実行する信号の処理を説明するフローチャートである。
【図３００】図１の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第３の構成例を説明するブロック図である。
【図３０１】図２９８の構成の信号処理装置が実行する信号の処理を説明するフローチャートである。
【図３０２】図１の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第４の構成例を説明するブロック図である。
【図３０３】図３００の構成の信号処理装置が実行する信号の処理を説明するフローチャートである。
【図３０４】図１の信号処理装置の実施の形態の他の例である、併用手法を利用する信号処理装置の第５の構成例を説明するブロック図である。
【図３０５】図３０２の構成の信号処理装置が実行する信号の処理を説明するフローチャートである。
【図３０６】データ定常性検出部の他の実施の形態の構成を示すブロック図である。
【図３０７】図３０６のデータ定常性検出部によるデータの定常性の検出処理を説明するフローチャートである。
【符号の説明】
４  信号処理装置，  ２１  ＣＰＵ，  ２２  ＲＯＭ，  ２３  ＲＡＭ，  ２８  記憶部，  ５１  磁気ディスク，  ５２  光ディスク，  ５３  光磁気ディスク，  ５４  半導体メモリ，  １０１  データ定常性検出部，  １０２  実世界推定部，  １０３  画像生成部，  ２０１  非定常成分抽出部，  ２０２  頂点検出部，  ２０３  単調増減検出部，  ２０４  連続性検出部，  ２２１  ブロック抽出部，  ２２２  平面近似部，  ２２３  繰り返し判定部，  ４０１  アクティビティ検出部，  ４０２  データ選択部，  ４０３  誤差推定部，  ４０４  定常方向導出部，  ４１１−１乃至４１１−Ｌ  画素選択部，  ４１２−１乃至４１２−Ｌ  推定誤差算出部，  ４１３  最小誤差角度選択部，  ４２１−１乃至４２１−Ｌ  画素選択部，  ４２２−１乃至４２２−Ｌ  推定誤差算出部，  ４４１  データ選択部，  ４４２  誤差推定部，  ４４３  定常方向導出部，  ４６１−１乃至４６１−Ｌ  画素選択部，  ４６２−１乃至４６２−Ｌ  推定誤差算出部，  ４６３  最小誤差角度選択部，  ４８１−１乃至４８１−３データ定常性検出部，  ４８２  決定部，  ４９１  コンポーネント処理部，４９２  データ定常性検出部，  ５０２  画素取得部，  ５０３  度数検出部，  ５０４  回帰直線演算部，  ５０５  角度算出部，  ６０２  画素取得部，６０３  度数検出部，  ６０４  回帰直線演算部，  ６０５  領域算出部，  ７０１  データ選択部，  ７０２  データ足し込み部，  ７０３  定常方向導出部，  ７１１  水平・垂直判定部，  ７１２  データ取得部，  ７２１  差分足し込み部，  ７２２  ＭａｘＭｉｎ取得部，  ７２３  差分足し込み部，  ７３１  定常方向演算部，  ７５１  データ足し込み部，  ７５２  ＭａｘＭｉｎ取得部，  ７５３  足し込み部，  ７５４  差分演算部，  ７５５  足し込み部，  ７６１  混合比導出部，  ７６２  混合比算出部，  ８０１  角度検出部，  ８０２  実世界推定部，  ８０３  誤差演算部，  ８０４  比較部，  ８２１  動き検出部，８２２  実世界推定部，  ８２３  誤差演算部，  ８２４  比較部，  ２１０１  線幅検出部，  ２１０２  信号レベル推定部，  ２１２１  境界検出部，  ２１３１  分配比算出部，  ２１３２  回帰直線算出部，  ２２０１  実世界推定部，  ２２０２  近似関数推定部，  ２２０３  微分処理部，  ２２１１  参照画素抽出部，  ２２１２  傾き推定部，  ２２３１  実世界推定部，  ２２３２  近似関数推定部，  ２２３３  微分処理部，  ２２５１  参照画素抽出部，２２５２  傾き推定部，  ２３３１  条件設定部，  ２３３２  入力画像記憶部，  ２３３３  入力画素値取得部，  ２３３４  積分成分演算部，  ２３３５  正規方程式生成部，  ２３３６  近似関数生成部，  ２３４１  入力画素値テーブル，  ２３４２  積分成分テーブル，  ２３４３  正規方程式テーブル，  ２４２１  条件設定部，  ２４２２  入力画像記憶部，  ２４２３  入力画素値取得部，２４２４  積分成分演算部，  ２４２５  正規方程式生成部，  ２４２６  近似関数生成部，  ２４３１  入力画素値テーブル，  ２４３２  積分成分テーブル，２４３３  正規方程式テーブル，  ２５２１  条件設定部，  ２５２２  入力画像記憶部，  ２５２３  入力画素値取得部，  ２５２４  積分成分演算部，  ２５２５  正規方程式生成部，  ２５２６  近似関数生成部，  ２５３１  入力画素値テーブル，  ２５３２  積分成分テーブル，  ２５３３  正規方程式テーブル，３１２１  条件設定部，  ３１２２  特徴量記憶部，  ３１２３  積分成分演算部，  ３１２４  出力画素値演算部，  ３１３１  特徴量テーブル，  ３１３２  積分成分テーブル，  ３２０１  条件設定部，  ３２０２  特徴量記憶部，  ３２０３  積分成分演算部，  ３２０４  出力画素値演算部，  ３２１１  特徴量テーブル，  ３２１２  積分成分テーブル，  ３３０１  条件設定部，  ３３０２  特徴量記憶部，  ３３０３  積分成分演算部，  ３３０４  出力画素値演算部，  ３３１１  特徴量テーブル，  ３３１２  積分成分テーブル，  ３２０１  傾き取得部，  ３２０２  外挿補間部，  ３２１１  傾き取得部，  ３２１２  外挿補間部，  ３５０１  クラス分類適応処理部，  ３５０２  クラス分類適応処理補正部，  ３５０３  加算部，  ３５０４  学習装置，  ３５２１  クラス分類適応処理用学習部，  ３５６１  クラス分類適応処理補正用学習部，  ４１０１  データ定常性検出部４１０１  実世界推定部，  ４１０３  画像生成部，  ４１０４  画像生成部，  ４１０５  定常領域検出部，  ４１１１  領域検出部，  ４１１２  セレクタ，  ４１６１  定常領域検出部，  ４１７１  領域検出部，４１７２  実行指令生成部，  ４１８１，４１８２  定常領域検出部，  ４１９１  領域検出部，  ４１９２  実行指令生成部，  ４２０１  領域検出部，  ４２０２  実行指令生成部，  ４５０１  画像生成部
【図１】
2004246524.tif 000395
【図２】
2004246524.tif 000396
【図３】
2004246524.tif 000397
【図４】
2004246524.tif 000398
【図５】
2004246524.tif 000399
【図６】
2004246524.tif 000400
【図７】
2004246524.tif 000401
【図８】
2004246524.tif 000402
【図９】
2004246524.tif 000403
【図１０】
2004246524.tif 000404
【図１１】
2004246524.tif 000405
【図１２】
2004246524.tif 000406
【図１３】
2004246524.tif 000407
【図１４】
2004246524.tif 000408
【図１５】
2004246524.tif 000409
【図１６】
2004246524.tif 000410
【図１７】
2004246524.tif 000411
【図１８】
2004246524.tif 000412
【図１９】
2004246524.tif 000413
【図２０】
2004246524.tif 000414
【図２１】
2004246524.tif 000415
【図２２】
2004246524.tif 000416
【図２３】
2004246524.tif 000417
【図２４】
2004246524.tif 000418
【図２５】
2004246524.tif 000419
【図２６】
2004246524.tif 000420
【図２７】
2004246524.tif 000421
【図２８】
2004246524.tif 000422
【図２９】
2004246524.tif 000423
【図３０】
2004246524.tif 000424
【図３１】
2004246524.tif 000425
【図３２】
2004246524.tif 000426
【図３３】
2004246524.tif 000427
【図３４】
2004246524.tif 000428
【図３５】
2004246524.tif 000429
【図３６】
2004246524.tif 000430
【図３７】
2004246524.tif 000431
【図３８】
2004246524.tif 000432
【図３９】
2004246524.tif 000433
【図４０】
2004246524.tif 000434
【図４１】
2004246524.tif 000435
【図４２】
2004246524.tif 000436
【図４３】
2004246524.tif 000437
【図４４】
2004246524.tif 000438
【図４５】
2004246524.tif 000439
【図４６】
2004246524.tif 000440
【図４７】
2004246524.tif 000441
【図４８】
2004246524.tif 000442
【図４９】
2004246524.tif 000443
【図５０】
2004246524.tif 000444
【図５１】
2004246524.tif 000445
【図５２】
2004246524.tif 000446
【図５３】
2004246524.tif 000447
【図５４】
2004246524.tif 000448
【図５５】
2004246524.tif 000449
【図５６】
2004246524.tif 000450
【図５７】
2004246524.tif 000451
【図５８】
2004246524.tif 000452
【図５９】
2004246524.tif 000453
【図６０】
2004246524.tif 000454
【図６１】
2004246524.tif 000455
【図６２】
2004246524.tif 000456
【図６３】
2004246524.tif 000457
【図６４】
2004246524.tif 000458
【図６５】
2004246524.tif 000459
【図６６】
2004246524.tif 000460
【図６７】
2004246524.tif 000461
【図６８】
2004246524.tif 000462
【図６９】
2004246524.tif 000463
【図７０】
2004246524.tif 000464
【図７１】
2004246524.tif 000465
【図７２】
2004246524.tif 000466
【図７３】
2004246524.tif 000467
【図７４】
2004246524.tif 000468
【図７５】
2004246524.tif 000469
【図７６】
2004246524.tif 000470
【図７７】
2004246524.tif 000471
【図７８】
2004246524.tif 000472
【図７９】
2004246524.tif 000473
【図８０】
2004246524.tif 000474
【図８１】
2004246524.tif 000475
【図８２】
2004246524.tif 000476
【図８３】
2004246524.tif 000477
【図８４】
2004246524.tif 000478
【図８５】
2004246524.tif 000479
【図８６】
2004246524.tif 000480
【図８７】
2004246524.tif 000481
【図８８】
2004246524.tif 000482
【図８９】
2004246524.tif 000483
【図９０】
2004246524.tif 000484
【図９１】
2004246524.tif 000485
【図９２】
2004246524.tif 000486
【図９３】
2004246524.tif 000487
【図９４】
2004246524.tif 000488
【図９５】
2004246524.tif 000489
【図９６】
2004246524.tif 000490
【図９７】
2004246524.tif 000491
【図９８】
2004246524.tif 000492
【図９９】
2004246524.tif 000493
【図１００】
2004246524.tif 000494
【図１０１】
2004246524.tif 000495
【図１０２】
2004246524.tif 000496
【図１０３】
2004246524.tif 000497
【図１０４】
2004246524.tif 000498
【図１０５】
2004246524.tif 000499
【図１０６】
2004246524.tif 000500
【図１０７】
2004246524.tif 000501
【図１０８】
2004246524.tif 000502
【図１０９】
2004246524.tif 000503
【図１１０】
2004246524.tif 000504
【図１１１】
2004246524.tif 000505
【図１１２】
2004246524.tif 000506
【図１１３】
2004246524.tif 000507
【図１１４】
2004246524.tif 000508
【図１１５】
2004246524.tif 000509
【図１１６】
2004246524.tif 000510
【図１１７】
2004246524.tif 000511
【図１１８】
2004246524.tif 000512
【図１１９】
2004246524.tif 000513
【図１２０】
2004246524.tif 000514
【図１２１】
2004246524.tif 000515
【図１２２】
2004246524.tif 000516
【図１２３】
2004246524.tif 000517
【図１２４】
2004246524.tif 000518
【図１２５】
2004246524.tif 000519
【図１２６】
2004246524.tif 000520
【図１２７】
2004246524.tif 000521
【図１２８】
2004246524.tif 000522
【図１２９】
2004246524.tif 000523
【図１３０】
2004246524.tif 000524
【図１３１】
2004246524.tif 000525
【図１３２】
2004246524.tif 000526
【図１３３】
2004246524.tif 000527
【図１３４】
2004246524.tif 000528
【図１３５】
2004246524.tif 000529
【図１３６】
2004246524.tif 000530
【図１３７】
2004246524.tif 000531
【図１３８】
2004246524.tif 000532
【図１３９】
2004246524.tif 000533
【図１４０】
2004246524.tif 000534
【図１４１】
2004246524.tif 000535
【図１４２】
2004246524.tif 000536
【図１４３】
2004246524.tif 000537
【図１４４】
2004246524.tif 000538
【図１４５】
2004246524.tif 000539
【図１４６】
2004246524.tif 000540
【図１４７】
2004246524.tif 000541
【図１４８】
2004246524.tif 000542
【図１４９】
2004246524.tif 000543
【図１５０】
2004246524.tif 000544
【図１５１】
2004246524.tif 000545
【図１５２】
2004246524.tif 000546
【図１５３】
2004246524.tif 000547
【図１５４】
2004246524.tif 000548
【図１５５】
2004246524.tif 000549
【図１５６】
2004246524.tif 000550
【図１５７】
2004246524.tif 000551
【図１５８】
2004246524.tif 000552
【図１５９】
2004246524.tif 000553
【図１６０】
2004246524.tif 000554
【図１６１】
2004246524.tif 000555
【図１６２】
2004246524.tif 000556
【図１６３】
2004246524.tif 000557
【図１６４】
2004246524.tif 000558
【図１６５】
2004246524.tif 000559
【図１６６】
2004246524.tif 000560
【図１６７】
2004246524.tif 000561
【図１６８】
2004246524.tif 000562
【図１６９】
2004246524.tif 000563
【図１７０】
2004246524.tif 000564
【図１７１】
2004246524.tif 000565
【図１７２】
2004246524.tif 000566
【図１７３】
2004246524.tif 000567
【図１７４】
2004246524.tif 000568
【図１７５】
2004246524.tif 000569
【図１７６】
2004246524.tif 000570
【図１７７】
2004246524.tif 000571
【図１７８】
2004246524.tif 000572
【図１７９】
2004246524.tif 000573
【図１８０】
2004246524.tif 000574
【図１８１】
2004246524.tif 000575
【図１８２】
2004246524.tif 000576
【図１８３】
2004246524.tif 000577
【図１８４】
2004246524.tif 000578
【図１８５】
2004246524.tif 000579
【図１８６】
2004246524.tif 000580
【図１８７】
2004246524.tif 000581
【図１８８】
2004246524.tif 000582
【図１８９】
2004246524.tif 000583
【図１９０】
2004246524.tif 000584
【図１９１】
2004246524.tif 000585
【図１９２】
2004246524.tif 000586
【図１９３】
2004246524.tif 000587
【図１９４】
2004246524.tif 000588
【図１９５】
2004246524.tif 000589
【図１９６】
2004246524.tif 000590
【図１９７】
2004246524.tif 000591
【図１９８】
2004246524.tif 000592
【図１９９】
2004246524.tif 000593
【図２００】
2004246524.tif 000594
【図２０１】
2004246524.tif 000595
【図２０２】
2004246524.tif 000596
【図２０３】
2004246524.tif 000597
【図２０４】
2004246524.tif 000598
【図２０５】
2004246524.tif 000599
【図２０６】
2004246524.tif 000600
【図２０７】
2004246524.tif 000601
【図２０８】
2004246524.tif 000602
【図２０９】
2004246524.tif 000603
【図２１０】
2004246524.tif 000604
【図２１１】
2004246524.tif 000605
【図２１２】
2004246524.tif 000606
【図２１３】
2004246524.tif 000607
【図２１４】
2004246524.tif 000608
【図２１５】
2004246524.tif 000609
【図２１６】
2004246524.tif 000610
【図２１７】
2004246524.tif 000611
【図２１８】
2004246524.tif 000612
【図２１９】
2004246524.tif 000613
【図２２０】
2004246524.tif 000614
【図２２１】
2004246524.tif 000615
【図２２２】
2004246524.tif 000616
【図２２３】
2004246524.tif 000617
【図２２４】
2004246524.tif 000618
【図２２５】
2004246524.tif 000619
【図２２６】
2004246524.tif 000620
【図２２７】
2004246524.tif 000621
【図２２８】
2004246524.tif 000622
【図２２９】
2004246524.tif 000623
【図２３０】
2004246524.tif 000624
【図２３１】
2004246524.tif 000625
【図２３２】
2004246524.tif 000626
【図２３３】
2004246524.tif 000627
【図２３４】
2004246524.tif 000628
【図２３５】
2004246524.tif 000629
【図２３６】
2004246524.tif 000630
【図２３７】
2004246524.tif 000631
【図２３８】
2004246524.tif 000632
【図２３９】
2004246524.tif 000633
【図２４０】
2004246524.tif 000634
【図２４１】
2004246524.tif 000635
【図２４２】
2004246524.tif 000636
【図２４３】
2004246524.tif 000637
【図２４４】
2004246524.tif 000638
【図２４５】
2004246524.tif 000639
【図２４６】
2004246524.tif 000640
【図２４７】
2004246524.tif 000641
【図２４８】
2004246524.tif 000642
【図２４９】
2004246524.tif 000643
【図２５０】
2004246524.tif 000644
【図２５１】
2004246524.tif 000645
【図２５２】
2004246524.tif 000646
【図２５３】
2004246524.tif 000647
【図２５４】
2004246524.tif 000648
【図２５５】
2004246524.tif 000649
【図２５６】
2004246524.tif 000650
【図２５７】
2004246524.tif 000651
【図２５８】
2004246524.tif 000652
【図２５９】
2004246524.tif 000653
【図２６０】
2004246524.tif 000654
【図２６１】
2004246524.tif 000655
【図２６２】
2004246524.tif 000656
【図２６３】
2004246524.tif 000657
【図２６４】
2004246524.tif 000658
【図２６５】
2004246524.tif 000659
【図２６６】
2004246524.tif 000660
【図２６７】
2004246524.tif 000661
【図２６８】
2004246524.tif 000662
【図２６９】
2004246524.tif 000663
【図２７０】
2004246524.tif 000664
【図２７１】
2004246524.tif 000665
【図２７２】
2004246524.tif 000666
【図２７３】
2004246524.tif 000667
【図２７４】
2004246524.tif 000668
【図２７５】
2004246524.tif 000669
【図２７６】
2004246524.tif 000670
【図２７７】
2004246524.tif 000671
【図２７８】
2004246524.tif 000672
【図２７９】
2004246524.tif 000673
【図２８０】
2004246524.tif 000674
【図２８１】
2004246524.tif 000675
【図２８２】
2004246524.tif 000676
【図２８３】
2004246524.tif 000677
【図２８４】
2004246524.tif 000678
【図２８５】
2004246524.tif 000679
【図２８６】
2004246524.tif 000680
【図２８７】
2004246524.tif 000681
【図２８８】
2004246524.tif 000682
【図２８９】
2004246524.tif 000683
【図２９０】
2004246524.tif 000684
【図２９１】
2004246524.tif 000685
【図２９２】
2004246524.tif 000686
【図２９３】
2004246524.tif 000687
【図２９４】
2004246524.tif 000688
【図２９５】
2004246524.tif 000689
【図２９６】
2004246524.tif 000690
【図２９７】
2004246524.tif 000691
【図２９８】
2004246524.tif 000692
【図２９９】
2004246524.tif 000693
【図３００】
2004246524.tif 000694
【図３０１】
2004246524.tif 000695
【図３０２】
2004246524.tif 000696
【図３０３】
2004246524.tif 000697
【図３０４】
2004246524.tif 000698
【図３０５】
2004246524.tif 000699
【図３０６】
2004246524.tif 000700
【図３０７】
2004246524.tif 000701