(57)【要約】【課題】現実世界の信号により近似した画像等を得る。【解決手段】実世界推定部１７００３は、処理領域設定部１７００１で設定された処理領域内の画像データの空間方向のうちのｘ方向の位置に対応する各画素の画素値は、スプライン関数で近似した現実世界の光信号に対応する実世界関数が、定常性設定部１７００２で設定された動きベクトルに対応して時間方向に位相シフトしながら移動するモデルを、ｘ方向および時間方向に積分することにより取得された画素値であるとして、実世界関数の推定、即ち、実世界関数を近似するスプライン関数の算出を行う。本発明は、例えば、画像から動きボケを除去する場合に適用できる。【選択図】      図１１３
2005018519.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ時空間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内のオブジェクトの動きベクトルを設定する動きベクトル設定手段と、
前記画像データの空間方向のうちの所定の１次元方向の位置に対応する各画素の画素値は、スプライン関数で近似した前記現実世界の光信号に対応する実世界関数が、前記動きベクトルに対応して時間方向に位相シフトしながら移動するモデルを、前記所定の１次元方向および時間方向に積分することにより取得された画素値であるとして、前記実世界関数を推定する実世界推定手段と
を備えることを特徴とする信号処理装置。
【請求項２】
前記実世界推定手段は、
前記画像データの空間方向のうちの前記所定の１次元方向の位置に対応する各画素の画素値は、スプライン関数で近似した前記現実世界の光信号に対応する実世界関数が、前記動きベクトルに対応して時間方向に位相シフトしながら移動するモデルを、前記所定の１次元方向および時間方向に積分することにより取得された画素値であるとして、前記画像データ内の各画素の画素値と前記実世界関数との関係をモデル化した関係モデルを生成するモデル生成手段と、
前記モデル生成手段により生成された関係モデルに対して前記画像データ内の各画素の画素値を代入して方程式を生成する方程式生成手段と、
前記方程式生成手段により生成された方程式を演算することにより、前記現実世界の光信号に対応する前記実世界関数を推定する実世界波形推定手段と
を有する
ことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記モデル生成手段は、前記画像データの領域の外側における前記実世界関数のレベルが一定値であるとして、前記関係モデルを生成する
ことを特徴とする請求項２に記載の信号処理装置。
【請求項４】
前記実世界関数の推定結果である、前記実世界関数を近似する近似モデルを、前記所定の１次元方向および時間方向に、所定の単位で積分することにより、前記画像データ内のオブジェクトの動きボケを除去した画素値でなる画像を生成する画像生成手段をさらに備える
ことを特徴とする請求項２に記載の信号処理装置。
【請求項５】
それぞれ時空間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内のオブジェクトの動きベクトルを設定する動きベクトル設定ステップと、
前記画像データの空間方向のうちの所定の１次元方向の位置に対応する各画素の画素値は、スプライン関数で近似した前記現実世界の光信号に対応する実世界関数が、前記動きベクトルに対応して時間方向に位相シフトしながら移動するモデルを、前記所定の１次元方向および時間方向に積分することにより取得された画素値であるとして、前記実世界関数を推定する実世界推定ステップと
を備えることを特徴とする信号処理方法。
【請求項６】
コンピュータに所定の信号処理を行わせるプログラムにおいて、
それぞれ時空間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内のオブジェクトの動きベクトルを設定する動きベクトル設定ステップと、
前記画像データの空間方向のうちの所定の１次元方向の位置に対応する各画素の画素値は、スプライン関数で近似した前記現実世界の光信号に対応する実世界関数が、前記動きベクトルに対応して時間方向に位相シフトしながら移動するモデルを、前記所定の１次元方向および時間方向に積分することにより取得された画素値であるとして、前記実世界関数を推定する実世界推定ステップと
を備えることを特徴とするプログラム。
【請求項７】
コンピュータに所定の信号処理を行わせるプログラムが記録されている記録媒体において、
それぞれ時空間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内のオブジェクトの動きベクトルを設定する動きベクトル設定ステップと、
前記画像データの空間方向のうちの所定の１次元方向の位置に対応する各画素の画素値は、スプライン関数で近似した前記現実世界の光信号に対応する実世界関数が、前記動きベクトルに対応して時間方向に位相シフトしながら移動するモデルを、前記所定の１次元方向および時間方向に積分することにより取得された画素値であるとして、前記実世界関数を推定する実世界推定ステップと
を備えるプログラムが記録されている
ことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、信号処理装置および信号処理方法、並びにプログラムおよび記録媒体に関し、特に、現実世界の信号により近似した画像等を得ることができるようにする信号処理装置および信号処理方法、並びにプログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
実世界（現実世界）における事象をセンサで検出し、センサが出力するサンプリングデータを処理する技術が広く利用されている。例えば、実世界をイメージセンサで撮像し、画像データであるサンプリングデータを処理する画像処理技術が広く利用されている。
【０００３】
また、第１の次元を有する現実世界の信号である第１の信号をセンサによって検出することにより得た、第１の次元に比較し次元が少ない第２の次元を有し、第１の信号に対する歪を含む第２の信号を取得し、第２の信号に基づく信号処理を行うことにより、第２の信号に比して歪の軽減された第３の信号を生成するようにしているものもある（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開２００１−２５０１１９号公報。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来においては、現実世界の信号の定常性を考慮した信号処理が行われていなかったため、現実世界の信号により近似した画像等を得ることが困難であることがあった。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、現実世界の信号により近似した画像等を得ることができるようにするものである。
【０００７】
【課題を解決するための手段】
本発明の信号処理装置は、それぞれ時空間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内のオブジェクトの動きベクトルを設定する動きベクトル設定手段と、画像データの空間方向のうちの所定の１次元方向の位置に対応する各画素の画素値は、スプライン関数で近似した現実世界の光信号に対応する実世界関数が、動きベクトルに対応して時間方向に位相シフトしながら移動するモデルを、所定の１次元方向および時間方向に積分することにより取得された画素値であるとして、実世界関数を推定する実世界推定手段とを備えることを特徴とする。
【０００８】
本発明の信号処理方法は、それぞれ時空間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内のオブジェクトの動きベクトルを設定する動きベクトル設定ステップと、画像データの空間方向のうちの所定の１次元方向の位置に対応する各画素の画素値は、スプライン関数で近似した現実世界の光信号に対応する実世界関数が、動きベクトルに対応して時間方向に位相シフトしながら移動するモデルを、所定の１次元方向および時間方向に積分することにより取得された画素値であるとして、実世界関数を推定する実世界推定ステップとを備えることを特徴とする。
【０００９】
本発明プログラムは、それぞれ時空間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内のオブジェクトの動きベクトルを設定する動きベクトル設定ステップと、画像データの空間方向のうちの所定の１次元方向の位置に対応する各画素の画素値は、スプライン関数で近似した現実世界の光信号に対応する実世界関数が、動きベクトルに対応して時間方向に位相シフトしながら移動するモデルを、所定の１次元方向および時間方向に積分することにより取得された画素値であるとして、実世界関数を推定する実世界推定ステップとを備えることを特徴とする。
【００１０】
本発明の記録媒体は、それぞれ時空間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内のオブジェクトの動きベクトルを設定する動きベクトル設定ステップと、画像データの空間方向のうちの所定の１次元方向の位置に対応する各画素の画素値は、スプライン関数で近似した現実世界の光信号に対応する実世界関数が、動きベクトルに対応して時間方向に位相シフトしながら移動するモデルを、所定の１次元方向および時間方向に積分することにより取得された画素値であるとして、実世界関数を推定する実世界推定ステップとを備えるプログラムが記録されていることを特徴とする。
【００１１】
本発明の信号処理装置および信号処理方法、並びにプログラムおよび記録媒体においては、それぞれ時空間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内のオブジェクトの動きベクトルが設定され、画像データの空間方向のうちの所定の１次元方向の位置に対応する各画素の画素値は、スプライン関数で近似した現実世界の光信号に対応する実世界関数が、動きベクトルに対応して時間方向に位相シフトしながら移動するモデルを、所定の１次元方向および時間方向に積分することにより取得された画素値であるとして、実世界関数が推定される。
【００１２】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１３】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００１４】
請求項１に記載の信号処理装置は、それぞれ時空間積分効果を有する複数の画素に現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した画像データ内のオブジェクトの動きベクトルを設定する動きベクトル設定手段（例えば、図１１３の定常性設定部１７００２）と、画像データの空間方向のうちの所定の１次元方向の位置に対応する各画素の画素値は、スプライン関数で近似した現実世界の光信号に対応する実世界関数が、動きベクトルに対応して時間方向に位相シフトしながら移動するモデルを、所定の１次元方向および時間方向に積分することにより取得された画素値であるとして、実世界関数を推定する実世界推定手段（例えば、図１１３の実世界推定部１７００３）とを備えることを特徴とする。
【００１５】
請求項２に記載の信号処理装置は、実世界推定手段は、画像データの空間方向のうちの所定の１次元方向の位置に対応する各画素の画素値は、スプライン関数で近似した現実世界の光信号に対応する実世界関数が、動きベクトルに対応して時間方向に位相シフトしながら移動するモデルを、所定の１次元方向および時間方向に積分することにより取得された画素値であるとして、画像データ内の各画素の画素値と実世界関数との関係をモデル化した関係モデルを生成するモデル生成手段（例えば、図１１３のモデル生成部１７０１１）と、モデル生成手段により生成された関係モデルに対して画像データ内の各画素の画素値を代入して方程式を生成する方程式生成手段（例えば、図１１３の方程式生成部１７０１２）と、方程式生成手段により生成された方程式を演算することにより、現実世界の光信号に対応する実世界関数を推定する実世界波形推定手段（例えば、図１１３の実世界波形推定部１７０１３）とを有することを特徴とする。
【００１６】
請求項４に記載の信号処理装置は、実世界関数の推定結果である、実世界関数を近似する近似モデルを、所定の１次元方向および時間方向に、所定の単位で積分することにより、画像データ内のオブジェクトの動きボケを除去した画素値でなる画像を生成する画像生成手段（例えば、図１１３の画像生成部１７００４）をさらに備えることを特徴とする。
【００１７】
図１は、本発明の原理を表している。同図で示されるように、空間、時間、および質量の次元を有する実世界１の事象（現象）は、センサ２により取得され、データ化される。実世界１の事象とは、光（画像）、音声、圧力、温度、質量、濃度、明るさ／暗さ、またはにおいなどをいう。実世界１の事象は、時空間方向に分布している。例えば、実世界１の画像は、実世界１の光の強度の時空間方向の分布である。
【００１８】
センサ２に注目すると、空間、時間、および質量の次元を有する実世界１の事象のうち、センサ２が取得可能な、実世界１の事象が、センサ２により、データ３に変換される。センサ２によって、実世界１の事象を示す情報が取得されるとも言える。
【００１９】
すなわち、センサ２は、実世界１の事象を示す情報を、データ３に変換する。空間、時間、および質量の次元を有する実世界１の事象（現象）を示す情報である信号がセンサ２により取得され、データ化されるとも言える。
【００２０】
以下、実世界１における、画像、音声、圧力、温度、質量、濃度、明るさ／暗さ、またはにおいなどの事象の分布を、実世界１の事象を示す情報である信号とも称する。また、実世界１の事象を示す情報である信号を、単に、実世界１の信号とも称する。本明細書において、信号は、現象および事象を含み、送信側に意思がないものも含むものとする。
【００２１】
センサ２から出力されるデータ３（検出信号）は、実世界１の事象を示す情報を、実世界１に比較して、より低い次元の時空間に射影して得られた情報である。例えば、動画像の画像データであるデータ３は、実世界１の３次元の空間方向および時間方向の画像が、２次元の空間方向、および時間方向からなる時空間に射影されて得られた情報である。また、例えば、データ３がデジタルデータであるとき、データ３は、サンプリングの単位に応じて、丸められている。データ３がアナログデータであるとき、データ３において、ダイナミックレンジに応じて、情報が圧縮されているか、またはリミッタなどにより、情報の一部が削除されている。
【００２２】
このように、所定の次元を有する実世界１の事象を示す情報である信号をデータ３（検出信号）に射影することにより、実世界１の事象を示す情報の一部が欠落する。すなわち、センサ２が出力するデータ３において、実世界１の事象を示す情報の一部が欠落している。
【００２３】
しかしながら、射影により実世界１の事象を示す情報の一部が欠落しているものの、データ３は、実世界１の事象（現象）を示す情報である信号を推定するための有意情報を含んでいる。
【００２４】
本発明においては、実世界１の情報である信号を推定するための有意情報として、実世界１またはデータ３に含まれる定常性を有する情報を利用する。定常性は、新たに定義する概念である。
【００２５】
ここで、実世界１に注目すると、実世界１の事象は、所定の次元の方向に一定の特徴を含む。例えば、実世界１の物体（有体物）において、空間方向または時間方向に、形状、模様、若しくは色彩などが連続するか、または形状、模様、若しくは色彩などのパターンが繰り返す。
【００２６】
従って、実世界１の事象を示す情報には、所定の次元の方向に一定の特徴が含まれることになる。
【００２７】
より具体的な例を挙げれば、糸、紐、またはロープなどの線状の物体は、長さ方向の任意の位置において、断面形状が同じであるという長さ方向、すなわち空間方向に一定の特徴を有する。長さ方向の任意の位置において、断面形状が同じであるという空間方向に一定の特徴は、線状の物体が長いという特徴から生じる。
【００２８】
従って、線状の物体の画像は、長さ方向の任意の位置において、断面形状が同じであるという長さ方向、すなわち空間方向に一定の特徴を有している。
【００２９】
また、空間方向に広がりを有する有体物である、単色の物体は、部位にかかわらず、同一の色を有するという空間方向に一定の特徴を有していると言える。
【００３０】
同様に、空間方向に広がりを有する有体物である、単色の物体の画像は、部位にかかわらず、同一の色を有するという空間方向に一定の特徴を有している。
【００３１】
このように、実世界１（現実世界）の事象は、所定の次元の方向に一定の特徴を有しているので、実世界１の信号は、所定の次元の方向に一定の特徴を有する。
【００３２】
本明細書において、このような所定の次元の方向に一定の特徴を定常性と称する。実世界１（現実世界）の信号の定常性とは、実世界１（現実世界）の事象を示す信号が有している、所定の次元の方向に一定の特徴をいう。
【００３３】
実世界１（現実世界）には、このような定常性が無数に存在する。
【００３４】
次に、データ３に注目すると、データ３は、センサ２により、所定の次元を有する実世界１の事象を示す情報である信号が射影されたものであるので、実世界の信号の定常性に対応する定常性を含んでいる。データ３は、実世界の信号の定常性が射影された定常性を含んでいるとも言える。
【００３５】
しかしながら、上述したように、センサ２が出力するデータ３において、実世界１の情報の一部が欠落しているので、データ３から、実世界１（現実世界）の信号に含まれる定常性の一部が欠落し得る。
【００３６】
換言すれば、データ３は、データの定常性として、実世界１（現実世界）の信号の定常性の中の、少なくとも一部の定常性を含む。データの定常性とは、データ３が有している、所定の次元の方向に一定の特徴である。
【００３７】
本発明においては、実世界１の事象を示す情報である信号を推定するための有意情報として、実世界１の信号の定常性、またはデータ３が有する、データの定常性が利用される。
【００３８】
例えば、信号処理装置４においては、データの定常性を利用して、データ３を信号処理することで、欠落した、実世界１の事象を示す情報が生成される。
【００３９】
なお、信号処理装置４においては、実世界１の事象を示す情報である信号の次元の、長さ（空間）、時間、および質量のうち、空間方向または時間方向の定常性が利用される。
【００４０】
図１において、センサ２は、例えば、デジタルスチルカメラ、またはビデオカメラなどで構成され、実世界１の画像を撮像し、得られたデータ３である画像データを信号処理装置４に出力する。センサ２は、例えば、サーモグラフィ装置、または光弾性を利用した圧力センサなどとすることができる。
【００４１】
信号処理装置４は、例えば、パーソナルコンピュータなどで構成され、データ３を対象とした信号処理を行う。
【００４２】
信号処理装置４は、例えば、図２で示されるように構成される。ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２２、または記憶部２８に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２３には、ＣＰＵ２１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ２１、ＲＯＭ２２、およびＲＡＭ２３は、バス２４により相互に接続されている。
【００４３】
ＣＰＵ２１にはまた、バス２４を介して入出力インタフェース２５が接続されている。入出力インタフェース２５には、キーボード、マウス、マイクロホンなどよりなる入力部２６、ディスプレイ、スピーカなどよりなる出力部２７が接続されている。ＣＰＵ２１は、入力部２６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ２１は、処理の結果得られた画像や音声等を出力部２７に出力する。
【００４４】
入出力インタフェース２５に接続されている記憶部２８は、例えばハードディスクなどで構成され、ＣＰＵ２１が実行するプログラムや各種のデータを記憶する。通信部２９は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部２９はセンサ２の出力するデータ３を取り込む取得部として働く。
【００４５】
また、通信部２９を介してプログラムを取得し、記憶部２８に記憶してもよい。
【００４６】
入出力インタフェース２５に接続されているドライブ３０は、磁気ディスク５１、光ディスク５２、光磁気ディスク５３、或いは半導体メモリ５４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２８に転送され、記憶される。
【００４７】
図３は、信号処理装置４を示すブロック図である。
【００４８】
なお、信号処理装置４の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えても良い。
【００４９】
図３に構成を示す信号処理装置４においては、データ３の一例である画像データが入力され、入力された画像データ（入力画像）からデータの定常性が検出される。次に、検出されたデータの定常性から、センサ２により取得された実世界１の信号が推定される。そして、推定された実世界１の信号を基に、画像が生成され、生成された画像（出力画像）が出力される。すなわち、図３は、画像処理装置である信号処理装置４の構成を示す図である。
【００５０】
信号処理装置４に入力された入力画像（データ３の一例である画像データ）は、データ定常性検出部１０１および実世界推定部１０２に供給される。
【００５１】
データ定常性検出部１０１は、入力画像からデータの定常性を検出して、検出した定常性を示すデータ定常性情報を実世界推定部１０２および画像生成部１０３に供給する。データ定常性情報は、例えば、入力画像における、データの定常性を有する画素の領域の位置、データの定常性を有する画素の領域の方向（時間方向および空間方向の角度または傾き）、またはデータの定常性を有する画素の領域の長さなどを含む。データ定常性検出部１０１の構成の詳細は、後述する。
【００５２】
実世界推定部１０２は、入力画像、およびデータ定常性検出部１０１から供給されたデータ定常性情報を基に、実世界１の信号を推定する。すなわち、実世界推定部１０２は、入力画像が取得されたときセンサ２に入射された、実世界の信号である画像を推定する。実世界推定部１０２は、実世界１の信号の推定の結果を示す実世界推定情報を画像生成部１０３に供給する。実世界推定部１０２の構成の詳細は、後述する。
【００５３】
画像生成部１０３は、実世界推定部１０２から供給された、推定された実世界１の信号を示す実世界推定情報を基に、実世界１の信号により近似した信号を生成して、生成した信号を出力する。または、画像生成部１０３は、データ定常性検出部１０１から供給されたデータ定常性情報、および実世界推定部１０２から供給された、推定された実世界１の信号を示す実世界推定情報を基に、実世界１の信号により近似した信号を生成して、生成した信号を出力する。
【００５４】
すなわち、画像生成部１０３は、実世界推定情報を基に、実世界１の画像により近似した画像を生成して、生成した画像を出力画像として出力する。または、画像生成部１０３は、データ定常性情報および実世界推定情報を基に、実世界１の画像により近似した画像を生成して、生成した画像を出力画像として出力する。
【００５５】
例えば、画像生成部１０３は、実世界推定情報を基に、推定された実世界１の画像を所望の空間方向または時間方向の範囲で積分することにより、入力画像に比較して、空間方向または時間方向により高解像度の画像を生成して、生成した画像を出力画像として出力する。例えば、画像生成部１０３は、外挿補間により、画像を生成して、生成した画像を出力画像として出力する。
【００５６】
画像生成部１０３の構成の詳細は、後述する。
【００５７】
次に、図４を参照して、本発明の原理を説明する。
【００５８】
例えば、画像である、実世界１の信号は、センサ２の一例であるＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）の受光面に結像される。センサ２の一例であるＣＣＤは、積分特性を有しているので、ＣＣＤから出力されるデータ３には、実世界１の画像との差が生じることになる。センサ２の積分特性の詳細については、後述する。
【００５９】
信号処理装置４による信号処理においては、ＣＣＤにより取得された実世界１の画像と、ＣＣＤにより撮像され、出力されたデータ３との関係が明確に考慮される。すなわち、データ３と、センサ２で取得された実世界の情報である信号との関係が明確に考慮される。
【００６０】
より具体的には、図４で示されるように、信号処理装置４は、モデル１６１を用いて、実世界１を近似（記述）する。モデル１６１は、例えば、Ｎ個の変数で表現される。より正確には、モデル１６１は、実世界１の信号を近似（記述）する。
【００６１】
モデル１６１を予測するために、信号処理装置４は、データ３から、Ｍ個のデータ１６２を抽出する。データ３から、Ｍ個のデータ１６２を抽出するとき、信号処理装置４は、例えば、データ３に含まれるデータの定常性を利用する。換言すれば、信号処理装置４は、データ３に含まれるデータの定常性を基に、モデル１６１を予測するためのデータ１６２を抽出する。この場合、結果的に、モデル１６１は、データの定常性に拘束されることになる。
【００６２】
すなわち、モデル１６１は、センサ２で取得されたとき、データ３においてデータの定常性を生じさせる、定常性（所定の次元の方向に一定の特徴）を有する実世界１の事象（を示す情報（信号））を近似する。
【００６３】
ここで、データ１６２の数Ｍが、モデルの変数の数Ｎ以上であれば、Ｍ個のデータ１６２から、Ｎ個の変数で表現されるモデル１６１を予測することができる。
【００６４】
このように、実世界１（の信号）を近似（記述）するモデル１６１を予測することにより、信号処理装置４は、実世界１の情報である信号を考慮することができる。
【００６５】
次に、センサ２の積分効果について説明する。
【００６６】
画像を撮像するセンサ２である、ＣＣＤまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどのイメージセンサは、現実世界を撮像するとき、現実世界の情報である信号を２次元のデータに投影する。イメージセンサの各画素は、いわゆる受光面（受光領域）として、それぞれ所定の面積を有する。所定の面積を有する受光面に入射した光は、画素毎に、空間方向および時間方向に積分され、各画素に対して１つの画素値に変換される。
【００６７】
図５乃至図８を参照して、画像の空間的時間的な積分について説明する。
【００６８】
イメージセンサは、現実世界の対象物（オブジェクト）を撮像し、撮像の結果得られた画像データを１フレーム単位で出力する。すなわち、イメージセンサは、実世界１の対象物で反射された光である、実世界１の信号を取得し、データ３を出力する。
【００６９】
例えば、イメージセンサは、１秒間に３０フレームからなる画像データを出力する。この場合、イメージセンサの露光時間は、１／３０秒とすることができる。露光時間は、イメージセンサが入射された光の電荷への変換を開始してから、入射された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。
【００７０】
図５は、イメージセンサ上の画素の配置の例を説明する図である。図５中において、Ａ乃至Ｉは、個々の画素を示す。画素は、画像データにより表示される画像に対応する平面上に配置されている。１つの画素に対応する１つの検出素子は、イメージセンサ上に配置されている。イメージセンサが実世界１の画像を撮像するとき、１つの検出素子は、画像データを構成する１つの画素に対応する１つの画素値を出力する。例えば、検出素子の空間方向Ｘの位置（Ｘ座標）は、画像データにより表示される画像上の横方向の位置に対応し、検出素子の空間方向Ｙの位置（Ｙ座標）は、画像データにより表示される画像上の縦方向の位置に対応する。
【００７１】
実世界１の光の強度の分布は、３次元の空間方向および時間方向に広がりを有するが、イメージセンサは、２次元の空間方向および時間方向で、実世界１の光を取得し、２次元の空間方向および時間方向の光の強度の分布を表現するデータ３を生成する。
【００７２】
図６で示されるように、例えば、ＣＣＤである検出素子は、シャッタ時間に対応する期間、受光面（受光領域）（検出領域）に入力された光を電荷に変換して、変換された電荷を蓄積する。光は、３次元の空間上の位置、および時刻により、強度が決定される実世界１の情報（信号）である。実世界１の光の強度の分布は、３次元の空間上の位置ｘ，ｙ、およびｚ、並びに時刻ｔを変数とする関数Ｆ（ｘ，ｙ，ｚ，ｔ）で表すことができる。
【００７３】
ＣＣＤである検出素子に蓄積される電荷の量は、２次元の空間上の広がりを有する受光面の全体に入射された光の強さと、光が入射されている時間にほぼ比例する。検出素子は、シャッタ時間に対応する期間において、受光面の全体に入射された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャッタ時間に対応する期間、２次元の空間上の広がりを有する受光面の全体に入射される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、空間（受光面）および時間（シャッタ時間）に対して、積分効果があるとも言える。
【００７４】
検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値はさらにデジタルデータなどの画素値に変換されて、データ３として出力される。従って、イメージセンサから出力される個々の画素値は、実世界１の情報（信号）の時間的空間的に広がりを有するある部分を、シャッタ時間の時間方向および検出素子の受光面の空間方向について積分した結果である、１次元の空間に射影した値を有する。
【００７５】
すなわち、１つの画素の画素値は、Ｆ（ｘ，ｙ，ｔ）の積分で表される。Ｆ（ｘ，ｙ，ｔ）は、検出素子の受光面における、光の強度の分布を表す関数である。例えば、画素値Ｐは、式（１）で表される。
【００７６】
【数１】
2005018519.tif 000003
2005018519.tif 000004
【００７７】
式（１）において、ｘ１は、検出素子の受光面の左側の境界の空間座標（Ｘ座標）である。ｘ２は、検出素子の受光面の右側の境界の空間座標（Ｘ座標）である。式（１）において、ｙ１は、検出素子の受光面の上側の境界の空間座標（Ｙ座標）である。ｙ２は、検出素子の受光面の下側の境界の空間座標（Ｙ座標）である。また、ｔ１は、入射された光の電荷への変換を開始した時刻である。ｔ２は、入射された光の電荷への変換を終了した時刻である。
【００７８】
なお、実際には、イメージセンサから出力される画像データの画素値は、例えばフレーム全体として、そのゲインが補正されている。
【００７９】
画像データの各画素値は、イメージセンサの各検出素子の受光面に入射した光の積分値であり、イメージセンサに入射された光のうち、検出素子の受光面よりも微小な実世界１の光の波形は、積分値としての画素値に隠されてしまう。
【００８０】
以下、本明細書において、所定の次元を基準として表現される信号の波形を単に波形とも称する。
【００８１】
このように、実世界１の画像（光信号）は、画素を単位として、空間方向および時間方向に積分されてしまうので、画像データにおいては、実世界１の画像の定常性の一部が欠落し、実世界１の画像の定常性の他の一部が画像データに含まれることになる。または、画像データには、実世界１の画像の定常性から変化してしまった定常性が含まれることがある。
【００８２】
積分効果を有するイメージセンサにより撮像された画像の、空間方向の積分効果についてさらに説明する。
【００８３】
図７は、画素Ｄ乃至画素Ｆに対応する検出素子に入射される光と、画素値との関係を説明する図である。図７のＦ（ｘ）は、空間上（検出素子上）の空間方向Ｘの座標ｘを変数とする、実世界１の光の強度の分布を表す関数の例である。言い換えれば、Ｆ（ｘ）は、空間方向Ｙおよび時間方向に一定である場合の、実世界１の光の強度の分布を表す関数の例である。図７において、Ｌは、画素Ｄ乃至画素Ｆに対応する検出素子の受光面の空間方向Ｘの長さを示す。
【００８４】
１つの画素の画素値は、Ｆ（ｘ）の積分で表される。例えば、画素Ｅの画素値Ｐは、式（２）で表される。
【００８５】
【数２】
2005018519.tif 000005
2005018519.tif 000006
【００８６】
式（２）において、ｘ１は、画素Ｅに対応する検出素子の受光面の左側の境界の空間方向Ｘの空間座標である。ｘ２は、画素Ｅに対応する検出素子の受光面の右側の境界の空間方向Ｘの空間座標である。
【００８７】
同様に、積分効果を有するイメージセンサにより撮像された画像の、時間方向の積分効果についてさらに説明する。
【００８８】
図８は、時間の経過と、１つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。図８のＦ（ｔ）は、時刻ｔを変数とする、実世界１の光の強度の分布を表す関数である。言い換えれば、Ｆ（ｔ）は、空間方向Ｙおよび空間方向Ｘに一定である場合の、実世界１の光の強度の分布を表す関数の例である。ｔｓは、シャッタ時間を示す。
【００８９】
フレーム＃ｎ−１は、フレーム＃ｎに対して時間的に前のフレームであり、フレーム＃ｎ＋１は、フレーム＃ｎに対して時間的に後のフレームである。すなわち、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１は、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１の順で表示される。
【００９０】
なお、図８で示される例において、シャッタ時間ｔｓとフレーム間隔とが同一である。
【００９１】
１つの画素の画素値は、Ｆ（ｔ）の積分で表される。例えば、フレーム＃ｎの画素の画素値Ｐは、式（３）で表される。
【００９２】
【数３】
2005018519.tif 000007
2005018519.tif 000008
【００９３】
式（３）において、ｔ１は、入射された光の電荷への変換を開始した時刻である。ｔ２は、入射された光の電荷への変換を終了した時刻である。
【００９４】
以下、センサ２による空間方向の積分効果を単に空間積分効果と称し、センサ２による時間方向の積分効果を単に時間積分効果と称する。また、空間積分効果または時間積分効果を単に積分効果とも称する。
【００９５】
次に、積分効果を有するイメージセンサにより取得されたデータ３に含まれるデータの定常性の例について説明する。
【００９６】
図９は、実世界１の線状の物（例えば、細線）の画像、すなわち光の強度の分布の例を示す図である。図９において、図中の上側の位置は、光の強度（レベル）を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向Ｘの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向Ｙの位置を示す。
【００９７】
実世界１の線状の物の画像には、所定の定常性が含まれる。すなわち、図９で示される画像は、長さ方向の任意の位置において、断面形状（長さ方向に直交する方向の位置の変化に対するレベルの変化）が同じであるという定常性を有する。
【００９８】
図１０は、図９で示される画像に対応する、実際の撮像により得られた画像データの画素値の例を示す図である。
【００９９】
即ち、図１０は、イメージセンサの画素の並び（画素の縦または横の並び）とずれた方向に延びる、各画素の受光面の長さＬよりも短い径の線状の物の画像を、イメージセンサで撮像して得られた画像データの模式図である。図１０で示される画像データが取得されたときにイメージセンサに入射された画像は、図９の実世界１の線状の物の画像である。
【０１００】
図１０において、図中の上側の位置は、画素値を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向Ｘの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向Ｙの位置を示す。図１０における画素値を示す方向は、図９におけるレベルの方向に対応し、図１０における空間方向Ｘ、および空間方向Ｙは、図９における方向と同じである。
【０１０１】
各画素の受光面の長さＬよりも短い径の線状の物の画像を、イメージセンサで撮像した場合、撮像の結果得られる画像データにおいて、線状の物は、模式的に、例えば、斜めにずれて並ぶ、複数の所定の長さの円弧形状（かまぼこ型）で表される。各円弧形状は、ほぼ同じ形状である。１つの円弧形状は、縦に１列の画素の上、または横に１列の画素の上に形成される。例えば、図１０における１つの円弧形状は、縦に１列の画素の上に形成される。
【０１０２】
このように、例えば、イメージセンサで撮像されて取得された画像データにおいては、実世界１の線状の物の画像が有していた、長さ方向の任意の位置において、空間方向Ｙにおける断面形状が同じであるという定常性が失われている。また、実世界１の線状の物の画像が有していた定常性は、縦に１列の画素の上、または横に１列の画素の上に形成された、同じ形状である円弧形状が一定の間隔で並ぶという定常性に変化していると言える。
【０１０３】
図１１は、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像、すなわち光の強度の分布の例を示す図である。図１１において、図中の上側の位置は、光の強度（レベル）を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向Ｘの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向Ｙの位置を示す。
【０１０４】
背景とは異なる色の、直線状の縁を有する物の実世界１の画像には、所定の定常性が含まれる。すなわち、図１１で示される画像は、縁の長さ方向の任意の位置において、断面形状（縁に直交する方向の位置の変化に対するレベルの変化）が同じであるという定常性を有する。
【０１０５】
図１２は、図１１で示される画像に対応する、実際の撮像により得られた画像データの画素値の例を示す図である。図１２で示されるように、画像データは、画素を単位とした画素値からなるので、階段状になる。
【０１０６】
図１３は、図１２に示す画像データの模式図である。
【０１０７】
図１３で示される模式図は、イメージセンサの画素の並び（画素の縦または横の並び）とずれた方向に縁が延びる、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像を、イメージセンサで撮像して得られた画像データの模式図である。図１３で示される画像データが取得されたときにイメージセンサに入射された画像は、図１１で示される、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像である。
【０１０８】
図１３において、図中の上側の位置は、画素値を示し、図中の右上側の位置は、画像の空間方向の一方向である空間方向Ｘの位置を示し、図中の右側の位置は、画像の空間方向の他の方向である空間方向Ｙの位置を示す。図１３における画素値を示す方向は、図１１におけるレベルの方向に対応し、図１３における空間方向Ｘ、および空間方向Ｙは、図１１における方向と同じである。
【０１０９】
背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像を、イメージセンサで撮像した場合、撮像の結果得られる画像データにおいて、直線状の縁は、模式的に、例えば、斜めにずれて並ぶ、複数の所定の長さのつめ（ｐａｗｌ）形状で表される。各つめ形状は、ほぼ同じ形状である。１つのつめ形状は、縦に１列の画素の上、または横に１列の画素の上に形成される。例えば、図１３において、１つのつめ形状は、縦に１列の画素の上に形成される。
【０１１０】
このように、例えば、イメージセンサで撮像されて取得された画像データにおいては、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像が有していた、縁の長さ方向の任意の位置において、断面形状が同じであるという定常性が失われている。また、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像が有していた定常性は、縦に１列の画素の上、または横に１列の画素の上に形成された、同じ形状であるつめ形状が一定の間隔で並ぶという定常性に変化していると言える。
【０１１１】
データ定常性検出部１０１は、このような、例えば、入力画像であるデータ３が有するデータの定常性を検出する。例えば、データ定常性検出部１０１は、所定の次元の方向に一定の特徴を有する領域を検出することにより、データの定常性を検出する。例えば、データ定常性検出部１０１は、図１０で示される、同じ円弧形状が一定の間隔で並ぶ領域を検出する。また、例えば、データ定常性検出部１０１は、図１３で示される、同じつめ形状が一定の間隔で並ぶ領域を検出する。
【０１１２】
また、データ定常性検出部１０１は、同様の形状の並び方を示す、空間方向の角度（傾き）を検出することにより、データの定常性を検出する。
【０１１３】
また、例えば、データ定常性検出部１０１は、空間方向および時間方向の同様の形状の並び方を示す、空間方向および時間方向の角度（動き）を検出することにより、データの定常性を検出する。
【０１１４】
さらに、例えば、データ定常性検出部１０１は、所定の次元の方向に一定の特徴を有する領域の長さを検出することにより、データの定常性を検出する。
【０１１５】
以下、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像がセンサ２により射影されたデータ３の部分を２値エッジとも称する。
【０１１６】
ここで、従来の信号処理においては、データ３から、例えば、所望の高解像度データが生成される。
【０１１７】
これに対して、信号処理装置４による信号処理においては、データ３から、実世界１が推定され、推定の結果に基づいて、高解像度データが生成される。すなわち、実世界１が、データ３から推定され、高解像度データが、データ３を考慮して、推定された実世界１から高解像度データが生成される。
【０１１８】
実世界１から高解像度データを生成するためには、実世界１とデータ３との関係を考慮する必要がある。例えば、実世界１が、ＣＣＤであるセンサ２により、データ３に射影されるとどうなるかが考慮される。
【０１１９】
ＣＣＤであるセンサ２は、上述したように、積分特性を有する。すなわち、データ３の１つの単位（例えば、画素値）は、実世界１の信号をセンサ２の検出素子（例えば、ＣＣＤ）の検出領域（例えば、受光面）で積分することにより算出することができる。
【０１２０】
これを高解像度データについて当てはめると、仮想的な高解像度のセンサが実世界１の信号をデータ３に射影する処理を、推定された実世界１に適用することにより、高解像度データを得ることができる。
【０１２１】
換言すれば、データ３から実世界１の信号を推定できれば、実世界１の信号を、仮想的な高解像度のセンサの検出素子の検出領域毎に（時空間方向に）積分することにより、高解像度データに含まれる１つの値を得ることができる。
【０１２２】
例えば、センサ２の検出素子の検出領域の大きさに比較して、実世界１の信号の変化が、より小さいとき、データ３は、実世界１の信号の小さい変化を表すことができない。そこで、データ３から推定された実世界１の信号を、実世界１の信号の変化に比較して、より小さい領域毎に（時空間方向に）積分することにより、実世界１の信号の小さい変化を示す高解像度データを得ることができる。
【０１２３】
すなわち、仮想的な高解像度のセンサの各検出素子について、推定された実世界１の信号を検出領域で積分することにより、高解像度データを得ることができる。
【０１２４】
信号処理装置４において、画像生成部１０３は、例えば、仮想的な高解像度のセンサの各検出素子の時空間方向の領域で、推定された実世界１の信号を積分することにより、高解像度データを生成する。
【０１２５】
次に、データ３から、実世界１を推定するために、信号処理装置４においては、データ３と実世界１との関係、定常性、およびデータ３における空間的または時間的な混合（空間混合または時間混合）が利用される。
【０１２６】
ここで、混合とは、データ３において、実世界１における２つの物体に対する信号が混合されて１つの値となることをいう。
【０１２７】
空間混合とは、センサ２の空間積分効果による、２つの物体に対する信号の空間方向の混合をいう。時間混合については、後述する。
【０１２８】
実世界１そのものは、無限の数の事象からなり、従って、実世界１そのものを、例えば、数式で表現するためには、無限の数の変数が必要になる。データ３から、実世界１の全ての事象を予測することはできない。
【０１２９】
同様に、データ３から、実世界１の信号の全てを予測することはできない。
【０１３０】
そこで、信号処理装置４においては、実世界１の信号のうち、定常性を有し、関数ｆ（ｘ，ｙ，ｚ，ｔ）で表すことができる部分に注目し、関数ｆ（ｘ，ｙ，ｚ，ｔ）で表すことができる、定常性を有する実世界１の信号の部分が、Ｎ個の変数で表現されるモデル１６１で近似される。そして、図１４で示されるように、モデル１６１が、データ３の中の、Ｍ個のデータ１６２から予測される。
【０１３１】
Ｍ個のデータ１６２からモデル１６１の予測を可能にするには、第１に、モデル１６１を、定常性に基づいて、Ｎ個の変数で表し、第２に、センサ２の積分特性に基づいて、Ｎ個の変数で表現されるモデル１６１とＭ個のデータ１６２との関係を示す、Ｎ個の変数を使用した式を立てることが必要である。モデル１６１が、定常性に基づいて、Ｎ個の変数で表されているので、Ｎ個の変数で表現されるモデル１６１とＭ個のデータ１６２との関係を示す、Ｎ個の変数を使用した式は、定常性を有する実世界１の信号の部分と、データの定常性を有するデータ３の部分との関係を記述しているとも言える。
【０１３２】
換言すれば、Ｎ個の変数で表現されるモデル１６１で近似される、定常性を有する実世界１の信号の部分は、データ３において、データの定常性を生じさせる。
【０１３３】
データ定常性検出部１０１は、定常性を有する実世界１の信号の部分によって、データの定常性が生じたデータ３の部分、およびデータの定常性が生じた部分の特徴を検出する。
【０１３４】
例えば、図１５で示されるように、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像において、図１５中Ａで示す、注目する位置における縁は、傾きを有している。図１５のＢの矢印は、縁の傾きを示す。所定の縁の傾きは、基準となる軸に対する角度または基準となる位置に対する方向で表すことができる。例えば、所定の縁の傾きは、空間方向Ｘの座標軸と、縁との角度で表すことができる。例えば、所定の縁の傾きは、空間方向Ｘの長さおよび空間方向Ｙの長さで示される方向で表すことができる。
【０１３５】
背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像が、センサ２で取得されて、データ３が出力されたとき、データ３において、実世界１の画像における、縁の注目する位置（Ａ）に対する、図１５中Ａ’で示す位置に、縁に対応するつめ形状が並び、実世界１の画像の縁の傾きに対応する、図１５中Ｂ’で示す傾きの方向に、縁に対応するつめ形状が並ぶ。
【０１３６】
Ｎ個の変数で表現されるモデル１６１は、このような、データ３において、データの定常性を生じさせる、実世界の１の信号の部分を近似する。
【０１３７】
Ｎ個の変数で表現されるモデル１６１とＭ個のデータ１６２との関係を示す、Ｎ個の変数を使用した式を立てるとき、データ３において、データの定常性が生じている部分の値を利用する。
【０１３８】
この場合において、図１６で示される、データ３において、データの定常性が生じ、混合領域に属する値に注目して、実世界１の信号を積分した値が、センサ２の検出素子が出力する値に等しいとして、式が立てられる。例えば、データの定常性が生じている、データ３における複数の値について、複数の式を立てることができる。
【０１３９】
図１６において、Ａは、縁の注目する位置を示し、Ａ’は、実世界１の画像における、縁の注目する位置（Ａ）に対する、画素（の位置）を示す。
【０１４０】
ここで、混合領域とは、データ３において、実世界１における２つの物体に対する信号が混合されて１つの値となっているデータの領域をいう。例えば、背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像に対するデータ３において、直線状の縁を有する物に対する画像、および背景に対する画像が積分されている画素値は、混合領域に属する。
【０１４１】
図１７は、式を立てる場合における、実世界１における２つの物体に対する信号および混合領域に属する値を説明する図である。
【０１４２】
図１７中の左側は、センサ２の１つの検出素子の検出領域で取得される、空間方向Ｘおよび空間方向Ｙに所定の広がりを有する、実世界１における２つの物体に対する実世界１の信号を示す。図１７中の右側は、図１７中の左側に示す実世界１の信号がセンサ２の１つの検出素子によって射影された、データ３の１つの画素の画素値Ｐを示す。すなわち、センサ２の１つの検出素子によって取得された、空間方向Ｘおよび空間方向Ｙに所定の広がりを有する、実世界１における２つの物体に対する実世界１の信号が射影された、データ３の１つの画素の画素値Ｐを示す。
【０１４３】
図１７のＬは、実世界１における１つの物体に対する、図１７の白い部分の実世界１の信号のレベルを示す。図１７のＲは、実世界１における他の１つの物体に対する、図１７の斜線で表される部分の実世界１の信号のレベルを示す。
【０１４４】
ここで、混合比αは、センサ２の１つの検出素子の、空間方向Ｘおよび空間方向Ｙに所定の広がりを有する検出領域に入射された、２つの物体に対する信号（の面積）の割合を示す。例えば、混合比αは、センサ２の１つの検出素子の検出領域の面積に対する、空間方向Ｘおよび空間方向Ｙに所定の広がりを有する、センサ２の１つの検出素子の検出領域に入射された、レベルＬの信号の面積の割合を示す。
【０１４５】
この場合において、レベルＬ、レベルＲ、および画素値Ｐの関係は、式（４）で表すことができる。
【０１４６】
【数４】
2005018519.tif 000009
2005018519.tif 000010
【０１４７】
なお、レベルＲは、注目している画素の右側に位置している、データ３の画素の画素値とすることができる場合があり、レベルＬは、注目している画素の左側に位置している、データ３の画素値とすることができる場合がある。
【０１４８】
また、混合比αおよび混合領域は、空間方向と同様に、時間方向を考慮することができる。例えば、センサ２に対して撮像の対象となる実世界１の物体が移動しているとき、時間方向に、センサ２の１つの検出素子の検出領域に入射される、２つの物体に対する信号の割合は変化する。センサ２の１つの検出素子の検出領域に入射された、時間方向に割合が変化する、２つの物体に対する信号は、センサ２の検出素子によって、データ３の１つの値に射影される。
【０１４９】
センサ２の時間積分効果による、２つの物体に対する信号の時間方向の混合を時間混合と称する。
【０１５０】
データ定常性検出部１０１は、例えば、実世界１における２つの物体に対する実世界１の信号が射影された、データ３における画素の領域を検出する。データ定常性検出部１０１は、例えば、実世界１の画像の縁の傾きに対応する、データ３における傾きを検出する。
【０１５１】
そして、実世界推定部１０２は、例えば、データ定常性検出部１０１で検出された、所定の混合比αを有する画素の領域、および領域の傾きを基に、Ｎ個の変数で表現されるモデル１６１とＭ個のデータ１６２との関係を示す、Ｎ個の変数を使用した式を立てて、立てた式を解くことにより、実世界１の信号を推定する。
【０１５２】
さらに、具体的な実世界１の推定について説明する。
【０１５３】
関数Ｆ（ｘ，ｙ，ｚ，ｔ）で表される実世界の信号のうち、空間方向Ｚの断面（センサ２の位置）における関数Ｆ（ｘ，ｙ，ｔ）で表される実世界の信号を、空間方向Ｘにおける位置ｘ、空間方向Ｙにおける位置ｙ、および時刻ｔで決まる近似関数ｆ（ｘ，ｙ，ｔ）で近似することを考える。
【０１５４】
ここで、センサ２の検出領域は、空間方向Ｘおよび空間方向Ｙに広がりを有する。換言すれば、近似関数ｆ（ｘ，ｙ，ｔ）は、センサ２で取得される、空間方向および時間方向に広がりを有する実世界１の信号を近似する関数である。
【０１５５】
センサ２による実世界１の信号の射影によって、データ３の値Ｐ（ｘ，ｙ，ｔ）が得られるものとする。データ３の値Ｐ（ｘ，ｙ，ｔ）は、例えば、イメージセンサであるセンサ２が出力する、画素値である。
【０１５６】
ここで、センサ２による射影を定式化できる場合、近似関数ｆ（ｘ，ｙ，ｔ）を射影して得られた値を射影関数Ｓ（ｘ，ｙ，ｔ）と表すことができる。
【０１５７】
射影関数Ｓ（ｘ，ｙ，ｔ）を求める上で、以下に示す問題がある。
【０１５８】
第１に、一般的に、実世界１の信号を表す関数Ｆ（ｘ，ｙ，ｚ，ｔ）は、無限の次数の関数となりうる。
【０１５９】
第２に、たとえ、実世界の信号を関数として記述できたとしても、センサ２の射影を介した、射影関数Ｓ（ｘ，ｙ，ｔ）を定めることは、一般的にはできない。すなわち、センサ２による射影の動作、言い換えればセンサ２の入力信号と出力信号との関係を知らないので、射影関数Ｓ（ｘ，ｙ，ｔ）を定めることはできない。
【０１６０】
第１の問題点に対して、実世界１の信号を近似する関数ｆ（ｘ，ｙ，ｔ）を記述可能な関数（例えば、有限次数の関数）である関数ｆｉ（ｘ，ｙ，ｔ）および変数ｗｉの積和で表現することを考える。
【０１６１】
また、第２の問題点に対して、センサ２による射影を定式化することで、関数ｆｉ（ｘ，ｙ，ｔ）の記述から、関数Ｓｉ（ｘ，ｙ，ｔ）を記述することができる。
【０１６２】
すなわち、実世界１の信号を近似する関数ｆ（ｘ，ｙ，ｔ）を関数ｆｉ（ｘ，ｙ，ｔ）および変数ｗｉの積和で表現すると、式（５）が得られる。
【０１６３】
【数５】
2005018519.tif 000011
2005018519.tif 000012
【０１６４】
例えば、式（６）で示されるように、センサ２の射影を定式化することにより、式（５）から、データ３と実世界の信号の関係を式（７）のように定式化することができる。
【０１６５】
【数６】
2005018519.tif 000013
2005018519.tif 000014
【０１６６】
【数７】
2005018519.tif 000015
2005018519.tif 000016
式（７）において、ｊは、データのインデックスである。
【０１６７】
式（７）のＮ個の変数ｗｉ（ｉ＝１乃至Ｎ）が共通であるＭ個のデータ群（ｊ＝１乃至Ｍ）が存在すれば、式（８）を満たすので、データ３から実世界のモデル１６１を求めることができる。
【０１６８】
【数８】
2005018519.tif 000017
2005018519.tif 000018
【０１６９】
Ｎは、実世界１を近似するモデル１６１を表現する変数の数である。Ｍは、データ３に含まれるデータ１６２の数である。
【０１７０】
実世界１の信号を近似する関数ｆ（ｘ，ｙ，ｔ）を式（５）で表すことにより、ｗｉとして変数の部分を独立させることができる。このとき、ｉは、そのまま変数の数を示すことになる。また、ｆｉで示される関数の形を独立させることができ、ｆｉとして所望の関数を利用することができるようになる。
【０１７１】
従って、関数ｆｉの形に依存せず、変数ｗｉの数Ｎを定義でき、変数ｗｉの数Ｎとデータの数Ｍとの関係で変数ｗｉを求めることができる。
【０１７２】
すなわち、以下の３つを用いることで、データ３から実世界１を推定することができるようになる。
【０１７３】
第１に、Ｎ個の変数を定める、すなわち、式（５）を定める。これは、定常性を用いて実世界１を記述することにより可能になる。例えば、断面が多項式で表され、同じ断面形状が一定方向に続く、というモデル１６１で実世界１の信号を記述することができる。
【０１７４】
第２に、例えば、センサ２による射影を定式化して、式（７）を記述する。例えば、実世界２の信号の積分を行った結果がデータ３であると定式化する。
【０１７５】
第３に、Ｍ個のデータ１６２を集めて、式（８）を満足させる。例えば、データ定常性検出部１０１で検出された、データの定常性を有する領域から、データ１６２が集められる。例えば、定常性の一例である、一定の断面が続く領域のデータ１６２が集められる。
【０１７６】
このように、式（５）によって、データ３と実世界１との関係を記述し、Ｍ個のデータ１６２を集めることで、式（８）を満たすことにより、実世界１を推定することができる。
【０１７７】
より具体的には、Ｎ＝Ｍのとき、変数の数Ｎと式の数Ｍが等しいので、連立方程式を立てることにより、変数ｗｉを求めることができる。
【０１７８】
また、Ｎ＜Ｍのとき、様々な解法を適用できる。例えば、最小自乗法により、変数ｗｉを求めることができる。
【０１７９】
ここで、最小自乗法による解法について、詳細に記載する。
【０１８０】
まず、式（７）に従って、実世界１からデータ３を予測する式（９）を示す。
【０１８１】
【数９】
2005018519.tif 000019
2005018519.tif 000020
【０１８２】
式（９）において、Ｐ’ｊ（ｘｊ，ｙｊ，ｔｊ）は、予測値である。
【０１８３】
予測値Ｐ’と実測値Ｐとの差分自乗和Ｅは、式（１０）で表される。
【０１８４】
【数１０】
2005018519.tif 000021
2005018519.tif 000022
【０１８５】
差分自乗和Ｅが最小になるように、変数ｗｉが求められる。従って、各変数ｗｋによる式（１０）の偏微分値は０とされる。すなわち、式（１１）が成り立つ。
【０１８６】
【数１１】
2005018519.tif 000023
2005018519.tif 000024
【０１８７】
式（１１）から式（１２）が導かれる。
【０１８８】
【数１２】
2005018519.tif 000025
2005018519.tif 000026
【０１８９】
式（１２）がＫ＝１乃至Ｎで成り立つとき、最小自乗法による解が得られる。このときの正規方程式は、式（１３）で示される。
【０１９０】
【数１３】
2005018519.tif 000027
2005018519.tif 000028
【０１９１】
ただし、式（１３）において、Ｓｉ（ｘｊ，ｙｊ，ｔｊ）は、Ｓｉ（ｊ）と記述した。
【０１９２】
【数１４】
2005018519.tif 000029
2005018519.tif 000030
【０１９３】
【数１５】
2005018519.tif 000031
2005018519.tif 000032
【０１９４】
【数１６】
2005018519.tif 000033
2005018519.tif 000034
【０１９５】
式（１４）乃至式（１６）から、式（１３）は、ＳＭＡＴＷＭＡＴ＝ＰＭＡＴと表すことができる。
【０１９６】
式（１３）において、Ｓｉは、実世界１の射影を表す。式（１３）において、Ｐｊは、データ３を表す。式（１３）において、ｗｉは、実世界１の信号の特徴を記述し、求めようとする変数である。
【０１９７】
従って、式（１３）にデータ３を入力し、行列解法などによりＷＭＡＴを求めることで、実世界１を推定することが可能になる。すなわち、式（１７）を演算することにより、実世界１を推定することができるようになる。
【０１９８】
【数１７】
2005018519.tif 000035
2005018519.tif 000036
【０１９９】
なお、ＳＭＡＴが正則でない場合、ＳＭＡＴの転置行列を利用して、ＷＭＡＴを求めることができる。
【０２００】
実世界推定部１０２は、例えば、式（１３）にデータ３を入力し、行列解法などによりＷＭＡＴを求めることで、実世界１を推定する。
【０２０１】
ここで、さらにより具体的な例を説明する。例えば、実世界１の信号の断面形状、すなわち位置の変化に対するレベルの変化を、多項式で記述する。実世界１の信号の断面形状が一定で、実世界１の信号の断面が等速で移動すると仮定する。そして、センサ２による実世界１の信号からデータ３への射影を、実世界１の信号の時空間方向の３次元で積分で定式化する。
【０２０２】
実世界１の信号の断面形状が、等速で移動するとの仮定から、式（１８）および式（１９）が得られる。
【０２０３】
【数１８】
2005018519.tif 000037
2005018519.tif 000038
【０２０４】
【数１９】
2005018519.tif 000039
2005018519.tif 000040
【０２０５】
ここで、ｖｘおよびｖｙは、一定である。
【０２０６】
実世界１の信号の断面形状は、式（１８）および式（１９）を用いることで、式（２０）と表される。
【０２０７】
【数２０】
2005018519.tif 000041
2005018519.tif 000042
【０２０８】
センサ２による実世界１の信号からデータ３への射影を、実世界１の信号の時空間方向の３次元で積分で定式化すれば、式（２１）が得られる。
【０２０９】
【数２１】
2005018519.tif 000043
2005018519.tif 000044
【０２１０】
式（２１）において、Ｓ（ｘ，ｙ，ｔ）は、空間方向Ｘについて、位置ｘｓから位置ｘｅまで、空間方向Ｙについて、位置ｙｓから位置ｙｅまで、時間方向ｔについて、時刻ｔｓから時刻ｔｅまでの領域、すなわち時空間の直方体で表される領域の積分値を示す。
【０２１１】
式（２１）を定めることができる所望の関数ｆ（ｘ’，ｙ’）を用いて、式（１３）を解けば、実世界１の信号を推定することができる。
【０２１２】
以下では、関数ｆ（ｘ’，ｙ’）の一例として、式（２２）に示す関数を用いることとする。
【０２１３】
【数２２】
2005018519.tif 000045
2005018519.tif 000046
【０２１４】
すなわち、実世界１の信号が、式（１８）、式（１９）、および式（２２）で表される定常性を含むと仮定している。これは、図１８で示されるように、一定の形状の断面が、時空間方向に移動していることを示す。
【０２１５】
式（２１）に、式（２２）を代入することにより、式（２３）が得られる。
【０２１６】
【数２３】
2005018519.tif 000047
2005018519.tif 000048
【０２１７】
ただし、
Ｖｏｌｕｍｅ＝（ｘｅ−ｘｓ）（ｙｅ−ｙｓ）（ｔｅ−ｔｓ）
Ｓ０（ｘ，ｙ，ｔ）＝Ｖｏｌｕｍｅ／２×（ｘｅ＋ｘｓ＋ｖｘ（ｔｅ＋ｔｓ））
Ｓ１（ｘ，ｙ，ｔ）＝Ｖｏｌｕｍｅ／２×（ｙｅ＋ｙｓ＋ｖｙ（ｔｅ＋ｔｓ））
Ｓ２（ｘ，ｙ，ｔ）＝１
である。
【０２１８】
図１９は、データ３から抽出される、Ｍ個のデータ１６２の例を示す図である。例えば、２７個の画素値が、データ１６２として抽出され、抽出された画素値が、Ｐｊ（ｘ，ｙ，ｔ）とされる。この場合、ｊは、０乃至２６である。
【０２１９】
図１９に示す例において、ｎである時刻ｔの注目する位置に対応する画素の画素値がＰ１３（ｘ，ｙ，ｔ）であり、データの定常性を有する画素の画素値の並ぶ方向（例えば、データ定常性検出部１０１で検出された、同じ形状であるつめ形状が並ぶ方向）が、Ｐ４（ｘ，ｙ，ｔ）、Ｐ１３（ｘ，ｙ，ｔ）、およびＰ２２（ｘ，ｙ，ｔ）を結ぶ方向であるとき、ｎである時刻ｔにおける、画素値Ｐ９（ｘ，ｙ，ｔ）乃至Ｐ１７（ｘ，ｙ，ｔ）、ｎより時間的に前である、ｎ−１である時刻ｔにおける、画素値Ｐ０（ｘ，ｙ，ｔ）乃至Ｐ８（ｘ，ｙ，ｔ）、およびｎより時間的に後である、ｎ＋１である時刻ｔにおける、画素値Ｐ１８（ｘ，ｙ，ｔ）乃至Ｐ２６（ｘ，ｙ，ｔ）が抽出される。
【０２２０】
ここで、センサ２であるイメージセンサから出力された、データ３である画素値が取得された領域は、時間方向および２次元の空間方向に広がりを有する。そこで、例えば、画素に対応する直方体（画素値が取得された領域）の重心を、画素の時空間方向の位置として使用することができる。
【０２２１】
２７個の画素値Ｐ０（ｘ，ｙ，ｔ）乃至Ｐ２６（ｘ，ｙ，ｔ）、および式（２３）から、式（１３）を生成し、Ｗを求めることで、実世界１を推定することが可能になる。
【０２２２】
このように、実世界推定部１０２は、例えば、２７個の画素値Ｐ０（ｘ，ｙ，ｔ）乃至Ｐ２６（ｘ，ｙ，ｔ）、および式（２３）から、式（１３）を生成し、Ｗを求めることで、実世界１の信号を推定する。
【０２２３】
なお、関数ｆｉ（ｘ，ｙ，ｔ）として、ガウス関数、またはシグモイド関数などを利用することができる。
【０２２４】
図２０乃至図２３を参照して、推定された実世界１の信号から、データ３に対応する、より高解像度の高解像度データを生成する処理の例について説明する。
【０２２５】
図２０で示されるように、データ３は、時間方向および２次元の空間方向に実世界１の信号が積分された値を有する。例えば、センサ２であるイメージセンサから出力された、データ３である画素値は、検出素子に入射された光である、実世界１の信号が、時間方向に、検出時間であるシャッタ時間で積分され、空間方向に、検出素子の受光領域で積分された値を有する。
【０２２６】
これに対して、図２１で示されるように、空間方向により解像度の高い高解像度データは、推定された実世界１の信号を、時間方向に、データ３を出力したセンサ２の検出時間と同じ時間で積分するとともに、空間方向に、データ３を出力したセンサ２の検出素子の受光領域に比較して、より狭い領域で積分することにより、生成される。
【０２２７】
なお、空間方向により解像度の高い高解像度データを生成する場合において、推定された実世界１の信号が積分される領域は、データ３を出力したセンサ２の検出素子の受光領域と全く無関係に設定することができる。例えば、高解像度データに、データ３に対して、空間方向に整数倍の解像度を持たせることは勿論、５／３倍など、データ３に対して、空間方向に有理数倍の解像度を持たせることができる。
【０２２８】
また、図２２で示されるように、時間方向により解像度の高い高解像度データは、推定された実世界１の信号を、空間方向に、データ３を出力したセンサ２の検出素子の受光領域と同じ領域で積分するとともに、時間方向に、データ３を出力したセンサ２の検出時間に比較して、より短い時間で積分することにより、生成される。
【０２２９】
なお、時間方向により解像度の高い高解像度データを生成する場合において、推定された実世界１の信号が積分される時間は、データ３を出力したセンサ２の検出素子のシャッタ時間と全く無関係に設定することができる。例えば、高解像度データに、データ３に対して、時間方向に整数倍の解像度を持たせることは勿論、７／４倍など、データ３に対して、時間方向に有理数倍の解像度を持たせることができる。
【０２３０】
動きボケを除去した高解像度データは、推定された実世界１の信号を、時間方向に積分しないで、空間方向にのみ積分することにより、生成される。
【０２３１】
さらに、図２３で示されるように、時間方向および空間方向により解像度の高い高解像度データは、推定された実世界１の信号を、空間方向に、データ３を出力したセンサ２の検出素子の受光領域に比較して、より狭い領域で積分するとともに、時間方向に、データ３を出力したセンサ２の検出時間に比較して、より短い時間で積分することにより、生成される。
【０２３２】
この場合において、推定された実世界１の信号が積分される領域および時間は、データ３を出力したセンサ２の検出素子の受光領域およびシャッタ時間と全く無関係に設定することができる。
【０２３３】
このように、画像生成部１０３は、例えば、推定された実世界１の信号を所望の時空間の領域で積分することにより、時間方向、または空間方向に、より高解像度のデータを生成する。
【０２３４】
以上のように、実世界１の信号を推定することにより、実世界１の信号に対してより正確で、時間方向、または空間方向に、より高解像度のデータを生成することができる。
【０２３５】
図２４乃至図２８は、信号処理装置４の信号処理を用いた入力画像の例と、処理の結果の例を示している。
【０２３６】
図２４は、入力画像の元の画像（実世界１の光信号に相当）を示す図である。図２５は、入力画像の例を示す図である。図２５で示される入力画像は、図２４で示される画像の２×２の画素からなるブロックに属する画素の画素値の平均値を、１つの画素の画素値として生成された画像である。すなわち、入力画像は、図２４で示される画像に、センサの積分特性を模した、空間方向の積分を適用することにより得られた画像である。
【０２３７】
図２４で示される元の画像において、上下方向から、ほぼ５度時計方向に傾いた細線の画像が含まれている。同様に、図２５で示される入力画像において、上下方向から、ほぼ５度時計方向に傾いた細線の画像が含まれている。
【０２３８】
図２６は、図２５で示される入力画像に、従来のクラス分類適応処理を適用して得られた画像を示す図である。ここで、クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものである。適応処理では、例えば、低画質または標準画質の画像が、所定のタップ係数を用いてマッピング（写像）されることにより、高画質の画像に変換される。
【０２３９】
即ち、適応処理では、第１のデータが、所定のタップ係数を用いてマッピング（写像）されることにより、第２のデータに変換される。
【０２４０】
いま、このタップ係数を用いてのマッピング方法として、例えば、線形１次結合モデルを採用するとともに、第１のデータとして、高解像度のＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）画像をローパスフィルタでフィルタリングすること等により得られる低解像度または標準解像度のＳＤ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）画像を採用し、第２のデータとして、そのＳＤ画像を得るのに用いたＨＤ画像を採用することとして、適応処理について説明する。
【０２４１】
上述の条件下において、ＨＤ画像を構成する画素であるＨＤ画素ｙは、例えば、ＳＤ画像を構成する画素であるＳＤ画素から、ＨＤ画素を予測するための予測タップとして抽出される複数のＳＤ画素と、タップ係数とを用いて、次の線形１次式（線形結合）によって求めることができる。
【０２４２】
【数２４】
2005018519.tif 000049
2005018519.tif 000050
【０２４３】
但し、式（２４）において、ｘｎは、ＨＤ画素ｙについての予測タップを構成する、ｎ番目のＳＤ画素（の画素値）を表し、ｗｎは、ｎ番目のＳＤ画素と乗算されるｎ番目のタップ係数を表す。なお、式（２４）では、予測タップが、Ｎ個のＳＤ画素ｘ１，ｘ２，・・・，ｘＮで構成されるものとしてある。
【０２４４】
ここで、ＨＤ画素の画素値ｙは、式（２４）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０２４５】
いま、ＨＤ画像において、ｋ番目のＨＤ画素（の画素値）の真値をｙｋと表すとともに、式（２４）によって得られるその真値ｙｋの予測値をｙｋ’と表すと、その予測誤差ｅｋは、例えば、次式で表される。
【０２４６】
【数２５】
2005018519.tif 000051
2005018519.tif 000052
【０２４７】
式（２５）の予測値ｙｋ’は、式（２４）にしたがって求められるため、式（２５）のｙｋ’を、式（２４）にしたがって置き換えると、次式が得られる。
【０２４８】
【数２６】
2005018519.tif 000053
2005018519.tif 000054
【０２４９】
但し、式（２６）において、ｘｎ，ｋは、ｋ番目のＨＤ画素についての予測タップを構成するｎ番目のＳＤ画素を表す。
【０２５０】
式（２６）の予測誤差ｅｋを０とするタップ係数ｗｎが、ＨＤ画素を予測するのに最適なものとなるが、すべてのＨＤ画素について、そのようなタップ係数ｗｎを求めることは、一般には困難である。
【０２５１】
そこで、タップ係数ｗｎが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗｎは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０２５２】
【数２７】
2005018519.tif 000055
2005018519.tif 000056
【０２５３】
但し、式（２７）において、Ｋは、ＨＤ画素ｙｋと、そのＨＤ画素ｙｋについての予測タップを構成するＳＤ画素ｘ１，ｋ，ｘ２，ｋ，・・・，ｘＮ，ｋとのセットのサンプル数を表す。
【０２５４】
式（２７）の自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗｎは、その総和Ｅをタップ係数ｗｎで偏微分したものを０とするものであり、従って、次式を満たす必要がある。
【０２５５】
【数２８】
2005018519.tif 000057
2005018519.tif 000058
【０２５６】
そこで、上述の式（２６）をタップ係数ｗｎで偏微分すると、次式が得られる。
【０２５７】
【数２９】
2005018519.tif 000059
2005018519.tif 000060
【０２５８】
式（２８）と（２９）から、次式が得られる。
【０２５９】
【数３０】
2005018519.tif 000061
2005018519.tif 000062
【０２６０】
式（３０）のｅｋに、式（２６）を代入することにより、式（３０）は、式（３１）に示す正規方程式で表すことができる。
【０２６１】
【数３１】
2005018519.tif 000063
2005018519.tif 000064
【０２６２】
式（３１）の正規方程式は、ＨＤ画素ｙｋとＳＤ画素ｘｎ，ｋのセットを、ある程度の数だけ用意することでたてることができ、式（３１）を解くことで、最適なタップ係数ｗｎを求めることができる。なお、式（３１）を解くにあたっては、例えば、掃き出し法（Ｇａｕｓｓ−Ｊｏｒｄａｎの消去法）などを採用することが可能である。
【０２６３】
以上のように、多数のＨＤ画素ｙ１，ｙ２，・・・，ｙＫを、タップ係数の学習の教師となる教師データとするとともに、各ＨＤ画素ｙｋについての予測タップを構成するＳＤ画素ｘ１，ｋ，ｘ２，ｋ，・・・，ｘＮ，ｋを、タップ係数の学習の生徒となる生徒データとして、式（３１）を解くことにより、最適なタップ係数ｗｎを求める学習を行っておき、さらに、そのタップ係数ｗｎを用い、式（２４）により、ＳＤ画素を、ＨＤ画素にマッピング（変換）するのが適応処理である。
【０２６４】
ここで、ＨＤ画素ｙｋについての予測タップを構成するＳＤ画素ｘ１，ｋ，ｘ２，ｋ，・・・，ｘＮ，ｋとしては、そのＨＤ画素ｙｋに対応するＳＤ画像上の位置から空間的または時間的に近い位置にあるＳＤ画素を採用することができる。
【０２６５】
また、クラス分類適応処理では、タップ係数ｗｎの学習と、そのタップ係数ｗｎを用いたマッピングとは、クラスごとに行われる。クラス分類適応処理では、注目しているＨＤ画素ｙｋを対象にクラス分類処理が行われ、そのクラス分類処理により得られるクラスごとに、タップ係数ｗｎの学習と、そのタップ係数ｗｎを用いたマッピングが行われる。
【０２６６】
ＨＤ画素ｙｋを対象としたクラス分類処理としては、例えば、そのＨＤ画素ｙｋのクラス分類に用いるクラスタップとしての複数のＳＤ画素を、ＳＤ画像から抽出し、その複数のＳＤ画素で構成されるクラスタップを用いてＭビットＡＤＲＣ（Ａｄａｐｔｉｖｅ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｃｏｄｉｎｇ）処理を施す方法がある。
【０２６７】
ＭビットＡＤＲＣ処理においては、クラスタップを構成するＳＤ画素の最大値ＭＡＸと最小値ＭＩＮが検出され、ＤＲ＝ＭＡＸ−ＭＩＮを、局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、クラスタップを構成するＳＤ画素がＫビットに再量子化される。即ち、クラスタップを構成する各ＳＤ画素から、最小値ＭＩＮが減算され、その減算値がＤＲ／２Ｋで除算（量子化）される。従って、クラスタップが、例えば、１ビットＡＤＲＣ処理される場合には、そのクラスタップを構成する各ＳＤ画素は１ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタップを構成する各ＳＤ画素についての１ビットの画素値を、所定の順番で並べたビット列が、ＡＤＲＣコードとして出力され、このＡＤＲＣコードが、クラスを表すクラスコードとされる。
【０２６８】
なお、クラス分類適応処理は、ＳＤ画素には含まれていないが、ＨＤ画素に含まれる成分が再現される点で、例えば、単なる補間処理等とは異なる。即ち、クラス分類適応処理では、式（２４）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当するタップ係数ｗｎが、教師データとしてのＨＤ画素と生徒データとしてのＳＤ画素とを用いての学習により求められるため、ＨＤ画素に含まれる成分を再現することができる。
【０２６９】
ここで、タップ係数ｗｎの学習では、教師データｙと生徒データｘとの組み合わせとして、どのようなものを採用するかによって、各種の変換を行うタップ係数ｗｎを求めることができる。
【０２７０】
即ち、例えば、上述のように、教師データｙとして、高解像度のＨＤ画像を採用するとともに、生徒データｘとして、そのＨＤ画像の解像度を低下させたＳＤ画像を採用した場合には、画像の解像度を向上させるマッピングを行うタップ係数ｗｎを得ることができる。また、例えば、教師データｙとして、ＨＤ画像を採用するとともに、生徒データｘとして、そのＨＤ画像の画素数を少なくしたＳＤ画像を採用した場合には、画像を構成する画素数を増加させるマッピングを行うタップ係数ｗｎを得ることができる。
【０２７１】
図２６は、図２５の入力画像に対して、上述のようなクラス分類適応処理によるマッピングを施すことにより得られる画像である。図２６では、細線の画像が、図２４の元の画像とは異なるものになっていることがわかる。
【０２７２】
図２７は、データ定常性検出部１０１による、図２５の例で示される入力画像から細線の領域を検出した結果を示す図である。図２７において、白い領域は、細線の領域、すなわち、図１０で示される円弧形状が並んでいる領域を示す。
【０２７３】
図２８は、図２５で示される画像を入力画像として、信号処理装置４で信号処理を行うことにより得られる出力画像の例を示す図である。図２８で示されるように、信号処理装置４によれば、図２４で示される元の画像の細線の画像により近い画像を得ることができる。
【０２７４】
図２９は、信号処理装置４による、信号処理を説明するフローチャートである。
【０２７５】
ステップＳ１０１において、データ定常性検出部１０１は、定常性の検出の処理を実行する。データ定常性検出部１０１は、データ３である入力画像に含まれているデータの定常性を検出して、検出したデータの定常性を示すデータ定常性情報を実世界推定部１０２および画像生成部１０３に供給する。
【０２７６】
データ定常性検出部１０１は、現実世界の信号の定常性に対応するデータの定常性を検出する。ステップＳ１０１の処理において、データ定常性検出部１０１により検出されるデータの定常性は、データ３に含まれる、実世界１の画像の定常性の一部であるか、または、実世界１の信号の定常性から変化してしまった定常性である。
【０２７７】
例えば、データ定常性検出部１０１は、所定の次元の方向に一定の特徴を有する領域を検出することにより、データの定常性を検出する。また、例えば、データ定常性検出部１０１は、同様の形状の並び方を示す、空間方向の角度（傾き）を検出することにより、データの定常性を検出する。
【０２７８】
ステップＳ１０１における、定常性の検出の処理の詳細は、後述する。
【０２７９】
なお、データ定常性情報は、データ３の特徴を示す特徴量として利用することができる。
【０２８０】
ステップＳ１０２において、実世界推定部１０２は、実世界の推定の処理を実行する。すなわち、実世界推定部１０２は、入力画像、およびデータ定常性検出部１０１から供給されたデータ定常性情報を基に、実世界１の信号を推定する。例えば、ステップＳ１０２の処理において、実世界推定部１０２は、実世界１を近似（記述）するモデル１６１を予測することにより、実世界１の信号を推定する。実世界推定部１０２は、推定された実世界１の信号を示す実世界推定情報を画像生成部１０３に供給する。
【０２８１】
例えば、実世界推定部１０２は、線状の物の幅を予測することにより、実世界１の信号を推定する。また、例えば、実世界推定部１０２は、線状の物の色を示すレベルを予測することにより、実世界１の信号を推定する。
【０２８２】
ステップＳ１０２における、実世界の推定の処理の詳細は、後述する。
【０２８３】
なお、実世界推定情報は、データ３の特徴を示す特徴量として利用することができる。
【０２８４】
ステップＳ１０３において、画像生成部１０３は、画像の生成の処理を実行して、処理は終了する。すなわち、画像生成部１０３は、実世界推定情報を基に、画像を生成して、生成した画像を出力する。または、画像生成部１０３は、データ定常性情報および実世界推定情報を基に、画像を生成して、生成した画像を出力する。
【０２８５】
例えば、ステップＳ１０３の処理において、画像生成部１０３は、実世界推定情報を基に、推定された現実世界の光を空間方向に積分することにより、入力画像に比較して、空間方向により高解像度の画像を生成して、生成した画像を出力する。例えば、画像生成部１０３は、実世界推定情報を基に、推定された現実世界の光を時空間方向に積分することにより、入力画像に比較して、時間方向および空間方向により高解像度の画像を生成して、生成した画像を出力する。ステップＳ１０３における、画像の生成の処理の詳細は、後述する。
【０２８６】
このように、信号処理装置４は、データ３からデータの定常性を検出し、検出したデータの定常性を基に、実世界１を推定する。そして、信号処理装置４は、推定された実世界１を基に、より実世界１に近似した信号を生成する。
【０２８７】
以上のように、現実世界の信号を推定して処理を実行するようにした場合には、正確で、精度の高い処理結果を得ることができるようになる。
【０２８８】
また、第１の次元を有する現実世界の信号である第１の信号が射影され、現実世界の信号の定常性の一部が欠落した第１の次元よりも少ない第２の次元の第２の信号の、欠落した現実世界の信号の定常性に対応するデータの定常性を検出し、検出されたデータの定常性に基づいて、欠落した現実世界の信号の定常性を推定することにより第１の信号を推定するようにした場合には、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【０２８９】
次に、データ定常性検出部１０１の構成の詳細について説明する。
【０２９０】
図３０は、データ定常性検出部１０１の構成を示すブロック図である。
【０２９１】
図３０に構成を示すデータ定常性検出部１０１は、細線である対象物を撮像したとき、対象物の有する断面形状が同じであるという定常性から生じた、データ３に含まれるデータの定常性を検出する。すなわち、図３０に構成を示すデータ定常性検出部１０１は、細線である実世界１の画像の有する、長さ方向の任意の位置において、長さ方向に直交する方向の位置の変化に対する光のレベルの変化が同じであるという定常性から生じた、データ３に含まれるデータの定常性を検出する。
【０２９２】
より具体的には、図３０に構成を示すデータ定常性検出部１０１は、細線の画像を空間積分効果を有するセンサ２で撮像して得られたデータ３に含まれる、斜めにずれて隣接して並ぶ、複数の所定の長さの円弧形状（かまぼこ型）が配置される領域を検出する。
【０２９３】
データ定常性検出部１０１は、データ３である入力画像から、データの定常性を有する細線の画像が射影された画像データの部分（以下、定常成分とも称する）以外の画像データの部分（以下、非定常成分と称する）を抽出し、抽出された非定常成分と入力画像とから、実世界１の細線の画像が射影された画素を検出し、入力画像における、実世界１の細線の画像が射影された画素からなる領域を検出する。
【０２９４】
非定常成分抽出部２０１は、入力画像から非定常成分を抽出して、入力画像と共に、抽出された非定常成分を示す非定常成分情報を頂点検出部２０２および単調増減検出部２０３に供給する。
【０２９５】
例えば、図３１で示されるように、ほぼ一定の光のレベルの背景の前に細線がある実世界１の画像がデータ３に射影されたとき、図３２で示されるように、非定常成分抽出部２０１は、データ３である入力画像における背景を平面で近似することにより、背景である非定常成分を抽出する。図３２において、実線は、データ３の画素値を示し、点線は、背景を近似する平面で示される近似値を示す。図３２において、Ａは、細線の画像が射影された画素の画素値を示し、ＰＬは、背景を近似する平面を示す。
【０２９６】
このように、データの定常性を有する画像データの部分における、複数の画素の画素値は、非定常成分に対して不連続となる。
【０２９７】
非定常成分抽出部２０１は、実世界１の光信号である画像が射影され、実世界１の画像の定常性の一部が欠落した、データ３である画像データの複数の画素の画素値の不連続部を検出する。
【０２９８】
非定常成分抽出部２０１における非定常成分の抽出の処理の詳細は、後述する。
【０２９９】
頂点検出部２０２および単調増減検出部２０３は、非定常成分抽出部２０１から供給された非定常成分情報を基に、入力画像から非定常成分を除去する。例えば、頂点検出部２０２および単調増減検出部２０３は、入力画像の各画素のうち、背景の画像のみが射影された画素の画素値を０に設定することにより、入力画像から非定常成分を除去する。また、例えば、頂点検出部２０２および単調増減検出部２０３は、入力画像の各画素の画素値から、平面ＰＬで近似される値を引き算することにより、入力画像から非定常成分を除去する。
【０３００】
入力画像から背景を除去することができるので、頂点検出部２０２乃至連続性検出部２０４は、細線が射影された画像データの部分のみを処理の対象とすることができ、頂点検出部２０２乃至連続性検出部２０４における処理がより容易になる。
【０３０１】
なお、非定常成分抽出部２０１は、入力画像から非定常成分を除去した画像データを頂点検出部２０２および単調増減検出部２０３に供給するようにしてもよい。
【０３０２】
以下に説明する処理の例において、入力画像から非定常成分が除去された画像データ、すなわち、定常成分を含む画素のみからなる画像データが対象となる。
【０３０３】
ここで、頂点検出部２０２乃至連続性検出部２０４が検出しようとする、細線の画像が射影された画像データについて説明する。
【０３０４】
図３１で示される細線の画像が射影された画像データの空間方向Ｙの断面形状（空間方向の位置の変化に対する画素値の変化）は、光学ＬＰＦがないとした場合、センサ２であるイメージセンサの空間積分効果から、図３３に示す台形、または図３４に示す三角形となることが考えられる。しかしながら、通常のイメージセンサは、光学ＬＰＦを備え、イメージセンサは、光学ＬＰＦを通過した画像を取得し、取得した画像をデータ３に射影するので、現実には、細線の画像データの空間方向Ｙの断面形状は、図３５に示すようなガウス分布に類似した形状となる。
【０３０５】
頂点検出部２０２乃至連続性検出部２０４は、細線の画像が射影された画素であって、同じ断面形状（空間方向の位置の変化に対する画素値の変化）が画面の上下方向に一定の間隔で並ぶものからなる領域を検出して、さらに、実世界１の細線の長さ方向に対応した、領域の繋がりを検出することにより、データの定常性を有する領域である、細線の画像が射影された画素からなる領域を検出する。すなわち、頂点検出部２０２乃至連続性検出部２０４は、入力画像における、縦に１列の画素の上に、円弧形状（かまぼこ型）が形成される領域を検出し、検出された領域が横方向に隣接して並んでいるか否かを判定して、実世界１の信号である細線の画像の長さ方向に対応した、円弧形状が形成される領域の繋がりを検出する。
【０３０６】
また、頂点検出部２０２乃至連続性検出部２０４は、細線の画像が射影された画素であって、同じ断面形状が画面の左右方向に一定の間隔で並ぶものからなる領域を検出して、さらに、実世界１の細線の長さ方向に対応した、検出された領域の繋がりを検出することにより、データの定常性を有する領域である、細線の画像が射影された画素からなる領域を検出する。すなわち、頂点検出部２０２乃至連続性検出部２０４は、入力画像における、横に１列の画素の上に、円弧形状が形成される領域を検出し、検出された領域が縦方向に隣接して並んでいるか否かを判定して、実世界１の信号である細線の画像の長さ方向に対応した、円弧形状が形成される領域の繋がりを検出する。
【０３０７】
まず、細線の画像が射影された画素であって、画面の上下方向に同じ円弧形状が一定の間隔で並ぶものからなる領域を検出する処理を説明する。
【０３０８】
頂点検出部２０２は、周囲の画素に比較して、より大きい画素値を有する画素、すなわち頂点を検出し、頂点の位置を示す頂点情報を単調増減検出部２０３に供給する。画面の上下方向に１列に並ぶ画素を対象とした場合、頂点検出部２０２は、画面の上側に位置する画素の画素値、および画面の下側に位置する画素の画素値に比較して、より大きい画素値を有する画素を頂点として検出する。頂点検出部２０２は、１つの画像、例えば、１つのフレームの画像から、１または複数の頂点を検出する。
【０３０９】
１つの画面には、フレームまたはフィールドが含まれる。以下の説明において、同様である。
【０３１０】
例えば、頂点検出部２０２は、１フレームの画像からまだ注目画素とされていない画素の中から注目画素を選択し、注目画素の画素値と、注目画素の上側の画素の画素値とを比較し、注目画素の画素値と、注目画素の下側の画素の画素値とを比較して、上側の画素の画素値より大きい画素値を有し、下側の画素の画素値より大きい画素値を有する注目画素を検出して、検出された注目画素を頂点とする。頂点検出部２０２は、検出された頂点を示す頂点情報を単調増減検出部２０３に供給する。
【０３１１】
頂点検出部２０２が、頂点を検出しない場合もある。例えば、１つの画像の画素の画素値が全て同じ値であるとき、または、１若しくは２の方向に対して画素値が減少しているとき、頂点は検出されない。この場合、細線の画像は、画像データに射影されていない。
【０３１２】
単調増減検出部２０３は、頂点検出部２０２から供給された、頂点の位置を示す頂点情報を基に、頂点検出部２０２で検出された頂点に対して上下方向に１列に並ぶ画素であって、細線の画像が射影された画素からなる領域の候補を検出し、頂点情報と共に、検出した領域を示す領域情報を連続性検出部２０４に供給する。
【０３１３】
より具体的には、単調増減検出部２０３は、頂点の画素値を基準として、単調減少している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。単調減少とは、頂点からの距離がより長い画素の画素値が、頂点からの距離が短い画素の画素値に比較して、より小さいことをいう。
【０３１４】
また、単調増減検出部２０３は、頂点の画素値を基準として、単調増加している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。単調増加とは、頂点からの距離がより長い画素の画素値が、頂点からの距離が短い画素の画素値に比較して、より大きいことをいう。
【０３１５】
以下、単調増加している画素値を有する画素からなる領域についての処理は、単調減少している画素値を有する画素からなる領域についての処理と同様なので、その説明は省略する。細線の画像が射影された画素であって、画面の横方向に同じ円弧形状が一定の間隔で並ぶものからなる領域を検出する処理における、単調増加している画素値を有する画素からなる領域についての処理も、単調減少している画素値を有する画素からなる領域についての処理と同様なので、その説明は省略する。
【０３１６】
例えば、単調増減検出部２０３は、頂点に対して縦に１列に各画素について、各画素の画素値と、上側の画素の画素値との差分、および下側の画素の画素値との差分を求める。そして、単調増減検出部２０３は、差分の符号が変化する画素を検出することにより、画素値が単調減少している領域を検出する。
【０３１７】
さらに、単調増減検出部２０３は、画素値が単調減少している領域から、頂点の画素値の符号を基準として、頂点の画素値の符号と同じ符号の画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。
【０３１８】
例えば、単調増減検出部２０３は、各画素の画素値の符号と、上側の画素の画素値の符号および下側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出することにより、画素値が単調減少している領域から、頂点と同じ符号の画素値を有する画素からなる領域を検出する。
【０３１９】
このように、単調増減検出部２０３は、上下方向に並び、頂点に対して画素値が単調減少し、頂点と同じ符号の画素値を有する画素からなる領域を検出する。
【０３２０】
図３６は、空間方向Ｙの位置に対する画素値から、細線の画像が射影された画素の領域を検出する、頂点の検出および単調増減領域の検出の処理を説明する図である。
【０３２１】
図３６乃至図３８において、Ｐは、頂点を示す。図３０で構成が示されるデータ定常性検出部１０１の説明において、Ｐは、頂点を示す。
【０３２２】
頂点検出部２０２は、各画素の画素値と、これに空間方向Ｙに隣接する画素の画素値とを比較して、空間方向Ｙに隣接する２つの画素の画素値より大きい画素値を有する画素を検出することにより、頂点Ｐを検出する。
【０３２３】
頂点Ｐと、頂点Ｐの空間方向Ｙの両側の画素とからなる領域は、頂点Ｐの画素値に対して、空間方向Ｙの両側の画素の画素値が単調に減少する単調減少領域である。図３６において、Ａで示す矢印、およびＢで示す矢印は、頂点Ｐの両側に存在する単調減少領域を示す。
【０３２４】
単調増減検出部２０３は、各画素の画素値と、その画素に空間方向Ｙに隣接する画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。単調増減検出部２０３は、検出された、差分の符号が変化する画素と、その手前側（頂点Ｐ側）の画素との境界を、細線の画像が射影された画素からなる細線領域の境界とする。
【０３２５】
図３６において、差分の符号が変化する画素と、その手前側（頂点Ｐ側）の画素との境界である細線領域の境界はＣで示される。
【０３２６】
さらに、単調増減検出部２０３は、単調減少領域において、各画素の画素値の符号と、その画素に空間方向Ｙに隣接する画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。単調増減検出部２０３は、検出された、差分の符号が変化する画素と、その手前側（頂点Ｐ側）の画素との境界を細線領域の境界とする。
【０３２７】
図３６において、差分の符号が変化する画素と、その手前側（頂点Ｐ側）の画素との境界である細線領域の境界はＤで示される。
【０３２８】
図３６で示されるように、細線の画像が射影された画素からなる細線領域Ｆは、細線領域の境界Ｃと、細線領域の境界Ｄとに挟まれる領域とされる。
【０３２９】
単調増減検出部２０３は、このような単調増減領域からなる細線領域Ｆの中から、予め定めた閾値より長い細線領域Ｆ、すなわち、閾値より多い数の画素を含む細線領域Ｆを求める。例えば、閾値が３であるとき、単調増減検出部２０３は、４つ以上の画素を含む細線領域Ｆを検出する。
【０３３０】
さらに、このように検出された細線領域Ｆの中から、単調増減検出部２０３は、頂点Ｐの画素値、および頂点Ｐの右側の画素の画素値、および頂点Ｐの左側の画素の画素値を、それぞれ閾値と比較し、頂点Ｐの画素値が閾値を超え、頂点Ｐの右側の画素の画素値が閾値以下であり、頂点Ｐの左側の画素の画素値が閾値以下である頂点Ｐが属する細線領域Ｆを検出し、検出された細線領域Ｆを細線の画像の成分を含む画素からなる領域の候補とする。
【０３３１】
言い換えれば、頂点Ｐの画素値が閾値以下であるか、頂点Ｐの右側の画素の画素値が閾値を超えるか、または頂点Ｐの左側の画素の画素値が閾値を超える頂点Ｐが属する細線領域Ｆは、細線の画像の成分を含まないと判定され、細線の画像の成分を含む画素からなる領域の候補から除去される。
【０３３２】
すなわち、図３７で示されるように、単調増減検出部２０３は、頂点Ｐの画素値を閾値と比較すると共に、頂点Ｐに対して、空間方向Ｘ（点線ＡＡ’で示す方向）に隣接する画素の画素値を、閾値と比較し、頂点Ｐの画素値が閾値を超え、空間方向Ｘに隣接する画素の画素値が閾値以下である、頂点Ｐが属する細線領域Ｆを検出する。
【０３３３】
図３８は、図３７の点線ＡＡ’で示す空間方向Ｘに並ぶ画素の画素値を表す図である。頂点Ｐの画素値が閾値ＴｈＳを超え、頂点Ｐの空間方向Ｘに隣接する画素の画素値が、閾値ＴｈＳ以下である、頂点Ｐが属する細線領域Ｆは、細線の成分を含む。
【０３３４】
なお、単調増減検出部２０３は、背景の画素値を基準として、頂点Ｐの画素値と背景の画素値との差分を閾値と比較すると共に、頂点Ｐに対して、空間方向Ｘに隣接する画素の画素値と背景の画素値との差分を、閾値と比較し、頂点Ｐの画素値と背景の画素値との差分が閾値を超え、空間方向Ｘに隣接する画素の画素値と背景の画素値との差分が閾値以下である、頂点Ｐが属する細線領域Ｆを検出するようにしてもよい。
【０３３５】
単調増減検出部２０３は、頂点Ｐを基準として、画素値が単調減少し、画素値の符号が頂点Ｐと同じである画素からなる領域であって、その頂点Ｐが閾値を超え、頂点Ｐの右側の画素の画素値が閾値以下であり、頂点Ｐの左側の画素の画素値が閾値以下であるものを示す単調増減領域情報を連続性検出部２０４に供給する。
【０３３６】
画面の上下方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する場合において、単調増減領域情報により示される領域に属する画素は、上下方向に並び、細線の画像が射影された画素を含む。すなわち、単調増減領域情報により示される領域は、画面の上下方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域を含む。
【０３３７】
このように、頂点検出部２０２および単調増減検出部２０３は、細線の画像が射影された画素において、空間方向Ｙの画素値の変化が、ガウス分布に類似するという性質を利用して、細線の画像が射影された画素からなる定常領域を検出する。
【０３３８】
連続性検出部２０４は、単調増減検出部２０３から供給された単調増減領域情報で示される、上下方向に並ぶ画素からなる領域のうち、横方向に隣接している画素を含む領域、すなわち、相似した画素値の変化を有し、縦方向に重複している領域を、連続している領域として検出し、頂点情報、および検出された連続している領域を示すデータ定常性情報を出力する。データ定常性情報は、単調増減領域情報、および領域の繋がりを示す情報などを含んでいる。
【０３３９】
細線が射影された画素において、円弧形状が隣接するように一定の間隔で並ぶので、検出された連続している領域は、細線が射影された画素を含んでいる。
【０３４０】
検出された連続している領域が、細線が射影された、円弧形状が隣接するように一定の間隔で並ぶ画素を含むので、検出された連続している領域を定常領域とし、連続性検出部２０４は、検出された連続している領域を示すデータ定常性情報を出力する。
【０３４１】
すなわち、連続性検出部２０４は、長さ方向に連続するという、実世界１の細線の画像の定常性から生じた、細線を撮像して得られたデータ３における、円弧形状が隣接するように一定の間隔で並ぶ定常性を利用して、頂点検出部２０２および単調増減検出部２０３において検出された領域の候補をさらに絞り込む。
【０３４２】
図３９は、単調増減領域の連続性を検出の処理を説明する図である。
【０３４３】
図３９に示すように、連続性検出部２０４は、画面の縦方向に１列に並ぶ画素からなる細線領域Ｆについて、横方向に隣接する画素を含んでいるとき、２つの単調増減領域の間に連続性があるとし、横方向に隣接する画素を含んでいないとき、２つの細線領域Ｆの間に連続性がないとする。例えば、画面の縦方向に１列に並ぶ画素からなる細線領域Ｆ−１は、画面の縦方向に１列に並ぶ画素からなる細線領域Ｆ０の画素と横方向に隣接する画素を含んでいるとき、細線領域Ｆ０と連続しているとされる。画面の縦方向に１列に並ぶ画素からなる細線領域Ｆ０は、画面の縦方向に１列に並ぶ画素からなる細線領域Ｆ１の画素と横方向に隣接する画素を含んでいるとき、細線領域Ｆ１と連続しているとされる。
【０３４４】
このように、頂点検出部２０２乃至連続性検出部２０４により、画面の上下方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域が検出される。
【０３４５】
頂点検出部２０２乃至連続性検出部２０４は、上述したように、画面の上下方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出し、さらに、画面の左右方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する。
【０３４６】
なお、処理の順序は、特に限定されるものではなく、並列に実行するようにしても良いことは当然である。
【０３４７】
すなわち、頂点検出部２０２は、画面の左右方向に１列に並ぶ画素を対象として、画面の左側に位置する画素の画素値、および画面の右側に位置する画素の画素値に比較して、より大きい画素値を有する画素を頂点として検出し、検出した頂点の位置を示す頂点情報を単調増減検出部２０３に供給する。頂点検出部２０２は、１つの画像、例えば、１フレームの画像から、１または複数の頂点を検出する。
【０３４８】
例えば、頂点検出部２０２は、１フレームの画像からまだ注目画素とされていない画素の中から注目画素を選択し、注目画素の画素値と、注目画素の左側の画素の画素値とを比較し、注目画素の画素値と、注目画素の右側の画素の画素値とを比較して、左側の画素の画素値より大きい画素値を有し、右側の画素の画素値より大きい画素値を有する注目画素を検出して、検出された注目画素を頂点とする。頂点検出部２０２は、検出された頂点を示す頂点情報を単調増減検出部２０３に供給する。
【０３４９】
頂点検出部２０２が、頂点を検出しない場合もある。
【０３５０】
単調増減検出部２０３は、頂点検出部２０２で検出された頂点に対して左右方向に１列に並ぶ画素であって、細線の画像が射影された画素からなる領域の候補を検出検出し、頂点情報と共に、検出した領域を示す単調増減領域情報を連続性検出部２０４に供給する。
【０３５１】
より具体的には、単調増減検出部２０３は、頂点の画素値を基準として、単調減少している画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。
【０３５２】
例えば、単調増減検出部２０３は、頂点に対して横に１列の各画素について、各画素の画素値と、左側の画素の画素値との差分、および右側の画素の画素値との差分を求める。そして、単調増減検出部２０３は、差分の符号が変化する画素を検出することにより、画素値が単調減少している領域を検出する。
【０３５３】
さらに、単調増減検出部２０３は、画素値が単調減少している領域から、頂点の画素値の符号を基準として、頂点の画素値の符号と同じ符号の画素値を有する画素からなる領域を、細線の画像が射影された画素からなる領域の候補として検出する。
【０３５４】
例えば、単調増減検出部２０３は、各画素の画素値の符号と、左側の画素の画素値の符号または右側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出することにより、画素値が単調減少している領域から、頂点と同じ符号の画素値を有する画素からなる領域を検出する。
【０３５５】
このように、単調増減検出部２０３は、左右方向に並び、頂点に対して画素値が単調減少し、頂点と同じ符号の画素値を有する画素からなる領域を検出する。
【０３５６】
単調増減検出部２０３は、このような単調増減領域からなる細線領域の中から、予め定めた閾値より長い細線領域、すなわち、閾値より多い数の画素を含む細線領域を求める。
【０３５７】
さらに、このように検出された細線領域の中から、単調増減検出部２０３は、頂点の画素値、および頂点の上側の画素の画素値、および頂点の下側の画素の画素値を、それぞれ閾値と比較し、頂点の画素値が閾値を超え、頂点の上側の画素の画素値が閾値以下であり、頂点の下側の画素の画素値が閾値以下である頂点が属する細線領域を検出し、検出された細線領域を細線の画像の成分を含む画素からなる領域の候補とする。
【０３５８】
言い換えれば、頂点の画素値が閾値以下であるか、頂点の上側の画素の画素値が閾値を超えるか、または頂点の下側の画素の画素値が閾値を超える頂点が属する細線領域は、細線の画像の成分を含まないと判定され、細線の画像の成分を含む画素からなる領域の候補から除去される。
【０３５９】
なお、単調増減検出部２０３は、背景の画素値を基準として、頂点の画素値と背景の画素値との差分を閾値と比較すると共に、頂点に対して、上下方向に隣接する画素の画素値と背景の画素値との差分を、閾値と比較し、頂点の画素値と背景の画素値との差分が閾値を超え、上下方向に隣接する画素の画素値と背景の画素値との差分が閾値以下である、検出された細線領域を細線の画像の成分を含む画素からなる領域の候補とするようにしてもよい。
【０３６０】
単調増減検出部２０３は、頂点を基準として、画素値が単調減少し、画素値の符号が頂点と同じである画素からなる領域であって、その頂点が閾値を超え、頂点の右側の画素の画素値が閾値以下であり、頂点の左側の画素の画素値が閾値以下であるものを示す単調増減領域情報を連続性検出部２０４に供給する。
【０３６１】
画面の左右方向に１列に並ぶ画素であって、細線の画像が射影されたものからなる領域を検出する場合において、単調増減領域情報により示される領域に属する画素は、左右方向に並び、細線の画像が射影された画素を含む。すなわち、単調増減領域情報により示される領域は、画面の左右方向に並ぶ１列の画素であって、細線の画像が射影されたものからなる領域を含む。
【０３６２】
連続性検出部２０４は、単調増減検出部２０３から供給された単調増減領域情報で示される、左右方向に並ぶ画素からなる領域のうち、縦方向に隣接している画素を含む領域、すなわち、相似した画素値の変化を有し、横方向に重複している領域を、連続している領域として検出し、頂点情報、および検出された連続している領域を示すデータ定常性情報を出力する。データ定常性情報は、領域の繋がりを示す情報を含んでいる。
【０３６３】
細線が射影された画素において、円弧形状が隣接するように一定の間隔で並ぶので、検出された連続している領域は、細線が射影された画素を含んでいる。
【０３６４】
検出された連続している領域が、細線が射影された、円弧形状が隣接するように一定の間隔で並ぶ画素を含むので、検出された連続している領域を定常領域とし、連続性検出部２０４は、検出された連続している領域を示すデータ定常性情報を出力する。
【０３６５】
すなわち、連続性検出部２０４は、長さ方向に連続するという、実世界１の細線の画像の定常性から生じた、細線を撮像して得られたデータ３における、円弧形状が隣接するように一定の間隔で並ぶ定常性を利用して、頂点検出部２０２および単調増減検出部２０３において検出された領域の候補をさらに絞り込む。
【０３６６】
このように、データ定常性検出部１０１は、入力画像であるデータ３に含まれている定常性を検出することができる。すなわち、データ定常性検出部１０１は、細線である実世界１の画像がデータ３に射影されることにより生じた、データ３に含まれるデータの定常性を検出することができる。データ定常性検出部１０１は、データ３から、細線である実世界１の画像が射影された画素からなる領域を検出する。
【０３６７】
図４０は、定常性検出部１０１における、細線の画像が射影された、定常性を有する領域の検出の他の処理の例を示す図である。
【０３６８】
定常性検出部１０１は、図４０に示すように、各画素について、隣接する画素との画素値の差分の絶対値を計算する。計算された差分の絶対値は、画素に対応させて、配置される。例えば、図４０に示すように、画素値がそれぞれＰ０、Ｐ１、Ｐ２である画素が並んでいるとき、定常性検出部１０１は、差分ｄ０＝Ｐ０−Ｐ１および差分ｄ１＝Ｐ１−Ｐ２を計算する。さらに、定常性検出部１０１は、差分ｄ０および差分ｄ１の絶対値を算出する。
【０３６９】
画素値Ｐ０、Ｐ１、およびＰ２に含まれている非定常性成分が同一であるとき、差分ｄ０および差分ｄ１には、細線の成分に対応した値のみが設定されることになる。
【０３７０】
従って、定常性検出部１０１は、画素に対応させて配置されている差分の絶対値のうち、隣り合う差分の値が同一であるとき、その２つの差分の絶対値に対応する画素（２つの差分の絶対値に挟まれた画素）に細線の成分が含まれていると判定する。
【０３７１】
定常性検出部１０１においては、このような、簡便な方法で細線を検出することもできる。
【０３７２】
図４１は、定常性検出の処理を説明するフローチャートである。
【０３７３】
ステップＳ２０１において、非定常成分抽出部２０１は、入力画像から、細線が射影された部分以外の部分である非定常成分を抽出する。非定常成分抽出部２０１は、入力画像と共に、抽出された非定常成分を示す非定常成分情報を頂点検出部２０２および単調増減検出部２０３に供給する。非定常成分の抽出の処理の詳細は、後述する。
【０３７４】
ステップＳ２０２において、頂点検出部２０２は、非定常成分抽出部２０１から供給された非定常成分情報を基に、入力画像から非定常成分を除去し、入力画像に定常成分を含む画素のみを残す。さらに、ステップＳ２０２において、頂点検出部２０２は、頂点を検出する。
【０３７５】
すなわち、頂点検出部２０２は、画面の縦方向を基準として、処理を実行する場合、定常成分を含む画素について、各画素の画素値と、上側および下側の画素の画素値とを比較して、上側の画素の画素値および下側の画素の画素値より大きい画素値を有する画素を検出することにより、頂点を検出する。また、ステップＳ２０２において、頂点検出部２０２は、画面の横方向を基準として、処理を実行する場合、定常成分を含む画素について、各画素の画素値と、右側および左側の画素の画素値とを比較して、右側の画素の画素値および左側の画素の画素値より大きい画素値を有する画素を検出することにより、頂点を検出する。
【０３７６】
頂点検出部２０２は、検出した頂点を示す頂点情報を単調増減検出部２０３に供給する。
【０３７７】
ステップＳ２０３において、単調増減検出部２０３は、非定常成分抽出部２０１から供給された非定常成分情報を基に、入力画像から非定常成分を除去し、入力画像に定常成分を含む画素のみを残す。さらに、ステップＳ２０３において、単調増減検出部２０３は、頂点検出部２０２から供給された、頂点の位置を示す頂点情報を基に、頂点に対する単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。
【０３７８】
単調増減検出部２０３は、画面の縦方向を基準として、処理を実行する場合、頂点の画素値、および頂点に対して縦に１列に並ぶ画素の画素値を基に、縦に並ぶ１列の画素であって、１つの細線の画像が射影された画素からなる単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。すなわち、ステップＳ２０３において、単調増減検出部２０３は、画面の縦方向を基準として、処理を実行する場合、頂点および頂点に対して縦に１列に並ぶ画素について、各画素の画素値と、上側または下側の画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。また、単調増減検出部２０３は、頂点および頂点に対して縦に１列に並ぶ画素について、各画素の画素値の符号と、その画素の上側または下側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。さらに、単調増減検出部２０３は、頂点の画素値、並びに頂点の右側および左側の画素の画素値を、閾値と比較し、頂点の画素値が閾値を超え、右側および左側の画素の画素値が閾値以下である画素からなる領域を検出する。
【０３７９】
単調増減検出部２０３は、このように検出された領域を単調増減領域として、単調増減領域を示す単調増減領域情報を連続性検出部２０４に供給する。
【０３８０】
また、単調増減検出部２０３は、画面の横方向を基準として、処理を実行する場合、頂点の画素値、および頂点に対して横に１列に並ぶ画素の画素値を基に、横に並ぶ１列の画素であって、１つの細線の画像が射影された画素からなる単調増減を検出することにより、データの定常性を有する画素からなる領域を検出する。すなわち、ステップＳ２０３において、単調増減検出部２０３は、画面の横方向を基準として、処理を実行する場合、頂点および頂点に対して横に１列に並ぶ画素について、各画素の画素値と、左側または右側の画素の画素値との差分を求めて、差分の符号が変化する画素を検出する。また、単調増減検出部２０３は、頂点および頂点に対して横に１列に並ぶ画素について、各画素の画素値の符号と、その画素の左側または右側の画素の画素値の符号とを比較し、画素値の符号が変化する画素を検出する。さらに、単調増減検出部２０３は、頂点の画素値、並びに頂点の上側および下側の画素の画素値を、閾値と比較し、頂点の画素値が閾値を超え、上側および下側の画素の画素値が閾値以下である画素からなる領域を検出する。
【０３８１】
単調増減検出部２０３は、このように検出された領域を単調増減領域として、単調増減領域を示す単調増減領域情報を連続性検出部２０４に供給する。
【０３８２】
ステップＳ２０４において、単調増減検出部２０３は、全画素の処理が終了したか否かを判定する。例えば、非定常成分抽出部２０１は、入力画像の１つの画面（例えば、フレームまたはフィールドなど）の全画素について、頂点を検出し、単調増減領域を検出したか否かを判定する。
【０３８３】
ステップＳ２０４において、全画素の処理が終了していない、すなわち、頂点の検出および単調増減領域の検出の処理の対象とされていない画素がまだあると判定された場合、ステップＳ２０２に戻り、頂点の検出および単調増減領域の検出の処理の対象とされていない画素から処理の対象となる画素を選択して、頂点の検出および単調増減領域の検出の処理を繰り返す。
【０３８４】
ステップＳ２０４において、全画素の処理が終了した、すなわち、全ての画素を対象として頂点および単調増減領域が検出されたと判定された場合、ステップＳ２０５に進み、連続性検出部２０４は、単調増減領域情報を基に、検出された領域の連続性を検出する。例えば、連続性検出部２０４は、単調増減領域情報で示される、画面の縦方向に１列に並ぶ画素からなる単調増減領域について、横方向に隣接する画素を含んでいるとき、２つの単調増減領域の間に連続性があるとし、横方向に隣接する画素を含んでいないとき、２つの単調増減領域の間に連続性がないとする。例えば、連続性検出部２０４は、単調増減領域情報で示される、画面の横方向に１列に並ぶ画素からなる単調増減領域について、縦方向に隣接する画素を含んでいるとき、２つの単調増減領域の間に連続性があるとし、縦方向に隣接する画素を含んでいないとき、２つの単調増減領域の間に連続性がないとする。
【０３８５】
連続性検出部２０４は、検出された連続している領域をデータの定常性を有する定常領域とし、頂点の位置および定常領域を示すデータ定常性情報を出力する。データ定常性情報は、領域の繋がりを示す情報を含んでいる。連続性検出部２０４から出力されるデータ定常性情報は、実世界１の細線の画像が射影された画素からなる、定常領域である細線領域を示す。
【０３８６】
ステップＳ２０６において、定常性方向検出部２０５は、全画素の処理が終了したか否かを判定する。すなわち、定常性方向検出部２０５は、入力画像の所定のフレームの全画素について、領域の連続性を検出したか否かを判定する。
【０３８７】
ステップＳ２０６において、全画素の処理が終了していない、すなわち、領域の連続性の検出の処理の対象とされていない画素がまだあると判定された場合、ステップＳ２０５に戻り、領域の連続性の検出の処理の対象とされていない画素から処理の対象となる画素を選択して、領域の連続性の検出の処理を繰り返す。
【０３８８】
ステップＳ２０６において、全画素の処理が終了した、すなわち、全ての画素を対象として領域の連続性が検出されたと判定された場合、処理は終了する。
【０３８９】
このように、入力画像であるデータ３に含まれている定常性が検出される。すなわち、細線である実世界１の画像がデータ３に射影されることにより生じた、データ３に含まれるデータの定常性が検出され、データ３から、細線である実世界１の画像が射影された画素からなる、データの定常性を有する領域が検出される。
【０３９０】
なお、図３０で構成が示されるデータ定常性検出部１０１は、データ３のフレームから検出されたデータの定常性を有する領域を基に、時間方向のデータの定常性を検出することができる。
【０３９１】
例えば、図４２に示すように、連続性検出部２０４は、フレーム＃ｎにおいて、検出されたデータの定常性を有する領域、フレーム＃ｎ−１において、検出されたデータの定常性を有する領域、およびフレーム＃ｎ＋１において、検出されたデータの定常性を有する領域を基に、領域の端部を結ぶことにより、時間方向のデータの定常性を検出する。
【０３９２】
フレーム＃ｎ−１は、フレーム＃ｎに対して時間的に前のフレームであり、フレーム＃ｎ＋１は、フレーム＃ｎに対して時間的に後のフレームである。すなわち、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１は、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１の順で表示される。
【０３９３】
より具体的には、図４２において、Ｇは、フレーム＃ｎにおいて、検出されたデータの定常性を有する領域、フレーム＃ｎ−１において、検出されたデータの定常性を有する領域、およびフレーム＃ｎ＋１において、検出されたデータの定常性を有する領域のそれぞれの一端を結ぶことにより得られた動きベクトルを示し、Ｇ’は、検出されたデータの定常性を有する領域のそれぞれの他の一端を結ぶことにより得られた動きベクトルを示す。動きベクトルＧおよび動きベクトルＧ’は、時間方向のデータの定常性の一例である。
【０３９４】
さらに、図３０で構成が示されるデータ定常性検出部１０１は、データの定常性を有する領域の長さを示す情報を、データ定常性情報として出力することができる。
【０３９５】
図４３は、データの定常性を有しない画像データの部分である非定常成分を平面で近似して、非定常成分を抽出する、非定常成分抽出部２０１の構成を示すブロック図である。
【０３９６】
図４３に構成を示す非定常成分抽出部２０１は、入力画像から所定の数の画素でなるブロックを抽出し、ブロックと平面で示される値との誤差が所定の閾値未満になるように、ブロックを平面で近似して、非定常成分を抽出する。
【０３９７】
入力画像は、ブロック抽出部２２１に供給されるとともに、そのまま出力される。
【０３９８】
ブロック抽出部２２１は、入力画像から、所定の数の画素からなるブロックを抽出する。例えば、ブロック抽出部２２１は、７×７の画素からなるブロックを抽出し、平面近似部２２２に供給する。例えば、ブロック抽出部２２１は、抽出されるブロックの中心となる画素をラスタスキャン順に移動させ、順次、入力画像からブロックを抽出する。
【０３９９】
平面近似部２２２は、ブロックに含まれる画素の画素値を所定の平面で近似する。例えば、平面近似部２２２は、式（３２）で表される平面でブロックに含まれる画素の画素値を近似する。
【０４００】
【数３２】
2005018519.tif 000065
2005018519.tif 000066
【０４０１】
式（３２）において、ｘは、画素の画面上の一方の方向（空間方向Ｘ）の位置を示し、ｙは、画素の画面上の他の一方の方向（空間方向Ｙ）の位置を示す。ｚは、平面で示される近似値を示す。ａは、平面の空間方向Ｘの傾きを示し、ｂは、平面の空間方向Ｙの傾きを示す。式（３２）において、ｃは、平面のオフセット（切片）を示す。
【０４０２】
例えば、平面近似部２２２は、回帰の処理により、傾きａ、傾きｂ、およびオフセットｃを求めることにより、式（３２）で表される平面で、ブロックに含まれる画素の画素値を近似する。平面近似部２２２は、棄却を伴う回帰の処理により、傾きａ、傾きｂ、およびオフセットｃを求めることにより、式（３２）で表される平面で、ブロックに含まれる画素の画素値を近似する。
【０４０３】
例えば、平面近似部２２２は、最小自乗法により、ブロックの画素の画素値に対して、誤差が最小となる式（３２）で表される平面を求めることにより、平面でブロックに含まれる画素の画素値を近似する。
【０４０４】
なお、平面近似部２２２は、式（３２）で表される平面でブロックを近似すると説明したが、式（３２）で表される平面に限らず、より高い自由度をもった関数、例えば、ｎ次の多項式で表される面でブロックを近似するようにしてもよい。
【０４０５】
繰り返し判定部２２３は、ブロックの画素値を近似した平面で示される近似値と、ブロックの対応する画素の画素値との誤差を計算する。式（３３）は、ブロックの画素値を近似した平面で示される近似値と、ブロックの対応する画素の画素値ｚｉとの差分である誤差ｅｉを示す式である。
【０４０６】
【数３３】
2005018519.tif 000067
2005018519.tif 000068
【０４０７】
式（３３）において、ｚハット（ｚに＾を付した文字をｚハットと記述する。以下、本明細書において、同様に記載する。）は、ブロックの画素値を近似した平面で示される近似値を示し、ａハットは、ブロックの画素値を近似した平面の空間方向Ｘの傾きを示し、ｂハットは、ブロックの画素値を近似した平面の空間方向Ｙの傾きを示す。式（３３）において、ｃハットは、ブロックの画素値を近似した平面のオフセット（切片）を示す。
【０４０８】
繰り返し判定部２２３は、式（３３）で示される、近似値とブロックの対応する画素の画素値との誤差ｅｉが、最も大きい画素を棄却する。このようにすることで、細線が射影された画素、すなわち定常性を有する画素が棄却されることになる。繰り返し判定部２２３は、棄却した画素を示す棄却情報を平面近似部２２２に供給する。
【０４０９】
さらに、繰り返し判定部２２３は、標準誤差を算出して、標準誤差が、予め定めた近似終了判定用の閾値以上であり、ブロックの画素のうち、半分以上の画素が棄却されていないとき、繰り返し判定部２２３は、平面近似部２２２に、ブロックに含まれる画素のうち、棄却された画素を除いた画素を対象として、平面による近似の処理を繰り返させる。
【０４１０】
定常性を有する画素が棄却されるので、棄却された画素を除いた画素を対象として平面で近似をすることにより、平面は、非定常成分を近似することになる。
【０４１１】
繰り返し判定部２２３は、標準誤差が、近似終了判定用の閾値未満であるとき、または、ブロックの画素のうち、半分以上の画素が棄却されたとき、平面による近似を終了する。
【０４１２】
５×５の画素からなるブロックについて、標準誤差ｅｓは、例えば、式（３４）で算出される。
【０４１３】
【数３４】
2005018519.tif 000069
2005018519.tif 000070
ここで、ｎは、画素の数である。
【０４１４】
なお、繰り返し判定部２２３は、標準誤差に限らず、ブロックに含まれる全ての画素についての誤差の２乗の和を算出して、以下の処理を実行するようにしてもよい。
【０４１５】
ここで、ラスタスキャン方向に１画素ずつずれたブロックを平面で近似するとき、図４４に示すように、図中黒丸で示す、定常性を有する画素、すなわち細線の成分を含む画素は、複数回棄却されることになる。
【０４１６】
繰り返し判定部２２３は、平面による近似を終了したとき、ブロックの画素値を近似した平面を示す情報（式（３２）の平面の傾きおよび切片）を、非定常成分情報として出力する。
【０４１７】
なお、繰り返し判定部２２３は、画素毎の棄却された回数と予め定めた閾値とを比較して、棄却された回数が閾値以上である画素を定常成分を含む画素であるとして、定常成分を含む画素を示す情報を定常成分情報として出力するようにしてもよい。この場合、頂点検出部２０２乃至定常性方向検出部２０５は、定常成分情報で示される、定常成分を含む画素を対象として、それぞれの処理を実行する。
【０４１８】
棄却された回数、ブロックの画素の画素値を近似する平面の空間方向Ｘの傾き、ブロックの画素の画素値を近似する平面の空間方向Ｙの傾き、ブロックの画素の画素値を近似する平面で示される近似値、および誤差ｅｉは、入力画像の特徴量としても利用することができる。
【０４１９】
図４５は、ステップＳ２０１に対応する、図４３に構成を示す非定常成分抽出部２０１による、非定常成分の抽出の処理を説明するフローチャートである。
【０４２０】
ステップＳ２２１において、ブロック抽出部２２１は、入力画素から、所定の数の画素からなるブロックを抽出し、抽出したブロックを平面近似部２２２に供給する。例えば、ブロック抽出部２２１は、入力画素から、まだ、選択されていない画素のうち、１つの画素を選択し、選択された画素を中心とする７×７の画素からなるブロックを抽出する。例えば、ブロック抽出部２２１は、ラスタスキャン順に画素を選択することができる。
【０４２１】
ステップＳ２２２において、平面近似部２２２は、抽出されたブロックを平面で近似する。平面近似部２２２は、例えば、回帰の処理により、抽出されたブロックの画素の画素値を、平面で近似する。例えば、平面近似部２２２は、回帰の処理により、抽出されたブロックの画素のうち、棄却された画素を除いた画素の画素値を、平面で近似する。ステップＳ２２３において、繰り返し判定部２２３は、繰り返し判定を実行する。例えば、ブロックの画素の画素値と近似した平面の近似値とから標準誤差を算出し、棄却された画素の数をカウントすることにより、繰り返し判定を実行する。
【０４２２】
ステップＳ２２４において、繰り返し判定部２２３は、標準誤差が閾値以上であるか否かを判定し、標準誤差が閾値以上であると判定された場合、ステップＳ２２５に進む。
【０４２３】
なお、ステップＳ２２４において、繰り返し判定部２２３は、ブロックの画素のうち、半分以上の画素が棄却されたか否か、および標準誤差が閾値以上であるか否かを判定し、ブロックの画素のうち、半分以上の画素が棄却されておらず、標準誤差が閾値以上であると判定された場合、ステップＳ２２５に進むようにしてもよい。
【０４２４】
ステップＳ２２５において、繰り返し判定部２２３は、ブロックの画素毎に、画素の画素値と近似した平面の近似値との誤差を算出し、誤差が最も大きい画素を棄却し、平面近似部２２２に通知する。手続きは、ステップＳ２２２に戻り、棄却された画素を除いた、ブロックの画素を対象として、平面による近似の処理および繰り返し判定の処理が繰り返される。
【０４２５】
ステップＳ２２５において、ラスタスキャン方向に１画素ずつずれたブロックがステップＳ２２１の処理で抽出される場合、図４４に示すように、細線の成分を含む画素（図中の黒丸で示す）は、複数回棄却されることになる。
【０４２６】
ステップＳ２２４において、標準誤差が閾値以上でないと判定された場合、ブロックが平面で近似されたので、ステップＳ２２６に進む。
【０４２７】
なお、ステップＳ２２４において、繰り返し判定部２２３は、ブロックの画素のうち、半分以上の画素が棄却されたか否か、および標準誤差が閾値以上であるか否かを判定し、ブロックの画素のうち、半分以上の画素が棄却されたか、または標準誤差が閾値以上でないと判定された場合、ステップＳ２２５に進むようにしてもよい。
【０４２８】
ステップＳ２２６において、繰り返し判定部２２３は、ブロックの画素の画素値を近似する平面の傾きおよび切片を、非定常成分情報として出力する。
【０４２９】
ステップＳ２２７において、ブロック抽出部２２１は、入力画像の１つの画面の全画素について処理を終了したか否かを判定し、まだ処理の対象となってない画素があると判定された場合、ステップＳ２２１に戻り、まだ処理の対象となっていない画素からブロックを抽出して、上述した処理を繰り返す。
【０４３０】
ステップＳ２２７において、入力画像の１つの画面の全画素について、処理を終了したと判定された場合、処理は終了する。
【０４３１】
このように、図４３に構成を示す非定常成分抽出部２０１は、入力画像から非定常成分を抽出することができる。非定常成分抽出部２０１が入力画像の非定常成分を抽出するので、頂点検出部２０２および単調増減検出部２０３は、入力画像と、非定常成分抽出部２０１で抽出された非定常成分との差分を求めることにより、定常成分を含む差分を対象として処理を実行することができる。
【０４３２】
なお、平面による近似の処理において算出される、棄却した場合の標準誤差、棄却しない場合の標準誤差、画素の棄却された回数、平面の空間方向Ｘの傾き（式（３２）におけるａハット）、平面の空間方向Ｙの傾き（式（３２）におけるｂハット）、平面で置き換えたときのレベル（式（３２）におけるｃハット）、および入力画像の画素値と平面で示される近似値との差分は、特徴量として利用することができる。
【０４３３】
図４６は、ステップＳ２０１に対応する非定常成分の抽出の処理に代わる、図４３に構成を示す非定常成分抽出部２０１による、定常成分の抽出の処理を説明するフローチャートである。ステップＳ２４１乃至ステップＳ２４５の処理は、ステップＳ２２１乃至ステップＳ２２５の処理と同様なので、その説明は省略する。
【０４３４】
ステップＳ２４６において、繰り返し判定部２２３は、平面で示される近似値と入力画像の画素値との差分を、入力画像の定常成分として出力する。すなわち、繰り返し判定部２２３は、平面による近似値と、真値である画素値との差分を出力する。
【０４３５】
なお、繰り返し判定部２２３は、平面で示される近似値と入力画像の画素値との差分が、所定の閾値以上である画素の画素値を、入力画像の定常成分として出力するようにしてもよい。
【０４３６】
ステップＳ２４７の処理は、ステップＳ２２７の処理と同様なので、その説明は省略する。
【０４３７】
平面が非定常成分を近似しているので、非定常成分抽出部２０１は、入力画像の各画素の画素値から、画素値を近似する平面で示される近似値を引き算することにより、入力画像から非定常成分を除去することができる。この場合、頂点検出部２０２乃至連続性検出部２０４は、入力画像の定常成分、すなわち細線の画像が射影された値のみを処理の対象とすることができ、頂点検出部２０２乃至連続性検出部２０４における処理がより容易になる。
【０４３８】
図４７は、ステップＳ２０１に対応する非定常成分の抽出の処理に代わる、図４３に構成を示す非定常成分抽出部２０１による、定常成分の抽出の他の処理を説明するフローチャートである。ステップＳ２６１乃至ステップＳ２６５の処理は、ステップＳ２２１乃至ステップＳ２２５の処理と同様なので、その説明は省略する。
【０４３９】
ステップＳ２６６において、繰り返し判定部２２３は、画素毎の、棄却の回数を記憶し、ステップＳ２６２に戻り、処理を繰り返す。
【０４４０】
ステップＳ２６４において、標準誤差が閾値以上でないと判定された場合、ブロックが平面で近似されたので、ステップＳ２６７に進み、繰り返し判定部２２３は、入力画像の１つの画面の全画素について処理を終了したか否かを判定し、まだ処理の対象となってない画素があると判定された場合、ステップＳ２６１に戻り、まだ処理の対象となっていない画素についてブロックを抽出して、上述した処理を繰り返す。
【０４４１】
ステップＳ２６７において、入力画像の１つの画面の全画素について、処理を終了したと判定された場合、ステップＳ２６８に進み、繰り返し判定部２２３は、まだ選択されていない画素から１つの画素を選択し、選択された画素について、棄却の回数が、閾値以上であるか否かを判定する。例えば、繰り返し判定部２２３は、ステップＳ２６８において、選択された画素について、棄却の回数が、予め記憶している閾値以上であるか否かを判定する。
【０４４２】
ステップＳ２６８において、選択された画素について、棄却の回数が、閾値以上であると判定された場合、選択された画素が定常成分を含むので、ステップＳ２６９に進み、繰り返し判定部２２３は、選択された画素の画素値（入力画像における画素値）を入力画像の定常成分として出力し、ステップＳ２７０に進む。
【０４４３】
ステップＳ２６８において、選択された画素について、棄却の回数が、閾値以上でないと判定された場合、選択された画素が定常成分を含まないので、ステップＳ２６９の処理をスキップして、手続きは、ステップＳ２７０に進む。すなわち、棄却の回数が、閾値以上でないと判定された画素は、画素値が出力されない。
【０４４４】
なお、棄却の回数が、閾値以上でないと判定された画素について、繰り返し判定部２２３は、０を設定した画素値を出力するようにしてもよい。
【０４４５】
ステップＳ２７０において、繰り返し判定部２２３は、入力画像の１つの画面の全画素について、棄却の回数が閾値以上であるか否かの判定の処理を終了したか否かを判定し、全画素について処理を終了していないと判定された場合、まだ処理の対象となってない画素があるので、ステップＳ２６８に戻り、まだ処理の対象となっていない画素から１つの画素を選択して、上述した処理を繰り返す。
【０４４６】
ステップＳ２７０において、入力画像の１つの画面の全画素について処理を終了したと判定された場合、処理は終了する。
【０４４７】
このように、非定常成分抽出部２０１は、定常成分情報として、入力画像の画素のうち、定常成分を含む画素の画素値を出力することができる。すなわち、非定常成分抽出部２０１は、入力画像の画素のうち、細線の画像の成分を含む画素の画素値を出力することができる。
【０４４８】
図４８は、ステップＳ２０１に対応する非定常成分の抽出の処理に代わる、図４３に構成を示す非定常成分抽出部２０１による、定常成分の抽出のさらに他の処理を説明するフローチャートである。ステップＳ２８１乃至ステップＳ２８８の処理は、ステップＳ２６１乃至ステップＳ２６８の処理と同様なので、その説明は省略する。
【０４４９】
ステップＳ２８９において、繰り返し判定部２２３は、平面で示される近似値と、選択された画素の画素値との差分を入力画像の定常成分として出力する。すなわち、繰り返し判定部２２３は、入力画像から非定常成分を除去した画像を定常性情報として出力する。
【０４５０】
ステップＳ２９０の処理は、ステップＳ２７０の処理と同様なので、その説明は省略する。
【０４５１】
このように、非定常成分抽出部２０１は、入力画像から非定常成分を除去した画像を定常性情報として出力することができる。
【０４５２】
以上のように、現実世界の光信号が射影され、現実世界の光信号の定常性の一部が欠落した、第１の画像データの複数の画素の画素値の不連続部を検出し、検出された不連続部からデータの定常性を検出し、検出されたデータの定常性を基に、現実世界の光信号の定常性を推定することにより光信号を推定し、推定された光信号を第２の画像データに変換するようにした場合、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【０４５３】
図４９は、データ定常性検出部１０１の他の構成を示すブロック図である。
【０４５４】
図４９に構成を示すデータ定常性検出部１０１においては、注目している画素である注目画素について、入力画像の空間方向に対する画素値の変化、すなわち入力画像の空間方向のアクティビティが検出され、検出されたアクティビティに応じて、注目画素および基準軸を基準とした角度毎に、垂直方向に１列または水平方向に１列の所定の数の画素からなる画素の組が、複数抽出され、抽出された画素の組の相関が検出され、相関に基づいて、入力画像における、基準軸を基準としたデータの定常性の角度が検出される。
【０４５５】
データの定常性の角度とは、基準軸と、データ３が有している、一定の特徴が繰り返し現れる所定の次元の方向とがなす角度をいう。一定の特徴が繰り返し現れるとは、例えば、データ３における位置の変化に対する値の変化、すなわち断面形状が同じである場合などをいう。
【０４５６】
基準軸は、例えば、空間方向Ｘを示す軸（画面の水平方向）、または空間方向Ｙを示す軸（画面の垂直方向）などとすることができる。
【０４５７】
入力画像は、アクティビティ検出部４０１およびデータ選択部４０２に供給される。
【０４５８】
アクティビティ検出部４０１は、入力画像の空間方向に対する画素値の変化、すなわち空間方向のアクティビティを検出して、検出した結果を示すアクティビティ情報をデータ選択部４０２および定常方向導出部４０４に供給する。
【０４５９】
例えば、アクティビティ検出部４０１は、画面の水平方向に対する画素値の変化、および画面の垂直方向に対する画素値の変化を検出し、検出された水平方向に対する画素値の変化および垂直方向に対する画素値の変化を比較することにより、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいか、または水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいかを検出する。
【０４６０】
アクティビティ検出部４０１は、検出の結果である、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいことを示すか、または水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいことを示すアクティビティ情報をデータ選択部４０２および定常方向導出部４０４に供給する。
【０４６１】
垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きい場合、例えば、図５０で示されるように、垂直方向に１列の画素に円弧形状（かまぼこ型）またはつめ形状が形成され、円弧形状またはつめ形状が垂直により近い方向に繰り返して形成されている。すなわち、垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きい場合、基準軸を空間方向Ｘを示す軸とすると、入力画像における、基準軸を基準としたデータの定常性の角度は、４５度乃至９０度のいずれかの値である。
【０４６２】
水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きい場合、例えば、水平方向に１列の画素に円弧形状またはつめ形状が形成され、円弧形状またはつめ形状が水平方向により近い方向に繰り返して形成されている。すなわち、水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きい場合、基準軸を空間方向Ｘを示す軸とすると、入力画像における、基準軸を基準としたデータの定常性の角度は、０度乃至４５度のいずれかの値である。
【０４６３】
例えば、アクティビティ検出部４０１は、図５１で示される、注目画素を中心とした３×３の９つの画素からなるブロックを入力画像から抽出する。アクティビティ検出部４０１は、縦に隣接する画素についての画素値の差分の和、および横に隣接する画素についての画素値の差分の和を算出する。横に隣接する画素についての画素値の差分の和ｈｄｉｆｆは、式（３５）で求められる。
【０４６４】
【数３５】
2005018519.tif 000071
2005018519.tif 000072
【０４６５】
同様に、縦に隣接する画素についての画素値の差分の和ｖｄｉｆｆは、式（３６）で求められる。
【０４６６】
【数３６】
2005018519.tif 000073
2005018519.tif 000074
【０４６７】
式（３５）および式（３６）において、Ｐは、画素値を示し、ｉは、画素の横方向の位置を示し、ｊは、画素の縦方向の位置を示す。
【０４６８】
アクティビティ検出部４０１は、算出された横に隣接する画素についての画素値の差分の和ｈｄｉｆｆおよび縦に隣接する画素についての画素値の差分の和ｖｄｉｆｆを比較して、入力画像における、基準軸を基準としたデータの定常性の角度の範囲を判定するようにしてもよい。すなわち、この場合、アクティビティ検出部４０１は、空間方向の位置に対する画素値の変化で示される形状が水平方向に繰り返して形成されているか、垂直方向に繰り返して形成されているかを判定する。
【０４６９】
例えば、横に１列の画素上に形成された円弧についての横方向の画素値の変化は、縦方向の画素値の変化に比較して大きく、横に１列の画素上に形成された円弧についての縦方向の画素値の変化は、横方向の画素値の変化に比較して大きく、データの定常性の方向、すなわち、データ３である入力画像が有している、一定の特徴の所定の次元の方向の変化は、データの定常性に直交する方向の変化に比較して小さいと言える。言い換えれば、データの定常性の方向の差分に比較して、データの定常性の方向に直交する方向（以下、非定常方向とも称する）の差分は大きい。
【０４７０】
例えば、図５２に示すように、アクティビティ検出部４０１は、算出された横に隣接する画素についての画素値の差分の和ｈｄｉｆｆおよび縦に隣接する画素についての画素値の差分の和ｖｄｉｆｆを比較して、横に隣接する画素についての画素値の差分の和ｈｄｉｆｆが大きい場合、基準軸を基準としたデータの定常性の角度が、４５度乃至１３５度のいずれかの値であると判定し、縦に隣接する画素についての画素値の差分の和ｖｄｉｆｆが大きい場合、基準軸を基準としたデータの定常性の角度が、０度乃至４５度のいずれかの値、または１３５度乃至１８０度のいずれかの値であると判定する。
【０４７１】
例えば、アクティビティ検出部４０１は、判定の結果を示すアクティビティ情報をデータ選択部４０２および定常方向導出部４０４に供給する。
【０４７２】
なお、アクティビティ検出部４０１は、５×５の２５の画素からなるブロック、または７×７の４９の画素からなるブロックなど、任意の大きさのブロックを抽出して、アクティビティを検出することができる。
【０４７３】
データ選択部４０２は、入力画像の画素から注目画素を順に選択し、アクティビティ検出部４０１から供給されたアクティビティ情報を基に、注目画素および基準軸を基準とした角度毎に、垂直方向に１列または水平方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０４７４】
例えば、アクティビティ情報が垂直方向に対する画素値の変化に比較して、水平方向に対する画素値の変化が大きいことを示しているとき、データの定常性の角度が、４５度乃至１３５度のいずれかの値なので、データ選択部４０２は、注目画素および基準軸を基準とした４５度乃至１３５度の範囲の所定の角度毎に、垂直方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０４７５】
アクティビティ情報が水平方向に対する画素値の変化に比較して、垂直方向に対する画素値の変化が大きいことを示しているとき、データの定常性の角度が、０度乃至４５度または１３５度乃至１８０度のいずれかの値なので、データ選択部４０２は、注目画素および基準軸を基準とした０度乃至４５度または１３５度乃至１８０度の範囲の所定の角度毎に、水平方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０４７６】
また、例えば、データの定常性の角度が４５度乃至１３５度のいずれかの値であることを、アクティビティ情報が示しているとき、データ選択部４０２は、注目画素および基準軸を基準とした４５度乃至１３５度の範囲の所定の角度毎に、垂直方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０４７７】
データの定常性の角度が０度乃至４５度または１３５度乃至１８０度のいずれかの値であることを、アクティビティ情報が示しているとき、データ選択部４０２は、注目画素および基準軸を基準とした０度乃至４５度または１３５度乃至１８０度の範囲の所定の角度毎に、水平方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０４７８】
データ選択部４０２は、抽出した画素からなる複数の組を誤差推定部４０３に供給する。
【０４７９】
誤差推定部４０３は、抽出した画素からなる複数の組について、角度毎に、画素の組の相関を検出する。
【０４８０】
例えば、誤差推定部４０３は、１つの角度に対応する、垂直方向に１列の所定の数の画素からなる画素の複数の組について、画素の組における対応する位置の画素の画素値の相関を検出する。誤差推定部４０３は、１つの角度に対応する、水平方向に１列の所定の数の画素からなる画素の複数の組について、組における対応する位置の画素の画素値の相関を検出する。
【０４８１】
誤差推定部４０３は、検出した相関を示す相関情報を定常方向導出部４０４に供給する。誤差推定部４０３は、相関を示す値として、データ選択部４０２から供給された、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出し、差分の絶対値の和を相関情報として定常方向導出部４０４に供給する。
【０４８２】
定常方向導出部４０４は、誤差推定部４０３から供給された相関情報に基いて、欠落した実世界１の光信号の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。例えば、定常方向導出部４０４は、誤差推定部４０３から供給された相関情報に基いて、データの定常性の角度として、最も相関の強い画素の組に対する角度を検出し、検出された最も相関の強い画素の組に対する角度を示すデータ定常性情報を出力する。
【０４８３】
以下の説明において、適宜、０度乃至９０度の範囲（いわゆる第１象限）のデータの定常性の角度を検出するものとして説明する。
【０４８４】
図５３は、図４９に示すデータ定常性検出部１０１のより詳細な構成を示すブロック図である。
【０４８５】
データ選択部４０２は、画素選択部４１１−１乃至画素選択部４１１−Ｌを含む。誤差推定部４０３は、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌを含む。定常方向導出部４０４は、最小誤差角度選択部４１３を含む。
【０４８６】
まず、アクティビティ情報で示される、データの定常性の角度が４５度乃至１３５度のいずれかの値であるときの画素選択部４１１−１乃至画素選択部４１１−Ｌの処理を説明する。
【０４８７】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、空間方向Ｘを示す軸を基準軸として、注目画素を通る、それぞれ異なる所定の角度の直線を設定する。画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列に属する画素であって、注目画素の上側の所定の数の画素、および注目画素の下側の所定の数の画素、並びに注目画素を画素の組として選択する。
【０４８８】
例えば、図５４で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列に属する画素から、注目画素を中心として９つの画素を画素の組として選択する。
【０４８９】
図５４において、マス目状の１つの四角（１つのマス目）は、１つの画素を示す。図５４において、中央に示す丸は、注目画素を示す。
【０４９０】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側の縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図５４において、注目画素の左下側の丸は、選択された画素の例を示す。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側の縦に１列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０４９１】
例えば、図５４で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側の縦に１列の画素の列に属する画素から、直線に最も近い位置の画素を中心として９つの画素を画素の組として選択する。
【０４９２】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側に２つめの縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図５４において、最も左側の丸は、選択された画素の例を示す。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側に２つめの縦に１列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０４９３】
例えば、図５４で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、左側に２つめの縦に１列の画素の列に属する画素から、直線に最も近い位置の画素を中心として９つの画素を画素の組として選択する。
【０４９４】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側の縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図５４において、注目画素の右上側の丸は、選択された画素の例を示す。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側の縦に１列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０４９５】
例えば、図５４で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側の縦に１列の画素の列に属する画素から、直線に最も近い位置の画素を中心として９つの画素を画素の組として選択する。
【０４９６】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側に２つめの縦に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。図５４において、最も右側の丸は、このように選択された画素の例を示す。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側に２つめの縦に１列の画素の列に属する画素であって、選択された画素の上側の所定の数の画素、および選択された画素の下側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０４９７】
例えば、図５４で示されるように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する縦に１列の画素の列の、右側に２つめの縦に１列の画素の列に属する画素から、直線に最も近い位置の画素を中心として９つの画素を画素の組として選択する。
【０４９８】
このように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、それぞれ、画素の組を５つ選択する。
【０４９９】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、互いに異なる角度（に設定された直線）についての、画素の組を選択する。例えば、画素選択部４１１−１は、４５度についての、画素の組を選択し、画素選択部４１１−２は、４７．５度についての、画素の組を選択し、画素選択部４１１−３は、５０度についての、画素の組を選択する。画素選択部４１１−１乃至画素選択部４１１−Ｌは、５２．５度から１３５度までの、２．５度毎の角度についての、画素の組を選択する。
【０５００】
なお、画素の組の数は、例えば、３つ、または７つなど、任意の数とすることができる。また、１つの組として選択された画素の数は、例えば、５つ、または１３など、任意の数とすることができる。
【０５０１】
なお、画素選択部４１１−１乃至画素選択部４１１−Ｌは、縦方向に所定の範囲の画素から、画素の組を選択するようにすることができる。例えば、画素選択部４１１−１乃至画素選択部４１１−Ｌは、縦方向に１２１個の画素（注目画素に対して、上方向に６０画素、下方向に６０画素）から、画素の組を選択する。この場合、データ定常性検出部１０１は、空間方向Ｘを示す軸に対して、８８．０９度まで、データの定常性の角度を検出することができる。
【０５０２】
画素選択部４１１−１は、選択した画素の組を推定誤差算出部４１２−１に供給し、画素選択部４１１−２は、選択した画素の組を推定誤差算出部４１２−２に供給する。同様に、画素選択部４１１−３乃至画素選択部４１１−Ｌのそれぞれは、選択した画素の組を推定誤差算出部４１２−３乃至推定誤差算出部４１２−Ｌのそれぞれに供給する。
【０５０３】
推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。例えば、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、相関を示す値として、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出する。
【０５０４】
より具体的には、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の左側の縦に１列の画素の列に属する画素からなる組の画素の画素値とを基に、最も上の画素の画素値の差分を算出し、上から２番目の画素の画素値の差分を算出するように、上の画素から順に画素値の差分の絶対値を算出して、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の左に２つめの縦に１列の画素の列に属する画素からなる組の画素の画素値とを基に、上の画素から順に画素値の差分の絶対値を算出して、算出された差分の絶対値の和を算出する。
【０５０５】
そして、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の右側の縦に１列の画素の列に属する画素からなる組の画素の画素値とを基に、最も上の画素の画素値の差分を算出し、上から２番目の画素の画素値の差分を算出するように、上の画素から順に画素値の差分の絶対値を算出して、さらに、算出された差分の絶対値の和を算出する。推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、注目画素を含む組の画素の画素値と、注目画素の右に２つめの縦に１列の画素の列に属する画素からなる組の画素の画素値とを基に、上の画素から順に画素値の差分の絶対値を算出して、算出された差分の絶対値の和を算出する。
【０５０６】
推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、このように算出された画素値の差分の絶対値の和を全て加算して、画素値の差分の絶対値の総和を算出する。
【０５０７】
推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、検出された相関を示す情報を、最小誤差角度選択部４１３に供給する。例えば、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、算出された画素値の差分の絶対値の総和を最小誤差角度選択部４１３に供給する。
【０５０８】
なお、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素値の差分の絶対値の和に限らず、画素値の差分の自乗の和、または画素値を基にした相関係数など他の値を相関値として算出するようにすることができる。
【０５０９】
最小誤差角度選択部４１３は、互いに異なる角度についての、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌにおいて検出された相関に基いて、欠落した実世界１の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。すなわち、最小誤差角度選択部４１３は、互いに異なる角度についての、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌにおいて検出された相関に基いて、最も強い相関を選択し、選択された相関が検出された角度を、基準軸を基準としたデータの定常性の角度とすることにより、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。
【０５１０】
例えば、最小誤差角度選択部４１３は、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌから供給された、画素値の差分の絶対値の総和のうち、最小の総和を選択する。最小誤差角度選択部４１３は、選択された総和が算出された画素の組について、注目画素に対して、左側に２つめの縦に１列の画素の列に属する画素であって、直線に最も近い位置の画素の位置、および、注目画素に対して、右側に２つめの縦に１列の画素の列に属する画素であって、直線に最も近い位置の画素の位置を参照する。
【０５１１】
図５４で示されるように、最小誤差角度選択部４１３は、注目画素の位置に対する、参照する画素の位置の縦方向の距離Ｓを求める。最小誤差角度選択部４１３は、図５５で示すように、式（３７）から、欠落した実世界１の光信号の定常性に対応する、画像データである入力画像における、基準軸である空間方向Ｘを示す軸を基準としたデータの定常性の角度θを検出する。
【０５１２】
【数３７】
2005018519.tif 000075
2005018519.tif 000076
【０５１３】
次に、アクティビティ情報で示される、データの定常性の角度が０度乃至４５度および１３５度乃至１８０度のいずれかの値であるときの画素選択部４１１−１乃至画素選択部４１１−Ｌの処理を説明する。
【０５１４】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、空間方向Ｘを示す軸を基準軸として、注目画素を通る、所定の角度の直線を設定し、注目画素が属する横に１列の画素の列に属する画素であって、注目画素の上側の所定の数の画素、および注目画素の下側の所定の数の画素、並びに注目画素を画素の組として選択する。
【０５１５】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、上側の横に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、上側の横に１列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０５１６】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、上側に２つめの横に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、上側に２つめの横に１列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０５１７】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、下側の横に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、下側の横に１列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０５１８】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、下側に２つめの横に１列の画素の列に属する画素であって、それぞれに設定された直線に最も近い位置の画素を選択する。そして、画素選択部４１１−１乃至画素選択部４１１−Ｌは、注目画素が属する横に１列の画素の列の、下側に２つめの横に１列の画素の列に属する画素であって、選択された画素の左側の所定の数の画素、および選択された画素の右側の所定の数の画素、並びに選択された画素を画素の組として選択する。
【０５１９】
このように、画素選択部４１１−１乃至画素選択部４１１−Ｌは、それぞれ、画素の組を５つ選択する。
【０５２０】
画素選択部４１１−１乃至画素選択部４１１−Ｌは、互いに異なる角度についての、画素の組を選択する。例えば、画素選択部４１１−１は、０度についての、画素の組を選択し、画素選択部４１１−２は、２．５度についての、画素の組を選択し、画素選択部４１１−３は、５度についての、画素の組を選択する。画素選択部４１１−１乃至画素選択部４１１−Ｌは、７．５度から４５度および１３５度から１８０度までの、２．５度毎の角度についての、画素の組を選択する。
【０５２１】
画素選択部４１１−１は、選択した画素の組を推定誤差算出部４１２−１に供給し、画素選択部４１１−２は、選択した画素の組を推定誤差算出部４１２−２に供給する。同様に、画素選択部４１１−３乃至画素選択部４１１−Ｌのそれぞれは、選択した画素の組を推定誤差算出部４１２−３乃至推定誤差算出部４１２−Ｌのそれぞれに供給する。
【０５２２】
推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、画素選択部４１１−１乃至画素選択部４１１−Ｌのいずれかから供給された、複数の組における対応する位置の画素の画素値の相関を検出する。推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌは、検出された相関を示す情報を、最小誤差角度選択部４１３に供給する。
【０５２３】
最小誤差角度選択部４１３は、推定誤差算出部４１２−１乃至推定誤差算出部４１２−Ｌにおいて検出された相関に基いて、欠落した実世界１の光信号である画像の定常性に対応する、入力画像における、基準軸を基準としたデータの定常性の角度を検出する。
【０５２４】
次に、図５６のフローチャートを参照して、ステップＳ１０１の処理に対応する、図４９で構成が示されるデータ定常性検出部１０１による、データの定常性の検出の処理を説明する。
【０５２５】
ステップＳ４０１において、アクティビティ検出部４０１およびデータ選択部４０２は、入力画像から、注目している画素である注目画素を選択する。アクティビティ検出部４０１およびデータ選択部４０２は、同一の注目画素を選択する。例えば、アクティビティ検出部４０１およびデータ選択部４０２は、入力画像から、ラスタスキャン順に、注目画素を選択する。
【０５２６】
ステップＳ４０２において、アクティビティ検出部４０１は、注目画素に対するアクティビティを検出する。例えば、アクティビティ検出部４０１は、注目画素を中心とした所定の数の画素からなるブロックの縦方向に並ぶ画素の画素値の差分および横方向に並ぶ画素の画素値の差分を基に、アクティビティを検出する。
【０５２７】
アクティビティ検出部４０１は、注目画素に対する空間方向のアクティビティを検出して、検出した結果を示すアクティビティ情報をデータ選択部４０２および定常方向導出部４０４に供給する。
【０５２８】
ステップＳ４０３において、データ選択部４０２は、注目画素を含む画素の列から、注目画素を中心とした所定の数の画素を、画素の組として選択する。例えば、データ選択部４０２は、注目画素が属する縦または横に１列の画素の列に属する画素であって、注目画素の上側または左側の所定の数の画素、および注目画素の下側または右側の所定の数の画素、並びに注目画素を画素の組として選択する。
【０５２９】
ステップＳ４０４において、データ選択部４０２は、ステップＳ４０２の処理で検出されたアクティビティを基にした、所定の範囲の角度毎に、所定の数の画素の列から、それぞれ所定の数の画素を、画素の組として選択する。例えば、データ選択部４０２は、所定の範囲の角度を有し、空間方向Ｘを示す軸を基準軸として、注目画素を通る直線を設定し、注目画素に対して、横方向または縦方向に１列または２列離れた画素であって、直線に最も近い画素を選択し、選択された画素の上側または左側の所定の数の画素、および選択された画素の下側または右側の所定の数の画素、並びに線に最も近い選択された画素を画素の組として選択する。データ選択部４０２は、角度毎に、画素の組を選択する。
【０５３０】
データ選択部４０２は、選択した画素の組を誤差推定部４０３に供給する。
【０５３１】
ステップＳ４０５において、誤差推定部４０３は、注目画素を中心とした画素の組と、角度毎に選択した画素の組との相関を計算する。例えば、誤差推定部４０３は、角度毎に、注目画素を含む組の画素の画素値と、他の組における対応する位置の画素の画素値の差分の絶対値の和を算出する。
【０５３２】
角度毎に選択された、画素の組の相互の相関を基に、データの定常性の角度を検出するようにしてもよい。
【０５３３】
誤差推定部４０３は、算出された相関を示す情報を、定常方向導出部４０４に供給する。
【０５３４】
ステップＳ４０６において、定常方向導出部４０４は、ステップＳ４０５の処理で算出された相関を基に、相関が最も強い画素の組の位置から、欠落した実世界１の光信号の定常性に対応する、画像データである入力画像における、基準軸を基準としたデータの定常性の角度を検出する。例えば、定常方向導出部４０４は、画素値の差分の絶対値の総和のうち、最小の総和を選択し、選択された総和が算出された画素の組の位置から、データの定常性の角度θを検出する。
【０５３５】
定常方向導出部４０４は、検出したデータの定常性の角度を示すデータ定常性情報を出力する。
【０５３６】
ステップＳ４０７において、データ選択部４０２は、全ての画素の処理を終了したか否かを判定し、全ての画素の処理を終了していないと判定された場合、ステップＳ４０１に戻り、まだ注目画素として選択されていない画素から注目画素を選択して、上述した処理を繰り返す。
【０５３７】
ステップＳ４０７において、全ての画素の処理を終了したと判定された場合、処理は終了する。
【０５３８】
このように、データ定常性検出部１０１は、欠落した実世界１の光信号の定常性に対応する、画像データにおける、基準軸を基準としたデータの定常性の角度を検出することができる。
【０５３９】
なお、図４９で構成が示されるデータ検出部１０１は、注目しているフレームである注目フレームの、注目している画素である注目画素について、入力画像の空間方向のアクティビティを検出し、検出されたアクティビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームおよび注目フレームの時間的に前または後ろのフレームのそれぞれから、垂直方向に１列または水平方向に１列の所定の数の画素からなる画素の組を、複数抽出し、抽出された画素の組の相関を検出し、相関に基づいて、入力画像における、時間方向および空間方向のデータの定常性の角度を検出するようにしてもよい。
【０５４０】
例えば、図５７に示すように、データ選択部４０２は、検出されたアクティビティに応じて、注目画素および空間方向の基準軸を基準とした角度、並びに動きベクトル毎に、注目フレームであるフレーム＃ｎ、フレーム＃ｎ−１、およびフレーム＃ｎ＋１のそれぞれから、垂直方向に１列または水平方向に１列の所定の数の画素からなる画素の組を、複数抽出する。
【０５４１】
フレーム＃ｎ−１は、フレーム＃ｎに対して時間的に前のフレームであり、フレーム＃ｎ＋１は、フレーム＃ｎに対して時間的に後のフレームである。すなわち、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１は、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１の順で表示される。
【０５４２】
誤差推定部４０３は、抽出した画素からなる複数の組について、１つの角度および１つの動きベクトル毎に、画素の組の相関を検出する。定常方向導出部４０４は、画素の組の相関に基づいて、欠落した実世界１の光信号の定常性に対応する、入力画像における、時間方向および空間方向のデータの定常性の角度を検出し、角度を示すデータ定常性情報を出力する。
【０５４３】
次に、図５８乃至図８８を参照して、実世界推定部１０２（図３）の実施の形態の他の例について説明する。
【０５４４】
図５８は、この例の実施の形態の原理を説明する図である。
【０５４５】
図５８で示されるように、センサ２に入射される画像である、実世界１の信号（光の強度の分布）は、所定の関数Ｆで表される。なお、以下、この例の実施の形態の説明においては、画像である、実世界１の信号を、特に光信号と称し、関数Ｆを、特に光信号関数Ｆと称する。
【０５４６】
この例の実施の形態においては、光信号関数Ｆで表される実世界１の光信号が所定の定常性を有する場合、実世界推定部１０２が、センサ２からの入力画像（定常性に対応するデータの定常性を含む画像データ）と、データ定常性検出部１０１からのデータ定常性情報（入力画像のデータの定常性に対応するデータ定常性情報）を使用して、光信号関数Ｆを所定の関数ｆで近似することによって、光信号関数Ｆを推定する。なお、以下、この例の実施の形態の説明においては、関数ｆを、特に近似関数ｆと称する。
【０５４７】
換言すると、この例の実施の形態においては、実世界推定部１０２が、近似関数ｆで表されるモデル１６１（図４）を用いて、光信号関数Ｆで表される画像（実世界１の光信号）を近似（記述）する。従って、以下、この例の実施の形態を、関数近似手法と称する。
【０５４８】
ここで、関数近似手法の具体的な説明に入る前に、本願出願人が関数近似手法を発明するに至った背景について説明する。
【０５４９】
図５９は、センサ２がＣＣＤとされる場合の積分効果を説明する図である。
【０５５０】
図５９で示されるように、センサ２の平面上には、複数の検出素子２−１が配置されている。
【０５５１】
図５９の例では、検出素子２−１の所定の１辺に平行な方向が、空間方向の１方向であるＸ方向とされており、Ｘ方向に垂直な方向が、空間方向の他方向であるＹ方向とされている。そして、Ｘ−Ｙ平面に垂直な方向が、時間方向であるｔ方向とされている。
【０５５２】
また、図５９の例では、センサ２の各検出素子２−１のそれぞれの空間的な形状は、１辺の長さが１の正方形とされている。そして、センサ２のシャッタ時間（露光時間）が１とされている。
【０５５３】
さらに、図５９の例では、センサ２の所定の１つの検出素子２−１の中心が、空間方向（Ｘ方向とＹ方向）の原点（Ｘ方向の位置ｘ＝０、およびＹ方向の位置ｙ＝０）とされており、また、露光時間の中間時刻が、時間方向（ｔ方向）の原点（ｔ方向の位置ｔ＝０）とされている。
【０５５４】
この場合、空間方向の原点（ｘ＝０，ｙ＝０）にその中心が存在する検出素子２−１は、Ｘ方向に−０．５乃至０．５の範囲、Ｙ方向に−０．５乃至０．５の範囲、およびｔ方向に−０．５乃至０．５の範囲で光信号関数Ｆ（ｘ，ｙ，ｔ）を積分し、その積分値を画素値Ｐとして出力することになる。
【０５５５】
即ち、空間方向の原点にその中心が存在する検出素子２−１から出力される画素値Ｐは、次の式（３８）で表される。
【０５５６】
【数３８】
2005018519.tif 000077
2005018519.tif 000078
【０５５７】
その他の検出素子２−１も同様に、対象とする検出素子２−１の中心を空間方向の原点とすることで、式（３８）で示される画素値Ｐを出力することになる。
【０５５８】
図６０は、センサ２の積分効果の具体的な例を説明する図である。
【０５５９】
図６０において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図５９）を表している。
【０５６０】
実世界１の光信号のうちの１部分（以下、このような部分を、領域と称する）２３０１は、所定の定常性を有する領域の１例を表している。
【０５６１】
なお、実際には、領域２３０１は連続した光信号の１部分（連続した領域）である。これに対して、図６０においては、領域２３０１は、２０個の小領域（正方形の領域）に区分されているように示されている。これは、領域２３０１の大きさが、Ｘ方向に対して４個分、かつＹ方向に対して５個分のセンサ２の検出素子（画素）が並んだ大きさに相当することを表すためである。即ち、領域２３０１内の２０個の小領域（仮想領域）のそれぞれは１つの画素に相当する。
【０５６２】
また、領域２３０１のうちの図中白い部分は細線に対応する光信号を表している。従って、領域２３０１は、細線が続く方向に定常性を有していることになる。そこで、以下、領域２３０１を、細線含有実世界領域２３０１と称する。
【０５６３】
この場合、細線含有実世界領域２３０１（実世界１の光信号の１部分）がセンサ２により検出されると、センサ２からは、積分効果により、入力画像（画素値）の領域２３０２（以下、細線含有データ領域２３０２と称する）が出力される。
【０５６４】
なお、細線含有データ領域２３０２の各画素のそれぞれは、図中、画像として示されているが、実際には、所定の１つの値を表すデータである。即ち、細線含有実世界領域２３０１は、センサ２の積分効果により、所定の１つの画素値をそれぞれ有する２０個の画素（Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素）に区分された細線含有データ領域２３０２に変化してしまう（歪んでしまう）。
【０５６５】
図６１は、センサ２の積分効果の具体的な他の例（図６０とは異なる例）を説明する図である。
【０５６６】
図６１において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図５９）を表している。
【０５６７】
実世界１の光信号の１部分（領域）２３０３は、所定の定常性を有する領域の他の例（図６０の細線含有実世界領域２３０１とは異なる例）を表している。
【０５６８】
なお、領域２３０３は、細線含有実世界領域２３０１と同じ大きさを有する領域である。即ち、細線含有実世界領域２３０１と同様に、領域２３０３も、実際には連続した実世界１の光信号の１部分（連続した領域）であるが、図６１においては、センサ２の１画素に相当する２０個の小領域（正方形の領域）に区分されているように示されている。
【０５６９】
また、領域２３０３は、所定の第１の光の強度（値）を有する第１の部分と、所定の第２の光の強度（値）を有する第２の部分のエッジを含んでいる。従って、領域２３０３は、エッジが続く方向に定常性を有していることになる。そこで、以下、領域２３０３を、２値エッジ含有実世界領域２３０３と称する。
【０５７０】
この場合、２値エッジ含有実世界領域２３０３（実世界１の光信号の１部分）がセンサ２により検出されると、センサ２からは、積分効果により、入力画像（画素値）の領域２３０４（以下、２値エッジ含有データ領域２３０４と称する）が出力される。
【０５７１】
なお、２値エッジ含有データ領域２３０４の各画素値のそれぞれは、細線含有データ領域２３０２と同様に、図中、画像として表現されているが、実際には、所定の値を表すデータである。即ち、２値エッジ含有実世界領域２３０３は、センサ２の積分効果により、所定の１つの画素値をそれぞれ有する２０個の画素（Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素）に区分された２値エッジ含有データ領域２３０４に変化してしまう（歪んでしまう）。
【０５７２】
従来の画像処理装置は、このような細線含有データ領域２３０２や２値エッジ含有データ領域２３０４等、センサ２から出力された画像データを原点（基準）とするとともに、画像データを処理の対象として、それ以降の画像処理を行っていた。即ち、センサ２から出力された画像データは、積分効果により実世界１の光信号とは異なるもの（歪んだもの）となっているにも関わらず、従来の画像処理装置は、その実世界１の光信号とは異なるデータを正として画像処理を行っていた。
【０５７３】
その結果、従来の画像処理装置では、センサ２から出力された段階で、実世界のディテールがつぶれてしまった波形（画像データ）を基準として、その波形から、元のディテールを復元することは非常に困難であるという課題があった。
【０５７４】
そこで、関数近似手法においては、この課題を解決するために、上述したように（図５８で示されるように）、実世界推定部１０２が、細線含有データ領域２３０２や２値エッジ含有データ領域２３０４のようなセンサ２から出力された画像データ（入力画像）から、光信号関数Ｆ（実世界１の光信号）を近似関数ｆで近似することによって、光信号関数Ｆを推定する。
【０５７５】
これにより、実世界推定部１０２より後段において（いまの場合、図３の画像生成部１０３）、積分効果が考慮された画像データ、即ち、近似関数ｆにより表現可能な画像データを原点として、その処理を実行することが可能になる。
【０５７６】
以下、図面を参照して、このような関数近似手法のうちの３つの具体的な手法（第１乃至第３の関数近似手法）のそれぞれについて個別に説明していく。
【０５７７】
はじめに、図６２乃至図７６を参照して、第１の関数近似手法について説明する。
【０５７８】
図６２は、上述した図６０で示される細線含有実世界領域２３０１を再度表した図である。
【０５７９】
図６２において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図５９）を表している。
【０５８０】
第１の関数近似手法は、例えば、図６２で示されるような細線含有実世界領域２３０１に対応する光信号関数Ｆ（ｘ，ｙ，ｔ）をＸ方向（図中矢印２３１１の方向）に射影した１次元の波形（以下、このような波形を、Ｘ断面波形Ｆ（ｘ）と称する）を、例えば、ｎ次（ｎは、任意の整数）の多項式などの近似関数ｆ（ｘ）で近似する手法である。従って、以下、第１の関数近似手法を、特に、１次元近似手法と称する。
【０５８１】
なお、１次元近似手法において、近似の対象となるＸ断面波形Ｆ（ｘ）は、勿論、図６２の細線含有実世界領域２３０１に対応するものに限定されない。即ち、後述するように、１次元近似手法においては、定常性を有する実世界１の光信号に対応するＸ断面波形Ｆ（ｘ）であれば、いずれのものでも近似することが可能である。
【０５８２】
また、光信号関数Ｆ（ｘ，ｙ，ｔ）の射影の方向はＸ方向に限定されず、Ｙ方向またはｔ方向でもよい。即ち、１次元近似手法においては、光信号関数Ｆ（ｘ，ｙ，ｔ）をＹ方向に射影した関数Ｆ（ｙ）を、所定の近似関数ｆ（ｙ）で近似することも可能であるし、光信号関数Ｆ（ｘ，ｙ，ｔ）をｔ方向に射影した関数Ｆ（ｔ）を、所定の近似関数ｆ（ｔ）で近似することも可能である。
【０５８３】
より詳細には、１次元近似手法は、例えば、Ｘ断面波形Ｆ（ｘ）を、次の式（３９）で示されるような、ｎ次の多項式などの近似関数ｆ（ｘ）で近似する手法である。
【０５８４】
【数３９】
2005018519.tif 000079
2005018519.tif 000080
【０５８５】
即ち、１次元近似手法においては、実世界推定部１０２が、式（３９）のｘｉの係数（特徴量）ｗｉを演算することで、Ｘ断面波形Ｆ（ｘ）を推定する。
【０５８６】
この特徴量ｗｉの演算方法は、特に限定されず、例えば、次の第１乃至第３の方法が使用可能である。
【０５８７】
即ち、第１の方法は、従来から利用されている方法である。
【０５８８】
これに対して、第２の方法は、本願出願人が新たに発明した方法であって、第１の方法に対して、さらに、空間方向の定常性を考慮した方法である。
【０５８９】
しかしながら、後述するように、第１の方法と第２の方法においては、センサ２の積分効果が考慮されていない。従って、第１の方法または第２の方法により演算された特徴量ｗｉを上述した式（３９）に代入して得られる近似関数ｆ（ｘ）は、入力画像の近似関数ではあるが、厳密には、Ｘ断面波形Ｆ（ｘ）の近似関数とは言えない。
【０５９０】
そこで、本願出願人は、第２の方法に対して、センサ２の積分効果をさらに考慮して特徴量ｗｉを演算する第３の方法を発明した。この第３の方法により演算された特徴量ｗｉを、上述した式（３９）に代入して得られる近似関数ｆ（ｘ）は、センサ２の積分効果を考慮している点で、Ｘ断面波形Ｆ（ｘ）の近似関数であると言える。
【０５９１】
このように、厳密には、第１の方法と第２の方法は、１次元近似手法とは言えず、第３の方法のみが１次元近似手法であると言える。
【０５９２】
換言すると、図６３で示されるように、第２の方法は、１次元近似手法とは異なる。即ち、図６３は、第２の方法に対応する実施の形態の原理を説明する図である。
【０５９３】
図６３で示されるように、第２の方法に対応する実施の形態においては、光信号関数Ｆで表される実世界１の光信号が所定の定常性を有する場合、実世界推定部１０２が、センサ２からの入力画像（定常性に対応するデータの定常性を含む画像データ）と、データ定常性検出部１０１からのデータ定常性情報（入力画像のデータの定常性に対応するデータ定常性情報）を使用して、Ｘ断面波形Ｆ（ｘ）を近似するのではなく、センサ２からの入力画像を所定の近似関数ｆ２（ｘ）で近似する。
【０５９４】
このように、第２の方法は、センサ２の積分効果を考慮せず、入力画像の近似に留まっている点で、第３の方法と同一レベルの手法であるとは言い難い。しかしながら、第２の方法は、空間方向の定常性を考慮している点で、従来の第１の方法よりも優れた手法である。
【０５９５】
以下、第１の方法、第２の方法、および第３の方法のそれぞれの詳細について、その順番で個別に説明していく。
【０５９６】
なお、以下、第１の方法、第２の方法、および第３の方法により生成される近似関数ｆ（ｘ）のそれぞれを、他の方法のものと区別する場合、特に、近似関数ｆ１（ｘ）、近似関数ｆ２（ｘ）、および近似関数ｆ３（ｘ）とそれぞれ称する。
【０５９７】
はじめに、第１の方法の詳細について説明する。
【０５９８】
第１の方法においては、上述した式（３９）で示される近似関数ｆ１（ｘ）が、図６４の細線含有実世界領域２３０１内で成り立つとして、次の予測方程式（４０）を定義する。
【０５９９】
【数４０】
2005018519.tif 000081
2005018519.tif 000082
【０６００】
式（４０）において、ｘは、注目画素からのＸ方向に対する相対的な画素位置を表している。ｙは、注目画素からのＹ方向に対する相対的な画素位置を表している。ｅは、誤差を表している。具体的には、例えば、いま、図６４で示されるように、注目画素が、細線含有データ領域２３０２（細線含有実世界領域２３０１（図６２）がセンサ２により検出されて、出力されたデータ）のうちの、図中、左からＸ方向に２画素目であって、下からＹ方向に３画素目の画素であるとする。また、注目画素の中心を原点（０，０）とし、センサ２のＸ方向とＹ方向（図５９）のそれぞれに平行なｘ軸とｙ軸を軸とする座標系（以下、注目画素座標系と称する）が設定されているとする。この場合、注目画素座標系の座標値（ｘ，ｙ）が、相対画素位置を表すことになる。
【０６０１】
また、式（４０）において、Ｐ（ｘ，ｙ）は、相対画素位置（ｘ，ｙ）における画素値を表している。具体的には、いまの場合、細線含有データ領域２３０２内のＰ（ｘ，ｙ）は、図６５で示されるようになる。
【０６０２】
図６５は、この画素値Ｐ（ｘ，ｙ）をグラフ化したものを表している。
【０６０３】
図６５において、各グラフのそれぞれの縦軸は、画素値を表しており、横軸は、注目画素からのＸ方向の相対位置ｘを表している。また、図中、上から１番目のグラフの点線は入力画素値Ｐ（ｘ，−２）を、上から２番目のグラフの３点鎖線は入力画素値Ｐ（ｘ，−１）を、上から３番目のグラフの実線は入力画素値Ｐ（ｘ，０）を、上から４番目のグラフの１点鎖線は入力画素値Ｐ（ｘ，１）を、上から５番目（下から１番目）のグラフの２点鎖線は入力画素値Ｐ（ｘ，２）を、それぞれ表している。
【０６０４】
上述した式（４０）に対して、図６５で示される２０個の入力画素値Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）（ただし、ｘは、−１乃至２のうちのいずれかの整数値）のそれぞれを代入すると、次の式（４１）で示される２０個の方程式が生成される。なお、ｅｋ（ｋは、１乃至２０のうちのいずれかの整数値）のそれぞれは、誤差を表している。
【０６０５】
【数４１】
2005018519.tif 000083
2005018519.tif 000084
【０６０６】
式（４１）は、２０個の方程式より構成されているので、近似関数ｆ１（ｘ）の特徴量ｗｉの個数が２０個より少ない場合、即ち、近似関数ｆ１（ｘ）が１９次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量ｗｉの算出が可能である。なお、最小自乗法の具体的な解法は後述する。
【０６０７】
例えば、いま、近似関数ｆ１（ｘ）の次数が５次とされた場合、式（４１）を利用して最小自乗法により演算された近似関数ｆ１（ｘ）（演算された特徴量ｗｉにより生成される近似関数ｆ１（ｘ））は、図６６で示される曲線のようになる。
【０６０８】
なお、図６６において、縦軸は画素値を表しており、横軸は注目画素からの相対位置ｘを表している。
【０６０９】
即ち、図６４の細線含有データ領域２３０２を構成する２０個の画素値Ｐ（ｘ，ｙ）のそれぞれ（図６５で示される入力画素値Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）のそれぞれ）を、例えば、ｘ軸に沿ってそのまま足しこむ（Ｙ方向の相対位置ｙを一定とみなして、図６５で示される５つのグラフを重ねる）と、図６６で示されるような、ｘ軸に平行な複数の線（点線、３点鎖線、実線、１点鎖線、および２点鎖線）が分布する。
【０６１０】
ただし、図６６においては、点線は入力画素値Ｐ（ｘ，−２）を、３点鎖線は入力画素値Ｐ（ｘ，−１）を、実線は入力画素値Ｐ（ｘ，０）を、１点鎖線は入力画素値Ｐ（ｘ，１）を、２点鎖線は入力画素値Ｐ（ｘ，２）を、それぞれ表している。また、同一の画素値の場合、実際には２本以上の線が重なることになるが、図６６においては、各線の区別がつくように、各線のそれぞれが重ならないように描画されている。
【０６１１】
そして、このように分布した２０個の入力画素値Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）のそれぞれと、値ｆ１（ｘ）の誤差が最小となるような回帰曲線（最小自乗法により演算された特徴量ｗｉを上述した式（３８）に代入して得られる近似関数ｆ１（ｘ））が、図６６で示される曲線（近似関数ｆ１（ｘ））となる。
【０６１２】
このように、近似関数ｆ１（ｘ）は、Ｙ方向の画素値（注目画素からのＸ方向の相対位置ｘが同一の画素値）Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）の平均値を、Ｘ方向に結んだ曲線を単に表しているに過ぎない。即ち、光信号が有する空間方向の定常性を考慮することなく、近似関数ｆ１（ｘ）が生成されている。
【０６１３】
例えば、いまの場合、近似の対象は、細線含有実世界領域２３０１（図６２）とされている。この細線含有実世界領域２３０１は、図６７で示されるように、傾きＧＦで表される空間方向の定常性を有している。なお、図６７において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図５９）を表している。
【０６１４】
従って、データ定常性検出部１０１（図５８）は、空間方向の定常性の傾きＧＦに対応するデータ定常性情報として、図６７で示されるような角度θ（傾きＧＦに対応する傾きＧｆで表されるデータの定常性の方向と、Ｘ方向のなす角度θ）を出力することができる。
【０６１５】
しかしながら、第１の方法においては、データ定常性検出部１０１より出力されるデータ定常性情報は一切用いられていない。
【０６１６】
換言すると、図６７で示されるように、細線含有実世界領域２３０１の空間方向の定常性の方向は略角度θ方向である。しかしながら、第１の方法は、細線含有実世界領域２３０１の空間方向の定常性の方向はＹ方向であると仮定して（即ち、角度θが９０度であると仮定して）、近似関数ｆ１（ｘ）の特徴量ｗｉを演算する方法である。
【０６１７】
このため、近似関数ｆ１（ｘ）は、その波形が鈍り、元の画素値よりディテールが減少する関数となってしまう。換言すると、図示はしないが、第１の方法により生成される近似関数ｆ１（ｘ）は、実際のＸ断面波形Ｆ（ｘ）とは大きく異なる波形となってしまう。
【０６１８】
そこで、本願出願人は、第１の方法に対して、空間方向の定常性をさらに考慮して（角度θを利用して）特徴量ｗｉを演算する第２の方法を発明した。
【０６１９】
即ち、第２の方法は、細線含有実世界領域２３０１の定常性の方向は略角度θ方向であるとして、近似関数ｆ２（ｘ）  の特徴量ｗｉを演算する方法である。
【０６２０】
具体的には、例えば、空間方向の定常性に対応するデータの定常性を表す傾きＧｆは、次の式（４２）で表される。
【０６２１】
【数４２】
2005018519.tif 000085
2005018519.tif 000086
【０６２２】
なお、式（４２）において、ｄｘは、図６７で示されるようなＸ方向の微小移動量を表しており、ｄｙは、図６７で示されるようなｄｘに対するＹ方向の微小移動量を表している。
【０６２３】
この場合、シフト量Ｃｘ（ｙ）を、次の式（４３）のように定義すると、第２の方法においては、第１の方法で利用した式（４０）に相当する式は、次の式（４４）のようになる。
【０６２４】
【数４３】
2005018519.tif 000087
2005018519.tif 000088
【０６２５】
【数４４】
2005018519.tif 000089
2005018519.tif 000090
【０６２６】
即ち、第１の方法で利用した式（４０）は、画素の中心の位置（ｘ、ｙ）のうちのＸ方向の位置ｘが、同一の位置に位置する画素の画素値Ｐ（ｘ，ｙ）はいずれも同じ値であることを表している。換言すると、式（４０）は、同じ画素値の画素がＹ方向に続いている（Ｙ方向に定常性がある）ことを表している。
【０６２７】
これに対して、第２の方法で利用する式（４４）は、画素の中心の位置が（ｘ，ｙ）である画素の画素値Ｐ（ｘ，ｙ）は、注目画素（その中心の位置が原点（０，０）である画素）からＸ方向にｘだけ離れた場所に位置する画素の画素値（≒ｆ２（ｘ））とは一致せず、その画素からさらにＸ方向にシフト量Ｃｘ（ｙ）だけ離れた場所に位置する画素（注目画素からＸ方向にｘ＋Ｃｘ（ｙ）だけ離れた場所に位置する画素）の画素値（≒ｆ２（ｘ＋Ｃｘ（ｙ）））と同じ値であることを表している。換言すると、式（４４）は、同じ画素値の画素が、シフト量Ｃｘ（ｙ）に対応する角度θ方向に続いている（略角度θ方向に定常性がある）ことを表している。
【０６２８】
このように、シフト量Ｃｘ（ｙ）が、空間方向の定常性（いまの場合、図６７の傾きＧＦで表される定常性（厳密には、傾きＧｆで表されるデータの定常性））を考慮した補正量であり、シフト量Ｃｘ（ｙ）により式（４０）を補正したものが式（４４）となる。
【０６２９】
この場合、図６４で示される細線含有データ領域２３０２の２０個の画素値Ｐ（ｘ，ｙ）（ただし、ｘは、−１乃至２のうちのいずれかの整数値。ｙは、−２乃至２のうちのいずれかの整数値）のそれぞれを、上述した式（４４）に代入すると次の式（４５）で示される２０個の方程式が生成される。
【０６３０】
【数４５】
2005018519.tif 000091
2005018519.tif 000092
【０６３１】
式（４５）は、上述した式（４１）と同様に、２０個の方程式より構成されている。従って、第１の方法と同様に第２の方法においても、近似関数ｆ２（ｘ）の特徴量ｗｉの個数が２０個より少ない場合、即ち、近似関数ｆ２（ｘ）が１９次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量ｗｉの算出が可能である。なお、最小自乗法の具体的な解法は後述する。
【０６３２】
例えば、第１の方法と同様に近似関数ｆ２（ｘ）の次数が５次とされた場合、第２の方法においては、次のようにして特徴量ｗｉが演算される。
【０６３３】
即ち、図６８は、式（４５）の左辺で示される画素値Ｐ（ｘ，ｙ）をグラフ化したものを表している。図６８で示される５つのグラフのそれぞれは、基本的に図６５で示されるものと同一である。
【０６３４】
図６８で示されるように、最大の画素値（細線に対応する画素値）は、傾きＧｆで表されるデータの定常性の方向に続いている。
【０６３５】
そこで、第２の方法においては、図６８で示される入力画素値Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）のそれぞれを、例えば、ｘ軸に沿って足しこむ場合、第１の方法のようにそのまま足しこむ（ｙを一定とみなして、図６８で示される状態のまま５つのグラフを重ねる）のではなく、図６９で示される状態に変化させてから足しこむ。
【０６３６】
即ち、図６９は、図６８で示される入力画素値Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）のそれぞれを、上述した式（４３）で示されるシフト量Ｃｘ（ｙ）だけシフトさせた状態を表している。換言すると、図６９は、図６８で示される５つのグラフを、データの定常性の実際の方向を表す傾きＧＦを、あたかも傾きＧＦ’とするように（図中、点線の直線を実線の直線とするように）移動させた状態を表している。
【０６３７】
図６９の状態で、入力画素値Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）のそれぞれを、例えば、ｘ軸に沿って足しこむと（図６９で示される状態で５つのグラフを重ねると）、図７０で示されるような、ｘ軸に平行な複数の線（点線、３点鎖線、実線、１点鎖線、および２点鎖線）が分布する。
【０６３８】
なお、図７０において、縦軸は画素値を表しており、横軸は注目画素からの相対位置ｘを表している。また、点線は入力画素値Ｐ（ｘ，−２）を、３点鎖線は入力画素値Ｐ（ｘ，−１）を、実線は入力画素値Ｐ（ｘ，０）を、１点鎖線は入力画素値Ｐ（ｘ，１）を、２点鎖線は入力画素値Ｐ（ｘ，２）を、それぞれ表している。さらに、同一の画素値の場合、実際には２本以上の線が重なることになるが、図７０においては、各線の区別がつくように、各線のそれぞれが重ならないように描画されている。
【０６３９】
そして、このように分布した２０個の入力画素値Ｐ（ｘ，ｙ）のそれぞれ（ただし、ｘは、−１乃至２のうちのいずれかの整数値。ｙは、−２乃至２のうちのいずれかの整数値）と、値ｆ２（ｘ＋Ｃｘ（ｙ））の誤差が最小となるような回帰曲線（最小自乗法により演算された特徴量ｗｉを上述した式（３８）に代入して得られる近似関数ｆ２（ｘ））は、図７０の実線で示される曲線ｆ２（ｘ）となる。
【０６４０】
このように、第２の方法により生成された近似関数ｆ２（ｘ）は、データ定常性検出部１０１（図５８）より出力される角度θ方向（即ち、ほぼ空間方向の定常性の方向）の入力画素値Ｐ（ｘ，ｙ）の平均値をＸ方向に結んだ曲線を表すことになる。
【０６４１】
これに対して、上述したように、第１の方法により生成された近似関数ｆ１（ｘ）は、Ｙ方向（即ち、空間方向の定常性とは異なる方向）の入力画素値Ｐ（ｘ，ｙ）の平均値を、Ｘ方向に結んだ曲線を単に表しているに過ぎない。
【０６４２】
従って、図７０で示されるように、第２の方法により生成された近似関数ｆ２（ｘ）は、第１の方法により生成された近似関数ｆ１（ｘ）よりも、その波形の鈍り度合いが減少し、かつ、元の画素値に対するディテールの減り具合も減少する関数となる。換言すると、図示はしないが、第２の方法により生成される近似関数ｆ２（ｘ）は、第１の方法により生成される近似関数ｆ１（ｘ）よりも実際のＸ断面波形Ｆ（ｘ）により近い波形となる。
【０６４３】
しかしながら、上述したように、近似関数ｆ２（ｘ）は、空間方向の定常性が考慮されたものではあるが、入力画像（入力画素値）を原点（基準）として生成されたものに他ならない。即ち、上述した図６３で示されるように、近似関数ｆ２（ｘ）は、Ｘ断面波形Ｆ（ｘ）とは異なる入力画像を近似したに過ぎず、Ｘ断面波形Ｆ（ｘ）を近似したとは言い難い。換言すると、第２の方法は、上述した式（４４）が成立するとして特徴量ｗｉを演算する方法であり、上述した式（３８）の関係は考慮していない（センサ２の積分効果を考慮していない）。
【０６４４】
そこで、本願出願人は、第２の方法に対して、センサ２の積分効果をさらに考慮することで近似関数ｆ３（ｘ）の特徴量ｗｉを演算する第３の方法を発明した。
【０６４５】
即ち、第３の方法は、空間混合または時間混合の概念を導入した方法である。なお、空間混合と時間混合の両方を考慮すると、説明が複雑になるため、ここでは、空間混合と時間混合のうちの、例えば空間混合を考慮し、時間混合を無視するものとする。
【０６４６】
そこで、第３の方法の説明の前に、図７１を参照して、空間混合について説明する。
【０６４７】
図７１において、実世界１の光信号の１部分２３２１（以下、領域２３２１と称する）は、センサ２の１つの検出素子（画素）と同じ面積を有する領域を表している。
【０６４８】
領域２３２１がセンサ２に検出されると、センサ２からは、領域２３２１が時空間方向（Ｘ方向，Ｙ方向，およびｔ方向）に積分された値（１つの画素値）２３２２が出力される。なお、画素値２３２２は、図中、画像として表現されているが、実際には、所定の値を表すデータである。
【０６４９】
実世界１の領域２３２１は、前景（例えば、上述した細線）に対応する光信号（図中白い領域）と、背景に対応する光信号（図中黒い領域）に明確に区分される。
【０６５０】
これに対して、画素値２３２２は、前景に対応する実世界１の光信号と、背景に対応する実世界１の光信号が積分された値である。換言すると、画素値２３２２は、前景に対応する光のレベルと背景に対応する光のレベルが空間的に混合されたレベルに対応する値である。
【０６５１】
このように、実世界１の光信号のうちの１画素（センサ２の検出素子）に対応する部分が、同一レベルの光信号が空間的に一様に分布する部分ではなく、前景と背景のように異なるレベルの光信号のそれぞれが分布する部分である場合、その領域は、センサ２により検出されると、センサ２の積分効果により、異なる光のレベルがあたかも空間的に混合されて（空間方向に積分されて）１つの画素値となってしまう。このように、センサ２の画素において、前景に対する画像（実世界１の光信号）と、背景に対する画像（実世界１の光信号）が空間的に積分されて、いわば混合されてしまうことが、空間混合であり、そのような画素からなる領域を、ここでは、空間混合領域と称する。
【０６５２】
従って、第３の方法においては、実世界推定部１０２（図５８）が、実世界１の元の領域２３２１（実世界１の光信号のうちの、センサ２の１画素に対応する部分２３２１）を表すＸ断面波形Ｆ（ｘ）を、例えば、図７２で示されるような、１次の多項式などの近似関数ｆ３（ｘ）で近似することによって、Ｘ断面波形Ｆ（ｘ）を推定する。
【０６５３】
即ち、図７２は、空間混合領域である画素値２３２２（図７１）に対応する近似関数ｆ３（ｘ）、即ち、実世界１の領域２３３１内の実線（図７１）に対応するＸ断面波形Ｆ（ｘ）を近似する近似関数ｆ３（ｘ）の例を表している。図７２において、図中水平方向の軸は、画素値２３２２に対応する画素の左下端ｘｓから右下端ｘｅまでの辺（図７１）に平行な軸を表しており、ｘ軸とされている。図中垂直方向の軸は、画素値を表す軸とされている。
【０６５４】
図７２において、近似関数ｆ３（ｘ）をｘｓからｘｅの範囲（画素幅）で積分したものが、センサ２から出力される画素値Ｐ（ｘ，ｙ）とほぼ一致する（誤差ｅだけ存在する）として、次の式（４６）を定義する。
【０６５５】
【数４６】
2005018519.tif 000093
2005018519.tif 000094
【０６５６】
いまの場合、図６７で示される細線含有データ領域２３０２の２０個の画素値Ｐ（ｘ，ｙ）（ただし、ｘは、−１乃至２のうちのいずれかの整数値。ｙは、−２乃至２のうちのいずれかの整数値）から、近似関数ｆ３（ｘ）の特徴量ｗｉが算出されるので、式（４６）の画素値Ｐは、画素値Ｐ（ｘ，ｙ）となる。
【０６５７】
また、第２の方法と同様に、空間方向の定常性も考慮する必要があるので、式（４６）の積分範囲の開始位置ｘｓと終了位置ｘｅのそれぞれは、シフト量Ｃｘ（ｙ）にも依存することになる。即ち、式（４６）の積分範囲の開始位置ｘｓと終了位置ｘｅのそれぞれは、次の式（４７）のように表される。
【０６５８】
【数４７】
2005018519.tif 000095
2005018519.tif 000096
【０６５９】
この場合、図６７で示される細線含有データ領域２３０２の各画素値それぞれ、即ち、図６８で示される入力画素値Ｐ（ｘ，−２），Ｐ（ｘ，−１），Ｐ（ｘ，０），Ｐ（ｘ，１），Ｐ（ｘ，２）のそれぞれ（ただし、ｘは、−１乃至２のうちのいずれかの整数値）を、上述した式（４６）（積分範囲は、上述した式（４７））に代入すると次の式（４８）で示される２０個の方程式が生成される。
【０６６０】
【数４８】
2005018519.tif 000097
2005018519.tif 000098
【０６６１】
式（４８）は、上述した式（４５）と同様に、２０個の方程式より構成されている。従って、第２の方法と同様に第３の方法においても、近似関数ｆ３（ｘ）の特徴量ｗｉの個数が２０個より少ない場合、即ち、近似関数ｆ３（ｘ）が１９次より少ない次数の多項式である場合、例えば、最小自乗法を用いて特徴量ｗｉの算出が可能である。なお、最小自乗法の具体的な解法は後述する。
【０６６２】
例えば、近似関数ｆ３（ｘ）の次数が５次とされた場合、式（４８）を利用して最小自乗法により演算された近似関数ｆ３（ｘ）（演算された特徴量ｗｉにより生成される近似関数ｆ３（ｘ））は、図７３の実線で示される曲線のようになる。
【０６６３】
なお、図７３において、縦軸は画素値を表しており、横軸は注目画素からの相対位置ｘを表している。
【０６６４】
図７３で示されるように、第３の方法により生成された近似関数ｆ３（ｘ）（図中、実線で示される曲線）は、第２の方法により生成された近似関数ｆ２（ｘ）（図中、点線で示される曲線）と比較すると、ｘ＝０における画素値が大きくなり、また、曲線の傾斜の度合いも急な波形となる。これは、入力画素よりディテイルが増加して、入力画素の解像度とは無関係となっているためである。即ち、近似関数ｆ３（ｘ）は、Ｘ断面波形Ｆ（ｘ）を近似していると言える。従って、図示はしないが、近似関数ｆ３（ｘ）は、近似関数ｆ２（ｘ）よりもＸ断面波形Ｆ（ｘ）に近い波形となる。
【０６６５】
図７４は、このような１次近似手法を利用する実世界推定部１０２の構成例を表している。
【０６６６】
図７４において、実世界推定部１０２は、例えば、特徴量ｗｉを上述した第３の方法（最小自乗法）により演算し、演算した特徴量ｗｉを利用して上述した式（３９）の近似関数ｆ（ｘ）を生成することで、Ｘ断面波形Ｆ（ｘ）を推定する。
【０６６７】
図７４で示されるように、実世界推定部１０２には、条件設定部２３３１、入力画像記憶部２３３２、入力画素値取得部２３３３、積分成分演算部２３３４、正規方程式生成部２３３５、および近似関数生成部２３３６が設けられている。
【０６６８】
条件設定部２３３１は、注目画素に対応するＸ断面波形Ｆ（ｘ）を推定するために使用する画素の範囲（以下、タップ範囲と称する）や、近似関数ｆ（ｘ）の次数ｎを設定する。
【０６６９】
入力画像記憶部２３３２は、センサ２からの入力画像（画素値）を一次的に格納する。
【０６７０】
入力画素値取得部２３３３は、入力画像記憶部２３３２に記憶された入力画像のうちの、条件設定部２２３１により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部２３３５に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。なお、入力画素値テーブルの具体例については後述する。
【０６７１】
ところで、ここでは、実世界推定部１０２は、上述した式（４６）と式（４７）を利用して最小自乗法により近似関数ｆ（ｘ）の特徴量ｗｉを演算するが、上述した式（４６）は、次の式（４９）のように表現することができる。
【０６７２】
【数４９】
2005018519.tif 000099
2005018519.tif 000100
【０６７３】
式（４９）において、Ｓｉ（ｘｓ，ｘｅ）は、ｉ次項の積分成分を表している。即ち、積分成分Ｓｉ（ｘｓ，ｘｅ）は、次の式（５０）で示される。
【０６７４】
【数５０】
2005018519.tif 000101
2005018519.tif 000102
【０６７５】
積分成分演算部２３３４は、この積分成分Ｓｉ（ｘｓ、ｘｅ）を演算する。
【０６７６】
具体的には、式（５０）で示される積分成分Ｓｉ（ｘｓ，ｘｅ）（ただし、値ｘｓと値ｘｅは、上述した式（４６）で示される値）は、相対画素位置（ｘ，ｙ）、シフト量Ｃｘ（ｙ）、および、ｉ次項のｉが既知であれば演算可能である。また、これらのうちの、相対画素位置（ｘ，ｙ）は注目画素とタップ範囲により、シフト量Ｃｘ（ｙ）は角度θにより（上述した式（４１）と式（４３）により）、ｉの範囲は次数ｎにより、それぞれ決定される。
【０６７７】
従って、積分成分演算部２３３４は、条件設定部２３３１により設定されたタップ範囲および次数、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度θに基づいて積分成分Ｓｉ（ｘｓ，ｘｅ）を演算し、その演算結果を積分成分テーブルとして正規方程式生成部２３３５に供給する。
【０６７８】
正規方程式生成部２３３５は、入力画素値取得部２３３３より供給された入力画素値テーブルと、積分成分演算部２３３４より供給された積分成分テーブルを利用して、上述した式（４６）、即ち、式（４９）の右辺の特徴量ｗｉを最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部２３３６に供給する。なお、正規方程式の具体例については後述する。
【０６７９】
近似関数生成部２３３６は、正規方程式生成部２３３５より供給された正規方程式テーブルに含まれる正規方程式を行列解法で解くことにより、上述した式（４９）の特徴量ｗｉ（即ち、１次元多項式である近似関数ｆ（ｘ）の係数ｗｉ）のそれぞれを演算し、画像生成部１０３に出力する。
【０６８０】
次に、図７５のフローチャートを参照して、１次元近似手法を利用する実世界推定部１０２（図７４）の実世界の推定処理（図２９のステップＳ１０２の処理）について説明する。
【０６８１】
例えば、いま、センサ２から出力された１フレームの入力画像であって、上述した図６０の細線含有データ領域２３０２を含む入力画像が、既に入力画像記憶部２３３２に記憶されているとする。また、データ定常性検出部１０１が、ステップＳ１０１（図２９）の定常性の検出の処理において、細線含有データ領域２３０２に対してその処理を施して、データ定常性情報として角度θを既に出力しているとする。
【０６８２】
この場合、図７５のステップＳ２３０１において、条件設定部２３３１は、条件（タップ範囲と次数）を設定する。
【０６８３】
例えば、いま、図７６で示されるタップ範囲２３５１が設定されるとともに、次数として５次が設定されたとする。
【０６８４】
即ち、図７６は、タップ範囲の１例を説明する図である。図７６において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図５９）を表している。また、タップ範囲２３５１は、Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素（図中、２０個の正方形）からなる画素群を表している。
【０６８５】
さらに、図７６で示されるように、注目画素が、タップ範囲２３５１のうちの、図中、左から２画素目であって、下から３画素目の画素に設定されるとする。また、各画素のそれぞれに対して、注目画素からの相対画素位置（ｘ，ｙ）（注目画素の中心（０，０）を原点とする注目画素座標系の座標値）に応じて、図７６で示されるような番号ｌ（ｌは、０乃至１９のうちのいずれかの整数値）が付されるとする。
【０６８６】
図７５に戻り、ステップＳ２３０２において、条件設定部２３３１は、注目画素を設定する。
【０６８７】
ステップＳ２３０３において、入力画素値取得部２３３３は、条件設定部２３３１により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。即ち、いまの場合、入力画素値取得部２３３３は、細線含有データ領域２３０２（図６４）を取得し、入力画素値テーブルとして、２０個の入力画素値Ｐ（ｌ）からなるテーブルを生成する。
【０６８８】
なお、いまの場合、入力画素値Ｐ（ｌ）と、上述した入力画素値Ｐ（ｘ，ｙ）の関係は、次の式（５１）で示される関係とされる。ただし、式（５１）において、左辺が入力画素値Ｐ（ｌ）を表し、右辺が入力画素値Ｐ（ｘ，ｙ）を表している。
【０６８９】
【数５１】
2005018519.tif 000103
2005018519.tif 000104
【０６９０】
ステップＳ２３０４において、積分成分演算部２３３４は、条件設定部２３３１により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度θ）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【０６９１】
いまの場合、上述したように、入力画素値は、Ｐ（ｘ，ｙ）でなくＰ（ｌ）といった、画素の番号ｌの値として取得されるので、積分成分演算部２３３４は、上述した式（５０）の積分成分Ｓｉ（ｘｓ，ｘｅ）を、次の式（５２）の左辺で示される積分成分Ｓｉ（ｌ）といったｌの関数として演算する。
【０６９２】
【数５２】
2005018519.tif 000105
2005018519.tif 000106
【０６９３】
具体的には、いまの場合、次の式（５３）で示される積分成分Ｓｉ（ｌ）が演算される。
【０６９４】
【数５３】
2005018519.tif 000107
2005018519.tif 000108
【０６９５】
なお、式（５３）において、左辺が積分成分Ｓｉ（ｌ）を表し、右辺が積分成分Ｓｉ（ｘｓ，ｘｅ）を表している。即ち、いまの場合、ｉは０乃至５であるので、２０個のＳ０（ｌ），２０個のＳ１（ｌ），２０個のＳ２（ｌ），２０個のＳ３（ｌ），２０個のＳ４（ｌ），２０個のＳ５（ｌ）の総計１２０個のＳｉ（ｌ）が演算されることになる。
【０６９６】
より具体的には、はじめに、積分成分演算部２３３４は、データ定常性検出部１０１より供給された角度θを使用して、シフト量Ｃｘ（−２），Ｃｘ（−１），Ｃｘ（１），Ｃｘ（２）のそれぞれを演算する。次に、積分成分演算部２３３４は、演算したシフト量Ｃｘ（−２），Ｃｘ（−１），Ｃｘ（１），Ｃｘ（２）を使用して式（５２）の右辺に示される２０個の積分成分Ｓｉ（ｘｓ，ｘｅ）のそれぞれを、ｉ＝０乃至５のそれぞれについて演算する。即ち、１２０個の積分成分Ｓｉ（ｘｓ，ｘｅ）が演算される。なお、この積分成分Ｓｉ（ｘｓ，ｘｅ）の演算においては、上述した式（５０）が使用される。そして、積分成分演算部２３３４は、式（５３）に従って、演算した１２０個の積分成分Ｓｉ（ｘｓ，ｘｅ）のそれぞれを、対応する積分成分Ｓｉ（ｌ）に変換し、変換した１２０個の積分成分Ｓｉ（ｌ）を含む積分成分テーブルを生成する。
【０６９７】
なお、ステップＳ２３０３の処理とステップＳ２３０４の処理の順序は、図７５の例に限定されず、ステップＳ２３０４の処理が先に実行されてもよいし、ステップＳ２３０３の処理とステップＳ２３０４の処理が同時に実行されてもよい。
【０６９８】
次に、ステップＳ２３０５において、正規方程式生成部２３３５は、ステップＳ２３０３の処理で入力画素値取得部２３３３により生成された入力画素値テーブルと、ステップＳ２３０４の処理で積分成分演算部２３３４により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。
【０６９９】
具体的には、いまの場合、最小自乗法により、上述した式（４９）に対応する次の式（５４）の特徴量ｗｉを演算する。それに対応する正規方程式は、次の式（５５）のように表される。
【０７００】
【数５４】
2005018519.tif 000109
2005018519.tif 000110
【０７０１】
【数５５】
2005018519.tif 000111
2005018519.tif 000112
【０７０２】
なお、式（５５）において、Ｌは、タップ範囲の画素の番号ｌのうちの最大値を表している。ｎは、多項式である近似関数ｆ（ｘ）の次数を表している。具体的には、いまの場合、ｎ＝５となり、Ｌ＝１９となる。
【０７０３】
式（５５）で示される正規方程式の各行列のそれぞれを、次の式（５６）乃至（５８）のように定義すると、正規方程式は、次の式（５９）のように表される。
【０７０４】
【数５６】
2005018519.tif 000113
2005018519.tif 000114
【０７０５】
【数５７】
2005018519.tif 000115
2005018519.tif 000116
【０７０６】
【数５８】
2005018519.tif 000117
2005018519.tif 000118
【０７０７】
【数５９】
2005018519.tif 000119
2005018519.tif 000120
【０７０８】
式（５７）で示されるように、行列ＷＭＡＴの各成分は、求めたい特徴量ｗｉである。従って、式（５９）において、左辺の行列ＳＭＡＴと右辺の行列ＰＭＡＴが決定されれば、行列解法によって行列ＷＭＡＴ（即ち、特徴量ｗｉ）の算出が可能である。
【０７０９】
具体的には、式（５６）で示されるように、行列ＳＭＡＴの各成分は、上述した積分成分Ｓｉ（ｌ）が既知であれば演算可能である。積分成分Ｓｉ（ｌ）は、積分成分演算部２３３４より供給された積分成分テーブルに含まれているので、正規方程式生成部２３３５は、積分成分テーブルを利用して行列ＳＭＡＴの各成分を演算することができる。
【０７１０】
また、式（５８）で示されるように、行列ＰＭＡＴの各成分は、積分成分Ｓｉ（ｌ）と入力画素値Ｐ（ｌ）が既知であれば演算可能である。積分成分Ｓｉ（ｌ）は、行列ＳＭＡＴの各成分に含まれるものと同一のものであり、また、入力画素値Ｐ（ｌ）は、入力画素値取得部２３３３より供給された入力画素値テーブルに含まれているので、正規方程式生成部２３３５は、積分成分テーブルと入力画素値テーブルを利用して行列ＰＭＡＴの各成分を演算することができる。
【０７１１】
このようにして、正規方程式生成部２３３５は、行列ＳＭＡＴと行列ＰＭＡＴの各成分を演算し、その演算結果（行列ＳＭＡＴと行列ＰＭＡＴの各成分）を正規方程式テーブルとして近似関数生成部２３３６に出力する。
【０７１２】
正規方程式生成部２３３５より正規方程式テーブルが出力されると、ステップＳ２３０６において、近似関数生成部２３３６は、正規方程式テーブルに基づいて、上述した式（５９）の行列ＷＭＡＴの各成分である特徴量ｗｉ（即ち、１次元多項式である近似関数ｆ（ｘ）の係数ｗｉ）を演算する。
【０７１３】
具体的には、上述した式（５９）の正規方程式は、次の式（６０）のように変形できる。
【０７１４】
【数６０】
2005018519.tif 000121
2005018519.tif 000122
【０７１５】
式（６０）において、左辺の行列ＷＭＡＴの各成分が、求めたい特徴量ｗｉである。また、行列ＳＭＡＴと行列ＰＭＡＴのそれぞれの各成分は、正規方程式生成部２３３５より供給された正規方程式テーブルに含まれている。従って、近似関数生成部２３３６は、正規方程式テーブルを利用して、式（６０）の右辺の行列演算を行うことで行列ＷＭＡＴを演算し、その演算結果（特徴量ｗｉ）を画像生成部１０３に出力する。
【０７１６】
ステップＳ２３０７において、近似関数生成部２３３６は、全画素の処理を終了したか否かを判定する。
【０７１７】
ステップＳ２３０７において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ２３０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ２３０２乃至Ｓ２３０７の処理が繰り返される。
【０７１８】
そして、全画素の処理が終了すると（ステップＳ２３０７において、全画素の処理が終了されたと判定されると）、実世界１の推定処理は終了となる。
【０７１９】
なお、以上のようにして演算された係数（特徴量）ｗｉにより生成される近似関数ｆ（ｘ）の波形は、上述した図７３の近似関数ｆ３（ｘ）のような波形となる。
【０７２０】
このように、１次元近似手法においては、１次元のＸ断面波形Ｆ（ｘ）と同一形状の波形が定常性の方向に連なっていると仮定して、例えば、１次元の多項式などの近似関数ｆ（ｘ）の特徴量が演算される。従って、１次元近似手法においては、他の関数近似手法に比較して、少ない演算処理量で近似関数ｆ（ｘ）の特徴量の算出が可能となる。
【０７２１】
次に、図７７乃至図８３を参照して、第２の関数近似手法について説明する。
【０７２２】
即ち、第２の関数近似手法とは、例えば、図７７で示されるような、傾きＧＦで表される空間方向の定常性を有する実世界１の光信号を、Ｘ−Ｙ平面上（空間方向の１方向であるＸ方向と、Ｘ方向に垂直なＹ方向に水平な平面上）の波形Ｆ（ｘ，ｙ）とみなし、２次元の多項式などの近似関数ｆ（ｘ，ｙ）で波形Ｆ（ｘ，ｙ）を近似することによって、その波形Ｆ（ｘ，ｙ）を推定する手法である。従って、以下、第２の関数近似手法を、２次元近似手法と称する。
【０７２３】
なお、図７７において、図中、水平方向は、空間方向の１方向であるＸ方向を、右上方向は、空間方向の他方向であるＹ方向を、垂直方向は、光のレベルを、それぞれ表している。ＧＦは、空間方向の定常性の傾きを表している。
【０７２４】
また、２次元近似手法の説明においても、センサ２は、図７８で示されるような、複数の検出素子２−１がその平面上に配置されて構成されるＣＣＤとされる。
【０７２５】
図７８の例では、検出素子２−１の所定の１辺に平行な方向が、空間方向の１方向であるＸ方向とされており、Ｘ方向に垂直な方向が、空間方向の他方向であるＹ方向とされている。そして、Ｘ−Ｙ平面に垂直な方向が、時間方向であるｔ方向とされている。
【０７２６】
また、図７８の例では、センサ２の各検出素子２−１のそれぞれの空間的な形状は、１辺の長さが１の正方形とされている。そして、センサ２のシャッタ時間（露光時間）が１とされている。
【０７２７】
さらに、図７８の例では、センサ２の所定の１つの検出素子２−１の中心が、空間方向（Ｘ方向とＹ方向）の原点（Ｘ方向の位置ｘ＝０、およびＹ方向の位置ｙ＝０）とされており、また、露光時間の中間時刻が、時間方向（ｔ方向）の原点（ｔ方向の位置ｔ＝０）とされている。
【０７２８】
この場合、空間方向の原点（ｘ＝０，ｙ＝０）にその中心が存在する検出素子２−１は、Ｘ方向に−０．５乃至０．５の範囲、Ｙ方向に−０．５乃至０．５の範囲、およびｔ方向に−０．５乃至０．５の範囲で光信号関数Ｆ（ｘ，ｙ，ｔ）を積分し、その積分値を画素値Ｐとして出力することになる。
【０７２９】
即ち、空間方向の原点にその中心が存在する検出素子２−１から出力される画素値Ｐは、次の式（６１）で表される。
【０７３０】
【数６１】
2005018519.tif 000123
2005018519.tif 000124
【０７３１】
その他の検出素子２−１も同様に、対象とする検出素子２−１の中心を空間方向の原点とすることで、式（６１）で示される画素値Ｐを出力することになる。
【０７３２】
ところで、上述したように、２次元近似手法は、実世界１の光信号を、例えば、図７７で示されるような波形Ｆ（ｘ，ｙ）として扱い、その２次元の波形Ｆ（ｘ，ｙ）を、２次元の多項式などの近似関数ｆ（ｘ，ｙ）に近似する手法である。
【０７３３】
そこで、はじめに、このような近似関数ｆ（ｘ，ｙ）を２次元の多項式で表現する手法について説明する。
【０７３４】
上述したように、実世界１の光信号は、３次元の空間上の位置ｘ，ｙ、およびｚ、並びに時刻ｔを変数とする光信号関数Ｆ（ｘ，ｙ，ｔ）で表される。この光信号関数Ｆ（ｘ，ｙ，ｔ）を、Ｙ方向の任意の位置ｙにおいて、Ｘ方向に射影した１次元の波形を、ここでは、Ｘ断面波形Ｆ（ｘ）と称している。
【０７３５】
このＸ断面波形Ｆ（ｘ）に注目すると、実世界１の信号が、空間方向の所定の方向に定常性を有している場合、Ｘ断面波形Ｆ（ｘ）と同一形状の波形がその定常性の方向に連なっていると考えることができる。例えば、図７７の例では、Ｘ断面波形Ｆ（ｘ）と同一形状の波形が、傾きＧＦの方向に連なっている。換言すると、Ｘ断面波形Ｆ（ｘ）と同一形状の波形が傾きＧＦの方向に連なって、波形Ｆ（ｘ，ｙ）が形成されているとも言える。
【０７３６】
従って、波形Ｆ（ｘ，ｙ）を近似する近似関数ｆ（ｘ，ｙ）の波形は、Ｘ断面波形Ｆ（ｘ）を近似する近似関数ｆ（ｘ）と同一形状の波形が連なって形成されると考えることで、近似関数ｆ（ｘ，ｙ）を２次元の多項式で表現することが可能になる。
【０７３７】
さらに詳細に、近似関数ｆ（ｘ，ｙ）の表現方法について説明する。
【０７３８】
例えば、いま、上述した図７７で示されるような、実世界１の光信号、即ち、傾きＧＦで表される空間方向の定常性を有する光信号が、センサ２（図７８）により検出されて入力画像（画素値）として出力されたとする。
【０７３９】
さらに、図７９で示されるように、データ定常性検出部１０１（図３）が、この入力画像のうちの、Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素（図中、点線で表される２０個の正方形）から構成される入力画像の領域２４０１に対してその処理を実行し、データ定常性情報の１つとして角度θ（傾きＧＦに対応する傾きＧｆで表されるデータの定常性の方向と、Ｘ方向とのなす角度θ）を出力したとする。
【０７４０】
なお、入力画像の領域２４０１において、図中水平方向は、空間方向の１方向であるＸ方向を表しており、図中垂直方向は、空間方向の他方向であるＹ方向を表している。
【０７４１】
また、図７９中、左から２画素目であって、下から３画素目の画素が注目画素とされ、その注目画素の中心を原点（０，０）とするように（ｘ，ｙ）座標系が設定されている。そして、原点（０，０）を通る角度θの直線（データの定常性の方向を表す傾きＧｆの直線）に対するＸ方向の相対的な距離（以下、断面方向距離と称する）がｘ’と記述されている。
【０７４２】
さらに、図７９中、右側のグラフは、Ｘ断面波形Ｆ（ｘ’）が近似された関数であって、ｎ次（ｎは、任意の整数）の多項式である近似関数ｆ（ｘ’）を表している。右側のグラフの軸のうち、図中水平方向の軸は、断面方向距離を表しており、図中垂直方向の軸は、画素値を表している。
【０７４３】
この場合、図７９で示される近似関数ｆ（ｘ’）は、ｎ次の多項式であるので、次の式（６２）のように表される。
【０７４４】
【数６２】
2005018519.tif 000125
2005018519.tif 000126
【０７４５】
また、角度θが決定されていることから、原点（０，０）を通る角度θの直線は一意に決まり、Ｙ方向の任意の位置ｙにおける、直線のＸ方向の位置ｘｌが、次の式（６３）のように表される。ただし、式（６３）において、ｓはｃｏｔθ（＝１／ｔａｎθ）を表している。
【０７４６】
【数６３】
2005018519.tif 000127
2005018519.tif 000128
【０７４７】
即ち、図７９で示されるように、傾きＧｆで表されるデータの定常性に対応する直線上の点は、座標値（ｘｌ，ｙ）で表される。
【０７４８】
式（６３）より、断面方向距離ｘ’は、次の式（６４）のように表される。
【０７４９】
【数６４】
2005018519.tif 000129
2005018519.tif 000130
【０７５０】
従って、入力画像の領域２４０１内の任意の位置（ｘ，ｙ）における近似関数ｆ（ｘ，ｙ）は、式（６２）と式（６４）より、次の式（６５）のように示される。
【０７５１】
【数６５】
2005018519.tif 000131
2005018519.tif 000132
【０７５２】
なお、式（６５）において、ｗｉは、近似関数ｆ（ｘ，ｙ）の係数を表している。なお、近似関数ｆ（ｘ，ｙ）を含む近似関数ｆの係数ｗｉを、近似関数ｆの特徴量と位置づけることもできる。従って、以下、近似関数ｆの係数ｗｉを、近似関数ｆの特徴量ｗｉとも称する。
【０７５３】
このようにして、角度θが既知であれば、２次元波形の近似関数ｆ（ｘ，ｙ）を、式（６５）の多項式として表現することができる。
【０７５４】
従って、実世界推定部１０２は、式（６５）の特徴量ｗｉを演算することができれば、図７７で示されるような波形Ｆ（ｘ，ｙ）を推定することができる。
【０７５５】
そこで、以下、式（６５）の特徴量ｗｉを演算する手法について説明する。
【０７５６】
即ち、式（６５）で表される近似関数ｆ（ｘ，ｙ）を、画素（センサ２の検出素子２−１（図７８））に対応する積分範囲（空間方向の積分範囲）で積分すれば、その積分値が、画素の画素値の推定値となる。このことを、式で表現したものが、次の式（６６）である。なお、２次元近似手法においては、時間方向ｔは一定値とみなされるので、式（６６）は、空間方向（Ｘ方向とＹ方法）の位置ｘ，ｙを変数とする方程式とされている。
【０７５７】
【数６６】
2005018519.tif 000133
2005018519.tif 000134
【０７５８】
式（６６）において、Ｐ（ｘ，ｙ）は、センサ２からの入力画像のうちの、その中心位置が位置（ｘ，ｙ）（注目画素からの相対位置（ｘ，ｙ））に存在する画素の画素値を表している。また、ｅは、誤差を表している。
【０７５９】
このように、２次元近似手法においては、入力画素値Ｐ（ｘ，ｙ）と、２次元の多項式などの近似関数ｆ（ｘ，ｙ）の関係を、式（６６）で表現することが可能であるので、実世界推定部１０２は、式（６６）を利用して、特徴量ｗｉを、例えば、最小自乗法等により演算することで（演算した特徴量ｗｉを式（６４）に代入して近似関数ｆ（ｘ，ｙ）を生成することで）、２次元の関数Ｆ（ｘ，ｙ）（傾きＧＦ（図７７）で表される空間方向の定常性を有する実世界１の光信号を、空間方向に着目して表した波形Ｆ（ｘ，ｙ））を推定することが可能となる。
【０７６０】
図８０は、このような２次元近似手法を利用する実世界推定部１０２の構成例を表している。
【０７６１】
図８０で示されるように、実世界推定部１０２には、条件設定部２４２１、入力画像記憶部２４２２、入力画素値取得部２４２３、積分成分演算部２４２４、正規方程式生成部２４２５、および近似関数生成部２４２６が設けられている。
【０７６２】
条件設定部２４２１は、注目画素に対応する関数Ｆ（ｘ，ｙ）を推定するために使用する画素の範囲（タップ範囲）や、近似関数ｆ（ｘ，ｙ）の次数ｎを設定する。
【０７６３】
入力画像記憶部２４２２は、センサ２からの入力画像（画素値）を一次格納する。
【０７６４】
入力画素値取得部２４２３は、入力画像記憶部２４２２に記憶された入力画像のうちの、条件設定部２４２１により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部２４２５に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。なお、入力画素値テーブルの具体例については後述する。
【０７６５】
ところで、上述したように、２次元近似手法を利用する実世界推定部１０２は、上述した式（６６）を最小自乗法で解くことにより、上述した式（６５）で示される近似関数ｆ（ｘ，ｙ）の特徴量ｗｉを演算する。
【０７６６】
式（６６）は、次の式（６７）乃至式（６９）を用いることで得られる次の式（７０）を使用することで、次の式（７１）のように表現することができる。
【０７６７】
【数６７】
2005018519.tif 000135
2005018519.tif 000136
【０７６８】
【数６８】
2005018519.tif 000137
2005018519.tif 000138
【０７６９】
【数６９】
2005018519.tif 000139
2005018519.tif 000140
【０７７０】
【数７０】
2005018519.tif 000141
2005018519.tif 000142
【０７７１】
【数７１】
2005018519.tif 000143
2005018519.tif 000144
【０７７２】
式（７１）において、Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）は、ｉ次項の積分成分を表している。即ち、積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）は、次の式（７２）で示される通りである。
【０７７３】
【数７２】
2005018519.tif 000145
2005018519.tif 000146
【０７７４】
積分成分演算部２４２４は、この積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）を演算する。
【０７７５】
具体的には、式（７２）で示される積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）は、相対画素位置（ｘ，ｙ）、上述した式（６５）における変数ｓ、および、ｉ次項のｉが既知であれば、演算可能である。これらのうちの、相対画素位置（ｘ，ｙ）は注目画素とタップ範囲により、変数ｓはｃｏｔθであるので角度θにより、ｉの範囲は次数ｎにより、それぞれ決定される。
【０７７６】
従って、積分成分演算部２４２４は、条件設定部２４２１により設定されたタップ範囲および次数、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度θに基づいて積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）を演算し、その演算結果を積分成分テーブルとして正規方程式生成部２４２５に供給する。
【０７７７】
正規方程式生成部２４２５は、入力画素値取得部２４２３より供給された入力画素値テーブルと、積分成分演算部２４２４より供給された積分成分テーブルを利用して、上述した式（６６）、即ち、式（７１）を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部２４２６に出力する。なお、正規方程式の具体例については後述する。
【０７７８】
近似関数生成部２４２６は、正規方程式生成部２４２５より供給された正規方程式テーブルに含まれる正規方程式を行列解法で解くことにより、上述した式（６６）の特徴量ｗｉ（即ち、２次元多項式である近似関数ｆ（ｘ，ｙ）の係数ｗｉ）のそれぞれを演算し、画像生成部１０３に出力する。
【０７７９】
次に、図８１のフローチャートを参照して、２次元近似手法が適用される実世界の推定処理（図２９のステップＳ１０２の処理）について説明する。
【０７８０】
例えば、いま、傾きＧＦで表される空間方向の定常性を有する実世界１の光信号が、センサ２（図７８）により検出されて、１フレームに対応する入力画像として、入力画像記憶部２４２２に既に記憶されているとする。また、データ定常性検出部１０１が、ステップＳ１０１（図２９）の定常性の検出の処理において、入力画像のうちの、上述した図７９で示される領域２４０１に対して処理を施して、データ定常性情報として角度θを既に出力しているとする。
【０７８１】
この場合、ステップＳ２４０１において、条件設定部２４２１は、条件（タップ範囲と次数）を設定する。
【０７８２】
例えば、いま、図８２で示されるタップ範囲２４４１が設定されるとともに、次数として５次が設定されたとする。
【０７８３】
即ち、図８２は、タップ範囲の１例を説明する図である。図８２において、Ｘ方向とＹ方向は、センサ２のＸ方向とＹ方向（図７８）を表している。また、タップ範囲２４４１は、Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素（図中、２０個の正方形）からなる画素群を表している。
【０７８４】
さらに、図８２に示されるように、注目画素が、タップ範囲２４４１のうちの、図中、左から２画素目であって、下から３画素目の画素に設定されるとする。また、各画素のそれぞれに対して、注目画素からの相対画素位置（ｘ，ｙ）（注目画素の中心（０，０）を原点とする注目画素座標系の座標値）に応じて、図８２で示されるような番号ｌ（ｌは、０乃至１９のうちのいずれかの整数値）が付されるとする。
【０７８５】
図８１に戻り、ステップＳ２４０２において、条件設定部２４２１は、注目画素を設定する。
【０７８６】
ステップＳ２４０３において、入力画素値取得部２４２３は、条件設定部２４２１により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。即ち、いまの場合、入力画素値取得部２４２３は、入力画像の領域２４０１（図７９）を取得し、入力画素値テーブルとして、２０個の入力画素値Ｐ（ｌ）からなるテーブルを生成する。
【０７８７】
なお、いまの場合、入力画素値Ｐ（ｌ）と、上述した入力画素値Ｐ（ｘ，ｙ）の関係は、次の式（７３）で示される関係とされる。ただし、式（７３）において、左辺が入力画素値Ｐ（ｌ）を表し、右辺が入力画素値Ｐ（ｘ，ｙ）を表している。
【０７８８】
【数７３】
2005018519.tif 000147
2005018519.tif 000148
【０７８９】
ステップＳ２４０４において、積分成分演算部２４２４は、条件設定部２４２１により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度θ）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【０７９０】
いまの場合、上述したように、入力画素値は、Ｐ（ｘ，ｙ）でなくＰ（ｌ）といった、画素の番号ｌの値として取得されるので、積分成分演算部２４２４は、上述した式（７２）の積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）を、次の式（７４）の左辺で示される積分成分Ｓｉ（ｌ）といったｌの関数として演算する。
【０７９１】
【数７４】
2005018519.tif 000149
2005018519.tif 000150
【０７９２】
具体的には、いまの場合、次の式（７５）で示される積分成分Ｓｉ（ｌ）が演算される。
【０７９３】
【数７５】
2005018519.tif 000151
2005018519.tif 000152
【０７９４】
なお、式（７５）において、左辺が積分成分Ｓｉ（ｌ）を表し、右辺が積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）を表している。即ち、いまの場合、ｉは０乃至５であるので、２０個のＳ０（ｌ），２０個のＳ１（ｌ），２０個のＳ２（ｌ），２０個のＳ３（ｌ），２０個のＳ４（ｌ），２０個のＳ５（ｌ）の総計１２０個のＳｉ（ｌ）が演算されることになる。
【０７９５】
より具体的には、はじめに、積分成分演算部２４２４は、データ定常性検出部１０１より供給された角度θに対するｃｏｔθを演算し、それを変数ｓとする。次に、積分成分演算部２４２４は、演算した変数ｓを使用して式（７４）の右辺で示される２０個の積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）  のそれぞれを、ｉ＝０乃至５のそれぞれについて演算する。即ち、１２０個の積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）  が演算されることになる。なお、この積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）  の演算においては、上述した式（７２）が使用される。そして、積分成分演算部２４２４は、式（７５）に従って、演算した１２０個の積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）のそれぞれを、対応するＳｉ（ｌ）のそれぞれに変換し、変換した１２０個のＳｉ（ｌ）を含む積分成分テーブルを生成する。
【０７９６】
なお、ステップＳ２４０３の処理とステップＳ２４０４の処理の順序は、図８１の例に限定されず、ステップＳ２４０４の処理が先に実行されてもよいし、ステップＳ２４０３の処理とステップＳ２４０４の処理が同時に実行されてもよい。
【０７９７】
次に、ステップＳ２４０５において、正規方程式生成部２４２５は、ステップＳ２４０３の処理で入力画素値取得部２４２３により生成された入力画素値テーブルと、ステップＳ２４０４の処理で積分成分演算部２４２４により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。
【０７９８】
具体的には、いまの場合、上述した式（７１）を利用して最小自乗法により特徴量ｗｉが演算される（ただし、式（７０）において、積分成分Ｓｉ（ｘ−０．５，ｘ＋０．５，ｙ−０．５，ｙ＋０．５）は、式（７４）により変換されるＳｉ（ｌ）が使用される）ので、それに対応する正規方程式は、次の式（７６）のように表される。
【０７９９】
【数７６】
2005018519.tif 000153
2005018519.tif 000154
【０８００】
なお、式（７６）において、Ｌは、タップ範囲の画素の番号ｌのうちの最大値を表している。ｎは、多項式である近似関数ｆ（ｘ）の次数を表している。具体的には、いまの場合、ｎ＝５となり、Ｌ＝１９となる。
【０８０１】
式（７６）で示される正規方程式の各行列のそれぞれを、次の式（７７）乃至（７９）のように定義すると、正規方程式は、次の式（８０）のように表現される。
【０８０２】
【数７７】
2005018519.tif 000155
2005018519.tif 000156
【０８０３】
【数７８】
2005018519.tif 000157
2005018519.tif 000158
【０８０４】
【数７９】
2005018519.tif 000159
2005018519.tif 000160
【０８０５】
【数８０】
2005018519.tif 000161
2005018519.tif 000162
【０８０６】
式（７８）で示されるように、行列ＷＭＡＴの各成分は、求めたい特徴量ｗｉである。従って、式（８０）において、左辺の行列ＳＭＡＴと右辺の行列ＰＭＡＴが決定されれば、行列解法によって行列ＷＭＡＴの演算が可能になる。
【０８０７】
具体的には、式（７７）で示されるように、行列ＳＭＡＴの各成分は、上述した積分成分Ｓｉ（ｌ）で演算可能である。即ち、積分成分Ｓｉ（ｌ）は、積分成分演算部２４２４より供給された積分成分テーブルに含まれているので、正規方程式生成部２４２５は、積分成分テーブルを利用して行列ＳＭＡＴの各成分を演算することができる。
【０８０８】
また、式（７９）で示されるように、行列ＰＭＡＴの各成分は、積分成分Ｓｉ（ｌ）と入力画素値Ｐ（ｌ）で演算可能である。即ち、積分成分Ｓｉ（ｌ）は、行列ＳＭＡＴの各成分に含まれるものと同一のものであり、また、入力画素値Ｐ（ｌ）は、入力画素値取得部２４２３より供給された入力画素値テーブルに含まれているので、正規方程式生成部２４２５は、積分成分テーブルと入力画素値テーブルを利用して行列ＰＭＡＴの各成分を演算することができる。
【０８０９】
このようにして、正規方程式生成部２４２５は、行列ＳＭＡＴと行列ＰＭＡＴの各成分を演算し、その演算結果（行列ＳＭＡＴと行列ＰＭＡＴの各成分）を正規方程式テーブルとして近似関数生成部２４２６に出力する。
【０８１０】
正規方程式生成部２４２５より正規方程式テーブルが出力されると、ステップＳ２４０６において、近似関数生成部２４２６は、正規方程式テーブルに基づいて、上述した式（８０）の行列ＷＭＡＴの各成分である特徴量ｗｉ（即ち、２次元多項式である近似関数ｆ（ｘ，ｙ）の係数ｗｉ）を演算する。
【０８１１】
具体的には、上述した式（８０）の正規方程式は、次の式（８１）のように変形できる。
【０８１２】
【数８１】
2005018519.tif 000163
2005018519.tif 000164
【０８１３】
式（８１）において、左辺の行列ＷＭＡＴの各成分が、求めたい特徴量ｗｉである。また、行列ＳＭＡＴと行列ＰＭＡＴのそれぞれの各成分は、正規方程式生成部２４２５より供給された正規方程式テーブルに含まれている。従って、近似関数生成部２４２６は、正規方程式テーブルを利用して、式（８１）の右辺の行列演算を行うことで行列ＷＭＡＴを演算し、その演算結果（特徴量ｗｉ）を画像生成部１０３に出力する。
【０８１４】
ステップＳ２４０７において、近似関数生成部２４２６は、全画素の処理を終了したか否かを判定する。
【０８１５】
ステップＳ２４０７において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ２４０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ２４０２乃至Ｓ２４０７の処理が繰り返される。
【０８１６】
そして、全画素の処理が終了すると（ステップＳ２４０７において、全画素の処理が終了されたと判定されると）、実世界１の推定処理は終了となる。
【０８１７】
以上、２次元近似手法の説明として、空間方向（Ｘ方向とＹ方向）に対する近似関数ｆ（ｘ，ｙ）の係数（特徴量）ｗｉを演算する例を用いたが、２次元近似手法は、時空間方向（Ｘ方向とｔ方向、または、Ｙ方向とｔ方向）に対しても適用可能である。
【０８１８】
即ち、上述した例は、実世界１の光信号が、例えば、傾きＧＦ（図７７）で表される空間方向の定常性を有する場合の例であったので、上述した式（６６）で示されるような、空間方向（Ｘ方向とＹ方向）の二次元積分が含まれる式が利用された。しかしながら、二次元積分の考え方は、空間方向だけによるものではなく、時空間方向（Ｘ方向とｔ方向、または、Ｙ方向とｔ方向）に対して適用することも可能である。
【０８１９】
換言すると、２次元近似手法においては、推定したい光信号関数Ｆ（ｘ，ｙ，ｔ）が、空間方向の定常性のみならず、時空間方向（ただし、Ｘ方向とｔ方向、または、Ｙ方向とｔ方向）の定常性を有している場合であっても、２次元の近似関数ｆにより近似することが可能である。
【０８２０】
具体的には、例えば、Ｘ方向に水平に等速で動いている物体がある場合、その物体の動きの方向は、図８３で示されるようなＸ−ｔ平面においては、傾きＶＦのように表される。換言すると、傾きＶＦは、Ｘ−ｔ平面における時空間方向の定常性の方向を表しているとも言える。従って、データ定常性検出部１０１は、上述した角度θ（Ｘ−Ｙ平面における、傾きＧＦで表される空間方向の定常性に対応するデータ定常性情報）と同様に、Ｘ−ｔ平面における時空間方向の定常性を表す傾きＶＦに対応するデータ定常性情報として、図８３で示されるような動きθ（厳密には、図示はしないが、傾きＶＦに対応する傾きＶｆで表されるデータの定常性の方向と、空間方向のＸ方向とのなす角度である動きθ）を出力することが可能である。
【０８２１】
従って、２次元近似手法を利用する実世界推定部１０２は、動きθを上述した角度θの代わりとして使用すれば、上述した方法と同様な方法で、近似関数ｆ（ｘ，ｔ）の係数（特徴量）ｗｉを演算することが可能になる。ただし、この場合、使用される式は、上述した式（６６）ではなく、次の式（８２）である。
【０８２２】
【数８２】
2005018519.tif 000165
2005018519.tif 000166
【０８２３】
なお、式（８２）において、ｓはｃｏｔθ（ただし、θは動きである）である。
【０８２４】
また、空間方向Ｘの変わりに、空間方向Ｙに注目した近似関数ｆ（ｙ，ｔ）も、上述した近似関数ｆ（ｘ，ｔ）と全く同様に取り扱うことが可能である。
【０８２５】
このように、２次元近似手法は、１次元ではなく２次元の積分効果を考慮しているので、１次元近似手法に比較して、より正確に実世界１の光信号を推定することが可能になる。
【０８２６】
次に、図８４乃至図８８を参照して、第３の関数近似手法について説明する。
【０８２７】
即ち、第３の関数近似手法とは、例えば、時空間方向のうちの所定の方向の定常性を有する実世界１の光信号が、光信号関数Ｆ（ｘ，ｙ，ｔ）で表されることに注目して、近似関数ｆ（ｘ，ｙ，ｔ）で光信号関数Ｆ（ｘ，ｙ，ｔ）を近似することによって、光信号関数Ｆ（ｘ，ｙ，ｔ）を推定する手法である。従って、以下、第３の関数近似手法を、３次元近似手法と称する。
【０８２８】
また、３次元近似手法の説明においても、センサ２は、図８４で示されるような、複数の検出素子２−１がその平面上に配置されて構成されるＣＣＤとされる。
【０８２９】
図８４の例では、検出素子２−１の所定の１辺に平行な方向が、空間方向の１方向であるＸ方向とされており、Ｘ方向に垂直な方向が、空間方向の他方向であるＹ方向とされている。そして、Ｘ−Ｙ平面に垂直な方向が、時間方向であるｔ方向とされている。
【０８３０】
また、図８４の例では、センサ２の各検出素子２−１のそれぞれの空間的な形状は、１辺の長さが１の正方形とされている。そして、センサ２のシャッタ時間（露光時間）が１とされている。
【０８３１】
さらに、図８４の例では、センサ２の所定の１つの検出素子２−１の中心が、空間方向（Ｘ方向とＹ方向）の原点（Ｘ方向の位置ｘ＝０、およびＹ方向の位置ｙ＝０）とされており、また、露光時間の中間時刻が、時間方向（ｔ方向）の原点（ｔ方向の位置ｔ＝０）とされている。
【０８３２】
この場合、空間方向の原点（ｘ＝０，ｙ＝０）にその中心が存在する検出素子２−１は、Ｘ方向に−０．５乃至０．５の範囲、Ｙ方向に−０．５乃至０．５の範囲、およびｔ方向に−０．５乃至０．５の範囲で光信号関数Ｆ（ｘ，ｙ，ｔ）を積分し、その積分値を画素値Ｐとして出力することになる。
【０８３３】
即ち、空間方向の原点にその中心が存在する検出素子２−１から出力される画素値Ｐは、次の式（８３）で表される。
【０８３４】
【数８３】
2005018519.tif 000167
2005018519.tif 000168
【０８３５】
その他の検出素子２−１も同様に、対象とする検出素子２−１の中心を空間方向の原点とすることで、式（８３）で示される画素値Ｐを出力することになる。
【０８３６】
ところで、上述したように、３次元近似手法においては、光信号関数Ｆ（ｘ，ｙ，ｔ）は、３次元の近似関数ｆ（ｘ，ｙ，ｔ）に近似される。
【０８３７】
具体的には、例えば、近似関数ｆ（ｘ，ｙ，ｔ）を、Ｎ個の変数（特徴量）を有する関数とし、式（８３）に対応する入力画素値Ｐ（ｘ，ｙ，ｔ）と近似関数ｆ（ｘ，ｙ，ｔ）の関係式を定義する。これにより、Ｎより大きいＭ個の入力画素値Ｐ（ｘ，ｙ，ｔ）が取得されていれば、定義された関係式からＮ個の変数（特徴量）の算出が可能である。即ち、実世界推定部１０２は、Ｍ個の入力画素値Ｐ（ｘ，ｙ，ｔ）を取得してＮ個の変数（特徴量）を演算することで、光信号関数Ｆ（ｘ，ｙ，ｔ）を推定することが可能である。
【０８３８】
この場合、実世界推定部１０２は、センサ２からの入力画像（入力画素値）に含まれるデータの定常性を縛りとして（即ち、データ定常性検出部１０１より出力される入力画像に対するデータ定常性情報を利用して）、入力画像全体のうちの、Ｍ個の入力画像Ｐ（ｘ，ｙ，ｔ）を抽出（取得）する。結果的に、近似関数ｆ（ｘ，ｙ，ｔ）は、データの定常性に拘束されることになる。
【０８３９】
例えば、図８５で示されるように、入力画像に対応する光信号関数Ｆ（ｘ，ｙ，ｔ）が、傾きＧＦで表される空間方向の定常性を有している場合、データ定常性検出部１０１は、入力画像に対するデータ定常性情報として、角度θ（傾きＧＦに対応する傾きＧｆ（図示せず）で表されるデータの定常性の方向と、Ｘ方向のなす角度θ）を出力することになる。
【０８４０】
この場合、光信号関数Ｆ（ｘ，ｙ，ｔ）をＸ方向に射影した１次元の波形（ここでは、このような波形を、Ｘ断面波形と称している）は、Ｙ方向のいずれの位置で射影した場合であっても同一の形状であるとする。
【０８４１】
即ち、同一形状のＸ断面波形が、定常性の方向（Ｘ方向に対して角度θ方向）に連なっている２次元の（空間方向の）波形が存在するとし、そのような２次元波形が時間方向ｔに連なった３次元波形を、近似関数ｆ（ｘ，ｙ，ｔ）で近似する。
【０８４２】
換言すると、注目画素の中心からＹ方向に位置ｙだけずれたＸ断面波形は、注目画素の中心を通るＸ断面波形がＸ方向に所定の量（角度θに応じて変化する量）だけ移動した（シフトした）波形となる。なお、以下、このような量を、シフト量と称する。
【０８４３】
このシフト量は、次のようにして算出が可能である。
【０８４４】
即ち、傾きＶｆ（例えば、図８５の傾きＶＦに対応する、データの定常性の方向を表す傾きＶｆ）と角度θは、次の式（８４）のように表される。
【０８４５】
【数８４】
2005018519.tif 000169
2005018519.tif 000170
【０８４６】
なお、式（８４）において、ｄｘは、Ｘ方向の微小移動量を表しており、ｄｙは、ｄｘに対するＹ方向の微小移動量を表している。
【０８４７】
従って、Ｘ方向に対するシフト量をＣｘ（ｙ）と記述すると、次の式（８５）のように表される。
【０８４８】
【数８５】
2005018519.tif 000171
2005018519.tif 000172
【０８４９】
このようにして、シフト量Ｃｘ（ｙ）を定義すると、式（８３）に対応する入力画素値Ｐ（ｘ，ｙ，ｔ）と近似関数ｆ（ｘ，ｙ，ｔ）の関係式は、次の式（８６）のように表される。
【０８５０】
【数８６】
2005018519.tif 000173
2005018519.tif 000174
【０８５１】
式（８６）において、ｅは、誤差を表している。ｔｓは、ｔ方向の積分開始位置を表しており、ｔｅは、ｔ方向の積分終了位置を表している。同様に、ｙｓは、Ｙ方向の積分開始位置を表しており、ｙｅは、Ｙ方向の積分終了位置を表している。また、ｘｓは、Ｘ方向の積分開始位置を表しており、ｘｅは、Ｘ方向の積分終了位置を表している。ただし、具体的な各積分範囲のそれぞれは、次の式（８７）で示される通りになる。
【０８５２】
【数８７】
2005018519.tif 000175
2005018519.tif 000176
【０８５３】
式（８７）で示されるように、注目画素から空間方向に（ｘ，ｙ）だけ離れて位置する画素に対するＸ方向の積分範囲を、シフト量Ｃｘ（ｙ）だけ移動させることで、同一形状のＸ断面波形が、定常性の方向（Ｘ方向に対して角度θ方向）に連なっていることを表すことが可能になる。
【０８５４】
このように、３次元近似手法においては、画素値Ｐ（ｘ，ｙ，ｔ）と、３次元の近似関数ｆ（ｘ，ｙ，ｔ）の関係を式（８６）（積分範囲は、式（８７））で表すことができるので、式（８６）と式（８７）を利用して、近似関数ｆ（ｘ，ｙ，ｔ）のＮ個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数Ｆ（ｘ，ｙ，ｔ）（例えば、図８５で示されるような傾きＶＦ表される空間方向の定常性を有する光信号）の推定が可能となる。
【０８５５】
なお、光信号関数Ｆ（ｘ，ｙ，ｔ）で表される光信号が、例えば、図８５で示されるような傾きＶＦで表される空間方向の定常性を有している場合、次のようにして光信号関数Ｆ（ｘ，ｙ，ｔ）を近似してもよい。
【０８５６】
即ち、光信号関数Ｆ（ｘ，ｙ，ｔ）をＹ方向に射影した１次元の波形（以下、このような波形を、Ｙ断面波形と称する）は、Ｘ方向のいずれの位置で射影した場合であっても同一の形状であるとする。
【０８５７】
換言すると、同一形状のＹ断面波形が、定常性の方向（Ｘ方向に対して角度θ方向）に連なっている２次元の（空間方向の）波形が存在するとし、そのような２次元波形が時間方向ｔに連なった３次元波形を、近似関数ｆ（ｘ，ｙ，ｔ）で近似する。
【０８５８】
従って、注目画素の中心からＸ方向にｘだけずれたＹ断面波形は、注目画素の中心を通るＹ断面波形がＹ方向に所定のシフト量（角度θに応じて変化するシフト量）だけ移動した波形となる。
【０８５９】
このシフト量は、次のようにして算出が可能である。
【０８６０】
即ち、傾きＧＦが、上述した式（８４）のように表されるので、Ｙ方向に対するシフト量をＣｙ（ｘ）と記述すると、次の式（８８）のように表される。
【０８６１】
【数８８】
2005018519.tif 000177
2005018519.tif 000178
【０８６２】
このようにして、シフト量Ｃｙ（ｘ）を定義すると、式（８３）に対応する入力画素値Ｐ（ｘ，ｙ，ｔ）と近似関数ｆ（ｘ，ｙ，ｔ）の関係式は、シフト量Ｃｘ（ｙ）を定義したときと同様に、上述した式（８６）で表される。
【０８６３】
ただし、今度は、具体的な各積分範囲のそれぞれは、次の式（８９）で示される通りになる。
【０８６４】
【数８９】
2005018519.tif 000179
2005018519.tif 000180
【０８６５】
式（８９）（および上述した式（８６））で示されるように、注目画素から（ｘ，ｙ）だけ離れて位置する画素に対するＹ方向の積分範囲を、シフト量Ｃｙ（ｘ）だけ移動させることで、同一形状のＹ断面波形が、定常性の方向（Ｘ方向に対して角度θ方向）に連なっていることを表すことが可能になる。
【０８６６】
このように、３次元近似手法においては、上述した式（８６）の右辺の積分範囲を式（８７）のみならず式（８９）とすることもできるので、積分範囲として式（８９）が採用された式（８６）を利用して、近似関数ｆ（ｘ，ｙ，ｔ）のｎ個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数Ｆ（ｘ，ｙ，ｔ）（傾きＧＦで表される空間方向の定常性を有する実世界１の光信号）の推定が可能となる。
【０８６７】
このように、積分範囲を表す式（８７）と式（８９）は、定常性の方向にあわせて周辺画素をＸ方向にシフトさせるか（式（８７）の場合）、或いはＹ方向にシフトさせるか（式（８９）の場合）の違いがあるだけであり、本質的には同じことを表している。
【０８６８】
しかしながら、定常性の方向（傾きＧＦ）に応じて、光信号関数Ｆ（ｘ，ｙ，ｔ）を、Ｘ断面波形の集まりと捉えるか、Ｙ断面波形の集まりと捉えるかが異なる。即ち、定常性の方向がＹ方向に近い場合、光信号関数Ｆ（ｘ，ｙ，ｔ）を、Ｘ断面波形の集まりと捉えた方が好適である。これに対して、定常性の方向がＸ方向に近い場合、光信号関数Ｆ（ｘ，ｙ，ｔ）を、Ｙ断面波形の集まりと捉えた方が好適である。
【０８６９】
従って、実世界推定部１０２は、積分範囲として式（８７）と式（８９）の両方を用意しておき、定常性の方向に応じて、適宜式（８６）の右辺の積分範囲として、式（８７）と式（８９）のうちのいずれか一方を選択するとよい。
【０８７０】
以上、光信号関数Ｆ（ｘ，ｙ，ｔ）が空間方向（Ｘ方向とＹ方向）の定常性（例えば、図８５の傾きＧＦで表される空間方向の定常性）を有する場合についての３次元近似手法について説明したが、３次元近似手法は、図８６で示されるように、光信号関数Ｆ（ｘ，ｙ，ｔ）が時空間方向（Ｘ方向、Ｙ方向、およびｔ方向）の定常性（傾きＶＦで表される定常性）を有する場合についても適用可能である。
【０８７１】
即ち、図８６において、フレーム番号＃Ｎ−１のフレームに対応する光信号関数がＦ（ｘ，ｙ，＃Ｎ−１）とされ、フレーム番号＃Ｎのフレームに対応する光信号関数がＦ（ｘ，ｙ，＃Ｎ）とされ、かつ、フレーム番号＃Ｎ＋１のフレームに対応する光信号関数がＦ（ｘ，ｙ，＃Ｎ＋１）とされている。
【０８７２】
なお、図８６において、図中、水平方向は、空間方向の１方向であるＸ方向とされており、右斜め上方向は、空間方向の他方向であるＹ方向とされており、かつ、垂直方向は、時間方向であるｔ方向とされている。
【０８７３】
また、フレーム＃Ｎ−１は、フレーム＃Ｎに対して時間的に前のフレームであり、フレーム＃Ｎ＋１は、フレーム＃Ｎに対して時間的に後のフレームである。即ち、フレーム＃Ｎ−１、フレーム＃Ｎ、およびフレーム＃Ｎ＋１は、フレーム＃Ｎ−１、フレーム＃Ｎ、およびフレーム＃Ｎ＋１の順で表示される。
【０８７４】
図８６の例では、傾きＶＦで示される方向（図中左下手前から右上奥の方向）に沿った断面の光のレベルがほぼ一定とされている。従って、図８６の例では、光信号関数Ｆ（ｘ，ｙ，ｔ）は、傾きＶＦで表される時空間方向の定常性を有していると言える。
【０８７５】
この場合、時空間方向の定常性を表す関数Ｃ（ｘ，ｙ，ｔ）を定義し、かつ、定義された関数Ｃ（ｘ，ｙ，ｔ）を利用して、上述した式（８６）の積分範囲を定義すれば、上述した式（８７）や式（８９）と同様に、近似関数ｆ（ｘ，ｙ，ｔ）のＮ個の特徴量の算出が可能になる。
【０８７６】
関数Ｃ（ｘ，ｙ，ｔ）は、定常性の方向を表す関数であれば特に限定されない。ただし、以下においては、直線的な定常性であるとして、それに対応する関数Ｃ（ｘ，ｙ，ｔ）として、上述した空間方向の定常性を表す関数であるシフト量Ｃｘ（ｙ）（式（８５））やシフト量Ｃｙ（ｘ）（式（８７））に相当する、Ｃｘ（ｔ）とＣｙ（ｔ）を次のように定義するとする。
【０８７７】
即ち、上述した空間方向のデータの定常性を表す傾きＧｆに対応する、時空間方向のデータの定常性の傾きをＶｆとすると、この傾きＶｆをＸ方向の傾き（以下、Ｖｆｘと記述する）とＹ方向の傾き（以下、Ｖｆｙと記述する）に分割すると、傾きＶｆｘは次の式（９０）で、傾きＶｆｙは次の式（９１）で、それぞれ表される。
【０８７８】
【数９０】
2005018519.tif 000181
2005018519.tif 000182
【０８７９】
【数９１】
2005018519.tif 000183
2005018519.tif 000184
【０８８０】
この場合、関数Ｃｘ（ｔ）は、式（９０）で示される傾きＶｆｘを利用して、次の式（９２）のように表される。
【０８８１】
【数９２】
2005018519.tif 000185
2005018519.tif 000186
【０８８２】
同様に、関数Ｃｙ（ｔ）は、式（９１）で示される傾きＶｆｙを利用して、次の式（９３）のように表される。
【０８８３】
【数９３】
2005018519.tif 000187
2005018519.tif 000188
【０８８４】
このようにして、時空間方向の定常性２５１１を表す関数Ｃｘ（ｔ）と関数Ｃｙ（ｔ）を定義すると、式（８６）の積分範囲は、次の式（９４）のように表される。
【０８８５】
【数９４】
2005018519.tif 000189
2005018519.tif 000190
【０８８６】
このように、３次元近似手法においては、画素値Ｐ（ｘ，ｙ，ｔ）と、３次元の近似関数ｆ（ｘ，ｙ，ｔ）の関係を式（８６）で表すことができるので、その式（８６）の右辺の積分範囲として式（９４）を利用して、近似関数ｆ（ｘ，ｙ，ｔ）のｎ＋１個の特徴量を、例えば、最小自乗法等により演算することで、光信号関数Ｆ（ｘ，ｙ，ｔ）（時空間方向の所定の方向に定常性を有する実世界１の光信号）を推定することが可能となる。
【０８８７】
図８７は、このような３次元近似手法を利用する実世界推定部１０２の構成例を表している。
【０８８８】
なお、３次元近似手法を利用する実世界推定部１０２が演算する近似関数ｆ（ｘ，ｙ，ｔ）（実際には、その特徴量（係数）を演算する）は、特に限定されないが、以下の説明においては、ｎ（ｎ＝Ｎ−１）次の多項式とされる。
【０８８９】
図８７で示されるように、実世界推定部１０２には、条件設定部２５２１、入力画像記憶部２５２２、入力画素値取得部２５２３、積分成分演算部２５２４、正規方程式生成部２５２５、および近似関数生成部２５２６が設けられている。
【０８９０】
条件設定部２５２１は、注目画素に対応する光信号関数Ｆ（ｘ，ｙ，ｔ）を推定するために使用する画素の範囲（タップ範囲）や、近似関数ｆ（ｘ，ｙ，ｔ）の次数ｎを設定する。
【０８９１】
入力画像記憶部２５２２は、センサ２からの入力画像（画素値）を一次格納する。
【０８９２】
入力画素値取得部２５２３は、入力画像記憶部２５２２に記憶された入力画像のうちの、条件設定部２５２１により設定されたタップ範囲に対応する入力画像の領域を取得し、それを入力画素値テーブルとして正規方程式生成部２５２５に供給する。即ち、入力画素値テーブルは、入力画像の領域に含まれる各画素のそれぞれの画素値が記述されたテーブルである。
【０８９３】
ところで、上述したように、３次元近似手法を利用する実世界推定部１０２は、上述した式（８６）（ただし積分範囲は、式（８７）、式（９０）、または式（９４））を利用して最小自乗法により近似関数ｆ（ｘ，ｙ，ｔ）のＮ個の特徴量（いまの場合、各次の係数）を演算する。
【０８９４】
式（８６）の右辺は、その積分を演算することで、次の式（９５）のように表現することができる。
【０８９５】
【数９５】
2005018519.tif 000191
2005018519.tif 000192
【０８９６】
式（９５）において、ｗｉは、ｉ次項の係数（特徴量）を表しており、また、Ｓｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ，ｔｓ，ｔｅ）は、ｉ次項の積分成分を表している。ただし、ｘｓはＸ方向の積分範囲の開始位置を、ｘｅはＸ方向の積分範囲の終了位置を、ｙｓはＹ方向の積分範囲の開始位置を、ｙｅはＹ方向の積分範囲の終了位置を、ｔｓはｔ方向の積分範囲の開始位置を、ｔｅはｔ方向の積分範囲の終了位置を、それぞれ表している。
【０８９７】
積分成分演算部２５２４は、この積分成分Ｓｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ，ｔｓ，ｔｅ）を演算する。
【０８９８】
即ち、積分成分演算部２５２４は、条件設定部２５２１により設定されたタップ範囲および次数、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度若しくは動き（積分範囲として、上述した式（８７）若しくは式（９０）が利用される場合には角度であり、上述した式（９４）が利用される場合には動きである）に基づいて積分成分Ｓｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ，ｔｓ，ｔｅ）を演算し、その演算結果を積分成分テーブルとして正規方程式生成部２５２５に供給する。
【０８９９】
正規方程式生成部２５２５は、入力画素値取得部２５２３より供給された入力画素値テーブルと、積分成分演算部２５２４より供給された積分成分テーブルを利用して、上述した式（９５）を最小自乗法で求める場合の正規方程式を生成し、それを正規方程式テーブルとして近似関数生成部２５２６に出力する。正規方程式の例については、後述する。
【０９００】
近似関数生成部２５２６は、正規方程式生成部２５２５より供給された正規方程式テーブルに含まれる正規方程式を行列解法で解くことにより、特徴量ｗｉ（いまの場合、多項式である近似関数ｆ（ｘ，ｙ，ｔ）の係数ｗｉ）のそれぞれを演算し、画像生成部１０３に出力する。
【０９０１】
次に、図８８のフローチャートを参照して、３次元近似手法が適用される実世界の推定処理（図２９のステップＳ１０２の処理）について説明する。
【０９０２】
はじめに、ステップＳ２５０１において、条件設定部２５２１は、条件（タップ範囲と次数）を設定する。
【０９０３】
例えば、いま、Ｌ個の画素からなるタップ範囲が設定されたとする。また、各画素のそれぞれに対して、所定の番号ｌ（ｌは、０乃至Ｌ−１のうちのいずれかの整数値）が付されるとする。
【０９０４】
次に、ステップＳ２５０２において、条件設定部２５２１は、注目画素を設定する。
【０９０５】
ステップＳ２５０３において、入力画素値取得部２５２３は、条件設定部２５２１により設定された条件（タップ範囲）に基づいて入力画素値を取得し、入力画素値テーブルを生成する。いまの場合、Ｌ個の入力画素値Ｐ（ｘ，ｙ，ｔ）からなるテーブルが生成されることになる。ここで、Ｌ個の入力画素値Ｐ（ｘ，ｙ，ｔ）のそれぞれを、その画素の番号ｌの関数としてＰ（ｌ）と記述することにする。即ち、入力画素値テーブルは、Ｌ個のＰ（ｌ）が含まれるテーブルとなる。
【０９０６】
ステップＳ２５０４において、積分成分演算部２５２４は、条件設定部２５２１により設定された条件（タップ範囲および次数）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度若しくは動き）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【０９０７】
ただし、いまの場合、上述したように、入力画素値は、Ｐ（ｘ，ｙ，ｔ）でなくＰ（ｌ）といった、画素の番号ｌの値として取得されるので、積分成分演算部２５２４は、上述した式（９５）の積分成分Ｓｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ，ｔｓ，ｔｅ）を、積分成分Ｓｉ（ｌ）といったｌの関数として演算することになる。即ち、積分成分テーブルは、Ｌ×ｉ個のＳｉ（ｌ）が含まれるテーブルとなる。
【０９０８】
なお、ステップＳ２５０３の処理とステップＳ２５０４の処理の順序は、図８８の例に限定されず、ステップＳ２５０４の処理が先に実行されてもよいし、ステップＳ２５０３の処理とステップＳ２５０４の処理が同時に実行されてもよい。
【０９０９】
次に、ステップＳ２５０５において、正規方程式生成部２５２５は、ステップＳ２５０３の処理で入力画素値取得部２５２３により生成された入力画素値テーブルと、ステップＳ２５０４の処理で積分成分演算部２５２４により生成された積分成分テーブルに基づいて、正規方程式テーブルを生成する。
【０９１０】
具体的には、いまの場合、最小自乗法により、上述した式（９５）に対応する次の式（９６）の特徴量ｗｉを演算する。で、それに対応する正規方程式は、次の式（９７）のように表される。
【０９１１】
【数９６】
2005018519.tif 000193
2005018519.tif 000194
【０９１２】
【数９７】
2005018519.tif 000195
2005018519.tif 000196
【０９１３】
式（９７）で示される正規方程式の各行列のそれぞれを、次の式（９８）乃至（１００）のように定義すると、正規方程式は、次の式（１０１）のように表される。
【０９１４】
【数９８】
2005018519.tif 000197
2005018519.tif 000198
【０９１５】
【数９９】
2005018519.tif 000199
2005018519.tif 000200
【０９１６】
【数１００】
2005018519.tif 000201
2005018519.tif 000202
【０９１７】
【数１０１】
2005018519.tif 000203
2005018519.tif 000204
【０９１８】
式（９９）で示されるように、行列ＷＭＡＴの各成分は、求めたい特徴量ｗｉである。従って、式（１０１）において、左辺の行列ＳＭＡＴと右辺の行列ＰＭＡＴが決定されれば、行列解法によって行列ＷＭＡＴ（即ち、特徴量ｗｉ）の算出が可能である。
【０９１９】
具体的には、式（９８）で示されるように、行列ＳＭＡＴの各成分は、上述した積分成分Ｓｉ（ｌ）が既知であれば演算可能である。積分成分Ｓｉ（ｌ）は、積分成分演算部２５２４より供給された積分成分テーブルに含まれているので、正規方程式生成部２５２５は、積分成分テーブルを利用して行列ＳＭＡＴの各成分を演算することができる。
【０９２０】
また、式（１００）で示されるように、行列ＰＭＡＴの各成分は、積分成分Ｓｉ（ｌ）と入力画素値Ｐ（ｌ）が既知であれば演算可能である。積分成分Ｓｉ（ｌ）は、行列ＳＭＡＴの各成分に含まれるものと同一のものであり、また、入力画素値Ｐ（ｌ）は、入力画素値取得部２５２３より供給された入力画素値テーブルに含まれているので、正規方程式生成部２５２５は、積分成分テーブルと入力画素値テーブルを利用して行列ＰＭＡＴの各成分を演算することができる。
【０９２１】
このようにして、正規方程式生成部２５２５は、行列ＳＭＡＴと行列ＰＭＡＴの各成分を演算し、その演算結果（行列ＳＭＡＴと行列ＰＭＡＴの各成分）を正規方程式テーブルとして近似関数生成部２５２６に出力する。
【０９２２】
正規方程式生成部２５２６より正規方程式テーブルが出力されると、ステップＳ２５０６において、近似関数生成部２５２６は、正規方程式テーブルに基づいて、上述した式（１０１）の行列ＷＭＡＴの各成分である特徴量ｗｉ（即ち、近似関数ｆ（ｘ，ｙ，ｔ）の係数ｗｉ）を演算する。
【０９２３】
具体的には、上述した式（１０１）の正規方程式は、次の式（１０２）のように変形できる。
【０９２４】
【数１０２】
2005018519.tif 000205
2005018519.tif 000206
【０９２５】
式（１０２）において、左辺の行列ＷＭＡＴの各成分が、求めたい特徴量ｗｉである。また、行列ＳＭＡＴと行列ＰＭＡＴのそれぞれの各成分は、正規方程式生成部２５２５より供給された正規方程式テーブルに含まれている。従って、近似関数生成部２５２６は、正規方程式テーブルを利用して、式（１０２）の右辺の行列演算を行うことで行列ＷＭＡＴを演算し、その演算結果（特徴量ｗｉ）を画像生成部１０３に出力する。
【０９２６】
ステップＳ２５０７において、近似関数生成部２５２６は、全画素の処理を終了したか否かを判定する。
【０９２７】
ステップＳ２５０７において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ２５０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ２５０２乃至Ｓ２５０７の処理が繰り返される。
【０９２８】
そして、全画素の処理が終了すると（ステップＳ５４０７において、全画素の処理が終了されたと判定されると）、実世界１の推定処理は終了となる。
【０９２９】
以上、説明したように、３次元近似手法は、１次元や２次元ではなく、時空間方向の３次元の積分効果を考慮しているので、１次元近似手法や２次元近似手法に比較して、より正確に実世界１の光信号を推定することが可能になる。
【０９３０】
次に、図８９乃至図１１０を参照して、画像生成部１０３（図３）の実施の形態の１例について説明する。
【０９３１】
図８９は、この例の実施の形態の原理を説明する図である。
【０９３２】
図８９で示されるように、この例の実施の形態においては、実世界推定部１０２が、関数近似手法を利用することが前提とされている。即ち、センサ２に入射される画像である、実世界１の信号（光の強度の分布）が、所定の関数Ｆで表されるとして、実世界推定部１０２が、センサ２から出力された入力画像（画素値Ｐ）と、データ定常性検出部１０１から出力されたデータ定常性情報を使用して、関数Ｆを所定の関数ｆで近似することによって、関数Ｆを推定することが前提とされている。
【０９３３】
なお、以下、この例の実施の形態の説明においても、画像である、実世界１の信号を、特に光信号と称し、関数Ｆを、特に光信号関数Ｆと称する。また、関数ｆを、特に近似関数ｆと称する。
【０９３４】
そこで、この例の実施の形態においては、このような前提に基づいて、画像生成部１０３が、データ定常性検出部１０１から出力されたデータ定常性情報と、実世界推定部１０２から出力された実世界推定情報（図８９の例では、近似関数ｆの特徴量、または特徴量が特定された近似関数ｆ）を使用して、近似関数ｆを所定の時空間範囲で積分し、その積分値を出力画素値Ｍ（出力画像）として出力する。なお、この例の実施の形態においては、入力画像の画素と出力画像の画素を区別するために、入力画素値をＰと記述し、出力画素値をＭと記述する。
【０９３５】
換言すると、光信号関数Ｆが１度積分されて入力画素値Ｐとなり、その入力画素値Ｐから光信号関数Ｆが推測され（近似関数ｆで近似され）、推測された光信号関数Ｆ（即ち、近似関数ｆ）が再度積分されて、出力画素値Ｍが生成される。従って、以下、画像生成部１０３が実行する近似関数ｆの積分を、再積分と称する。また、この例の実施の形態を、再積分手法と称する。
【０９３６】
なお、後述するように、再積分手法において、出力画素値Ｍが生成される場合の近似関数ｆの積分範囲は、入力画素値Ｐが生成される場合の光信号関数Ｆの積分範囲（即ち、空間方向においては、センサ２の検出素子の縦幅と横幅であり、時間方向においては、センサ２の露光時間である）に限定されず、任意の積分範囲とすることが可能である。
【０９３７】
例えば、出力画素値Ｍが生成される場合、近似関数ｆの積分範囲のうちの空間方向の積分範囲を可変することで、その積分範囲に応じて出力画像の画素ピッチを可変することが可能になる。即ち、空間解像度の創造が可能になる。
【０９３８】
同様に、例えば、出力画素値Ｍが生成される場合、近似関数ｆの積分範囲のうちの時間方向の積分範囲を可変することで、時間解像度の創造が可能になる。
【０９３９】
以下、図面を参照して、このような再積分手法のうちの３つの具体的な手法についてそれぞれ個別に説明していく。
【０９４０】
即ち、３つの具体的な手法とは、関数近似手法の３つの具体的な手法（実世界推定部１０２の実施の形態の上述した３つの具体的な例）のそれぞれに対応する再積分手法である。
【０９４１】
具体的には、１つ目の手法は、上述した１次元近似手法（関数近似手法の１手法）に対応する再積分手法である。従って、１つ目の手法では１次元の再積分を行うことになるので、以下、このような再積分手法を、１次元再積分手法と称する。
【０９４２】
２つ目の手法は、上述した２次元近似手法（関数近似手法の１手法）に対応する再積分手法である。従って、２つ目の手法では２次元の再積分を行うことになるので、以下、このような再積分手法を、２次元再積分手法と称する。
【０９４３】
３つ目の手法は、上述した３次元近似手法（関数近似手法の１手法）に対応する再積分手法である。従って、３つ目の手法では３次元の再積分を行うことになるので、以下、このような再積分手法を、３次元再積分手法と称する。
【０９４４】
以下、１次元再積分手法、２次元再積分手法、および３次元再積分手法のそれぞれの詳細について、その順番で説明していく。
【０９４５】
はじめに、１次元再積分手法について説明する。
【０９４６】
１次元再積分手法においては、１次元近似手法により近似関数ｆ（ｘ）が既に生成されていることが前提とされる。
【０９４７】
即ち、３次元の空間上の位置ｘ，ｙ、およびｚ、並びに時刻ｔを変数とする光信号関数Ｆ（ｘ，ｙ，ｔ）を、空間方向であるＸ方向、Ｙ方向、およびＺ方向、並びに時間方向であるｔ方向のうちの所定の１方向（例えば、Ｘ方向）に射影した１次元の波形（再積分手法の説明においても、このような波形のうちのＸ方向に射影した波形を、Ｘ断面波形Ｆ（ｘ）と称することにする）が、ｎ次（ｎは、任意の整数）の多項式などの近似関数ｆ（ｘ）で近似されていることが前提とされる。
【０９４８】
この場合、１次元再積分手法においては、出力画素値Ｍは、次の式（１０３）のように演算される。
【０９４９】
【数１０３】
2005018519.tif 000207
2005018519.tif 000208
【０９５０】
なお、式（１０３）において、ｘｓは、積分開始位置を表しており、ｘｅは、積分終了位置を表している。また、Ｇｅは、所定のゲインを表している。
【０９５１】
具体的には、例えば、いま、実世界推測部１０２が、図９０で示されるような画素３１０１（センサ２の所定の１つの検出素子に対応する画素３１０１）を注目画素として、図９０で示されるような近似関数ｆ（ｘ）（Ｘ断面波形Ｆ（ｘ）の近似関数ｆ（ｘ））を既に生成しているとする。
【０９５２】
なお、図９０の例では、画素３１０１の画素値（入力画素値）がＰとされ、かつ、画素３１０１の形状が、１辺の長さが１の正方形とされている。また、空間方向のうちの、画素３１０１の１辺に平行な方向（図中水平方向）がＸ方向とされ、Ｘ方向に垂直な方向（図中垂直方向）がＹ方向とされている。
【０９５３】
また、図９０の下側に、画素３１０１の中心が原点とされる空間方向（Ｘ方向とＹ方向）の座標系（以下、注目画素座標系と称する）と、その座標系における画素３１０１が示されている。
【０９５４】
さらに、図９０の上方に、ｙ＝０（ｙは、図中下側で示される注目画素座標系のＹ方向の座標値）における近似関数ｆ（ｘ）をグラフ化したものが示されている。このグラフにおいて、図中水平方向に平行な軸は、図中下側で示される注目画素座標系のＸ方向のｘ軸と同一の軸であり（原点も同一であり）、また、図中垂直方向に平行な軸は、画素値を表す軸とされている。
【０９５５】
この場合、近似関数ｆ（ｘ）と画素３１０１の画素値Ｐの間には、次の式（１０４）の関係が成立する。
【０９５６】
【数１０４】
2005018519.tif 000209
2005018519.tif 000210
【０９５７】
また、図９０で示されるように、画素３１０１は、傾きＧｆで表される空間方向のデータの定常性を有しているとする。そして、データ定常性検出部１０１（図８９）が、傾きＧｆで表されるデータの定常性に対応するデータ定常性情報として、図９０で示されるような角度θを既に出力しているとする。
【０９５８】
この場合、例えば、１次元再積分方法においては、図９１で示されるように、Ｘ方向に−０．５乃至０．５の範囲、かつＹ方向に−０．５乃至０．５の範囲（図９０の画素３１０１が位置する範囲）に、４個の画素３１１１乃至画素３１１４を新たに創造することが可能である。
【０９５９】
なお、図９１の下側に、図９０のものと同一の注目画素座標系と、その注目画素座標系における画素３１１１乃至画素３１１４が示されている。また、図９１の上側に、図９０のものと同一のグラフ（ｙ＝０における近似関数ｆ（ｘ）をグラフ化したもの）が示されている。
【０９６０】
具体的には、図９１で示されるように、１次元再積分方法においては、次の式（１０５）により画素３１１１の画素値Ｍ（１）の算出が、次の式（１０６）により画素３１１２の画素値Ｍ（２）の算出が、次の式（１０７）により画素３１１３の画素値Ｍ（３）の算出が、次の式（１０８）により画素３１１４の画素値Ｍ（４）の算出が、それぞれ可能である。
【０９６１】
【数１０５】
2005018519.tif 000211
2005018519.tif 000212
【０９６２】
【数１０６】
2005018519.tif 000213
2005018519.tif 000214
【０９６３】
【数１０７】
2005018519.tif 000215
2005018519.tif 000216
【０９６４】
【数１０８】
2005018519.tif 000217
2005018519.tif 000218
【０９６５】
なお、式（１０５）のｘｓ１、式（１０６）のｘｓ２、式（１０７）のｘｓ３、および式（１０８）のｘｓ４のそれぞれは、対応する式の積分開始位置を表している。また、式（１０５）のｘｅ１、式（１０６）のｘｅ２、式（１０７）のｘｅ３、および式（１０８）のｘｅ４のそれぞれは、対応する式の積分終了位置を表している。
【０９６６】
式（１０５）乃至式（１０８）のそれぞれの右辺の積分範囲は、画素３１１１乃至画素３１１４のそれぞれの画素幅（Ｘ方向の長さ）となる。即ち、ｘｅ１−ｘｓ１，ｘｅ２−ｘｓ２，ｘｅ３−ｘｓ３，ｘｅ４−ｘｓ４のそれぞれは、０．５となる。
【０９６７】
ただし、いまの場合、ｙ＝０における近似関数ｆ（ｘ）と同一形状の１次元の波形が、Ｙ方向ではなく、傾きＧｆで表されるデータの定常性の方向（即ち、角度θ方向）に連なっていると考えられる（実際には、ｙ＝０におけるＸ断面波形Ｆ（ｘ）と同一形状の波形が定常性の方向に連なっている）。即ち、図９１の注目画素座標系における原点（０，０）（図９０の画素３１０１の中心）における画素値ｆ（０）を画素値ｆ１とした場合、画素値ｆ１が続く方向は、Ｙ方向ではなく、傾きＧｆで表されるデータの定常性の方向（角度θ方向）である。
【０９６８】
換言すると、Ｙ方向の所定の位置ｙ（ただし、ｙは０以外の数値）における近似関数ｆ（ｘ）の波形を考えた場合、画素値ｆ１となる位置は、位置（０，ｙ）ではなく、位置（０，ｙ）からＸ方向に所定の量（ここでも、このような量をシフト量と称することにする。また、シフト量は、Ｙ方向の位置ｙに依存する量であるので、このシフト量をＣｘ（ｙ）と記述することにする）だけ移動した位置（Ｃｘ（ｙ），ｙ）である。
【０９６９】
従って、上述した式（１０５）乃至式（１０８）のそれぞれの右辺の積分範囲として、求めたい画素値Ｍ（ｌ）（ただし、ｌは、１乃至４のうちのいずれかの整数値）の中心が存在するＹ方向の位置ｙを考慮した範囲、即ち、シフト量Ｃｘ（ｙ）を考慮した積分範囲の設定が必要である。
【０９７０】
具体的には、例えば、画素３１１１と画素３１１２の中心が存在するＹ方向の位置ｙは、ｙ＝０ではなく、ｙ＝０．２５である。
【０９７１】
従って、ｙ＝０．２５における近似関数ｆ（ｘ）の波形は、ｙ＝０における近似関数ｆ（ｘ）の波形をＸ方向にシフト量Ｃｘ（０．２５）だけ移動させた波形に相当する。
【０９７２】
換言すると、上述した式（１０５）において、画素３１１１に対する画素値Ｍ（１）は、ｙ＝０における近似関数ｆ（ｘ）を所定の積分範囲（開始位置ｘｓ１から終了位置ｘｅ１まで）で積分したものであるとすると、その積分範囲は、開始位置ｘｓ１＝−０．５から終了位置ｘｅ１＝０までの範囲（画素３１１１がＸ方向に占める範囲そのもの）ではなく、図９１で示される範囲、即ち、開始位置ｘｓ１＝−０．５＋Ｃｘ（０．２５）から終了位置ｘｅ１＝０＋Ｃｘ（０．２５）（シフト量Ｃｘ（０．２５）だけ画素３１１１を仮に移動させた場合における、画素３１１１がＸ方向に占める範囲）となる。
【０９７３】
同様に、上述した式（１０６）において、画素３１１２に対する画素値Ｍ（２）は、ｙ＝０における近似関数ｆ（ｘ）を所定の積分範囲（開始位置ｘｓ２から終了位置ｘｅ２まで）で積分したものであるとすると、その積分範囲は、開始位置ｘｓ２＝０から終了位置ｘｅ２＝０．５までの範囲（画素３１１２のＸ方向に占める範囲そのもの）ではなく、図９１で示される範囲、即ち、開始位置ｘｓ２＝０＋Ｃｘ（０．２５）から終了位置ｘｅ１＝０．５＋Ｃｘ（０．２５）（シフト量Ｃｘ（０．２５）だけ画素３１１２を仮に移動させた場合における、画素３１１２のＸ方向に占める範囲）となる。
【０９７４】
また、例えば、画素３１１３と画素３１１４の中心が存在するＹ方向の位置ｙは、ｙ＝０ではなく、ｙ＝−０．２５である。
【０９７５】
従って、ｙ＝−０．２５における近似関数ｆ（ｘ）の波形は、ｙ＝０における近似関数ｆ（ｘ）の波形をＸ方向にシフト量Ｃｘ（−０．２５）だけ移動させた波形に相当する。
【０９７６】
換言すると、上述した式（１０７）において、画素３１１３に対する画素値Ｍ（３）は、ｙ＝０における近似関数ｆ（ｘ）を所定の積分範囲（開始位置ｘｓ３から終了位置ｘｅ３まで）で積分したものであるとすると、その積分範囲は、開始位置ｘｓ３＝−０．５から終了位置ｘｅ３＝０までの範囲（画素３１１３のＸ方向に占める範囲そのもの）ではなく、図９１で示される範囲、即ち、開始位置ｘｓ３＝−０．５＋Ｃｘ（−０．２５）から終了位置ｘｅ３＝０＋Ｃｘ（−０．２５）（シフト量Ｃｘ（−０．２５）だけ画素３１１３を仮に移動させた場合における、画素３１１３のＸ方向に占める範囲）となる。
【０９７７】
同様に、上述した式（１０８）において、画素３１１４に対する画素値Ｍ（４）は、ｙ＝０における近似関数ｆ（ｘ）を所定の積分範囲（開始位置ｘｓ４から終了位置ｘｅ４まで）で積分したものであるとすると、その積分範囲は、開始位置ｘｓ４＝０から終了位置ｘｅ４＝０．５までの範囲（画素３１１４のＸ方向の占める範囲そのもの）ではなく、図９１で示される範囲、即ち、開始位置ｘｓ４＝０＋Ｃｘ（−０．２５）から終了位置ｘｅ１＝０．５＋Ｃｘ（−０．２５）（シフト量Ｃｘ（−０．２５）だけ画素３１１４を仮に移動させた場合における、画素３１１４のＸ方向に占める範囲）となる。
【０９７８】
従って、画像生成部１０２（図８９）は、上述した式（１０５）乃至式（１０８）のそれぞれに、上述した積分範囲のうちの対応するものを代入してそれぞれ演算し、それらの演算結果を出力画素値Ｍ（１）乃至Ｍ（４）のそれぞれとして出力することになる。
【０９７９】
このように、画像生成部１０２は、１次元再積分手法を利用することで、センサ２（図８９）からの出力画素３１０１（図９０）における画素として、出力画素３１０１よりも空間解像度の高い４つの画素、即ち、画素３１１１乃至画素３１１４（図９１）を創造することができる。さらに、図示はしないが、上述したように、画像生成部１０２は、画素３１１１乃至画素３１１４のみならず、積分範囲を適宜変えることで、出力画素３１０１に対して任意の倍率の空間解像度の画素を劣化することなく創造することができる。
【０９８０】
図９２は、このような１次元再積分手法を利用する画像生成部１０３の構成例を表している。
【０９８１】
図９２で示されるように、この例の画像生成部１０３には、条件設定部３１２１、特徴量記憶部３１２２、積分成分演算部３１２３、および出力画素値演算部３１２４が設けられている。
【０９８２】
条件設定部３１２１は、実世界推定部１０２より供給された実世界推定情報（図９２の例では、近似関数ｆ（ｘ）の特徴量）に基づいて近似関数ｆ（ｘ）の次数ｎを設定する。
【０９８３】
条件設定部３１２１はまた、近似関数ｆ（ｘ）を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部３１２１が設定する積分範囲は、画素の幅である必要は無い。例えば、近似関数ｆ（ｘ）は空間方向（Ｘ方向）に積分されるので、センサ２（図８９）からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部１０３がこれから演算する画素）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な積分範囲の決定が可能である。従って、条件設定部３１２１は、積分範囲として、例えば、空間解像度倍率を設定することもできる。
【０９８４】
特徴量記憶部３１２２は、実世界推定部１０２より順次供給されてくる近似関数ｆ（ｘ）の特徴量を一次的に記憶する。そして、特徴量記憶部３１２２は、近似関数ｆ（ｘ）の特徴量の全てを記憶すると、近似関数ｆ（ｘ）の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部３１２４に供給する。
【０９８５】
ところで、上述したように、画像生成部１０３は、上述した式（１０３）を利用して出力画素値Ｍを演算するが、上述した式（１０３）の右辺に含まれる近似関数ｆ（ｘ）は、具体的には、次の式（１０９）のように表される。
【０９８６】
【数１０９】
2005018519.tif 000219
2005018519.tif 000220
【０９８７】
なお、式（１０９）において、ｗｉは、実世界推定部１０２より供給される近似関数ｆ（ｘ）の特徴量を表している。
【０９８８】
従って、上述した式（１０３）の右辺の近似関数ｆ（ｘ）に、式（１０９）の近似関数ｆ（ｘ）を代入して、式（１０３）の右辺を展開（演算）すると、出力画素値Ｍは、次の式（１１０）のように表される。
【０９８９】
【数１１０】
2005018519.tif 000221
2005018519.tif 000222
【０９９０】
式（１１０）において、Ｋｉ（ｘｓ，ｘｅ）は、ｉ次項の積分成分を表している。即ち、積分成分Ｋｉ（ｘｓ，ｘｅ）は、次の式（１１１）で示される通りである。
【０９９１】
【数１１１】
2005018519.tif 000223
2005018519.tif 000224
【０９９２】
積分成分演算部３１２３は、この積分成分Ｋｉ（ｘｓ，ｘｅ）を演算する。
【０９９３】
具体的には、式（１１１）で示されるように、積分成分Ｋｉ（ｘｓ，ｘｅ）は、積分範囲の開始位置ｘｓ、および終了位置ｘｅ、ゲインＧｅ、並びにｉ次項のｉが既知であれば演算可能である。
【０９９４】
これらのうちの、ゲインＧｅは、条件設定部３１２１により設定された空間解像度倍率（積分範囲）により決定される。
【０９９５】
ｉの範囲は、条件設定部３１２１により設定された次数ｎにより決定される。
【０９９６】
また、積分範囲の開始位置ｘｓ、および終了位置ｘｅのそれぞれは、これから生成する出力画素の中心画素位置（ｘ，ｙ）および画素幅、並びにデータの定常性の方向を表すシフト量Ｃｘ（ｙ）により決定される。なお、（ｘ，ｙ）は、実世界推定部１０２が近似関数ｆ（ｘ）を生成したときの注目画素の中心位置からの相対位置を表している。
【０９９７】
さらに、これから生成する出力画素の中心画素位置（ｘ，ｙ）および画素幅のそれぞれは、条件設定部３１２１により設定された空間解像度倍率（積分範囲）により決定される。
【０９９８】
また、シフト量Ｃｘ（ｙ）と、データ定常性検出部１０１より供給された角度θは、次の式（１１２）と式（１１３）のような関係が成り立つので、シフト量Ｃｘ（ｙ）は角度θにより決定される。
【０９９９】
【数１１２】
2005018519.tif 000225
2005018519.tif 000226
【１０００】
【数１１３】
2005018519.tif 000227
2005018519.tif 000228
【１００１】
なお、式（１１２）において、Ｇｆは、データの定常性の方向を表す傾きを表しており、θは、データ定常性検出部１０１（図８９）より出力されるデータ定常性情報の１つである角度（空間方向の１方向であるＸ方向と、傾きＧｆで表されるデータの定常性の方向とのなす角度）を表している。また、ｄｘは、Ｘ方向の微小移動量を表しており、ｄｙは、ｄｘに対するＹ方向（Ｘ方向と垂直な空間方向）の微小移動量を表している。
【１００２】
従って、積分成分演算部３１２３は、条件設定部３１２１により設定された次数および空間解像度倍率（積分範囲）、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度θに基づいて積分成分Ｋｉ（ｘｓ，ｘｅ）を演算し、その演算結果を積分成分テーブルとして出力画素値演算部３１２４に供給する。
【１００３】
出力画素値演算部３１２４は、特徴量記憶部３１２２より供給された特徴量テーブルと、積分成分演算部３１２３より供給された積分成分テーブルを利用して、上述した式（１１０）の右辺を演算し、その演算結果を出力画素値Ｍとして外部に出力する。
【１００４】
次に、図９３のフローチャートを参照して、１次元再積分手法を利用する画像生成部１０３（図９２）の画像の生成の処理（図２９のステップＳ１０３の処理）について説明する。
【１００５】
例えば、いま、上述した図２９のステップＳ１０２の処理で、実世界推測部１０２が、上述した図９０で示されるような画素３１０１を注目画素として、図９０で示されるような近似関数ｆ（ｘ）を既に生成しているとする。
【１００６】
また、上述した図２９のステップＳ１０１の処理で、データ定常性検出部１０１が、データ定常性情報として、図９０で示されるような角度θを既に出力しているとする。
【１００７】
この場合、図９３のステップＳ３１０１において、条件設定部３１２１は、条件（次数と積分範囲）を設定する。
【１００８】
例えば、いま、次数として５が設定されるとともに、積分範囲として空間４倍密（画素のピッチ幅が上下左右ともに１／２倍となる空間解像度倍率）が設定されたとする。
【１００９】
即ち、この場合、図９１で示されるように、Ｘ方向に−０．５乃至０．５の範囲、かつＹ方向に−０．５乃至０．５の範囲（図９０の画素３１０１の範囲）に、４個の画素３１１１乃至画素３１１４を新たに創造することが設定されたことになる。
【１０１０】
ステップＳ３１０２において、特徴量記憶部３１２２は、実世界推定部１０２より供給された近似関数ｆ（ｘ）の特徴量を取得し、特徴量テーブルを生成する。いまの場合、５次の多項式である近似関数ｆ（ｘ）の係数ｗ０乃至ｗ５が実世界推定部１０２より供給されるので、特徴量テーブルとして、（ｗ０，ｗ１，ｗ２，ｗ３，ｗ４，ｗ５）が生成される。
【１０１１】
ステップＳ３１０３において、積分成分演算部３１２３は、条件設定部３１２１により設定された条件（次数および積分範囲）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度θ）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【１０１２】
具体的には、例えば、これから生成する画素３１１１乃至画素３１１４のそれぞれに対して、番号（このような番号を、以下、モード番号と称する）１乃至４のそれぞれが付されているとすると、積分成分演算部３１２３は、上述した式（１１１）の積分成分Ｋｉ（ｘｓ，ｘｅ）を、次の式（１１４）の左辺で示される積分成分Ｋｉ（ｌ）といったｌ（ただし、ｌはモード番号を表している）の関数として演算する。
【１０１３】
【数１１４】
2005018519.tif 000229
2005018519.tif 000230
【１０１４】
具体的には、いまの場合、次の式（１１５）で示される積分成分Ｋｉ（ｌ）が演算される。
【１０１５】
【数１１５】
2005018519.tif 000231
2005018519.tif 000232
【１０１６】
なお、式（１１５）において、左辺が積分成分Ｋｉ（ｌ）を表し、右辺が積分成分Ｋｉ（ｘｓ，ｘｅ）を表している。即ち、いまの場合、ｌは、１乃至４のうちのいずれかであり、かつ、ｉは０乃至５のうちのいずれかであるので、６個のＫｉ（１），６個のＫｉ（２），６個のＫｉ（３），６個のＫｉ（４）の総計２４個のＫｉ（ｌ）が演算されることになる。
【１０１７】
より具体的には、はじめに、積分成分演算部３１２３は、データ定常性検出部１０１より供給された角度θを使用して、上述した式（１１２）と式（１１３）よりシフト量Ｃｘ（−０．２５）、およびＣｘ（０．２５）のそれぞれを演算する。
【１０１８】
次に、積分成分演算部３１２３は、演算したシフト量Ｃｘ（−０．２５）、およびＣｘ（０．２５）を使用して、式（１１５）の４つの式の各右辺の積分成分Ｋｉ（ｘｓ，ｘｅ）のそれぞれを、ｉ＝０乃至５についてそれぞれ演算する。なお、この積分成分Ｋｉ（ｘｓ，ｘｅ）の演算においては、上述した式（１１１）が使用される。
【１０１９】
そして、積分成分演算部３１２３は、式（１１５）に従って、演算した２４個の積分成分Ｋｉ（ｘｓ，ｘｅ）のそれぞれを、対応する積分成分Ｋｉ（ｌ）に変換し、変換した２４個の積分成分Ｋｉ（ｌ）（即ち、６個のＫｉ（１）、６個のＫｉ（２）、６個のＫｉ（３）、および６個のＫｉ（４））を含む積分成分テーブルを生成する。
【１０２０】
なお、ステップＳ３１０２の処理とステップＳ３１０３の処理の順序は、図９３の例に限定されず、ステップＳ３１０３の処理が先に実行されてもよいし、ステップＳ３１０２の処理とステップＳ３１０３の処理が同時に実行されてもよい。
【１０２１】
次に、ステップＳ３１０４において、出力画素値演算部３１２４は、ステップＳ３１０２の処理で特徴量記憶部３１２２により生成された特徴量テーブルと、ステップＳ３１０３の処理で積分成分演算部３１２３により生成された積分成分テーブルに基づいて出力画素値Ｍ（１）乃至Ｍ（４）のそれぞれを演算する。
【１０２２】
具体的には、いまの場合、出力画素値演算部３１２４は、上述した式（１１０）に対応する、次の式（１１６）乃至式（１１９）の右辺を演算することで、画素３１１１（モード番号１の画素）の画素値Ｍ（１）、画素３１１２（モード番号２の画素）の画素値Ｍ（２）、画素３１１３（モード番号３の画素）の画素値Ｍ（３）、および画素３１１４（モード番号４の画素）の画素値Ｍ（４）のそれぞれを演算する。
【１０２３】
【数１１６】
2005018519.tif 000233
2005018519.tif 000234
【１０２４】
【数１１７】
2005018519.tif 000235
2005018519.tif 000236
【１０２５】
【数１１８】
2005018519.tif 000237
2005018519.tif 000238
【１０２６】
【数１１９】
2005018519.tif 000239
2005018519.tif 000240
【１０２７】
ステップＳ３１０５において、出力画素値演算部３１２４は、全画素の処理を終了したか否かを判定する。
【１０２８】
ステップＳ３１０５において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ３１０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ３１０２乃至Ｓ３１０４の処理が繰り返される。
【１０２９】
そして、全画素の処理が終了すると（ステップＳ３１０５において、全画素の処理が終了されたと判定すると）、出力画素値演算部３１２４は、ステップＳ３１０６において、画像を出力する。その後、画像の生成の処理は終了となる。
【１０３０】
次に、図９４乃至図１０１を参照して、所定の入力画像に対して、１次元再積分手法を適用して得られた出力画像と、他の手法（従来のクラス分類適応処理）を適用して得られた出力画像の違いについて説明する。
【１０３１】
図９４は、入力画像の元の画像を示す図であり、図９５は、図９４の元の画像に対応する画像データを示している。図９５において、図中垂直方向の軸は、画素値を示し、図中右下方向の軸は、画像の空間方向の一方向であるＸ方向を示し、図中右上方向の軸は、画像の空間方向の他の方向であるＹ方向を示す。なお、後述する図９７、図９９、および図１０１の軸のそれぞれは、図９５の軸と対応している。
【１０３２】
図９６は、入力画像の例を示す図である。図９６で示される入力画像は、図９４で示される画像の２×２の画素からなるブロックに属する画素の画素値の平均値を、１つの画素の画素値として生成された画像である。即ち、入力画像は、図９４で示される画像に、センサの積分特性を模した、空間方向の積分を適用することにより得られた画像である。また、図９７は、図９６の入力画像に対応する画像データを示している。
【１０３３】
図９４で示される元の画像において、上下方向から、ほぼ５度時計方向に傾いた細線の画像が含まれている。同様に、図９６で示される入力画像において、上下方向から、ほぼ５度時計方向に傾いた細線の画像が含まれている。
【１０３４】
図９８は、図９６で示される入力画像に、従来のクラス分類適応処理を適用して得られた画像（以下、図９８で示される画像を、従来の画像と称する）を示す図である。また、図９９は、従来の画像に対応する画像データを示している。
【１０３５】
なお、クラス分類適応処理は、上述したように、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものである。適応処理では、例えば、低画質または標準画質の画像が、所定のタップ係数を用いてマッピング（写像）されることにより、高画質の画像に変換される。
【１０３６】
図１００は、図９６で示される入力画像に、１次元再積分手法を適用して得られた画像（以下、図１００で示される画像を、再積分画像と称する）を示す図である。また、図１０１は、再積分画像に対応する画像データを示している。
【１０３７】
図９８の従来の画像と、図１００の再積分画像を比較するに、従来の画像においては、細線の画像が、図９４の元の画像とは異なるものになっているのに対して、再積分画像においては、細線の画像が、図９４の元の画像とほぼ同じものになっていることがわかる。
【１０３８】
この違いは、従来のクラス分類適応処理は、あくまでも図９６の入力画像を基準（原点）として処理を行う手法であるのに対して、１次元再積分手法は、細線の定常性を考慮して、図９４の元の画像を推定し（元の画像に対応する近似関数ｆ（ｘ）を生成し）、推定した元の画像を基準（原点）として処理を行う（再積分して画素値を演算する）手法であるからである。
【１０３９】
このように、１次元再積分手法においては、１次元近似手法により生成された１次元の多項式などの近似関数ｆ（ｘ）（実世界のＸ断面波形Ｆ（ｘ）の近似関数ｆ（ｘ））を基準（原点）として、近似関数ｆ（ｘ）を任意の範囲に積分することで出力画像（画素値）が生成される。
【１０４０】
従って、１次元再積分手法においては、従来の他の手法に比較して、元の画像（センサ２に入射される前の実世界１の光信号）により近い画像の出力が可能になる。
【１０４１】
また、１次元再積分手法においては、上述したように、積分範囲は任意なので、積分範囲を可変することにより、入力画像の解像度とは異なる解像度（時間解像度、または空間解像度）を創造することも可能になる。即ち、入力画像の解像度に対して、整数値だけではなく任意の倍率の解像度の画像を生成することが可能になる。
【１０４２】
さらに、１次元再積分手法においては、他の再積分手法に比較して、より少ない演算処理量で出力画像（画素値）の算出が可能となる。
【１０４３】
次に、図１０２乃至図１０８を参照して、２次元再積分手法について説明する。
【１０４４】
２次元再積分手法においては、２次元近似手法により近似関数ｆ（ｘ，ｙ）が既に生成されていることが前提とされる。
【１０４５】
即ち、例えば、図１０２で示されるような、傾きＧＦで表される空間方向の定常性を有する実世界１（図８９）の光信号を表す画像関数Ｆ（ｘ，ｙ，ｔ）を、空間方向（Ｘ方向とＹ方向）に射影した波形、即ち、Ｘ−Ｙ平面上の波形Ｆ（ｘ，ｙ）が、ｎ次（ｎは、任意の整数）の多項式などの近似関数ｆ（ｘ，ｙ）に近似されていることが前提とされる。
【１０４６】
図１０２において、図中、水平方向は、空間方向の１方向であるＸ方向を、右上方向は、空間方向の他方向であるＹ方向を、垂直方向は、光のレベルを、それぞれ表している。ＧＦは、空間方向の定常性の傾きを表している。
【１０４７】
なお、図１０２の例では、定常性の方向は、空間方向（Ｘ方向とＹ方向）とされているため、近似の対象とされる光信号の射影関数は、関数Ｆ（ｘ，ｙ）とされているが、後述するように、定常性の方向に応じて、関数Ｆ（ｘ，ｔ）や関数Ｆ（ｙ，ｔ）が近似の対象とされてもよい。
【１０４８】
図１０２の例の場合、２次元再積分手法においては、出力画素値Ｍは、次の式（１２０）のように演算される。
【１０４９】
【数１２０】
2005018519.tif 000241
2005018519.tif 000242
【１０５０】
なお、式（１２０）において、ｙｓは、Ｙ方向の積分開始位置を表しており、ｙｅは、Ｙ方向の積分終了位置を表している。同様に、ｘｓは、Ｘ方向の積分開始位置を表しており、ｘｅは、Ｘ方向の積分終了位置を表している。また、Ｇｅは、所定のゲインを表している。
【１０５１】
式（１２０）において、積分範囲は任意に設定可能であるので、２次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ２（図８９）からの入力画像の画素）に対して任意の倍率の空間解像度の画素を劣化することなく創造することが可能になる。
【１０５２】
図１０３は、２次元再積分手法を利用する画像生成部１０３の構成例を表している。
【１０５３】
図１０３で示されるように、この例の画像生成部１０３には、条件設定部３２０１、特徴量記憶部３２０２、積分成分演算部３２０３、および出力画素値演算部３２０４が設けられている。
【１０５４】
条件設定部３２０１は、実世界推定部１０２より供給された実世界推定情報（図１０３の例では、近似関数ｆ（ｘ，ｙ）の特徴量）に基づいて近似関数ｆ（ｘ，ｙ）の次数ｎを設定する。
【１０５５】
条件設定部３２０１はまた、近似関数ｆ（ｘ，ｙ）を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部３２０１が設定する積分範囲は、画素の縦幅や横幅である必要は無い。例えば、近似関数ｆ（ｘ，ｙ）は空間方向（Ｘ方向とＹ方向）に積分されるので、センサ２からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部１０３がこれから生成する画素）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な積分範囲の決定が可能である。従って、条件設定部３２０１は、積分範囲として、例えば、空間解像度倍率を設定することもできる。
【１０５６】
特徴量記憶部３２０２は、実世界推定部１０２より順次供給されてくる近似関数ｆ（ｘ，ｙ）の特徴量を一次的に記憶する。そして、特徴量記憶部３２０２は、近似関数ｆ（ｘ，ｙ）の特徴量の全てを記憶すると、近似関数ｆ（ｘ，ｙ）の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部３２０４に供給する。
【１０５７】
ここで、近似関数ｆ（ｘ，ｙ）の詳細について説明する。
【１０５８】
例えば、いま、上述した図１０２で示されるような傾きＧＦで表される空間方向の定常性を有する実世界１（図８９）の光信号（波形Ｆ（ｘ，ｙ）で表される光信号）が、センサ２（図８９）により検出されて入力画像（画素値）として出力されたとする。
【１０５９】
さらに、例えば、図１０４で示されるように、データ定常性検出部１０１（図３）が、この入力画像のうちの、Ｘ方向に４画素分、かつＹ方向に５画素分の総計２０個の画素（図中、点線で表される２０個の正方形）から構成される入力画像の領域３２２１に対してその処理を実行し、データ定常性情報の１つとして角度θ（傾きＧＦに対応する傾きＧｆで表されるデータの定常性の方向と、Ｘ方向とのなす角度θ）を出力したとする。
【１０６０】
なお、実世界推定部１０２から見ると、データ定常性検出部１０１は、注目画素における角度θを単に出力すればよいので、データ定常性検出部１０１の処理範囲は、上述した入力画像の領域３２２１に限定されない。
【１０６１】
また、入力画像の領域３２２１において、図中水平方向は、空間方向の１方向であるＸ方向を表しており、図中垂直方向は、空間方向の他方向であるＹ方向を表している。
【１０６２】
さらに、図１０４中、左から２画素目であって、下から３画素目の画素が注目画素とされ、その注目画素の中心を原点（０，０）とするように（ｘ，ｙ）座標系が設定されている。そして、原点（０，０）を通る角度θの直線（データの定常性の方向を表す傾きＧｆの直線）に対するＸ方向の相対的な距離（以下、断面方向距離と称する）がｘ’とされている。
【１０６３】
さらに、図１０４中、右側のグラフは、３次元の空間上の位置ｘ，ｙ、およびｚ、並びに時刻ｔを変数とする画像関数Ｆ（ｘ，ｙ，ｔ）を、Ｙ方向の任意の位置ｙにおいて、Ｘ方向に射影した１次元の波形（以下、このような波形を、Ｘ断面波形Ｆ（ｘ’）と称する）が近似された関数であって、ｎ次（ｎは、任意の整数）の多項式などの近似関数ｆ（ｘ’）を表している。右側のグラフの軸のうち、図中水平方向の軸は、断面方向距離を表しており、図中垂直方向の軸は、画素値を表している。
【１０６４】
この場合、図１０４で示される近似関数ｆ（ｘ’）は、ｎ次の多項式であるので、次の式（１２１）のように表される。
【１０６５】
【数１２１】
2005018519.tif 000243
2005018519.tif 000244
【１０６６】
また、角度θが決定されていることから、原点（０，０）を通る角度θの直線は一意に決まり、Ｙ方向の任意の位置ｙにおける、直線のＸ方向の位置ｘｌが、次の式（１２２）のように表される。ただし、式（１２２）において、ｓはｃｏｔθを表している。
【１０６７】
【数１２２】
2005018519.tif 000245
2005018519.tif 000246
【１０６８】
即ち、図１０４で示されるように、傾きＧｆで表されるデータの定常性に対応する直線上の点は、座標値（ｘｌ，ｙ）で表される。
【１０６９】
式（１２２）より、断面方向距離ｘ’は、次の式（１２３）のように表される。
【１０７０】
【数１２３】
2005018519.tif 000247
2005018519.tif 000248
【１０７１】
従って、入力画像の領域３２２１内の任意の位置（ｘ，ｙ）における近似関数ｆ（ｘ，ｙ）は、式（１２１）と式（１２３）より、次の式（１２４）のように示される。
【１０７２】
【数１２４】
2005018519.tif 000249
2005018519.tif 000250
【１０７３】
なお、式（１２４）において、ｗｉは、近似関数ｆ（ｘ，ｙ）の特徴量を表している。
【１０７４】
図１０３に戻り、式（１２４）に含まれる特徴量ｗｉが、実世界推定部１０２より供給され、特徴量記憶部３２０２に記憶される。特徴量記憶部３２０２は、式（１２４）で表される特徴量ｗｉの全てを記憶すると、特徴量ｗｉを全て含む特徴量テーブルを生成し、出力画素値演算部３２０４に供給する。
【１０７５】
また、上述した式（１２０）の右辺の近似関数ｆ（ｘ，ｙ）に、式（１２４）の近似関数ｆ（ｘ，ｙ）を代入して、式（１２０）の右辺を展開（演算）すると、出力画素値Ｍは、次の式（１２５）のように表される。
【１０７６】
【数１２５】
2005018519.tif 000251
2005018519.tif 000252
【１０７７】
式（１２５）において、Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ）は、ｉ次項の積分成分を表している。即ち、積分成分Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ）は、次の式（１２６）で示される通りである。
【１０７８】
【数１２６】
2005018519.tif 000253
2005018519.tif 000254
【１０７９】
積分成分演算部３２０３は、この積分成分Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ）を演算する。
【１０８０】
具体的には、式（１２５）と式（１２６）で示されるように、積分成分Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ）は、積分範囲のＸ方向の開始位置ｘｓ、およびＸ方向の終了位置ｘｅ、積分範囲のＹ方向の開始位置ｙｓ、およびＹ方向の終了位置ｙｅ、変数ｓ、ゲインＧｅ、並びにｉ次項のｉが既知であれば演算可能である。
【１０８１】
これらのうちの、ゲインＧｅは、条件設定部３２０１により設定された空間解像度倍率（積分範囲）により決定される。
【１０８２】
ｉの範囲は、条件設定部３２０１により設定された次数ｎにより決定される。
【１０８３】
変数ｓは、上述したように、ｃｏｔθであるので、データ定常性検出部１０１より出力される角度θにより決定される。
【１０８４】
また、積分範囲のＸ方向の開始位置ｘｓ、およびＸ方向の終了位置ｘｅ、並びに、積分範囲のＹ方向の開始位置ｙｓ、およびＹ方向の終了位置ｙｅのそれぞれは、これから生成する出力画素の中心画素位置（ｘ，ｙ）および画素幅により決定される。なお、（ｘ，ｙ）は、実世界推定部１０２が近似関数ｆ（ｘ）を生成したときの注目画素の中心位置からの相対位置を表している。
【１０８５】
さらに、これから生成する出力画素の中心画素位置（ｘ，ｙ）および画素幅のそれぞれは、条件設定部３２０１により設定された空間解像度倍率（積分範囲）により決定される。
【１０８６】
従って、積分成分演算部３２０３は、条件設定部３２０１により設定された次数および空間解像度倍率（積分範囲）、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度θに基づいて積分成分Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ）を演算し、その演算結果を積分成分テーブルとして出力画素値演算部３２０４に供給する。
【１０８７】
出力画素値演算部３２０４は、特徴量記憶部３２０２より供給された特徴量テーブルと、積分成分演算部３２０３より供給された積分成分テーブルを利用して、上述した式（１２５）の右辺を演算し、その演算結果を出力画素値Ｍとして外部に出力する。
【１０８８】
次に、図１０５のフローチャートを参照して、２次元再積分手法を利用する画像生成部１０３（図１０４）の画像の生成の処理（図２９のステップＳ１０３の処理）について説明する。
【１０８９】
例えば、いま、図１０２で示される関数Ｆ（ｘ，ｙ）で表される光信号がセンサ２に入射されて入力画像となり、上述した図２９のステップＳ１０２の処理で、実世界推測部１０２が、その入力画像のうちの、図１０６で示されるような１つの画素３２３１を注目画素として、関数Ｆ（ｘ，ｙ）を近似する近似関数ｆ（ｘ，ｙ）を既に生成しているとする。
【１０９０】
なお、図１０６において、画素３２３１の画素値（入力画素値）がＰとされ、かつ、画素３２３１の形状が、１辺の長さが１の正方形とされている。また、空間方向のうちの、画素３２３１の１辺に平行な方向がＸ方向とされ、Ｘ方向に垂直な方向がＹ方向とされている。さらに、画素３２３１の中心が原点とされる空間方向（Ｘ方向とＹ方向）の座標系（以下、注目画素座標系と称する）が設定されている。
【１０９１】
また、図１０６において、上述した図２９のステップＳ１０１の処理で、データ定常性検出部１０１が、画素３２３１を注目画素として、傾きＧｆで表されるデータの定常性に対応するデータ定常性情報として、角度θを既に出力しているとする。
【１０９２】
図１０５に戻り、この場合、ステップＳ３２０１において、条件設定部３２０１は、条件（次数と積分範囲）を設定する。
【１０９３】
例えば、いま、次数として５が設定されるとともに、積分範囲として空間４倍密（画素のピッチ幅が上下左右ともに１／２倍となる空間解像度倍率）が設定されたとする。
【１０９４】
即ち、この場合、図１０７で示されるように、Ｘ方向に−０．５乃至０．５の範囲、かつＹ方向に−０．５乃至０．５の範囲（図１０６の画素３２３１の範囲）に、４個の画素３２４１乃至画素３２４４を新たに創造することが設定されたことになる。なお、図１０７においても、図１０６のものと同一の注目画素座標系が示されている。
【１０９５】
また、図１０７において、Ｍ（１）は、これから生成される画素３２４１の画素値を、Ｍ（２）は、これから生成される画素３２４２の画素値を、Ｍ（３）は、これから生成される画素３２４３の画素値を、Ｍ（４）は、これから生成される画素３２４１の画素値を、それぞれ表している。
【１０９６】
図１０５に戻り、ステップＳ３２０２において、特徴量記憶部３２０２は、実世界推定部１０２より供給された近似関数ｆ（ｘ，ｙ）の特徴量を取得し、特徴量テーブルを生成する。いまの場合、５次の多項式である近似関数ｆ（ｘ）の係数ｗ０乃至ｗ５が実世界推定部１０２より供給されるので、特徴量テーブルとして、（ｗ０，ｗ１，ｗ２，ｗ３，ｗ４，ｗ５）が生成される。
【１０９７】
ステップＳ３２０３において、積分成分演算部３２０３は、条件設定部３２０１により設定された条件（次数および積分範囲）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度θ）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【１０９８】
具体的には、例えば、これから生成される画素３２４１乃至画素３２４４のそれぞれに対して、番号（このような番号を、以下、モード番号と称する）１乃至４のそれぞれが付されているとすると、積分成分演算部３２０３は、上述した式（１２５）の積分成分Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ）を、次の式（１２７）の左辺で示される積分成分Ｋｉ（ｌ）といったｌ（ただし、ｌはモード番号を表している）の関数として演算する。
【１０９９】
【数１２７】
2005018519.tif 000255
2005018519.tif 000256
【１１００】
具体的には、いまの場合、次の式（１２８）で示される積分成分Ｋｉ（ｌ）が演算される。
【１１０１】
【数１２８】
2005018519.tif 000257
2005018519.tif 000258
【１１０２】
なお、式（１２８）において、左辺が積分成分Ｋｉ（ｌ）を表し、右辺が積分成分Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ）を表している。即ち、いまの場合、ｌは、１乃至４のうちのいずれかであり、かつ、ｉは０乃至５のうちのいずれかであるので、６個のＫｉ（１），６個のＫｉ（２），６個のＫｉ（３），６個のＫｉ（４）の総計２４個のＫｉ（ｌ）が演算されることになる。
【１１０３】
より具体的には、はじめに、積分成分演算部３２０３は、データ定常性検出部１０１より供給された角度θを使用して、上述した式（１２２）の変数ｓ（ｓ＝ｃｏｔθ）を演算する。
【１１０４】
次に、積分成分演算部３２０３は、演算した変数ｓを使用して、式（１２８）の４つの式の各右辺の積分成分Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ）のそれぞれを、ｉ＝０乃至５についてそれぞれ演算する。なお、この積分成分Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ）の演算においては、上述した式（１２５）が使用される。
【１１０５】
そして、積分成分演算部３２０３は、式（１２８）に従って、演算した２４個の積分成分Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ）のそれぞれを、対応する積分成分Ｋｉ（ｌ）に変換し、変換した２４個の積分成分Ｋｉ（ｌ）（即ち、６個のＫｉ（１）、６個のＫｉ（２）、６個のＫｉ（３）、および６個のＫｉ（４））を含む積分成分テーブルを生成する。
【１１０６】
なお、ステップＳ３２０２の処理とステップＳ３２０３の処理の順序は、図１０５の例に限定されず、ステップＳ３２０３の処理が先に実行されてもよいし、ステップＳ３２０２の処理とステップＳ３２０３の処理が同時に実行されてもよい。
【１１０７】
次に、ステップＳ３２０４において、出力画素値演算部３２０４は、ステップＳ３２０２の処理で特徴量記憶部３２０２により生成された特徴量テーブルと、ステップＳ３２０３の処理で積分成分演算部３２０３により生成された積分成分テーブルに基づいて出力画素値Ｍ（１）乃至Ｍ（４）のそれぞれを演算する。
【１１０８】
具体的には、いまの場合、出力画素値演算部３２０４は、上述した式（１２５）に対応する、次の式（１２９）乃至式（１３２）の右辺のそれぞれを演算することで、図１０７で示される、画素３２４１（モード番号１の画素）の画素値Ｍ（１）、画素３２４２（モード番号２の画素）の画素値Ｍ（２）、画素３２４３（モード番号３の画素）の画素値Ｍ（３）、および画素３２４４（モード番号４の画素）の画素値Ｍ（４）のそれぞれを演算する。
【１１０９】
【数１２９】
2005018519.tif 000259
2005018519.tif 000260
【１１１０】
【数１３０】
2005018519.tif 000261
2005018519.tif 000262
【１１１１】
【数１３１】
2005018519.tif 000263
2005018519.tif 000264
【１１１２】
【数１３２】
2005018519.tif 000265
2005018519.tif 000266
【１１１３】
ただし、いまの場合、式（１２９）乃至式（１３２）のｎは全て５となる。
【１１１４】
ステップＳ３２０５において、出力画素値演算部３２０４は、全画素の処理を終了したか否かを判定する。
【１１１５】
ステップＳ３２０５において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ３２０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ３２０２乃至Ｓ３２０４の処理が繰り返される。
【１１１６】
そして、全画素の処理が終了すると（ステップＳ３２０５において、全画素の処理が終了されたと判定すると）、出力画素値演算部３２０４は、ステップＳ３２０６において、画像を出力する。その後、画像の生成の処理は終了となる。
【１１１７】
このように、２次元再積分手法を利用することで、センサ２（図８９）からの入力画像の画素３２３１（図１０６）における画素として、入力画素３２３１よりも空間解像度の高い４つの画素、即ち、画素３２４１乃至画素３２４４（図１０７）を創造することができる。さらに、図示はしないが、上述したように、画像生成部１０３は、画素３２４１乃至画素３２４４のみならず、積分範囲を適宜変えることで、入力画素３２３１に対して任意の倍率の空間解像度の画素を劣化することなく創造することができる。
【１１１８】
以上、２次元再積分手法の説明として、空間方向（Ｘ方向とＹ方向）に対する近似関数ｆ（ｘ，ｙ）を２次元積分する例を用いたが、２次元再積分手法は、時空間方向（Ｘ方向とｔ方向、または、Ｙ方向とｔ方向）に対しても適用可能である。
【１１１９】
即ち、上述した例は、実世界１（図８９）の光信号が、例えば、図１０２で示されるような傾きＧＦで表される空間方向の定常性を有する場合の例であったので、上述した式（１２０）で示されるような、空間方向（Ｘ方向とＹ方向）の二次元積分が含まれる式が利用された。しかしながら、二次元積分の考え方は、空間方向だけによるものではなく、時空間方向（Ｘ方向とｔ方向、または、Ｙ方向とｔ方向）に対して適用することも可能である。
【１１２０】
換言すると、２次元再積分手法の前提となる２次元近似手法においては、光信号を表す画像関数Ｆ（ｘ，ｙ，ｔ）が、空間方向の定常性のみならず、時空間方向（ただし、Ｘ方向とｔ方向、または、Ｙ方向とｔ方向）の定常性を有している場合であっても、２次元の近似関数ｆにより近似することが可能である。
【１１２１】
具体的には、例えば、Ｘ方向に水平に等速で動いている物体がある場合、その物体の動きの方向は、図１０８で示されるようなＸ−ｔ平面においては、傾きＶＦのように表される。換言すると、傾きＶＦは、Ｘ−ｔ平面における時空間方向の定常性の方向を表しているとも言える。従って、データ定常性検出部１０１（図８９）は、上述した角度θ（Ｘ−Ｙ平面における、空間方向の定常性を表す傾きＧＦに対応するデータ定常性情報）と同様に、Ｘ−ｔ平面における時空間方向の定常性を表す傾きＶＦに対応するデータ定常性情報として、図１０８で示されるような動きθ（厳密には、図示はしないが、傾きＶＦに対応する傾きＶｆで表されるデータの定常性の方向と、空間方向のＸ方向とのなす角度である動きθ）を出力することが可能である。
【１１２２】
また、２次元近似手法を利用する実世界推定部１０２（図８９）は、動きθを上述した角度θの代わりとして使用すれば、上述した方法と同様な方法で、近似関数ｆ（ｘ，ｔ）の係数（特徴量）ｗｉを演算することが可能になる。ただし、この場合、使用される式は、上述した式（１２４）ではなく、次の式（１３３）である。
【１１２３】
【数１３３】
2005018519.tif 000267
2005018519.tif 000268
【１１２４】
なお、式（１３３）において、ｓはｃｏｔθ（ただし、θは動きである）である。
【１１２５】
従って、２次元再積分手法を利用する画像生成部１０３（図８９）は、次の式（１３４）の右辺に、上述した式（１３３）のｆ（ｘ，ｔ）を代入して、演算することで、画素値Ｍを算出することが可能になる。
【１１２６】
【数１３４】
2005018519.tif 000269
2005018519.tif 000270
【１１２７】
なお、式（１３４）において、ｔｓは、ｔ方向の積分開始位置を表しており、ｔｅは、ｔ方向の積分終了位置を表している。同様に、ｘｓは、Ｘ方向の積分開始位置を表しており、ｘｅは、Ｘ方向の積分終了位置を表している。Ｇｅは、所定のゲインを表している。
【１１２８】
また、空間方向Ｘの変わりに、空間方向Ｙに注目した近似関数ｆ（ｙ，ｔ）も、上述した近似関数ｆ（ｘ，ｔ）と全く同様に取り扱うことが可能である。
【１１２９】
ところで、式（１３３）において、ｔ方向を一定とみなし、即ち、ｔ方向の積分を無視して積分することで、時間方向には積分されないデータ、即ち、動きボケのないデータを得ることが可能になる。換言すると、この手法は、２次元の近似関数ｆのうちの所定の１次元を一定として再積分する点で、２次元再積分手法の１つとみなしてもよいし、実際には、Ｘ方向の１次元の再積分をすることになるという点で、１次元再積分手法の１つとみなしてもよい。
【１１３０】
また、式（１３４）において、積分範囲は任意に設定可能であるので、２次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ２（図８９）からの入力画像の画素）に対して任意の倍率の解像度の画素を劣化することなく創造することが可能になる。
【１１３１】
即ち、２次元再積分手法においては、時間方向ｔの積分範囲を適宜変えることで、時間解像度の創造が可能になる。また、空間方向Ｘ（または、空間方向Ｙ）の積分範囲を適宜変えることで、空間解像度の創造が可能になる。さらに、時間方向ｔと空間方向Ｘの積分範囲のそれぞれを適宜変えることで、時間解像度と空間解像度の両方の創造が可能になる。
【１１３２】
なお、上述したように、時間解像度と空間解像度のうちのいずれか一方の創造は、１次元再積分手法でも可能であるが、両方の解像度の創造は、１次元再積分手法では原理上不可能であり、２次元以上の再積分を行うことではじめて可能になる。即ち、２次元再積分手法と後述する３次元再積分手法ではじめて、両方の解像度の創造が可能になる。
【１１３３】
また、２次元再積分手法は、１次元ではなく２次元の積分効果を考慮しているので、より実世界１（図８９）の光信号に近い画像を生成することも可能になる。
【１１３４】
次に、図１０９と図１１０を参照して、３次元再積分手法について説明する。
【１１３５】
３次元再積分手法においては、３次元近似手法により近似関数ｆ（ｘ，ｙ，ｔ）が既に生成されていることが前提とされる。
【１１３６】
この場合、３次元再積分手法においては、出力画素値Ｍは、次の式（１３５）のように演算される。
【１１３７】
【数１３５】
2005018519.tif 000271
2005018519.tif 000272
【１１３８】
なお、式（１３５）において、ｔｓは、ｔ方向の積分開始位置を表しており、ｔｅは、ｔ方向の積分終了位置を表している。同様に、ｙｓは、Ｙ方向の積分開始位置を表しており、ｙｅは、Ｙ方向の積分終了位置を表している。また、ｘｓは、Ｘ方向の積分開始位置を表しており、ｘｅは、Ｘ方向の積分終了位置を表している。さらに、Ｇｅは、所定のゲインを表している。
【１１３９】
式（１３５）において、積分範囲は任意に設定可能であるので、３次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ２（図８９）からの入力画像の画素）に対して任意の倍率の時空間解像度の画素を劣化することなく創造することが可能になる。即ち、空間方向の積分範囲を小さくすれば、画素ピッチを自由に細かくできる。逆に、空間方向の積分範囲を大きくすれば、画素ピッチを自由に大きくすることができる。また、時間方向の積分範囲を小さくすれば、実世界波形に基づいて時間解像度を創造できる。
【１１４０】
図１０９は、３次元再積分手法を利用する画像生成部１０３の構成例を表している。
【１１４１】
図１０９で示されるように、この例の画像生成部１０３には、条件設定部３３０１、特徴量記憶部３３０２、積分成分演算部３３０３、および出力画素値演算部３３０４が設けられている。
【１１４２】
条件設定部３３０１は、実世界推定部１０２より供給された実世界推定情報（図１０９の例では、近似関数ｆ（ｘ，ｙ，ｔ）の特徴量）に基づいて近似関数ｆ（ｘ，ｙ，ｔ）の次数ｎを設定する。
【１１４３】
条件設定部３３０１はまた、近似関数ｆ（ｘ，ｙ，ｔ）を再積分する場合（出力画素値を演算する場合）の積分範囲を設定する。なお、条件設定部３３０１が設定する積分範囲は、画素の幅（縦幅と横幅）やシャッタ時間そのものである必要は無い。例えば、センサ２（図８９）からの入力画像の各画素の空間的な大きさに対する、出力画素（画像生成部１０３がこれから生成する画素）の相対的な大きさ（空間解像度の倍率）がわかれば、具体的な空間方向の積分範囲の決定が可能である。同様に、センサ２（図８９）のシャッタ時間に対する出力画素値の相対的な時間（時間解像度の倍率）がわかれば、具体的な時間方向の積分範囲の決定が可能である。従って、条件設定部３３０１は、積分範囲として、例えば、空間解像度倍率や時間解像度倍率を設定することもできる。
【１１４４】
特徴量記憶部３３０２は、実世界推定部１０２より順次供給されてくる近似関数ｆ（ｘ，ｙ，ｔ）の特徴量を一次的に記憶する。そして、特徴量記憶部３３０２は、近似関数ｆ（ｘ，ｙ，ｔ）の特徴量の全てを記憶すると、近似関数ｆ（ｘ，ｙ，ｔ）の特徴量を全て含む特徴量テーブルを生成し、出力画素値演算部３３０４に供給する。
【１１４５】
ところで、上述した式（１３５）の右辺の近似関数ｆ（ｘ，ｙ）の右辺を展開（演算）すると、出力画素値Ｍは、次の式（１３６）のように表される。
【１１４６】
【数１３６】
2005018519.tif 000273
2005018519.tif 000274
【１１４７】
式（１３６）において、Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ，ｔｓ，ｔｅ）は、ｉ次項の積分成分を表している。ただし、ｘｓはＸ方向の積分範囲の開始位置を、ｘｅはＸ方向の積分範囲の終了位置を、ｙｓはＹ方向の積分範囲の開始位置を、ｙｅはＹ方向の積分範囲の終了位置を、ｔｓはｔ方向の積分範囲の開始位置を、ｔｅはｔ方向の積分範囲の終了位置を、それぞれ表している。
【１１４８】
積分成分演算部３３０３は、この積分成分Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ，ｔｓ，ｔｅ）を演算する。
【１１４９】
具体的には、積分成分演算部３３０３は、条件設定部３３０１により設定された次数、および積分範囲（空間解像度倍率や時間解像度倍率）、並びにデータ定常性検出部１０１より出力されたデータ定常性情報のうちの角度θまたは動きθに基づいて積分成分Ｋｉ（ｘｓ，ｘｅ，ｙｓ，ｙｅ，ｔｓ，ｔｅ）を演算し、その演算結果を積分成分テーブルとして出力画素値演算部３３０４に供給する。
【１１５０】
出力画素値演算部３３０４は、特徴量記憶部３３０２より供給された特徴量テーブルと、積分成分演算部３３０３より供給された積分成分テーブルを利用して、上述した式（１３６）の右辺を演算し、その演算結果を出力画素値Ｍとして外部に出力する。
【１１５１】
次に、図１１０のフローチャートを参照して、３次元再積分手法を利用する画像生成部１０３（図１０９）の画像の生成の処理（図２９のステップＳ１０３の処理）について説明する。
【１１５２】
例えば、いま、上述した図２９のステップＳ１０２の処理で、実世界推測部１０２（図８９）が、入力画像のうちの、所定の画素を注目画素として、実世界１（図８９）の光信号を近似する近似関数ｆ（ｘ，ｙ，ｔ）を既に生成しているとする。
【１１５３】
また、上述した図２９のステップＳ１０１の処理で、データ定常性検出部１０１（図８９）が、実世界推定部１０２と同じ画素を注目画素として、データ定常性情報として、角度θまたは動きθを既に出力しているとする。
【１１５４】
この場合、図１１０のステップＳ３３０１において、条件設定部３３０１は、条件（次数と積分範囲）を設定する。
【１１５５】
ステップＳ３３０２において、特徴量記憶部３３０２は、実世界推定部１０２より供給された近似関数ｆ（ｘ，ｙ，ｔ）の特徴量ｗｉを取得し、特徴量テーブルを生成する。
【１１５６】
ステップＳ３３０３において、積分成分演算部３３０３は、条件設定部３３０１により設定された条件（次数および積分範囲）、並びにデータ定常性検出部１０１より供給されたデータ定常性情報（角度θまたは動きθ）に基づいて積分成分を演算し、積分成分テーブルを生成する。
【１１５７】
なお、ステップＳ３３０２の処理とステップＳ３３０３の処理の順序は、図１１０の例に限定されず、ステップＳ３３０３の処理が先に実行されてもよいし、ステップＳ３３０２の処理とステップＳ３３０３の処理が同時に実行されてもよい。
【１１５８】
次に、ステップＳ３３０４において、出力画素値演算部３３０４は、ステップＳ３３０２の処理で特徴量記憶部３３０２により生成された特徴量テーブルと、ステップＳ３３０３の処理で積分成分演算部３３０３により生成された積分成分テーブルに基づいて各出力画素値のそれぞれを演算する。
【１１５９】
ステップＳ３３０５において、出力画素値演算部３３０４は、全画素の処理を終了したか否かを判定する。
【１１６０】
ステップＳ３３０５において、全画素の処理がまだ終了されていないと判定された場合、処理はステップＳ３３０２に戻り、それ以降の処理が繰り返される。即ち、まだ注目画素とされない画素が、順次注目画素とされて、ステップＳ３３０２乃至Ｓ３３０４の処理が繰り返される。
【１１６１】
そして、全画素の処理が終了すると（ステップＳ３３０５において、全画素の処理が終了されたと判定すると）、出力画素値演算部３３０４は、ステップＳ３３０６において、画像を出力する。その後、画像の生成の処理は終了となる。
【１１６２】
このように、上述した式（１３５）において、その積分範囲は任意に設定可能であるので、３次元再積分手法においては、この積分範囲を適宜変えることで、元の画素（センサ２（図８９）からの入力画像の画素）に対して任意の倍率の解像度の画素を劣化することなく創造することが可能になる。
【１１６３】
即ち、３次元再積分手法においては、時間方向の積分範囲を適宜変えることで、時間解像度の創造が可能になる。また、空間方向の積分範囲を適宜変えることで、空間解像度の創造が可能になる。さらに、時間方向と空間方向の積分範囲のそれぞれを適宜変えることで、時間解像度と空間解像度の両方の創造が可能になる。
【１１６４】
具体的には、３次元再積分手法においては、２次元や１次元に落とすときの近似がないので精度の高い処理が可能になる。また、斜め方向の動きも２次元に縮退することなく処理することが可能になる。さらに、２次元に縮退していないので各次元の加工が可能になる。例えば、２次元再積分手法において、空間方向（Ｘ方向とＹ方向）に縮退している場合には時間方向であるｔ方向の加工ができなくなってしまう。これに対して、３次元再積分手法においては、時空間方向のいずれの加工も可能になる。
【１１６５】
なお、上述したように、時間解像度と空間解像度のうちのいずれか一方の創造は、１次元再積分手法でも可能であるが、両方の解像度の創造は、１次元再積分手法では原理上不可能であり、２次元以上の再積分を行うことではじめて可能になる。即ち、上述した２次元再積分手法と３次元再積分手法ではじめて、両方の解像度の創造が可能になる。
【１１６６】
また、３次元再積分手法は、１次元や２次元ではなく３次元の積分効果を考慮しているので、より実世界１（図８９）の光信号に近い画像を生成することも可能になる。
【１１６７】
次に、図３の信号処理装置４においては、データ定常性検出部１０１においてデータの定常性が検出され、実世界推定部１０２において、その定常性に基づき、実世界１の信号の波形の推定、即ち、例えば、Ｘ断面波形Ｆ（ｘ）を近似する近似関数が求められる。
【１１６８】
このように、信号処理装置４では、定常性に基づいて、実世界１の信号の波形の推定が行われるため、データ定常性検出部１０１で検出される定常性が誤っていたり、あるいは、その検出精度が悪い場合には、実世界１の信号の波形の推定精度も悪くなる。
【１１６９】
また、信号処理装置４では、ここでは、例えば、画像である、実世界１の信号が有する定常性に基づいて信号処理を行うため、実世界１の信号のうちの定常性が存在する部分に対しては、他の信号処理装置の信号処理に比べて、精度のよい信号処理を実行することができ、その結果、より実世界１の信号に対応する画像に近い画像を出力することが可能になる。
【１１７０】
しかしながら、信号処理装置４は、定常性に基づいて信号処理を実行する以上、実世界１の信号のうちの明確な定常性が存在しない部分に対しては、定常性が存在する部分に対する処理と同等の精度で、信号処理を実行することができず、その結果、実世界１の信号に対応する画像に対して誤差を含む画像を出力することになる。
【１１７１】
従って、信号処理装置４において実世界１の信号に対応する画像より近い画像を得るためには、信号処理装置４による信号処理の対象とする処理領域や、信号処理装置４で用いる定常性の精度などが問題となる。
【１１７２】
そこで、図１１１は、図１の信号処理装置４の他の一実施の形態の構成例を示している。
【１１７３】
図１１１では、信号処理装置４は、処理領域設定部１０００１、定常性設定部１０００２、実世界推定部１０００３、画像生成部１０００４、画像表示部１０００５、およびユーザＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０００６から構成されている。
【１１７４】
図１１１に構成を示す信号処理装置４には、データ３の一例である画像データ（入力画像）が、センサ２（図１）から入力され、その入力画像は、処理領域設定部１０００１、定常性設定部１０００２、実世界推定部１０００３、画像生成部１０００４、および画像表示部１０００５に供給される。
【１１７５】
処理領域設定部１０００１は、入力画像について、処理領域を設定し、その処理領域を特定する処理領域情報を、定常性設定部１０００２、実世界推定部１０００３、および画像生成部１０００４に供給する。
【１１７６】
定常性設定部１０００２は、処理領域設定部１０００１から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域の画像データにおいて欠落した実世界１の信号の定常性を設定し、その定常性を表す定常性情報を、実世界推定部１０００３および画像生成部１０００４に供給する。
【１１７７】
実世界推定部１０００３は、モデル生成部１００１１、方程式生成部１００１２、および実世界波形推定部１００１３から構成され、処理領域内の画像データから、対応する実世界１の信号の定常性に応じて、その実世界１の信号を推定する。
【１１７８】
即ち、モデル生成部１００１１は、処理領域設定部１０００１から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域を構成する画素と、その処理領域の画像データに対応する実世界１の信号の定常性に応じて、処理領域内の各画素の画素値と実世界１の信号との関係をモデル化したモデルとしての関数を生成し、方程式生成部１００１２に供給する。
【１１７９】
方程式生成部１００１２は、処理領域設定部１０００１から供給される処理領域情報から、入力画像における処理領域を認識する。さらに、方程式生成部１００１２は、その処理領域を構成する各画素の画素値を、モデル生成部１００１１から供給されるモデルとしての関数に代入し、これにより、方程式を生成して、実世界波形推定部１００１３に供給する。
【１１８０】
実世界波形推定部１００１３は、方程式生成部１００１２から供給される方程式を演算することにより、実世界１の信号の波形を推定する。即ち、実世界波形推定部１００１３は、方程式生成部１００１２から供給される方程式を解くことにより、実世界１の信号を近似する近似関数を求め、その近似関数を、実世界１の信号の波形の推定結果として、画像生成部１０００４に供給する。ここで、実世界１の信号を近似する近似関数には、引数の値にかかわらず、関数値が一定の関数も含まれる。
【１１８１】
画像生成部１０００４は、実世界推定部１０００３で推定された実世界１の信号の波形を表す近似関数と、定常性設定部１０００２から供給される定常性情報とに基づいて、実世界１の信号により近似した信号を生成する。即ち、画像生成部１０００４は、処理領域設定部１０００１から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、実世界推定部１０００３（の実世界波形推定部１００１３）から供給される近似関数と、定常性設定部１０００２から供給される定常性情報とに基づき、実世界１の信号に対応する画像により近似した画像データを生成する。
【１１８２】
さらに、画像生成部１０００４は、入力画像と、近似関数に基づいて生成した画像データ（以下、適宜、近似画像ともいう）とを合成し、入力画像の処理領域の部分を、近似画像に置き換えた画像を生成し、その画像を、出力画像として画像表示部１０００５に供給する。
【１１８３】
画像表示部１０００５は、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）で構成され、入力画像や、画像生成部１０００４から供給される出力画像を表示する。
【１１８４】
なお、画像表示部１０００５は、１または複数のＣＲＴやＬＣＤで構成することが可能である。画像表示部１０００５を１つのＣＲＴやＬＣＤで構成する場合には、その１つのＣＲＴやＬＣＤの画面を複数の画面に分割し、ある画面に入力画像を表示するとともに、他の画面に出力画像を表示するようにすることができる。さらに、画像表示部１０００５を複数のＣＲＴやＬＣＤで構成する場合には、ある１つのＣＲＴやＬＣＤに入力画像を表示するとともに、他のＣＲＴやＬＣＤに出力画像を表示するようにすることができる。
【１１８５】
また、画像表示部１０００５は、ユーザＩ／Ｆ１０００６の出力に応じて、各種の表示を行う。即ち、画像表示部１０００５は、例えば、カーソルを表示し、ユーザがカーソルを移動するようにユーザＩ／Ｆ１０００６を操作した場合、その操作に応じて、カーソルを移動させる。また、画像表示部１０００５は、例えば、ユーザが所定の範囲を選択するようにユーザＩ／Ｆ１０００６を操作した場合、その操作に応じて、画面上の選択された範囲を囲む枠を表示する。
【１１８６】
ユーザＩ／Ｆ１０００６は、ユーザによって操作され、そのユーザの操作に応じて、例えば、処理領域、定常性、または現実世界の信号のうちの少なくとも１つに関連する情報を、処理領域設定部１０００１、定常性設定部１０００２、または実世界推定部１０００３に供給する。
【１１８７】
即ち、ユーザは、画像表示部１０００５に表示された入力画像や出力画像を見て、その入力画像や出力画像に対する入力を与えるように、ユーザＩ／Ｆ１０００６を操作する。ユーザＩ／Ｆ１０００６は、ユーザの操作に応じて、処理領域、定常性、または現実世界の信号に関連する情報を、処理領域設定部１０００１、定常性設定部１０００２、または実世界推定部１０００３の処理を補助する補助情報として、処理領域設定部１０００１、定常性設定部１０００２、または実世界推定部１０００３に供給する。
【１１８８】
処理領域設定部１０００１、定常性設定部１０００２、または実世界推定部１０００３は、ユーザＩ／Ｆ１０００６から補助情報が供給された場合、その補助情報に基づき、処理領域の設定、定常性の設定、または実世界１の信号の推定を、それぞれ行う。
【１１８９】
但し、処理領域設定部１０００１、定常性設定部１０００２、または実世界推定部１０００３では、補助情報を用いずに、即ち、ユーザによって、ユーザＩ／Ｆ１０００６が操作されなくても、処理領域の設定、定常性の設定、または実世界１の信号の推定を、それぞれ行うことが可能である。
【１１９０】
具体的には、処理領域設定部１０００１では、図３０乃至図４８で説明したように、図３のデータ定常性検出部１０１における場合と同様にして、入力画像から、定常領域を検出し、例えば、その定常領域を囲む矩形（長方形）の領域を、処理領域として設定することができる。
【１１９１】
また、定常性設定部１０００２では、図４９乃至図５７で説明したように、図３のデータ定常性検出部１０１における場合と同様にして、入力画像から、データの定常性を検出し、そのデータの定常性に基づき、対応する実世界１の信号の定常性を設定すること、即ち、例えば、データの定常性を、そのまま実世界１の信号の定常性として設定することができる。
【１１９２】
さらに、実世界推定部１０００３では、図５８乃至図８８で説明したように、図３の実世界推定部１０２における場合と同様にして、処理領域設定部１０００１で設定された処理領域の画像データから、定常性設定部１０００２で設定された定常性に応じて、実世界１の信号を推定することができる。なお、図３では、実世界推定部１０２において、実世界１の信号の推定に、データの定常性を用いたが、実世界１の信号の推定には、データの定常性に代えて、対応する実世界１の信号の定常性を用いることができる。
【１１９３】
次に、図１１２のフローチャートを参照して、図１１１の信号処理装置４の処理について説明する。
【１１９４】
まず最初に、ステップＳ１０００１において、信号処理装置４は、前処理を行い、ステップＳ１０００２に進む。即ち、信号処理装置４は、センサ２（図１）からデータ３として供給される、例えば１フレームまたは１フィールドの入力画像を、処理領域設定部１０００１、定常性設定部１０００２、実世界推定部１０００３、画像生成部１０００４、および画像表示部１０００５に供給する。さらに、信号処理部４は、画像表示部１０００５に、入力画像を表示させる。
【１１９５】
ステップＳ１０００２では、ユーザＩ／Ｆ１０００６は、ユーザがユーザＩ／Ｆ１０００６を操作することにより、何らかのユーザ入力があったかどうかを判定する。ステップＳ１０００２において、ユーザ入力がなかったと判定された場合、即ち、ユーザが何らの操作も行わなかった場合、ステップＳ１０００３乃至Ｓ１０００５をスキップして、ステップＳ１０００６に進む。
【１１９６】
また、ステップＳ１０００２において、ユーザ入力があったと判定された場合、即ち、ユーザが、画像表示部１０００５に表示された入力画像を見て、ユーザＩ／Ｆ１０００６を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップＳ１０００３に進み、ユーザＩ／Ｆ１０００６は、そのユーザ入力が、信号処理装置４の処理の終了を指示する終了指示であるかどうかを判定する。
【１１９７】
ステップＳ１０００３において、ユーザ入力が終了指示であると判定された場合、信号処理装置４は処理を終了する。
【１１９８】
また、ステップＳ１０００３において、ユーザ入力が終了指示でないと判定された場合、ステップＳ１０００４に進み、ユーザＩ／Ｆ１０００６は、ユーザ入力が補助情報であるかどうかを判定する。ステップＳ１０００４において、ユーザ入力が補助情報でないと判定された場合、ステップＳ１０００５をスキップして、ステップＳ１０００６に進む。
【１１９９】
また、ステップＳ１０００４において、ユーザ入力が補助情報であると判定された場合、ステップＳ１０００５に進み、ユーザＩ／Ｆ１０００６は、その補助情報を、処理領域設定部１０００１、定常性設定部１０００２、または実世界推定部１０００６に供給し、ステップＳ１０００６に進む。
【１２００】
ステップＳ１０００６では、処理領域設定部１０００１は、入力画像について、処理領域を設定し、その処理領域を特定する処理領域情報を、定常性設定部１０００２、実世界推定部１０００３、および画像生成部１０００４に供給し、ステップＳ１０００７に進む。ここで、処理領域設定部１０００１は、直前に行われたステップＳ１０００５においてユーザＩ／Ｆ１０００６から補助情報が供給された場合は、その補助情報を用いて、処理領域の設定を行う。
【１２０１】
ステップＳ１０００７では、定常性設定部１０００２は、処理領域設定部１０００１から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部１０００２は、その処理領域の画像データにおいて欠落した実世界１の信号の定常性を設定し、その定常性を表す定常性情報を、実世界推定部１０００３に供給して、ステップＳ１０００８に進む。ここで、定常性設定部１０００２は、直前に行われたステップＳ１０００５においてユーザＩ／Ｆ１０００６から補助情報が供給された場合は、その補助情報を用いて、定常性の設定を行う。
【１２０２】
ステップＳ１０００８では、実世界推定部１０００３は、入力画像における処理領域内の画像データについて、対応する実世界１の信号の定常性に応じて、その実世界１の信号を推定する。
【１２０３】
即ち、実世界推定部１０００３では、モデル生成部１００１１が、処理領域設定部１０００１から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部１０００２から供給される定常性情報から、処理領域の画像データに対応する実世界１の信号の定常性を認識する。さらに、モデル生成部１００１１は、入力画像における処理領域を構成する画素と、その処理領域の画像データに対応する実世界１の信号の定常性に応じて、処理領域内の各画素の画素値と実世界１の信号との関係をモデル化したモデルとしての関数を生成し、方程式生成部１００１２に供給する。
【１２０４】
方程式生成部１００１２は、処理領域設定部１０００１から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域を構成する入力画像の各画素の画素値を、モデル生成部１００１１から供給されるモデルとしての関数に代入し、これにより、実世界１の信号を近似する近似関数を求める方程式を生成して、実世界波形推定部１００１３に供給する。
【１２０５】
実世界波形推定部１００１３は、方程式生成部１００１２から供給される方程式を演算することにより、実世界１の信号の波形を推定する。即ち、実世界波形推定部１００１３は、方程式生成部１００１２から供給される方程式を解くことにより、実世界１の信号をモデル化したモデルとしての近似関数を求め、その近似関数を、実世界１の信号の波形の推定結果として、画像生成部１０００４に供給する。
【１２０６】
なお、実世界推定部１０００３においては、モデル生成部１００１１および方程式生成部１００１２は、直前に行われたステップＳ１０００５においてユーザＩ／Ｆ１０００６から補助情報が供給された場合は、その補助情報を用いて、処理を行う。
【１２０７】
ステップＳ１０００８の処理後は、ステップＳ１０００９に進み、画像生成部１０００４は、実世界推定部１０００３（の実世界波形推定部１００１３）から供給された、実世界１の信号の波形を近似する近似関数に基づいて、実世界１の信号により近似した信号を生成する。即ち、画像生成部１０００４は、処理領域設定部１０００１から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、実世界推定部１０００３から供給された近似関数に基づき、実世界１の信号に対応する画像により近似した画像データである近似画像を生成する。さらに、画像生成部１０００４は、入力画像の処理領域の部分を近似画像に置き換えた画像を、出力画像として生成し、画像表示部１０００５に供給して、ステップＳ１０００９からＳ１００１０に進む。
【１２０８】
ステップＳ１００１０では、画像表示部１０００５は、画像生成部１０００４から供給された出力画像を、ステップＳ１０００１で表示された入力画像に代えて、またはその入力画像とともに表示し、ステップＳ１００１１に進む。
【１２０９】
ステップＳ１００１１では、ユーザＩ／Ｆ１０００６は、ステップＳ１０００２における場合と同様に、ユーザがユーザＩ／Ｆ１０００６を操作することにより、何らかのユーザ入力があったかどうかを判定し、ユーザ入力がなかったと判定した場合、即ち、ユーザが何らの操作も行わなかった場合、ステップＳ１００１１に戻り、何らかのユーザ入力があるまで待つ。
【１２１０】
また、ステップＳ１００１１において、ユーザ入力があったと判定された場合、即ち、ユーザが、画像表示部１０００５に表示された入力画像や出力画像を見て、ユーザＩ／Ｆ１０００６を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップＳ１００１２に進み、ユーザＩ／Ｆ１０００６は、そのユーザ入力が、信号処理装置４の処理の終了を指示する終了指示であるかどうかを判定する。
【１２１１】
ステップＳ１００１２において、ユーザ入力が終了指示であると判定された場合、信号処理装置４は処理を終了する。
【１２１２】
また、ステップＳ１００１２において、ユーザ入力が終了指示でないと判定された場合、ステップＳ１００１３に進み、ユーザＩ／Ｆ１０００６は、ユーザ入力が補助情報であるかどうかを判定する。ステップＳ１００１３において、ユーザ入力が補助情報でないと判定された場合、ステップＳ１００１１に戻り、以下、同様の処理が繰り返される。
【１２１３】
また、ステップＳ１００１３において、ユーザ入力が補助情報であると判定された場合、ステップＳ１０００５に戻り、上述したように、ユーザＩ／Ｆ１０００６は、その補助情報を、処理領域設定部１０００１、定常性設定部１０００２、または実世界推定部１０００６に供給する。そして、ステップＳ１０００５からＳ１０００６に進み、以下、同様の処理が繰り返される。
【１２１４】
以上のように、図１１１の信号処理装置４によれば、ユーザの操作に応じて、処理領域設定部１０００１、定常性設定部１０００２、または実世界推定部１０００３の処理を補助する補助情報を、ユーザＩ／Ｆ１０００６から処理領域設定部１０００１、定常性設定部１０００２、または実世界推定部１０００３に供給し、処理領域設定部１０００１、定常性設定部１０００２、または実世界推定部１０００３において、ユーザＩ／Ｆ１０００６からの補助情報に基づき、処理領域の設定、定常性の設定、または実世界１の信号の推定を行うので、処理領域設定部１０００１、定常性設定部１０００２、または実世界推定部１０００３の処理精度を向上させ、例えば、ユーザの好みにあった、高画質の出力画像を得ることが可能となる。
【１２１５】
次に、図１１１に示した信号処理装置４の各種の応用例について説明する。
【１２１６】
図１１３は、図１１１に示した信号処理装置４の応用例の一実施の形態の構成例を示している。
【１２１７】
図１１３において、処理領域設定部１７００１、定常性設定部１７００２、実世界推定部１７００３、画像生成部１７００４、画像表示部１７００５、ユーザＩ／Ｆ１７００６は、図１１１の処理領域設定部１０００１、定常性設定部１０００２、実世界推定部１０００３、画像生成部１０００４、画像表示部１０００５、ユーザＩ／Ｆ１０００６にそれぞれ対応しており、基本的には、処理領域設定部１０００１、定常性設定部１０００２、実世界推定部１０００３、画像生成部１０００４、画像表示部１０００５、ユーザＩ／Ｆ１０００６それぞれと同様の処理を行う。さらに、図１１３において、実世界推定部１７００３は、モデル生成部１７０１１、方程式生成部１７０１２、実世界波形推定部１７０１３で構成されている。モデル生成部１７０１１、方程式生成部１７０１２、実世界波形推定部１７０１３は、図１１１のモデル生成部１００１１、方程式生成部１００１２、実世界波形推定部１００１３にそれぞれ対応しており、基本的には、モデル生成部１００１１、方程式生成部１００１２、実世界波形推定部１００１３それぞれと同様の処理を行う。
【１２１８】
但し、図１１３においては、実世界推定部１７００３は、近似関数ｆとして、スプライン関数を用いるようになっている。
【１２１９】
ここで、図１１３は、図１に示した信号処理装置４の構成例の１つを示すが、図１においては、例えば、イメージセンサとしてのセンサ２において、それぞれ時空間積分効果を有する複数の画素に実世界１の光信号が射影され、即ち、３次元の実世界１が、２次元のイメージセンサとしてのセンサ２に射影され、その射影によって、実世界１の光信号の定常性の一部が欠落した画像データが、センサ２から信号処理装置４に対して、データ３として供給される。
【１２２０】
センサ２から信号処理装置４に対して供給されるデータ３としての画像データにおいては、実世界１の光信号の定常性の一部が欠落し、何らかの歪みが存在する。信号処理装置４では、その歪みを有する画像データに対する信号処理が行われる。
【１２２１】
図１１４は、歪みを有する画像データに対して行われる信号処理の種類（カテゴリ）を示している。
【１２２２】
歪みを有する画像データに対して行われる信号処理の種類としては、大きく分けて、「歪みの検出」、「歪みの除去」、「有意情報の抽出」、および「歪みを考慮した信号処理」がある。
【１２２３】
「歪みの検出」に含まれる処理としては、例えば、画像データから、歪みを有する領域を特定する領域特定（抽出）処理などがある。「歪みの除去」に含まれる処理としては、例えば、画像データから前景と背景とを、両者が混じわっていない状態に分離する前景背景分離処理や、歪みとしての動きボケを除去する動きボケの除去処理などがある。「有意情報の抽出」に含まれる処理としては、例えば、画像データから有意情報としての動きベクトルを抽出する処理や、図２５で説明した混合比を推定する処理などがある。「歪みを考慮した信号処理」に含まれる処理としては、例えば、上述したクラス分類適応処理や、フレーム間にフレームを挿入し、フレームレートを２倍にするフレーム２倍速処理などがある。
【１２２４】
図１１３の信号処理装置４では、図１１４に示した「歪みの検出」、「歪みの除去」、「有意情報の抽出」、「歪みを考慮した信号処理」のうちの、例えば、「歪みの除去」に分類される信号処理を行う。なお、ここでは、図１１３の信号処理装置４は、「歪みの除去」に分類される信号処理のうちの、例えば動きボケを除去する処理などを行うものとする。
【１２２５】
図１１３の信号処理装置４においては、ユーザがユーザＩ／Ｆ１７００６を操作することにより補助情報を入力することができる。そして、処理領域設定部１７００１、定常性設定部１７００２、および実世界推定部１７００３は、ユーザがユーザＩ／Ｆ１７００６を操作することにより補助情報の入力があった場合には、その補助情報に基づいて処理を行うことができる。さらに、補助情報の入力がない場合には（さらには、補助情報の入力があった場合であっても）、処理領域設定部１７００１、定常性設定部１７００２、および実世界推定部１７００３は、補助情報なしで処理を行うことができる。
【１２２６】
そこで、まず、処理領域設定部１７００１、定常性設定部１７００２、および実世界推定部１７００３が、補助情報なしで処理を行う場合の、図１１３の信号処理装置４の処理について説明する。
【１２２７】
即ち、図１１５は、処理領域設定部１７００１、定常性設定部１７００２、および実世界推定部１７００３が、補助情報なしで処理を行う場合の、図１１３の信号処理装置４の処理を説明するフローチャートである。
【１２２８】
図１１３の信号処理装置４では、定常性に基づいて、実世界が推定され、これにより、センサ２の時間積分効果による、物体の信号の時間方向の混合（時間混合）によって生じる動きボケを除去する処理などが行われる。
【１２２９】
即ち、実世界１において、自動車などのオブジェクトが移動している画像を、イメージセンサであるセンサ２で撮像した場合に得られる入力画像においては、オブジェクトが時間経過とともに移動するため、センサ２の時間積分効果によって、そのオブジェクトの光信号と、そのオブジェクト以外の部分の光信号とが混合（時間混合）し、これにより、オブジェクトの境界部分などにおいて、いわゆる動きボケが生じる。図１１３の信号処理装置４では、このような時間混合によって生じた動きボケを入力画像から除去した高画質の出力画像が生成され、結果として、入力画像から動きボケを除去した出力画像が得られる。
【１２３０】
図１１３の信号処理装置４は、まず最初に、ステップＳ１７００１において、前処理を行い、ステップＳ１７００２に進む。即ち、信号処理装置４は、センサ２（図１）からデータ３として供給される、例えば１フレームまたは１フィールドの入力画像を、処理領域設定部１７００１、定常性設定部１７００２、実世界推定部１７００３、画像生成部１７００４、および画像表示部１７００５に供給する。さらに、信号処理部４は、画像表示部１７００５に、入力画像を表示させる。
【１２３１】
なお、ここでは、自動車などのオブジェクトが水平方向に一定速度で移動しているシーンを、センサ２で撮像することにより得られる、時間混合による動きボケが生じた画像が、入力画像として、信号処理装置４に入力されるものとする。
【１２３２】
ステップＳ１７００２では、処理領域設定部１７００１は、処理領域を設定し、その処理領域を表す処理領域情報を、定常性設定部１７００２、実世界推定部１７００３、および画像生成部１７００４に供給し、ステップＳ１７００３に進む。
【１２３３】
なお、ここでは、ステップＳ１７００２において、例えば、入力画像において、オブジェクトが水平方向に移動することによって動きボケが生じている部分を囲む矩形領域が、処理領域として設定されるものとする。
【１２３４】
ステップＳ１７００３では、定常性設定部１７００２は、処理領域設定部１７００１から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部１７００２は、その処理領域の画像データにおいて欠落した実世界１の信号の定常性を設定し、その定常性を表す定常性情報を、実世界推定部１７００３に供給して、ステップＳ１７００４に進む。
【１２３５】
なお、ここでは、入力画像に対応する実世界１の画像は、ある形状のオブジェクトが水平方向に一定速度で移動しているという定常性を有しており、ステップＳ１７００３においては、処理領域におけるオブジェクトの水平方向の動き量が、定常性情報として得られるものとする。
【１２３６】
ステップＳ１７００４では、実世界推定部１７００３は、入力画像における処理領域内の画像データについて、対応する実世界１の信号の定常性に応じて、その実世界１の信号を推定する。
【１２３７】
即ち、実世界推定部１７００３では、モデル生成部１７０１１が、処理領域設定部１７００１から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部１７００２から供給される定常性情報から、処理領域の画像データに対応する実世界１の信号の定常性（ここでは、動き量）を認識する。さらに、モデル生成部１７０１１は、入力画像における処理領域を構成する画素と、その処理領域の画像データに対応する実世界１の信号の定常性に応じて、処理領域内の各画素の画素値と実世界１の信号との関係をモデル化した関係モデルとしての関数を生成し、方程式生成部１７０１２に供給する。
【１２３８】
方程式生成部１７０１２は、処理領域設定部１７００１から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域を構成する画素について、モデル生成部１７０１１から供給される関係モデルとしての関数に、入力画像の必要な画素の画素値を代入し、これにより、実世界１の信号を近似する近似関数を求める方程式を生成して、実世界波形推定部１７０１３に供給する。
【１２３９】
なお、ここでは、近似関数として、例えば、スプライン関数が用いられる。
【１２４０】
実世界波形推定部１７０１３は、方程式生成部１７０１２から供給される方程式を解くことにより、実世界１の信号の波形を推定、即ち、実世界１の信号をモデル化した近似モデルとしての近似関数を求め、画像生成部１７００４に供給する。
【１２４１】
ステップＳ１７００４の処理後は、ステップＳ１７００５に進み、画像生成部１７００４は、実世界推定部１７００３（の実世界波形推定部１７０１３）から供給された近似関数に基づいて、実世界１の信号により近似した信号を生成する。即ち、画像生成部１７００４は、処理領域設定部１７００１から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、実世界推定部１７００３から供給された近似関数に基づき、実世界１の信号に対応する画像により近似した画像データである近似画像を生成する。さらに、画像生成部１７００４は、入力画像の処理領域の部分を、近似画像に置き換えた画像を、出力画像として生成し、画像表示部１７００５に供給して、ステップＳ１７００５からＳ１７００６に進む。
【１２４２】
ステップＳ１７００６では、画像表示部１７００５は、画像生成部１７００４から供給された出力画像を、ステップＳ１７００１で表示された入力画像に代えて、またはその入力画像とともに表示し、処理を終了する。
【１２４３】
次に、図１１６および図１１７を参照して、図１のセンサ２がイメージセンサである場合の空間的時間的な積分効果について説明する。
【１２４４】
イメージセンサは、現実世界の対象物（オブジェクト）を撮像し、撮像の結果として得られる画像データを１フレーム（またはフィールド）単位で出力する。すなわち、イメージセンサには、実世界１の対象物で反射された光である、実世界１の光信号が射影されるが、イメージセンサは、その射影結果を、データ３として出力する。
【１２４５】
例えば、イメージセンサは、１秒間に３０フレームからなる画像データを出力する。この場合、イメージセンサの露光時間（シャッタ時間）は、理論的には、１／３０秒以下の時間となる。
【１２４６】
図１１６は、イメージセンサ上の画素の配置の例を説明する図である。図１１６中において、Ａ乃至Ｉは、個々の画素を示す。画素は、画像データにより表示される画像に対応する平面上に配置されている。１つの画素に対応する１つの検出素子は、イメージセンサ上に配置されている。イメージセンサが実世界１の画像（光信号）を撮像するとき、１つの検出素子は、画像データを構成する１つの画素に対応する１つの画素値を出力する。例えば、検出素子の空間方向Ｘの位置（Ｘ座標）は、画像データにより表示される画像上の横方向の位置に対応し、検出素子の空間方向Ｙの位置（Ｙ座標）は、画像データにより表示される画像上の縦方向の位置に対応する。
【１２４７】
実世界１の光の強度の分布は、３次元の空間方向および時間方向に広がりを有するが、イメージセンサは、２次元の空間方向および時間方向で、実世界１の光信号を取得し、２次元の空間方向および時間方向の光の強度の分布を表現するデータ３を生成する。
【１２４８】
図１１７で示されるように、例えば、ＣＣＤである検出素子は、シャッタ時間ｔｓに対応する期間、受光面（受光領域）（検出領域）に入力された光を電荷に変換して、変換された電荷を蓄積する。光は、３次元の空間上の位置、および時刻により、強度が決定される実世界１の情報（信号）である。実世界１の光の強度の分布は、３次元の空間上の位置ｘ，ｙ、およびｚ、並びに時刻ｔを変数とする関数Ｆ（ｘ，ｙ，ｚ，ｔ）で表すことができる。
【１２４９】
ＣＣＤである検出素子に蓄積される電荷の量は、２次元の空間上の広がりを有する受光面の全体に入射された光の強さと、光が入射されている時間にほぼ比例する。検出素子は、シャッタ時間に対応する期間において、受光面の全体に入射された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャッタ時間ｔｓに対応する期間、２次元の空間上の広がりを有する受光面の全体に入射される光を積分して、積分された光に対応する量の電荷を蓄積する。従って、検出素子（画素）は、空間（受光面）および時間（シャッタ時間）に対して、積分効果がある。
【１２５０】
以上のように、検出素子は、蓄積した電荷に対応する画素値を、データ３として出力する。従って、イメージセンサから出力される個々の画素値は、実世界１の光信号の時間的空間的に広がりを有するある部分を、シャッタ時間の時間方向および検出素子の受光面の空間方向について積分した結果である。
【１２５１】
以上のような画素値からなる画像データ、即ち、イメージセンサが出力するデータ３としての画像データは、例えば、その特性により、背景領域、前景領域、混合領域の３つに分類することができる。
【１２５２】
即ち、例えば、いま、図１１８に示すように、イメージセンサによって、ある背景オブジェクトと、その背景オブジェクトよりもイメージセンサに近い位置にある前景オブジェクトとを撮像するケースを考える。なお、ここでは、イメージセンサから近いオブジェクトを前景オブジェクトと定義し、イメージセンサから遠いオブジェクトを背景オブジェクトと定義している。
【１２５３】
前景オブジェクトと背景オブジェクトのうちのいずれかが動いている場合、イメージセンサに射影される実世界１の光信号は、時間的に変化する。なお、図１１８では、背景オブジェクトは静止しており、前景オブジェクトは水平方向（左から右方向）に一定速度で移動している。
【１２５４】
イメージセンサに射影される実世界１の光信号が、時間的に変化する場合、上述したイメージセンサの積分効果（時間的な積分効果）により歪みが生じる。即ち、図１１８では、背景オブジェクトが静止し、前景オブジェクトが動いているので、イメージセンサの受光面の領域において、露光時間（例えば、１／３０秒や１／６０秒など）の中で、前景オブジェクトまたは背景オブジェクトのうちの一方に対応する光信号が射影された状態から、他方に対応する光信号が射影された状態となる領域が生じる。つまり、前景オブジェクトまたは背景オブジェクトのうちの一方に対応する光信号と、他方に対応する光信号とが混ざり合って積分されるイメージセンサの領域（画素）がある。このような領域を、混合領域と定義する。また、イメージセンサの領域のうちの、前景オブジェクトが射影された領域から混合領域を除いた部分を、前景領域と定義するとともに、イメージセンサのうちの背景オブジェクトが射影された領域から混合領域を除いた部分を、背景領域と定義する。
【１２５５】
図１１９は、前景領域、背景領域、および混合領域を示している。
【１２５６】
図１１９において、上側の図は、水平方向をイメージセンサの水平方向（ｘ方向）とするとともに、垂直方向をイメージセンサの垂直方向（ｙ方向）として、イメージセンサにおいて得られる画像データを示しており、下側の図は、水平方向をイメージセンサの水平方向（ｘ方向）とするとともに、垂直方向を時間方向（ｔ方向）として、イメージセンサにチャージ（蓄積）される電荷を示している。
【１２５７】
イメージセンサにおいて、上述したような、静止している背景オブジェクトと、水平方向に移動している前景オブジェクトに対応する実世界１の光信号が受光されると、有限の時間である露光時間において、イメージセンサの受光面の一部の領域は、前景オブジェクトに対応する光信号だけが射影された状態となり、他の一部の領域は、背景オブジェクトに対応する光信号だけが射影された状態となり、残りの領域は、前景オブジェクトまたは背景オブジェクトのうちの一方に対応する光信号が射影された状態から、他方に対応する光信号が射影された状態となる。
【１２５８】
いま、イメージセンサにおいて、前景オブジェクトに対応する光信号だけによってチャージされる電荷を、前景成分と呼ぶとともに、背景オブジェクトに対応する光信号だけによってチャージされる電荷を、背景成分と呼ぶこととすると、イメージセンサから得られる画像データにおいては、画素値が前景成分または背景成分のうちのいずれか一方だけを有する領域と、その両方の成分を有する領域とが生じる。
【１２５９】
前景領域は、画素値が前景成分だけを有する領域であり、背景領域は、画素値が背景成分だけを有する領域である。そして、混合領域は、画素値が前景成分と背景成分の両方を有する領域である。前景領域と混合領域は、動いている前景オブジェクトに対応する実世界１の光信号が射影された領域であり、そこには、上述したイメージセンサの積分効果により、歪が生じる。いまの場合、この歪みは、動きボケとして現れる。
【１２６０】
次に、図１２０は、上述のようなイメージセンサの積分効果によって、画像データに生じる歪みとしての動きボケを除去する場合の、図１１３の信号処理装置４と等価な装置の構成例を示している。
【１２６１】
即ち、図１２０は、イメージセンサの積分効果によって動きボケが生じている画像データである入力画像から前景成分と背景成分とを分離し、その前景成分を処理することによって動きボケのない前景オブジェクトの画像を生成することにより、結果として、入力画像から動きボケを除去した画像を得る信号処理を行う場合の、図１１３の信号処理装置４の機能的構成例を示している。
【１２６２】
図１２０において、信号処理装置４は、領域特定部１７０３１、動きボケ調整量出力部１７０３２、前景背景分離部１７０３３、処理単位決定部１７０３４、動きボケ調整部１７０３５、および画像表示部１７０３６から構成されている。領域特定部１７０３１は図１１３の処理領域設定部１７００１に、動きボケ調整量出力部１７０３２は図１１３の定常性設定部１７００２に、前景背景分離部１７０３３、処理単位決定部１７０３４、および動きボケ調整部１７０３５は、図１１３の実世界推定部１７００３および画像生成部１７００４に、画像表示部１７０３６は図１１３の画像表示部１７００５に、それぞれ対応する。
【１２６３】
図１２０の信号処理装置４では、動きボケを有する入力画像が、領域特定部１７０３１と前景背景分離部１７０３３に供給される。
【１２６４】
領域特定部１７０３１は、そこに供給される入力画像について、図１１９で説明した前景領域、背景領域、混合領域を特定し、その前景領域、背景領域、混合領域を特定する情報を、処理領域情報として、前景背景分離部１７０３３および処理単位決定部１７０３４に供給する。
【１２６５】
動きボケ調整量出力部１７０３２は、入力画像における前景オブジェクトの動きを表す動きベクトルを、定常性情報として、動きボケ調整部１７０３５に供給する。なお、ここでは、前景オブジェクトは、上述したように、水平方向（例えば、左から右方向）に一定速度で移動しているものとし、動きボケ調整量出力部１７０３２は、イメージセンサの露光時間あたりの動き量を、定常性情報として、動きボケ調整部１７０３５に供給するものとする。
【１２６６】
前景背景分離部１７０３３は、領域特定部１７０３１から供給される処理領域情報に基づいて、そこに供給される入力画像から前景成分と背景成分とを分離し、前景成分を、動きボケ調整部１７０３５に供給する。
【１２６７】
処理単位決定部１７０３４は、領域特定部１７０３１から供給される処理領域情報によって特定される前景領域と混合領域から、動きボケ調整部１７０３５において動きボケを除去する処理を施す単位となる処理単位を決定し、その処理単位を表す処理単位情報を、動きボケ調整部１７０３５に供給する。
【１２６８】
動きボケ調整部１７０３５は、動きボケ調整量出力部１７０３２から供給される動き量と、前景背景分離部１７０３３から供給される前景成分とを用い、処理単位決定部１７０３４から供給される処理単位情報が表す処理単位ごとに、後述する処理を施すことにより、動きボケのない前景オブジェクトの画像を生成し、画像表示部１７０３６に供給する。画像表示部１７０３６は、動きボケ調整部１７０３５から供給される画像を表示する。
【１２６９】
次に、図１７００９のフローチャートを参照して、図１７００８の信号処理装置４による処理（動きボケ除去処理）について説明する。
【１２７０】
動きボケを有する入力画像が、領域特定部１７０３１と前景背景分離部１７０３３に供給されると、ステップＳ１７０２１において、領域特定部１７０３１は、そこに供給される入力画像の前景領域、背景領域、混合領域を特定し、その前景領域、背景領域、混合領域を特定する情報を、処理領域情報として、前景背景分離部１７０３３および処理単位決定部１７０３４に供給する。さらに、ステップＳ１７０２１では、動きボケ調整量出力部１７０３２は、入力画像における前景オブジェクトの水平方向の動きの大きさを表す動き量を設定（検出）し、定常性情報として、動きボケ調整部１７０３５に供給する。
【１２７１】
そして、ステップＳ１７０２１からＳ１７０２２に進み、前景背景分離部１７０３３は、領域特定部１７０３１から供給される処理領域情報に基づいて、そこに供給される入力画像から前景成分と背景成分とを分離する。即ち、前景背景分離部１７０３３は、処理領域情報に基づいて、図１２２に示すように、入力画像の前景領域、背景領域、および混合領域を認識する。
【１２７２】
ここで、図１２２は、図１１９と同様に、入力画像における前景領域、背景領域、および混合領域を示している。即ち、図１２２において、右側の図は、図１１９の上側の図と同様に、水平方向をイメージセンサの水平方向（ｘ方向）とするとともに、垂直方向をイメージセンサの垂直方向（ｙ方向）として、イメージセンサにおいて得られる入力画像としての画像データを示しており、左側の図は、図１１９の下側の図と同様に、水平方向をイメージセンサの水平方向（ｘ方向）とするとともに、垂直方向を時間方向（ｔ方向）として、イメージセンサにチャージ（蓄積）される電荷を示している。後述する図１２３においても同様である。
【１２７３】
ステップＳ１７０２２において、前景背景分離部１７０３３は、入力画像の前景領域、背景領域、および混合領域を認識すると、入力画像から、前景領域、背景領域、および混合領域を分離し、さらに、図１２３に示すように、前景領域および混合領域から、前景成分のみを分離して、動きボケ調整部１７０３５に供給する。
【１２７４】
即ち、前景背景分離部１７０３３は、混合領域から、前景成分を分離し、その前景成分と、前景領域における前景成分とを、動きボケ調整部１７０３５に供給する。
【１２７５】
なお、ここでは、ステップＳ１７０２１における入力画像の前景領域、背景領域、混合領域の特定、およびステップＳ１７０２２における入力画像からの前景成分のみの分離は、任意の方法によって行うことができるものとする。
【１２７６】
その後、ステップＳ１７０２２からＳ１７０２３に進み、処理単位決定部１７０３４は、領域特定部１７０３１から供給される処理領域情報によって特定される前景領域と混合領域から、処理単位を決定し、その処理単位を表す処理単位情報を、動きボケ調整部１７０３５に供給する。
【１２７７】
即ち、処理単位決定部１７０３４は、入力画像における前景領域と混合領域の全体の領域において、例えば、前景オブジェクトの動き方向（ここでは水平方向）に並ぶ１ラインの画素（列）のうち、まだ処理単位としていない任意の１ラインの画素を、処理単位として決定する。従って、ここでは、入力画像における前景領域と混合領域の全体の領域における、水平方向の任意の１ラインが処理単位とされる。
【１２７８】
そして、処理単位決定部１７０３４は、その処理単位を表す処理単位情報を、動きボケ調整部１７０３５に供給し、ステップＳ１７０２３からＳ１７０２４に進む。
【１２７９】
ステップＳ１７０２４では、動きボケ調整部１７０３５は、動きボケ調整量出力部１７０３２から供給される動き量と、前景背景分離部１７０３３から供給される前景成分とを用い、処理単位決定部１７０３４から供給される処理単位情報が表す処理単位を対象に処理を行うことにより、その処理単位について、動きボケのない前景オブジェクトの画像を生成して、ステップＳ１７０２５に進む。
【１２８０】
ステップＳ１７０２５では、処理単位決定部１７０３４は、入力画像における前景領域と混合領域の全体の領域における水平方向のラインすべてを、処理単位としたかどうかを判定する。ステップＳ１７０２５では、入力画像における前景領域と混合領域の全体の領域における水平方向のラインすべてを、まだ、処理単位としていないと判定された場合、ステップＳ１７０２３に戻り、処理単位決定部１７０３４は、入力画像における前景領域と混合領域の全体の領域における水平方向のラインのうちの、まだ処理単位としていない任意の１ラインを、処理単位として決定し、以下、同様の処理を繰り返す。
【１２８１】
一方、ステップＳ１７０２５において、入力画像における前景領域と混合領域の全体の領域における水平方向のラインすべてを、処理単位としたと判定された場合、即ち、動きボケ調整部１７０３５において、入力画像における前景領域と混合領域の全体の領域における水平方向のすべてラインについて処理が行われ、これにより、動きボケのない前景オブジェクトの画像が生成された場合、動きボケ調整部１７０３５は、その動きボケのない前景オブジェクトの画像を、画像表示部１７０３６に供給して表示させ、処理を終了する。
【１２８２】
次に、図１２０の動きボケ調整部１７０３５の処理について説明する。
【１２８３】
動きボケ調整部１７０３５は、それぞれ時空間積分効果を有する複数の画素からなるイメージセンサに実世界１の光信号が射影され、実世界１の光信号の定常性の一部が欠落した入力画像の時空間方向のうちの少なくとも１次元方向の位置に対応する各画素の画素値は、スプライン関数で近似した実世界１の光信号に対応する光信号関数（実世界関数）Ｆを少なくとも１次元方向に積分することにより取得された画素値であるとして、光信号関数Ｆを推定し、その光信号関数Ｆ（の推定結果）を少なくとも１次元方向に所定単位で積分することにより、動きボケのない画像を生成する。
【１２８４】
即ち、動きボケ調整部１７０３５は、移動している前景オブジェクトによって動きボケが生じている入力画像の空間方向のうちの所定の１次元方向としての、例えばｘ方向の位置に対応する各画素の画素値は、スプライン関数で近似した実世界１の光信号に対応する光信号関数Ｆが、前景オブジェクトの動きを表す動きベクトルに対応して時間方向に位相シフトしながら移動する物理モデルを、ｘ方向および時間方向に積分することにより取得された画素値であるとして、光信号関数Ｆを推定し、その光信号関数Ｆの推定結果である、光信号関数Ｆを近似する近似モデルとしてのスプライン関数を、ｘ方向および時間方向に、所定の単位で積分することにより、入力画像内の前景オブジェクトの動きボケを除去した画素値でなる画像を生成する。
【１２８５】
そこで、まず、動きボケ調整部１７０３５における光信号関数Ｆの推定方法について説明する。
【１２８６】
動きボケ調整部１７０３５は、ここでは、例えば、上述したように、水平方向（ｘ方向）に並ぶ画素を処理単位として処理を行う。
【１２８７】
いま、処理単位を、ｘ方向に並ぶＮ＋１画素とし、その処理単位に射影される実世界１の光信号に対応する光信号関数Ｆの、ある時刻における、ある垂直方向の位置の波形（Ｘ断面波形）Ｆ（ｘ）を、図１２４に示すような連続波形である、例えば、３次のスプライン関数で近似することとする。
【１２８８】
ここで、図１２４は、水平方向を処理単位の幅方向（入力画像のｘ方向）とするとともに、垂直方向をレベルとして、処理単位に射影される実世界１の光信号に対応する光信号関数Ｆ（ｘ）を近似する近似関数としての３次のスプライン関数（の値）を表している。
【１２８９】
いま、図１２４に示すように、処理単位の左端の画素のｘ方向の中心位置の座標をｘ＝０とするとともに、１画素のｘ方向の長さを１とする。また、ｘ方向に並ぶＮ＋１画素からなる処理単位の、左からｋ番目の画素＃ｋ−１（ｋ＝１，２，・・・，Ｎ＋１）のｘ方向の中心位置から、その右隣の画素＃ｋのｘ方向の中心位置までに射影される実世界１の光信号に対応する光信号関数Ｆを近似する近似関数である３次のスプライン関数を、Ｃｋ（ｘ）と表す。さらに、そのスプライン関数Ｃｋ（ｘ）が、画素＃ｋ−１のｘ方向の中心位置でとる値をｙｋ−１と表す。なお、スプライン関数Ｃｋ（ｘ）におけるサフィックスｋは、ｋ＝１，２，・・・，Ｎである。
【１２９０】
この場合、スプライン関数Ｃｋ（ｘ）は、式（１３７）で表される。
【１２９１】
【数１３７】
2005018519.tif 000275
2005018519.tif 000276
【１２９２】
但し、式（１３７）において、Ｍｋとｙｋは、次式で表される。
【１２９３】
【数１３８】
2005018519.tif 000277
2005018519.tif 000278
【１２９４】
式（１３７）のスプライン関数Ｃｋ（ｘ）は、Ｎ＋１個の変数ｙ０，ｙ１，・・・，ｙＮで定義される。従って、式（１３７）のスプライン関数Ｃｋ（ｘ）は、Ｎ＋１個の変数ｙ０乃至ｙＮを求めることで得ることができる。
【１２９５】
そこで、Ｎ＋１個の変数ｙ０乃至ｙＮを求めるために、図１２５に示す物理モデルを考える。
【１２９６】
即ち、図１２５は、スプライン関数Ｃｋ（ｘ）で近似される光信号関数Ｆ（ｘ）で表される光信号が、イメージセンサの露光時間の間に、動き量ｖだけ連続的に水平方向（ｘ方向）に移動（位相シフト）しながら、処理単位の画素に射影され、その画素に電荷がチャージされること、つまり、ｘ方向および時間方向に積分されることによって画像が得られるという物理モデルを表している。
【１２９７】
ここで、図１２５の左側の図は、図１２４における場合と同様の、光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）を示している。また、図１２５の右側の図は、横方向をイメージセンサの水平方向（処理単位の画素が並ぶｘ方向）とし、手前方向を露光時間とするとともに、縦方向をレベルとして、光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）のレベルを示している。
【１２９８】
図１２５に示した物理モデルによれば、光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）が、イメージセンサの露光時間の間に、動き量ｖだけ連続的に水平方向（ｘ方向）に移動（位相シフト）することによって得られる軌跡としての曲面（モデル）を、時間方向に、露光時間の間だけ積分するとともに、ｘ方向に、処理単位の画素＃ｋのｘ方向の長さだけ積分することにより、その画素＃ｋの画素値Ｙｋが得られる。
【１２９９】
図１２５の物理モデルでは、露光時間の間に、光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）が連続的に移動するので、この物理モデルによって画素値Ｙｋが得られる画素＃ｋでは、イメージセンサの時間積分効果による、物体の信号の時間方向の混合（時間混合）が生じる。さらに、画素＃ｋでは、イメージセンサの空間積分効果による、物体の信号の空間方向の混合（空間混合）も生じる。従って、図１２５の物理モデルでは、時間混合および空間混合の両方が考慮されている。
【１３００】
動きボケ調整部１７０３５は、処理単位の画素＃ｋの画素値Ｙｋを用い、図１２５の物理モデルに基づき、光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）（を規定する変数ｙｋ）を、光信号関数Ｆ（ｘ）の推定値として求める。
【１３０１】
なお、ここでは、イメージセンサにおいて露光が開始されるときの、処理単位以外に射影される光信号関数Ｆ（ｘ）の値は、例えば一定値であるとする。
【１３０２】
即ち、上述したように、光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）が、画素＃ｋのｘ方向の中心位置でとる値はｙｋで表される。また、いまの場合、処理単位の左端の画素のｘ方向の中心位置の座標はｘ＝０であり、画素のｘ方向の長さは１である。従って、ｘ＝ｋの位置のスプライン関数Ｃｋ（ｘ）の値は、ｙｋで表される。ここでは、ｘ＜０の範囲では、光信号関数Ｆ（ｘ）を近似するスプライン関数の値は、ｙ０（＝Ｃ１（０））で一定であり、また、ｘ＞Ｎの範囲では、光信号関数Ｆ（ｘ）を近似するスプライン関数の値は、ｙＮ（＝ＣＮ（Ｎ））で一定であるとする。
【１３０３】
ここで、上述のように、イメージセンサにおいて露光が開始されるときの、処理単位以外の領域（厳密には、ｘ＜０とｘ＞Ｎの領域）に射影される光信号関数Ｆ（ｘ）の値は一定値であるとする仮定を、フラット仮定という。なお、フラット仮定は必須ではない。即ち、イメージセンサにおいて露光が開始されるときの、処理単位以外に射影される光信号関数Ｆ（ｘ）の値は、一定値とする他、例えば、スプライン関数で近似すること等が可能である。
【１３０４】
また、以下においては、説明を簡単にするため、露光時間を１とする。
【１３０５】
次に、処理単位の画素＃ｋの画素値Ｙｋを用い、図１２５の物理モデルに基づき、光信号関数Ｆ（ｘ）を推定する方法、即ち、光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）を求める方法について説明する。
【１３０６】
まず、処理単位のあるｘ方向の範囲を、始点をαとするとともに、終点をβとして、範囲（α，β）と表す。
【１３０７】
光信号関数Ｆ（ｘ）が移動せずに静止している場合、範囲（α，β）に、スプライン関数Ｃｋ（ｘ）により近似される光信号関数Ｆ（ｘ）に対応する光信号が射影されることにより、その範囲（α，β）の領域において露光時間にチャージされる電荷によって得られる画素値ｚは、スプライン関数Ｃｋ（ｘ）を、範囲（α，β）で積分した積分値として、次式で表すことができる。但し、ここでは、露光時間を１とする。
【１３０８】
【数１３９】
2005018519.tif 000279
2005018519.tif 000280
【１３０９】
但し、行列Ａを、式（１４０）に示すように定義すると、式（１３９）におけるＭｋは、式（１４１）で表される。
【１３１０】
【数１４０】
2005018519.tif 000281
2005018519.tif 000282
【１３１１】
【数１４１】
2005018519.tif 000283
2005018519.tif 000284
【１３１２】
次に、図１２５に示したように、光信号関数Ｆ（ｘ）が、露光時間においてｘ方向（ここでは、例えば、左から右方向）に、ｖ画素分だけ等速で移動する場合、処理単位の画素＃ｋにおいて露光時間にチャージされる電荷となる光信号関数Ｆ（ｘ）の範囲は、図１２６に斜線で示すように表すことができる。
【１３１３】
即ち、図１２６は、横方向を処理単位の画素が並ぶｘ方向とし、手前方向を露光時間とするとともに、縦方向をレベルとして、光信号関数Ｆ（ｘ）のレベルを示している。
【１３１４】
いま、説明を簡単にするために、図１２６において、処理単位の各画素＃ｋのｘ方向の中心位置（ｘ＝ｋ）における、光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）の値ｙｋだけに注目する。
【１３１５】
光信号関数Ｆ（ｘ）は、１である露光時間の間に、左から右方向に、ｖ画素分（以下、適宜、動き量ｖという）だけ等速で移動する。従って、画素＃ｋに対しては、図１２６に示すように、露光の開始時には、値ｙｋの光信号が射影され、その後、光信号関数Ｆ（ｘ）が左から右に移動することにより、左隣の画素＃ｋ−１に射影されていた値ｙｋ−１の光信号が射影される。さらに時間の経過に伴い、光信号関数Ｆ（ｘ）が左から右に移動することにより、画素＃ｋに対して、さらに左の画素＃ｋ−２に射影されていた値ｙｋ−２の光信号が射影され、以下、同様にして、時間の経過に伴う光信号関数Ｆ（ｘ）の移動によって、より左の画素に射影されていた光信号が、画素＃ｋに射影される。
【１３１６】
図１２６において、点線は、値ｙｋの光信号が、露光時間の間に、動き量ｖだけ等速で移動するときの軌跡を表している。また、図１２６において、斜線を付してある平行四辺形は、露光時間の間に、画素＃ｋに射影される光信号の範囲、即ち、画素＃ｋにおいて、露光時間の間に行われる光信号のｘ方向と時間方向の積分の範囲（積分範囲）を表している。
【１３１７】
画素＃ｋの画素値Ｙｋは、その画素＃ｋの左端（ｘ＝ｋ−０．５）から、その右端（ｘ＝ｋ＋０．５）までの範囲に、露光時間の間に射影された光信号によってチャージされる電荷に対応する値となる。図１２６において斜線を付してある積分範囲の横方向の範囲は、画素＃ｋの左端（ｘ＝ｋ−０．５）から、その右端（ｘ＝ｋ＋０．５）までの範囲を表し、積分範囲の斜め方向（手前方向）の範囲は、露光時間を表す。
【１３１８】
光信号が移動する場合、画素＃ｋにおいては、空間混合とともに、時間混合が生じる。即ち、光信号が時間の経過に伴って移動するため、画素＃ｋでは、積分すべき光信号のｘ方向の範囲が、時刻ごとに変化する。図１２６において、値ｙｋ’の光信号は、その移動軌跡を表す点線が、斜線を付してある画素＃ｋについての積分範囲に位置しているときに、その画素＃ｋにおける積分の対象となる。
【１３１９】
図１２７は、水平方向をｘ方向とするとともに、垂直方向を露光時間として、画素＃ｋについての積分範囲を示している。即ち、図１２７は、図１２６に斜線を付して示した積分範囲を、ｘ方向と露出時間の方向とで規定される平面に垂直な方向から見たものである。
【１３２０】
ここで、後述する図１２８乃至図１３０、および図１３２乃至図１３４においても、図１２７と同様に、水平方向をｘ方向とするとともに、垂直方向を露光時間として、画素＃ｋについての積分範囲を示してある。
【１３２１】
画素＃ｋの画素値Ｙｋは、図１２７に示す積分範囲において、光信号を近似するスプライン関数Ｃｋ’（ｘ）を積分することにより得られるが、その画素値Ｙｋの成分（以下、適宜、画素値成分という）は、図１２７に示すＳ１，Ｓ２，Ｓ３，ｐ，Ｓ４，ｐ（ｐ＝１，２，・・・）の４種類に分けることができる。
【１３２２】
そこで、画素値Ｙｋの４種類の画素値成分Ｓ１，Ｓ２，Ｓ３，ｐ，Ｓ４，ｐそれぞれの算出方法について説明する。
【１３２３】
図１２８は、画素値Ｙｋの画素値成分Ｓ１を算出するための積分範囲を示している。なお、図１２８は、図１２７に示した積分範囲から、その一部を取り出したものである。
【１３２４】
画素値成分Ｓ１は、露光開始時に、画素＃ｋのｘ方向の中心位置から、その右隣の画素＃ｋ＋１のｘ方向の中心位置までに射影される光信号を近似するスプライン関数Ｃｋ＋１（ｘ）を積分することにより求めることができる。
【１３２５】
スプライン関数Ｃｋ＋１（ｘ）は、図１２８に示すように、その左側の端点が、露光開始時に、画素＃ｋのｘ方向の中心位置（ｘ＝ｋ）に位置し、１である露光時間の間に、動き量ｖだけ左から右方向に移動する。また、スプライン関数Ｃｋ＋１（ｘ）は、その左側の端点が、０．５だけ、左から右に移動すると、画素＃ｋについての積分範囲に含まれなくなる。スプライン関数Ｃｋ＋１（ｘ）は、１である露光時間の間に動き量ｖだけ移動するから、０．５だけ移動するのに要する時間は、１／（２ｖ）（＝０．５／ｖ）である。
【１３２６】
従って、スプライン関数Ｃｋ＋１（ｘ）が、画素＃ｋについての積分範囲に含まれる時間ｔの範囲は、次式に示すように、０から１／（２ｖ）までの範囲である。但し、露光の開始時刻を０とする。
【１３２７】
【数１４２】
2005018519.tif 000285
2005018519.tif 000286
【１３２８】
また、スプライン関数Ｃｋ＋１（ｘ）は、露光開始時刻において、ｘ＝ｋから、ｘ＝ｋ＋０．５までの範囲が、画素＃ｋについての積分範囲に含まれる。
【１３２９】
そして、スプライン関数Ｃｋ＋１（ｘ）は、１である露光時間の間に、動き量ｖだけ左から右方向に移動するから、露光開始時刻を０とすると、露光開始後のある時刻ｔにおいては、スプライン関数Ｃｋ＋１（ｘ）は、図１２８に示すように、ｖｔだけ左から右方向に移動する。従って、時刻ｔにおいて、画素＃ｋについての積分範囲に含まれるスプライン関数Ｃｋ＋１（ｘ）の範囲は、ｘ＝ｋから、ｘ＝ｋ＋０．５−ｖｔまでとなる。即ち、スプライン関数Ｃｋ＋１（ｘ）が、画素＃ｋについての積分範囲に含まれるｘ方向の範囲の始点（左側の点）をαとするとともに、終点（右側の点）をβと表すこととすると、始点αと終点βは、次式で表される。
【１３３０】
【数１４３】
2005018519.tif 000287
2005018519.tif 000288
【１３３１】
画素値Ｙｋの画素値成分Ｓ１は、式（１４２）で表される時間の範囲と、式（１４３）で表されるｘ方向の範囲とで、スプライン関数Ｃｋ＋１（ｘ）を積分することにより、次式にしたがって求めることができる。
【１３３２】
【数１４４】
2005018519.tif 000289
2005018519.tif 000290
【１３３３】
次に、図１２９は、画素値Ｙｋの画素値成分Ｓ２を算出するための積分範囲を示している。なお、図１２９は、図１２７に示した積分範囲から、その一部を取り出したものである。
【１３３４】
画素値成分Ｓ２は、露光開始時に、画素＃ｋのｘ方向の中心位置から、その左隣の画素＃ｋ−１のｘ方向の中心位置までに射影される光信号を近似するスプライン関数Ｃｋ（ｘ）を、その右端が画素＃ｋについての積分範囲内に存在する時間内において積分することにより求めることができる。
【１３３５】
スプライン関数Ｃｋ（ｘ）は、図１２９に示すように、その右側の端点が、露光開始時に、画素＃ｋのｘ方向の中心位置（ｘ＝ｋ）に位置し、１である露光時間の間に、動き量ｖだけ左から右方向に移動する。また、スプライン関数Ｃｋ（ｘ）の右端の端点は、０．５だけ、左から右に移動すると、画素＃ｋについての積分範囲に含まれなくなる。スプライン関数Ｃｋ＋１（ｘ）は、１である露光時間の間に動き量ｖだけ移動するから、０．５だけ移動するのに要する時間は、１／（２ｖ）（＝０．５／ｖ）である。
【１３３６】
従って、スプライン関数Ｃｋ（ｘ）の右端の端点が、画素＃ｋについての積分範囲に含まれる時間ｔの範囲は、次式に示すように、０から１／（２ｖ）までの範囲である。
【１３３７】
【数１４５】
2005018519.tif 000291
2005018519.tif 000292
【１３３８】
また、スプライン関数Ｃｋ（ｘ）は、露光開始時刻において、ｘ＝ｋ−０．５から、ｘ＝ｋまでの範囲が、画素＃ｋについての積分範囲に含まれる。
【１３３９】
そして、スプライン関数Ｃｋ（ｘ）は、１である露光時間の間に、動き量ｖだけ左から右方向に移動するから、露光開始時刻を０とすると、露光開始後のある時刻ｔにおいては、スプライン関数Ｃｋ（ｘ）は、図１２９に示すように、ｖｔだけ左から右方向に移動する。従って、時刻ｔにおいて、画素＃ｋについての積分範囲に含まれるスプライン関数Ｃｋ（ｘ）の範囲は、ｘ＝ｋ−０．５−ｖｔから、ｘ＝ｋまでとなる。即ち、スプライン関数Ｃｋ（ｘ）が、式（１４５）で示される時間内のある時刻ｔにおいて画素＃ｋについての積分範囲に含まれるｘ方向の範囲の始点（左側の点）をαとするとともに、終点（右側の点）をβと表すこととすると、始点αと終点βは、次式で表される。
【１３４０】
【数１４６】
2005018519.tif 000293
2005018519.tif 000294
【１３４１】
画素値Ｙｋの画素値成分Ｓ２は、式（１４５）で表される時間の範囲と、式（１４６）で表されるｘ方向の範囲とで、スプライン関数Ｃｋ（ｘ）を積分することにより、次式にしたがって求めることができる。
【１３４２】
【数１４７】
2005018519.tif 000295
2005018519.tif 000296
【１３４３】
次に、図１３０は、画素値Ｙｋの画素値成分Ｓ３，ｐを算出するための積分範囲を示している。なお、図１３０は、図１２７に示した積分範囲から、その一部を取り出したものである。
【１３４４】
ここで、図１３１を参照して、画素値Ｙｋの画素値成分Ｓ３，ｐを算出するための積分の対象となる、スプライン関数Ｃｋ＋１（ｘ）以外のスプライン関数Ｃｋ’（ｘ）について説明する。
【１３４５】
なお、図１３１は、図１２６と同様に、横方向を処理単位の画素が並ぶｘ方向とし、手前方向を露光時間とするとともに、縦方向をレベルとして、光信号関数Ｆ（ｘ）を近似するスプライン関数のレベルを示している。
【１３４６】
スプライン関数は、露光開始後、左から右方向に移動していく。そして、露光時間の間の移動によって、図１３１において斜線を付して示す画素＃ｋについての積分範囲内に入ることがあるスプライン関数が、画素値Ｙｋの画素値成分Ｓ３，ｐを算出するための積分の対象となる、スプライン関数Ｃｋ＋１（ｘ）以外のスプライン関数Ｃｋ’（ｘ）ということになる。
【１３４７】
上述のように、スプライン関数は、露光開始後、左から右方向に移動していくから、その移動によって、左端が、画素＃ｋについての積分範囲内に入ることがある、スプライン関数Ｃｋ＋１（ｘ）以外のスプライン関数Ｃｋ’（ｘ）は、露光開始時に、プライン関数Ｃｋ＋１（ｘ）の左側にあるスプライン関数Ｃｋ−ｐ＋１（ｘ）に限られる。なお、変数ｐは１以上の整数である。
【１３４８】
ここで、スプライン関数Ｃｋ−ｐ＋１（ｘ）は、図１３１に示すように、露光開始時において、ｘ＝ｋ−ｐからｘ＝ｋ−ｐ＋１までの範囲に存在する。
【１３４９】
スプライン関数Ｃｋ−ｐ＋１（ｘ）は、露光時間の間に、ｘ方向（左から右方向）に、動き量ｖだけ移動するから、露光開始時にｘ＝ｋ−ｐの位置にあるスプライン関数Ｃｋ−ｐ＋１（ｘ）の左端は、露光時間の経過直後には、ｘ＝ｋ−ｐ＋ｖの位置に移動する。
【１３５０】
従って、露光時間の間に、スプライン関数Ｃｋ−ｐ＋１（ｘ）の左端が画素＃ｋについての積分範囲の左端（ｘ＝ｋ−０．５）に入り、その右端の位置（ｘ＝ｋ＋０．５）以降に移動するスプライン関数Ｃｋ−ｐ＋１（ｘ）は、変数ｐが、次式を満たすものとなる。
【１３５１】
【数１４８】
2005018519.tif 000297
2005018519.tif 000298
【１３５２】
式（１４８）を、ｐについて整理すると、次式が得られる。
【１３５３】
【数１４９】
2005018519.tif 000299
2005018519.tif 000300
【１３５４】
式（１４９）から、露光時間の間に、スプライン関数Ｃｋ−ｐ＋１（ｘ）の左端が画素＃ｋについての積分範囲の左端（ｘ＝ｋ−０．５）に入り、その右端の位置（ｘ＝ｋ＋０．５）以降に移動するスプライン関数Ｃｋ−ｐ＋１（ｘ）は、ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）となる。なお、［ｖ−０．５］は、ｖ−０．５以下の最大の整数を表す。
【１３５５】
そこで、まず、画素値Ｙｋの画素値成分Ｓ３，ｐを求めるための積分の対象となるスプライン関数のうちの、ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）の積分について説明する。
【１３５６】
上述したように、ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）は、露光時間の間に、その左端が画素＃ｋについての積分範囲の左端（ｘ＝ｋ−０．５）に入り、その右端の位置（ｘ＝ｋ＋０．５）以降に移動する。従って、ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）は、画素＃ｋについての積分範囲において、画素＃ｋのｘ方向の幅、即ち、ここでは１だけ移動する。動き量ｖで、１だけ移動するのに要する時間は、１／ｖであるから、ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）の左端の端点が、画素＃ｋについての積分範囲に含まれる時間ｔの範囲は、図１３０に示すように、０から１／ｖまでの範囲であり、次式で表すことができる。
【１３５７】
【数１５０】
2005018519.tif 000301
2005018519.tif 000302
【１３５８】
なお、ここでは、ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）が、動き量ｖで移動し、その左端の端点が、画素＃ｋについての積分範囲の左端（ｘ＝ｋ−０．５）に到達する時刻ｔを０とする。
【１３５９】
時刻ｔが０であるとき、ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）は、そのｘ＝ｋ−ｐから、ｘ＝ｋ−ｐ＋１の範囲が、画素＃ｋについての積分範囲に存在する。そして、ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）は、その左端の端点が、画素＃ｋについての積分範囲の右端（ｘ＝ｋ＋０．５）に到達するまでのある時刻ｔにおいて、時刻ｔが０であるときの位置からｖｔだけ左から右方向に移動する。従って、０である時刻から、ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）の左端の端点が、画素＃ｋについての積分範囲の右端（ｘ＝ｋ＋０．５）に到達するまでのある時刻ｔにおいて、画素＃ｋについての積分範囲に存在するｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）は、ｘ＝ｋ−ｐから、ｘ＝−ｖｔ＋ｋ−ｐ＋１までの範囲となる。
【１３６０】
即ち、ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）の左端の端点が、画素＃ｋについての積分範囲に存在する間のある時刻ｔにおいて、そのスプライン関数Ｃｋ−ｐ＋１（ｘ）が画素＃ｋについての積分範囲に含まれるｘ方向の範囲の始点（左側の点）をαとするとともに、終点（右側の点）をβと表すこととすると、始点αと終点βは、次式で表される。
【１３６１】
【数１５１】
2005018519.tif 000303
2005018519.tif 000304
【１３６２】
画素値Ｙｋの画素値成分Ｓ３，ｐのうち、ｐ＝１，２，・・・，［ｖ−０．５］のものは、式（１５０）で表される時間の範囲と、式（１５１）で表されるｘ方向の範囲とで、スプライン関数Ｃｋ−ｐ＋１（ｘ）を積分することにより、次式にしたがって求めることができる。
【１３６３】
【数１５２】
2005018519.tif 000305
2005018519.tif 000306
【１３６４】
次に、図１３２は、画素値Ｙｋの画素値成分Ｓ３，ｐを算出するための積分範囲を示している。なお、図１３２は、図１２７に示した積分範囲から、その一部を取り出したものである。
【１３６５】
上述のように、いまの場合、スプライン関数は、露光開始後、左から右方向に移動していくから、その移動によって、画素＃ｋについての積分範囲内に入ることがある、スプライン関数Ｃｋ＋１（ｘ）以外のスプライン関数Ｃｋ’（ｘ）は、露光開始時に、プライン関数Ｃｋ＋１（ｘ）の左側にあるスプライン関数Ｃｋ−ｐ＋１（ｘ）に限られる。なお、変数ｐは１以上の整数である。
【１３６６】
ここで、スプライン関数Ｃｋ−ｐ＋１（ｘ）は、図１３１に示したように、露光開始時において、ｘ＝ｋ−ｐからｘ＝ｋ−ｐ＋１までの範囲に存在する。
【１３６７】
スプライン関数Ｃｋ−ｐ＋１（ｘ）は、露光時間の間に、ｘ方向（左から右方向）に、動き量ｖだけ移動するから、露光開始時にｘ＝ｋ−ｐの位置にあるスプライン関数Ｃｋ−ｐ＋１（ｘ）の左端は、露光時間の経過直後には、ｘ＝ｋ−ｐ＋ｖの位置に移動する。
【１３６８】
従って、露光時間の間に、スプライン関数Ｃｋ−ｐ＋１（ｘ）の左端が画素＃ｋについての積分範囲の左端（ｘ＝ｋ−０．５）に入るが、その積分範囲からぬけない、つまり、画素＃ｋについての積分範囲の右端の位置（ｘ＝ｋ＋０．５）までは移動しないスプライン関数Ｃｋ−ｐ＋１（ｘ）は、変数ｐが、次式を満たすものとなる。
【１３６９】
【数１５３】
2005018519.tif 000307
2005018519.tif 000308
【１３７０】
式（１５３）を、ｐについて整理すると、次式が得られる。
【１３７１】
【数１５４】
2005018519.tif 000309
2005018519.tif 000310
【１３７２】
変数ｐは整数値なので、式（１５４）を満たす変数ｐは、次式で表すことができる。
【１３７３】
【数１５５】
2005018519.tif 000311
2005018519.tif 000312
【１３７４】
なお、式（１５５）において、［ｖ＋０．５］は、ｖ＋０．５以下の最大の整数を表す。
【１３７５】
式（１５５）から、露光時間の間に、スプライン関数Ｃｋ−ｐ＋１（ｘ）の左端が画素＃ｋについての積分範囲に入り、その積分範囲からぬけないスプライン関数Ｃｋ−ｐ＋１（ｘ）は、ｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）となる。
【１３７６】
そこで、画素値Ｙｋの画素値成分Ｓ３，ｐを求めるための積分の対象となるスプライン関数のうちの、ｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）の積分について説明する。
【１３７７】
上述したように、ｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）は、露光時間の間に、その左端が、画素＃ｋについての積分範囲の左端（ｘ＝ｋ−０．５）に入る。そして、ｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）の左端が、画素＃ｋについての積分範囲内のある位置に移動した時点で、露光が終了する。
【１３７８】
いま、ｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）が、動き量ｖで移動し、その左端の端点が、画素＃ｋについての積分範囲の左端（ｘ＝ｋ−０．５）に到達する時刻ｔを０とする。この場合、露光終了時までに、ｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）の左端の端点が、画素＃ｋについての積分範囲に含まれる時間ｔの範囲は、図１３２に示すようになる。
【１３７９】
即ち、露光終了時までに、ｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）の左端の端点が、画素＃ｋについての積分範囲に含まれる時間ｔの範囲は、画素値成分Ｓ１を算出するためにのスプライン関数Ｃｋ＋１（ｘ）を積分する時間１／（２ｖ）と、画素値成分Ｓ３，ｐを算出するためのｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）を積分する時間１／ｖの総和とを、露出時間である１から減算した時間となる。
【１３８０】
ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）の数は、ｐ＝［ｖ＋０．５］のとき、ｐ−１で表されるから、ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）を積分する時間１／ｖの総和は、（ｐ−１）／ｖである。
【１３８１】
従って、スプライン関数Ｃｋ＋１（ｘ）を積分する時間１／（２ｖ）と、画素値成分Ｓ３，ｐを算出するためのｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）を積分する時間１／ｖの総和（ｐ−１）／ｖとを、露出時間である１から減算した時間は、１−（ｐ−１／２）／ｖ（＝１−１／（２ｖ）−（ｐ−１）／ｖ）となる。
【１３８２】
以上から、ｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）の左端の端点が、画素＃ｋについての積分範囲に含まれる時間ｔの範囲は、次式に示すように、０から１−（ｐ−１／２）／ｖまでの範囲である。
【１３８３】
【数１５６】
2005018519.tif 000313
2005018519.tif 000314
【１３８４】
また、時刻ｔが０であるとき、ｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）は、そのｘ＝ｋ−ｐから、ｘ＝ｋ−ｐ＋１の範囲が、画素＃ｋについての積分範囲に存在する。そして、ｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）は、露光が終了するまでのある時刻ｔにおいて、時刻ｔが０であるときの位置からｖｔだけ左から右方向に移動する。従って、０である時刻から、ｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）の左端の端点が、露光が終了するまでのある時刻ｔにおいて、画素＃ｋについての積分範囲に存在するｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）は、ｘ＝ｋ−ｐから、ｘ＝−ｖｔ＋ｋ−ｐ＋１までの範囲となる。
【１３８５】
即ち、ｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ＋１（ｘ）の左端の端点が、画素＃ｋについての積分範囲に存在する間のある時刻ｔにおいて、そのスプライン関数Ｃｋ−ｐ＋１（ｘ）が画素＃ｋについての積分範囲に含まれるｘ方向の範囲の始点（左側の点）をαとするとともに、終点（右側の点）をβと表すこととすると、始点αと終点βは、次式で表される。
【１３８６】
【数１５７】
2005018519.tif 000315
2005018519.tif 000316
【１３８７】
画素値Ｙｋの画素値成分Ｓ３，ｐのうち、ｐ＝［ｖ＋０．５］のものは、式（１５６）で表される時間の範囲と、式（１５７）で表されるｘ方向の範囲とで、スプライン関数Ｃｋ−ｐ＋１（ｘ）を積分することにより、次式にしたがって求めることができる。
【１３８８】
【数１５８】
2005018519.tif 000317
2005018519.tif 000318
【１３８９】
次に、図１３３は、画素値Ｙｋの画素値成分Ｓ４，ｐを算出するための積分範囲を示している。なお、図１３３は、図１２７に示した積分範囲から、その一部を取り出したものである。
【１３９０】
ここで、画素値Ｙｋの画素値成分Ｓ４，ｐを算出するための積分の対象となる、スプライン関数Ｃｋ＋１（ｘ）以外のスプライン関数Ｃｋ’（ｘ）は、露光開始時に、右端が、画素＃ｋについての積分範囲の左端よりも左にあるスプライン関数Ｃｋ−ｐ（ｘ）に限られる。
【１３９１】
ここで、スプライン関数Ｃｋ−ｐ（ｘ）は、露光開始時において、ｘ＝ｋ−ｐ−１からｘ＝ｋ−ｐまでの範囲に存在する。
【１３９２】
スプライン関数Ｃｋ−ｐ（ｘ）は、露光時間の間に、ｘ方向（左から右方向）に、動き量ｖだけ移動するから、露光開始時にｘ＝ｋ−ｐの位置にあるスプライン関数Ｃｋ−ｐ（ｘ）の右端は、露光時間の経過直後には、ｘ＝ｋ−ｐ＋ｖの位置に移動する。
【１３９３】
従って、露光時間の間に、スプライン関数Ｃｋ−ｐ（ｘ）の右端が画素＃ｋについての積分範囲の左端（ｘ＝ｋ−０．５）に入り、その右端の位置（ｘ＝ｋ＋０．５）以降に移動するスプライン関数Ｃｋ−ｐ（ｘ）は、変数ｐが、上述の式（１４８）と同様の式ｋ−ｐ＋ｖ≧ｋ＋０．５、即ち、式（ｖ−０．５）≧ｐを満たすものとなる。
【１３９４】
以上から、露光時間の間に、スプライン関数Ｃｋ−ｐ（ｘ）の右端が画素＃ｋについての積分範囲の左端（ｘ＝ｋ−０．５）に入り、その右端の位置（ｘ＝ｋ＋０．５）以降に移動するスプライン関数Ｃｋ−ｐ＋１（ｘ）は、ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ（ｘ）となる。なお、［ｖ−０．５］は、ｖ−０．５以下の最大の整数を表す。
【１３９５】
そこで、まず、画素値Ｙｋの画素値成分Ｓ４，ｐを求めるための積分の対象となるスプライン関数のうちの、ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ（ｘ）の積分について説明する。
【１３９６】
上述したように、ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ（ｘ）は、露光時間の間に、その右端が画素＃ｋについての積分範囲の左端（ｘ＝ｋ−０．５）に入り、その右端の位置（ｘ＝ｋ＋０．５）以降に移動する。従って、ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ（ｘ）は、画素＃ｋについての積分範囲において、画素＃ｋのｘ方向の幅、即ち、ここでは１だけ移動する。動き量ｖで、１だけ移動するのに要する時間は、１／ｖであるから、ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ（ｘ）の右端の端点が、画素＃ｋについての積分範囲に含まれる時間ｔの範囲は、図１３３に示すように、０から１／ｖまでの範囲であり、次式で表すことができる。
【１３９７】
【数１５９】
2005018519.tif 000319
2005018519.tif 000320
【１３９８】
なお、ここでは、ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ（ｘ）が、動き量ｖで移動し、その右端の端点が、画素＃ｋについての積分範囲の左端（ｘ＝ｋ−０．５）に到達する時刻ｔを０とする。
【１３９９】
ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ（ｘ）の右端の端点は、時刻ｔ＝０において、画素＃ｋについての積分範囲の左端（ｘ＝ｋ−０．５）に到達し、その後、時間ｔだけ経過すると、ｖｔだけ左から右方向に移動する。そして、ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ（ｘ）の右端の端点が、画素＃ｋについての積分範囲の右端（ｘ＝ｋ＋０．５）に到達した場合、そのｘ＝ｋ−ｐ−１から、ｘ＝ｋ−ｐの範囲が、画素＃ｋについての積分範囲に存在する。
【１４００】
従って、ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ（ｘ）の右端の端点が、画素＃ｋについての積分範囲の右端（ｘ＝ｋ＋０．５）に到達するまでのある時刻ｔにおいて、画素＃ｋについての積分範囲に存在するｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ（ｘ）は、ｘ＝ｋ−ｐ−ｖｔから、ｘ＝ｋ−ｐまでの範囲となる。
【１４０１】
即ち、ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ（ｘ）の右端の端点が、画素＃ｋについての積分範囲に存在する間のある時刻ｔにおいて、そのスプライン関数Ｃｋ−ｐ（ｘ）が画素＃ｋについての積分範囲に含まれるｘ方向の範囲の始点（左側の点）をαとするとともに、終点（右側の点）をβと表すこととすると、始点αと終点βは、次式で表される。
【１４０２】
【数１６０】
2005018519.tif 000321
2005018519.tif 000322
【１４０３】
画素値Ｙｋの画素値成分Ｓ４，ｐのうち、ｐ＝１，２，・・・，［ｖ−０．５］のものは、式（１５９）で表される時間の範囲と、式（１６０）で表されるｘ方向の範囲とで、スプライン関数Ｃｋ−ｐ（ｘ）を積分することにより、次式にしたがって求めることができる。
【１４０４】
【数１６１】
2005018519.tif 000323
2005018519.tif 000324
【１４０５】
次に、図１３４は、画素値Ｙｋの画素値成分Ｓ４，ｐを算出するための積分範囲を示している。なお、図１３４は、図１２７に示した積分範囲と同様の図である。
【１４０６】
上述のように、いまの場合、スプライン関数は、露光開始後、左から右方向に移動していくから、その移動によって、右端が、画素＃ｋについての積分範囲内に入ることがある、スプライン関数Ｃｋ＋１（ｘ）以外のスプライン関数Ｃｋ’（ｘ）は、露光開始時に、プライン関数Ｃｋ（ｘ）の左側にあるスプライン関数Ｃｋ−ｐ（ｘ）に限られる。なお、変数ｐは１以上の整数である。
【１４０７】
ここで、スプライン関数Ｃｋ−ｐ（ｘ）は、露光開始時において、ｘ＝ｋ−ｐ−１からｘ＝ｋ−ｐまでの範囲に存在する。
【１４０８】
スプライン関数Ｃｋ−ｐ（ｘ）は、露光時間の間に、ｘ方向（左から右方向）に、動き量ｖだけ移動するから、露光開始時にｘ＝ｋ−ｐの位置にあるスプライン関数Ｃｋ−ｐ（ｘ）の右端は、露光時間の経過直後には、ｘ＝ｋ−ｐ＋ｖの位置に移動する。
【１４０９】
従って、露光時間の間に、スプライン関数Ｃｋ−ｐ（ｘ）の右端が画素＃ｋについての積分範囲の左端（ｘ＝ｋ−０．５）に入るが、その積分範囲からぬけない、つまり、画素＃ｋについての積分範囲の右端の位置（ｘ＝ｋ＋０．５）までは移動しないスプライン関数Ｃｋ−ｐ（ｘ）は、変数ｐが、上述の式（１５３）と同様の式ｋ−０．５＜ｋ−ｐ＋ｖ＜ｋ＋０．５、即ち、ｐ＝［ｖ＋０．５］を満たすものとなる。なお、［ｖ＋０．５］は、ｖ＋０．５以下の最大の整数を表す。
【１４１０】
つまり、露光時間の間に、スプライン関数Ｃｋ−ｐ（ｘ）の右端が画素＃ｋについての積分範囲に入り、その積分範囲からぬけないスプライン関数Ｃｋ−ｐ（ｘ）は、ｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ（ｘ）となる。
【１４１１】
そこで、画素値Ｙｋの画素値成分Ｓ４，ｐを求めるための積分の対象となるスプライン関数のうちの、ｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ（ｘ）の積分について説明する。
【１４１２】
上述したように、ｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ（ｘ）は、露光時間の間に、その右端が、画素＃ｋについての積分範囲の左端（ｘ＝ｋ−０．５）に入る。そして、ｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ（ｘ）の右端が、画素＃ｋについての積分範囲内のある位置に移動した時点で、露光が終了する。
【１４１３】
いま、ｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ（ｘ）が、動き量ｖで移動し、その左端の端点が、画素＃ｋについての積分範囲の左端（ｘ＝ｋ−０．５）に到達する時刻ｔを０とする。この場合、露光終了時までに、ｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ（ｘ）の左端の端点が、画素＃ｋについての積分範囲に含まれる時間ｔの範囲は、図１３４に示すようになる。
【１４１４】
即ち、図１３２で説明した場合と同様に、露光終了時までに、ｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ（ｘ）の右端の端点が、画素＃ｋについての積分範囲に含まれる時間ｔの範囲は、画素値成分Ｓ１を算出するためにのスプライン関数Ｃｋ＋１（ｘ）を積分する時間１／（２ｖ）と、画素値成分Ｓ４，ｐを算出するためのｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ（ｘ）を積分する時間１／ｖの総和とを、露出時間である１から減算した時間となる。
【１４１５】
ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ（ｘ）の数は、ｐ＝［ｖ＋０．５］のとき、ｐ−１で表されるから、ｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ（ｘ）を積分する時間１／ｖの総和は、（ｐ−１）／ｖである。
【１４１６】
従って、スプライン関数Ｃｋ＋１（ｘ）を積分する時間１／（２ｖ）と、画素値成分Ｓ４，ｐを算出するためのｐ＝１，２，・・・，［ｖ−０．５］のスプライン関数Ｃｋ−ｐ（ｘ）を積分する時間１／ｖの総和（ｐ−１）／ｖとを、露出時間である１から減算した時間は、１−（ｐ−１／２）／ｖ（＝１−１／（２ｖ）−（ｐ−１）／ｖ）となる。
【１４１７】
以上から、ｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ（ｘ）の右端の端点が、画素＃ｋについての積分範囲に含まれる時間ｔの範囲は、次式に示すように、０から１−（ｐ−１／２）／ｖまでの範囲である。
【１４１８】
【数１６２】
2005018519.tif 000325
2005018519.tif 000326
【１４１９】
また、ｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ（ｘ）は、露光時間内に、左から右方向に移動することにより、時刻ｔがｔ＝０において、その右端が、画素＃ｋについての積分範囲の左端に到達し、その後、時間ｔが経過すると、時刻ｔが０であるときの位置からｖｔだけ左から右方向に移動する。
【１４２０】
従って、ｘ＝ｋ−ｐ−１から、ｘ＝ｋ−ｐまでのｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ（ｘ）の範囲の中で、時刻ｔにおいて画素＃ｋについての積分範囲に存在する範囲は、ｘ＝ｋ−ｐ−ｖｔから、ｘ＝ｋ−ｐまでの範囲となる。
【１４２１】
即ち、ｐ＝［ｖ＋０．５］のスプライン関数Ｃｋ−ｐ（ｘ）の右端の端点が、画素＃ｋについての積分範囲に存在する間のある時刻ｔにおいて、そのスプライン関数Ｃｋ−ｐ（ｘ）が画素＃ｋについての積分範囲に含まれるｘ方向の範囲の始点（左側の点）をαとするとともに、終点（右側の点）をβと表すこととすると、始点αと終点βは、次式で表される。
【１４２２】
【数１６３】
2005018519.tif 000327
2005018519.tif 000328
【１４２３】
画素値Ｙｋの画素値成分Ｓ４，ｐのうち、ｐ＝［ｖ＋０．５］のものは、式（１６２）で表される時間の範囲と、式（１６３）で表されるｘ方向の範囲とで、スプライン関数Ｃｋ−ｐ（ｘ）を積分することにより、次式にしたがって求めることができる。
【１４２４】
【数１６４】
2005018519.tif 000329
2005018519.tif 000330
【１４２５】
イメージセンサから得られる画素＃ｋの画素値Ｙｋは、式（１４４）の画素値成分Ｓ１、式（１４７）の画素値成分Ｓ２、式（１５２）および式（１５８）の画素値成分Ｓ３，ｐ、並びに式（１６１）および式（１６４）の和であるから、次式により求めることができる。
【１４２６】
【数１６５】
2005018519.tif 000331
2005018519.tif 000332
【１４２７】
画素値Ｙｋのサフィックスｋは、０乃至Ｎの範囲のＮ＋１個の整数値をとるから、式（１６５）によれば、Ｎ＋１個の方程式をたてることができる。そして、求めるべき未知変数ｙ０乃至ｙＮも、Ｎ＋１個であるから、式（１６５）から得られるＮ＋１個の方程式を連立１次方程式として解くことにより、Ｎ＋１個の未知変数ｙ０乃至ｙＮ、ひいては、その変数ｙ０乃至ｙＮで定義されるスプライン関数Ｃ０（ｘ）乃至ＣＮ（ｘ）を求めることができる。
【１４２８】
即ち、式（１６５）よれば、式（１４４）、式（１４７）、式（１５２）、式（１５８）、式（１６１）、および式（１６４）を代入することにより、以下の式（１６６）乃至式（１７０）で表されるＮ＋１個の方程式を得ることができる。
【１４２９】
【数１６６】
2005018519.tif 000333
2005018519.tif 000334
【１４３０】
【数１６７】
2005018519.tif 000335
2005018519.tif 000336
【１４３１】
但し、式（１６７）において、ｋは、１乃至Ｐ−１の範囲の整数である。また、Ｐは、ｖ＋０．５以下の最大の整数（［ｖ＋０．５］）である。
【１４３２】
【数１６８】
2005018519.tif 000337
2005018519.tif 000338
【１４３３】
但し、式（１６８）において、ｋは、Ｐである。
【１４３４】
【数１６９】
2005018519.tif 000339
2005018519.tif 000340
【１４３５】
但し、式（１６９）において、ｋは、Ｐ＋１乃至Ｎ−１の範囲の整数である。
【１４３６】
【数１７０】
2005018519.tif 000341
2005018519.tif 000342
【１４３７】
但し、式（１７０）において、ｋは、Ｎである。
【１４３８】
式（１６６）乃至式（１７０）のＮ＋１個の方程式を連立１次方程式として解くことにより、Ｎ＋１個の未知変数ｙ０乃至ｙＮ、ひいては、その変数ｙ０乃至ｙＮで定義されるスプライン関数Ｃ０（ｘ）乃至ＣＮ（ｘ）、即ち、処理単位に射影される実世界１の光信号に対応する光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃ０（ｘ）乃至ＣＮ（ｘ）を求めることができる。
【１４３９】
ところで、図１２５に示した物理モデルによれば、光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）が、イメージセンサの露光時間の間に、動き量ｖだけ連続的に水平方向（ｘ方向）に移動することによって得られる軌跡としての曲面を、時間方向に、露光時間の間だけ積分するとともに、ｘ方向に、処理単位の画素＃ｋのｘ方向の長さだけ積分することにより、その画素＃ｋの画素値Ｙｋが得られる。
【１４４０】
そして、光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）が、動き量ｖだけ連続的に水平方向（ｘ方向）に移動するために、画素＃ｋにおいて露光時間の間に積分されるスプライン関数Ｃｋ（ｘ）のｘ方向の範囲が変化し、このように、画素＃ｋにおいて露光時間の各時刻で積分されるスプライン関数Ｃｋ（ｘ）のｘ方向の範囲が変化するために、画素＃ｋにおける積分の結果得られる画素値Ｙｋは、動きボケを有するものとなる。
【１４４１】
従って、画素＃ｋの画素値Ｙｋから、動きボケをなくすためには、画素＃ｋにおいて露光時間の間に積分されるスプライン関数Ｃｋ（ｘ）のｘ方向の範囲が変化しないようにすれば良い。
【１４４２】
即ち、画素＃ｋについて、動きボケのない画素値をＸｋと表すこととすると、この動きボケのない画素値Ｘｋは、例えば、図１３５に示すように、光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）が、露光時間の間、露光開始時刻における位置からｘ方向に移動しないとして得られる曲面（モデル）を、時間方向に、露光時間の間だけ積分するとともに、ｘ方向に、処理単位の画素＃ｋのｘ方向の長さだけ積分（再積分）することにより求めることができる。
【１４４３】
いま、露光時間を１とすれば、上述の積分は、スプライン関数Ｃｋ（ｘ）を、画素＃ｋのｘ方向の長さだけ積分することに等しい。従って、画素＃ｋについて、動きボケのない画素値Ｘｋは、上述の式（１３９）の積分範囲（α，β）を、画素＃ｋのｘ方向の始端から終端（左端から右端）とすることにより求めることができる。即ち、動きボケのない画素値Ｘｋは、次式により求めることができる。
【１４４４】
【数１７１】
2005018519.tif 000343
2005018519.tif 000344
【１４４５】
【数１７２】
2005018519.tif 000345
2005018519.tif 000346
【１４４６】
【数１７３】
2005018519.tif 000347
2005018519.tif 000348
【１４４７】
なお、式（１７２）において、ｋは、１乃至Ｎ−１の範囲の整数値である。また、動きボケのない画素値Ｘｋを求めるのに、ｋが、０，１乃至Ｎ−１，Ｎである場合の３つの場合に分けるのは、上述のフラット仮定に起因する。即ち、処理単位の左端の画素＃０と右端の画素＃Ｎそれぞれにおいては、フラット仮定が影響し、このため、処理単位のその他の画素＃１乃至＃Ｎ−１における場合とは異なる式によって、画素値Ｘ０とＸＮが求められる。
【１４４８】
以上のように、光信号関数Ｆ（ｘ）を推定し、その推定結果としての光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）を、時間変化がないとして積分することにより、実世界１に近い画素値Ｘｋ、即ち、ここでは、動きボケのない画素値Ｘｋを得ることができる。
【１４４９】
ところで、式（１７１）乃至式（１７３）では、光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）を、処理単位の画素＃ｋのｘ方向の幅に亘って積分して、画素値Ｘｋを求めるようにしたが、光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）を、より細かい幅に亘って積分することにより、つまり、上述の式（１３９）の積分範囲（α，β）を画素＃ｋのｘ方向の幅より細かい範囲とすることにより、より解像度の高い画素値を求めることができる。
【１４５０】
即ち、例えば、いま、画素＃ｋについて、その画素＃ｋをｘ方向に２分割した、仮想的な画素（仮想画素）を考え、その画素＃ｋをｘ方向に２分割して得られる左側と右側の画素を、それぞれ仮想画素＃ｋ，ｌｅｆｔと＃ｋ，ｒｉｇｈｔと表す。さらに、仮想画素＃ｋ，ｌｅｆｔと＃ｋ，ｒｉｇｈｔの動きボケのない画素値を、それぞれ、Ｘｋ，ｌｅｆｔとＸｋ，ｒｉｇｈｔと表す。
【１４５１】
動きボケのない画素値Ｘｋ，ｌｅｆｔとＸｋ，ｒｉｇｈｔは、例えば、図１３６に示すように、光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）が、露光時間の間、露光開始時刻における位置から移動しないとして得られる曲面（モデル）を、時間方向に、露光時間の間だけ積分するとともに、ｘ方向に、処理単位の画素＃ｋを分割した仮想画素＃ｋ，ｌｅｆｔと＃ｋ，ｒｉｇｈｔそれぞれのｘ方向の幅単位で積分（再積分）することにより求めることができる。
【１４５２】
従って、画素値Ｘｋ，ｌｅｆｔとＸｋ，ｒｉｇｈｔは、次式によって求めることができる。
【１４５３】
【数１７４】
2005018519.tif 000349
2005018519.tif 000350
【１４５４】
【数１７５】
2005018519.tif 000351
2005018519.tif 000352
【１４５５】
【数１７６】
2005018519.tif 000353
2005018519.tif 000354
【１４５６】
【数１７７】
2005018519.tif 000355
2005018519.tif 000356
【１４５７】
【数１７８】
2005018519.tif 000357
2005018519.tif 000358
【１４５８】
【数１７９】
2005018519.tif 000359
2005018519.tif 000360
【１４５９】
式（１７４）乃至式（１７９）により求められる画素値Ｘｋ，ｌｅｆｔとＸｋ，ｒｉｇｈｔによれば、横方向の画素数が元の画素数の２倍の画像（横方向２倍密の画像）を得ることができるので、動きボケが除去され、さらに高解像度の画像を得ることができる。
【１４６０】
ここで、上述の場合には、画素＃ｋを２分割するようにしたが、画素＃ｋの分割数は２分割に限定されるものではない。また、ここでは、画素＃ｋを分割することにより、元の画像（入力画像）よりも高解像度の画像を得るようにしたが、光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）が、露光時間の間、露光開始時刻における位置から移動しないとして得られる曲面を積分する積分範囲を調整することにより、所望の解像度の画像を得ることができる。即ち、露出時間を１とすれば、式（１３９）の積分範囲（α，β）を所望の値とすることにより、所望の解像度の画像を得ることができる。
【１４６１】
そして、画素＃ｋを分割することによって得られる仮想画素の画素値を求め、高解像度の画像を得る場合には、その画像を構成する仮想画素の境界は、元の画素＃ｋの境界の制約を受けることになるが、式（１３９）の積分範囲（α、β）を直接調整することにより所望の解像度の画像を得る場合には、そのような制約を受けずに済む。
【１４６２】
なお、ここでは、ｘ方向と時間ｔ方向の積分効果による混合（空間混合と時間混合）を考慮し、スプライン関数によって近似する実世界１の光信号を推定しているので、この推定手法は、上述の２次元近似手法（および２次元再積分手法）に属する。従って、実世界１の光信号をスプライン関数により近似して、実世界１の光信号を推定する方法は、２次元近似手法で説明したように、ｘ方向とｔ方向の他、ｙ方向とｔ方向、またはｘ方向とｙ方向の、時空間方向の任意の２次元の方向の積分効果による混合を考慮して行うことが可能である。例えば、ある斜め方向に続いているという定常性を有する細線が入力画像に表示されている場合に、ｘ方向とｙ方向の積分効果による混合を考慮して処理を行うときには、細線が、ｙ方向に１画素進んだときにｘ方向に進む画素数を、その細線の方向θを表す定常性情報として、式（１６６）乃至式（１７０）を、その動き量ｖに代えて方向θを用いて演算することにより、実世界１を近似するスプライン関数を求めることが可能である。
【１４６３】
さらに、実世界１の光信号をスプライン関数により近似して、実世界１の光信号を推定する方法は、２次元近似手法の他、上述した１次元近似手法（および１次元再積分手法）や、３次元近似手法（および３次元再積分手法）にも適用可能である。即ち、ｘ方向、ｙ方向、またはｔ方向のみの積分効果による混合を考慮し、実世界１の光信号をスプライン関数により近似して、実世界１の光信号を推定し、高画質の画像を生成することができる。また、ｘ方向、ｙ方向、およびｔ方向のすべての方向の積分効果による混合を考慮し、実世界１の光信号をスプライン関数により近似して、実世界１の光信号を推定し、高画質の画像を生成することができる。
【１４６４】
次に、図１３７は、上述したように、スプライン関数によって実世界１の光信号（光信号関数Ｆ（ｘ））を近似することにより、動きボケがなく、さらには、必要に応じて解像度の高い画像を生成する図１２０の動きボケ調整部１７０３５の構成例を示している。
【１４６５】
図１３７において、動きボケ調整部１７０３５は、物理モデル適用部１７０５１、物理モデル値取得部１７０５２、および再混合部１７０５３から構成されている。そして、図１３７では、図１２０の動きボケ調整量出力部１７０３２から供給される定常性情報としての動き量ｖ、前景背景分離部１７０３３から供給される前景成分、および処理単位決定部１７０３４から供給される処理単位情報が、物理モデル適用部１７０５１に供給されるようになっている。
【１４６６】
物理モデル適用部１７０５１は、モデル化部１７０６１、方程式作成部１７０６２、および連立方程式取得部１７０６３から構成されている。
【１４６７】
モデル化部１７０６１には、図１２０の動きボケ調整量出力部１７０３２から供給される定常性情報としての動き量ｖと、処理単位決定部１７０３４から供給される処理単位情報とが供給される。
【１４６８】
モデル化部１７０６１は、処理単位決定部１７０３４から供給される処理単位情報に基づいて、処理単位を構成する画素数（例えば、図１２５の物理モデルでは、Ｎ＋１画素）を認識する。さらに、モデル化部１７０６１は、処理単位を構成する画素数と、動き量ｖとから、例えば、式（１６６）乃至式（１７０）におけるＰ（＝［ｖ＋０．５］）などの図１２５の物理モデルの情報を求め、さらに、その処理単位を構成する画素数と動き量ｖを、物理モデルの情報に含めて、方程式作成部１７０６２に供給する。また、モデル化部１７０６１は、その処理単位の入力画像における位置を認識し、その位置を表す情報を、方程式作成部１７０６２を介して、連立方程式取得部１７０６３に供給する。
【１４６９】
方程式作成部１７０６２は、モデル化部１７０６１から供給される物理モデルの情報から、式（１６６）乃至式（１７０）に示した方程式を作成し、連立方程式取得部１７０６３に供給する。なお、方程式作成部１７０６２で作成される式（１６６）乃至式（１７０）の方程式は、その変数ｖに、図１２０の動きボケ調整量出力部１７０３２からモデル化部１７０６１に供給された定常性情報としての動き量ｖの具体的な値が代入されたものである。
【１４７０】
連立方程式取得部１７０６３は、モデル化部１７０６１から方程式作成部１７０６２を介して供給される処理単位の入力画像における位置を表す情報から、処理単位の入力画像における位置を認識し、その位置に基づいて、図１２０の前景背景分離部１７０３３から供給される前景成分から、処理単位の画素の画素値を取得する。さらに、連立方程式取得部１７０６３は、方程式作成部１７０６２から供給される式（１６６）乃至式（１７０）の方程式に対して、処理単位の画素の画素値を代入し、これにより、Ｎ＋１個の連立方程式を取得して、物理モデル値取得部１７０５２に供給する。
【１４７１】
物理モデル値取得部１７０５２は、連立方程式演算部１７０６４から構成され、連立方程式取得部１７０６３から供給される連立方程式は、連立方程式演算部１７０６４に供給される。連立方程式演算部１７０６４は、連立方程式取得部１７０６３から供給される連立方程式を演算し（解き）、これにより、実世界１の信号を近似する式（１３７）および式（１３８）のスプライン関数を定義するＮ＋１個の変数ｙｋを求め、再混合部１７０５３に供給する。
【１４７２】
再混合部１７０５３は、連立方程式演算部１７０６４から供給される変数ｙｋによって定義されるスプライン関数が、露光時間の間、露光開始時刻における位置から移動しないとして得られる曲面を、時間方向に、露光時間の間だけ積分するとともに、ｘ方向に、例えば、処理単位の画素＃ｋのｘ方向の幅などの所定の単位で積分（再積分）することにより、動きボケのない画素値を求めて出力する。
【１４７３】
なお、再混合部１７０５３が、ｘ方向の積分を、例えば、処理単位の画素＃ｋのｘ方向の幅単位で行う場合には、式（１７１）乃至式（１７３）で表される画素値が求められ、その画素値の画像は、入力画像と同一の数の画素で構成される。また、再混合部１７０５３が、ｘ方向の積分を、例えば、処理単位の画素＃ｋのｘ方向の幅の１／２単位で行う場合には、式（１７４）乃至式（１７９）で表される画素値が求められ、その画素値の画像は、水平方向の画素が入力画像の水平方向の画素の２倍の数の画素で構成される。
【１４７４】
次に、図１３８のフローチャートを参照して、図１３７の動きボケ調整部１７０３５の処理について説明する。
【１４７５】
まず最初に、ステップＳ１７０５１において、モデル化部１７０６１は、図１２０の動きボケ調整量出力部１７０３２から供給される定常性情報としての動き量ｖと、処理単位決定部１７０３４から供給される処理単位情報を取得し、ステップＳ１７０５２に進む。ステップＳ１７０５２では、モデル化部１７０６１は、ステップＳ１７０５１で取得された処理単位情報が表す処理単位に射影された実世界１の光信号を、図１２５に示した物理モデルにモデル化する。
【１４７６】
即ち、モデル化部１７０６１は、処理単位決定部１７０３４から供給される処理単位情報に基づいて、処理単位を構成する画素数を認識する。さらに、モデル化部１７０６１は、処理単位を構成する画素数と、ステップＳ１７０５１で取得された動き量ｖとから、図１２５の物理モデルの情報を求め、その物理モデルの情報を、方程式作成部１７０６２に供給して、ステップＳ１７０５２からＳ１７０５３に進む。
【１４７７】
ステップＳ１７０５３では、方程式作成部１７０６２は、モデル化部１７０６１から供給される物理モデルの情報から、式（１６６）乃至式（１７０）に示した方程式を作成し、連立方程式取得部１７０６３に供給して、ステップＳ１７０５４に進む。
【１４７８】
なお、ステップＳ１７０５２およびＳ１７０５３の処理は、図１２０の処理単位決定部１７０３４において決定される処理単位すべてについて行われる。
【１４７９】
ステップＳ１７０５４では、連立方程式取得部１７０６３は、図１２０の処理単位決定部１７０３４において得られた処理単位のうちの、まだ注目処理単位としていない処理単位を、注目処理単位として選択し、その注目処理単位の画素の画素値Ｙｋを、図１２０の前景背景分離部１７０３３から供給される前景成分から取得して、ステップＳ１７０５５に進む。ステップＳ１７０５５では、連立方程式取得部１７０６３は、方程式作成部１７０６２から供給される注目処理単位についての式（１６６）乃至式（１７０）の方程式に対して、注目処理単位の画素の画素値Ｙｋを代入し、これにより、注目処理単位の画素の数に等しい数の連立方程式を取得して、物理モデル値取得部１７０５２に供給する。
【１４８０】
そして、ステップＳ１７０５５からＳ１７０５６に進み、連立方程式取得部１７０６３は、図１２０の処理単位決定部１７０３４において得られた処理単位すべてを、注目処理単位としたかどうかを判定し、まだしていないと判定した場合、ステップＳ１７０５４に戻る。この場合、ステップＳ１７０５４では、連立方程式取得部１７０６３は、図１２０の処理単位決定部１７０３４において得られた処理単位のうちの、まだ注目処理単位としていない処理単位を、注目処理単位として新たに選択し、以下、同様の処理を繰り返す。
【１４８１】
また、ステップＳ１７０５６において、図１２０の処理単位決定部１７０３４において得られた処理単位すべてを、注目処理単位としたと判定された場合、即ち、図１２０の処理単位決定部１７０３４において得られた処理単位すべてについて、連立方程式が得られた場合、ステップＳ１７０５７に進み、連立方程式演算部１７０６４は、連立方程式取得部１７０６３から供給される連立方程式を演算し（解き）、これにより、実世界１の信号を近似する式（１３７）および式（１３８）のスプライン関数を求め、再混合部１７０５３に供給して、ステップＳ１７０５８に進む。
【１４８２】
ステップＳ１７０５８では、再混合部１７０５３は、連立方程式演算部１７０６４から供給されるスプライン関数を用いて再混合（再積分）を行う。即ち、再混合部１７０５３は、連立方程式演算部１７０６４から供給される、処理単位ごとに得られたスプライン関数それぞれについて、そのスプライン関数が、露光時間の間、露光開始時刻における位置から移動しないとして得られる曲面を、時間方向に、露光時間の間だけ積分するとともに、ｘ方向に、例えば、処理単位の画素＃ｋのｘ方向の幅などの所定の単位で積分（再積分）することにより、処理単位ごとに、動きボケのない画素値を求め、ステップＳ１７０５８からＳ１７０５９に進む。ステップＳ１７０５９では、再混合部１７０５３は、処理単位ごとに得られた動きボケのない画素値からなる画像、即ち、動きボケのない前景オブジェクトの画像を出力して処理を終了する。
【１４８３】
以上のように、それぞれ時空間積分効果を有する複数の画素に実世界１の光信号が射影され、実世界１の光信号の定常性の一部が欠落した入力画像内の前景オブジェクトの動き量を設定し、入力画像の空間方向のうちのｘ方向の位置に対応する各画素の画素値は、スプライン関数で近似した実世界１の光信号に対応する光信号関数（実世界関数）Ｆ（ｘ）が、前景オブジェクトの動き量に対応して時間方向に位相シフトしながら移動することを表す物理モデルを、ｘ方向および時間方向に積分することにより取得された画素値であるとして、光信号関数Ｆ（ｘ）を推定するようにしたので、その推定結果として、光信号関数Ｆ（ｘ）を近似するスプライン関数を求めることができる。
【１４８４】
さらに、その光信号関数Ｆ（ｘ）を近似するスプライン関数を、ｘ方向および時間方向に、所定の単位で積分（再積分）することにより、入力画像内の前景オブジェクトの動きボケを除去した画素値でなる画像を生成するようにしたので、入力画像から動きボケを除去した画像を得ることができる。
【１４８５】
即ち、一般に、通常のテレビジョン放送や映画などの撮影では、ある程度の動きボケを許しており、また、カメラのシャッタ時間などを調整して、動きボケを視覚効果として利用することもある。しかしながら、カメラによる撮像によって得られた画像に、動きボケが生じている場合、その動きボケを含む画像から動きボケを除去することは基本的に困難であり、得られた画像に、必要以上の動きボケが生じてしまっている場合には、その動きボケが生じている画像は、撮影ミスとして処分される。
【１４８６】
また、動きボケを除去する従来の方法として、その動き方向と動き量に最適なウィナーフィルタを用いて処理する方法がある。しかしながら、ウィナーフィルタを用いる処理は、理想状態では（理想的な画像に対しては）効果を発揮するものの、量子化され、さらには、ノイズを有するような現実の画像に対しては破綻を生じることがある。
【１４８７】
これに対して、上述したように、光信号関数Ｆ（ｘ）を推定し、その推定結果としての、光信号関数Ｆ（ｘ）を近似するスプライン関数を積分する場合には、量子化され、さらには、ノイズを有するような現実の画像からであっても、動きボケを除去した鮮明な画像を得ることが可能である。
【１４８８】
なお、光信号関数Ｆ（ｘ）を推定し、その推定結果としての、光信号関数Ｆ（ｘ）を近似するスプライン関数を積分することにより動きボケを除去する手法は、動きボケの原因となっている前景オブジェクトなどの動き量が、画素の大きさより小さい場合であっても、動きボケを精度良く除去することができる。
【１４８９】
また、光信号関数Ｆ（ｘ）を推定し、その推定結果としての、光信号関数Ｆ（ｘ）を近似するスプライン関数を積分する場合には、動きボケを除去することができるとともに、スプライン関数を積分するときの積分範囲の設定によって、得られる画像の画素数を増加させることができる。即ち、画像の画素数は、例えば、クラス分類適応処理や線形補間処理などによって増加させることができるが、例えば、ウィナーフィルタを用いて処理することにより動きボケを除去した画像に対して、クラス分類適応処理や線形補間処理を施すと、ウィナーフィルタによる処理によって生じた破綻が強調されることがある。これに対して、光信号関数Ｆ（ｘ）を推定し、その推定結果としての、光信号関数Ｆ（ｘ）を近似するスプライン関数を積分する場合には、クラス分類適応処理や線形補間処理などを行わなくても、動きボケの除去と、得られる画像の画素数の増加とを、同時に行うことができる。ここで、画像の画素数の増加により、画像の解像度を向上させ、あるいは画像を拡大することができる。また、光信号関数Ｆ（ｘ）を近似するスプライン関数を積分するときの積分範囲の設定によっては、得られる画像の画素の数、即ち、空間方向の解像度を向上させる他、時間方向の解像度を向上させることも可能である。
【１４９０】
なお、光信号関数Ｆ（ｘ）の推定にあたっては、滑らかに変化する関数（個々では、スプライン関数）により実世界１の光信号を近似し、その滑らかに変化する関数が連続的に移動するという、図１２５に示した物理モデルを採用する他、画素の幅単位で一定値をとる階段状の関数により実世界１の光信号を近似し、その階段状の関数が、画素の幅単位で離散的に移動するという物理モデルを採用することも可能である。この場合、画素に射影される実世界１の光信号を近似する階段状の関数の値は画素内で一定であるから、空間混合は生じないが、階段状の関数が、画素の幅単位で離散的に移動するから、その移動前と移動後では、画素に、階段状の関数の異なる値が射影されるので、時間混合は生じる。従って、画素の幅単位で一定値をとる階段状の関数により実世界１の光信号を近似し、その階段状の関数が、画素の幅単位で離散的に移動するという物理モデルは、空間混合は考慮せず、時間混合だけを考慮したモデルということができる。
【１４９１】
階段状の関数を用いた物理モデルは、滑らかに変化する関数を用いた物理モデルと同様に、時間混合を考慮しているので、階段状の関数を用いた物理モデルを採用した場合であっても、動きボケを除去することができる。但し、滑らかに変化する関数を用いた物理モデルは、時間混合のみならず、空間混合も考慮しているので、滑らかに変化する関数を用いた物理モデルを採用した場合の方が、階段状の関数を用いた物理モデルを採用した場合よりも、精度の高い処理を行うことができる。
【１４９２】
次に、例えば、イメージセンサの１つの画素などの小領域に射影される実世界１の光信号に注目した場合、そのような小領域における光信号の変化は、一般に小さい。そこで、実世界１の光信号の推定にあたり、画素における光信号の変化（暴れ）が小さいという拘束条件を導入することにより、より精度良く実世界１の光信号を推定することが可能となる。
【１４９３】
いま、例えば、上述したように、実世界１の光信号を３次のスプライン関数で近似し、画素における光信号の変化が小さいという拘束条件を導入することとする。ここで、画素における光信号の変化が小さいということは、画素より細かい解像度に相当する部分の画素値の変化が小さいということである。また、画素における光信号の変化が小さいということは、その画素内のある位置における画素値の変化量を画素内傾斜ということとすると、画素内傾斜が小さいということでもある。
【１４９４】
画素における光信号の変化が小さいという拘束条件は、例えば、その画素における光信号の最大値と最小値との差を所定の閾値以下（未満）とする式で記述することができる。
【１４９５】
ここで、このような拘束条件を記述する式を、以下、適宜、拘束条件式という。
【１４９６】
画素における光信号の最大値と最小値との差を所定の閾値以下とする拘束条件式を記述するには、１画素における光信号の最大値と最小値が必要である。しかしながら、上述したような３次のスプライン関数によれば、１画素における実世界１の光信号は、３次の式で表される曲線に相当する曲線で近似されるため、そのような曲線の、画素における最大値と最小値を用いて、拘束条件式を記述するのは困難である。
【１４９７】
そこで、ここでは、例えば、図１３９に示すように、１画素の領域を３等分して得られる３つの小領域における画素値が等しいとする拘束条件式を、画素内の光信号の変化が小さいという拘束条件を記述する拘束条件式として採用することとする。
【１４９８】
ここで、１画素を、３以外の数の小領域に分割し、その小領域それぞれの画素値が等しいとする拘束条件式を採用することも可能である。但し、実世界１の光信号を近似するスプライン関数として、３次のスプライン関数を用いる場合には、１画素は、３以上の小領域に分割する必要がある。
【１４９９】
図１３９は、水平方向をｘ方向とするとともに、垂直方向を実世界１の光信号のレベル方向として、その光信号を近似する３次のスプライン関数を示している。
【１５００】
いま、ある画素のｘ方向を３等分して得られる３つの小領域に、スプライン関数によって近似される実世界１の光信号が射影されることにより得られる画素値を、図１３９に示すように、その左側の小領域の画素値から順に、ＳＬ，ＳＣ，ＳＲと表す。なお、画素値ＳＬ，ＳＣ，ＳＲは、スプライン関数によって近似される実世界１の光信号の曲線を、１画素のｘ方向を３等分する範囲それぞれにおいて積分することにより得られる積分値、即ち、スプライン関数によって近似される実世界１の光信号の曲線、ｘ軸、および１画素のｘ方向を３等分するレベル方向と平行な直線に囲まれる面積に等しい。
【１５０１】
１画素の領域を３等分して得られる３つの小領域における画素値ＳＬ，ＳＣ，ＳＲが等しいとする拘束条件式は、次式で表すことができる。
【１５０２】
【数１８０】
2005018519.tif 000361
2005018519.tif 000362
【１５０３】
なお、１画素の領域を３等分して得られる３つの小領域における画素値が等しいということは、画素における光信号の変化が小さいということに等価である。
【１５０４】
式（１８０）の拘束条件式は、次の２式の拘束条件式に分けることができる。
【１５０５】
【数１８１】
2005018519.tif 000363
2005018519.tif 000364
【１５０６】
【数１８２】
2005018519.tif 000365
2005018519.tif 000366
【１５０７】
画素値ＳＬ，ＳＣ，ＳＲは、上述したように、スプライン関数によって近似される実世界１の光信号の曲線を、１画素のｘ方向を３等分する範囲それぞれにおいて積分することにより得られる積分値であるから、式（１３９）の積分範囲（α，β）を、１画素のｘ方向を３等分する範囲とすることにより、次式にしたがって求めることができる。
【１５０８】
【数１８３】
2005018519.tif 000367
2005018519.tif 000368
【１５０９】
【数１８４】
2005018519.tif 000369
2005018519.tif 000370
【１５１０】
【数１８５】
2005018519.tif 000371
2005018519.tif 000372
【１５１１】
但し、式（１８３）乃至式（１８５）におけるＭｋは、上述した（１４０）および式（１４１）で表される。
【１５１２】
式（１８１）の拘束条件式によれば、画素値ＳＬとＳＣに、式（１８３）と式（１８４）をそれぞれ代入することで、次式に示すＮ−１個の拘束条件式を得ることができる。
【１５１３】
【数１８６】
2005018519.tif 000373
2005018519.tif 000374
【１５１４】
また、式（１８２）の拘束条件式によれば、画素値ＳＣとＳＲに、式（１８４）と式（１８５）をそれぞれ代入することで、次式に示すＮ−１個の拘束条件式を得ることができる。
【１５１５】
【数１８７】
2005018519.tif 000375
2005018519.tif 000376
【１５１６】
従って、拘束条件の導入により、式（１８６）と式（１８７）の合計で、２（Ｎ−１）個の拘束条件式を得ることができる。
【１５１７】
図１４０は、拘束条件式を用いた実世界の推定方法を説明するための図である。
【１５１８】
図１２５に示した物理モデルによれば、式（１６６）乃至式（１７０）に示したＮ＋１個の方程式を得る（生成する）ことができる。ここで、上述の場合には、フラット仮定を導入したが、式（１６６）乃至式（１７０）に示したＮ＋１個の方程式のうちの、３つの式（１６６）乃至式（１６８）は、フラット仮定が影響する式であり、他の２つの式（１６９）および式（１７０）は、フラット仮定が影響しない式である。
【１５１９】
さらに、拘束条件の導入により、式（１８６）と式（１８７）で表される２（Ｎ−１）個の拘束条件式を得ることができる。
【１５２０】
従って、拘束条件を導入したことによって、式（１６６）乃至式（１７０）、並びに式（１８６）および式（１８７）の合計で３Ｎ−１（＝Ｎ＋１＋２（Ｎ−１））個の方程式を得ることができる。
【１５２１】
即ち、図１２５に示した物理モデルにおいて、実世界１の光信号を近似するスプライン関数を定義する変数ｙｋは、Ｎ＋１であるのに対して、その変数ｙｋの数より多い３Ｎ−１の方程式を得ることができる。
【１５２２】
未知変数ｙｋの数より多い３Ｎ−１の方程式は、連立方程式として解くことができない。そこで、ここでは、３Ｎ−１の方程式それぞれにおいて生じる誤差の自乗和を最小にする変数ｙｋを求めること、即ち、フラット仮定が影響する式（１６６）乃至式（１６８）、フラット仮定が影響しない式（１６９）および式（１７０）、並びに式（１８６）および式（１８７）の拘束条件式からなる３Ｎ−１の方程式を、図１４０に示すように、最小自乗法によって解くこととする。
【１５２３】
まず、式（１６６）乃至式（１７０）のＮ＋１個の方程式における誤差の自乗和を考える。
【１５２４】
いま、（１６６）乃至式（１７０）のＮ＋１個の方程式を、次式に示すように、行列と列ベクトルとを用いて表すこととする。
【１５２５】
【数１８８】
2005018519.tif 000377
2005018519.tif 000378
【１５２６】
式（１８８）において、右辺と左辺の誤差ｅｋは、式（１８９）で表される。
【１５２７】
【数１８９】
2005018519.tif 000379
2005018519.tif 000380
【１５２８】
ここで、上述したように、式（１６６）乃至式（１７０）に示したＮ＋１個の方程式のうちの、３つの式（１６６）乃至式（１６８）は、フラット仮定が影響する式であり、他の２つの式（１６９）および式（１７０）は、フラット仮定が影響しない式である。
【１５２９】
そこで、式（１６６）乃至式（１７０）のＮ＋１個の方程式における誤差の自乗和を、フラット仮定が影響する式（１６６）乃至式（１６８）における誤差の自乗和Ｅ１と、フラット仮定が影響しない式（１６９）および式（１７０）における誤差の自乗和Ｅ２とに分けて考えることとする。
【１５３０】
誤差の自乗和Ｅ１とＥ２は、式（１８９）で表される誤差ｅｋの自乗和として、次のように表される。
【１５３１】
【数１９０】
2005018519.tif 000381
2005018519.tif 000382
【１５３２】
【数１９１】
2005018519.tif 000383
2005018519.tif 000384
【１５３３】
但し、式（１９０）および式（１９１）において、Ｐは、動き量ｖを用いて、式Ｐ＝［ｖ＋０．５］で表される値、即ち、ｖ＋０．５以下の最大の整数値である。
【１５３４】
次に、式（１８６）のＮ−１個の拘束条件式における誤差の自乗和を考える。
【１５３５】
いま、式（１８６）のＮ−１個の拘束条件式を、次式に示すように、行列と列ベクトルとを用いて表すこととする。
【１５３６】
【数１９２】
2005018519.tif 000385
2005018519.tif 000386
【１５３７】
式（１９２）において、右辺と左辺の誤差ｅｋは、式（１９３）で表される。
【１５３８】
【数１９３】
2005018519.tif 000387
2005018519.tif 000388
【１５３９】
従って、式（１９３）の誤差ｅｋの自乗和を、Ｅ３と表すこととすると、その誤差ｅｋの自乗和Ｅ３は、次のように表される。
【１５４０】
【数１９４】
2005018519.tif 000389
2005018519.tif 000390
【１５４１】
次に、式（１８７）のＮ−１個の拘束条件式における誤差の自乗和を考える。
【１５４２】
いま、式（１８７）のＮ−１個の拘束条件式を、次式に示すように、行列と列ベクトルとを用いて表すこととする。
【１５４３】
【数１９５】
2005018519.tif 000391
2005018519.tif 000392
【１５４４】
式（１９５）において、右辺と左辺の誤差ｅｋは、式（１９６）で表される。
【１５４５】
【数１９６】
2005018519.tif 000393
2005018519.tif 000394
【１５４６】
従って、式（１９６）の誤差ｅｋの自乗和を、Ｅ４と表すこととすると、その誤差ｅｋの自乗和Ｅ４は、次のように表される。
【１５４７】
【数１９７】
2005018519.tif 000395
2005018519.tif 000396
【１５４８】
３Ｎ−１個の式（１６６）乃至式（１７０）、並びに式（１８６）および式（１８７）の方程式の左辺と右辺の誤差の自乗和を、Ｅと表すこととすると、その誤差の自乗和Ｅは、式（１９０）の自乗和Ｅ１、式（１９１）の自乗和Ｅ２、式（１９４）の自乗和Ｅ３、および式（１９７）の自乗和Ｅ４の和であるから、次式を計算することにより求めることができる。
【１５４９】
【数１９８】
2005018519.tif 000397
2005018519.tif 000398
【１５５０】
式（１９８）で表される誤差の自乗和Ｅを最小にする変数ｙｋを求めることにより、その変数ｙｋによって定義されるスプライン関数は、図１２５に示した物理モデルにおける実世界１の光信号をより精度良く近似し、かつ、画素における変化が小さいものとなる。
【１５５１】
ここで、式（１９８）で表される誤差の自乗和Ｅは、大きく、フラット仮定が影響する式における誤差の自乗和Ｅ１、フラット仮定が影響しない式における誤差の自乗和Ｅ２、および拘束条件式における誤差の自乗和Ｅ３＋Ｅ４の３種類の誤差に分けることができる。
【１５５２】
そこで、ここでは、上述の３種類の誤差のうちの、例えば、フラット仮定が影響しない式における誤差の自乗和Ｅ２に対する重みを基準として（１として）、図１４０に示すように、フラット仮定が影響する式における誤差の自乗和Ｅ１に対する重みをＷ１とするとともに、拘束条件式における誤差の自乗和Ｅ３＋Ｅ４に対する重みをＷ２として、３Ｎ−１個の式（１６６）乃至式（１７０）、並びに式（１８６）および式（１８７）の左辺と右辺の誤差の自乗和Ｅを、式（１９８）に代えて、式（１９９）で表すこととする。
【１５５３】
【数１９９】
2005018519.tif 000399
2005018519.tif 000400
【１５５４】
式（１９９）における重みＷ１とＷ２により、フラット仮定が影響する式で生じる誤差、フラット仮定が影響しない式で生じる誤差、および拘束条件式で生じる誤差のバランスを調整することが可能となる。
【１５５５】
重みＷ１は、実世界１の光信号を近似するスプライン関数を求めるのにあたって、フラット仮定を重視する程度を表す。例えば、重みＷ１を１とした場合には、フラット仮定が影響する式とフラット仮定が影響しない式とを同等に扱って、実世界１の光信号を近似するスプライン関数が求められることになる。また、例えば、重みＷ１を０とした場合には、フラット仮定による誤差を考慮せずに、実世界１の光信号を近似するスプライン関数が求められることになる。
【１５５６】
重みＷ２は、実世界１の光信号を近似するスプライン関数を求めるのにあたって、拘束条件を重視する程度を表す。重みＷ２として大きな値を採用するほど、実世界１の光信号を近似するスプライン関数として、変化の小さいものが求められることになる。なお、重みＷ１としては、例えば、０以上の値を採用することが可能である。フラット仮定が、実世界１の光信号を精度良く近似している場合には、重みＷ１を１以上の値とすることにより、実世界１の光信号を精度良く近似するスプライン関数を求めることが可能となる。また、重みＷ２としては、例えば、１０−５乃至０．１程度の値を採用することが可能である。
【１５５７】
ここで、式（１９９）によれば、フラット仮定が影響する式で生じる誤差に対する重みＷ１と、拘束条件式で生じる誤差に対する重みＷ２とを調整することによって、相対的に、フラット仮定が影響しない式で生じる誤差に対する重みを調整することができる。但し、式（１９９）では、重みＷ１とＷ２の他に、フラット仮定が影響しない式で生じる誤差に対する重みを設け、その重みを、直接調整するようにすることも可能である。
【１５５８】
式（１９９）で表される誤差の自乗和Ｅを最小にする変数ｙｋは、次式に示すように、誤差の自乗和Ｅを、変数ｙｋで偏微分した値を０にする変数ｙｋである。
【１５５９】
【数２００】
2005018519.tif 000401
2005018519.tif 000402
【１５６０】
式（２００）に、式（１９０）の自乗和Ｅ１、式（１９１）の自乗和Ｅ２、式（１９４）の自乗和Ｅ３、および式（１９７）の自乗和Ｅ４を代入して計算すると、式（２００）の正規方程式が得られる。
【１５６１】
【数２０１】
2005018519.tif 000403
2005018519.tif 000404
【１５６２】
式（２０１）の正規方程式は、Ｎ＋１次元１次連立方程式であり、この式（２０１）を解くことによって、変数ｙｋで定義される式（１３７）のスプライン関数Ｃｋ（ｘ）を求めることができる。
【１５６３】
なお、式（２０１）の正規方程式を、行列と列ベクトルとを用いて表すと、式（２０２）に示すようになる。
【１５６４】
【数２０２】
2005018519.tif 000405
2005018519.tif 000406
【１５６５】
実世界１の光信号を近似するスプライン関数Ｃｋ（ｘ）を求めた後は、拘束条件式を導入しない場合と同様にして再積分を行うことにより、動きボケが除去された任意の解像度の画像を得ることができる。
【１５６６】
即ち、露出時間を１とすれば、式（１３９）の積分範囲（α，β）を所望の値とすることにより、動きボケが除去された所望の解像度の画像を得ることができる。
【１５６７】
具体的には、例えば、元の画像と同一解像度の画像は、上述の式（１７１）乃至式（１７３）を計算することにより求めることができる。また、例えば、水平方向の解像度が元の画像の２倍の画像は、上述の式（１７４）乃至式（１７９）を計算することにより求めることができる。
【１５６８】
ここで、フラット仮定は、処理単位の領域外における実世界１の光信号が一定値であるという拘束条件を与えていると考えることができる。この場合、重みＷ２は、そのような拘束条件を記述する拘束条件式に対する重みであるということができる。
【１５６９】
次に、図１４１は、上述したように、スプライン関数によって実世界１の光信号（光信号関数Ｆ（ｘ））を近似することにより、動きボケがなく、さらには、必要に応じて解像度の高い画像を生成する図１２０の動きボケ調整部１７０３５の他の構成例を示している。なお、図中、ｆｉｇ１２０２５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は適宜省略する。
【１５７０】
図１４１の動きボケ調整部１７０３５においては、入力画像について、図１２５に示した物理モデルに基づいて得られる式（１６６）乃至式（１７０）に示したＮ＋１個の方程式の他に、拘束条件を記述する式（１８６）および式（１８７）に示した２（Ｎ−１）個の拘束条件式を用いて、実世界１の光信号を近似するスプライン関数が求められ、動きボケのない所望の解像度の画像が生成される。
【１５７１】
即ち、図１４１において、動きボケ調整部１７０３５は、物理モデル適用部１７０８１、画素内拘束式作成部１７０８２、物理モデル値取得部１７０８３、および再混合部１７０５３から構成されている。そして、図１４１では、図１２０の動きボケ調整量出力部１７０３２から供給される定常性情報としての動き量ｖ、および処理単位決定部１７０３４から供給される処理単位情報が、物理モデル適用部１７０８１に供給されるようになっている。また、図１２０の前景背景分離部１７０３３から供給される前景成分が、物理モデル値取得部１７０８３に供給されるようになっている。
【１５７２】
物理モデル適用部１７０８１は、モデル化部１７０９１と方程式作成部１７０９２から構成されている。
【１５７３】
モデル化部１７０９１には、図１２０の動きボケ調整量出力部１７０３２から供給される定常性情報としての動き量ｖと、処理単位決定部１７０３４から供給される処理単位情報とが供給される。
【１５７４】
モデル化部１７０９１は、図１３７のモデル化部１７０６１と同様に、処理単位決定部１７０３４から供給される処理単位情報に基づいて、処理単位を構成する画素数（例えば、図１２５の物理モデルでは、Ｎ＋１画素）を認識する。さらに、モデル化部１７０９１は、図１３７のモデル化部１７０６１と同様に、処理単位を構成する画素数と、動き量ｖとから、図１２５の物理モデルの情報を求め、その物理モデルの情報を、画素内拘束式作成部１７０８２と方程式作成部１７０９２に供給する。
【１５７５】
方程式作成部１７０９２は、モデル化部１７０９１から供給される物理モデルの情報から、式（１６６）乃至式（１７０）に示した方程式を作成し、物理モデル値取得部１７０８３に供給する。なお、方程式作成部１７０９２で作成される式（１６６）乃至式（１７０）の方程式は、その変数ｖに、図１２０の動きボケ調整量出力部１７０３２からモデル化部１７０９１に供給された定常性情報としての動き量ｖの具体的な値が代入されたものである。
【１５７６】
画素内拘束式作成部１７０８２は、モデル化部１７０９１から供給される情報から処理単位を構成する画素数Ｎ＋１を認識し、式（１８６）および式（１８７）に示した拘束条件式を作成して、物理モデル値取得部１７０８３に供給する。
【１５７７】
物理モデル値取得部１７０８３は、最小自乗法適用部１７０９３で構成され、方程式作成部１７０９２から供給される式（１６６）乃至式（１７０）の方程式と、画素内拘束式作成部１７０８２から供給される式（１８６）および式（１８７）に示した拘束条件式に対して、最小自乗法を適用して解くことにより、式（１３７）のスプライン関数（を定義する変数ｙｋ）を求める。
【１５７８】
即ち、最小自乗法適用部１７０９３は、図１２０の前景背景分離部１７０３３から供給される前景成分から、処理単位の画素の画素値を取得し、その画素値を、方程式作成部１７０９２から供給される式（１６６）乃至式（１７０）の方程式と、画素内拘束式作成部１７０８２から供給される式（１８６）および式（１８７）に示した拘束条件式とから得られる式（２０１）（または式（２０２））の正規方程式に代入して解くことにより、式（１３７）のスプライン関数（を定義する変数ｙｋ）を求め、再混合部１７０５３に供給する。
【１５７９】
なお、最小自乗法適用部１７０９３において、式（２０１）の正規方程式を解くにあたっては、重みＷ１およびＷ２が必要であるが、この重みＷ１およびＷ２は、例えば、最小自乗法適用部１７０９３において、あらかじめ固定の値が設定されているものとする。
【１５８０】
次に、図１４２のフローチャートを参照して、図１４１の動きボケ調整部１７０３５の処理について説明する。
【１５８１】
まず最初に、ステップＳ１７０８１において、モデル化部１７０９１は、図１２０の動きボケ調整量出力部１７０３２から供給される定常性情報としての動き量ｖと、処理単位決定部１７０３４から供給される処理単位情報を取得し、ステップＳ１７０８２に進む。ステップＳ１７０８２では、モデル化部１７０９１は、ステップＳ１７０８１で取得された処理単位情報が表す処理単位に射影された実世界１の光信号を、図１２５に示した物理モデルにモデル化する。
【１５８２】
即ち、モデル化部１７０９１は、処理単位決定部１７０３４から供給される処理単位情報に基づいて、処理単位を構成する画素数を認識する。さらに、モデル化部１７０９１は、処理単位を構成する画素数と、ステップＳ１７０８１で取得された動き量ｖとから、図１２５の物理モデルの情報を求め、その物理モデルの情報を、画素内拘束式作成部１７０８２と方程式作成部１７０９２に供給して、ステップＳ１７０８２からＳ１７０８３に進む。
【１５８３】
ステップＳ１７０８３では、方程式作成部１７０９２は、モデル化部１７０９１から供給される物理モデルの情報から、式（１６６）乃至式（１７０）に示した方程式を作成し、物理モデル値取得部１７０８３に供給して、ステップＳ１７０８４に進む。
【１５８４】
ステップＳ１７０８４では、画素内拘束式作成部１７０８２は、式（１８６）および式（１８７）に示した拘束条件式を作成し、物理モデル値取得部１７０８３に供給して、ステップＳ１７０８５に進む。
【１５８５】
なお、ステップＳ１７０８２乃至Ｓ１７０８４の処理は、図１２０の処理単位決定部１７０３４において決定される処理単位すべてについて行われる。
【１５８６】
ステップＳ１７０８５では、物理モデル値取得部１７０８３の最小自乗法適用部１７０９３は、図１２０の処理単位決定部１７０３４において得られた処理単位のうちの、まだ注目処理単位としていない処理単位を、注目処理単位として選択し、その注目処理単位の画素の画素値Ｙｋを、図１２０の前景背景分離部１７０３３から供給される前景成分から取得して、ステップＳ１７０８６に進む。
【１５８７】
ステップＳ１７０８６では、最小自乗法適用部１７０９３は、方程式作成部１７０９２から供給される注目処理単位についての式（１６６）乃至式（１７０）の方程式と、画素内拘束式作成部１７０８２から供給される式（１８６）および式（１８７）に示した拘束条件式に対して、注目処理単位の画素の画素値Ｙｋを代入し、さらに重みＷ１とＷ２を用いて、式（２０１）の正規方程式をたてることにより取得して、ステップＳ１７０８７に進む。
【１５８８】
ステップＳ１７０８７では、最小自乗法適用部１７０９３は、図１２０の処理単位決定部１７０３４において得られた処理単位すべてを、注目処理単位としたかどうかを判定し、まだしていないと判定した場合、ステップＳ１７０８５に戻る。この場合、ステップＳ１７０８５では、最小自乗法適用部１７０９３は、図１２０の処理単位決定部１７０３４において得られた処理単位のうちの、まだ注目処理単位としていない処理単位を、注目処理単位として新たに選択し、以下、同様の処理を繰り返す。
【１５８９】
また、ステップＳ１７０８７において、図１２０の処理単位決定部１７０３４において得られた処理単位すべてを、注目処理単位としたと判定された場合、即ち、図１２０の処理単位決定部１７０３４において得られた処理単位すべてについて、正規方程式が得られた場合、ステップＳ１７０８８に進み、最小自乗法適用部１７０９３は、処理単位すべてにおいて得られた正規方程式を解くことにより、各処理単位について、式（１３７）のスプライン関数（を定義する変数ｙｋ）を求め、即ち、実世界１の信号を近似する式（１３７）および式（１３８）のスプライン関数を求め、再混合部１７０５３に供給して、ステップＳ１７０８９に進む。
【１５９０】
ステップＳ１７０８９では、再混合部１７０５３は、最小自乗法適用部１７０９３から供給されるスプライン関数を用いて再混合（再積分）を行う。即ち、再混合部１７０５３は、最小自乗法適用部１７０９３から供給される、処理単位ごとに得られたスプライン関数それぞれについて、そのスプライン関数が、露光時間の間、露光開始時刻における位置から移動しないとして得られる曲面を、時間方向に、露光時間の間だけ積分するとともに、ｘ方向に、例えば、処理単位の画素＃ｋのｘ方向の幅などの所定の単位で積分（再積分）することにより、処理単位ごとに、動きボケのない画素値を求め、ステップＳ１７０８９からＳ１７０９０に進む。ステップＳ１７０９０では、再混合部１７０５３は、処理単位ごとに得られた動きボケのない画素値からなる画像、即ち、動きボケのない前景オブジェクトの画像を出力して処理を終了する。
【１５９１】
以上のように、それぞれ時空間積分効果を有する複数の画素に実世界１の光信号が射影され、実世界１の光信号の定常性の一部が欠落した入力画像内の前景オブジェクトの動き量を設定し、入力画像の空間方向のうちのｘ方向の位置に対応する各画素の画素値は、スプライン関数で近似した実世界１の光信号に対応する光信号関数（実世界関数）Ｆ（ｘ）が、前景オブジェクトの動き量に対応して時間方向に位相シフトしながら移動することを表す物理モデルを、ｘ方向および時間方向に積分することにより取得された画素値であるとし、さらに、光信号関数Ｆ（ｘ）を近似するスプライン関数によって表される画素内の画素値の変化が小さいとする拘束条件を与える拘束条件式を採用して、光信号関数Ｆ（ｘ）を推定するようにしたので、その推定結果として、光信号関数Ｆ（ｘ）をより精度良く近似するスプライン関数を求めることができる。
【１５９２】
さらに、その光信号関数Ｆ（ｘ）を近似するスプライン関数を、ｘ方向および時間方向に、所定の単位で積分（再積分）することにより、入力画像内の前景オブジェクトの動きボケを除去した画素値でなる画像を生成するようにしたので、入力画像から動きボケが除去された、所望の解像度の画像を得ることができる。
【１５９３】
なお、画素値の変化が小さいとする拘束条件は、空間方向（上述の場合にはｘ方向）に適用する他、時間方向に適用することが可能である。
【１５９４】
次に、図１１３の信号処理装置４における実世界推定部１７００３において実世界を推定する処理と、画像生成部１７００４において実世界の推定結果を用いて画像を生成する処理とを、両方合わせて、実処理ということとする。
【１５９５】
図１４３は、実処理を行う実処理部１７１００の構成例を示している。
【１５９６】
実処理部１７１００には、実処理の対象となる入力画像と、その実処理（実世界を推定する処理と、実世界の推定結果を用いて画像を生成する処理）に必要なパラメータとが供給される。そして、実処理部１７１００は、実世界推定部１７００３と画像生成部１７００４から構成され、実世界推定部１７００３では、実世界を推定する処理が、入力画像と実処理に必要なパラメータを用いて行われ、画像生成部１７００４では、実世界の推定結果を用いて、例えば、入力画像から動きボケを除去した画像や、入力画像よりも高解像度の画像、あるいは、入力画像から動きボケを除去し、かつ入力画像よりも高解像度の画像などが生成される。
【１５９７】
ここで、実処理部１７１００に供給される、実処理に必要なパラメータとしては、図１１３の処理領域設定部１７００１が出力する処理領域情報や、定常性設定部１７００２が出力する定常性情報、さらには、式（１９９）で導入した重みＷ１およびＷ２になどがある。
【１５９８】
図１４４は、動きボケを有する入力画像から動きボケを除去した画像を得る処理、または動きボケが除去され、かつ入力画像よりも高解像度の画像を得る処理を行う場合の、図１４３の実処理部１７１００の構成例を示している。なお、図中、図１３７の動きボケ調整部１７０３５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【１５９９】
図１４４の実処理部１７１００には、入力画像が供給されるとともに、図１１３の処理領域設定部１７００１から処理領域情報が、実処理に必要なパラメータとして供給され、定常性設定部１７００２から定常性情報が、実処理に必要なパラメータとして供給される。ここで、図１４４では、入力画像における、処理領域情報が表す処理領域に表示されたオブジェクトが、例えば、水平方向に一定速度で移動しており、これにより、処理領域において動きボケが生じているものとする。さらに、図１４４では、定常性情報として、例えば、処理領域に表示されたオブジェクトの動き量ｖを採用することとする。なお、入力画像としては、上述したような細線が斜め方向に表示された画像を採用することが可能である。この場合、処理領域情報は、入力画像における細線を含む領域（処理領域）を表す情報であり、定常性情報は、細線の方向（角度）を表す情報である必要がある。
【１６００】
図１４４において、入力画像は、前処理部１７１０１に供給される。また、実処理に必要なパラメータのうちの処理領域情報は、物理モデル適用部１７０５１のモデル化部１７０６１と、前処理部１７１０１に供給される。さらに、実処理に必要なパラメータのうちの定常性情報は、物理モデル適用部１７０５１のモデル化部１７０６１に供給される。
【１６０１】
前処理部１７１０１は、処理領域情報から処理領域を認識し、その処理領域を構成する画素の画素値を、入力画像から抽出して、物理モデル適用部１７０５１の連立方程式取得部１７０６３に供給する。
【１６０２】
次に、図１４５のフローチャートを参照して、図１４４の実処理部１７１００の処理について説明する。
【１６０３】
まず最初に、ステップＳ１７１０１において、モデル化部１７０６１は、図１１３の処理領域設定部１７００１から供給される処理領域情報と、定常性設定部１７００２から供給される定常性情報としての動き量ｖとを、実処理に必要なパラメータとして取得するとともに、前処理部１７１０１が、図１１３の処理領域設定部１７００１から供給される処理領域情報を、実処理に必要なパラメータとして取得し、ステップＳ１７１０２に進む。ステップＳ１７１０２では、前処理部１７１０１が、処理領域情報から処理領域を認識し、その処理領域を構成する画素の画素値を、入力画像から抽出して、物理モデル適用部１７０５１の連立方程式取得部１７０６３に供給する。
【１６０４】
そして、ステップＳ１７１０２からＳ１７１０３に進み、モデル化部１７０６１は、ステップＳ１７１０１で取得された処理領域情報が表す処理領域に射影された実世界１の光信号を、図１２５に示した物理モデルにモデル化する。
【１６０５】
即ち、モデル化部１７０６１は、処理領域設定部１７００１から供給される処理領域情報に基づいて、処理領域の各水平ラインを構成する画素数を認識する。ここで、処理領域の各水平ラインは、図１３７の動きボケ調整部１７０３５で説明した処理単位に相当する。さらに、モデル化部１７０６１は、処理領域の各水平ラインを構成する画素数と、ステップＳ１７１０１で取得された動き量ｖとから、図１２５の物理モデルの情報を求め、その物理モデルの情報を、方程式作成部１７０６２に供給して、ステップＳ１７１０３からＳ１７１０４に進む。
【１６０６】
ステップＳ１７１０４では、方程式作成部１７０６２は、モデル化部１７０６１から供給される物理モデルの情報から、式（１６６）乃至式（１７０）に示した方程式を作成し、連立方程式取得部１７０６３に供給して、ステップＳ１７１０５に進む。
【１６０７】
なお、ステップＳ１７１０３およびＳ１７１０４の処理は、処理領域情報が表す処理領域のすべての水平ラインについて行われる。
【１６０８】
ステップＳ１７１０５では、連立方程式取得部１７０６３は、処理領域情報が表す処理領域の水平ラインのうちの、まだ注目水平ラインとしていない水平ラインを、注目水平ラインとして選択し、その注目水平ラインの画素の画素値Ｙｋを、前処理部１７１０１から供給される処理領域の画素値から取得して、ステップＳ１７１０６に進む。ステップＳ１７１０６では、連立方程式取得部１７０６３は、方程式作成部１７０６２から供給される注目水平ラインについての式（１６６）乃至式（１７０）の方程式に対して、注目水平ラインの画素の画素値Ｙｋを代入し、これにより、注目水平ラインの画素の数に等しい数の連立方程式を取得して、物理モデル値取得部１７０５２に供給する。
【１６０９】
そして、ステップＳ１７１０６からＳ１７１０７に進み、物理モデル値取得部１７０５２の連立方程式演算部１７０６４は、連立方程式取得部１７０６３から供給される、注目水平ラインについての連立方程式を演算し（解き）、これにより、注目水平ラインに射影された実世界１の信号を近似する式（１３７）および式（１３８）のスプライン関数を求め、再混合部１７０５３に供給して、ステップＳ１７１０８に進む。
【１６１０】
ステップＳ１７１０８では、再混合部１７０５３は、連立方程式演算部１７０６４から供給されるスプライン関数を用いて再混合（再積分）を行う。即ち、再混合部１７０５３は、連立方程式演算部１７０６４から供給される注目水平ラインについてのスプライン関数について、そのスプライン関数が、露光時間の間、露光開始時刻における位置から移動しないとして得られる曲面を、時間方向に、露光時間の間だけ積分するとともに、ｘ方向に、例えば、処理領域の画素＃ｋのｘ方向の幅などの所定の単位で積分（再積分）することにより、注目水平ラインについて、動きボケのない画素値を求め、ステップＳ１７１０８からＳ１７１０９に進む。
【１６１１】
ステップＳ１７１０９では、連立方程式取得部１７０６３は、処理領域情報が表す処理領域のすべての水平ラインを、注目水平ラインとしたかどうかを判定し、まだしていないと判定した場合、ステップＳ１７１０５に戻る。この場合、ステップＳ１７１０５では、連立方程式取得部１７０６３は、処理領域の水平ラインのうちの、まだ注目水平ラインとしていない処理領域を、注目水平ラインとして新たに選択し、以下、同様の処理を繰り返す。
【１６１２】
また、ステップＳ１７１０９において、処理領域の水平ラインのすべてを、注目水平ラインとしたと判定された場合、即ち、処理領域の水平ラインのすべてについて、動きボケのない画素値が得られた場合、ステップＳ１７１１０に進み、再混合部１７０５３は、処理領域のすべての水平ラインについて得られた動きボケのない画素値、即ち、動きボケのない処理領域の画像を出力して処理を終了する。
【１６１３】
以上のように、図１４４の実処理部１７１００では、図１３７の動きボケ調整部１７０３５における場合と同様にして、動きボケが除去され、さらには、必要に応じて高解像度にされた画像が得られる。
【１６１４】
次に、図１４６は、動きボケを有する入力画像から動きボケを除去した画像を得る処理、または動きボケが除去され、かつ入力画像よりも高解像度の画像を得る処理を行う場合の、図１４３の実処理部１７１００の他の構成例を示している。なお、図中、図１４１の動きボケ調整部１７０３５、または図１４４の実処理部１７１００における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【１６１５】
図１４６の実処理部１７１００には、入力画像が供給されるとともに、図１１３の処理領域設定部１７００１から処理領域情報が供給され、定常性設定部１７００２から定常性情報が供給される。ここで、図１４６では、上述の図１４４における場合と同様に、入力画像における、処理領域情報が表す処理領域に表示されたオブジェクトが、例えば、水平方向に一定速度で移動しており、これにより、処理領域において動きボケが生じているものとする。さらに、図１４６では、定常性情報として、例えば、処理領域に表示されたオブジェクトの動き量ｖを採用することとする。
【１６１６】
図１４６において、入力画像は、前処理部１７１０１に供給される。また、実処理に必要なパラメータのうちの処理領域情報は、物理モデル適用部１７０８１のモデル化部１７０９１と、前処理部１７１０１に供給される。さらに、実処理に必要なパラメータのうちの定常性情報は、物理モデル適用部１７０８１のモデル化部１７０９１に供給される。
【１６１７】
また、図１４６では、実処理に必要なパラメータとして、処理領域情報と定常性情報の他に、式（２０１）における重みＷ１とＷ２が、物理モデル値取得部１７０８３の最小自乗法適用部１７０９３に供給されるようになっている。なお、図１４６において、実処理に必要なパラメータとしての重みＷ１とＷ２としては、例えば、あらかじめ固定の値を設定しておくことが可能である。また、重みＷ１とＷ２は、例えば、ユーザがユーザＩ／Ｆ１７００６を操作することにより、補助情報として入力することもできる。さらに、重みＷ１とＷ２としては、例えば、処理領域の画像の特徴量に応じた可変の値を採用することも可能である。
【１６１８】
次に、図１４７のフローチャートを参照して、図１４６の実処理部１７１００の処理について説明する。
【１６１９】
まず最初に、ステップＳ１７１３１において、モデル化部１７０９１は、図１１３の処理領域設定部１７００１から供給される処理領域情報、定常性設定部１７００２から供給される定常性情報としての動き量ｖを、実処理に必要パラメータとして取得する。さらに、ステップＳ１７１３１では、物理モデル値取得部１７０８３の最小自乗法適用部１７０９３が、例えば、ユーザＩ／Ｆ１７００６などから供給される補助情報としての重みＷ１とＷ２を、実処理に必要パラメータとして取得し、ステップＳ１７１３２に進む。ステップＳ１７１３２では、前処理部１７１０１が、処理領域情報から処理領域を認識し、その処理領域を構成する画素の画素値を、入力画像から抽出して、物理モデル値取得部１７０８３の最小自乗法適用部１７０９３に供給する。
【１６２０】
そして、ステップＳ１７１３２からＳ１７１３３に進み、モデル化部１７０９１は、ステップＳ１７１３１で取得された処理領域情報が表す処理領域の水平ラインに射影された実世界１の光信号を、図１２５に示した物理モデルにモデル化する。
【１６２１】
即ち、モデル化部１７０９１は、処理領域設定部１７００１から供給される処理領域情報に基づいて、処理領域の各水平ラインを構成する画素数を認識する。さらに、モデル化部１７０９１は、処理領域の各水平ラインを構成する画素数と、ステップＳ１７１３１で取得された動き量ｖとから、図１２５の物理モデルの情報を求め、その物理モデルの情報を、画素内拘束式作成部１７０８２と方程式作成部１７０９２に供給して、ステップＳ１７１３３からＳ１７１３４に進む。
【１６２２】
ステップＳ１７１３４では、方程式作成部１７０９２は、モデル化部１７０９１から供給される物理モデルの情報から、式（１６６）乃至式（１７０）に示した方程式を作成し、物理モデル値取得部１７０８３に供給して、ステップＳ１７１３５に進む。
【１６２３】
ステップＳ１７１３５では、画素内拘束式作成部１７０８２は、式（１８６）および式（１８７）に示した拘束条件式を作成し、物理モデル値取得部１７０８３に供給して、ステップＳ１７１３６に進む。
【１６２４】
なお、ステップＳ１７１３３乃至Ｓ１７１３５の処理は、処理領域の水平ラインすべてについて行われる。
【１６２５】
ステップＳ１７１３６では、物理モデル値取得部１７０８３の最小自乗法適用部１７０９３は、処理領域の水平ラインのうちの、まだ注目水平ラインとしていない水平ラインを、注目水平ラインとして選択し、その注目水平ラインの画素の画素値Ｙｋを、前処理部１７１０１から供給される処理領域の画素値から取得して、ステップＳ１７１３７に進む。
【１６２６】
ステップＳ１７１３７では、最小自乗法適用部１７０９３は、方程式作成部１７０９２から供給される注目水平ラインについての式（１６６）乃至式（１７０）の方程式と、画素内拘束式作成部１７０８２から供給される式（１８６）および式（１８７）に示した拘束条件式に対して、注目水平ラインの画素の画素値Ｙｋを代入し、さらに、重みＷ１とＷ２を用いて、式（２０１）の正規方程式をたてることにより式（２０１）の正規方程式を取得して、ステップＳ１７１３８に進む。
【１６２７】
ステップＳ１７１３８では、最小自乗法適用部１７０９３は、注目水平ラインについて得られた正規方程式を解くことにより、その注目水平ラインについて、式（１３７）のスプライン関数（を定義する変数ｙｋ）を求め、即ち、実世界１の信号を近似する式（１３７）および式（１３８）のスプライン関数を求め、再混合部１７０５３に供給して、ステップＳ１７１３９に進む。
【１６２８】
ステップＳ１７１３９では、再混合部１７０５３は、最小自乗法適用部１７０９３から供給されるスプライン関数を用いて再混合（再積分）を行う。即ち、再混合部１７０５３は、最小自乗法適用部１７０９３から供給される、注目水平ラインについて得られたスプライン関数それぞれについて、そのスプライン関数が、露光時間の間、露光開始時刻における位置から移動しないとして得られる曲面を、時間方向に、露光時間の間だけ積分するとともに、ｘ方向に、例えば、処理領域の画素＃ｋのｘ方向の幅などの所定の単位で積分（再積分）することにより、注目水平ラインについて動きボケのない画素値を求め、ステップＳ１７１３９からＳ１７１４０に進む。
【１６２９】
ステップＳ１７１４０では、最小自乗法適用部１７０９３は、処理領域の水平ラインすべてを、注目水平ラインとしたかどうかを判定し、まだしていないと判定した場合、ステップＳ１７１３６に戻る。この場合、ステップＳ１７１３６では、最小自乗法適用部１７０９３は、処理領域のうちの、まだ注目水平ラインとしていない水平ラインを、注目水平ラインとして新たに選択し、以下、同様の処理を繰り返す。
【１６３０】
また、ステップＳ１７１４０において、処理領域の水平ラインすべてを、注目水平ラインとしたと判定された場合、即ち、処理領域の水平ラインすべてについて、動きボケのない画素値が得られた場合、ステップＳ１７１４１に進み、再混合部１７０５３は、処理領域のすべての水平ラインについて得られた動きボケのない画素値、即ち、動きボケのない処理領域の画像を出力して処理を終了する。
【１６３１】
以上のように、図１４６の実処理部１７１００では、図１４１の動きボケ調整部１７０３５における場合と同様にして、動きボケが除去され、さらには、必要に応じて高解像度にされた画像が得られる。
【１６３２】
次に、図１４４および図１４６の実処理部１７１００では、入力画像に動きボケが生じていることを前提として、入力画像から動きボケを除去した画像、または、入力画像から動きボケを除去し、かつ入力画像の解像度以上の解像度の画像を生成するようにしたが、実処理部１７１００では、動きボケのない入力画像から、高解像度の画像を生成することも可能である。なお、高解像度の画像を生成することは、見方を変えれば、拡大された画像を生成するともいうことができる。
【１６３３】
動きボケのない入力画像から、高解像度の画像を生成する場合には、図１２５に示した物理モデルにおいて、動き量ｖが０の物理モデルを考えれば良い。
【１６３４】
即ち、図１４８は、図１２５に示した物理モデルの動き量ｖを０としたものを示している。
【１６３５】
従って、図１４８は、スプライン関数Ｃｋ（ｘ）で近似される光信号関数Ｆ（ｘ）で表される光信号が、イメージセンサの露光時間の間に静止したままで、処理単位の画素に射影され、その画素に電荷がチャージされることによって画像が得られるという物理モデルを表している。
【１６３６】
ここで、図１４８の左側の図は、図１２４における場合と同様の、光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）を示している。また、図１４８の右側の図は、横方向をイメージセンサの水平方向（処理単位の画素が並ぶｘ方向）とし、手前方向を露光時間とするとともに、縦方向をレベルとして、光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）のレベルを示している。
【１６３７】
図１４８に示した物理モデルによれば、光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）が、イメージセンサの露光時間の方向に移動することによって得られる軌跡としての曲面を、時間方向に、露光時間の間だけ積分するとともに、ｘ方向に、処理単位の画素＃ｋのｘ方向の長さだけ積分することにより、その画素＃ｋの画素値Ｙｋが得られる。
【１６３８】
なお、図１４８の物理モデルでは、露光時間の間に、光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）が空間方向には移動しないので、この物理モデルによって画素値Ｙｋが得られる画素＃ｋでは、イメージセンサの空間積分効果による、物体の信号の空間方向の混合（空間混合）は生じるが、イメージセンサの時間積分効果による、物体の信号の時間方向の混合（時間混合）は生じない。
【１６３９】
図１４８の物理モデルによれば、画素＃ｋの画素値Ｙｋは、図１３５で説明した場合と同様に、露光時間を１とすれば、上述の式（１３９）の積分範囲（α，β）を、画素＃ｋのｘ方向の始端から終端（左端から右端）とすることにより求めることができる。即ち、図１４８の物理モデルにおいて、画素値Ｙｋは、次式により求めることができる。
【１６４０】
【数２０３】
2005018519.tif 000407
2005018519.tif 000408
【１６４１】
【数２０４】
2005018519.tif 000409
2005018519.tif 000410
【１６４２】
【数２０５】
2005018519.tif 000411
2005018519.tif 000412
【１６４３】
ここで、図１４８の物理モデルにおいても、フラット仮定を採用することとする。画素値Ｙｋを求めるのに、ｋが、０，１乃至Ｎ−１，Ｎである場合の３つの場合に分かれているのは、図１３５で説明した場合と同様に、フラット仮定に起因する。なお、フラット仮定は必須ではない。
【１６４４】
式（２０３）乃至式（２０５）は、合計でＮ＋１式だけたてることができ、スプライン関数Ｃｋ（ｘ）を定義する、未知数である変数ｙｋもＮ＋１個だけ存在する。従って、式（２０３）乃至式（２０５）に、イメージセンサから得られる画素値Ｙｋを代入し、Ｎ＋１個の連立方程式、即ち、Ｎ＋１元連立１次方程式をたて、そのＮ＋１元連立１次方程式を解くことにより、光信号関数Ｆ（ｘ）を推定すること、即ち、ここでは、光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）を求めることができる。
【１６４５】
光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）を求めた後は、そのスプライン関数Ｃｋ（ｘ）を、ｘ方向の所定の範囲に亘って積分することにより、任意の解像度の画素の画素値を求めることができる。即ち、露光時間を１とすれば、上述の式（１３９）の積分範囲（α，β）を、所望の範囲とすることにより、任意の解像度の画素の画素値を求めることができる。
【１６４６】
具体的には、例えば、いま、画素＃ｋについて、その画素＃ｋをｘ方向に２分割した、仮想的な画素（仮想画素）を考え、その画素＃ｋをｘ方向に２分割して得られる左側と右側の画素を、それぞれ仮想画素＃ｋ，ｌｅｆｔと＃ｋ，ｒｉｇｈｔと表す。さらに、仮想画素＃ｋ，ｌｅｆｔと＃ｋ，ｒｉｇｈｔの画素値を、それぞれ、Ｘｋ，ｌｅｆｔとＸｋ，ｒｉｇｈｔと表す。
【１６４７】
画素値Ｘｋ，ｌｅｆｔとＸｋ，ｒｉｇｈｔは、図１３６と同様に図１４９に示すように、光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）が、露光時間の間、露光開始時刻における位置から移動しないとして得られる曲面を、時間方向に、露光時間の間だけ積分するとともに、ｘ方向に、処理単位の画素＃ｋを分割した仮想画素＃ｋ，ｌｅｆｔと＃ｋ，ｒｉｇｈｔそれぞれのｘ方向の幅単位で積分（再積分）することにより求めることができる。
【１６４８】
この場合、画素値Ｘｋ，ｌｅｆｔとＸｋ，ｒｉｇｈｔは、次式によって求めることができる。
【１６４９】
【数２０６】
2005018519.tif 000413
2005018519.tif 000414
【１６５０】
【数２０７】
2005018519.tif 000415
2005018519.tif 000416
【１６５１】
【数２０８】
2005018519.tif 000417
2005018519.tif 000418
【１６５２】
【数２０９】
2005018519.tif 000419
2005018519.tif 000420
【１６５３】
【数２１０】
2005018519.tif 000421
2005018519.tif 000422
【１６５４】
【数２１１】
2005018519.tif 000423
2005018519.tif 000424
【１６５５】
式（２０６）乃至式（２１１）により求められる画素値Ｘｋ，ｌｅｆｔとＸｋ，ｒｉｇｈｔによれば、横方向の画素数が元の画素数の２倍の高解像度の画像（横方向２倍密の画像）を得ることができる。
【１６５６】
ここで、上述の場合には、画素＃ｋを２分割するようにしたが、画素＃ｋの分割数は２分割に限定されるものではない。また、ここでは、画素＃ｋを分割することにより、元の画像（入力画像）よりも高解像度の画像を得るようにしたが、光信号関数Ｆ（ｘ）を近似するスプライン関数Ｃｋ（ｘ）が、露光時間の間、露光開始時刻における位置から移動しないとして得られる曲面を積分するｘ方向の積分範囲を調整することにより、所望の解像度の画像を得ることができる。即ち、露出時間を１とすれば、式（１３９）の積分範囲（α，β）を所望の値とすることにより、所望の解像度の画像を得ることができる。
【１６５７】
なお、上述の場合には、実世界１の光信号が時間経路に伴って変化しないから、時間方向の積分効果は、考慮する必要がない。即ち、ここでは、ｘ方向の積分効果による混合（空間混合）だけを考慮し、スプライン関数によって近似する実世界１の光信号を推定しているに等しいので、この推定手法は、上述の１次元近似手法（および１次元再積分手法）に属する。
【１６５８】
また、上述の場合には、ｘ方向の積分効果による混合（空間混合）を考慮し、横方向の解像度を高くした画像を生成するようにしたが、その横方向の解像度を高くした画像に対して、ｙ方向の積分効果による混合（空間混合）を考慮した図１４８の物理モデルを採用することにより、横方向と縦方向の両方の解像度を高くした画像を生成することができる。その他、例えば、入力画像に対して、ｘ方向とｙ方向の２次元の方向の積分効果による混合（空間混合）を考慮した図１４８の物理モデルを採用することによっても、横方向と縦方向の両方の解像度を高くした画像を生成することができる。
【１６５９】
図１４３の実処理部１７１００では、以上のようにして、動きボケのない入力画像から、高解像度の画像を生成すること、即ち、いわば画像の解像度（空間方向の解像度）を創造することが可能である。
【１６６０】
図１５０は、以上のようにして、動きボケのない入力画像から高解像度の画像を生成する実処理部１７１００の構成例を示している。
【１６６１】
図１５０の実処理部１７１００には、入力画像が供給されるとともに、図１１３の処理領域設定部１７００１から処理領域情報が、実処理に必要なパラメータとして供給され、定常性設定部１７００２から定常性情報が、実処理に必要なパラメータとして供給される。ここで、図１５０では、入力画像における、処理領域情報が表す処理領域に表示されたオブジェクトは静止しているものとする。さらに、図１５０では、定常性情報として、例えば、処理領域に表示されたオブジェクトが静止していることを表す情報、即ち、例えば、そのオブジェクトの動き量ｖが０であることを採用することとする。
【１６６２】
実処理部１７１００では、入力画像は、前処理部１７２００に供給される。また、実処理に必要なパラメータのうちの処理領域情報は、物理モデル適用部１７２０１のモデル化部１７２１１と、前処理部１７２００に供給される。さらに、実処理に必要なパラメータのうちの定常性情報は、物理モデル適用部１７２０１のモデル化部１７２１１に供給される。
【１６６３】
前処理部１７２００は、処理領域情報から処理領域を認識し、その処理領域を構成する画素の画素値を、入力画像から抽出して、物理モデル適用部１７２０１の連立方程式取得部１７２１３に供給する。
【１６６４】
物理モデル適用部１７２０１は、モデル化部１７２１１、方程式作成部１７２１２、および連立方程式取得部１７２１３から構成されている。
【１６６５】
モデル化部１７２１１は、処理領域設定部１７００１から供給される処理領域情報に基づいて、処理領域の各水平ラインを構成する画素数（例えば、図１４８の物理モデルでは、Ｎ＋１画素）を認識する。さらに、モデル化部１７２１１は、定常性情報としての動き量ｖが０であることを表す情報から、図１４８の物理モデルを適用することを決定し、処理領域の各水平ラインを構成する画素数を、図１４８の物理モデルの情報として、方程式作成部１７２１２に供給する。また、モデル化部１７２１１は、処理領域の入力画像における位置を認識し、その位置を表す情報を、方程式作成部１７２１２を介して、連立方程式取得部１７２１３に供給する。
【１６６６】
方程式作成部１７２１２は、モデル化部１７２１１から供給される物理モデルの情報から、式（２０３）乃至式（２０５）に示した方程式を作成し、連立方程式取得部１７２１３に供給する。
【１６６７】
連立方程式取得部１７２１３は、モデル化部１７２１１から方程式作成部１７２１２を介して供給される処理領域の入力画像における位置を表す情報から、処理領域の入力画像における位置を認識し、その位置に基づいて、前処理部１７２００から供給される処理領域の画素値から、その処理領域の水平ラインごとの画素の画素値を取得する。さらに、連立方程式取得部１７２１３は、方程式作成部１７２１２から供給される式（２０３）乃至式（２０５）の方程式に対して、処理領域の各水平ラインの画素の画素値を代入し、これにより、水平ラインごとに、Ｎ＋１個の連立方程式を取得して、物理モデル値取得部１７２０２に供給する。
【１６６８】
物理モデル値取得部１７２０２は、連立方程式演算部１７２１４から構成され、連立方程式取得部１７２１３から供給される連立方程式は、連立方程式演算部１７２１４に供給される。連立方程式演算部１７２１４は、連立方程式取得部１７２１３から供給される連立方程式を演算し（解き）、これにより、実世界１の信号を近似する式（１３７）および式（１３８）のスプライン関数を定義するＮ＋１個の変数ｙｋを求め、再混合部１７２０３に供給する。
【１６６９】
再混合部１７２０３は、連立方程式演算部１７２１４から供給される変数ｙｋによって定義されるスプライン関数が、露光時間の間、露光開始時刻における位置から移動しないとして得られる曲面を、時間方向に、露光時間の間だけ積分するとともに、ｘ方向に、例えば、処理領域の画素＃ｋのｘ方向の１／２の幅などの所定の単位で積分（再積分）することにより、高解像度の画素の画素値を求めて出力する。
【１６７０】
なお、再混合部１７２０３が、ｘ方向の積分を、例えば、処理領域の画素＃ｋのｘ方向の１／２の幅単位で行う場合には、式（２０６）乃至式（２１１）で表される画素値が求められ、その画素値の画像は、水平方向の画素が入力画像の水平方向の画素の２倍の数の画素で構成される。
【１６７１】
次に、図１５１のフローチャートを参照して、図１５０の実処理部１７１００の処理について説明する。
【１６７２】
まず最初に、ステップＳ１７２０１において、モデル化部１７２１１は、図１１３の処理領域設定部１７００１から供給される処理領域情報と、定常性設定部１７００２から供給される定常性情報としての動き量ｖが０であることを表す情報とを、実処理に必要なパラメータとして取得するとともに、前処理部１７２００が、図１１３の処理領域設定部１７００１から供給される処理領域情報を、実処理に必要なパラメータとして取得し、ステップＳ１７２０２に進む。ステップＳ１７２０２では、前処理部１７２００が、処理領域情報から処理領域を認識し、その処理領域を構成する画素の画素値を、入力画像から抽出して、物理モデル適用部１７２０１の連立方程式取得部１７２１３に供給する。
【１６７３】
そして、ステップＳ１７２０２からＳ１７２０３に進み、モデル化部１７２１１は、ステップＳ１７２０１で取得された処理領域情報が表す処理領域に射影された実世界１の光信号を、図１４８に示した物理モデルにモデル化する。
【１６７４】
即ち、モデル化部１７２１１は、処理領域設定部１７００１から供給される処理領域情報に基づいて、処理領域の各水平ラインを構成する画素数を認識する。さらに、モデル化部１７２１１は、定常性情報としての動き量ｖが０であることを表す情報から、図１４８の物理モデルを適用することを決定し、処理領域の各水平ラインを構成する画素数を、図１４８の物理モデルの情報として、方程式作成部１７２１２に供給して、ステップＳ１７２０３からＳ１７２０４に進む。
【１６７５】
ステップＳ１７２０４では、方程式作成部１７２１２は、モデル化部１７２１１から供給される物理モデルの情報から、式（２０３）乃至式（２０５）に示した方程式を作成し、連立方程式取得部１７２１３に供給して、ステップＳ１７２０５に進む。
【１６７６】
なお、ステップＳ１７２０３およびＳ１７２０４の処理は、処理領域情報が表す処理領域のすべての水平ラインについて行われる。
【１６７７】
ステップＳ１７２０５では、連立方程式取得部１７２１３は、処理領域情報が表す処理領域の水平ラインのうちの、まだ注目水平ラインとしていない水平ラインを、注目水平ラインとして選択し、その注目水平ラインの画素の画素値Ｙｋを、前処理部１７２００から供給される処理領域の画素値から取得して、ステップＳ１７２０６に進む。ステップＳ１７２０６では、連立方程式取得部１７２１３は、方程式作成部１７２１２から供給される注目水平ラインについての式（２０３）乃至式（２０５）の方程式に対して、注目水平ラインの画素の画素値Ｙｋを代入し、これにより、注目水平ラインの画素の数に等しい数の連立方程式を取得して、物理モデル値取得部１７２０２に供給する。
【１６７８】
そして、ステップＳ１７２０６からＳ１７２０７に進み、物理モデル値取得部１７２０２の連立方程式演算部１７２１４は、連立方程式取得部１７２１３から供給される、注目水平ラインについての連立方程式を演算し（解き）、これにより、注目水平ラインに射影された実世界１の信号を近似する式（１３７）および式（１３８）のスプライン関数を求め、再混合部１７２０３に供給して、ステップＳ１７２０８に進む。
【１６７９】
ステップＳ１７２０８では、再混合部１７２０３は、連立方程式演算部１７２１４から供給されるスプライン関数を用いて再混合（再積分）を行う。即ち、再混合部１７２０３は、連立方程式演算部１７２１４から供給される注目水平ラインについてのスプライン関数について、そのスプライン関数が、露光時間の間、露光開始時刻における位置から移動しないとして得られる曲面を、時間方向に、露光時間の間だけ積分するとともに、ｘ方向に、例えば、処理領域の画素＃ｋのｘ方向の１／２の幅などの所定の単位で積分（再積分）することにより、注目水平ラインについて、高解像度の画素値を求め、ステップＳ１７２０８からＳ１７２０９に進む。
【１６８０】
ステップＳ１７２０９では、連立方程式取得部１７２１３は、処理領域情報が表す処理領域のすべての水平ラインを、注目水平ラインとしたかどうかを判定し、まだしていないと判定した場合、ステップＳ１７２０５に戻る。この場合、ステップＳ１７２０５では、連立方程式取得部１７２１３は、処理領域の水平ラインのうちの、まだ注目水平ラインとしていない処理領域を、注目水平ラインとして新たに選択し、以下、同様の処理を繰り返す。
【１６８１】
また、ステップＳ１７２０９において、処理領域の水平ラインのすべてを、注目水平ラインとしたと判定された場合、即ち、処理領域の水平ラインのすべてについて、動きボケのない画素値が得られた場合、ステップＳ１７２１０に進み、再混合部１７２０３は、処理領域のすべての水平ラインについて得られた高解像度の画素値、即ち、高解像度の処理領域の画像を出力して処理を終了する。
【１６８２】
以上のように、図１５０の実処理部１７１００では、動きボケのない画像から、高解像度の画像が得られる。
【１６８３】
なお、実世界１の推定、即ち、実世界１の信号を近似する式（１３７）および式（１３８）のスプライン関数を求めるにあたっては、式（２０３）乃至式（２０５）の方程式を、連立方程式として解く他、式（２０３）乃至式（２０５）の方程式と、図１３９および図１４０で説明した拘束条件式とを用いて、最小自乗法を利用することも可能である。
【１６８４】
以上のように、それぞれ時空間積分効果を有する複数の画素に実世界１の光信号が射影され、実世界１の光信号の定常性の一部が欠落した画像データの時空間方向のうちのｘ方向の位置に対応する各画素の画素値は、スプライン関数で近似した実世界１の光信号に対応する光信号関数（実世界関数）Ｆ（ｘ）をｘ方向に積分することにより取得された画素値であるとして、光信号関数Ｆ（ｘ）を推定し、その推定結果としてのスプライン関数をｘ方向に所定単位で積分することにより、画像を生成するようにしたので、動きのない画像について、高解像度の画像を得ることができる。
【１６８５】
次に、図１１３の処理領域設定部１７００１、定常性設定部１７００２、または実世界推定部１７００３が、補助情報を用いて処理を行う場合の、図１１３の信号処理装置４の処理について説明する。
【１６８６】
即ち、図１５２は、処理領域設定部１７００１、定常性設定部１７００２、または実世界推定部１７００３が、補助情報を用いて処理を行う場合の、図１１３の信号処理装置４の処理を説明するフローチャートである。
【１６８７】
図１１３の信号処理装置４では、定常性に基づいて、実世界が推定され、これにより、センサ２の時間積分効果による、物体の信号の時間方向の混合（時間混合）によって生じる動きボケを除去する処理などが行われる。
【１６８８】
即ち、実世界１において、自動車などのオブジェクトが移動している画像を、イメージセンサであるセンサ２で撮像した場合に得られる入力画像においては、オブジェクトが時間経過とともに移動するため、センサ２の時間積分効果によって、そのオブジェクトの光信号と、そのオブジェクト以外の部分の光信号とが混合（時間混合）し、これにより、オブジェクトの境界部分などにおいて、いわゆる動きボケが生じる。図１１３の信号処理装置４では、このような時間混合によって生じた動きボケを入力画像から除去した高画質の出力画像が生成され、結果として、入力画像から動きボケを除去した出力画像が得られる。
【１６８９】
図１１３の信号処理装置４は、まず最初に、ステップＳ１７３０１において、前処理を行い、ステップＳ１７３０２に進む。即ち、信号処理装置４は、イメージセンサであるセンサ２（図１）からデータ３として供給される、例えば１フレームまたは１フィールドの入力画像を、処理領域設定部１７００１、定常性設定部１７００２、実世界推定部１７００３、画像生成部１７００４、および画像表示部１７００５に供給する。さらに、信号処理部４は、画像表示部１７００５に、入力画像を表示させる。
【１６９０】
なお、ここでは、例えば、自動車などのオブジェクトが水平方向に一定速度で移動しているシーンを、センサ２で撮像することにより得られる、時間混合による動きボケが生じた画像が、入力画像として、信号処理装置４に入力されるものとする。
【１６９１】
ステップＳ１７３０２では、ユーザＩ／Ｆ１７００６は、ユーザがユーザＩ／Ｆ１７００６を操作することにより、何らかのユーザ入力があったかどうかを判定する。ステップＳ１７３０２において、ユーザ入力がなかったと判定された場合、即ち、ユーザが何らの操作も行わなかった場合、ステップＳ１７３０２に戻る。
【１６９２】
また、ステップＳ１７３０２において、ユーザ入力があったと判定された場合、即ち、ユーザが、画像表示部１０００５に表示された入力画像を見て、ユーザＩ／Ｆ１７００６を操作し、これにより、何らかの指示または情報を表すユーザ入力があった場合、ステップＳ１７３０３に進み、ユーザＩ／Ｆ１７００６は、そのユーザ入力が、信号処理装置４の処理の終了を指示する終了指示であるかどうかを判定する。
【１６９３】
ステップＳ１７３０３において、ユーザ入力が終了指示であると判定された場合、信号処理装置４は処理を終了する。
【１６９４】
また、ステップＳ１７３０３において、ユーザ入力が終了指示でないと判定された場合、ステップＳ１７３０４に進み、ユーザＩ／Ｆ１７００６は、ユーザ入力が補助情報であるかどうかを判定する。ステップＳ１７３０４において、ユーザ入力が補助情報でないと判定された場合、ステップＳ１７３０２に戻る。
【１６９５】
また、ステップＳ１７３０４において、ユーザ入力が補助情報であると判定された場合、ステップＳ１７３０５に進み、ユーザＩ／Ｆ１７００６は、その補助情報を、処理領域設定部１７００１、定常性設定部１７００２、または実世界推定部１７００６に供給し、ステップＳ１７３０６に進む。
【１６９６】
ステップＳ１７３０６では、処理領域設定部１７００１は、入力画像について、処理領域を設定し、その処理領域を特定する処理領域情報を、定常性設定部１７００２、実世界推定部１７００３、および画像生成部１７００４に供給し、ステップＳ１７３０７に進む。ここで、処理領域設定部１７００１は、直前に行われたステップＳ１７３０５においてユーザＩ／Ｆ１７００６から補助情報が供給された場合は、その補助情報を用いて、処理領域の設定を行う。
【１６９７】
ステップＳ１７３０７では、定常性設定部１７００２は、処理領域設定部１７００１から供給された処理領域情報から、入力画像における処理領域を認識する。さらに、定常性設定部１７００２は、その処理領域の画像データにおいて欠落した実世界１の信号の定常性を設定し、その定常性を表す定常性情報を、実世界推定部１７００３に供給して、ステップＳ１７３０８に進む。ここで、定常性設定部１７００２は、直前に行われたステップＳ１７３０５においてユーザＩ／Ｆ１７００６から補助情報が供給された場合は、その補助情報を用いて、定常性の設定を行う。
【１６９８】
ステップＳ１７３０８では、実世界推定部１７００３は、入力画像における処理領域内の画像データについて、対応する実世界１の信号の定常性に応じて、その実世界１の信号を推定する。
【１６９９】
即ち、実世界推定部１７００３では、モデル生成部１７０１１が、処理領域設定部１７００１から供給される処理領域情報から、入力画像における処理領域を認識するとともに、定常性設定部１７００２から供給される、定常性情報から、処理領域の画像データに対応する実世界１の信号の定常性（ここでは、例えば、処理領域に表示されたオブジェクトの動き量）を認識する。さらに、モデル生成部１７０１１は、入力画像における処理領域を構成する画素と、その処理領域の画像データに対応する実世界１の信号の定常性に応じて、処理領域内の各画素の画素値と実世界１の信号との関係をモデル化した関係モデルとしての関数を生成し、方程式生成部１７０１２に供給する。
【１７００】
方程式生成部１７０１２は、処理領域設定部１７００１から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域を構成する画素について、モデル生成部１７０１１から供給される関係モデルとしての関数に、入力画像の必要な画素の画素値を代入し、これにより、実世界１の信号を近似する近似関数を求める方程式を生成して、実世界波形推定部１７０１３に供給する。
【１７０１】
なお、ここでは、上述したように、近似関数として、スプライン関数が用いられる。
【１７０２】
実世界波形推定部１７０１３は、方程式生成部１７０１２から供給される方程式を解くことにより、実世界１の信号の波形を推定、即ち、実世界１の信号をモデル化した近似モデルとしての近似関数を求め、画像生成部１７００４に供給する。
【１７０３】
なお、実世界推定部１７００３においては、モデル生成部１７０１１および方程式生成部１７０１２は、直前に行われたステップＳ１７３０５においてユーザＩ／Ｆ１７００６から補助情報が供給された場合は、その補助情報を用いて、処理を行う。
【１７０４】
ステップＳ１７３０８の処理後は、ステップＳ１７３０９に進み、画像生成部１７００４は、実世界推定部１７００３（の実世界波形推定部１７０１３）から供給された近似関数に基づいて、実世界１の信号により近似した信号を生成する。即ち、画像生成部１７００４は、処理領域設定部１７００１から供給される処理領域情報から、入力画像における処理領域を認識し、その処理領域について、実世界推定部１７００３から供給された近似関数に基づき、実世界１の信号に対応する画像により近似した画像データである近似画像を生成する。さらに、画像生成部１７００４は、入力画像の処理領域の部分を、近似画像に置き換えた画像を、出力画像として生成し、画像表示部１７００５に供給して、ステップＳ１７３０９からＳ１７３１０に進む。
【１７０５】
ステップＳ１７３１０では、画像表示部１７００５は、画像生成部１７００４から供給された出力画像を、ステップＳ１７３０１で表示された入力画像に代えて、またはその入力画像とともに表示して、ステップＳ１７３０２に戻り、以下、同様の処理が繰り返される。
【１７０６】
以上のように、処理領域設定部１７００１、定常性設定部１７００２、および実世界推定部１７００３が、ユーザがユーザＩ／Ｆ１７００６を操作することにより入力される補助情報を用いて処理を行う場合には、より高画質の画像を得ることが可能となる。
【１７０７】
即ち、画像表示部１７００５において、例えば、動いているオブジェクトが映っている入力画像または出力画像が表示された場合、その画像を見たユーザは、その画像において、動きボケが生じている領域を、例えば、実際に見たことがある実物（実世界１）のオブジェクトの記憶などにより判断することができる。そこで、図１５３に示すように、画像表示部１７００５に表示された画像において動きボケが生じてる領域を、ユーザＩ／Ｆ１７００６を操作することによりユーザにポインティング等してもらい、そのポインティングされた位置を表す情報などを、補助情報として、処理領域設定部１７００１に供給することにより、処理領域設定部１７００１では、その補助情報に基づき、動きボケが生じている部分を容易に特定することができる。さらに、処理領域設定部１７００１では、動きボケが生じている部分を確実に含む処理領域を設定することができ、後段のブロックにおいて、そのような処理領域を対象に処理を行うことで、入力画像に生じている動きボケを精度良く除去することが可能となる。
【１７０８】
また、ユーザには、ユーザＩ／Ｆ１７００６を操作することにより、画像に表示されたオブジェクトの動き量に関係する情報を入力してもらうことができる。この場合、ユーザに、オブジェクトの動き量を、直接入力してもらうことが可能であるが、一般には、ユーザが、オブジェクトの動き量を、直接入力することは困難である。そこで、例えば、ユーザＩ／Ｆ１７００６をジョイスティックやマウスなどで構成し、そのジョイスティックを操作することで、ユーザに、動き量、さらには必要に応じて動きの方向を入力してもらうことができる。この場合、ユーザＩ／Ｆ１７００６は、ジョイスティックの操作量と操作方向を、補助情報として、定常性設定部１７００２に供給し、定常性設定部１７００２は、ジョイスティックの操作量と操作方向に基づき、オブジェクトの動きベクトルを設定する。即ち、定常性設定部１７００２は、ジョイスティックの操作量に基づき、オブジェクトの動き量を設定するとともに、ジョイスティックの操作方向に基づき、オブジェクトの動きの方向を設定する。そして、定常性設定部１７００２の後段のブロックは、定常性設定部１７００２において設定された動きベクトルを表す定常性情報に基づいて処理を行う。
【１７０９】
この場合、ユーザによるジョイスティックの操作によって、最初から、オブジェクトの動きベクトルを、正確に入力するのは困難である。しかしながら、ユーザによるジョイスティックの操作に基づいて、例えば、オブジェクトの動きベクトルを、１画素単位などで変化させ、画像表示部１７００５において、その動きベクトルについて得られた出力画像をリアルタイムで表示することを繰り返すことにより、ユーザは、ジョイスティックの操作に応じて画像表示部１７００５に表示される出力画像の画質の変化を認識することができる。従って、ユーザは、図１５３に示すように、画像表示部１７００５に表示された出力画像を見ながら、ジョイスティックを操作することにより、画質の良い出力画像、即ち、ここでは、入力画像から動きボケが除去された画像を得ることができる。
【１７１０】
なお、入力画像から動きボケが除去された画像が得られたときに、定常性設定部１７００２で設定された動きベクトルは、オブジェクトの動きを精度良く表すものとなる。
【１７１１】
次に、図１５４は、イメージセンサであるセンサ２の積分効果によって、画像データに生じる歪みとしての、例えば動きボケの除去を、ユーザ入力に基づいて行う場合の、図１１３の信号処理装置４と等価な装置の構成例を示している。
【１７１２】
入力画像取得部１７３０１は、入力画像を取得して、動きボケ除去処理部１７３０３と出力画像合成部１７３０４に供給する。なお、ここでは、入力画像は、上述したように、自動車などのオブジェクトが水平方向に一定速度で移動しているシーンを、イメージセンサで撮像することにより得られる、時間混合による動きボケが生じた画像であるとする。
【１７１３】
ユーザ入力情報取得部１７３０２は、ユーザがユーザＩ／Ｆ１７００６を操作することによりユーザＩ／Ｆ１７００６から供給されるユーザ入力情報（ユーザ入力）を取得し、必要に応じて、補助情報として、動きボケ除去処理部１７３０３と出力画像合成部１７３０４に供給する。
【１７１４】
ここで、ユーザ入力情報としては、例えば、処理領域を表す情報、入力画像におけるオブジェクトの動き量ｖを表す情報、処理の終了を指示する終了指示、さらには、上述の式（１９９）で導入した重みＷ１およびＷ２を表す情報などがある。
【１７１５】
動きボケ除去処理部１７３０３は、入力画像取得部１７３０１から供給される入力画像と、ユーザ入力情報取得部１７３０２から供給される補助情報とを用いて、画像に生じている動きボケを除去する動きボケ除去処理を行い、その動きボケ除去処理の結果を、出力画像合成部１７３０４に供給する。
【１７１６】
出力画像合成部１７３０４は、入力画像取得部１７３０１から供給される入力画像と、動きボケ除去処理部１７３０３から供給される動きボケ除去処理の結果としての近似画像とを、ユーザ入力情報取得部１７３０２から供給される補助情報に基づいて合成し、その結果得られる出力画像を、出力部１７３０５に供給する。
【１７１７】
ここで、以上の入力画像取得部１７３０１、ユーザ入力情報取得部１７３０２、動きボケ除去処理部１７３０３、および出力画像合成部１７３０４で構成される部分が、図１１３の処理領域設定部１７００１、定常性設定部１７００２、実世界推定部１７００３、および画像生成部１７００４で構成される部分に対応する。
【１７１８】
出力部１７３０５は、出力画像合成部１７３０４から供給される画像を表示する。
【１７１９】
ここで、出力部１７３０５で構成される部分は、図１１３の画像表示部１７００５で構成される部分に対応する。
【１７２０】
次に、図１５５のフローチャートを参照して、図１５４の装置の処理について説明する。
【１７２１】
まず最初に、ステップＳ１７３３１において、入力画像取得部１７３０１は、入力画像を取得し、動きボケ除去処理部１７３０３と出力画像合成部１７３０４に供給して、ステップＳ１７３３２に進む。
【１７２２】
ステップＳ１７３３２では、ユーザ入力情報取得部１７３０２は、ユーザがユーザＩ／Ｆ１７００６を操作することによりユーザＩ／Ｆ１７００６からユーザ入力情報が供給されたかどうかを判定し、供給されていないと判定した場合、ステップＳ１７３３２に戻る。
【１７２３】
そして、ステップＳ１７３３２において、ユーザＩ／Ｆ１７００６からユーザ入力情報が供給されたと判定された場合、ステップＳ１７３３４に進み、ユーザ入力情報取得部１７３０２は、ユーザＩ／Ｆ１７００６から供給されるユーザ入力情報を取得して、ステップＳ１７３３３に進む。
【１７２４】
ステップＳ１７３３３では、ユーザ入力情報取得部１７３０２は、ユーザ入力情報が、処理の終了を指示する終了指示であるかどうかを判定する。ステップＳ１７３３３において、ユーザ入力情報が、処理の終了を指示する終了指示でないと判定された場合、即ち、ユーザ入力情報が、例えば、処理領域を表す情報、入力画像におけるオブジェクトの動き量ｖを表す情報、式（１９９）における重みＷ１およびＷ２を表す情報などの、動きボケ除去処理部１７３０３による動きボケ除去処理を補助する補助情報である場合、ステップＳ１７３３４に進み、ユーザ入力情報取得部１７３０２は、そのユーザ入力情報を、補助情報として、動きボケ除去処理部１７３０３、さらには、必要に応じて出力画像合成部１７３０４に供給して、ステップＳ１７３３５に進む。
【１７２５】
ステップＳ１７３３５では、動きボケ除去処理部１７３０３は、入力画像取得部１７３０１から供給される入力画像と、ユーザ入力情報取得部１７３０２から供給される補助情報とを用いて、画像に生じている動きボケを除去する動きボケ除去処理を行い、その動きボケ除去処理の結果を、出力画像合成部１７３０４に供給して、ステップＳ１７３３６に進む。
【１７２６】
ステップＳ１７３３６では、出力画像合成部１７３０４は、入力画像取得部１７３０１から供給される入力画像の、ユーザ入力情報取得部１７３０２から供給される補助情報としての処理領域を表す情報によって特定される処理領域の画像を、動きボケ除去処理部１７３０３から供給される動きボケ除去処理の結果としての近似画像に置き換えることにより、入力画像と近似画像とを合成し、その結果得られる出力画像を、出力部１７３０５に供給して、ステップＳ１７３３７に進む。
【１７２７】
ステップＳ１７３３７では、出力部１７３０５が、出力画像合成部１７３０４から供給される出力画像を表示して、ステップＳ１７３３２に戻り、以下、上述した、ステップＳ１７３３２乃至Ｓ１７３３７の処理が繰り返される。
【１７２８】
そして、ステップＳ１７３３３において、ユーザ入力情報が、処理の終了を指示する終了指示であると判定された場合、即ち、例えば、ステップＳ１７３３２乃至Ｓ１７３３７の処理が繰り返されることにより、ユーザが満足する画質の出力画像（ここでは、動きボケが十分に除去された画像）が出力部１７３０５に表示され、ユーザが処理を終了するように、ユーザＩ／Ｆ１７００６を操作した場合、ステップＳ１７３３８に進み、出力部１７３０５は、そのとき表示している出力画像を記憶して、処理を終了する。
【１７２９】
次に、図１５６は、図１５４の動きボケ除去処理部１７３０３の構成例を示している。なお、図中、図１４４の実処理部１７１００における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１５６の動きボケ除去処理部１７３０３は、図１４４の実処理部１７１００と同様に構成されている。
【１７３０】
従って、図１５６の動きボケ除去処理部１７３０３においては、入力画像について、図１２５に示した物理モデルに基づいて得られる式（１６６）乃至式（１７０）に示したＮ＋１個の方程式を用いて、実世界１の光信号を近似するスプライン関数が求められ、動きボケのない所望の解像度の画像（近似画像）が生成される。
【１７３１】
但し、図１４４の実処理部１７１００では、処理領域情報と、動き量ｖを表す定常性情報とが、実処理に必要なパラメータとして供給されるようになっていたが、図１５６の動きボケ除去処理部１７３０３においては、処理領域情報と、動き量ｖを表す定常性情報とが、ユーザがユーザＩ／Ｆ１７００６を操作することにより、ユーザ入力情報取得部１７３０２を介して、補助情報として供給されるようになっている。
【１７３２】
次に、図１５７のフローチャートを参照して、図１５６の動きボケ除去処理部１７３０３の処理について説明する。
【１７３３】
まず最初に、ステップＳ１７３５１において、モデル化部１７０６１は、図１５４のユーザ入力情報取得部１７０３２から補助情報として供給される処理領域情報と、定常性情報としての動き量ｖとを取得するとともに、前処理部１７１０１が、図１５４のユーザ入力情報取得部１７０３２から補助情報として供給される処理領域情報を取得し、ステップＳ１７３５２に進む。ステップＳ１７３５２では、前処理部１７１０１が、処理領域情報から処理領域を認識し、その処理領域を構成する画素の画素値を、入力画像から抽出して、物理モデル適用部１７０５１の連立方程式取得部１７０６３に供給する。
【１７３４】
そして、ステップＳ１７３５２からＳ１７３５３に進み、モデル化部１７０６１は、ステップＳ１７３５１で取得された処理領域情報が表す処理領域に射影された実世界１の光信号を、図１２５に示した物理モデルにモデル化する。
【１７３５】
即ち、モデル化部１７０６１は、ユーザ入力情報取得部１７０３２から供給される処理領域情報に基づいて、処理領域の各水平ラインを構成する画素数を認識する。さらに、モデル化部１７０６１は、処理領域の各水平ラインを構成する画素数と、ステップＳ１７３５１で取得された動き量ｖとから、図１２５の物理モデルの情報を求め、その物理モデルの情報を、方程式作成部１７０６２に供給して、ステップＳ１７３５３からＳ１７３５４に進む。
【１７３６】
ステップＳ１７３５４では、方程式作成部１７０６２は、モデル化部１７０６１から供給される物理モデルの情報から、式（１６６）乃至式（１７０）に示した方程式を作成し、連立方程式取得部１７０６３に供給して、ステップＳ１７３５５に進む。
【１７３７】
なお、ステップＳ１７３５３およびＳ１７３５４の処理は、処理領域情報が表す処理領域のすべての水平ラインについて行われる。
【１７３８】
ステップＳ１７３５５では、連立方程式取得部１７０６３は、処理領域情報が表す処理領域の水平ラインのうちの、まだ注目水平ラインとしていない水平ラインを、注目水平ラインとして選択し、その注目水平ラインの画素の画素値Ｙｋを、前処理部１７１０１から供給される処理領域の画素値から取得して、ステップＳ１７３５６に進む。ステップＳ１７３５６では、連立方程式取得部１７０６３は、方程式作成部１７０６２から供給される注目水平ラインについての式（１６６）乃至式（１７０）の方程式に対して、注目水平ラインの画素の画素値Ｙｋを代入し、これにより、注目水平ラインの画素の数に等しい数の連立方程式を取得して、物理モデル値取得部１７０５２に供給する。
【１７３９】
そして、ステップＳ１７３５６からＳ１７３５７に進み、物理モデル値取得部１７０５２の連立方程式演算部１７０６４は、連立方程式取得部１７０６３から供給される、注目水平ラインについての連立方程式を演算し（解き）、これにより、注目水平ラインに射影された実世界１の信号を近似する式（１３７）および式（１３８）のスプライン関数を求め、再混合部１７０５３に供給して、ステップＳ１７３５８に進む。
【１７４０】
ステップＳ１７３５８では、再混合部１７０５３は、連立方程式演算部１７０６４から供給されるスプライン関数を用いて再混合（再積分）を行う。即ち、再混合部１７０５３は、連立方程式演算部１７０６４から供給される注目水平ラインについてのスプライン関数について、そのスプライン関数が、露光時間の間、露光開始時刻における位置から移動しないとして得られる曲面を、時間方向に、露光時間の間だけ積分するとともに、ｘ方向に、例えば、処理領域の画素＃ｋのｘ方向の幅やその１／２の幅などの所定の単位で積分（再積分）することにより、注目水平ラインについて、動きボケのない画素値を求め、ステップＳ１７３５８からＳ１７３５９に進む。なお、ステップＳ１７３５８における積分の単位（積分範囲）を調整することにより、上述したように、その積分によって得られる画像の解像度を変化させることができる。この積分の単位は、あらかじめ設定しておくこともできるし、ユーザがユーザＩ／Ｆ１７００６を操作することにより入力することもできる。
【１７４１】
ここで、ステップＳ１７３５８において、ｘ方向の積分を、例えば、画素＃ｋのｘ方向の幅単位で行う場合は、式（１７１）乃至式（１７３）にしたがって、動きボケのない画素値Ｘｋが求められることになる。また、ステップＳ１７３５８において、ｘ方向の積分を、例えば、画素＃ｋのｘ方向の幅の１／２単位で行う場合は、式（１７４）乃至式（１７９）にしたがって、動きボケのない画素値Ｘｋが求められることになる。
【１７４２】
ステップＳ１７３５９では、連立方程式取得部１７０６３は、処理領域情報が表す処理領域のすべての水平ラインを、注目水平ラインとしたかどうかを判定し、まだしていないと判定した場合、ステップＳ１７３５５に戻る。この場合、ステップＳ１７３５５では、連立方程式取得部１７０６３は、処理領域の水平ラインのうちの、まだ注目水平ラインとしていない処理領域を、注目水平ラインとして新たに選択し、以下、同様の処理を繰り返す。
【１７４３】
また、ステップＳ１７３５９において、処理領域の水平ラインのすべてを、注目水平ラインとしたと判定された場合、即ち、処理領域の水平ラインのすべてについて、動きボケのない画素値が得られた場合、ステップＳ１７３６０に進み、再混合部１７０５３は、処理領域のすべての水平ラインについて得られた動きボケのない画素値、即ち、動きボケのない処理領域の画像を出力して処理を終了する。
【１７４４】
以上のように、図１５６の動きボケ除去処理部１７３０３においても、図１４４の実処理部１７１００における場合と同様にして、動きボケが除去され、さらには、必要に応じて解像度が向上した画像が得られる。
【１７４５】
次に、図１５８は、図１５４の動きボケ除去処理部１７３０３の他の構成例を示している。なお、図中、図１４６の実処理部１７１００における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１５８の動きボケ除去処理部１７３０３は、図１４６の実処理部１７１００と同様に構成されている。
【１７４６】
従って、図１５８の動きボケ除去処理部１７３０３においては、入力画像について、図１２５に示した物理モデルに基づいて得られる式（１６６）乃至式（１７０）に示したＮ＋１個の方程式の他に、拘束条件を記述する式（１８６）および式（１８７）に示した２（Ｎ−１）個の拘束条件式を用いて、実世界１の光信号を近似するスプライン関数が求められ、動きボケのない所望の解像度の画像（近似画像）が生成される。
【１７４７】
但し、図１４６の実処理部１７１００では、処理領域情報、動き量ｖを表す定常性情報、式（１９９）で導入した式（２０１）における重みＷ１とＷ２が、ユーザがユーザＩ／Ｆ１７００６を操作することにより、ユーザ入力情報取得部１７０３２を介して、補助情報として供給されるようになっている。
【１７４８】
次に、図１５９のフローチャートを参照して、図１５８の動きボケ除去処理部１７３０３の処理について説明する。
【１７４９】
まず最初に、ステップＳ１７３８１において、モデル化部１７０９１は、図１５４のユーザ入力情報取得部１７３０２から補助情報として供給される処理領域情報と、定常性情報としての動き量ｖを取得するとともに、前処理部１７１０１が、図１５４のユーザ入力情報取得部１７３０２から補助情報として供給される処理領域情報を取得する。さらに、ステップＳ１７３８１では、物理モデル値取得部１７０８３の最小自乗法適用部１７０９３が、図１５４のユーザ入力情報取得部１７３０２から補助情報として供給される重みＷ１とＷ２を取得し、ステップＳ１７３８２に進む。ステップＳ１７３８２では、前処理部１７１０１が、処理領域情報から処理領域を認識し、その処理領域を構成する画素の画素値を、入力画像から抽出して、物理モデル値取得部１７０８３の最小自乗法適用部１７０９３に供給する。
【１７５０】
そして、ステップＳ１７３８２からＳ１７３８３に進み、モデル化部１７０９１は、ステップＳ１７３８１で取得された処理領域情報が表す処理領域の水平ラインに射影された実世界１の光信号を、図１２５に示した物理モデルにモデル化する。
【１７５１】
即ち、モデル化部１７０９１は、ユーザ入力情報取得部１７３０２から供給される処理領域情報に基づいて、処理領域の各水平ラインを構成する画素数を認識する。さらに、モデル化部１７０９１は、処理領域の各水平ラインを構成する画素数と、ステップＳ１７３８１で取得された動き量ｖとから、図１２５の物理モデルの情報を求め、その物理モデルの情報を、画素内拘束式作成部１７０８２と方程式作成部１７０９２に供給して、ステップＳ１７３８３からＳ１７３８４に進む。
【１７５２】
ステップＳ１７３８４では、方程式作成部１７０９２は、モデル化部１７０９１から供給される物理モデルの情報から、式（１６６）乃至式（１７０）に示した方程式を作成し、物理モデル値取得部１７０８３に供給して、ステップＳ１７３８５に進む。
【１７５３】
ステップＳ１７３８５では、画素内拘束式作成部１７０８２は、式（１８６）および式（１８７）に示した拘束条件式を作成し、物理モデル値取得部１７０８３に供給して、ステップＳ１７３８６に進む。
【１７５４】
なお、ステップＳ１７３８３乃至Ｓ１７３８５の処理は、処理領域の水平ラインすべてについて行われる。
【１７５５】
ステップＳ１７３８６では、物理モデル値取得部１７０８３の最小自乗法適用部１７０９３は、処理領域の水平ラインのうちの、まだ注目水平ラインとしていない水平ラインを、注目水平ラインとして選択し、その注目水平ラインの画素の画素値Ｙｋを、前処理部１７１０１から供給される処理領域の画素値から取得して、ステップＳ１７３８７に進む。
【１７５６】
ステップＳ１７３８７では、最小自乗法適用部１７０９３は、方程式作成部１７０９２から供給される注目水平ラインについての式（１６６）乃至式（１７０）の方程式と、画素内拘束式作成部１７０８２から供給される式（１８６）および式（１８７）に示した拘束条件式に対して、注目水平ラインの画素の画素値Ｙｋを代入し、さらに、重みＷ１とＷ２を用いて、式（２０１）の正規方程式をたて、これにより、式（２０１）の正規方程式を取得し、ステップＳ１７３８８に進む。
【１７５７】
ステップＳ１７３８８では、最小自乗法適用部１７０９３は、注目水平ラインについて得られた正規方程式を解くことにより、その注目水平ラインについて、式（１３７）のスプライン関数（を定義する変数ｙｋ）を求め、即ち、実世界１の信号を近似する式（１３７）および式（１３８）のスプライン関数を求め、再混合部１７０５３に供給して、ステップＳ１７３８９に進む。
【１７５８】
ステップＳ１７３８９では、再混合部１７０５３は、最小自乗法適用部１７０９３から供給されるスプライン関数を用いて再混合（再積分）を行う。即ち、再混合部１７０５３は、最小自乗法適用部１７０９３から供給される、注目水平ラインについて得られたスプライン関数それぞれについて、そのスプライン関数が、露光時間の間、露光開始時刻における位置から移動しないとして得られる曲面を、時間方向に、露光時間の間だけ積分するとともに、ｘ方向に、例えば、処理領域の画素＃ｋのｘ方向の幅やその１／２などの所定の単位で積分（再積分）することにより、注目水平ラインについて動きボケのない画素値を求め、ステップＳ１７３８９からＳ１７３９０に進む。なお、ステップＳ１７３８９における積分の単位（積分範囲）を調整することにより、上述したように、その積分によって得られる画像の解像度を変化させることができる。この積分の単位は、あらかじめ設定しておくこともできるし、ユーザがユーザＩ／Ｆ１７００６を操作することにより入力することもできる。
【１７５９】
ここで、ステップＳ１７３８９において、ｘ方向の積分を、例えば、画素＃ｋのｘ方向の幅単位で行う場合は、式（１７１）乃至式（１７３）にしたがって、動きボケのない画素値Ｘｋが求められることになる。また、ステップＳ１７３８９において、ｘ方向の積分を、例えば、画素＃ｋのｘ方向の幅の１／２単位で行う場合は、式（１７４）乃至式（１７９）にしたがって、動きボケのない画素値Ｘｋが求められることになる。
【１７６０】
ステップＳ１７３９０では、最小自乗法適用部１７０９３は、処理領域の水平ラインすべてを、注目水平ラインとしたかどうかを判定し、まだしていないと判定した場合、ステップＳ１７３８６に戻る。この場合、ステップＳ１７３８６では、最小自乗法適用部１７０９３は、処理領域のうちの、まだ注目水平ラインとしていない水平ラインを、注目水平ラインとして新たに選択し、以下、同様の処理を繰り返す。
【１７６１】
また、ステップＳ１７３９０において、処理領域の水平ラインすべてを、注目水平ラインとしたと判定された場合、即ち、処理領域の水平ラインすべてについて、動きボケのない画素値が得られた場合、ステップＳ１７３９１に進み、再混合部１７０５３は、処理領域のすべての水平ラインについて得られた動きボケのない画素値、即ち、動きボケのない処理領域の画像を出力して処理を終了する。
【１７６２】
以上のように、図１５８の動きボケ除去処理部１７３０３でも、図１４６の実処理部１７１００における場合と同様にして、動きボケが除去され、さらには、必要に応じて解像度を向上した画像が得られる。
【１７６３】
以上のように、それぞれ時空間積分効果を有する複数の画素に実世界１の光信号が射影され、実世界の光信号１の定常性の一部が欠落した画像データ内の処理領域を設定するとともにし、画像データにおいて欠落した現実世界の光信号の定常性である画像データ内のオブジェクトの動き量を設定し、処理領域内の画像データの空間方向のうちのｘ方向の位置に対応する各画素の画素値は、スプライン関数で近似した実世界１の光信号に対応する光信号関数（実世界関数）Ｆ（ｘ）が、動き量に対応して時間方向に位相シフトしながら移動するモデルを、ｘ方向および時間方向に積分することにより取得された画素値であるとして、光信号関数Ｆ（ｘ）を推定する場合において、ユーザからの入力に応じて、処理領域や、動き量、重みＷ１，Ｗ２などが設定される。従って、ユーザが、光信号関数Ｆ（ｘ）の推定結果から生成される画像を見ながら、処理領域や、動き量、重みＷ１，Ｗ２などを調整することにより、光信号関数Ｆ（ｘ）を精度良く推定することが可能となり、その結果、最終的には、高画質の画像を得ることができる。
【１７６４】
なお、上述の場合には、入力画像に、動いているオブジェクトが表示されているときに、そのオブジェクトが、水平方向（左から右方向）に、一定の速さで移動しているとして、即ち、オブジェクトの動きの方向を水平方向に固定して、その動きの大きさである動き量を、定常性情報として用いることとしたが、定常性情報としては、動きの大きさの他、方向の情報も有する動きベクトルを用いることが可能である。この場合、動きベクトルによってオブジェクトの動き（定常性）が表される入力画像については、図１２５の物理モデルは、例えば、動きベクトルにより示される動きの方向をｘ方向とすることにより適用することが可能である。
【１７６５】
また、上述の場合には、入力画像として静止画を採用することとしたが、入力画像としては、その他、例えば、動画を採用することも可能である。この場合、信号処理装置４では、動画の、例えば、フレームまたはフィールド単位で処理が行われる。
【１７６６】
さらに、処理領域としては、矩形以外の任意の形状を採用することが可能である。
【１７６７】
次に、図１１３の定常性設定部１７００２においては、定常性情報としての動きは、ユーザの操作に基づいて設定する他、入力画像から動きを検出して設定することもできる。
【１７６８】
そこで、定常性設定部１７００２における動きの検出方法について説明する。
【１７６９】
入力画像におけるあるオブジェクトが動いている場合の、そのオブジェクトの動きとしての、例えば動きベクトルを検出する方法としては、いわゆるブロックマッチング法が知られている。
【１７７０】
しかしながら、ブロックマッチング法では、注目しているフレームと、その前または後のフレームとのマッチングを行うため、注目している１フレームだけから動きを検出することは困難である。
【１７７１】
そこで、定常性設定部１７００２では、１フレームの入力画像だけから、動きの検出を行うことができるようになっている。
【１７７２】
即ち、図１６０は、定常性設定部１７００２の構成例を示している。
【１７７３】
図１６０で構成が示される定常性設定部１７００２においては、入力画像の中の処理領域におけるオブジェクトの動き方向が検出され、動き方向が水平方向になるように入力画像が補正される。そして、動き方向に隣接する画素の画素値の差分値である、入力画像のオブジェクトの動き方向に一次微分した特徴量が検出される。
【１７７４】
さらに、注目している画素の特徴量と動き方向に所定の距離の対応画素の特徴量との相関が検出され、検出された相関が最大である対応画素と注目画素との距離に応じてオブジェクトの動き量が検出される。
【１７７５】
すなわち、図１６０で構成が示される定常性設定部１７００２は、動き方向検出部１１２０１、動き方向修正部１１２０２、特徴量検出部１１２０３、および動き量検出部１１２０４を含む。
【１７７６】
さらに、動き方向検出部１１２０１は、アクティビティ演算部１１２１１およびアクティビティ評価部１１２１２を含む。動き方向修正部１１２０２は、アフィン変換部１１２１３を含む。
【１７７７】
特徴量検出部１１２０３は、差分演算部１１２１４、差分評価部１１２１５、中間画像作成部１１２１６、中間画像作成部１１２１７、フレームメモリ１１２１８、符号反転部１１２１９、およびフレームメモリ１１２２０を含む。
【１７７８】
さらに、動き量検出部１１２０４は、相関検出部１１２２１および相関評価部１１２２２を含む。
【１７７９】
図１６０で構成が示される定常性設定部１７００２において、入力画像は、動き方向検出部１１２０１および動き方向修正部１１２０２に供給される。さらに、処理領域設定部１７００１が出力する処理領域情報も、動き方向検出部１１２０１および動き方向修正部１１２０２に供給される。
【１７８０】
動き方向検出部１１２０１は、入力画像と処理領域情報を取得して、取得した入力画像から処理領域における動き方向を検出する。
【１７８１】
動いている対象物を撮像したとき、対象物の画像には動きボケが生じる。これは、対象物の画像を撮像するセンサ２としてのカメラまたはビデオカメラのイメージセンサの働きによるものである。
【１７８２】
すなわち、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどのイメージセンサは、露光時間（シャッタ時間）において、画素毎に入射された光を連続的に電荷に変換し、さらに電荷を１つの画像値に変換する。撮像の対象物が静止しているとき、露光している期間において、対象物の同じ部位の画像（光）が１つの画素値に変換される。このように撮像された画像には、動きボケは含まれていない。
【１７８３】
これに対して、対象物が動いているとき、露光している期間において、１つの画素に入射される対象物の部位の画像が変化し、対象物の異なる部位の画像が１つの画素値に変換されてしまう。逆に言えば、対象物の１つの部位の画像が複数の画素値に射影される。これが動きボケである。
【１７８４】
動きボケは、対象物の動き方向に生じる。
【１７８５】
動きボケが生じている部分（動きボケを含む領域）の動き方向に並んでいる画素の画素値のそれぞれに注目すると、動き方向に並んでいる画素の画素値には、対象物のほぼ同じ範囲の部位の画像が射影されている。従って、動きボケが生じている部分の、動き方向に並んでいる画素の画素値の変化は、より少なくなっていると言える。
【１７８６】
動き方向検出部１１２０１は、このような入力画像の処理領域における画素の画素値の変化、すなわちアクティビティを基に、動き方向を検出する。
【１７８７】
より具体的には、動き方向検出部１１２０１のアクティビティ演算部１１２１１は、予め定めた方向毎に、各方向に並んでいる画素の画素値の変化（アクティビティ）を演算する。例えば、アクティビティ演算部１１２１１は、予め定めた方向毎に、各方向に対応して位置する画素の画素値の差分をアクティビティとして演算する。アクティビティ演算部１１２１１は、演算した画素値の変化を示す情報をアクティビティ評価部１１２１２に供給する。
【１７８８】
アクティビティ評価部１１２１２は、アクティビティ演算部１１２１１から供給された、予め定めた方向毎の画素の画素値の変化の中の、最小の画素値の変化を選択し、選択した画素値の変化に対応する方向を動き方向とする。
【１７８９】
動き方向検出部１１２０１は、このように検出した動き方向を示す動き方向情報を動き方向修正部１１２０２に供給する。
【１７９０】
動き方向修正部１１２０２には、処理領域情報も供給される。動き方向修正部１１２０２は、動き方向検出部１１２０１から供給された動き方向情報を基に、動き方向が画像の水平方向となるように入力画像における処理領域の中の画像データを変換する。
【１７９１】
例えば、動き方向修正部１１２０２のアフィン変換部１１２１３は、動き方向検出部１１２０１から供給された動き方向情報を基に、動き方向情報で示される動き方向が画像の水平方向となるように入力画像における処理領域の中の画像データをアフィン変換する。
【１７９２】
動き方向修正部１１２０２は、動き方向が画像の水平方向となるように変換された入力画像における処理領域の中の画像データを特徴量検出部１１２０３に供給する。
【１７９３】
特徴量検出部１１２０３は、動き方向修正部１１２０２から供給された画像の特徴量を検出する。
【１７９４】
すなわち、特徴量検出部１１２０３の差分演算部１１２１４は、入力画像の処理領域の画素から１つの画素を選択することにより、注目している注目画素とする。そして、特徴量検出部１１２０３の差分演算部１１２１４は、注目画素の画素値から、注目画素の右隣の画素の画素値を引き算することにより差分値を求める。
【１７９５】
差分演算部１１２１４は、入力画像の処理領域の画素を順に注目画素として、差分値を求める。すなわち、差分演算部１１２１４は、入力画像の処理領域の全ての画素に対して、差分値を求める。差分演算部１１２１４は、差分値に対応する注目画素の位置を示す情報（差分値の画面上の位置を示す位置情報）と共に、このように演算された差分値を差分評価部１１２１５に供給する。
【１７９６】
差分評価部１１２１５は、差分値が０以上であるか否かを判定し、０以上である差分値を、差分値の画面上に位置を示す位置情報と共に、中間画像作成部１１２１６に供給し、０未満である差分値を、差分値の画面上の位置を示す位置情報と共に、中間画像作成部１１２１７に供給する。
【１７９７】
中間画像作成部１１２１６は、差分値の画面上に位置を示す位置情報と共に、差分評価部１１２１５から供給された０以上である差分値を基に、差分値からなる中間画像を作成する。すなわち、中間画像作成部１１２１６は、位置情報で示される画面上の位置の画素に、差分評価部１１２１５から差分値が供給された０以上である差分値を設定し、差分評価部１１２１５から差分値が供給されなかった位置の画素に０を設定して、中間画像を作成する。中間画像作成部１１２１６は、このように作成した中間画像（以下、非反転中間画像と称する。）をフレームメモリ１１２１８に供給する。
【１７９８】
中間画像作成部１１２１７は、差分値の画面上に位置を示す位置情報と共に、差分評価部１１２１５から供給された０未満（負の値）である差分値を基に、差分値からなる中間画像を作成する。すなわち、中間画像作成部１１２１７は、位置情報で示される画面上の位置の画素に、差分評価部１１２１５から差分値が供給された０未満である差分値を設定し、差分評価部１１２１５から差分値が供給されなかった位置の画素に０を設定して、中間画像を作成する。中間画像作成部１１２１６は、このように作成した中間画像を符号反転部１１２１９に供給する。
【１７９９】
符号反転部１１２１９は、中間画像作成部１１２１７から供給された中間画像の画素に設定されている、０未満である差分値の符号を反転する。中間画像の画素に設定されている０である値の符号は、反転されない。すなわち、符号反転部１１２１９は、中間画像作成部１１２１７から供給された中間画像の画素に設定されている、０未満である差分値を選択し、選択した０未満である差分値を、差分値と同じ絶対値の０を超える値に変換する。例えば、−１５である差分値は、符号が反転され、１５に変換される。符号反転部１１２１９は、このように符号が反転された中間画像（以下、反転中間画像と称する。）をフレームメモリ１１２２０に供給する。
【１８００】
フレームメモリ１１２１８は、０以上である差分値と０とからなる非反転中間画像を、特徴量として動き量検出部１１２０４に供給する。フレームメモリ１１２２０は、符号が反転され０を超える値とされた差分値と０とからなる反転中間画像を、特徴量として動き量検出部１１２０４に供給する。
【１８０１】
動き量検出部１１２０４は、特徴量検出部１１２０３から供給された特徴量を基に、動きを検出する。すなわち、動き量検出部１１２０４は、入力画像の処理領域における対象物の画像（オブジェクト）の画素の中の少なくとも注目画素の特徴と、注目画素に対して動き方向に沿って配される対応画素の特徴との相関を検出し、検出された相関に応じて、入力画像の処理領域における対象物の画像（オブジェクト）の動き量を検出する。
【１８０２】
動き量検出部１１２０４の相関検出部１１２２１は、特徴量検出部１１２０３のフレームメモリ１１２１８から供給された、特徴量としての、非反転中間画像と、特徴量検出部１１２０３のフレームメモリ１１２２０から供給された、特徴量としての、反転中間画像との相関を検出する。相関検出部１１２２１は、検出された相関を相関評価部１１２２２に供給する。
【１８０３】
より詳細に説明すれば、例えば、動き量検出部１１２０４の相関検出部１１２２１は、特徴量検出部１１２０３のフレームメモリ１１２１８から供給された、０以上である差分値と０とからなる非反転中間画像に対して、特徴量検出部１１２０３のフレームメモリ１１２２０から供給された、符号が反転され０を超える値とされた差分値と０とからなる反転中間画像を、画素を単位として、画面の水平方向に移動させる（ずらす（シフトさせる））。すなわち、相関検出部１１２２１は、反転中間画像を構成する画素の画面上の位置を水平方向に移動させる。
【１８０４】
反転中間画像（の画素）を、画面上の水平方向に移動させることによって、非反転中間画像の画素と、反転中間画像の画素との画面上の位置の関係が変化する。例えば、移動前に、非反転中間画像の注目画素に対応する画面上の位置にある、反転中間画像の対応画素は、移動後において、移動量だけ、非反転中間画像の注目画素に対応する位置から離れることになる。より具体的には、反転中間画像を右に２０画素移動したとき、反転中間画像の対応画素は、非反転中間画像の注目画素に対応する位置から右に２０画素離れる。逆に言えば、移動後に、非反転中間画像の注目画素に対応する画面上の位置にある、反転中間画像の対応画素は、移動前において、注目画素に対応する位置から移動量だけ離れている。
【１８０５】
相関検出部１１２２１は、非反転中間画像と、移動された反転中間画像との、対応する位置の画素の画素値の差分を演算し、差分の絶対値の和を相関値とする。
【１８０６】
例えば、相関検出部１１２２１は、非反転中間画像に対して、反転中間画像を、画面の左方向に７０画素乃至画面の右方向に７０画素の範囲で、１画素ずつ画面の水平方向に移動させ（ずらして）、移動させた位置毎（移動量毎）に、非反転中間画像および移動された反転中間画像について、画面上の同じ位置となる画素の画素値の差分を演算し、差分の絶対値の和を相関値とする。
【１８０７】
例えば、非反転中間画像に対して反転中間画像を、画面の左方向に移動するとき、移動量を負（マイナス）で表す。非反転中間画像に対して反転中間画像を、画面の右方向に移動するとき、移動量を正（プラス）で表す。相関検出部１１２２１は、−７０画素乃至＋７０画素の移動量毎に、非反転中間画像および移動された反転中間画像について、画面上の同じ位置となる画素の画素値の差分を演算し、差分の絶対値の和を相関値とする。
【１８０８】
相関検出部１１２２１は、移動量に対応する相関値を相関評価部１１２２２に供給する。すなわち、相関検出部１１２２１は、移動量と相関値との組を相関評価部１１２２２に供給する。
【１８０９】
相関評価部１１２２２は、相関に応じて、入力画像の処理領域における対象物の画像の動き量を検出する。具体的には、相関評価部１１２２２は、相関検出部１１２２１から供給された相関のうち、最大の（最も強い）相関に対応する移動量を動き量とする。
【１８１０】
例えば、相関評価部１１２２２は、相関検出部１１２２１から供給された相関値である、差分の絶対値の和の内、最小の値を選択し、選択された最小の値に対応する移動量を動き量に設定する。
【１８１１】
相関評価部１１２２２は、検出された動き量を出力する。
【１８１２】
図１６１乃至図１６３は、図１６０の定常性設定部１７００２による動き検出の原理を説明する図である。
【１８１３】
いま、撮像の対象物である、白い前景オブジェクトが、他の撮像の対象物である、黒い背景オブジェクトの前（手前）に配置され、左側から右側に移動しており、ＣＣＤまたはＣＭＯＳセンサなどのイメージセンサを有するカメラが、所定の露光時間（シャッタ時間）で、背景オブジェクトと共に、前景オブジェクトを撮像するものとする。
【１８１４】
この場合にカメラが出力する画像の１フレームに注目すると、背景オブジェクトは、黒いので、例えば、カメラは、背景オブジェクトの画像に対して０である画素値を出力する。前景オブジェクトは、白いので、例えば、カメラは、前景オブジェクトの画像に対して２５５である画素値を出力する。なお、ここでは、カメラが、０乃至２８−１の範囲の画素値を出力するものであるとする。
【１８１５】
図１６１上側の図は、カメラのシャッタが開いた瞬間（露光を開始した瞬間）における位置に、前景オブジェクトが静止しているとき、カメラが出力する画像の画素値を示す図である。
【１８１６】
図１６１下側の図は、カメラのシャッタが閉じる瞬間（露光を終了する瞬間）における位置に、前景オブジェクトが静止しているとき、カメラが出力する画像の画素値を示す図である。
【１８１７】
図１６１で示されるように、前景オブジェクトの画像の動き量は、カメラのシャッタが開いた瞬間から、カメラのシャッタが閉じる瞬間までに、前景オブジェクトの画像が移動した距離である。
【１８１８】
図１６２は、背景オブジェクトの前を移動する前景オブジェクトをカメラで撮像したときに、カメラから出力される画像の画素値を示す図である。カメラのイメージセンサは、露光時間（シャッタ時間）において、画素毎に対象物の画像（光）を連続的に電荷に変換し、さらに電荷を１つの画像値に変換するので、前景オブジェクト１１２５１の画像は、複数の画素の画素値に射影される。図１６１で示される画像の画素値の最大値に比較して、図１６２で示される画像の画素値の最大値は小さくなる。
【１８１９】
図１６２で示される画素値のスロープの幅は、背景オブジェクトの画像の幅に対応する。
【１８２０】
図１６２で示される画像の個々の画素について、右隣の画素との差分値を計算し、差分値を画素に設定すると、図１６３に示される、差分値からなる画像が得られる。
【１８２１】
すなわち、図１６２で示される画像の画素から１つの画素が選択され、注目している注目画素とされる。そして、注目画素の画素値から、注目画素の右隣の画素の画素値が引き算されることにより差分値が求められる。差分値は、注目画素に対応する位置の画素に設定される。図１６２で示される画像の画素が順に注目画素とされ、図１６３で示される差分値からなる画像が求められる。
【１８２２】
図１６１上側の図で示される、カメラのシャッタが開いた瞬間における、前景オブジェクトの位置に対して１画素左側に、符号が負（マイナス）である差分値が現れ、図１６１下側の図で示される、カメラのシャッタが閉じる瞬間における、前景オブジェクトの位置に対して１画素左側に、符号が正（プラス）である差分値が現れる。
【１８２３】
従って、図１６３で示される、符号が負（マイナス）である差分値の符号を反転した値と、符号が正（プラス）である差分値とのマッチングをとると、例えば、マッチングしたときの、符号が正（プラス）である差分値を基準とした、符号が負（マイナス）である差分値の符号を反転した値の移動量は、動き量と同じである。
【１８２４】
例えば、符号が正（プラス）である差分値を基準として、符号が負（マイナス）である差分値の符号を反転した値が水平方向に移動され、その移動量毎に、負である差分値を反転した値と正である差分値との相関が検出され、最大の（最も強い）相関が検出される。最大の相関が検出されたときの移動量は、動き量と同じである。
【１８２５】
より具体的には、例えば、符号が正（プラス）である差分値を基準として、符号が負（マイナス）である差分値の符号を反転した値が水平方向に移動され、その移動量毎に、負である差分値を反転した値と正である差分値との相関として、画素毎に、反転した値から正の差分値が引き算される。そして、引き算した結果の内の最小の値、すなわち最大の相関が検出される。検出された最大の相関に対応する移動量は、動き量と同じである。
【１８２６】
以上のように、画像の１フレームから、露光時間（シャッタ時間）において、対象物の画像が移動した量である動き量を検出することができる。
【１８２７】
すなわち、特徴量検出部１１２０３の差分演算部１１２１４は、入力画像の処理領域における画素から１つの画素を選択して、注目画素とし、注目画素の画素値から、注目画素の右隣の画素の画素値を引き算することにより、例えば、図１６３で示される差分値を演算する。差分評価部１１２１５は、差分の符号を基に、正の差分値と負の差分値とに分類する。
【１８２８】
中間画像作成部１１２１６は、分類された正の差分値から、その正の差分値からなる非反転中間画像を作成する。中間画像作成部１１２１７は、分類された負の差分値から、その負の差分値からなる中間画像を作成する。符号反転部１１２１９は、負の差分値からなる中間画像の負の画素値の符号を反転することにより、反転中間画像を作成する。
【１８２９】
動き量検出部１１２０４は、相関が最も強い非反転中間画像と反転中間画像との移動量を求めて、求められた移動量を動き量とする。
【１８３０】
特徴量検出部１１２０３が、動いている対象物の画像（オブジェクト）を検出し、動いている対象物の画像の特徴量を検出したとき、動き量検出部１１２０４は、特徴量を基に相関を検出し、検出された相関に応じて、入力画像内の対象物の画像（オブジェクト）の動き量を検出する。
【１８３１】
また、特徴量検出部１１２０３が、動いている対象物の画像に属する画素から注目している画素である注目画素を選択し、注目画素の特徴量を検出したとき、動き量検出部１１２０４は、注目画素の特徴量と、注目画素に対して動き方向に沿って配される対応画素の特徴量との相関を検出し、検出された相関に応じて、入力画像の処理領域における対象物の画像の動き量を検出する。
【１８３２】
図１６４は、図１６０の定常性設定部１７００２による動き量の検出の処理を説明するフローチャートである。
【１８３３】
ステップＳ１１２０１において、動き方向検出部１１２０１および動き方向修正部１１２０２は、入力画像と処理領域情報を取得し、ステップＳ１１２０２に進む。
【１８３４】
ステップＳ１１２０２において、動き方向検出部１１２０１１のアクティビティ演算部１１２１１は、ステップＳ１１２０１の処理により取得された入力画像における処理領域の画素について、アクティビティを演算し、ステップＳ１１２０３に進む。
【１８３５】
例えば、アクティビティ演算部１１２１１は、入力画像における処理領域の画素のうち、注目している画素である注目画素を選択する。アクティビティ演算部１１２１１は、注目画素の周辺の所定の数の周辺画素を抽出する。例えば、アクティビティ演算部１１２１１は、注目画素を中心とした、縦×横が５×５の画素からなる周辺画素を抽出する。
【１８３６】
そして、アクティビティ演算部１１２１１は、抽出した周辺画素から、予め定めた画像上の方向に対応するアクティビティを検出する。
【１８３７】
以下の説明において、横方向の画素の１列の並びを行と称し、縦方向の画素の１列の並びを列と称する。
【１８３８】
アクティビティ演算部１１２１１は、例えば、５×５の周辺画素について、画面上の上下方向（垂直）に隣接する画素の画素値の差分を算出して、算出された差分の絶対値の総和を差分の数で割り、その結果をアクティビティとすることにより、画面の水平方向を基準として、９０度の角度（画面の垂直方向）に対する、アクティビティを検出する。
【１８３９】
例えば、２０組の、画面上の上下方向に隣接する２つの画素について、画素値の差分が算出され、算出された差分の絶対値の和が２０で割り算され、その結果（商）が、９０度の角度に対するアクティビティに設定される。
【１８４０】
アクティビティ演算部１１２１１は、例えば、５×５の周辺画素について、最も下の行の画素であって、最も左側の画素乃至左から４番目の画素のそれぞれの画素値と、それぞれの画素に対して、４画素上側であって、１画素右側の画素の画素値との差分を算出して、算出された差分の絶対値の総和を差分の数で割り、その結果をアクティビティとすることにより、画面の水平方向を基準として、７６度の角度（ｔａｎ−１（４／１））に対する、アクティビティを検出する。
【１８４１】
そして、例えば、４組の、右上方向であって、上下方向に４画素、および左右方向に１画素離れた位置にある２つの画素について、画素値の差分が算出され、算出された差分の絶対値の和が４で割り算され、その結果（商）が、７６度の角度に対するアクティビティに設定される。
【１８４２】
アクティビティ演算部１１２１１は、同様の処理で、画面の水平方向を基準として、９０度乃至１８０度の範囲の角度に対するアクティビティを検出する。９０度乃至１８０度の範囲の角度に対するアクティビティを検出する場合、左上方向に位置する画素の画素値の差分を基に、アクティビティが算出される。
【１８４３】
このように検出されたアクティビティは、注目画素に対するアクティビティとされる。
【１８４４】
なお、検出されたアクティビティを、周辺画素に対するアクティビティとするようにしてもよい。
【１８４５】
また、周辺画素は、縦×横が５×５の画素からなると説明したが、５×５の画素に限らず、所望の範囲の画素とすることができる。周辺画素の数が多い場合、角度の分解能が向上する。
【１８４６】
アクティビティ演算部１１２１１は、複数の方向に対応するアクティビティを示す情報をアクティビティ評価部１１２１２に供給する。
【１８４７】
図１６４に戻り、ステップＳ１１２０３において、アクティビティ評価部１１２１２は、ステップＳ１１２０２の処理において算出された、所定の方向に対応するアクティビティを基に、最小のアクティビティを選択し、選択された方向を動き方向とすることにより、動き方向を求めて、ステップＳ１１２０４に進む。
【１８４８】
ステップＳ１１２０４において、動き方向修正部１１２０２は、ステップＳ１１２０３の処理において求められた動き方向を基に、動き方向が画像の水平方向となるように入力画像の処理領域における画像データを変換し、ステップＳ１１２０５に進む。例えば、ステップＳ１１２０４において、動き方向修正部１１２０２のアフィン変換部１１２１３は、ステップＳ１１２０３の処理において求められた動き方向を基に、動き方向が画像の水平方向となるように入力画像の処理領域における画像データをアフィン変換する。より具体的には、例えば、アフィン変換部１１２１３は、画面の水平方向を基準として、動き方向が１８度の角度であるとき、入力画像の処理領域における画像データを時計方向に１８度回動するようにアフィン変換する。
【１８４９】
ステップＳ１１２０５において、特徴量検出部１１２０３の差分演算部１１２１４は、ステップＳ１１２０４の処理において、動き方向が画面の水平方向となるように変換された入力画像の処理領域における各画素について、水平方向に隣接する画素との画素値の差分値を演算し、ステップＳ１１２０６に進む。
【１８５０】
例えば、ステップＳ１１２０５において、差分演算部１１２１４は、入力画像の処理領域における画素から１つの画素を選択することにより、注目している注目画素とする。そして、差分演算部１１２１４は、注目画素の画素値から、注目画素の右隣の画素の画素値を引き算することにより差分値を求める。
【１８５１】
ステップＳ１１２０６において、特徴量検出部１１２０３の差分評価部１１２１５は、差分値の符号を基に、差分値を振り分け、ステップＳ１１２０７に進む。すなわち、差分評価部１１２１５は、０以上である差分値を中間画像作成部１１２１６に供給し、０未満である差分値を中間画像作成部１１２１７に供給する。この場合において、差分評価部１１２１５は、差分値の画面上に位置を示す位置情報と共に、差分値を中間画像作成部１１２１６または中間画像作成部１１２１７に供給する。
【１８５２】
ステップＳ１１２０７において、特徴量検出部１１２０３の中間画像作成部１１２１６は、ステップＳ１１２０６の処理で振り分けられた、０以上である差分値（正の差分値）を基に、正の差分値からなる中間画像を生成し、ステップＳ１１２０８に進む。すなわち、ステップＳ１１２０７において、中間画像作成部１１２１６は、位置情報で示される画面上の位置の画素に正の差分値を設定し、差分値が供給されなかった位置の画素に０を設定することにより、中間画像を作成する。
【１８５３】
このように、ステップＳ１１２０７の処理において、非反転中間画像が生成される。
【１８５４】
ステップＳ１１２０８において、特徴量検出部１１２０３の中間画像作成部１１２１７は、ステップＳ１１２０６の処理で振り分けられた、０未満である差分値（負の差分値）を基に、負の差分値からなる中間画像を生成し、ステップＳ１１２０９に進む。すなわち、ステップＳ１１２０８において、中間画像作成部１１２１７は、位置情報で示される画面上の位置の画素に負の差分値を設定し、差分値が供給されなかった位置の画素に０を設定することにより、中間画像を作成する。
【１８５５】
ステップＳ１１２０９において、特徴量検出部１１２０３の符号反転部１１２１９は、ステップＳ１１２０８の処理で生成された負の差分値からなる中間画像の負の差分値の符号を反転する。すなわち、ステップＳ１１２０９において、負の中間画像の画素に設定されている、負の差分値が、同じ絶対値の正の値に変換される。
【１８５６】
このように、ステップＳ１１２０９において、反転中間画像が生成され、その後、ステップＳ１１２１０に進む。
【１８５７】
ステップＳ１１２１０において、動き量検出部１１２０４は、相関の検出の処理を実行する。ステップＳ１１２１０の処理の詳細は、図１６５のフローチャートを参照して、後述する。
【１８５８】
ステップＳ１１２１１において、相関評価部１１２２２は、ステップＳ１１２１０の処理で検出された相関のうち、最も強い相関を選択し、ステップＳ１１２１２に進む。例えば、ステップＳ１１２１１において、画素値の差分の絶対値の和である相関値のうち、最小の相関値が選択される。
【１８５９】
ステップＳ１１２１２において、相関評価部１１２２２は、ステップＳ１１２１１の処理で選択された、最も強い相関に対応する移動量を動き量に設定して、ステップＳ１１２１３に進む。例えば、ステップＳ１１２１２において、画素値の差分の絶対値の和である相関値のうち、選択された最小の相関値に対応して、後述するステップＳ１１２２３の処理により記憶されている、反転中間画像の移動量が動き量に設定される。
【１８６０】
ステップＳ１１２１３において、動き量検出部１１２０４は、ステップＳ１１２１０の処理において検出した動き量を出力して、処理は終了する。
【１８６１】
図１６５は、ステップＳ１１２１０の処理に対応する、相関の検出の処理を説明するフローチャートである。
【１８６２】
ステップＳ１１２２１において、動き量検出部１１２０４の相関検出部１１２２１は、ステップＳ１１２０９の処理で生成された、反転中間画像の画素の位置を、画素を単位として水平方向に移動し、ステップＳ１１２２２に進む。
【１８６３】
ステップＳ１１２２２において、相関検出部１１２２１は、非反転中間画像と、ステップＳ１１２２１の処理において、画素の位置が移動された反転中間画像との相関を検出し、ステップＳ１１２２３に進む。例えば、ステップＳ１１２２２において、非反転中間画像の画素の画素値と、画面上で対応する位置の、反転中間画像の画素の画素値との差分が算出され、算出された差分の絶対値の和が相関値として検出される。相関検出部１１２２１は、ステップＳ１１２２１の処理における反転中間画像の画素の移動量と共に、検出された相関を示す相関情報を相関評価部１１２２２に供給する。
【１８６４】
ステップＳ１１２２３において、相関評価部１１２２２は、ステップＳ１１２２１の処理における反転中間画像の画素の移動量と共に、ステップＳ１１２２２の処理において検出された相関を記憶し、ステップＳ１１２２４に進む。例えば、相関評価部１１２２２は、ステップＳ１１２２１の処理における反転中間画像の画素の移動量と共に、画素値の差分の絶対値の和である相関値を記憶する。
【１８６５】
ステップＳ１１２２４において、相関検出部１１２２１は、全ての移動量に対する相関を検出したか否かを判定し、まだ相関を検出していない移動量があると判定された場合、ステップＳ１１２２１に戻り、次の移動量に対する相関を検出する処理を繰り返す。
【１８６６】
例えば、ステップＳ１１２２４において、相関検出部１１２２１は、画面の左方向に７０画素乃至画面の右方向に７０画素の範囲で、反転中間画像の画素を移動したときの相関を全て検出したか否かを判定する。
【１８６７】
ステップＳ１１２２４において、全ての移動量に対する相関を検出したと判定された場合、処理は終了する（リターンする）。
【１８６８】
このように、相関検出部１１２２１は、相関を検出することができる。
【１８６９】
以上のように、図１６０に構成を示す定常性設定部１７００２は、画像の１つのフレームから、動き量を検出することができる。
【１８７０】
なお、ここでは、処理領域を対象として動きを検出するようにしたか、全画面を処理対象とすることで、例えば、手振れにより発生した全画面の動きを検出することができる。
【１８７１】
また、入力画像に同じ模様の繰り返しパターンが多く含まれていても、処理の対象となる入力画像の処理領域の動き量および動き方向が一定であれば、正確に動き量を検出することができる。
【１８７２】
なお、上述の場合には、画像の１つのフレームから動き量を検出すると説明したが、１つのフィールドから動き量を検出するようにしてもよいことは勿論である。
【１８７３】
また、選択した注目画素の周辺についてのみ、動き量を検出するようにしてもよい。
【１８７４】
【発明の効果】
以上の如く、本発明によれば、現実世界の信号により近似した画像等を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明の原理を示す図である。
【図２】信号処理装置４のハードウェア構成の例を示すブロック図である。
【図３】図１の信号処理装置４の一実施の形態の構成例を示すブロック図である。
【図４】信号処理装置４の信号処理の原理をより具体的に説明する図である。
【図５】イメージセンサ上の画素の配置の例を説明する図である。
【図６】ＣＣＤである検出素子の動作を説明する図である。
【図７】画素Ｄ乃至画素Ｆに対応する検出素子に入射される光と、画素値との関係を説明する図である。
【図８】時間の経過と、１つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。
【図９】実世界１の線状の物の画像の例を示す図である。
【図１０】実際の撮像により得られた画像データの画素値の例を示す図である。
【図１１】背景とは異なる色であって、単色の、直線状の縁を有する物の実世界１の画像の例を示す図である。
【図１２】実際の撮像により得られた画像データの画素値の例を示す図である。
【図１３】画像データの模式図である。
【図１４】Ｍ個のデータ１６２によるモデル１６１の推定を説明する図である。
【図１５】実世界１の信号とデータ３との関係を説明する図である。
【図１６】式を立てるときに注目するデータ３の例を示す図である。
【図１７】式を立てる場合における、実世界１における２つの物体に対する信号および混合領域に属する値を説明する図である。
【図１８】式（１８）、式（１９）、および式（２２）で表される定常性を説明する図である。
【図１９】データ３から抽出される、Ｍ個のデータ１６２の例を示す図である。
【図２０】データ３における、時間方向および２次元の空間方向の実世界１の信号の積分を説明する図である。
【図２１】空間方向により解像度の高い高解像度データを生成するときの、積分の領域を説明する図である。
【図２２】時間方向により解像度の高い高解像度データを生成するときの、積分の領域を説明する図である。
【図２３】時間空間方向により解像度の高い高解像度データを生成するときの、積分の領域を説明する図である。
【図２４】入力画像の元の画像を示す図である。
【図２５】入力画像の例を示す図である。
【図２６】従来のクラス分類適応処理を適用して得られた画像を示す図である。
【図２７】細線の領域を検出した結果を示す図である。
【図２８】信号処理装置４から出力された出力画像の例を示す図である。
【図２９】信号処理装置４による、信号の処理を説明するフローチャートである。
【図３０】データ定常性検出部１０１の構成を示すブロック図である。
【図３１】背景の前に細線がある実世界１の画像を示す図である。
【図３２】平面による背景の近似を説明する図である。
【図３３】細線の画像が射影された画像データの断面形状を示す図である。
【図３４】細線の画像が射影された画像データの断面形状を示す図である。
【図３５】細線の画像が射影された画像データの断面形状を示す図である。
【図３６】頂点の検出および単調増減領域の検出の処理を説明する図である。
【図３７】頂点の画素値が閾値を超え、隣接する画素の画素値が閾値以下である細線領域を検出する処理を説明する図である。
【図３８】図３７の点線ＡＡ’で示す方向に並ぶ画素の画素値を表す図である。
【図３９】単調増減領域の連続性の検出の処理を説明する図である。
【図４０】細線の画像が射影された領域の検出の他の処理の例を示す図である。
【図４１】定常性検出の処理を説明するフローチャートである。
【図４２】時間方向のデータの定常性を検出の処理を説明する図である。
【図４３】非定常成分抽出部２０１の構成を示すブロック図である。
【図４４】棄却される回数を説明する図である。
【図４５】非定常成分の抽出の処理を説明するフローチャートである。
【図４６】定常成分の抽出の処理を説明するフローチャートである。
【図４７】定常成分の抽出の他の処理を説明するフローチャートである。
【図４８】定常成分の抽出のさらに他の処理を説明するフローチャートである。
【図４９】データ定常性検出部１０１の他の構成を示すブロック図である。
【図５０】データの定常性を有する入力画像におけるアクティビティを説明する図である。
【図５１】アクティビティを検出するためのブロックを説明する図である。
【図５２】アクティビティに対するデータの定常性の角度を説明する図である。
【図５３】データ定常性検出部１０１のより詳細な構成を示すブロック図である。
【図５４】画素の組を説明する図である。
【図５５】画素の組の位置とデータの定常性の角度との関係を説明する図である。
【図５６】データの定常性の検出の処理を説明するフローチャートである。
【図５７】時間方向および空間方向のデータの定常性の角度を検出するとき、抽出される画素の組を示す図である。
【図５８】図３の実世界推定部の実施の形態の１例である、関数近似手法の原理を説明する図である。
【図５９】センサがＣＣＤとされる場合の積分効果を説明する図である。
【図６０】図５９のセンサの積分効果の具体的な例を説明する図である。
【図６１】図５９のセンサの積分効果の具体的な他の例を説明する図である。
【図６２】図６０で示される細線含有実世界領域を表した図である。
【図６３】図３の実世界推定部の実施の形態の１例の原理を、図５８の例と対比させて説明する図である。
【図６４】図６０で示される細線含有データ領域を表した図である。
【図６５】図６４の細線含有データ領域に含まれる各画素値のそれぞれをグラフ化した図である。
【図６６】図６５の細線含有データ領域に含まれる各画素値を近似した近似関数をグラフ化した図である。
【図６７】図６０で示される細線含有実世界領域が有する空間方向の定常性を説明する図である。
【図６８】図６４の細線含有データ領域に含まれる各画素値のそれぞれをグラフ化した図である。
【図６９】図６８で示される入力画素値のそれぞれを、所定のシフト量だけシフトさせた状態を説明する図である。
【図７０】空間方向の定常性を考慮して、図６５の細線含有データ領域に含まれる各画素値を近似した近似関数をグラフ化した図である。
【図７１】空間混合領域を説明する図である。
【図７２】空間混合領域における、実世界の信号を近似した近似関数を説明する図である。
【図７３】センサの積分特性と空間方向の定常性の両方を考慮して、図６５の細線含有データ領域に対応する実世界の信号を近似した近似関数をグラフ化した図である。
【図７４】図５８で示される原理を有する関数近似手法のうちの、１次多項式近似手法を利用する実世界推定部の構成例を説明するブロック図である。
【図７５】図７４の構成の実世界推定部が実行する実世界の推定処理を説明するフローチャートである。
【図７６】タップ範囲を説明する図である。
【図７７】空間方向の定常性を有する実世界の信号を説明する図である。
【図７８】センサがＣＣＤとされる場合の積分効果を説明する図である。
【図７９】断面方向距離を説明する図である。
【図８０】図５８で示される原理を有する関数近似手法のうちの、２次多項式近似手法を利用する実世界推定部の構成例を説明するブロック図である。
【図８１】図８０の構成の実世界推定部が実行する実世界の推定処理を説明するフローチャートである。
【図８２】タップ範囲を説明する図である。
【図８３】時空間方向の定常性の方向を説明する図である。
【図８４】センサがＣＣＤとされる場合の積分効果を説明する図である。
【図８５】空間方向の定常性を有する実世界の信号を説明する図である。
【図８６】時空間方向の定常性を有する実世界の信号を説明する図である。
【図８７】図５８で示される原理を有する関数近似手法のうちの、３次元近似手法を利用する実世界推定部の構成例を説明するブロック図である。
【図８８】図８７の構成の実世界推定部が実行する実世界の推定処理を説明するフローチャートである。
【図８９】図３の画像生成部の実施の形態の１例である、再積分手法の原理を説明する図である。
【図９０】入力画素と、その入力画素に対応する、実世界の信号を近似する近似関数の例を説明する図である。
【図９１】図９０で示される近似関数から、図９０で示される１つの入力画素における、高解像度の４つの画素を創造する例を説明する図である。
【図９２】図８９で示される原理を有する再積分手法のうちの、１次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。
【図９３】図９２の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。
【図９４】入力画像の元の画像の例を表す図である。
【図９５】図９４の画像に対応する画像データの例を表す図である。
【図９６】入力画像の例を表す図である。
【図９７】図９６の画像に対応する画像データの例を表す図である。
【図９８】入力画像に対して従来のクラス分類適応処理を施して得られる画像の例を表す図である。
【図９９】図９８の画像に対応する画像データの例を表す図である。
【図１００】入力画像に対して１次元再積分手法の処理を施して得られる画像の例を表す図である。
【図１０１】図１００の画像に対応する画像データの例を表す図である。
【図１０２】空間方向の定常性を有する実世界の信号を説明する図である。
【図１０３】図８９で示される原理を有する再積分手法のうちの、２次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。
【図１０４】断面方向距離を説明する図である。
【図１０５】図１０３の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。
【図１０６】入力画素の１例を説明する図である。
【図１０７】２次元再積分手法により、図１０６で示される１つの入力画素における、高解像度の４つの画素を創造する例を説明する図である。
【図１０８】時空間方向の定常性の方向を説明する図である。
【図１０９】図８９で示される原理を有する再積分手法のうちの、３次元再積分手法を利用する画像生成部の構成例を説明するブロック図である。
【図１１０】図１０９の構成の画像生成部が実行する画像の生成処理を説明するフローチャートである。
【図１１１】図１の信号処理装置４の他の一実施の形態の構成例を示すブロック図である。
【図１１２】図１１１の信号処理装置４の処理を説明するフローチャートである。
【図１１３】図１１１の信号処理装置４の応用例の他の一実施の形態の構成例を示すブロック図である。
【図１１４】信号処理の種類を説明する図である。
【図１１５】図１１３の信号処理装置４の処理を説明するフローチャートである。
【図１１６】イメージセンサの積分効果を説明するための図である。
【図１１７】イメージセンサの積分効果を説明するための図である。
【図１１８】静止している背景オブジェクトと、その手前を移動する前景オブジェクトとの撮像の様子を示す図である。
【図１１９】前景領域、背景領域、および混合領域を説明する図である。
【図１２０】動きボケを除去する図１１３の信号処理装置４と等価な装置の構成例を示すブロック図である。
【図１２１】図１２０の装置の処理を説明するフローチャートである。
【図１２２】前景領域、背景領域、および混合領域を示す図である。
【図１２３】前景成分と背景成分とを示す図である。
【図１２４】３次元のスプライン関数を示す図である。
【図１２５】光信号関数Ｆ（ｘ）をスプライン関数Ｃｋ（ｘ）で近似するための物理モデルを示す図である。
【図１２６】図１２５の物理モデルにおいて得られる画素値を説明するための図である。
【図１２７】画素における積分範囲を示す図である。
【図１２８】画素値成分Ｓ１を算出するための積分範囲を示す図である。
【図１２９】画素値成分Ｓ２を算出するための積分範囲を示す図である。
【図１３０】画素値成分Ｓ３，ｐを算出するための積分範囲を示す図である。
【図１３１】画素値成分Ｓ３，ｐを算出するための積分の対象となるスプライン関数を説明するための図である。
【図１３２】画素値成分Ｓ３，ｐを算出するための積分範囲を示す図である。
【図１３３】画素値成分Ｓ４，ｐを算出するための積分範囲を示す図である。
【図１３４】画素値成分Ｓ４，ｐを算出するための積分範囲を示す図である。
【図１３５】動きボケを除去した画素値を求める積分方法を説明するための図である。
【図１３６】動きボケが除去された高解像度の画素値を求める積分方法を説明するための図である。
【図１３７】図１２０の動きボケ調整部１７０３５の構成例を示すブロック図である。
【図１３８】図１３７の動きボケ調整部１７０３５の処理を説明するフローチャートである。
【図１３９】拘束条件を説明するための図である。
【図１４０】拘束条件式を用いた実世界の推定の推定方法を説明するための図である。
【図１４１】図１２０の動きボケ調整部１７０３５の他の構成例を示すブロック図である。
【図１４２】図１４１の動きボケ調整部１７０３５の処理を説明するフローチャートである。
【図１４３】実処理を行う実処理部１７１００を示すブロック図である。
【図１４４】図１４３の実処理部１７１００の構成例を示すブロック図である。
【図１４５】図１４４の実処理部１７１００の処理を説明するフローチャートである。
【図１４６】図１４３の実処理部１７１００の他の構成例を示すブロック図である。
【図１４７】図１４６の実処理部１７１００の処理を説明するフローチャートである。
【図１４８】図１２５の物理モデルの動き量ｖを０とした物理モデルを示す図である。
【図１４９】高解像度の画素値を求める積分方法を説明するための図である。
【図１５０】図１４３の実処理部１７１００のさらに他の構成例を示すブロック図である。
【図１５１】図１５０の実処理部１７１００の処理を説明するフローチャートである。
【図１５２】図１１３の信号処理装置４の処理を説明するフローチャートである。
【図１５３】ユーザによるユーザＩ／Ｆ１７００６の操作を説明するための図である。
【図１５４】図１１３の信号処理装置４と等価な装置の構成例を示すブロック図である。
【図１５５】図１５４の装置の処理を説明するフローチャートである。
【図１５６】図１５４の動きボケ除去処理部１７３０３の構成例を示すブロック図である。
【図１５７】図１５６の動きボケ除去処理部１７３０３の処理を説明するフローチャートである。
【図１５８】図１５４の動きボケ除去処理部１７３０３の他の構成例を示すブロック図である。
【図１５９】図１５８の動きボケ除去処理部１７３０３の処理を説明するフローチャートである。
【図１６０】定常性設定部１７００２の構成例を示すブロック図である。
【図１６１】動き量を説明する図である。
【図１６２】背景オブジェクトの前を移動する前景オブジェクトをカメラで撮像したときに、カメラから出力される画像の画素値を示す図である。
【図１６３】図１６２で示される画像の画素の画素値の差分値を示す図である。
【図１６４】動き量の検出の処理を説明するフローチャートである。
【図１６５】相関の検出の処理を説明するフローチャートである。
【符号の説明】
４  信号処理装置，  ２１  ＣＰＵ，  ２２  ＲＯＭ，  ２３  ＲＡＭ，  ２８  記憶部，  ５１  磁気ディスク，  ５２  光ディスク，  ５３  光磁気ディスク，  ５４  半導体メモリ，  １０１  データ定常性検出部，  １０２  実世界推定部，  １０３  画像生成部，  １７００１  処理領域設定部，  １７００２  定常性設定部，  １７００３  実世界推定部，  １７００４  画像生成部，  １７００５  画像表示部，  １７００６  ユーザＩ／Ｆ，  １７０１１  モデル生成部，  １７０１２  方程式生成部，  １７０１３  実世界波形推定部，  １７０３１  領域特定部，  １７０３２  動きボケ調整量出力部，  １７０３３  前景背景分離部，  １７０３４  処理単位決定部，  １７０３５  動きボケ調整部，  １７０３６  画像表示部，  １７０５１  物理モデル適用部，  １７０５２  物理モデル値取得部，  １７０５３  再混合部，  １７０６１  モデル化部，  １７０６２  方程式作成部，  １７０６３  連立方程式取得部，  １７０６４  連立方程式演算部，  １７０８１物理モデル適用部，  １７０８２  画素内拘束式作成部，  １７０８３  物理モデル値取得部，  １７０９１  モデル化部，  １７０９２  方程式作成部，  １７０９３  最小自乗法適用部，  １７１００  実処理部，  １７１０１  前処理部，  １７２００  前処理部，  １７２０１  物理モデル適用部，  １７２０２  物理モデル値取得部，  １７２０３  再混合部，  １７２１１  モデル化部，  １７２１２  方程式作成部，  １７２１３  連立方程式取得部，  １７２１４連立方程式演算部，  １７３０１  入力画像取得部，  １７３０２  ユーザ入力情報取得部，  １７３０３  動きボケ除去処理部，  １７３０４  出力画像合成部，  １７３０５  出力部
【図１】
2005018519.tif 000425
【図２】
2005018519.tif 000426
【図３】
2005018519.tif 000427
【図４】
2005018519.tif 000428
【図５】
2005018519.tif 000429
【図６】
2005018519.tif 000430
【図７】
2005018519.tif 000431
【図８】
2005018519.tif 000432
【図９】
2005018519.tif 000433
【図１０】
2005018519.tif 000434
【図１１】
2005018519.tif 000435
【図１２】
2005018519.tif 000436
【図１３】
2005018519.tif 000437
【図１４】
2005018519.tif 000438
【図１５】
2005018519.tif 000439
【図１６】
2005018519.tif 000440
【図１７】
2005018519.tif 000441
【図１８】
2005018519.tif 000442
【図１９】
2005018519.tif 000443
【図２０】
2005018519.tif 000444
【図２１】
2005018519.tif 000445
【図２２】
2005018519.tif 000446
【図２３】
2005018519.tif 000447
【図２４】
2005018519.tif 000448
【図２５】
2005018519.tif 000449
【図２６】
2005018519.tif 000450
【図２７】
2005018519.tif 000451
【図２８】
2005018519.tif 000452
【図２９】
2005018519.tif 000453
【図３０】
2005018519.tif 000454
【図３１】
2005018519.tif 000455
【図３２】
2005018519.tif 000456
【図３３】
2005018519.tif 000457
【図３４】
2005018519.tif 000458
【図３５】
2005018519.tif 000459
【図３６】
2005018519.tif 000460
【図３７】
2005018519.tif 000461
【図３８】
2005018519.tif 000462
【図３９】
2005018519.tif 000463
【図４０】
2005018519.tif 000464
【図４１】
2005018519.tif 000465
【図４２】
2005018519.tif 000466
【図４３】
2005018519.tif 000467
【図４４】
2005018519.tif 000468
【図４５】
2005018519.tif 000469
【図４６】
2005018519.tif 000470
【図４７】
2005018519.tif 000471
【図４８】
2005018519.tif 000472
【図４９】
2005018519.tif 000473
【図５０】
2005018519.tif 000474
【図５１】
2005018519.tif 000475
【図５２】
2005018519.tif 000476
【図５３】
2005018519.tif 000477
【図５４】
2005018519.tif 000478
【図５５】
2005018519.tif 000479
【図５６】
2005018519.tif 000480
【図５７】
2005018519.tif 000481
【図５８】
2005018519.tif 000482
【図５９】
2005018519.tif 000483
【図６０】
2005018519.tif 000484
【図６１】
2005018519.tif 000485
【図６２】
2005018519.tif 000486
【図６３】
2005018519.tif 000487
【図６４】
2005018519.tif 000488
【図６５】
2005018519.tif 000489
【図６６】
2005018519.tif 000490
【図６７】
2005018519.tif 000491
【図６８】
2005018519.tif 000492
【図６９】
2005018519.tif 000493
【図７０】
2005018519.tif 000494
【図７１】
2005018519.tif 000495
【図７２】
2005018519.tif 000496
【図７３】
2005018519.tif 000497
【図７４】
2005018519.tif 000498
【図７５】
2005018519.tif 000499
【図７６】
2005018519.tif 000500
【図７７】
2005018519.tif 000501
【図７８】
2005018519.tif 000502
【図７９】
2005018519.tif 000503
【図８０】
2005018519.tif 000504
【図８１】
2005018519.tif 000505
【図８２】
2005018519.tif 000506
【図８３】
2005018519.tif 000507
【図８４】
2005018519.tif 000508
【図８５】
2005018519.tif 000509
【図８６】
2005018519.tif 000510
【図８７】
2005018519.tif 000511
【図８８】
2005018519.tif 000512
【図８９】
2005018519.tif 000513
【図９０】
2005018519.tif 000514
【図９１】
2005018519.tif 000515
【図９２】
2005018519.tif 000516
【図９３】
2005018519.tif 000517
【図９４】
2005018519.tif 000518
【図９５】
2005018519.tif 000519
【図９６】
2005018519.tif 000520
【図９７】
2005018519.tif 000521
【図９８】
2005018519.tif 000522
【図９９】
2005018519.tif 000523
【図１００】
2005018519.tif 000524
【図１０１】
2005018519.tif 000525
【図１０２】
2005018519.tif 000526
【図１０３】
2005018519.tif 000527
【図１０４】
2005018519.tif 000528
【図１０５】
2005018519.tif 000529
【図１０６】
2005018519.tif 000530
【図１０７】
2005018519.tif 000531
【図１０８】
2005018519.tif 000532
【図１０９】
2005018519.tif 000533
【図１１０】
2005018519.tif 000534
【図１１１】
2005018519.tif 000535
【図１１２】
2005018519.tif 000536
【図１１３】
2005018519.tif 000537
【図１１４】
2005018519.tif 000538
【図１１５】
2005018519.tif 000539
【図１１６】
2005018519.tif 000540
【図１１７】
2005018519.tif 000541
【図１１８】
2005018519.tif 000542
【図１１９】
2005018519.tif 000543
【図１２０】
2005018519.tif 000544
【図１２１】
2005018519.tif 000545
【図１２２】
2005018519.tif 000546
【図１２３】
2005018519.tif 000547
【図１２４】
2005018519.tif 000548
【図１２５】
2005018519.tif 000549
【図１２６】
2005018519.tif 000550
【図１２７】
2005018519.tif 000551
【図１２８】
2005018519.tif 000552
【図１２９】
2005018519.tif 000553
【図１３０】
2005018519.tif 000554
【図１３１】
2005018519.tif 000555
【図１３２】
2005018519.tif 000556
【図１３３】
2005018519.tif 000557
【図１３４】
2005018519.tif 000558
【図１３５】
2005018519.tif 000559
【図１３６】
2005018519.tif 000560
【図１３７】
2005018519.tif 000561
【図１３８】
2005018519.tif 000562
【図１３９】
2005018519.tif 000563
【図１４０】
2005018519.tif 000564
【図１４１】
2005018519.tif 000565
【図１４２】
2005018519.tif 000566
【図１４３】
2005018519.tif 000567
【図１４４】
2005018519.tif 000568
【図１４５】
2005018519.tif 000569
【図１４６】
2005018519.tif 000570
【図１４７】
2005018519.tif 000571
【図１４８】
2005018519.tif 000572
【図１４９】
2005018519.tif 000573
【図１５０】
2005018519.tif 000574
【図１５１】
2005018519.tif 000575
【図１５２】
2005018519.tif 000576
【図１５３】
2005018519.tif 000577
【図１５４】
2005018519.tif 000578
【図１５５】
2005018519.tif 000579
【図１５６】
2005018519.tif 000580
【図１５７】
2005018519.tif 000581
【図１５８】
2005018519.tif 000582
【図１５９】
2005018519.tif 000583
【図１６０】
2005018519.tif 000584
【図１６１】
2005018519.tif 000585
【図１６２】
2005018519.tif 000586
【図１６３】
2005018519.tif 000587
【図１６４】
2005018519.tif 000588
【図１６５】
2005018519.tif 000589