(57)【要約】【課題】データが取得された現実世界を考慮し、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようにする。【解決手段】差分値比較および画素値検出部５３は、それぞれ時空間積分効果を有する、センサから出力され、フレーム記憶部５１に記憶された入力画像内の、注目画素に隣接する第１の画素と、それに隣接する第２の画素のそれぞれの画素値を検出する。外挿演算部５４は、第１および第２の画素のそれぞれの画素値の重み付け加算により、注目画素における倍密画素のうちの一方の画素値を演算する。さらに、画素内他画素演算部５５が、注目画素の画素値の２倍から、外挿演算部５４により演算された方の倍密画素の画素値を減算することにより、他方の倍密画素の画素値を演算する。【選択図】      図１４
2004302820.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影されて取得された画素値を有する複数の画素からなる画像データにおいて、時空間方向のうち１次元方向に倍密化される前記画素を注目画素として、前記１次元方向上の前記注目画素に隣接する前記画素のうちの、一方の側に位置する第１の画素の前記画素値と、前記１次元方向上の前記第１の画素に隣接する前記画素のうちの、前記注目画素とは反対側に位置する第２の画素の前記画素値とを検出する画素値検出手段と、
前記画素値検出手段により検出された前記第１および前記第２の画素のそれぞれの前記画素値の重み付け加算により、前記注目画素が前記１次元方向に倍密化される倍密画素のうちの、前記第１および前記第２の画素の側に位置する前記倍密画素の画素値を演算する第１の演算手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記注目画素の前記画素値を検出し、検出した前記注目画素の前記画素値の２倍から、前記第１の演算手段により演算された、前記注目画素における前記倍密画素のうちの一方の前記画素値を減算することにより、前記注目画素における前記倍密画素のうちの他方の前記画素値を演算する第２の演算手段
をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影されて取得された画素値を有する複数の画素からなる画像データにおいて、時空間方向のうち１次元方向に倍密化される前記画素を注目画素として、前記１次元方向上の前記注目画素に隣接する前記画素のうちの、一方の側に位置する第１の画素の前記画素値と、前記１次元方向上の前記第１の画素に隣接する前記画素のうちの、前記注目画素とは反対側に位置する第２の画素の前記画素値とを検出する画素値検出ステップと、
前記画素値検出ステップの処理により検出された前記第１および前記第２の画素のそれぞれの前記画素値の重み付け加算により、前記注目画素が前記１次元方向に倍密化される倍密画素のうちの、前記第１および前記第２の画素の側に位置する前記倍密画素の画素値を演算する第１の演算ステップと
を含むことを特徴とする画像処理方法。
【請求項４】
前記注目画素の前記画素値を検出し、検出した前記注目画素の前記画素値の２倍から、前記第１の演算ステップの処理により演算された、前記注目画素における前記倍密画素のうちの一方の前記画素値を減算することにより、前記注目画素における前記倍密画素のうちの他方の前記画素値を演算する第２の演算ステップ
をさらに含むことを特徴とする請求項３に記載の画像処理方法。
【請求項５】
それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影されて取得された画素値を有する複数の画素からなる画像データにおいて、時空間方向のうち１次元方向に倍密化される前記画素を注目画素として、前記１次元方向上の前記注目画素に隣接する前記画素のうちの、一方の側に位置する第１の画素の前記画素値と、前記１次元方向上の前記第１の画素に隣接する前記画素のうちの、前記注目画素とは反対側に位置する第２の画素の前記画素値とを検出する画素値検出ステップと、
前記画素値検出ステップの処理により検出された前記第１および前記第２の画素のそれぞれの前記画素値の重み付け加算により、前記注目画素が前記１次元方向に倍密化される倍密画素のうちの、前記第１および前記第２の画素の側に位置する前記倍密画素の画素値を演算する第１の演算ステップと
を含むことを特徴とする画像処理をコンピュータに実行させるプログラムが記録されている記録媒体。
【請求項６】
前記注目画素の前記画素値を検出し、検出した前記注目画素の前記画素値の２倍から、前記第１の演算ステップの処理により演算された、前記注目画素における前記倍密画素のうちの一方の前記画素値を減算することにより、前記注目画素における前記倍密画素のうちの他方の前記画素値を演算する第２の演算ステップ
をさらに含むことを特徴とする画像処理をコンピュータに実行させるプログラムが記録されている請求項５に記載の記録媒体。
【請求項７】
それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影されて取得された画素値を有する複数の画素からなる画像データにおいて、時空間方向のうち１次元方向に倍密化される前記画素を注目画素として、前記１次元方向上の前記注目画素に隣接する前記画素のうちの、一方の側に位置する第１の画素の前記画素値と、前記１次元方向上の前記第１の画素に隣接する前記画素のうちの、前記注目画素とは反対側に位置する第２の画素の前記画素値とを検出する画素値検出ステップと、
前記画素値検出ステップの処理により検出された前記第１および前記第２の画素のそれぞれの前記画素値の重み付け加算により、前記注目画素が前記１次元方向に倍密化される倍密画素のうちの、前記第１および前記第２の画素の側に位置する前記倍密画素の画素値を演算する第１の演算ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項８】
前記注目画素の前記画素値を検出し、検出した前記注目画素の前記画素値の２倍から、前記第１の演算ステップの処理により演算された、前記注目画素における前記倍密画素のうちの一方の前記画素値を減算することにより、前記注目画素における前記倍密画素のうちの他方の前記画素値を演算する第２の演算ステップ
をさらにコンピュータに実行させることを特徴とする請求項８に記載のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、データが取得された現実世界を考慮した画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
実世界（現実世界）における事象をセンサで検出し、センサが出力するサンプリングデータを処理する技術が広く利用されている。例えば、実世界をイメージセンサで撮像し、画像データであるサンプリングデータを処理する画像処理技術が広く利用されている。
【０００３】
また、第１の次元を有する現実世界の信号である第１の画像をセンサによって検出することにより得た、第１の次元に比較し次元が少ない第２の次元を有し、第１の信号に対する歪を含む第２の画像を取得し、第２の画像に基づく画像処理を行うことにより、第２の画像に比して歪の軽減された第３の画像を生成するようにしているものもある（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開２００１−２５０１１９号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、データが取得された現実世界を考慮した画像処理はこれまで考えられていなかった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、データが取得された現実世界を考慮し、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようにすることを目的とする。
【０００７】
【課題を解決するための手段】
本発明の画像処理装置は、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影されて取得された画素値を有する複数の画素からなる画像データにおいて、時空間方向のうち１次元方向に倍密化される画素を注目画素として、１次元方向上の注目画素に隣接する画素のうちの、一方の側に位置する第１の画素の画素値と、１次元方向上の第１の画素に隣接する画素のうちの、注目画素とは反対側に位置する第２の画素の画素値とを検出する画素値検出手段と、画素値検出手段により検出された第１および第２の画素のそれぞれの画素値の重み付け加算により、注目画素が１次元方向に倍密化される倍密画素のうちの、第１および第２の画素の側に位置する倍密画素の画素値を演算する第１の演算手段とを備えることを特徴とする。
【０００８】
注目画素の画素値を検出し、検出した注目画素の画素値の２倍から、第１の演算手段により演算された、注目画素における倍密画素のうちの一方の画素値を減算することにより、注目画素における倍密画素のうちの他方の画素値を演算する第２の演算手段をさらに設けるようにすることができる。
【０００９】
本発明の画像処理方法は、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影されて取得された画素値を有する複数の画素からなる画像データにおいて、時空間方向のうち１次元方向に倍密化される画素を注目画素として、１次元方向上の注目画素に隣接する画素のうちの、一方の側に位置する第１の画素の画素値と、１次元方向上の第１の画素に隣接する画素のうちの、注目画素とは反対側に位置する第２の画素の画素値とを検出する画素値検出ステップと、画素値検出ステップの処理により検出された第１および第２の画素のそれぞれの画素値の重み付け加算により、注目画素が１次元方向に倍密化される倍密画素のうちの、第１および第２の画素の側に位置する倍密画素の画素値を演算する第１の演算ステップとを含むことを特徴とする。
【００１０】
注目画素の画素値を検出し、検出した注目画素の画素値の２倍から、第１の演算ステップの処理により演算された、注目画素における倍密画素のうちの一方の画素値を減算することにより、注目画素における倍密画素のうちの他方の画素値を演算する第２の演算ステップをさらに含むようにすることができる。
【００１１】
本発明の記録媒体のプログラムは、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影されて取得された画素値を有する複数の画素からなる画像データにおいて、時空間方向のうち１次元方向に倍密化される画素を注目画素として、１次元方向上の注目画素に隣接する画素のうちの、一方の側に位置する第１の画素の画素値と、１次元方向上の第１の画素に隣接する画素のうちの、注目画素とは反対側に位置する第２の画素の画素値とを検出する画素値検出ステップと、画素値検出ステップの処理により検出された第１および第２の画素のそれぞれの画素値の重み付け加算により、注目画素が１次元方向に倍密化される倍密画素のうちの、第１および第２の画素の側に位置する倍密画素の画素値を演算する第１の演算ステップとを含むことを特徴とする。
【００１２】
注目画素の画素値を検出し、検出した注目画素の画素値の２倍から、第１の演算ステップの処理により演算された、注目画素における倍密画素のうちの一方の画素値を減算することにより、注目画素における倍密画素のうちの他方の画素値を演算する第２の演算ステップをさらに含むようにすることができる。
【００１３】
本発明のプログラムは、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影されて取得された画素値を有する複数の画素からなる画像データにおいて、時空間方向のうち１次元方向に倍密化される画素を注目画素として、１次元方向上の注目画素に隣接する画素のうちの、一方の側に位置する第１の画素の画素値と、１次元方向上の第１の画素に隣接する画素のうちの、注目画素とは反対側に位置する第２の画素の画素値とを検出する画素値検出ステップと、画素値検出ステップの処理により検出された第１および第２の画素のそれぞれの画素値の重み付け加算により、注目画素が１次元方向に倍密化される倍密画素のうちの、第１および第２の画素の側に位置する倍密画素の画素値を演算する第１の演算ステップとを含むことを特徴とする。
【００１４】
注目画素の画素値を検出し、検出した注目画素の画素値の２倍から、第１の演算ステップの処理により演算された、注目画素における倍密画素のうちの一方の画素値を減算することにより、注目画素における倍密画素のうちの他方の画素値を演算する第２の演算ステップをさらに含むようにすることができる。
【００１５】
本発明の画像処理装置および方法、記録媒体、並びにプログラムにおいては、それぞれ時空間積分効果を有する、センサの複数の検出素子により現実世界の光信号が射影されて取得された画素値を有する複数の画素からなる画像データにおいて、時空間方向のうち１次元方向に倍密化される画素が注目画素とされて、１次元方向上の注目画素に隣接する画素のうちの、一方の側に位置する第１の画素の画素値と、１次元方向上の第１の画素に隣接する画素のうちの、注目画素とは反対側に位置する第２の画素の画素値とが検出される。そして、検出された第１および第２の画素のそれぞれの画素値の重み付け加算により、注目画素が１次元方向に倍密化される倍密画素のうちの、第１および第２の画素の側に位置する倍密画素の画素値が演算される。
【００１６】
さらに、注目画素の画素値が検出され、検出された注目画素の画素値の２倍から、先に演算された、注目画素における倍密画素のうちの一方の画素値が減算されて、注目画素における倍密画素のうちの他方の画素値が演算される。
【００１７】
画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【００１８】
【発明の実施の形態】
はじめに、従来の画像処理と比較しつつ、本発明の画像処理の原理を説明する。
【００１９】
図１は、従来の画像処理装置４における処理の原理を説明する図である。
【００２０】
図１に示されるように、空間、時間、および質量の次元を有する実世界１の事象（現象）は、センサ２により取得され、データ化される。実世界１の事象とは、光（画像）、音声、圧力、温度、質量、濃度、明るさ／暗さ、またはにおいなどをいう。実世界１の事象は、時空間方向に分布している。例えば、実世界１の画像は、実世界１の光の強度の時空間方向の分布である。
【００２１】
センサ２に注目すると、空間、時間、および質量の次元を有する実世界１の事象のうち、センサ２が取得可能な、実世界１の事象が、センサ２により、データ３に変換される。センサ２によって、実世界１の事象を示す情報が取得されるとも言える。
【００２２】
即ち、センサ２は、実世界１の事象を示す情報を、データ３に変換する。空間、時間、および質量の次元を有する実世界１の事象（現象）を示す情報である信号がセンサ２により取得され、データ化されるとも言える。
【００２３】
以下、実世界１における、画像、音声、圧力、温度、質量、濃度、明るさ／暗さ、またはにおいなどの事象の分布を、実世界１の事象を示す情報である信号とも称する。また、実世界１の事象を示す情報である信号を、単に、実世界１の信号とも称する。本明細書において、信号は、現象および事象を含み、送信側に意思がないものも含むものとする。
【００２４】
センサ２から出力されるデータ３（検出信号）は、実世界１の事象を示す情報を、実世界１に比較して、より低い次元の時空間に射影して得られた情報である。例えば、動画像の画像データであるデータ３は、実世界１の３次元の空間方向および時間方向の画像が、２次元の空間方向、および時間方向からなる時空間に射影されて得られた情報である。また、例えば、データ３がデジタルデータであるとき、データ３は、サンプリングの単位に応じて、丸められている。データ３がアナログデータであるとき、データ３において、ダイナミックレンジに応じて、情報が圧縮されているか、またはリミッタなどにより、情報の一部が削除されている。
【００２５】
このように、所定の次元を有する実世界１の事象を示す情報である信号をデータ３（検出信号）に射影することにより、実世界１の事象を示す情報の一部が欠落する。即ち、センサ２が出力するデータ３において、実世界１の事象を示す情報の一部が欠落している。
【００２６】
従来の画像処理装置４は、このようなデータ３を処理の基準とすると共に、データ３を処理の対象として、高解像度化などの処理を実行する。従来の画像処理装置４においては、実世界１が考慮されることはなく、データ３が最終的な基準となり、データ３に含まれている情報以上の情報を出力として得ることはできない。
【００２７】
また、従来の画像処理装置４において、データ３に存在する、センサ２による歪み（実世界１の情報である信号とデータ３との差）は全く考慮されないので、従来の画像処理装置４は、歪みを含んだままの信号を出力することになる。さらに、画像処理装置４の処理の内容によっては、データ３に存在する、センサ２による歪みがさらに増幅されて、増幅された歪みを含むデータが出力されることになる。
【００２８】
このように、従来の画像処理においては、データ３が取得された実世界１（の信号）そのものが考慮されることはなかった。換言すれば、従来の画像処理においては、データ３に含まれている情報の枠内で実世界１を捉えていたので、データ３に含まれている情報および歪みにより、信号処理の限界が決定される。
【００２９】
これに対して、本発明の画像処理においては、実世界１（の信号）そのものを明確に考慮して、処理が実行される。
【００３０】
図２は、本発明に係る画像処理装置１１における処理の原理を説明する図である。
【００３１】
実世界１の事象を示す情報である信号をセンサ２が取得し、センサ２が、実世界１の情報である信号を射影したデータ３を出力する点では、従来と同様である。
【００３２】
しかしながら、本発明においては、センサ２により取得された、実世界１の事象を示す情報である信号が明確に考慮される。即ち、データ３が、センサ２による歪み（実世界１の情報である信号とデータ３との差）を含むことを意識して画像処理がなされる。
【００３３】
このようにすることで、本発明の画像処理においては、データ３に含まれている情報および歪みにより処理の結果が限定されることがなく、例えば、従来に比較して、実世界１の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。即ち、本発明によれば、センサ２に入力された、実世界１の事象を示す情報である信号に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【００３４】
具体的には、データ３は、射影により実世界１の事象を示す情報の一部が欠落しているものの、データ３は、実世界１の事象（現象）を示す情報である信号を推定するための有意情報を含んでいる。
【００３５】
本発明においては、実世界１の情報である信号を推定するための有意情報として、空間混合を利用する。
【００３６】
ここで、空間混合について説明する前に、空間混合を理解する上で欠かすことができない概念である、センサ２の積分効果について説明する。
【００３７】
画像を撮像するセンサ２である、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどのイメージセンサは、現実世界を撮像するとき、現実世界の情報である信号を２次元のデータに投影する。イメージセンサの各検出素子は、いわゆる受光面（受光領域）として、それぞれ所定の面積を有する。所定の面積を有する受光面に入射した光は、検出素子毎に、空間方向および時間方向に積分され、各検出素子に対して１つの画素値に変換される。即ち、１つの検出素子は、１つの画素に対応することになる。
【００３８】
図３乃至図６を参照して、画像の空間的時間的な積分について説明する。
【００３９】
イメージセンサは、現実世界の対象物（オブジェクト）を撮像し、撮像の結果得られた画像データを１フレーム単位で出力する。即ち、イメージセンサは、実世界１の対象物で反射された光である、実世界１の信号を取得し、データ３を出力する。
【００４０】
例えば、イメージセンサは、１秒間に３０フレームからなる画像データを出力する。この場合、イメージセンサの露光時間は、１／３０秒とすることができる。露光時間は、イメージセンサが入射された光の電荷への変換を開始してから、入射された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。
【００４１】
図３は、イメージセンサ上の検出素子の配置の例を説明する図である。図３中において、Ａ乃至Ｉは、個々の画素に対応する検出素子を示す。画素は、画像データにより表示される画像に対応する平面上に配置されている。１つの画素に対応する１つの検出素子は、イメージセンサ上に配置されている。イメージセンサが実世界１の画像を撮像するとき、１つの検出素子は、画像データを構成する１つの画素に対応する１つの画素値を出力する。例えば、検出素子の空間方向Ｘの位置（Ｘ座標）は、画像データにより表示される画像上の横方向の位置に対応し、検出素子の空間方向Ｙの位置（Ｙ座標）は、画像データにより表示される画像上の縦方向の位置に対応する。
【００４２】
実世界１の光の強度の分布は、３次元の空間方向および時間方向に広がりを有するが、イメージセンサは、２次元の空間方向および時間方向で、実世界１の光を取得し、２次元の空間方向および時間方向の光の強度の分布を表現するデータ３を生成する。
【００４３】
図４で示されるように、例えば、ＣＣＤである検出素子は、シャッタ時間に対応する期間、受光面（受光領域）（検出領域）に入力された光を電荷に変換して、変換された電荷を蓄積する。光は、３次元の空間上の位置、および時刻により、強度が決定される実世界１の情報（信号）である。実世界１の光の強度の分布は、３次元の空間上の位置ｘ，ｙ、およびｚ、並びに時刻ｔを変数とする関数Ｆ（ｘ，ｙ，ｚ，ｔ）で表すことができる。
【００４４】
ＣＣＤである検出素子に蓄積される電荷の量は、２次元の空間上の広がりを有する受光面の全体に入射された光の強さと、光が入射されている時間にほぼ比例する。検出素子は、シャッタ時間に対応する期間において、受光面の全体に入射された光から変換された電荷を、既に蓄積されている電荷に加えていく。即ち、検出素子は、シャッタ時間に対応する期間、２次元の空間上の広がりを有する受光面の全体に入射される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、空間（受光面）および時間（シャッタ時間）に対して、積分効果があるとも言える。
【００４５】
検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値はさらにデジタルデータなどの画素値に変換されて、データ３として出力される。従って、イメージセンサから出力される個々の画素値は、実世界１の情報（信号）の時間的空間的に広がりを有するある部分を、シャッタ時間の時間方向および検出素子の受光面の空間方向について積分した結果である、１次元の空間に射影した値を有する。
【００４６】
即ち、１つの画素の画素値は、Ｆ（ｘ，ｙ，ｔ）の積分で表される。Ｆ（ｘ，ｙ，ｔ）は、検出素子の受光面における、光の強度の分布を表す関数である。例えば、画素値Ｐは、式（１）で表される。
【数１】
2004302820.tif 000003
2004302820.tif 000004
【００４７】
式（１）において、ｘ１は、検出素子の受光面の左側の境界の空間座標（Ｘ座標）である。ｘ２は、検出素子の受光面の右側の境界の空間座標（Ｘ座標）である。式（１）において、ｙ１は、検出素子の受光面の上側の境界の空間座標（Ｙ座標）である。ｙ２は、検出素子の受光面の下側の境界の空間座標（Ｙ座標）である。また、ｔ１は、入射された光の電荷への変換を開始した時刻である。ｔ２は、入射された光の電荷への変換を終了した時刻である。
【００４８】
なお、実際には、イメージセンサから出力される画像データの画素値は、例えばフレーム全体として、そのゲインが補正されている。
【００４９】
画像データの各画素値は、イメージセンサの各検出素子の受光面に入射した光の積分値であり、イメージセンサに入射された光のうち、検出素子の受光面よりも微小な実世界１の光の波形は、積分値としての画素値に隠されてしまう。
【００５０】
以下、本明細書において、所定の次元を基準として表現される信号の波形を単に波形とも称する。
【００５１】
このように、実世界１の画像は、画素を単位として、空間方向および時間方向に積分されて、実世界１の画像とは異なる（実世界１の画像が歪んだ）画像データとなる。
【００５２】
積分効果を有するイメージセンサにより撮像された画像の、空間方向の積分効果についてさらに説明する。
【００５３】
図５は、検出素子Ｄ乃至検出素子Ｆに入射される光と、検出素子Ｄ乃至検出素子Ｆのそれぞれから出力される画素値との関係を説明する図である。
【００５４】
図５のＦ（ｘ）は、空間上（検出素子上）の空間方向Ｘの座標ｘを変数とする、実世界１の光の強度の分布を表す関数の例である。言い換えれば、Ｆ（ｘ）は、空間方向Ｙおよび時間方向に一定である場合の、実世界１の光の強度の分布を表す関数の例である。さらに、言い換えれば、Ｆ（ｘ）は、実世界１の信号をＸ方向に射影した１次元の波形と捉えることもできる。従って、以下、Ｆ（ｘ）を、Ｘ断面波形と称する。
【００５５】
また、図５において、Ｌは、検出素子Ｄ乃至検出素子Ｆの受光面の空間方向Ｘの長さを示す。
【００５６】
１つの画素の画素値は、Ｆ（ｘ）の積分で表される。例えば、検出素子Ｅに対応する画素の画素値Ｐは、式（２）で表される。
【００５７】
【数２】
2004302820.tif 000005
2004302820.tif 000006
【００５８】
式（２）において、ｘ１は、検出素子Ｅの受光面の左側の境界の空間方向Ｘの空間座標である。ｘ２は、検出素子Ｅの受光面の右側の境界の空間方向Ｘの空間座標である。
【００５９】
同様に、積分効果を有するイメージセンサにより撮像された画像の、時間方向の積分効果についてさらに説明する。
【００６０】
図６は、時間の経過と、１つの画素に対応する検出素子に入射される光と、検出素子から出力される画素値との関係を説明する図である。図６のＦ（ｔ）は、時刻ｔを変数とする、実世界１の光の強度の分布を表す関数である。言い換えれば、Ｆ（ｔ）は、空間方向Ｙおよび空間方向Ｘに一定である場合の、実世界１の光の強度の分布を表す関数の例である。ｔｓは、シャッタ時間を示す。
【００６１】
フレーム＃ｎ−１は、フレーム＃ｎに対して時間的に前のフレームであり、フレーム＃ｎ＋１は、フレーム＃ｎに対して時間的に後のフレームである。即ち、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１は、フレーム＃ｎ−１、フレーム＃ｎ、およびフレーム＃ｎ＋１の順で表示される。
【００６２】
なお、図６で示される例において、シャッタ時間ｔｓとフレーム間隔とが同一である。
【００６３】
１つの画素の画素値は、Ｆ（ｔ）の積分で表される。例えば、フレーム＃ｎの画素の画素値Ｐは、式（３）で表される。
【００６４】
【数３】
2004302820.tif 000007
2004302820.tif 000008
【００６５】
式（３）において、ｔ１は、入射された光の電荷への変換を開始した時刻である。ｔ２は、入射された光の電荷への変換を終了した時刻である。
【００６６】
以下、センサ２による空間方向の積分効果を単に空間積分効果と称し、センサ２による時間方向の積分効果を単に時間積分効果と称する。また、空間積分効果または時間積分効果を単に積分効果とも称する。
【００６７】
次に、空間混合について説明する。
【００６８】
ここでは、実世界１の信号が、センサ２により射影されてデータ３となる際、センサ２の積分効果により、実世界１における２つ以上の物体に対する信号が混合されて１つの値（画素値）となることを、混合と称している。
【００６９】
即ち、空間混合とは、上述したセンサ２の空間積分効果による、２つ以上の物体に対する信号の空間方向の混合をいう。
【００７０】
図７は、空間混合の概念を説明する図である。
【００７１】
図７において、実世界１の光信号の１部分２１（以下、領域２１と称する）は、センサ２の１つの検出素子（画素）と同じ面積を有する領域を表している。
【００７２】
領域２１がセンサ２に検出されると、センサ２からは、領域２１が時空間方向（Ｘ方向，Ｙ方向，およびｔ方向）に積分された値（１つの画素値）２２が出力される。なお、画素値２２は、図中、画像として表現されているが、実際には、所定の値を表すデータである。
【００７３】
実世界１の領域２１は、前景に対応する光信号（例えば、図中白い領域）と、背景に対応する光信号（例えば、図中黒い領域）に明確に区分される。
【００７４】
これに対して、画素値２２は、前景に対応する実世界１の光信号と、背景に対応する実世界１の光信号が積分された値である。換言すると、画素値２２は、前景に対応する光のレベルと背景に対応する光のレベルが空間的に混合されたレベルに対応する値である。
【００７５】
このように、実世界１の光信号のうちの１画素（センサ２の検出素子）に対応する部分が、同一レベルの光信号が空間的に一様に分布する部分ではなく、前景と背景のように異なるレベルの光信号のそれぞれが分布する部分である場合、その領域は、センサ２により検出されると、センサ２の空間積分効果により、異なる光のレベルがあたかも空間的に混合されて（空間方向に積分されて）１つの画素値となってしまう。このことを、ここでは、空間混合と称している。
【００７６】
従来の画像処理装置４（図１）は、このような空間混合については全く考慮せず、即ち、実世界１、センサ２、およびデータ３のそれぞれの関係は考慮せず、データ３を正として画像処理を行っていた。
【００７７】
これに対して、本発明の画像処理装置１１（図２）は、データ３の空間混合を考慮して、即ち、実世界１の信号が、センサ２の空間積分効果によりデータ３になること（実世界１、センサ２、データ３のそれぞれの関係）を明確に考慮して、画像処理を行う。
【００７８】
さらに、本発明の画像処理装置１１が実行する画像処理の原理について、従来の画像処理装置４が実行する画像処理と比較しつつ、具体的な例を挙げて説明する。
【００７９】
図８は、データ３の１例を表している。
【００８０】
図８において、図中水平方向の軸は、空間方向の１方向であるＸ方向を表しており、垂直方向の軸は、画素値を表している。
【００８１】
また、図８において、９個の「丸印」のそれぞれは、所定の実世界１の信号が、センサ２により取得され、上述した積分効果により複数の画素値からなるデータ３に変換された場合、データ３を構成する複数の画素値のうちの、Ｘ方向に並ぶ所定の９個の画素（センサ２の検出素子に対応する画素）の画素値のそれぞれを表している。
【００８２】
なお、ここでは、データ３は、画像処理装置４または画像処理装置１１に入力される画像データであるので、以下、データ３を入力画像と適宜称し、データ３を構成する各画素値のそれぞれを、入力画素値と適宜称する。また、入力画素値を有する画素（即ち、検出素子に対応する画素）を、入力画素と適宜称する。
【００８３】
例えば、いま、図８に「丸印」として示される入力画素値に基づいて、空間解像度を高解像度化する画像処理について考える。
【００８４】
画像には空間近傍相関が強いという一般特性があり、従来の画像処理装置４（図１）は、この一般特性を利用する手法、例えば、線形補間という手法を利用して、空間解像度を高解像度化する画像処理を行っている。
【００８５】
図９は、従来の画像処理装置４が、図８に「丸印」として示される入力画素値に対して、線形補間を行った結果を表している。
【００８６】
図９において、図中水平方向の軸は、空間方向の１方向であるＸ方向を表しており、垂直方向の軸は、画素値を表している。
【００８７】
また、図９において、９個の「丸印」のそれぞれは、図８に示される９個の「丸印」のそれぞれと同一の入力画素値を表している。所定の２つの「丸印」の間に示される２つの「バツ印」のそれぞれは、線形補間により新たに創造された画素の画素値を表している。
【００８８】
ここでいう線形補間とは、これから創造する画素に最も似ている入力画素は、それに最も近い（空間的に近い）入力画素であるという仮定のもと、隣接周辺画素（入力画素）の各画素値の加重平均で、入力画素間の新たな画素の画素値を演算する（即ち、新たな画素を創造する）手法である。
【００８９】
即ち、従来の画像処理装置４は、例えば、次の式（４）と式（５）を演算することで、線形補間による新たな画素値を創造する（空間解像度を高解像度化する画像処理を行う）。
【００９０】
Ｈ０  ＝  Ｓ０×２／３  ＋  Ｓ１×１／３    ・・・（４）
Ｈ１  ＝  Ｓ０×１／３  ＋  Ｓ１×２／３    ・・・（５）
【００９１】
なお、式（４）と式（５）において、Ｓ０は、２つの入力画素値（図９の「丸印」）のうちの、図９中左側に示される入力画素値を、Ｓ１は、他方の入力画素値（図９中右側に示される入力画素値）を、それぞれ表している。また、Ｈ０は、入力画素値Ｓ０を有する入力画素と、入力画素値Ｓ１を有する入力画素との間に新たに創造される２つの画素の画素値（図９の「バツ印」）のうちの、図９中左側に示される画素値（入力画素値Ｓ０の入力画素に近いほうの画素の画素値）を、Ｈ１は、他方の画素値（図９中右側に示される画素値。即ち、入力画素値Ｓ１の入力画素に近いほうの画素の画素値）を、それぞれ表している。
【００９２】
図９のみに注目すると、「バツ印（即ち、新たに創造された画素の画素値）」は、あたかも正しい画素値（即ち、実世界１の信号に忠実な値）であるように見える。しかしながら、図９（図９に示される「バツ印」）と、センサ２に対して２倍のサンプリングレートの撮像素子（図示せず）を実際に使って撮影した結果である図１０（図１０に「二重丸」として示される画素値）を比較すると、「バツ印（即ち、従来の画像処理装置４により創造された画素の画素値）」のうちの幾つかは、「二重丸印」とは全く異なる（即ち、実世界１の信号を忠実に再現できていない）ことがわかる。
【００９３】
なお、図１０において、図中水平方向の軸は、空間方向の１方向であるＸ方向を表しており、垂直方向の軸は、画素値を表している。
【００９４】
また、図１０において、９個の「丸印」のそれぞれは、図８や図９と比較した場合にわかり易い様に、図８や図９に示される９個の「丸印」のそれぞれと同一の入力画素値を表している。
【００９５】
「二重丸印」は、上述したように、図８の「丸印（入力画素値）」に対応する実世界１の信号が、センサ２に対して２倍のサンプリングレートの撮像素子（図示せず）により取得され、上述した積分効果により複数の画素値からなる画像データに変換された場合、その画像データを構成する複数の画素値のうちの、Ｘ方向に並ぶ画素（即ち、図示せぬ撮像素子の検出素子に対応する画素）の画素値のそれぞれを表している。
【００９６】
このように、従来の画像処理装置４（図１）は、線形補間のような、センサ２から出力されたデータ３を原点（基準）とするとともに、データ３を処理の対象とする手法を利用して画像処理を行っていた。即ち、センサ２から出力されたデータ３は、積分効果により実世界１の信号とは異なるもの（歪んだもの）となっているにも関わらず、従来の画像処理装置４は、その実世界１の信号とは異なるデータ３を正として画像処理を行っていた。
【００９７】
その結果、従来の画像処理装置４が、たとえ、空間解像度を高解像度化する線形補間等の手法を利用して新たな画素を創造したとしても、創造した画素のうちの、幾つかの画素の画素値は、図１０の「二重丸印」で示される画素値とは大きく異なる値となってしまうという課題、即ち、実世界１の信号を忠実に再現できないという課題が発生してしまう。
【００９８】
そこで、このような課題を解決するために、本発明の画像処理装置１１（図２）は、上述したように、データ３と実世界１の信号の関係（データ３は、センサ２の積分効果により、実世界１の信号とは異なるものであるという事実）を明確に考慮して、即ち、空間混合を考慮して画像処理を行う。
【００９９】
具体的には、例えば、いま、画像処理装置１１は、入力画像を、Ｘ方向に２倍密にする画像処理を行うとする。即ち、例えば、図１１に示されるように、画像処理装置１１は、各入力画素３１のそれぞれの位置に、注目画素３１がＸ方向に倍密化された画素（入力画素の解像度に対してＸ方向に２倍の解像度の画素）３２，３３を創造する。
【０１００】
なお、以下、入力画素が所定の１次元方向（この例では、Ｘ方向）に倍密化された画素を、入力画素と区別するために、倍密画素と称する。
【０１０１】
図１２は、このような入力画素の入力画素値と、Ｘ方向の倍密画素の画素値のそれぞれの関係を表した図である。
【０１０２】
図１２において、図中水平方向の軸は、空間方向の１方向であるＸ方向を表しており、垂直方向の軸は、画素値または光のレベルを表している。
【０１０３】
一点鎖線は、実世界１の信号をＸ方向に射影した１次元の波形、即ち、Ｘ断面波形Ｆ（ｘ）を表している。
【０１０４】
実線は、入力画素値Ｓを表している。即ち、Ｘ断面波形Ｆ（ｘ）で表される実世界１の信号が、センサ２に取得され、データ３（入力画像）として出力された場合の、データ３を構成する入力画素値Ｓが、実線で表されている。
【０１０５】
点線は、入力画像（センサ２から出力されるデータ３）の入力画素における、Ｘ方向の倍密画素の画素値Ｈ０または画素値Ｈ１を表している。ただし、図１２においては、点線は、画像処理装置１１が新たに創造した倍密画素の画素値ではなく、Ｘ断面波形Ｆ（ｘ）で表される実世界１の信号が、センサ２に対して２倍のサンプリングレートの撮像素子（図示せず）により取得され、実際に画像データとして出力された場合の、画像データを構成する画素値Ｈ０または画素値Ｈ１が示されている。
【０１０６】
即ち、図１２で示される入力画素値Ｓを有する注目画素における、２つの倍密画素の創造とは、図１２で示される倍密画素の画素値Ｈ０と画素値Ｈ１の予測演算であるとも言える。
【０１０７】
この場合、画像処理装置１１は、空間混合により生じる次の特性を利用して、入力画素値Ｓを有する注目画素における、Ｘ方向の倍密画素の画素値Ｈ０と画素値Ｈ１を予測演算する（注目画素の位置に、Ｘ方向に隣接する２つの倍密画素を新たに創造する）。
【０１０８】
即ち、図１２の部分４１を拡大した図である図１３に示されるように、入力画素の画素値Ｓと、その入力画素における倍密画素のうちの一方の画素値Ｈ０との差分値ｄ１（絶対値）と、入力画素の画素値Ｓと、その入力画素における倍密画素のうちの他方の画素値Ｈ１との差分値ｄ２（絶対値）は必ず一致するという特性がある。
【０１０９】
この特性は、倍密画素の画素値Ｈ０と画素値Ｈ１のそれぞれは、センサ２に対して２倍のサンプリングレートの撮像素子（図示せず）による積分効果の結果、即ち、その撮像素子の検出素子の範囲での空間混合の結果として１つの値となったという事実と、入力画像の画素値Ｓは、センサ２の積分効果の結果、即ち、センサ２の検出素子の範囲での空間混合の結果として１つの値となったという事実から生じる特性である。
【０１１０】
この特性は、次の式（６）で示されるように数式で表すこともできる。
【０１１１】
｜Ｓ−Ｈ０｜  ＝  ｜Ｓ−Ｈ１｜      ・・・（６）
【０１１２】
また、式（６）は、式（７）のように変形可能である。
【０１１３】
２×Ｓ  ＝  Ｈ０  ＋  Ｈ１  ・・・（７）
【０１１４】
式（７）で示される特性は、図１３の部分（即ち、図１２の部分４１）のみならず、全ての入力画像（各入力画素の画素値のそれぞれ）に対して成立する特性である。
【０１１５】
そこで、本発明の画像処理装置１１（図２）は、この特性を利用して、入力画像に対して、ｘ  方向に２倍の解像度を持つ画像を生成し、出力する。
【０１１６】
具体的には、例えば、本発明の画像処理装置１１は、図１４に示されるように構成される。即ち、図１４は、本発明の画像処理装置１１の構成例を表すブロック図である。
【０１１７】
なお、画像処理装置１１の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、図１４は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えても良い。ただし、図１４をソフトウエアの機能ブロック図と考えた場合、後述する図２２の構成の情報処理装置等に、図１４の機能ブロック図を実現可能なソフトウエアがインストールされ、実行されることになる。
【０１１８】
図１４において、フレーム記憶部５１は、図２のデータ３を入力画像として入力し、１フレームを単位として記憶する。
【０１１９】
画素差分演算部５２は、フレーム記憶部５１に記憶された１フレームの入力画像内の注目画素の画素値と、注目画素のＸ方向の左右に隣接する２つの画素の画素値のそれぞれとの差分を演算し、差分値比較および画素値検出部５３に供給する。
【０１２０】
差分値比較および画素値検出部５３は、画素差分演算部５２より供給された２つの差分値の絶対値を比較し、Ｘ方向上の、絶対値が小さい方の側に位置する、注目画素に隣接する第１の画素の画素値と、その第１の画素に隣接する第２の画素の画素値をフレーム記憶部５１より検出し、外挿演算部５４に供給する。
【０１２１】
外挿演算部５４は、差分値比較および画素値検出部５３より供給された第１の画素の画素値、および、第２の画素の画素値を利用して、注目画素における２つのＸ方向の倍密画素のうちの、第１および第２の画素が位置する側の（第１の画素に隣接する）倍密画素の画素値を外挿し、画素内他画素演算部５５と倍密フレーム記憶部５６のそれぞれに供給する。
【０１２２】
なお、ここでは、注目される倍密画素の近隣に位置する、１つ以上の画素の画素値の重み付け加算により、注目される倍密画素の画素値を演算することを、外挿すると称している。
【０１２３】
画素内他画素演算部５５は、フレーム記憶部５１より注目画素の画素値を検出し、検出した注目画素の画素値、および、外挿演算部５４により外挿された（演算された）注目画素における一方の倍密画素の画素値に基づいて、上述した式（６）（即ち、式（７））で示される特性を利用して、注目画素における他方の倍密画素の画素値を演算し、倍密フレーム記憶部５６に供給する。
【０１２４】
倍密フレーム記憶部５６は、入力画像の各画素のそれぞれが注目画素とされて、外挿演算部５４と画素内他画素演算部５５のそれぞれより、注目画素における２つの倍密画素の画素値のそれぞれが順次供給されてきたとき、それら２つの画素値を順次記憶する。
【０１２５】
そして、倍密フレーム記憶部５６は、１フレーム分の入力画素のうちの最後の入力画素が注目画素とされて、外挿演算部５４と画素内他画素演算部５５のそれぞれより、注目画素における２つの倍密画素の画素値のそれぞれが供給されてきたとき、供給された２つの画素値（倍密画素の画素値）と、それまでに記憶した画素値（倍密画素の画素値）から構成される画像、即ち、入力画像に対してＸ方向に２倍密の画像を、出力画像として出力する。
【０１２６】
次に、図１５のフローチャートを参照して、本発明の画像処理装置１１（図１４）の画像の処理について説明する。
【０１２７】
はじめに、ステップＳ１１において、画像処理装置１１（図２）は、データ３（図２）である画像データを入力する。即ち、１フレームの入力画像（データ）が、図１４のフレーム記憶部５１に記憶される。
【０１２８】
例えば、いま、図１６に示されるＸ方向に連続して並ぶ５個の画素の各画素値を含む１フレームの入力画像（データ）が、フレーム記憶部５１に記憶されたとする。
【０１２９】
即ち、図１６は、入力画像内の、Ｘ方向に連続して並ぶ所定の５つの画素とそれらの画素値を表している。具体的には、画素６０乃至画素６４のそれぞれは、図中正方形で表されており、各画素の画素値は、各画素を表す四角内のそれぞれにＳ０乃至Ｓ４のそれぞれとして記述されている。
【０１３０】
図１５に戻り、ステップＳ１２において、画素差分演算部５２は、フレーム記憶部５１に記憶された１フレームの入力画像内の未処理画素を注目画素として、その画素値を取得する。
【０１３１】
例えば、いま、図１６に示される画素のうちの、画素６２が注目画素とされたとする。この場合、後述するステップＳ１３乃至Ｓ１８の処理が実行されて、注目画素６２における、水平方向（Ｘ方向）の倍密画素６２−１と倍密画素６２−２が新たに創造される。即ち、倍密画素６２−１の画素値Ｈ０と、倍密画素６２−２の画素値Ｈ１のそれぞれが演算される。
【０１３２】
図１５に戻り、ステップＳ１３において、画素差分演算部５２は、フレーム記憶部５１に記憶された１フレームの入力画像内の、注目画素の左右（Ｘ方向に対して左右）の画素のそれぞれの画素値を取得し、注目画素と注目画素の左右の画素それぞれとの差分（画素値の差分）を演算する。
【０１３３】
いまの場合、画素差分演算部５２は、図１７に示されるように、注目画素６２の左隣の画素６１の画素値Ｓ１と、右隣の画素６３の画素値Ｓ３を取得し、次の式（８）と式（９）を演算し、その結果（差分値ｅ１，ｅ２）を差分値比較および画素値検出部５３に供給する。
【０１３４】
ｅ１  ＝  Ｓ１  −  Ｓ２  ・・・（８）
ｅ２  ＝  Ｓ２  −  Ｓ３  ・・・（９）
【０１３５】
図１５に戻り、ステップＳ１４において、差分値比較および画素値検出部５３は、画素差分演算部５２により供給された、注目画素と注目画素の左右の画素それぞれとの差分（画素値の差分）の絶対値（いまの場合、式（８）で表される差分値ｅ１と、式（９）で表される差分値ｅ２のそれぞれの絶対値）を比較する。
【０１３６】
ステップＳ１５において、差分値比較および画素値検出部５３は、ステップＳ１４の比較の結果に基づいて、フレーム記憶部５１に記憶された１フレーム分の入力画素のうちの、差分の絶対値が小さい方向（左方向または、右方向）で、注目画素に隣接する画素、および、注目画素から２画素離れた画素の画素値のそれぞれを検出（取得）し、外挿演算部５４に供給する。
【０１３７】
例えば、比較の結果が、差分値ｅ１の絶対値の方が小さいという結果である場合、その比較の結果は、図１７において、注目画素６２に近い画素（注目画素６２との空間近傍相関がより強い画素）は、画素６１と画素６３のうちの画素６１であることを表している。従って、この場合、図１７の左方向で、注目画素６２に隣接する画素６１の画素値Ｓ１、および、注目画素６２から２画素離れた画素６０の画素値Ｓ０のそれぞれが検出（取得）される。
【０１３８】
これに対して、例えば、比較の結果が、差分値ｅ２の絶対値の方が小さいという結果である場合、その比較の結果は、図１７において、注目画素６２に近い画素（注目画素６２との空間近傍相関がより強い画素）は、画素６１と画素６３のうちの画素６３であることを表している。従って、この場合、図１７の右方向で、注目画素６２に隣接する画素６３の画素値Ｓ３、および、注目画素６２から２画素離れた画素６４の画素値Ｓ４のそれぞれが検出（取得）される。
【０１３９】
以下、差分値比較および画素値検出部５３により、差分値ｅ１の絶対値の方が小さいと判断され、画素６１の画素値Ｓ１、および、画素６０の画素値Ｓ０のそれぞれが検出されたとして説明する。
【０１４０】
なお、差分値比較および画素値検出部５３により、差分値ｅ２の絶対値の方が小さいと判断され、画素６３の画素値Ｓ３、および、画素６４の画素値Ｓ４のそれぞれが検出された場合の処理も、以下に説明する処理と基本的に同様の処理が実行される。
【０１４１】
図１５に戻り、ステップＳ１６において、外挿演算部５４は、差分値比較および画素値検出部５３により検出された２つの画素の各画素値から、注目画素における２つの倍密画素のうちの、検出された２つの画素の方の画素値を外挿する。
【０１４２】
いまの場合、図１８に示されるように、注目画素６２の左隣の画素６１の画素値Ｓ１と、さらにその左隣の（注目画素６２から左方向に２画素離れた）画素６０の画素値Ｓ０が検出されているので、外挿演算部５４は、画素６０の画素値Ｓ０と画素６１の画素値Ｓ１から、注目画素６２における左方向（画素６０と画素６１の方向）の倍密画素６２−１の画素値Ｈ０を外挿する。
【０１４３】
具体的には、例えば、外挿演算部５４は、検出された２つの画素の外分比（いまの場合、図１８に示されるように、画素６０の中心と画素６１の中心の倍密画素６２−１の中心に対する空間的な距離の外分比であって、７：３となる）に従って、即ち、空間的な距離に反比例させて、注目画素における２つの倍密画素のうちの一方（検出された２つの画素の方）の画素値を外挿する。
【０１４４】
即ち、外挿演算部５４は、画素６０の画素値Ｓ０と画素６１の画素値Ｓ１の重み付け加算（重み付けは、いまの場合、外分比に基づいて行われる）により、注目画素６２における左側（画素６０と画素６１の方）の倍密画素６２−１の画素値Ｈ０を演算する。
【０１４５】
詳細には、外挿演算部５４は、例えば、次の式（１０）を演算することで、倍密画素６２−１の画素値Ｈ０を演算する。
【０１４６】
Ｈ０  ＝  Ｓ０×７／１０  ＋  Ｓ１×３／１０  ・・・（１０）
【０１４７】
そして、外挿演算部５４は、外挿した倍密画素６２−１の画素値Ｈ０を、画素内他画素値演算部５５に供給する。なお、外挿した倍密画素６２−１の画素値Ｈ０は、このとき同時に、倍密フレーム記憶部５６に供給されてもよい。ただし、ここでは、図１５のフローチャートに従って画像の処理が実行されるので、後述するステップＳ１８の処理で、後述するステップＳ１７の処理で演算される他方の倍密画素６２−２の画素値Ｈ１とともに、倍密フレーム記憶部５６に供給される。
【０１４８】
図１５に戻り、ステップＳ１７において、画素内他画素演算部５５は、上述した式（７）で示される特性を利用して、即ち、注目画素の画素値（いまの場合、図１９に示される画素６２の画素値Ｓ２）の２倍から、外挿演算部５４により外挿された一方の倍密画素の画素値（いまの場合、図１９に示される、倍密画素６２−１の画素値Ｈ０）を減算し、他方の倍密画素の画素値（いまの場合、図１９に示される倍密画素６２−２の画素値Ｈ１）を求める。
【０１４９】
即ち、いまの場合、画素内他画素演算部５５は、次の式（１１）を演算することで、図１９に示される倍密画素６２−２の画素値Ｈ１を演算する。
【０１５０】
Ｈ１  ＝  ２×Ｓ２  −  Ｈ０  ・・・（１１）
【０１５１】
そして、ステップＳ１８において、外挿演算部５４と画素内他画素演算部５５は、水平２倍密画像として創造した２つの倍密画素の画素値を、倍密フレーム記憶部５６が記憶している出力画像（水平２倍密画像）の対応する位置に出力する（記憶させる）。
【０１５２】
いまの場合、外挿演算部５４が、外挿した倍密画素６２−１の画素値Ｈ０を、倍密フレーム記憶部５６に記憶されている出力画像のうちの、入力画像の注目画素６２内の左側に相当する位置に出力する。
【０１５３】
一方、画素内他画素演算部５５が、演算した倍密画素６２−２の画素値Ｈ１を、倍密フレーム記憶部５６に記憶されている出力画像のうちの、入力画像の注目画素６２内の右側に相当する位置に出力する。
【０１５４】
ステップＳ１９において、画像処理装置１１は、フレーム記憶部５１に記憶された１フレームの入力画像内に未処理画素があるか否かを判定する。
【０１５５】
ステップＳ１９において、未処理画素があると判定された場合、処理はステップＳ１２に戻り、それ以降の処理が繰り返される。即ち、未処理画素が、順次注目画素とされて、ステップＳ１２乃至Ｓ１９の処理が繰り返される。
【０１５６】
そして、全画素の処理が終了すると（ステップＳ１９において、入力画像内に未処理画素がないと判定されると）、ステップＳ２０において、倍密フレーム記憶部５６が、いままで記憶していた倍密画素から構成される、１フレームの入力画像に対応する水平２倍密画像を出力する。
【０１５７】
このように、本発明の画像処理装置（例えば、図２の画像処理装置１１（その構成は、図１４）においては、例えば、図１４の差分値比較および画素値検出部５３が、それぞれ時空間積分効果を有する、センサ（例えば、図２のセンサ２）の複数の検出素子（例えば、図３の検出素子Ａ乃至Ｉ）により現実世界（例えば、図２の実世界１）の光信号が射影されて取得された画素値を有する複数の画素からなる画像データ（例えば、図２のデータ３であって、図１４のフレーム記憶部５１に記憶される入力画像）において、時空間方向のうち１次元方向に倍密化される画素（例えば、図１６に示されるように、Ｘ方向に倍密化される（画素６２−１と画素６２−２に分割される）画素６２）を注目画素として、１次元方向上の注目画素に隣接する画素（例えば、図１７に示されるように、注目画素６２に隣接する画素６１と画素６３）のうちの、一方の側に位置する第１の画素の画素値（例えば、図１８の画素６１の画素値Ｓ１）と、１次元方向上の第１の画素に隣接する画素（例えば、図１８の画素６１に隣接する画素６０と注目画素６２）のうちの、注目画素とは反対側（例えば、図１８の左方）に位置する第２の画素の画素値（例えば、図１８の画素６０の画素値Ｓ０）とを検出する。
【０１５８】
すると、例えば、図１４の外挿演算部５４は、差分値比較および画素値検出部５３により検出された第１および第２の画素のそれぞれの画素値の重み付け加算（例えば、上述した式（１０））により、注目画素が１次元方向に倍密化される倍密画素（例えば、図１８の注目画素６２における、倍密画素６２−１と倍密画素６２−２）のうちの、第１および第２の画素（例えば、図１８の画素６１と画素６０）の側に位置する倍密画素の画素値（例えば、図１８の倍密画素６２−１の画素値Ｈ０）を演算する（即ち、外挿する）。
【０１５９】
さらに、例えば、図１４の画素内他画素演算部５５が、注目画素の画素値（例えば、図１９の注目画素６２の画素値Ｓ２）を検出し、検出した注目画素の画素値の２倍から、外挿演算部５４により演算された、注目画素における倍密画素のうちの一方の画素値（例えば、図１９の倍密画素６２−１の画素値Ｈ０）を減算する（例えば、上述した式（１１）を演算する）ことにより、注目画素における倍密画素のうちの他方の画素値（例えば、図１９の倍密画素６２−２の画素値Ｈ１）を演算する。
【０１６０】
これにより、例えば、従来の線形補間が苦手とするエッジ部で、より実世界１に近い画像を再現することが可能になる。即ち、本発明においては、従来の線形補間等の画像処理に比較して、精度のよい画像処理をエッジ部に対して実行することができる。勿論、本発明においては、線形補間が得意とする平坦部やグラデーション部でも悪さをせずに、即ち、線形補間と同等以上の精度で画像処理を実行することができる。
【０１６１】
なお、上述した例では、本発明の画像処理装置１１は、水平（Ｘ方向の）２倍密の画像を生成する（例えば、図１１に示されるように、入力画素３１に対して、Ｘ方向の倍密画素３２と倍密画素３３を生成する）画像処理を行ったが、上述した構成を有し、上述した処理を同様に実行すれば、垂直（Ｙ方向の）２倍密の画像を生成する（例えば、図２０に示されるように、入力画素３１に対して、Ｙ方向の倍密画素７１と倍密画素７２を生成する）画像処理や、水平垂直（ＸＹ方向）４倍密の画像を生成する（例えば、図２１に示されるように、入力画素３１に対して、ＸＹ方向に４倍密の画素７３乃至画素７６を生成する）画像処理も実行することができる。
【０１６２】
また、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
【０１６３】
この場合、上述した図２の画像処理装置１１は、例えば、図２２に示されるようなパーソナルコンピュータにより構成される。
【０１６４】
図２２に示されるように、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０２に記録されているプログラム、または記憶部１０８からＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１０３にはまた、ＣＰＵ１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１６５】
ＣＰＵ１０１、ＲＯＭ１０２、およびＲＡＭ１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。
【０１６６】
入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネット等のネットワークを介しての他の情報処理装置との通信処理を行う。
【０１６７】
入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク１１１、光ディスク１１２、光磁気ディスク１１３、或いは半導体メモリ１１４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。
【０１６８】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラム（例えば、上述した図１４の機能ブロック図を実現可能なプログラム）が、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１６９】
この記録媒体は、図２２に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）１１１、光ディスク（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）を含む）１１２、光磁気ディスク（ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）を含む）１１３、もしくは半導体メモリ１１４などにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１７０】
また、図２のセンサ２は、固体撮像素子である、例えば、ＢＢＤ（Ｂｕｃｋｅｔ  Ｂｒｉｇａｄｅ  Ｄｅｖｉｃｅ）、ＣＩＤ（Ｃｈａｒｇｅ  Ｉｎｊｅｃｔｉｏｎ  Ｄｅｖｉｃｅ）、またはＣＰＤ（Ｃｈａｒｇｅ  Ｐｒｉｍｉｎｇ  Ｄｅｖｉｃｅ）などのセンサでもよい。
【０１７１】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１７２】
【発明の効果】
以上のように、本発明によれば、正確で、精度の高い処理結果を得ることができるようになる。
【０１７３】
また、本発明によれば、現実世界の事象に対して、より正確で、より精度の高い処理結果を得ることができるようになる。
【図面の簡単な説明】
【図１】従来の画像処理装置の処理の原理を説明する図である。
【図２】本発明の画像処理装置の処理の原理を説明する図である。
【図３】イメージセンサ上の画素の配置の例を説明する図である。
【図４】ＣＣＤである検出素子の動作を説明する図である。
【図５】各画素のそれぞれに対応する検出素子に入射される光と、画素値との関係を説明する図である。
【図６】時間の経過と、１つの画素に対応する検出素子に入射される光と、画素値との関係を説明する図である。
【図７】センサの積分効果と空間混合を説明する図である。
【図８】センサから出力されるデータの例を示す図である。
【図９】図１の従来の画像処理装置が、図８のデータに対して従来の線形補間を施した結果を示す図である。
【図１０】図９との比較のために、図１のセンサに対して２倍のサンプリングレートを有する撮像素子から出力されるデータ（図８のデータの位置に対応するデータ）の例を示す図である。
【図１１】水平（Ｘ方向）２倍密の画像を説明する図である。
【図１２】図１と図２のセンサから出力されるデータと、そのセンサに対して２倍のサンプリングレートを有する撮像素子から出力されるデータの関係を説明する図である。
【図１３】図１２の一部分を拡大した図である。
【図１４】本発明の画像処理装置の構成例を表すブロック図である。
【図１５】図１４の画像処理装置の画像の処理例を説明するフローチャートである。
【図１６】図１５の画像の処理のうちの、ステップＳ１２の処理の説明をする図であり、注目画素を含む、空間方向のうちのＸ方向に並ぶ画素群を示す図である。
【図１７】図１５の画像の処理のうちの、ステップＳ１３とＳ１４の処理の説明をする図であり、注目画素を含む、空間方向のうちのＸ方向に並ぶ画素群を示す図である。
【図１８】図１５の画像の処理のうちの、ステップＳ１５とＳ１６の処理の説明をする図であり、注目画素を含む、空間方向のうちのＸ方向に並ぶ画素群を示す図である。
【図１９】図１５の画像の処理のうちの、ステップＳ１７の処理の説明をする図であり、注目画素を含む、空間方向のうちのＸ方向に並ぶ画素群を示す図である。
【図２０】垂直（Ｙ方向）２倍密の画像を説明する図である。
【図２１】水平垂直（ＸＹ方向）４倍密の画像を説明する図である。
【図２２】本発明の画像処理装置の他の構成例を表すブロック図である。
【符号の説明】
１  実世界，  ２  センサ，  ３  センサ，  １１  画像処理装置，  ５１  フレーム記憶部，  ５２  画素差分演算部，  ５３  差分値比較部，  ５４  外挿演算部，  ５５  画素内他画素演算部，  ５６  倍密フレーム記憶部５０乃至６４  入力画素，  ６２−１，６２−２  倍密画素（出力画素），  １０１  ＣＰＵ，  １０２  ＲＯＭ，  １０３  ＲＡＭ，  １０８  記憶部，  １１１  磁気ディスク，  １１２  光ディスク，  １１３  光磁気ディスク，  １１４  半導体メモリ，  Ｓ０乃至Ｓ４  入力画素の画素値，  Ｈ０，Ｈ１  水平２倍密画素（出力画素）の画素値
【図１】
2004302820.tif 000009
【図２】
2004302820.tif 000010
【図３】
2004302820.tif 000011
【図４】
2004302820.tif 000012
【図５】
2004302820.tif 000013
【図６】
2004302820.tif 000014
【図７】
2004302820.tif 000015
【図８】
2004302820.tif 000016
【図９】
2004302820.tif 000017
【図１０】
2004302820.tif 000018
【図１１】
2004302820.tif 000019
【図１２】
2004302820.tif 000020
【図１３】
2004302820.tif 000021
【図１４】
2004302820.tif 000022
【図１５】
2004302820.tif 000023
【図１６】
2004302820.tif 000024
【図１７】
2004302820.tif 000025
【図１８】
2004302820.tif 000026
【図１９】
2004302820.tif 000027
【図２０】
2004302820.tif 000028
【図２１】
2004302820.tif 000029
【図２２】
2004302820.tif 000030