(57)【要約】【課題】入力された２次元画像を撮像素子の分解能以上の高い解像度で検出することができる方法および装置を提供することにある。【解決手段】入力画像と撮像素子との相対位置を画像解像度を上げたい方向へずらしつつ該入力画像を複数回撮像して複数の画像データとして取り込み（画像撮像過程）、前記複数の画像データを補正し（画像補正過程）、前記補正した複数の画像データを該画像データより高い画像解像度の１つの画像データに統合する（画像統合過程）。【選択図】　　　図１
2004056516.tif 000002
【特許請求の範囲】
【請求項１】
入力画像と撮像素子との相対位置を画像解像度を上げたい方向へずらしつつ該入力画像を複数回撮像し、複数の画像データとして取り込む画像撮像過程と、
前記複数の画像データを補正する画像補正過程と、
前記補正した複数の画像データを該画像データより高い画像解像度の１つの画像データに統合する画像統合過程と
を有することを特徴とする画像検出方法。
【請求項２】
前記画像撮像過程は、前記入力画像の源、前記撮像素子、および前記入力画像の源と前記撮像素子との間に設けた結像光学素子のうち少なくとも１つを画像解像度を上げたい方向へ相対移動させることにより、前記入力画像と前記撮像素子との相対位置を画像解像度を上げたい方向へずらす
ことを特徴とする請求項１に記載の画像検出方法。
【請求項３】
前記画像補正過程は、前記画像撮像過程で取り込んだ画像データに対して、撮像素子の各画素の開口形状および開口率分布に応じた画像フィルタ処理を施して補正する
ことを特徴とする請求項１または２に記載の画像検出方法。
【請求項４】
前記画像フィルタ処理は、前記複数の画像データを統合した際に各画素が互いに重なりを持たないように補正する処理であり、
前記画像統合過程は、前記補正した複数の画像データの画素を単純に交互に配列し、該画像データより高い画像解像度の１つの画像データに統合する単純画像統合過程である
ことを特徴とする請求項３に記載の画像検出方法。
【請求項５】
前記画像フィルタ処理は、前記複数の画像データを統合した際に各画素が互いに所定の重なりを持つように補正する処理であり、
前記画像統合過程は、前記補正した複数の画像データの画素を前記所定の重なり量から変換し、該変換した画素値から該画像データより高い画像解像度の１つの画像データに統合する重複画像統合過程である
ことを特徴とする請求項３に記載の画像検出方法。
【請求項６】
入力画像と撮像素子との相対位置を画像解像度を上げたい方向へずらしつつ該入力画像を複数回撮像し、複数の画像データとして取り込む画像撮像手段と、
前記複数の画像データを補正する画像補正手段と、
前記補正した複数の画像データを該画像データより高い画像解像度の１つの画像データに統合する画像統合手段と
を有することを特徴とする画像検出装置。
【請求項７】
前記画像撮像手段は、前記入力画像の源、前記撮像素子、および前記入力画像の源と前記撮像素子との間に設けた結像光学素子のうち少なくとも１つを画像解像度を上げたい方向へ相対移動させることにより、前記入力画像と前記撮像素子との相対位置を画像解像度を上げたい方向へずらす
ことを特徴とする請求項６に記載の画像検出装置。
【請求項８】
前記画像補正手段は、前記画像撮像手段で取り込んだ画像データに対して、撮像素子の各画素の開口形状および開口率分布に応じた画像フィルタ処理を施して補正する
ことを特徴とする請求項６または７に記載の画像検出装置。
【請求項９】
前記画像フィルタ処理は、前記複数の画像データを統合した際に各画素が互いに重なりを持たないように補正する処理であり、
前記画像統合手段は、前記補正した複数の画像データの画素を単純に交互に配列し、該画像データより高い画像解像度の１つの画像データに統合する単純画像統合手段である
ことを特徴とする請求項８に記載の画像検出装置。
【請求項１０】
前記画像フィルタ処理は、前記複数の画像データを統合した際に各画素が互いに所定の重なりを持つように補正する処理であり、
前記画像手段は、前記補正した複数の画像データの画素を前記所定の重なり量から変換し、該変換した画素値から該画像データより高い画像解像度の１つの画像データに統合する重複画像統合手段である
ことを特徴とする請求項８に記載の画像検出装置。
【請求項１１】
入力画像と撮像素子との相対位置を画像解像度を上げたい方向へずらしつつ該入力画像を複数回撮像し、複数の画像データとして取り込む画像撮像過程と、
前記複数の画像データを補正する画像補正過程と、
前記補正した複数の画像データを該画像データより高い画像解像度の１つの画像データに統合する画像統合過程と
を有することを特徴とするコンピュータによる画像検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力された２次元画像を撮像素子の分解能以上の高い解像度で検出する方法および装置に関する。
【０００２】
【従来の技術】
情報を１次元画像や２次元画像として記録し再生する方法に、バーコードといった１次元コードやＱＲコードといった２次元コードが存在する。１次元コードでは水平方向あるいは垂直方向の１方向に情報を持たせることによって記録し、２次元コードでは水平方向と垂直方向の２方向に情報をもたせることによって記録する。情報は黒と白からなる２値画像で記録されることが多く、情報の再生は、ＣＣＤ（Ｃｈａｒｇｅｄ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）カメラなどの撮像素子で画像を取り込み、記録されている情報を読み出す。
【０００３】
このようにＣＣＤカメラなどの撮像素子で画像を取り込む場合、素子上に投影された画像に対して撮像素子の１画素の大きさが取り込むことができる画像の最小サイズになり、それより細かな画像は取り込むことができない。すなわち、撮像素子の画素ピッチがその素子の分解能となる。
【０００４】
また、撮像素子をわずかな量だけずらして複数枚の画像を取り込み、その画像を１枚の画像に統合することにより、撮像素子の分解能以上の画像を再生する方法は、画素ずらし（空間的画素ずらし）として知られ、デジタルカメラや高画質の動画を撮影するカメラなどに応用されている。例えば、特開平１０−１９１１３６号公報や特開２００１−１６４０２号公報では、水平と垂直方向に１／２画素ずつずらして４枚の画像を撮像して、各画像の画素を交互に並べることにより、水平垂直方向各２倍の解像度の画像を得ている。また、特開平１１−２３４６９０号公報では、斜め方向に半画素ずらして配置した２枚の撮像素子から取り込んだ２枚の画像から、上下左右の画素の平均値を求めることなどによって水平垂直方向各２倍の解像度の画像を得ている。また、特開平１１−３３１８５７号公報では、特開平１１−２３４６９０号公報と同様に斜め方向に半画素ずらした２枚の画像により、水平垂直方向各２倍の解像度の画像を得るとともに、撮像素子の画像の開口率を考慮した画素値の計算方法を導入している。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記の方法はすべてカラー画像を対象にしている装置であり、一次元コードや２次元コードのように記録されている画像に対しては単純に応用できないという問題が生じる。
【０００６】
また、特開平１０−１９１１３６号公報や特開２００１−１６４０２号公報に記載の発明では、単純に各画像を交互に並べることにより高解像度の画像を得ている。しかし、この方法では撮像素子の画像の開口形状や開口率分布が計算に考慮されていないため、精確な高解像度画像を得ることが難しいという問題点が生じる。
【０００７】
更に、特開平１１−３３１８５７号公報に記載の発明では、上下左右の画素の画素値の平均等を計算して高解像度画像の画素値を計算しているが、これも開口形状や開口率分布が計算に考慮されていないため、精確な画像を得ることが難しいという問題点が生じる。
【０００８】
更に、特開平１１−３３１８５７号公報に記載の発明では、撮像素子の画素の開口率を計算に考慮しているが、その計算は単純に開口率の値のみを用いており、開口形状や開口率分布が均等ではない撮像素子では、精確な画像を得ることが難しいという問題点が生じる。
【０００９】
そこで本発明は、上記の従来の課題に鑑みてなされたものであり、その目的とするところは、入力された２次元画像を撮像素子の分解能以上の高い解像度で検出することができる方法および装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、請求項１に係る発明は、入力画像と撮像素子との相対位置を画像解像度を上げたい方向へずらしつつ該入力画像を複数回撮像し、複数の画像データとして取り込む画像撮像過程と、前記複数の画像データを補正する画像補正過程と、前記補正した複数の画像データを該画像データより高い画像解像度の１つの画像データに統合する画像統合過程とを有することを特徴とする画像検出方法である。
【００１１】
請求項２に係る発明は、前記画像撮像過程は、前記入力画像の源、前記撮像素子、および前記入力画像の源と前記撮像素子との間に設けた結像光学素子のうち少なくとも１つを画像解像度を上げたい方向へ相対移動させることにより、前記入力画像と前記撮像素子との相対位置を画像解像度を上げたい方向へずらすことを特徴とする請求項１に記載の画像検出方法である。
【００１２】
請求項３に係る発明は、前記画像補正過程は、前記画像撮像過程で取り込んだ画像データに対して、撮像素子の各画素の開口形状および開口率分布に応じた画像フィルタ処理を施して補正することを特徴とする請求項１または２に記載の画像検出方法である。
【００１３】
請求項４に係る発明は、前記画像フィルタ処理は、前記複数の画像データを統合した際に各画素が互いに重なりを持たないように補正する処理であり、前記画像統合過程は、前記補正した複数の画像データの画素を単純に交互に配列し、該画像データより高い画像解像度の１つの画像データに統合する単純画像統合過程であることを特徴とする請求項３に記載の画像検出方法である。
【００１４】
請求項５に係る発明は、前記画像フィルタ処理は、前記複数の画像データを統合した際に各画素が互いに所定の重なりを持つように補正する処理であり、前記画像統合過程は、前記補正した複数の画像データの画素を前記所定の重なり量から変換し、該変換した画素値から該画像データより高い画像解像度の１つの画像データに統合する重複画像統合過程であることを特徴とする請求項３に記載の画像検出方法である。
【００１５】
請求項６に係る発明は、入力画像と撮像素子との相対位置を画像解像度を上げたい方向へずらしつつ該入力画像を複数回撮像し、複数の画像データとして取り込む画像撮像手段と、前記複数の画像データを補正する画像補正手段と、前記補正した複数の画像データを該画像データより高い画像解像度の１つの画像データに統合する画像統合手段とを有することを特徴とする画像検出装置である。
【００１６】
請求項７に係る発明は、前記画像撮像手段は、前記入力画像の源、前記撮像素子、および前記入力画像の源と前記撮像素子との間に設けた結像光学素子のうち少なくとも１つを画像解像度を上げたい方向へ相対移動させることにより、前記入力画像と前記撮像素子との相対位置を画像解像度を上げたい方向へずらすことを特徴とする請求項６に記載の画像検出装置である。
【００１７】
請求項８に係る発明は、前記画像補正手段は、前記画像撮像手段で取り込んだ画像データに対して、撮像素子の各画素の開口形状および開口率分布に応じた画像フィルタ処理を施して補正することを特徴とする請求項６または７に記載の画像検出装置である。
【００１８】
請求項９に係る発明は、前記画像フィルタ処理は、前記複数の画像データを統合した際に各画素が互いに重なりを持たないように補正する処理であり、前記画像統合手段は、前記補正した複数の画像データの画素を単純に交互に配列し、該画像データより高い画像解像度の１つの画像データに統合する単純画像統合手段であることを特徴とする請求項８に記載の画像検出装置である。
【００１９】
請求項１０に係る発明は、前記画像フィルタ処理は、前記複数の画像データを統合した際に各画素が互いに所定の重なりを持つように補正する処理であり、前記画像手段は、前記補正した複数の画像データの画素を前記所定の重なり量から変換し、該変換した画素値から該画像データより高い画像解像度の１つの画像データに統合する重複画像統合手段であることを特徴とする請求項８に記載の画像検出装置である。
【００２０】
請求項１１に係る発明は、入力画像と撮像素子との相対位置を画像解像度を上げたい方向へずらしつつ該入力画像を複数回撮像し、複数の画像データとして取り込む画像撮像過程と、前記複数の画像データを補正する画像補正過程と、前記補正した複数の画像データを該画像データより高い画像解像度の１つの画像データに統合する画像統合過程とを有することを特徴とするコンピュータによる画像検出方法である。
【００２１】
【発明の実施の形態】
次に本発明の実施の形態について図面を参照して説明する。
【００２２】
（第１の実施の形態）
以下、本発明の第１の実施の形態に係る画像検出装置について、図面を参照しながら説明する。
【００２３】
図１（ａ）は画像検出装置１の全体構成を説明する図である。本装置１は、コンピュータにより構成されており、プログラム（ｐ）によって画像撮像手段１０１，画像補正手段１０２，および画像統合手段１０３が構築されている。また、画像統合手段１０３は、単純統合手段１０５により構成され、統合画像１０７を得る。これら各手段の説明は、図２の説明のときに行う。尚、画像統合手段１０３は、図１（ｂ）に示すように、重複統合手段１０６により構成された画像統合手段１０３’に代えてもよい。このときの画像検出装置は、符号１’で表している。
【００２４】
図２は画像検出方法のフローを説明する図である。第１の実施の形態では、図２（ａ）に示すように、画像撮像過程により複数の画像データを取り込み（Ｓ１１）、単純統合過程により１枚の高解像度画像に統合する（Ｓ１２）。
【００２５】
次に、各手段について詳細に説明するが、本実施の形態では、入力画像が２次元画像であるとする。なお、１次元画像の場合も同様の方法により高解像度を得ることができる。
【００２６】
図３は２次元の撮像素子を説明する図である。入力画像は、水平方向（Ｘ軸方向）と垂直方向（Ｙ軸方向）に情報を持っているとする。その時、撮像素子３０１は、ｍ×ｎ個の複数の画素３０２によって構成されている。各画素３０２は、画素サイズ（画素ピッチ）Ｋ×Ｌと開口サイズｋ×ｌ（Ｌの小文字）を持っている。撮像素子では、開口サイズｋ×１の範囲に入っている画像を平均化した明るさを画素データとして取り込むことになる。この時、画素の開口率を式１によって表す。
【００２７】
【数１】
2004056516.tif 000003
（式１）
従って、撮像素子の分解能は画素ピッチと開口率によって決まり、画素ピッチより小さい周期の画像情報は取り込むことができず、開口率が小さければそれ以外の部分の画像情報は取り込むことができない。
【００２８】
図４は、画像撮像手段１０１における入力画像と撮像素子との相対位置をずらすための移動機構を説明する図である。４０１は入力画像の源、４０３は撮像素子である。また、４０２は入力画像の源と撮像素子との間に設けた結像光学素子であり、凸レンズ、フレネルレンズ等の単レンズ、あるいは各種レンズの組合せにより構成される。入力画像の源４０１から出射した光は、矢印４０４，４０５の方向へ伝搬し、撮像素子４０３上に入力画像として投影（結像）される。本実施の形態では、これら入力画像の源４０１，撮像画像４０３，および結像光学素子４０２のうちのいずれか１つ、あるいは複数を画像解像度を上げたい方向へ相対移動させることにより、前記入力画像と前記撮像画素との相対位置を画像解像度を上げたい方向へずらすことができる。
【００２９】
なお、入力画像の源４０１をホログラム等とすることによって、結像光学素子４０２を用いずに、撮像素子４０３上に入力画像を投影することも可能である。その場合、画像撮像手段１０１は、図４の構成から結像光学素子４０２を省いた構成となり、入力画像の源４０１および撮像素子４０３のいずれか１つ、あるいは双方を画像解像度を上げたい方向へ相対移動させることになる。
【００３０】
図５は入力画像と撮像素子との関係を説明する図であり、撮像素子５０２上に投影された入力画像５０１を撮像素子５０２で撮像する場合を示している。まず、撮像素子５０２の位置を基準位置として１枚目の画像を撮像する。次に撮像素子をＸ軸方向に半画素（Ｋ／２）分だけずらし（位置５０３）、その位置で２枚目の画像を撮像する。さらに基準位置５０２からＹ軸方向に半画素（Ｌ／２）分だけずらし（位置５０４）、その位置で３枚目の画像を撮像する。最後に基準位置５０２からＸ軸方向に半画素（Ｋ／２）分、Ｙ軸方向に半画素（Ｌ／２）分だけずらし（位置５０５）、その位置で４枚目の画像を撮像する。すなわち、Ｘ軸方向とＹ軸方向にそれぞれ半画素分だけずらした４枚の画像を撮像することになる。この時、撮像の順序は任意でよい。
【００３１】
なお、入力画像と撮像素子とは上記で説明した相対距離だけずらせばよく、入力画像の源、撮像素子、および結像光学素子のいずれを移動させても構わない。
【００３２】
第１の実施の形態では、撮像素子の画素の開口率が水平垂直両方向とも５０％であることを前提とする。その時、画像撮像過程で取り込まれた画像データを統合する際に各画素は互いに重なりを持たない。従って、画像統合過程（Ｓ１２）では、図２（ａ）に示すように、複数の画像データの画素を単純に交互に配列する単純統合過程を用いる。
【００３３】
図６は画像統合過程（Ｓ２）における単純統合過程の処理を説明する図である。画像データＡ（６０１）、Ｂ（６０２）、Ｃ（６０３）、およびＤ（６０４）は、それぞれ基準位置、Ｘ軸方向に移動した位置、Ｙ軸方向に移動した位置、およびＸ軸とＹ軸の両方向に移動した位置における画像データを表しており、Ａ１，１〜Ａｍ，ｎ、Ｂ１，１〜Ｂｍ，ｎ、Ｃ１，１〜Ｃｍ，ｎおよびＤ１，１〜Ｃｍ，ｎはそれぞれの画像データの画素の値とする。その時、次式（式２）で表す方法により画像データを統合する。統合された画像データＰ（６０５）は、画素Ｐ１，１〜Ｐ２ｍ，２ｎからなり、画素数は２ｍ×２ｎとなる。
【００３４】
Ｐ（２ｉ＋１），（２ｊ＋１）＝Ａｉ，ｊ，
Ｐ（２ｉ＋２），（２ｊ＋１）＝Ｂｉ，ｊ，
Ｐ（２ｉ＋１），（２ｊ＋２）＝Ｃｉ，ｊ，
Ｐ（２ｉ＋２），（２ｊ＋２）＝Ｄｉ，ｊ，
ｉ＝０，…，ｍ−１，　ｊ＝０，…，ｎ−１　　　　（式２）
以上の方法により、位置を少しずつずらして撮像した４枚の画像データから、水平垂直方向に各２倍の解像度の画像を得ることができる。
【００３５】
なお、例えば水平または垂直方向の開口率が１／３であれば、水平または垂直方向へ１／３画素ずつずらして撮像した３枚の画像を用いることにより、水平か垂直のどちらかに対して、解像度３倍の画像を得ることが出来る。ここでｓを任意の整数として、これはさらに水平または垂直方向の開口率を１／ｓとした場合に、水平または垂直方向へ１／ｓ画素ずつずらして撮像したｓ枚の画像から、水平から垂直のどちらかに対して解像度ｓ倍の画像を得る場合にも適用でき、また水平と垂直の両方向にも適用できる。
【００３６】
（第２の実施の形態）
以下、本発明の第２の実施の形態に係る画像検出装置１（１’）について、図面を参照しながら説明する。なお、この第２の実施の形態の全体構成は、上記の第１の実施の形態と同様である。第１の実施の形態とは、画像を統合する際の画像の補正を行い、適当な開口率で撮像された画像を再現し、高解像度の画像を得る点で異なる。
【００３７】
第２の実施の形態は、図２（ｂ）に示ように、画像撮像過程により複数の画像データを取り込み（Ｓ２１）、画像補正過程により、取り込んだ画像データに対して補正処理を行う（Ｓ２２）。次に、単純統合過程により１枚の高解像度画像データに統合する（Ｓ２３）。なお、図２（ｂ）に示した画像撮像過程（Ｓ２１）、および単純統合過程（Ｓ２３）は、それぞれ上記の第１の実施の形態のＳ１、Ｓ２と同様であるため、画像補正過程（Ｓ２２）について詳細に説明する。
【００３８】
本実施の形態では入力画像が２次元画像であるとする。なお、１次元画像の場合も同様の方法により高解像度画像を得ることができる。
【００３９】
画像補正過程（Ｓ２２）では、画像撮像過程（Ｓ２１）によって取り込まれた各画増データの補正を行う。画像撮像過程（Ｓ２１）によって撮像された画像データは、撮像素子の開口を通して取り込んでいるため、入力画像とは若干異なった画像データが得られる。これらの画像データから１枚の画像データに統合するために、取り込まれた画像データに画像処理を施し、統合できる画像データに変換する。
【００４０】
入力画像をｇ（ｘ，ｙ）と表し、撮像された画像データをｇ’（ｘ，ｙ）とする。その時、ｇ（ｘ，ｙ）とｇ’（ｘ，ｙ）の関係を次式（式３）のように記述できる。
【００４１】
ｇ’（ｘ，ｙ）＝Ｚ（ｇ（ｘ，ｙ））　　　　（式３）
ここで、Ｚは、撮像素子の画素の開口形状および開口率分布などの開口の特徴に起因する撮像時のフィルタを表す。すなわち、画像撮像過程（Ｓ２１）では、入力画像ｇ（ｘ，ｙ）にフィルタＺを施した画像ｇ’（ｘ，ｙ）が得られることになる。そこでフィルタＺの逆フィルタＺ−１を考える。その時次のような関係（式４）が得られる。
【００４２】
ｇ（ｘ，ｙ）＝Ｚ−１（ｇ’（ｘ，ｙ））　　　　（式４）
従って、この逆フィルタＺ−１を求めることができれば、入力画像ｇ（ｘ，ｙ）も求めることができる。
【００４３】
画像補正過程では、具体的には、２次元のフーリエ変換により補正を行う。今、Ｇ（ｖ，ｕ）とＧ’（ｖ，ｕ）、およびＨ（ｖ，ｕ）をそれぞれｇ（ｘ，ｙ）、ｇ’（ｘ，ｙ）、およびｈ（ｘ，ｙ）のフーリエ変換とする。ただし、ｈ（ｘ，ｙ）は撮像素子の画素の開口の特徴を表す関数とする。その時、取り込まれた画像データと入力画像には次のような関係（式５）がある。
【００４４】
ｇ’（ｘ，ｙ）＝ｇ（ｘ，ｙ）＊ｈ（ｘ，ｙ）　　　　（式５）
ただし、＊は関数の畳み込みを表す。式５を変換すると次式（式６）のようになる。
【００４５】
【数２】
2004056516.tif 000004
（式６）
以上のように、入力画像ｇ（ｘ，ｙ）が得られる。但し、Ｆ−１はフーリエ逆変換を表す。ここで、入力画像ｇ（ｘ，ｙ）は、撮像素子の画素の開口率が１００％の場合、すなわち開口と画素が一致している場合の画像データに相当している。
【００４６】
次に、単純統合過程（Ｓ２３）により画像を統合できるようにするために、複数の画像データを統合した際に各画素が互いに重なりを持たないように、得られた入力画像ｇ（ｘ，ｙ）に画像フィルタ処理を施す。撮像素子の画素の開口率が５０％の場合の画像データｇ５０（ｘ，ｙ）は次式（式７）で表される。
【００４７】
ｇ５０（ｘ，ｙ）＝ｇ（ｘ，ｙ）＊ｈ５０（ｘ，ｙ）　　　　（式７）
ここで、ｈ５０（ｘ，ｙ）は撮像素子の画素の開口率５０％を表す関数とする。式７を計算することにより、撮像素子の画素の開口率が５０％の場合の画像データｇ５０（ｘ，ｙ）が得られれば、第１の実施の形態で説明した単純統合過程（Ｓ１２）を用いて１枚の画像に統合することができる。
【００４８】
なお、ｓを任意の整数として、水平または垂直方向の開口率を１／ｓとした場合に、水平または垂直方向へ１／ｓ画素ずつずらして撮像したｓ枚の画像から、水平から垂直のどちらかに対して解像度ｓ倍の画像を得る場合にも適用でき、また水平と垂直の両方向にも適用できる。
【００４９】
（第３の実施の形態）
以下、本発明の第３の実施の形態に係る画像入力装置１（１’）について、図面を参照しながら説明する。なお、この第３の実施の形態の全体構成は、上記の第１の実施の形態と同様である。第１，２の実施の形態とは、撮像素子の画素の開口率が１００％の場合の画像から直接統合する点で異なる。
【００５０】
第３の実施の形態は、図２（ｃ）に示すように、画像撮像過程により複数の画像データを取り込み（Ｓ３１）、画像補正過程により、取り込んだ画像データに対して補正処理を行う（Ｓ３２）。次に、重複統合過程により１枚の高解像度画像データに統合する（Ｓ３３）。なお、図２（ｃ）に示す画像撮像過程（Ｓ３１）、および画像補正過程（Ｓ３２）における撮像素子の画素の開口率が１００％の場合のｇ（ｘ，ｙ）を得るまでの過程は、それぞれ上記の第２の実施の形態のＳ２１、Ｓ２２と同様であるため、重複統合過程（Ｓ３３）について詳細に説明する。
【００５１】
本実施の形態では入力画像が２次元画像であるとする。なお、１次元画像の場合も同様の方法により高解像度画像を得ることができる。
【００５２】
重複統合過程（Ｓ３３）は、撮像素子の画素の開口率が１００％の場合の画像ｇ（ｘ，ｙ）において、各画像の画素が完全に重複した部分を有していることから、これを元に画素値を算出して画像データを統合する。説明は図７，８を参照しながら行う。
【００５３】
まず、画像データＡ（７０１）と画像データＢ（７０２）を統合し画像データＱ（７０５，８０１）を作り、次に、画像データＣ（７０３）と画像データＤ（７０４）を統合し画像データＲ（７０６，８０２）を作り、最後に、画像データＱと画像データＲを統合し画像データＰ（８０３）を作る。この場合、画像データＱと画像データＲは共に画像サイズが２ｍ×ｎとなり、画像データＰは画像サイズ２ｍ×２ｎとなる。
【００５４】
また、別の方法として、図７、８とは統合する方向（軸）を入れ替えることにより画像データの統合を行うこともできる。すなわち、まず、画像データＡと画像データＣを統合し画像データＱを作り、次に、画像データＢと画像データＤを統合し画像データＲを作り、最後に、画像データＱと画像データＲを統合し画像データＰを作る。この場合、画像データＱと画像データＲは共に画像サイズがｍ×２ｎとなり、画像データＰが画像サイズが２ｍ×２ｎとなる。これらの方法は、いずれも水平方向（Ｘ軸方向）と垂直方向（Ｙ軸方向）を別々に統合し、最終的に１つの画像データを構成するものである。
【００５５】
次に前記の図７，８で説明した方法の具体例を示す。画像データＱは画像データＡの水平方向へ２倍の解像度の画像と考えると、画像データＡの各画素は画像データＱの各画素２個分からなる。すなわち、Ａ１，１＝Ｑ１，１＋Ｑ２，１となる。これを一般化すると、式８で表される。
【００５６】
Ａｉ，ｊ＝Ｑ（２ｉ−１），ｊ＋Ｑ２ｉ，ｊ，　ｉ＝１，…，ｍ，ｊ＝１，…，ｎ　　（式８）
また画像データＢも画像データＡと同様に、画像データＢの各画素は画像データＱの各画素２個分からなる。さらに画像データＡと画像データＢは半画素、つまり画像データＱの１画素分ずれている。すなわち、Ｂ１，１＝Ｑ２，１＋Ｑ３，１となる。
【００５７】
これを一般化すると、
Ｂｉ，ｊ＝Ｑ２ｉ，ｊ＋Ｑ（２ｉ＋１），ｊ，　ｉ＝１，…，ｍ，ｊ＝１，…，ｎ　　（式９）
今、Ｑ１，ｊを初期値とすると、
Ｑ２，ｊ＝２Ａ１，ｊ−Ｑ１，ｊ，
Ｑ（２ｉ＋１），ｊ＝２Ｂｉ−Ｑ（２ｉ），ｊ，
Ｑ（２ｉ＋２），ｊ＝２Ａｉ−Ｑ（２ｉ−１），ｊ，
ｉ＝０，…，ｍ−１，ｊ＝１，…，ｎ　　　　　（式１０）
となる。同様に、Ｒ１，ｊを初期値とすると、画像データＣと画像データＤから次のように画像データＲを得る。
【００５８】
Ｒ２，ｊ＝２Ｃ１，ｊ−Ｒ１，ｊ，
Ｒ（２ｉ＋１），ｊ＝２Ｄｉ−Ｒ（２ｉ），ｊ，
Ｒ（２ｉ＋２），ｊ＝２Ｃｉ−Ｒ（２ｉ−１），ｊ，
ｉ＝０，…，ｍ−１，ｊ＝１，…，ｎ　　　　　（式１１）
次に画像データＱと画像データＲから画像データＰを得る。画像データＰは画像データＱの垂直方向へ２倍の解像度の画像と考えると、画像データＱの各画素は画像データＰの各画素２個分からなる。すなわち、Ｑ１，１＝Ｐ１，１＋Ｐ１，２となる。これを一般化すると、
Ｑｉ，ｊ＝Ｐｉ，（２ｊ−１）＋Ｐｉ，２ｊ，　ｉ＝１，…，ｍ，ｊ＝１，…，ｎ　　（式１２）
また、画像データＲも画像データＱと同様に、画像データＲの各画素は画像データＰの各画素の２個分からなる。すなわち、Ｒ１，１＝Ｐ１，２＋Ｐ１，３となる。これを一般化すると、
Ｒｉ，ｊ＝Ｐｉ，２ｊ＋Ｐｉ，（２ｊ＋１），　ｉ＝１，…，ｍ，ｊ＝１，…，ｎ　　（式１３）
ここで初期値Ｐｉ，１を与えると、
Ｐｉ，２＝２Ｑｉ，１−Ｐｉ，１，
Ｐｉ，（２ｊ＋１）＝２Ｒｉ，ｊ−Ｐｉ，（２ｊ），
Ｐｉ，（２ｊ＋２）＝２Ｑｉ，ｊ−Ｐｉ，（２ｊ−１），
ｉ＝１，…，２ｍ，ｊ＝０，…，ｎ−１　　　　　（式１４）
となり、画像データＡ，Ｂ，Ｃ，およびＤから水平と垂直の両方向に２倍の解像度の画像データＰを得ることができる。
【００５９】
初期値の与え方としては、画像データＡとＢから画像データＱを計算する場合、例えば、
【数３】
2004056516.tif 000005
（式１５）
として、Ｑ１，ｊ＝Ｑ２，ｊを仮定すれば、
Ｑ１，ｊ＝Ａ１，ｊ　　　　　　　　　　　（式１６）
となる。画像データＲと画像データＰを求める際にも、同様に初期値を設定すればよい。
【００６０】
以上の方法により、位置を半画素ずつずらして撮像した４枚の画像データから、水平垂直方向に各２倍の解像度の画像データを得ることができる。
【００６１】
なお、ｓを任意の整数として、水平または垂直方向の開口率を１／ｓとした場合に、水平または垂直方向へ１／ｓ画素ずつずらして撮像したｓ枚の画像から、水平から垂直のどちらかに対して解像度ｓ倍の画像を得る場合にも適用でき、また水平と垂直の両方向にも適用できる。
【００６２】
なお、上記装置１（１’）へのプログラム（ｐ）の記録、インストール作業は、本装置１で読み取り可能なプログラム（ｐ）が記録されているＣＤ−ＲＯＭ等の記録媒体を利用することによって行うことも可能である。
【００６３】
（その他）
上記各実施の形態により、以下に示す発明を導き出すことができる。
【００６４】
即ち、本発明の装置は、入力画像と撮像素子との相対位置をずらしつつ画像データを取り込み、画像処理と画素の並べ替えを行い高解像度の画像データを得るものであり、入力画像と撮像素子との相対位置をわずかな量だけずらして複数の画像を撮像する画像撮像手段と、撮像した画像を補正処理する画像補正手段と、補正された画像を高い解像度の画像に統合し、実効的に画像解像度を上げる画像統合手段を備えるものである。
【００６５】
また、本発明の装置は、画像撮像手段が入力画像の源か撮像素子、あるいはその間に設けた結像光学素子を相対移動することにより、入力画像に対して基準になる位置で撮像した画像と、その位置から画像解像度を上げたい方向へわずかな量だけ相対的に撮像素子をずらして撮像した画像を取り込むものである。
【００６６】
また、本発明の装置は、画像補正手段が、画像撮像手段によって取り込んだ画像に対して、撮像素子の画素の開口形状および開口率分布に応じた画像フィルタを施して、入力画像を補正するものである。
【００６７】
また、本発明の装置は、画像統合手段が撮像素子の画素の開口形状および開口率分布に応じて画素値を再計算して、取り込んだ複数の画像を１枚の画像に統合し、実効的に画像解像度を上げるものであり、異なる２つの統合手段であるいは重複統合手段のいずれかを有するものである。
【００６８】
また、本発明の装置は、画像補正手段が統合する複数の画素がお互いに画素の重なりを持たないように、画像フィルタを施して補正する場合に、単純統合手段が単純にそれぞれの画像の画素を交互に配列し、高解像度の画像を統合するものである。また、画像補正手段が統合する複数の画素がお互いに重なり合っている画素を持つように、画像フィルタを施して補正する場合に、重複統合手段がその重なりから画素値を算出して、その画素値から高解像度の画像を統合するものである。
【００６９】
【発明の効果】
以上説明したように、本発明の装置によれば、入力画像の源か撮像素子、あるいはその中間にある結合光学素子を動かすことによって、入力画像をわずかにずらしながら取り込んだ複数の画像データから、撮像素子の分解能より高い高解像度の画像データを得ることができるという効果が得られる。
【００７０】
また、本発明の装置によれば、撮像素子によって取り込んだ画像データに対し、撮像素子の画素の開口形状および開口率分布などの開口の特徴に応じたフィルタ処理により画像データを補正し、複数の補正した画像データから、各画像の画素がお互いに重複するかしないかに応じて、画像データを統合することにより、開口形状および開口率分布などの開口の特徴に依存しない高解像度の画像データを得ることができるという効果が得られる。
【００７１】
また、本発明の効果によれば、１次元画像と２次元画像の両方に対して、高解像度の画像データを得ることができるという効果が得られる。
【００７２】
また、本発明の装置によれば、入力画像を撮像するにずらす量と撮像する回数を変えることによって、統合した画像データの解像度を変ることができるという効果が得られる。
【図面の簡単な説明】
【図１】画像検出装置の全体構成を説明する図である。
【図２】画像検出方法のフローを説明する図である。なお、図２（ａ）は第１の実施の形態を示し、図２（ｂ）は第２の実施の形態を示し、図２（ｃ）は、第３の実施の形態を示す。
【図３】撮像素子を説明する図である。
【図４】画像撮像手段における移動機構を説明する図である。
【図５】入力画像と撮像素子との関係を説明する図である。
【図６】単純画像統合過程を説明する図である。
【図７】重複画像統合過程を説明する図である。
【図８】重複画像統合過程を説明する図である。
【符号の説明】
１０１　画像撮像手段
１０２　画像補正手段
１０３　画像統合手段
１０５　単純統合手段
１０６　重複統合手段
１０７　統合画像
３０１　撮像素子
３０２　撮像素子の画素
４０１　入力画像の源
４０２　結像光学素子
４０３　撮像素子
４０４，４０５　光の伝搬方向
５０１　撮像素子に投影された入力画像
５０２　撮像素子、撮像基準位置
５０３　水平方向に半画素移動した撮像位置
５０４　垂直方向に半画素移動した撮像位置
５０５　水平垂直方向に半画素移動した撮像位置
６０１〜６０４　撮像された画像データ
６０５　結合された画像データ
７０１〜７０４　撮像された画像データ
７０５，７０６，８０１，８０２　結合途中段階での画像データ
８０３　結合された画像データ
【図１】
2004056516.tif 000006
【図２】
2004056516.tif 000007
【図３】
2004056516.tif 000008
【図４】
2004056516.tif 000009
【図５】
2004056516.tif 000010
【図６】
2004056516.tif 000011
【図７】
2004056516.tif 000012
【図８】
2004056516.tif 000013