(57)【要約】【課題】偏心させたレンズを回転させて、位置ずれさせた複数枚の画像を生成し、この画像から撮像装置の撮像素子の解像度よりも高い解像度の画像を生成すること。【解決手段】偏心させたレンズ１をその物理的な中心（物理中心）  を軸に回転させることで撮影対象をサブピクセルオーダで位置をずらして撮影し、画像取り込み機構３ｂにより、レンズ１の回転と同期して複数枚の画像を取り込む。画像処理部４の高解像度画像生成部４ａは、上記複数枚の画像から画素間を補間して、高解像度の画像を生成する。また、レンズ１の偏心距離によって、レンズ１の回転角の初期値を変化させることにより、低解像度の画素点を均一に分布させることができ、レンズの偏心距離に係わらず、高解像度の画像を得ることができる。【選択図】          図１
2004187047.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子をずらして撮像した複数の画像から高解像度画像を得る撮像装置であって、
偏心させたレンズと、該レンズを回転させる回転機構と、
上記レンズを介して入射する画像を該レンズの回転と同期して取り込む画像取り込み機構と、
上記画像取り込み機構により取り込まれた、レンズの異なった回転角における複数の画像を処理して高解像度画像を生成する画像処理手段とを備えた
ことを特徴とする高解像度撮像装置。
【請求項２】
上記レンズは、レンズの製造過程における誤差により生じた偏心を利用したものである
ことを特徴とする請求項１の高解像度撮像装置。
【請求項３】
レンズを１フレーム時間あたり９０°回転させる
ことを特徴とする請求項１または請求項２の高解像度撮像装置。
【請求項４】
レンズの偏心距離によって、レンズ回転の初期値を変化させる
ことを特徴とする請求項１，２または請求項３の高解像度撮像装置。
【請求項５】
偏心距離に応じたレンズ回転の初期値は、光軸をずらして撮影される画像の画素位置が高解像度画像の画素空間の中心に最も近くなるように決定される
ことを特徴とする請求項４の高解像度撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、偏心させたレンズを回転させて撮影した複数枚の画像を画像処理することで、撮像装置の撮像素子の解像度よりも高い解像度の画像を生成する高解像度撮像装置に関するものである。
【０００２】
【従来の技術】
近年、文書画像処理や景観中の文字を読み取りたい場合など、より高い解像度を持った撮像装置が必要となることが多くなっている。これに対応するには、高解像度の撮像素子を用いるか、複数の画像から画素間を補間して高解像度化する必要がある。
高解像度の撮像素子は、素子あたりの受光量が少ないために比較的明るい場所でないと使えないことなどの問題がある。また、既存の最高スペックの撮像素子からさらに１ランク上の高解像度化を行いたい場合も考えられる。そこで、既存の撮像素子で撮影された複数の画像を用いて、より高い解像度の画像を得る方式が注目されている。
撮像装置において、撮像素子の解像度よりも高解像度の画像を得る方法として、撮影対象をサブピクセルオーダでずらして撮影した複数の画像から画素間を補間する方法がある。この方法では、撮影対象のサブピクセルオーダのずれが既知であるため、画像処理演算が比較的容易であるという特徴がある。
これらの方法の具体例として、例えば下記のものが提案されている。
（１）撮像素子を機械的に動かすことで、サブピクセルオーダのずらしを実現する方式（例えば特許文献１参照）
（２）複屈折により、入射光を分光し、サブピクセルオーダのずらしを実現する方式（例えば特許文献２参照）。
（３）回転する鏡と複数枚の撮像素子用いてサブピクセルオーダのずらしを実現する方式（例えば非特許文献１参照）
【０００３】
【特許文献１】
特開平１０−１７８５７８号公報
【特許文献２】
特開平８−２６５６５６号公報
【非特許文献１】
井宮淳外２，「副画素超解像と画像ピラミッドの逆問題」，情報処理学会研究報告，Ｖｏｌ．９４，Ｎｏ．２７，  コンピュータビジョン８８−４，１９９４．３．１７  ，Ｐ２５−３２
【０００４】
【発明が解決しようとする課題】
しかし、上記の方法にはそれぞれ、以下のような問題点がある。
（１）上記（１）のものは、撮像素子を機械的に動かすことで、サブピクセルオーダのずらしを実現しているが、撮像素子の０．５画素分は、数ミクロン相当であり、これを正確に動かすのは困難である。
（２）上記（２）のものは、複屈折により入射光を分光し、サブピクセルオーダのずらしを実現しているが、所望の方向のずれ画像を生成するには偏光板が必要であり、入射光のロスが発生する。
（３）上記（３）のものは、回転する鏡と複数枚の撮像素子用いてサブピクセルオーダのずらしを実現しているが、撮像素子を撮影のタイミングに合わせ、かつ、サブピクセルオーダでずらした位置に立体的に配置する必要があり、製造が困難である。
本発明は上記事情に鑑みなされたものであって、本発明の目的は、偏心させたレンズを回転させて、位置ずれさせた複数枚の画像を生成し、この画像から撮像装置の撮像素子の解像度よりも高い解像度の画像を生成することができる、位置制御が容易で入力光のロスが無い撮像装置を提供することである。
【０００５】
【課題を解決するための手段】
上記の問題を解決するには、入射光のロスが無く、位置の制御が容易な機構で撮像素子に写る画像の位置をずらすことができれば良い。
そこで、本発明では図２（ａ）のように、偏心させたレンズをその物理的な中心（物理中心）  を軸に回転させることで撮影対象をサブピクセルオーダで位置をずらして撮影する。
ここで、レンズの偏心とは光学的な中心（光学中心）  と物理中心が異なっていることをいう。以後、物理中心の回りにレンズを回転させることを単に「レンズを回転」という。偏心していない理想的なレンズでは、レンズを回転させても撮像面に写った像は動かないが、偏心しているレンズを回転させると撮像面に写る像は、図２（ｂ）のように、円周上を移動する。この結果、レンズの回転角に応じて、撮像対象をずらした位置で撮影した画像を得ることができる。
そして、撮像素子の画素間を補間できるように上記レンズの偏心量に応じて回転角の初期値を適切に設定し、レンズを所定角度ずつ回転（例えば１フレーム時間あたり９０°回転させる）させて複数枚の低解像度の画像を得ることにより、この複数枚の画像から、高解像度の画像を得ることができる。上記レンズ回転角の初期値は、光軸をずらして撮影される画像の画素位置が高解像度画像の画素空間の中心に最も近くなるように決定するのが望ましい。
【０００６】
本発明の高解像度撮像装置は、図１に示すように、上記偏心させたレンズ１と、該レンズ１を回転させる回転機構２と、上記レンズ１を介して入射する画像を受像する撮像装置３ａと、この画像をレンズ１の回転と同期して取り込む画像取り込み機構３ｂを備えた撮像部３と、画像処理部４とから構成される。そして、上記画像取り込み機構３ｂにより取り込まれた、レンズの異なった回転角における複数の画像を、画像処理部４で画像処理して高解像度画像を生成する。
上記レンズは、レンズの製造過程における誤差により生じた偏心を利用したものであってもよい。一般的なレンズにおいては、製造時の誤差により偏心している場合が殆どであるので、通常のレンズを用いても同様の効果を期待でき、このような場合には偏心したレンズを新たに作成する必要はない。
上記画像処理部４では、レンズの異なった回転角においてそれぞれ取得した各フレームの画像を処理し、レンズが一回転する毎に、上記各フレームの画像から高解像度画像を生成して出力したり、レンズの異なった回転角においてそれぞれ取得した各フレームの画像を処理し、各フレームの画像を取得する毎に、レンズが一回転する間に所得した直前の各フレームの画像から高解像度画像を生成して出力する。
以上のように、本発明においては、撮像装置において、偏心させたレンズを物理中心を軸に回転させ、位置ずれさせた複数枚の低解像度の画像を作成し、これらの画像を画像処理して、画素間を補間しているので、比較的簡単な機構を用いて、入射光をロスさせることなく、撮像装置の撮像素子の解像度よりも解像度の高い画像を生成することができる。
また、上記のようにレンズの偏心量に応じて回転角の初期値を設定することにより、低解像度の画素点を均一に分布させることができ、レンズの偏心距離に係わらず、高解像度の画像を得ることができる。
【０００７】
【発明の実施の形態】
図１は本発明の実施例の高解像度撮像装置の構成を示す図である。
同図において、１は偏心したレンズであり、レンズ１はレンズ回転機構２により、その物理的な中心（物理中心）  を軸に回転する。
撮像部３は撮像素子３ａと画像取り込み機構３ｂから構成され、前記図２に示したように、偏心したレンズ１を回転させることで得た撮像対象をずらした位置で画像を撮像素子３ａで受像し、画像取り込み機構３ｂにより、レンズ１の回転に同期させて画像を取り込み、複数枚の低解像度画像を得る。
画像処理部４は高解像度画像生成部４ａと出力部４ｂから構成され、高解像度画像生成部４ａは、複数枚の低解像度の画像から画素間を補間して、高解像度の画像を生成する。生成された高解像度の画像は、出力部４ｂから出力される。
【０００８】
以下、レンズ１を９０°ずつ回転させて得られる４枚の画像から縦横それぞれ２倍の解像度を持つ高解像度画像を得る高解像度撮像装置を例に、各部について詳しく説明する。
（１）撮像部
撮像部３は、撮像素子３ａと画像取り込み機構３ｂからなり、レンズ回転機構２により回転するレンズ１を介して得た対象物の画像を撮像素子３ａで受像する。レンズ１の回転は撮像部３の画像取り込みのタイミングに同期している。
すなわち、画像取り込み機構３ｂにより画像を取り込む時刻ｔ（整数）  において、レンズの回転角は（θ＋９０ｔ）  °となっている。ここで、レンズの回転角は、図３のように、レンズの物理中心から光学中心の方向が撮像素子の水平方向と一致する角度を０°とし、θはレンズを回転させたときに撮影対象が撮像面上に描く円の半径ｒによって決まる回転角の初期値である。
【０００９】
回転角の初期値θは、以下のように決定できる。
サブピクセルオーダでずらした画像からの高解像化を考えた場合には、補間に用いる低解像度画像の画素点がなるべく均一に分布していることが望ましい。これを４枚の画像からの高解像度化で考えると、図４のように撮像対象が撮像面上に描く円（例えば同図で点線で示した円Ｃ１，Ｃ２）の中心Ｏと高解像度画像の画素点を一致させ、４枚の低解像度画像の画素点が高解像度画像の画素点の隙間にあるようにすればよい。
レンズ１の各回転角において得られる低解像度画像の画素点をなるべく均一に並べるには、図５に示すように、１枚目の低解像度画像の画素点を例えば円Ｃ１，Ｃ２の円周上で、高解像度画像の画素点でできる格子の中心にもっとも近い点とすればよい。すなわち、図５の円Ｃ１については、円Ｃ１と直線Ｏ−Ｄ１の交点Ｅ１を１枚目の低解像度画像の画素点とすればよく、また、図５の円Ｃ２については、円Ｃ２と直線Ｏ−Ｄ２の交点Ｅ２を１枚目の低解像度画像の画素点とすればよい。
なお、図４、図５において、格子の間隔は撮像素子の画素幅（ピッチ）ｐの１／２である（この場合、ｐは低解像度画像のピッチ、ｐ／２は高解像度画像のピッチとなる）。また、図４の丸、三角、四角、逆三角印は、それぞれ１〜４枚目の画像の画素点を示している。また、図５のＤ１〜Ｄ６は各格子の中心、ｆ（１，１）×ｐ，…，ｆ（２，２）×ｐは中心Ｏから各格子の中心までの距離を表している。
【００１０】
ここで、図５において、各格子にＸ軸方向、Ｙ軸方向に順に番号ｍ，ｎを付すと、格子の中心Ｄの座標は、以下の（１）式で表される。（１）式において、ｐは画素のピッチである。
【００１１】
【数１】
2004187047.tif 000003
【００１２】
例えば、図５の格子の中心Ｄ１の座標は、ｍ＝１，ｎ＝１を上記（１）式に代入して（ｐ／４，ｐ／４）となり、格子Ｄ２の座標は、ｍ＝２，ｎ＝１を上記（１）式に代入して（３ｐ／４，ｐ／４）となる。
また、各格子の中心Ｄ１，Ｄ２，…と中心Ｏの距離ｆ（ｍ，ｎ）×ｐにおけるｆ（ｍ，ｎ）は、以下の式（２）で表される。
【００１３】
【数２】
2004187047.tif 000004
【００１４】
ここで、Ｎ（ｌ）を格子の中心Ｄ１，Ｄ２，…を原点に近い順に並べたときの（ｍ，ｎ）（ｍ≧ｎ）の組を表わし、距離が等しい点が複数ある場合を除くとすると（例えばｆ（３，３）＝ｆ（４，１）なのでＮ（ｌ）にｍ＝４，ｎ＝１の組は含まれない）、Ｎ（ｌ）は以下のような系列となる。
”Ｎ（ｌ）＝（１，１），（２，１），（２，２），（３，１），（３，２），  （３，３），  （４，２），  （４，３），  （５，１），  （５，２），  （４，４），  （５，３），  （６，１），  （５，４），．．．”
【００１５】
前記したように、レンズ１の各回転角において得られる画像の画素点をなるべく均一に並べるには、一枚目の低解像度画像の画素点を、例えば図５において円Ｃ１，Ｃ２の円周上で、高解像度画像の画素点でできる格子の中心にもっとも近い点とすればよく、円Ｃ１，Ｃ２と直線Ｏ−Ｄ１，Ｏ−Ｄ２の交点Ｅ１，Ｅ２を１枚目の低解像度画像の画素点とすればよいから、上記回転角の初期値θは、上記ｍ，ｎを用いて以下の（３）式で求められる。
【００１６】
【数３】
2004187047.tif 000005
【００１７】
すなわち、図６（ａ）に示すように、図５に示した半径がｒ１の円Ｃ１については、ｍ＝１，ｎ＝１となり、上記回転角の初期値θ１は４５°であり、また、図５に示した半径がｒ２の円Ｃ２については、ｍ＝２，ｎ＝１となり、図６（ｂ）に示すように上記回転角の初期値θ２は約１８°である。なお、図４は、円Ｃ１の回転半径ｒがｆ（１，１）×ｐに一致し、また円Ｃ２の回転半径ｒがｆ（２，１）×ｐに一致している場合を示しているが、この場合も上記回転角の初期角θ１，θ２は図６（ａ）（ｂ）と同様になる。
ここで、上記円Ｃの半径ｒがｒ＞ｐ／２の場合、４分の１平面内で円Ｃが通過する格子が複数になるため、その中から最適なものを選ぶ必要があり、上記回転角の初期値θを決める（ｍ，ｎ）の値は、次の条件を満たすように選ぶことになる。
【００１８】
【数４】
2004187047.tif 000006
【００１９】
例えば、図５において、円Ｃ２の半径ｒ２は、〔ｆ（Ｎ１）＋ｆ（Ｎ２）〕ｐ／２（＝〔ｆ（１，１）＋ｆ（２，１）〕ｐ／２）より大きく、〔ｆ（Ｎ２）＋ｆ（Ｎ３）〕ｐ／２（＝〔ｆ（２，１）＋ｆ（２，２）〕ｐ／２）より小さいので、（ｍ，ｎ）の組は（２，１）となり、図６（ｂ）に示すようにｍ＝２，ｎ＝１として、回転角の初期値θ２が計算される。
回転角の初期角θを上記のように選択することにより、レンズ１の各回転角において得られる低解像度画像の画素点をなるべく均一に並べることができる。
なお、例えば、回転角の初期値θが４５°の場合、偏心による画像のずれ量の半径がｐ√（２）／２に近づくなど、高解像度化後の画素点の格子に近づくと、図７に示すように、高解像化に用いる丸、三角、四角、逆三角印の４点が同一の点を示すことになり、高解像度化しても無意味なものになってしまう。なお、このことは、低解像度画像の画素が高解像化後の画素点の格子に近づことが問題であるため、４５°以外の初期値の場合でも発生する。
【００２０】
次に、円Ｃの半径及びレンズの回転角０°の方向の決定方法について説明する。これは、図８に示すようなキャリブレーションパターン等を用いて下記のように行う。
（ｉ）  キャリブレーションパターンをカメラから高解像度化したい撮影対象と同じ距離だけ離して設置する。
（ｉｉ）異なる方向にレンズを回転させた３個所以上でキャリブレーションパターンを撮影し、それぞれの画像についてキャリブレーションパターン上の点の座標の重心Ｇを求める
（ｉｉｉ）  上記（ｉｉ）で得られた、それぞれの重心点が描く（５）式で示す円の方程式を求める。
（ｘ−ａ）２  ＋（ｙ−ｂ）２  ＝ｒ２  …（５）
ここで求められたｒが円Ｃの半径となり、（２）と同様にして求められた点Ｇ’が（ａ＋ｒ，ｂ）となるレンズの回転方向が回転角０°の方向となる。
すなわち、図９に示すように、重心Ｇ１の座標（ｘ１，ｙ１），重心Ｇ２の座標（ｘ２，ｙ２），重心Ｇ３の座標（ｘ３，ｙ３）が求まると、（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）と上記円の方程式から、中心の座標（ａ，ｂ）と半径ｒが求まり、回転角０°の方向を示す上記点Ｇ’を求めることができる。
【００２１】
ここでは、中心（ａ，ｂ）の位置については考慮しないが、これは、中心投影を仮定すると、図１０に示すように、レンズの回転によって、レンズ中心が移動するとき、レンズから等距離にある点の撮像面上での移動量が、位置に寄らず、ＡＡ’＝ＢＢ’となることによる。すなわち、中心（ａ，ｂ）の位置に係わらず、撮像対象が撮像面上に描く円の半径ｒは変わらない。
また、レンズの偏心距離ｒ’が既知であるときには、図１１に示すように、円Ｃの半径ｒは、撮影対象までの距離Ｌ、レンズの焦点距離ｆから以下の（６）式で求めることができる。
さらに、一般的にはｆ＜＜Ｌが仮定できるので、以下の（７）式とすることができる。
【００２２】
【数５】
2004187047.tif 000007
【００２３】
ところで、理想的なレンズには偏心はないが、一般的なレンズにおいては、製造時の誤差等により、偏心している場合がほとんどであるので、通常のレンズを用いても同様の効果を得ることが期待できる。
【００２４】
（２）画像処理部
画像処理部は、前記したように、高解像度画像生成部４ａと出力部４ｂから構成され、高解像度画像生成部４ａで、レンズ９０°毎に回転させて撮影した４枚の画像を用いて、画素間を補間することで、高解像度の画像を作成し、出力部４ｂから出力する。
これには、高解像度画像の画素点に対して近傍の４点の輝度平均をとる線形補間などを用いることができる。
具体的には前記図４中の高解像度画像の画素点の回りの４点（丸印、三角印、四角印、逆三角印）  の輝度を平均する。また、円Ｃの半径が、ｒ＝ｐ√（２）／４となる場合には、図１２に示すように、円Ｃの中心を高解像度画像の画素点でできる格子の中心にすることで、撮影された４枚の画像の画素点が高解像度画像の画素点と一致するため、レンズ回転の基準角を４５°とし、これらをそのまま、高解像度画像の画素点の輝度としてもよい。
【００２５】
また、高解像度画像生成部４ａにおいては、レンズの回転角の異なる位置で撮影された複数の画像を用いて、例えば以下のようにして高解像度化を行う。
（ｉ）  図１３（ａ）に示すように、レンズの異なった回転角においてそれぞれ取得した４枚の低解像度の画像を処理し、この４枚の低解像度の画像から、レンズが一回転する毎に、高解像度画像を生成する。
（ｉｉ）図１３（ｂ）に示すように、レンズの異なった回転角においてそれぞれ取得した４枚の低解像度の画像を処理し、この低解像度の画像を取得する毎に、直前に取得した４枚の低解像度の画像から高解像度画像を生成する。
以上では、レンズを９０°おきに回転させた４枚の画像を用いた高解像度画像を作成する方法について述べたが、円Ｃの半径によっては、図１４に示すように、レンズの回転を４５°おきとした場合でも、４枚の画像の画素点を高解像度化するために十分な間隔で、画素点の隙間に並べることができる。
【００２６】
（付記１）  撮像素子をずらして撮像した複数の画像から高解像度画像を得る撮像装置であって、
偏心させたレンズと、該レンズを回転させる回転機構と、
上記レンズを介して入射する画像を該レンズの回転と同期して取り込む画像取り込み機構と、
上記画像取り込み機構により取り込まれた、レンズの異なった回転角における複数の画像を処理して高解像度画像を生成する画像処理手段とを備えた
ことを特徴とする高解像度撮像装置。
（付記２）上記レンズは、レンズの製造過程における誤差により生じた偏心を利用したものである
ことを特徴とする付記１の高解像度撮像装置。
（付記３）  レンズを１フレーム時間あたり９０°回転させる
ことを特徴とする付記１または付記２の高解像度撮像装置。
（付記４）  上記画像処理手段は、レンズの異なった回転角においてそれぞれ取得した各フレームの画像を処理し、
レンズが一回転する毎に、上記各フレームの画像から高解像度画像を生成して出力する
ことを特徴とする付記１，２または付記３の高解像度撮像装置。
（付記５）  上記画像処理手段は、レンズの異なった回転角においてそれぞれ取得した各フレームの画像を処理し、
各フレームの画像を取得する毎に、レンズが一回転する間に取得した直前の各フレームの画像から高解像度画像を生成して出力する
ことを特徴とする付記１，２または付記３の高解像度撮像装置。
（付記６）  レンズの偏心距離によって、レンズ回転の初期値を変化させる
ことを特徴とする付記１，２，３，４または付記５の高解像度撮像装置。
（付記７）  偏心距離に応じたレンズ回転の初期値は、光軸をずらして撮影される画像の画素位置が高解像度画像の画素空間の中心に最も近くなるように決定される
ことを特徴とする付記６の高解像度撮像装置。
【００２７】
【発明の効果】
以上説明したように、本発明においては、以下の効果を得ることがてきる。
（１）撮像装置において、偏心させたレンズを物理中心を軸に回転させ、位置ずれさせた複数枚の低解像度の画像を作成し、これらの画像を画像処理して、画素間を補間することで、比較的簡単な機構を用いて、入射光をロスさせることなく、撮像装置の撮像素子の解像度よりも解像度の高い画像を生成することができる。
（２）レンズの偏心距離によって、レンズ回転の初期値を変化させることにより、低解像度の画素点を均一に分布させることができ、レンズの偏心距離に係わらず、高解像度の画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施例の高解像度撮像装置の構成を示す図である。
【図２】レンズの偏心とレンズの回転による撮像面での像の移動を説明する図である。
【図３】レンズの回転角が０°の位置を説明する図である。
【図４】補間に用いる画素点と高解像度化の画素点を説明する図である。
【図５】高解像度化した画像の画素点と補間に用いる低解像度画像の画素点の位置を説明する図である。
【図６】回転角の初期値を求める方法を説明する図である。
【図７】高解像度化しても無意味なものになってしまう例を示す図である。
【図８】キャリブレーションパターンの一例を示す図である。
【図９】円の半径および回転角０°の決定法を説明する図である。
【図１０】光学中心の移動と撮像面上の像の移動を説明する図である。
【図１１】レンズの偏心と撮影対象の描く円Ｃの関係を示す図である。
【図１２】補間が容易な高解像度化の例を示す図である。
【図１３】画像処理部における処理を説明する図である。
【図１４】レンズを４５°毎に回転させて高解像度化する例を示す図である。
【符号の説明】
１    レンズ
２    レンズ回転機構２
３    撮像部
３ａ  撮像素子
３ｂ  画像取り込み機構
４    画像処理部
４ａ  高解像度画像生成部
４ｂ  出力部
【図１】
2004187047.tif 000008
【図２】
2004187047.tif 000009
【図３】
2004187047.tif 000010
【図４】
2004187047.tif 000011
【図５】
2004187047.tif 000012
【図６】
2004187047.tif 000013
【図７】
2004187047.tif 000014
【図８】
2004187047.tif 000015
【図９】
2004187047.tif 000016
【図１０】
2004187047.tif 000017
【図１１】
2004187047.tif 000018
【図１２】
2004187047.tif 000019
【図１３】
2004187047.tif 000020
【図１４】
2004187047.tif 000021