(57)【特許請求の範囲】
【請求項１】
得られる被写体の画像の解像度が画像センサの設定された解像度よりも大きくなるように、前記画像センサに焦点を合わせられた前記被写体の画像を得るために前記画像センサを用いる方法であって、
複数の画素を有する画像センサの視野内におけるビット深度が既知の背景に被写体を配置する工程と、
前記ビット深度が既知の背景も前記画像センサに焦点を合わせられるように、前記画像センサに対する第１の位置において、前記被写体を前記画像センサに焦点を合わせる工程と、
前記第１の位置において前記画像センサに焦点を合わせられた前記被写体及び前記ビット深度が既知の背景の画像を保存し、前記保存された画像から被写体領域及び背景画素を定める工程と、
前記保存する工程において定められた前記背景画素から選択されたターゲット背景画素内に前記被写体領域の第１の部分を配置するために、前記被写体を前記画像センサに対して第２の位置に移動する工程と、
前記第２の位置において前記画像センサに焦点を合わせられた前記被写体及び前記ビット深度が既知の背景の画像を保存する工程と、
前記ターゲット背景画素内に移動した前記被写体領域の前記部分のビット深度を算出する工程と、
を包含する方法。
【請求項２】
前記ターゲット背景画素はＨ×Ｌの大きさであり、前記移動する工程において、前記ターゲット背景画素内に移動した前記被写体領域の前記第１の部分はｈ×ｌ（ｅｌ）の大きさであり、ｈはＨよりも小さく、ｌはＬよりも小さい、請求項１に記載の方法。
【請求項３】
前記算出する工程において、前記ターゲット背景画素内に移動した前記被写体領域の前記第１の部分の前記ビット深度は「Ｓ１」として示され、次式に従って算出され、
Ｓ１＝｛Ｖ＊（Ｈ＊Ｌ）−（（Ｈ＊Ｌ）−（ｈ＊ｌ））＊Ｂ｝／（Ｈ＊Ｌ）
ここで、Ｖは前記第２の位置において前記被写体の画像を保存する前記の工程において取得された前記画像内の前記ターゲット背景画素の前記ビット深度であり、
Ｂは前記ビット深度が既知の背景のビット深度である、
請求項２に記載の方法。
【請求項４】
Ｈ／ｈは整数であり、Ｌ／ｌは整数である、請求項３に記載の方法。
【請求項５】
前記ターゲット背景画素内に前記被写体領域の第２の部分を配置するために、前記画像センサに対して第３の位置に前記被写体を移動する工程であって、前記第３の位置に移動するこの工程における前記ターゲット背景画素が、前記第２の位置に移動する工程における前記ターゲット背景画素と同じでも異なっていてもよい、工程と、
前記第３の位置において、前記画像センサに焦点を合わせられた前記被写体及び前記ビット深度が既知の背景の画像を保存する工程と、
前記第３の位置において、前記ターゲット背景画素内に移動した前記被写体領域の追加的な部分のビット深度を算出する工程と、
をさらに含む、請求項１に記載の方法。
【請求項６】
前記被写体領域の全ての部分に関するビット深度を算出するように、前記移動、保存及び算出する工程が繰り返され、追加の移動工程の各々において、前記ターゲット背景画素内に前記被写体領域の次の新規の部分を配置する、請求項５に記載の方法。
【請求項７】
前記配置する工程において、前記被写体は前記ビット深度が既知の背景における２つの隣接面に収まり、前記被写体及び隣接する背景は前記画像センサの視野内に配置される、請求項６に記載の方法。
【請求項８】
前記ターゲット背景画素はＨ×Ｌの大きさであり、前記移動する工程において、前記ターゲット背景画素内に前記被写体領域のサブ画素部分を配置するように、前記被写体は徐々に移動し、前記サブ画素部分は寸法Ｈ／ｚ×Ｌ／ｗにより画定され、ｗ及びｚは所望のサイズの前記サブ画素に基づいて選択された整数であり、ｗ＊ｚは解像度の増大を規定する、請求項７に記載の方法。
【請求項９】
前記被写体領域の全ての部分に関するビット深度を算出するように、前記移動、保存及び算出する工程が繰り返され、追加の移動工程の各々において、前記ターゲット背景画素内に前記被写体領域の追加のサブ画素部分を配置する、請求項８に記載の方法。
【請求項１０】
前記移動、保存及び算出する工程においてｗ＊ｚが実現するように、前記移動する工程において、前記被写体は前記ターゲット背景画素により規定されたＨ方向にｚ段階を移動し、これら段階の各々において、前記ターゲット背景画素により規定されたＬ方向にｗ段階を移動する、請求項８に記載の方法。
【請求項１１】
前記ターゲット背景画素は、移動の全ての段階において同じ画素である、請求項１０に記載の方法。
【請求項１２】
前記画像センサの画素はビニング化され、前記背景画素及び前記被写体領域の前記画定は、前記ビニング化された画素の大きさに基づく、請求項１に記載の方法。
【請求項１３】
前記ビット深度を算出する工程後に、前記算出する工程において算出された前記ビット深度が、前記被写体を前記第２の位置に移動する前記工程において前記ターゲット背景画素内に移動した前記被写体領域の一部に影響するような新規の画像を製造する工程をさらに含む、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的にディジタル画像に関するものであり、より詳細には、ディジタル画像センサにおいて実現され得る解像度を増大するための方法に関するものである。特に、ディジタル画像センサと既知の背景に配置された被写体とが相対移動し、画像センサの解像度よりも大きい解像度を有する画像の算出復元を可能にする。
【背景技術】
【０００２】
ディジタル技術は科学、マスメディア及び娯楽の用途における画像において支配的な形態となってきた。電荷結合素子（ＣＣＤ）及び相補型金属酸化膜半導体（ＣＭＯＳ）センサは、１９７０年代から利用されてきた。しかしながら、画素サイズ、色の深み及び空間解像度に関する制限に起因して、解像度を改善するための創造的な手段を用いることが必要とされてきた。ノイズを除去し、エッジを滑らかにするための種々の努力がなされてきた。数学的な抽象概念を含む曲線適合アルゴリズムにより、画像の視感が改善された。サブ画素化に関する技術は、高解像度テレビ及びビデオなどの特に一般的な技術における解像度の向上において重要な進歩であった。
【０００３】
１９９２年に出願された米国特許第５,２５１,０３７号には、ＣＣＤによる複数の画像を処理するために、マイクロプロセッサを利用する技術能力が開示されている。この方法は単一ＣＣＤを有するカメラを移動しながら露光を制御することにより、高解像度を実現できた。
【０００４】
Telkap et alにより１９９２年に出版された論文「High Resloution Image Reconstruction From Lower-Resolution Image Sequences and Space-Varying Image Restoration」に記述の研究は、フーリエ変換を利用した画素値の周波数の評価及びノイズの低減方法を明示している。これはより高密度のＣＣＤを用いることなく、解像度の向上を実現するのには重要な進歩であった。しかしながら、この補間法は画像を改善するが、全体の解像度を改善しなかった。
【０００５】
題名「IEEE Transaction on Image Processing, VOL. 5, NO. 6, JUNE 1996」である技術論文には、この分野におけるさらなる改善が記述されている。滑らかな曲面を提供し、画像のギザギザを回避するために画素が不明瞭になるこの処理により、ディジタルビデオは空間的により魅力的になった。
【０００６】
スクリーン又はカメラ仕様により特徴付けられたものよりも優れた画像を取得することを目的として、フィルム及び多くのビデオに使用される１秒あたり３０フレームなどの種々の画像を取得するため、さらには数学的な手段を用いて画素間の未知の領域を埋めるための方法がさらに提案された。これは時々サブ画素化と呼ばれるが、１つの画素よりも小さいサイズの物体を観察するための方法を直接は示さずに、その代わりに、傾向から推定するか、既知の数をオーバーレイする方法である。
【０００７】
サブ画素化の例示は、米国特許出願公開第２００７／０１７１２８４  Ａ１号に記載されている。被写体は撮像装置に焦点を合わせられ、画素サイズよりも短い距離を撮像装置に対して被写体が移動しても、複数の画像が連続して取得される。色の変更（赤色、青色又は緑色のいずれかの明度の変化）が観察されるときは常に、画素間における滑らかな変化を得るために平均化法が用いられる。
【０００８】
サブ画素化に関する従来技術は、超解像度画像を生成するために、エッジ検出及び補間可能な方法で画素を分割できる、移動方向の的確な決定を経て記載されている。曲線適合、ディザリング及びシミュレーションなどのディジタル処理技術により、取得される画像のより大きな画素というだけではなく、サブ画素に画素値が割り当てられ得る。特許文献における例示は、米国特許出願公開第２００９／００２８４６４号にも開示されている。前述の例示と同様に、サブ画素化は階調度の増大により、より高解像度の画像を生成する。  
【０００９】
米国特許出願公開第２００６／０１３３６４１号には、移動に伴う明暗度の変化を評価することにより、サブ画素の解像度を得る方法が開示されている。これは前述の特許に類似するが、ｚ方向の移動（撮像装置に向かうか、それから離れる移動）を考慮していない。本発明はより優れた二次元の最終的な画像を生成するために、三次元の平均を利用する。
【００１０】
既知の高解像度推定技術は、１９９８年４月５日のミッドウェスト地域における回路システム部会の１９９８シンポジウムにおいて手続きされた「Super Resolution for Image Sequences-A Review」においてBormanにより詳しく記述されている。この詳細な論文は改善された最終的な画像を実現するための、種々の統計関数を用いた種々の方法を記述している。マルコフ連鎖及び他の複雑な技術が首尾よく記述されているが、個々のサブ画素を直接追跡する方法、又はサブ画素値を直接求める方法のいずれも記述されていない。
【００１１】
Putmanによるナノ顕微鏡法の分野では、米国特許出願公開第２００９／００２８４６３号に、撮像装置と相対的な被写体による圧電性のナノ移動により、サブ画素位置が決定及びマッピングされる方法が記載されている。所定の画素よりも短い既知の距離の移動においても、個々のサブ画素の位置が定められ、保存され得る。決定された位置が追跡されると、中央値、最大値又は最小値などの統計関数が用いられ得、サブ画素の解像度が達成され得る。この方法は本発明に記述するようなサブ画素の位置を直接求める方法ではなく、統計的近似をなおも必要とする。
【００１２】
これらの全ては実行可能であり、プロセッサ速度の増大に加えて、センサにおける画素数が増え続けてきたために特許文献において調査され続け、マイクロ及びマクロスケール両方におけるより鮮明、より明瞭な画像が可能になった。圧電平行移動の段階は、画素よりも小さい距離の移動を可能にする。この革新により、ＣＣＤ及びＣＭＯＳセンサにおける画素サイズ及び密度が増大したとしても、サブ画素化し続けることが可能になる。画像を解析及び再構成する固有のアルゴリズムは、サブ画素化を通じて、ディジタル写真及びビデオ撮影をより効果的にする。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
数学的近似法を必要とせずに、直接かつ迅速にサブ画素化及び画像再構成を実現するための方法が要求される。
【課題を解決するための手段】
【００１４】
本開示は従来技術に存在しない固有の画像処理技術を提供する。画像化される被写体は既知の背景に配置され、サブ画素化された解像度において画像を再構成するための基準を作るために、その背景内において徐々に移動する。この処理では、光学倍率にかかわらず、画像化される被写体又はその一部がＣＣＤ又はＣＭＯＳカメラにおける画素よりも小さい場合でさえ、被写体の画像を再構成するのに線形代数が用いられ得る。この処理では、曲線適合、ディザリング、又はシミュレーションを必要としない。
【００１５】
この方法の実行に役立つ装置の第１の構成要素は、全ての測定値を得るためのベースを備えるＣＣＤ又はＣＭＯＳマイクロチップなどの最新のディジタル画像センサである。画像センサは既知の大きさの画素行列を備える。画像センサ技術の進歩に伴い画素サイズは縮小し得るが、より詳細な画像の取得においては、より小さい画素が必ずしも有用ではないため、それらは必然的に可視光の回折限界よりも大きいままである。第２の主要な構成要素は、数ナノメートル程度の小さい距離、被写体をその上で移動可能な圧電性のナノ位置決めステージなどの位置決め要素である。この距離は特に、一部の例では、可視光の回折限界よりも小さい距離でもよい。それ故、本発明では、可視光の回折限界よりも大きな画素を有する画像センサ、及び光の回折限界よりも小さい距離を画像センサに対して物体を移動可能な位置決め要素が備えられている。記述する移動に基づいて、サブ画素が定められ、解析され得る。これらのサブ画素は、それぞれ、光の回折限界よりも小さくなり得るが、それら自体の値、ビット深度とも調和し得る。数学的手法を用いて、各サブ画素に関する値が生成され得、画像センサにおいて設定された解像度よりも大きい解像度を有する新規の画像が算出され得る。それ故、関連する例では、センサ設計と比較して解像度が著しく改善された画像が得られる。
【００１６】
本発明の実施形態では、画像センサの設定された解像度よりも得られる画像の解像度が大きくなるように、画像センサに焦点を合わせられた被写体の画像を得るために画像センサを用いる方法が提供される。この方法に従って、複数の画素を有する画像センサの視野内の既知の背景に被写体が配置される。既知の背景も画像センサに焦点を合わせられるように、画像センサに対する第１の位置において、被写体は画像センサに焦点を合わせられる。第１の位置において画像センサに焦点を合わせられた被写体及び既知の背景に関する画像が保存され、保存された画像から被写体領域及び背景画素が定められる。ターゲット背景画素内に被写体領域の一部を配置するために、被写体は画像センサに対して第２の位置に移動される。第２の位置において画像センサに焦点を合わせられた被写体及び既知の背景に関する画像が保存され、背景画素内で移動した被写体領域の一部に関するビット深度が算出される。
【図面の簡単な説明】
【００１７】
【図１】固定式の画像センサ及び可動式の被写体を示す、本発明に従う一実施形態の装置を示す説明図である。
【図２】固定式の画像センサ、固定式の背景の上方に配置された可動式の被写体を示す、本発明に従う一実施形態の装置を示す説明図である。
【図３】固定式の被写体及び可動式の画像センサを示す、本発明に従う一実施形態の装置を示す説明図である。
【図４】ｘ方向におけるｎ個の画素及びｙ方向におけるｉ個の画素を有する画像センサを示す説明図である。
【図５ａ】画素Ｐ（２，２）、Ｐ（２，３）、Ｐ（３，２）及びＰ（３，３）の一部に重なるようにセンサに焦点を合わせられて配置された例示の被写体と共に、画素Ｐ（１，１）、Ｐ（２，１）、Ｐ（３，１）、Ｐ（１，２）及びＰ（１，３）における既知の背景を定める９画素センサを示す説明図である。
【図５ｂ】図５ａに示す被写体の画像がセンサを用いる撮像装置にどのように示されるかと、例示の「被写体領域」とを示す図である。
【図５ｃ】被写体領域の一部を背景画素内に配置するために、既知の背景に対する、図５ａに示す被写体の移動を示す図である。
【図５ｄ】図５ａに示す被写体の画像の解像度が、本発明に従う移動、画像化及び算出によりどのように改善されるかを示す図である。
【図６】画素に含まれるサブ画素を表す、図４に示す画素Ｐ（１，１）の拡大説明図である。
【図７】既知の背景画素内を被写体領域が徐々に動く１６の個々の画像を示す説明図である。
【図８ａ−８ｂ】２×１の画素ビンを有するセンサを示す説明図である。
【図９ａ−９ｂ】１×２の画素ビンを有するセンサを示す説明図である。
【図１０ａ−１０ｂ】２×２の画素ビンを有するセンサを示す説明図である。
【発明を実施するための形態】
【００１８】
本発明は被写体の複数のディジタル画像を比較し、複数のディジタル画像の保存に利用されるディジタル画像センサにより提供された標準の解像度よりも大きく画像の解像度を増大する技術及び装置を提供する。画像化される被写体は、電荷結合素子（ＣＣＤ）、又は相補型金属酸化膜半導体（ＣＭＯＳ）などのディジタル画像センサの前面に隔てて配置され、複数の画像が取得される。画像は白黒又はカラー画像センサを用いるのと同じ方法により解析され得る。
【００１９】
図１、図２及び図３を参照すると、本明細書に記載の方法に用いられ得る画像装置の全体像が示される。図１、図２及び図３に１つずつ３つの実施形態が示され、これらは限定されない例示である。図１及び図２の画像装置は数字１０Ａにより特定され、図３の画像装置は数字１０Ｂにより特定される。
【００２０】
図１の装置では、本明細書において被写体Ｓで示される画像化される被写体が、一定の既知の背景７に配置される。「既知の背景」は、画像センサ１４（例えば、ＣＣＤ又はＣＭＯＳ）に保存されたものとして背景のビット深度が既知であることを意味する。画像装置１０Ａは、ナノポジショナ１２Ａと、センサコントローラ１５により被写体の画像Ｓをディジタルで保存する画像センサ１４に対して被写体Ｓを移動させるナノポジショナコントローラ１３Ａとを含む。図２の装置では、被写体Ｓはナノポジショナ１２Ｃの開口６に配置されており、一定の既知の背景７はセンサ１４と相対的な面９に固定される。それ故、図１及び図３の装置では、画像装置１０Ａ、特にセンサ１４は固定されており、１２Ａ又は１２Ｃのようなナノポジショナ及びナノポジショナコントローラ１３Ａが、センサコントローラ１５を用いて被写体Ｓの画像をディジタルで保存する固定式の画像センサ１４に対して被写体Ｓを移動させるために用いられる。
【００２１】
図３の装置では、画像装置１０Ｂが用いられる。この実施形態では、例えば、非可動の固定ステージ９に取り付けられた背景７上の被写体Ｓの定位置に対して画像センサ１４を移動し得るように、ナノポジショナ１２Ｂ及びナノポジショナコントローラ１３Ｂは、画像装置１０Ｂのハウジング１６に付随する。それ故、被写体の画像センサに対する相対移動を効果的にするためにナノポジショナを用いることが望ましく、画像センサの被写体に対する相対移動を効果的にするために、カメラ内の画像センサ、さもなければ画像装置の構成要素にナノポジショナを付随させることが理解されることは言うまでもない。
【００２２】
画像センサ１４は、典型的にはＣＣＤ又はＣＭＯＳセンサなどであるが、これらに限定されない。画像センサ１４はハウジング１６内に保持され、被写体Ｓの画像は、レンズ１８及び鏡筒（対物レンズ）２０を通り画像センサ１４に焦点が合わせられる。図１及び図２の装置では、ハウジング１６、画像センサ１４、レンズ１８及び鏡筒２０は、固定式のディジタルカメラを構成し、非可動ブラケット８における定位置に取り付けられる。図３の装置では、ハウジング１６、画像センサ１４、レンズ１８及び鏡筒２０は、可動式のディジタルカメラを構成し、ナノポジショナ１２Ｂ及びナノポジショナコントローラ１３Ｂに取り付けられる。図示しないが、画像の取得には光源が必要である。光の用途は顕微鏡法及び撮影術に精通している当業者には既知である。本発明に関する光は、被写体を通って伝わり得るか、被写体から偶然的に反射され得る。
【００２３】
その名称から機能が推定されるナノポジショナは、図１〜図３のｘ−ｙ座標の矢印に示すように、平行面において互いに相対的に被写体及び／又は画像センサを移動するようにプログラムされ制御され得る。この移動はナノメートル単位（適切な技術が利用される場合にはそれ以下）でもよい。理解されるように、相対移動の大きさは、画像センサの画素又は均等に仕切られた画素のサイズよりも小さいことが好ましい。仕切られた画素及び画素ビニングは当業界で周知である。
【００２４】
本発明に従い、画像は第１の位置においてディジタルで保存され、続いて、画像センサと被写体との相対移動が効果的になり、新規の位置において新規の画像が取得される。移動を制御し、各画像に関する画素値（ビット深度）を比較することにより、画像センサそれ自体により実現され得るよりも優れた画像の解像度に改善するための情報が得られる。
【００２５】
背景７及び被写体Ｓが光学的な視野内に存在することが要求される。多くの画像が多くの位置で取得されることが好ましい。相対移動は画像センサの平面と平行であり（すなわち、被写体は画像センサにさらに近付く、又はそれからさらに離れるようには移動せずに、焦点から外れない）、ビット深度が既知である背景に「被写体領域」の一部を配置するように選択される。用語「被写体領域」は、被写体Ｓが初めに焦点を合わされ、移動前に被写体画像が保存される、画素により画定される範囲として理解される。これは下記の開示の一部により、より完全に理解される。被写体が大きく移動する際に、背景内に移動した被写体領域の一部に起因して背景のビット深度が変化し、被写体領域におけるその一部のビット深度は、次に、比較的単純な計算により算出され得る。
【００２６】
この概念及び用いられる専門用語をさらに説明するために、図４及び図５ａ〜図５ｄが参照される。典型的な画像センサを図４に示す。センサは座標Ｐ（ｎ，ｉ）により参照される複数の画素により構成される。ここで、ｎはｘ方向（水平方向）における画素番号であり、ｉはｙ方向（垂直方向）における画素番号である。センサ内の画素の総数はｎとｉとを乗じることにより求められる。図５ａ及び図５ｂにおいて、被写体Ｓは例示の９画素センサ３０に焦点を合わせられる。各画素Ｐ（１，１）〜Ｐ（３，３）の幅はＬで示され、深度はＨで示される。図５ａはセンサ３０と相対的な実際の被写体Ｓを示し、一方、図５ｂはセンサ３０により被写体Ｓがどのように解像されるかを示す。より具体的には、被写体Ｓは、センサ３０がさらに焦点を合わせる、（図面において装置の背景に用いられる参照番号として同一の）図５ａの参照番号７により特定される白色領域である既知の背景に配置される。図５ａに示すように、被写体Ｓは４個の画素、すなわちＰ（２，２）、Ｐ（３，２）、Ｐ（２，３）及びＰ（３，３）のみに焦点が合う程度に小さい。前述の記述を参照すると、この例では、背景と対照的な被写体の存在を画素が保存するため、これらの画素は「被写体領域」として決定される。この被写体領域の概念化及び被写体の移動の理解を助けるために、図５ａ、図５ｂ、図５ｃ及び図７において被写体領域の周囲が太い破線で囲まれる。被写体領域は画像センサ３０に焦点を合わせられた残りの画像とは区別される。この例では、画素Ｐ（１，１）、Ｐ（２，１）、Ｐ（３，１）、Ｐ（１，２）及びＰ（１，３）により定められた範囲は、既知の背景７のみにより構成された範囲であり、本明細書では「背景画素」である。
【００２７】
センサの画素はその上に焦点が合う光を電子的に保存し、それを周知の方法でディジタルデータに分類する。ディジタルデータは画素各々について特有のビット深度に関連し、背景７及び被写体Ｓ両方に焦点を合わせられたそれらの画素において、ビット深度はその上に焦点を合わせられた被写体Ｓの一部だけでなく、さらにはその上に焦点を合わせられた背景７の一部の関数にもなる。それ故、被写体Ｓが固有の無定形状であっても、センサ３０に生成される画像においては、図５ｂに示すように単なる正方形として示される。この正方形はこの例示における被写体領域を構成する。
【００２８】
本発明に従い、最初の位置で被写体Ｓの画像を取得して、被写体領域及び背景画素を定め、次に、新規の位置において被写体領域の一部が背景画素に配置されるように、画像センサ３０に対して被写体を移動させた後に被写体Ｓの画像を取得し、次に、取得した画像を比較することにより、被写体Ｓの画像の解像を改善することが可能になる。特に、図１〜図３に示すいずれの装置（又は、それらと機能的に同等な装置）も、被写体の画像（ビット深度データ）を保存し、それにより、被写体領域及び背景画素を定めるのに用いられる。次に、背景画素上の被写体領域の一部に焦点を合わせるために、画像センサ３０に対して被写体Ｓを移動させるのに装置が用いられる。この例における元々の位置及び保存された画像を図５ｂに示す。保存された画像は、画像センサ３０の画素ごとに保存されたビット深度値により特徴付けられる。画像センサ３０に対して移動した被写体を図５ｃに示す。左（ｘ方向）に移動した距離を「ｌ」（下方に移動した場合はｅｌ）、上方（ｙ方向）に移動した距離を「ｈ」で示す。ｌは画素幅Ｌよりも小さく、ｈは画素の高さＨよりも小さい。これにより被写体領域の一部であった部分（つまり、Ｐ（２，２）において元々の位置として画定された範囲の一部）が背景画素、つまり背景画素Ｐ（１，１）に位置する。そこに移動した部分は、太い破線の四角形とＰ（１，１）の境界線とにより示され、長方形ｌ−ｈにより画定される。被写体Ｓに関してこの新規の位置において取得された画像、及びビット深度値は、画像センサ３０の画素ごとに再度保存される。
【００２９】
背景のビット深度が既知であるため、図５ｂに示す元々の画像と図５ｃに示す後の画像との、画素Ｐ（１，１）におけるビット深度のいかなる変化は、長方形ｌ−ｈにより画定された一部に起因する。それ故、長方形ｌ−ｈのビット深度は代数を用いて算出され得る。特に、移動後に画素Ｐ（１，１）において保存されたビット深度は次式のＶとして示される。Ｖ＝｛［（Ｈ＊Ｌ）−（ｈ＊ｌ）］＊Ｂ＋（ｈ＊ｌ）＊Ｓ１｝／（Ｈ＊Ｌ）。ここで、Ｂは既知の背景のビット深度であり、Ｓ１は長方形ｌ−ｈのビット深度、すなわちターゲット背景画素内に移動した被写体領域の一部のビット深度である。Ｓ１の値は次式で求められる。Ｓ１＝｛Ｖ＊（Ｈ＊Ｌ）−（（Ｈ＊Ｌ）−（ｈ＊ｌ））＊Ｂ｝／（Ｈ＊Ｌ）。Ｓ１（長方形ｌ−ｈのビット深度）以外の全てのビット深度及び大きさが既知であるため、長方形ｌ−ｈのビット深度が算出され得る。次に、この新規の値に起因する長方形ｌ−ｈを除いて、元々の位置における画像が復元され、新規の画像が生成され得る。この初期移動、画像化及び算出は、被写体Ｓを完全及び正確に解像するには効果が弱いが、長方形ｌ−ｈに関して得られたデータは、被写体Ｓを、センサ３０の実際の画素サイズにおいて可能な解像度よりもはるかに精密な解像度に最終的に解像するために、後の移動、画像化及び算出に組み込まれ得る。この特定の例では、移動及び算出後、長方形ｌ−ｈは単なる背景７である、図５ｂに示す画像が図５ｄに示すようにさらに解像される。ここでは、長方形ｌ−ｈは背景として算出及び画定され、それ故、白色で示される。
【００３０】
本発明の一般概念を理解するのに前の記述が十分であることは言うまでもないが、画像センサの画素により提供される解像度以上にさらに画像を解像することを目的として、被写体を既知の背景内に移動させ得るこの方法が、当業者により少しも限定されないことが理解される。例えば、図５ｃに示す前述の例示において説明した初期移動及び画像化後に、被写体領域のさらなる一部を既知の背景画素内に配置するために、被写体Ｓは事実上どの方向にも移動され得、次に、移動した一部に関する値が算出される。ただし、特定の実施形態では、用いられる画像センサの画素よりも小さいサブ画素を規定する既知のパターンにおいて被写体Ｓは移動し、この移動により、それらのサブ画素により決定された解像度を有するように被写体領域が算出され得る。これらの「サブ画素」は、前に概要を記載した長方形ｌ−ｈをさらに改良したものである。
【００３１】
それ故特定の実施形態では、必ずしも必須ではないが、本明細書の下の記載からより明白となるような、算出及び再生される所望のサブ解像度に従ってサブ画素のパターンを定めるように移動距離が選択される。（図４に示す）画素Ｐ（１，１）のサブ画素への分割を図６に示す。この図において、サブ画素は座標Ｓ（ｗ，ｚ）として参照され、ｗはｘ方向における画素番号であり、ｚはｙ方向における画素番号である。それ故一旦定められると、画像センサアレイにおける全てのサブ画素の位置が、それが属するホスト画素Ｐ（ｎ，ｉ）と、そのホスト画素内のサブ画素位置Ｓ（ｗ，ｚ）とにより指定され得、サブ画素はＰ（ｎ，ｉ）Ｓ（ｗ，ｚ）のように識別される。
【００３２】
所望のサイズのサブ画素を定める目的で、画像センサ３０と被写体Ｓとの相対移動を効果的にするために、被写体（例えば、図１及び図２）、画像センサ又はカメラ（例えば、図３）に付随するナノポジショナが用いられる。ｘ及びｙ方向における移動の大きさは、図５ａに示す被写体Ｓを図５ｃに示す位置に移動させることにより定められ長方形ｌ−ｈに関連した前述の説明と同様に、定められたサブ画素サイズに影響される。図５ａに示す被写体Ｓがこの説明においても対象物であり、それ故、Ｌで示される幅及びＨで示す深度を有する各画素Ｐ（１，１）〜Ｐ（３，３）を備えた例示の９画素センサ３０が、ここでも用いられる。概して、移動の大きさは、算出及び再生される所望のサブ解像度（すなわち、所望のサブ画素サイズ）に基づいて選択され、さらには、画像センサ３０を構成する複数の画素サイズに基づいて選択されることが好ましい。被写体Ｓは既知の背景上に、又はその上方のいずれに配置されるかに関わらず、画像センサと相対的な複数の別個の位置に移動され、複数の画像センサの画素よりも小さいサイズのサブ画素を定める。サブ画素の大きさは段階的な移動の大きさにより決定される。このようなｘ方向の移動により定められた個々の位置ごとに、ナノポジショナはｘ方向に個々の段階ｗで段階的に移動させるようにプログラムされ、ｙ方向において個々の段階ｚで移動させるようにプログラムされる。各段階の大きさはｘ方向におけるＬ／ｗ、及びｙ方向におけるＨ／ｚで示される。事実上、次に、単独の画素は、図６に示すようにｗ＊ｚサブ画素に分割され、サブ画素の大きさは（Ｌ／ｗ）と（Ｈ／ｚ）とを乗じることにより求められる。
【００３３】
図７では、図５ａに示す位置における被写体Ｓが、センサ３０の各画素内に１６の均一のサブ画素を定めるように移動する。この図には被写体を示さないが、同じ被写体領域及び背景画素が定められた図５ａに示すのと同じ被写体Ｓを用いることが当然理解される。４つの個々の段階において被写体を左に移動し、このような左への移動各々に関連して、被写体Ｓを４つの個々の段階で上方に移動することにより、サブ画素が定められる。それ故、図７に示す左上への初期移動は、Ｈ／ｚの大きさである上方への移動、及びＬ／ｗの大きさである左方向への移動として示される。ｚ及びｗの両方は４が選択される。ラベルＭ（１，１）の画像はこの位置で取得される。参照し易いように、各画像は文字Ｍ（ｓ，ｔ）で省略される画像番号を有する。ｓ及びｔは画像が取得されたアレイ位置を表す。被写体Ｓはそこから、まず、画像Ｍ（２，１）、Ｍ（３，１）及びＭ（４，１）に示すように左に段階的に移動し、次に、画像Ｍ（４，２）に示すように上方に、次に、画像Ｍ（３，２）、Ｍ（２，２）及びＭ（１，２）に示すように右に、次に、画像Ｍ（１，３）に示すように再度上方に、次に、画像Ｍ（２，３）、Ｍ（３，３）及びＭ（４，３）に示すように左に、次に、画像Ｍ（４，４）に示すようにもう一度最後に上方に、最後に、画像Ｍ（３，４）、Ｍ（２，４）及びＭ（１，４）に示すように左に、Ｓ字模様において段階的に最も効率的に移動して、複数の画像が取得される。つまり、１６の段階的な移動が達成され、個々の位置ごとに画像が保存される。これにより各画素が４×４に分割された１６のサブ画素が定められる。より細かく区別されたサブ画素が所望される場合には、好ましくは前述のＳ字模様において被写体Ｓが２５回移動するようにｚ及びｗは５が選択されてもよく、これにより、センサの画素３０が５×５に分割された２５のサブ画素が定められる。
【００３４】
この実施形態に従って、少なくとも高さに１画素、長さに１画素、好ましくは１画素よりも多い背景において、被写体との少なくとも２つの隣接面における背景に被写体が収まるように、被写体Ｓは既知の均一の背景、又は前述した既知の均一の背景に配置される。図５ａでは、強調表示された画素Ｐ（２，２）、Ｐ（３，２）、Ｐ（２，３）及びＰ（３，３）内に被写体が存在し、被写体領域を決定する。被写体領域は背景画素、すなわち画素Ｐ（１，１）、Ｐ（２，１）及びＰ（３，１）によりその上側の境界を付けられ、Ｐ（１，１）、Ｐ（１，２）及びＰ（１，３）によりその左側の境界を付けられる。被写体Ｓはナノポジショナにより、上方にＨ／ｚの距離及び左にＬ／ｗの距離を移動される。ｚ及びｗは、前述のように両方４が選択される。これにより、背景画素Ｐ（１，１）において被写体領域の単一のサブ画素が位置する。図７の画像Ｍ（１，１）はこの結果に伴う移動を示す。
【００３５】
図７の画像Ｍ（１，１）は、被写体領域の一部「ａ」が前述の移動により、背景画素Ｐ（１，１）内に分離する例を示す。移動前に画素Ｐ（１，１）は既知のビット深度、ＢＤＢ（ビット深度背景）を有する背景のみに保存されている。図７に示すように、画像Ｍ（１，１）において、１５個のサブ画素は背景であり、部分「ａ」により画定された１つのサブ画素は未知である。それ故、部分「ａ」のビット深度は次式に従って算出され得る。
ＢＤＰ（１，１）＝（１５（ＢＤＢ）＋１（ＢＤａ））／１６
ここで、ＢＤＰ（１，１）は画像Ｍ（１，１）内の画素Ｐ（１，１）に関して測定されたビット深度であり、ＢＤＢは背景に関する既知のビット深度であり、ＢＤａは部分「ａ」（又は、サブ画素「ａ」）のビット深度である。このＢＤａは次式で求められる。
ＢＤａ＝１６（ＢＤＰ（１，１））−１５ＢＤＢ
【００３６】
部分「ａ」のビット深度が画像Ｍ（１，１）から算出されると、画像Ｍ（２，１）内の部分「ｂ」のビット深度が、画像Ｍ（２，１）内の画素Ｐ（１，１）により保存されたビット深度から算出され得る。特に、画素Ｐ（１，１）の１６個のサブ画素ごとのビット深度は、その画素に保存されたビット深度に影響される。１６個のサブ画素における１５個のビット値は既知であり、画素Ｐ（１，１）における１４個のサブ画素は、既知の背景７により決定された既知のビット深度ＢＤＢを有し、１つのサブ画素は部分「ａ」に関して算出されるような既知のビット深度ＢＤａを有する（ここでは、画像Ｍ（２，１）において左に移動する）。これらの既知の数値は、次式に従ってサブ画素「ｂ」のビット深度を求めるのに用いられ得る。
ＢＤＰ（１，１）＝（１４（ＢＤＢ）＋１（ＢＤａ）＋１（ＢＤｂ））／１６
ここで、ＢＤＰ（１，１）は画像Ｍ（２，１）内の画素Ｐ（１，１）に関して測定されたビット深度であり、ＢＤＢは背景に関する既知のビット深度であり、ＢＤａは前述のように算出された部分「ａ」のビット深度であり、ＢＤｂは部分「ｂ」のビット深度である。このＢＤｂは次式で求められる。
ＢＤｂ＝１６ＢＤＰ（１，１）−１４（ＢＤＢ）−ＢＤａ
【００３７】
さらに説明しなくとも、同じ一般的な方法を用いて、部分「ｃ」〜「ｈ」（図７に示す）も算出され得ることが容易に理解される。実際に、被写体領域における残りの全てのサブ画素の部分は、次式に従って、移動及び典型的な取得された画像から繰り返し算出され得る。
Ｓｖ＝ｎＰｖ−（（ｎ−（ｍ＋１））Ｂ＋ＳＵＭ（Ｓｉ〜Ｓｍ））
ここで、Ｓｖは、算出された、所定の画像における未知のサブ画素部分のビット値である。ｎは定められたサブ画素数であり、ｍは以前の移動及び算出により決定された、サブ画素部分（例えば、サブ画素部分ａ，ｂ，ｃなど）の数である。Ｂは背景のビット値であり、ＳＵＭ（Ｓ１〜Ｓｍ）は最初（例えば、部分「ａ」）からｍまでの、既知のサブ画素部分のビット値各々の合計である。
【００３８】
被写体領域における各未知のサブ画素は、被写体領域における全ての画素が既知になるまで、前述の方法により連続して算出され得る。結果生じた、完全な画像センサを備えたサブ画素のアレイは、元々の画像よりも優れた解像度ｗ＊ｚ（ｗとｚとを乗じる）を有する画像を表示する。
【００３９】
被写体全体が既知の背景内に含まれ、かつ視認可能な（すなわち、既知の背景内の全ての面の範囲内に収まる）ように、又は被写体が既知の背景における２つの隣接面の範囲内に収まり、被写体及び既知の背景が画像センサの視野内に配置されるように、被写体及び既知の背景が画像センサの視野内に配置され得ることが当然理解される。後者の技術は前の例示に示す。
【００４０】
均一な大きさのサブ画素を定めるために、既知の背景内における被写体の移動が、均一及び段階的であることが当然理解される。前述のように、既知の背景のビット値及び以前に決定された被写体領域の一部に関する既知のビット値に基づき、その部分に関するビット深度を算出することを目的として、既知の背景内に被写体の追加的な部分を配置するように、移動はよりランダムでもよい。
【００４１】
別の実施形態に従えば、移動の総計が１画素よりも大きくなるように、被写体はセンサに対して段階的に移動される。この実施形態では、画素は「ビニング化」としても周知な方法でグループ化され、これにより複数の画素は単一画素として処理され得る。ビニングでは、２以上の隣接画素がグループ化され、２以上の隣接画素を意味する画素値が決定される。ビニングは行、列又はその両方において画素をグループ化するのに用いられ得る。図８ａは、行が２画素にビニングされた例を示し、図８ｂは、画素サイズが２Ｌ×Ｈのビニング化２×１である結果生じたセンサを示す。図９ａは、列が２画素にビニング化された例を示し、図９ｂは、画素サイズがＬ×２Ｈのビニング化１×２である結果生じたセンサを示す。図１０ａは、行及び列が等しく２画素にビニングされた例を示し、図１０ｂは、画素サイズが２Ｌ×２Ｈのビニング化２×２である結果生じたセンサを示す。図８ｂ、図９ｂ及び図１０ｂに示す結果生じたセンサは、その大きさがここで変更された以外は、図５ａ及び図７に示す元々のセンサと等しいものとして扱われる。本明細書の教示に従うサブ画素移動は、これらのビニング化の実施形態において、ここでは、元々の画素サイズではなく、ビニング化された画素サイズに基づく。
【００４２】
前述の内容を考慮すると、本発明が、用いられる画像センサにより提供されるよりも優れた解像度に画像が解像され得るような、画像を処理するための方法を提供することにより、著しく技術を進歩させることが当然理解される。特定の本発明の実施形態が本明細書に詳細に示されたが、本明細書における発明の変形が当業者に容易に理解されるように、それに加えて、又はそれにより発明が限定されないことが当然理解される。発明の範囲は特許請求の範囲により理解される。
【図１】
0005198684.tif 000002
【図２】
0005198684.tif 000003
【図３】
0005198684.tif 000004
【図４】
0005198684.tif 000005
【図５ａ】
0005198684.tif 000006
【図５ｂ】
0005198684.tif 000007
【図５ｃ】
0005198684.tif 000008
【図５ｄ】
0005198684.tif 000009
【図６】
0005198684.tif 000010
【図７】
0005198684.tif 000011
【図８ａ】
0005198684.tif 000012
【図８ｂ】
0005198684.tif 000013
【図９ａ】
0005198684.tif 000014
【図９ｂ】
0005198684.tif 000015
【図１０ａ】
0005198684.tif 000016
【図１０ｂ】
0005198684.tif 000017