(57)【要約】      （修正有）【課題】電気光学画像処理システム全体が考察され、ソースに関する情報が設計プロセスに組み入れられる設計手法を提供する。【解決手段】統合されたデザイン法は電気光学画像処理システム全体における様々なサブシステムを考慮に入れる。一実施例では、光サブシステム、検出サブシステム及びディジタル画像処理サブシステムに関するモデルとソースに関する空間モデルとを用いて、本設計手法はエンドトゥエンドの画像処理パフォーマンスを予測する。ディテクタサブシステム１２０により生成された画像は、ディテクタサブシステムから光サブシステム１１０を介してソースに至るように後方にレイトレースを行うことで推定される。この画像はディジタル画像処理サブシステム１３０に伝送され、全体的な電気光学画像処理システムをモデル化する。光サブシステムはシステム全体を考慮しながら設計される。【選択図】図１
2007115256.tif 000002
【特許請求の範囲】
【請求項１】
光サブシステム、ディテクタサブシステム及びディジタル画像処理サブシステムを含むソース信号を画像処理する電気光学画像処理システムを設計する方法であって、
光サブシステム、ディテクタサブシステム及びディジタル画像処理サブシステムを介してソースからの信号の伝播をモデリングするモデリングステップであって、
ディテクタサブシステムから後方に光サブシステムを介してソースに至る光線を追跡するステップと、
後方光トレースに基づいて及びソースの空間モデルに基づいて、ソースからディテクタサブシステムに至る信号の伝播をモデリングするステップと、
を有するモデリングステップと、
モデル化された伝播の関数である画像処理後の性能指標画像処理後の性能指標に直接的に基づいて光サブシステムを設計するステップと、
を有することを特徴とする方法。
【請求項２】
前記空間モデルは、前記ソースの変動を示す空間モデルを含む
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記ディテクタサブシステムが、画像のピクセルを形成するディテクタのアレイを含み、
前記モデリングステップが、該画像中のピクセルに対応するディテクタに関し、該ディテクタから光サブシステムを介してソースに至る光線をトレースし、後方レイトレースに及びソースの空間モデルに基づいてディテクタで生成されたピクセルを推定する
ことを特徴とする請求項１乃至２のいずれか一項に記載の方法。
【請求項４】
ディテクタで生成されたピクセルを推定するステップが、
ソースの空間モデルに基づいて、前記ディテクタから後方にトレースされた光線と交わるソースポイントを判定するステップと、
該交わったソースポイントから画像寄与を判定するステップと、
該画像寄与を合成し、前記ディテクタにより生成されたピクセルを推定するステップと
を有することを特徴とする請求項３記載の方法。
【請求項５】
前記画像寄与を合成するステップが、画像寄与の重み付け平均を行うステップを含む
ことを特徴とする請求項４記載の方法。
【請求項６】
前記空間モデルが、ソースの変動に従う統計モデルを含み、前記ディテクタにより生成されるピクセルを推定するステップは該統計的モデルに基づく
ことを特徴とする請求項３乃至５のいずれか一項に記載の方法。
【請求項７】
光サブシステムを設計するステップが、該光サブシステムで形成されるソースの中間的な光画像の画像品質を直接的に最適化することを必要とせずに実行される
ことを特徴とする請求項１乃至６のいずれか一項に記載の方法。
【請求項８】
前記画像処理後の性能指標が、ソースの理想的な画像と、光サブシステム、ディテクタサブシステム及びディジタル画像処理サブシステムを介するソース信号のモデル化された伝播により予測される画像との間の二乗平均誤差である
ことを特徴とする請求項１乃至７のいずれか一項に記載の方法。
【請求項９】
設計された光サブシステムが中間的な光画像を形成し、該光画像の画像品質は、中間的な光画像の品質を最適化するよう設計された光サブシステムにより形成されるものよりかなり悪い
ことを特徴とする請求項１乃至８のいずれか一項に記載の方法。
【請求項１０】
光サブシステムを設計するステップは、前記画像処理後の性能指標に基づいて、光サブシステム及びディジタル画像処理サブシステムを連帯させて設計するステップを含む
ことを特徴とする請求項１乃至９のいずれか一項に記載の方法。
【請求項１１】
光サブシステム及びディジタル画像処理サブシステムを連帯させて設計するステップは、線形なディジタル画像処理サブシステムの制約を受ける
ことを特徴とする請求項１０に記載の方法。
【請求項１２】
電気光学画像処理システム中の光サブシステムを設計するために以下のステップをプロセッサに実行させる命令を含むコンピュータ読み取り可能な記憶媒体であって、該ステップは、
光サブシステム、ディテクタサブシステム及びディジタル画像処理サブシステムを介してソースからの信号の伝播をモデリングするモデリングステップであって、
ディテクタサブシステムから後方に光サブシステムを介してソースに至る光線を追跡するステップと、
後方光トレースに及びソースの空間モデルに基づいて、ソースからディテクタサブシステムに至る信号の伝播をモデリングするステップと、
を有するモデリングステップと、
モデル化された伝播の関数である画像処理後の性能指標に直接的に基づいて光サブシステムを設計するステップと、
を有することを特徴とする記憶媒体。
【請求項１３】
ディテクタサブシステム及びディジタル画像処理サブシステムを含む電気光学画像処理システムの一部である光サブシステムであって、
当該光サブシステム、前記ディテクタサブシステム及び前記ディジタル画像処理サブシステムを介してソースからの信号の伝播をモデリングすることで、及び
モデル化された伝播の関数である画像処理後の性能指標に直接的に基づいて光サブシステムを設計することで設計され、
該モデリングは、ディテクタサブシステムから後方に光サブシステムを介してソースに至る光線を追跡し、後方光トレースに基づいて及びソースの空間モデルに基づいて、ソースからディテクタサブシステムに至る信号の伝播をモデリングすることを含む
ことを特徴とする光サブシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に電気光学画像処理システムの設計に関連し、特にディテクタの後からソースへのレイトレーシング(ray  tracing)による光サブシステムのシミュレーションに部分的に基づくこれらのシステムの「エンドトゥエンド(end-to-end)」設計に関連する。
【背景技術】
【０００２】
電気光学画像処理システムは典型的には光サブシステム（例えば、光学系）、電子的な検出サブシステム（例えば、ＣＣＤ検出器アレイ）及びディジタル画像処理サブシステム（例えば、典型的には専用チップやソフトウエアで実現される）を含む。これらのシステムを設計する従来の方法は一般に２つの別々の段階を含む。第１に、光サブシステムが、（コスト、物理的及び他の画像処理の制約の下で）ソースの高品質な中間的光画像を形成する目的と共にデザインされる。次に、光サブシステムが設計された後に、サンプルされた光画像中に残存する欠陥を補償するようにディジタル画像処理サブシステムが設計される。
【０００３】
２つの設計段階では光学的な設計者及び画像処理設計者の間でほとんど協力がないのが一般的である。これらの段階が別々になっているのは、それらの方法、ツール、目的及び制約等の点における光学及び画像処理の分野間の相当な違いを反映している。例えば、各分野は潜在的な多くのアプリケーションを網羅するが、一般にそれら２つの分野間は電気光学画像処理システム以外でほとんど重複していない。一般に、顕微鏡、望遠鏡、眼鏡等の従来の設計は如何なる重要な画像処理も考察していない。同様にデータ圧縮、コンピュータグラフィクス及び画層修正のような画像処理の分野は一般に如何なる重要な光学的情報も含んでいない。その結果、各分野は互いに独立に発展し、各自固有の用語、基礎科学、最良の実践法及びツール群を発展させている。一般に、これらの各々の分野に精通して支配しなければならないことは、電気光学画像処理システム設計の統一化を妨げる。統一的観点で重要な問題の１つは、２つの個々の分野で問題及び手法を記述する共通言語が欠如していることである。１つの顕著な例は各分野に関する基礎的な概念要素に関する考察で見受けられる。光学設計者は光線及び受動的光学素子を取り扱うが、画像処理装置は情報バイト及び能動的なアルゴリズムを取り扱う。これら２つの基礎的なクラスのエンティティを支配する規則及び制約は様々に異なる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の設計法の１つの問題は、光学サブシステム及びディジタル画像処理サブシステム間の協働性が見落とされていたことにまさに要約される。光学的設計者は、ディジタル画像処理サブシステムに関する情報なしに「最良の(best)」光サブシステムを作成する。画像処理装置は、以前に設計された光サブシステムを変更する機能なしに、「最良の」ディジタル画像処理サブシステムを作成する。かくてこれらのサブシステムは電気光学画像処理システムを形成するよう連結される。２つの独立に設計された「最良の」サブシステムを連結しても、全体的に「最良の」システムをもたらさないかもしれない。２つの独立に調整されたサブシステム間で望まれない相互作用があるかもしれないし、２つのサブシステム間の協働が実現されてないかもしれないからである。
【０００５】
従来の設計法の他の問題は、ソースに関する情報が設計プロセスで充分に活用されてないことである。例えば、コンピュータグラフィックスに関連して生成されるようなソースの複雑な３次元モデルは、従来の光設計ソフトウエアでは一般に使用不可能である。他の例として、従来の光設計ソフトウエアは、ソース（ソース信号）の統計的な変動モデルを考慮に入れることもできないのが一般的である。このような欠点は電気光学画像処理システムで特に深刻になり、そのシステムでは、意図されるクラスのソースが特定の光属性を備える、或いは出力は画像ではないがその代わりにバーコード番号のような象徴的なソースの表現である。
【０００６】
本発明の課題は、電気光学画像処理システムのエンドトゥエンドの設計に基づく設計手法（特に、電気光学画像処理システム全体が全体的に考察され、ソースに関する情報が設計プロセスに組み入れられる設計手法）をもたらすことである。
【課題を解決するための手段】
【０００７】
本発明は、全体的な電気光学画像処理システムの中で様々なサブシステムを考慮する統一的な設計法を用意することで、従来技術の問題を克服する。一形態では、本設計手法はソース、光サブシステム、検出（ディテクタ）サブシステム及びディジタル画像処理サブシステムに関するモデルを用いてエンドトゥエンドの画像処理パフォーマンスを予測する。そして光サブシステムはこれらの他のサブシステムを考慮しながら設計される。例えば、光サブシステムは、画像処理の影響を考慮する画像処理後の性能指標に基づいて設計されるかもしれない。従来の手法とは異なり、光サブシステムで生成される中間的な光画像は高品質画像であることを要しない。なぜならその画像は例えばディジタル画像処理サブシステムにより以後に改善されるかもしれないからである。
【発明を実施するための最良の形態】
【０００８】
本設計手法は、光サブシステム、ディテクタサブシステム及びディジタル画像処理サブシステムを介するソース信号の伝播をモデル化することを含む。このモデリングはディテクタサブシステム後方から光サブシステムを介する光線を追跡すること、及び後方レイトレースに基づいて及びソースの空間モデル（及び／又は時間モデル）に基づいてソースからディテクタサブシステムへ信号の伝播をモデル化することを含む。
【０００９】
例えばディテクタサブシステムが検出器のアレイを含み、各検出器が画像に関するピクセル（画素）を形成するものとする。一形態では、特定の検出器（ディテクタ）での画素信号は、ディテクタセル後方から光サブシステムを介してソースに至る光線を追跡することで推定される。後方トレース光線が様々なソースオブジェクトと交わるポイント(点)はソースポイントと言及され、そのソースポイントはその画素に寄与するようにモデル化される。全体的な画素信号は、様々なソースポイントからの寄与を合成することで推定される。ディテクタからの後方トレース光線の一部が光ソース１と交わり、他の光線が鏡で光ソース２に反射し、残りの光線が光ソース３と交わる場合に、ディテクタにより形成される画素は、３つの光ソースからの寄与の合成として推定可能である。
【００１０】
後方トレース光線及びソースの交点は、ソースの空間モデルに部分的に依存する。空間モデルの性質は特定のアプリケーションに依存する。例えば空間モデルは３次元的でもよい。一形態では３次元モデルがコンピュータで生成される。モデルは統計的性質を帯びてもよい。空間モデルは、ソースの動きのような変動、ソース位置の変動、ソースの照光における変動及びノイズ変動のような様々な変動を考慮してもよい。
【００１１】
ディジタル画像処理サブシステムを介する伝播は設計空間（即ち、実行されるディジタル画像処理のタイプ）に部分的に依存する。例えば、その設計空間はディジタル画像処理サブシステムに限定可能であり、そのシステムは光サブシステム及び／又はディテクタサブシステムのポイントスプレッド関数により引き起こされる劣化を復元する。線形手法又はあるクラスの線形手法に限定されてもよい。線形手法は、閉じた形の解又は他の解（挙動が既知であり且つ効果的な手法で計算可能な解）をもたらす傾向が強い。しかしながら本発明は線形手法だけに限定されはしない。
【００１２】
画像処理後の性能指標もアプリケーションによって変わるかもしれない。好ましいディジタル画像処理パフォーマンスメトリックは、ソースの理想的な画像と、電気光学画像処理システムを介するソースからの信号伝播によって形成される画像との間の二乗平均誤差である。最終目標がある種の認識（例えば、文字認識又はバーコード読み取り）であるアプリケーションに関し、画像処理後の性能指標は、例えばエラーレート、偽陽性レート(rate  of  false  positives)等のような認識精度の指標でもよい。
【００１３】
本手法の利点の１つは、本発明による電気光学画像処理システムは従来の設計システムと同程度のシステムパフォーマンスを達成するが、おそらくは、少数の素子で、より少ない「フットプリント(footprint)」（空間的広がり）で、より低コストで、より早い開発期間で又はより少ない感度（例えば、製造や環境変動に対する感度）でそれを達成することである。その理由は、中間的な光画像が高品質画像であることを必要とせず、デザイン空間中で新たな領域を広げているからである。これらのデザインでは、全体的なシステムパフォーマンスは、たとえ光サブシステムが中間的な光画像を形成するとしても、従来の設計システムのものと同じ又はそれ以上良く、その中間的な画像は従来設計された光サブシステムで形成される画像品質よりかなり悪い画像品質でよい。これらの新たな設計では、光サブシステムは、欠陥がディジタル画像処理サブシステムにより充分に補正される限り、中間的な光画像にかなりの欠陥の導入を許容してもよい。
【００１４】
本発明の他の形態は、上記の設計法を実現するためのツール並びに本設計手法で作成される装置、システム及びサブシステムを含む。
【００１５】
本発明は他の利点及び特徴をも有し、添付図面に関連する本発明の以下の詳細な説明及び添付された特許請求の範囲から更に明瞭になるであろう。
【実施例１】
【００１６】
図１は電気光学画像処理システム１００を設計する問題点を説明するためのブロック図である。画像処理システム１００は光サブシステム１１０、ディテクタサブシステム１２０及びディジタル画像処理サブシステム１３０を含む。画像処理システム１００はソース（ソース信号）１５０を画像処理し、ディジタル画像１８０を生成するよう意図されている。一般的な設計の問題は、或る制約の下に、全体的なパフォーマンスを「最適化」するように画像処理システム１００を設計することである。多くの場合、最適化の目的は、入力ソースのアプリケーション特有に理想化されたバージョン１５５に合致するディジタル画像１８０を生成することである。
【００１７】
図１及び２は本発明による電気光学画像処理システム１００を設計するための方法を示す。図２を参照するに、本設計法はソース１５０の空間モデルを生成するステップ２１０を含む。ソースの空間的モデルは、以前に開発したモデル又はそれ以外に用意されたものに基づいて、特定のシミュレーションに関して導出されてもよいし、経験的に測定されてもよい。照明、ラジオメトリ及びジオメトリ（幾何学形状）はソースモデルに反映されてよいファクタである。空間モデルはソースの変動（例えば、ソースの動きに起因する変動、ソースの位置変動、照明の変動又はノイズ変動）を説明するための統計的側面を有していてもよい。以下に更なる例が示される。
【００１８】
電気光学画像処理システムの設計空間も規定される（ステップ２２０）。図１ではサブシステムの各々はそのパラメータθ０，θｄ，θｉで規定される。例えばベクトルθ０で記述される光サブシステム１１０の設計空間は、レンズの数、タイプ及びサイズ、曲率半径、絞り(stop)等で規定されてよい。θｄで記述されるディテクタサブシステム１２０の設計空間は、画素数、ディテクタ間隔、フィルファクタ、帯域、画素形状等をパラメータ化する。θｉで記述されるディジタル画像処理サブシステム１３０の設計空間は、適用されるディジタル画像処理のタイプ及びその処理タイプ（例えば、線形又は非線形フィルタ、タップ数、タップウエイト等）のパラメータを特定する。設計に関連する様々な非画像処理的制約又はコスト１７０も規定されてよい。各サブシステムのデザイン空間のサイズはアプリケーションに依存して異なってよい。場合によっては、或るサブシステムを設計する自由度が非常に大きいかもしれない。別の場合では、そのサブシステムの設計は厳しく制約される或いは予め決められたりすることさえあるかもしれない（例えば、ディテクタアレイが事前に選択されるような場合）。
【００１９】
画像処理後の性能指標１９０も規定される（ステップ２３０）。この性能指標は、画像処理前ではなく画像処理後のパフォーマンスに基づくという意味で処理後（ポストプロセシング）である。例えば、光サブシステムで生成される中間的な光画像のスポットサイズ又は波面誤差の指標単独で、光サブシステムに関する従来のエラーメトリックになるかもしれないが、それらは画像処理後の性能指標ではない。図１では、画像処理後の性能指標１９０は、理想的なディジタル画像１５５と、画像処理システム１００で生成されるディジタル画像１８０との比較に基づいている。
【００２０】
多くの設計状況では、システムで生成される画像１８０は、サブシステム１１０，１２０，１３０を介するソースの特徴１５０による伝播をモデル化することで算出される。この特定の場合には、伝播は、ディテクタサブシステム１２０後方から（例えば、ディテクタアレイのピクセルから）光サブシステム１１０を介してソース１５０への光線をトレースすることに基づいてモデル化される。以下で更に詳細に説明されるように、後方レイトレース及びソースの空間モデルを用いて、ソース１５０から光サブシステム１１０を介してディテクタサブシステム１２０に至る信号の前方伝播をモデル化する。
【００２１】
設計ステップ２４０は、設計空間の中で或る設計内容を選択するように説明でき、その設計内容は、例えば幾つかの或る制約（例えば、或るコスト１７０の制約）の下で画像処理後の性能指標１９０を最適化するものである。光サブシステム１１０及びディジタル画像処理サブシステム１３０は、従来の調整法のように順番にではなく、一緒に調整されることが好ましい。数学的には、図１の表記を用いると、設計ステップは、ひょっとするとコスト１７０による或る制約の下で、パフォーマンスメトリックを直接的に最適化するようにシステムパラメータθ０，θｄ，θｉを選択するように説明できる。例えば、画像ベースの画像処理後の性能指標１９０は最大の金銭的コストの下で最適化されるかもしれない。或いはディジタル画像１８０に関する何らかの最少の許容可能な画像処理後の性能指標１９０の下で金銭的コストは最小化されるかもしれない。
【００２２】
多数の最適化アルゴリズムが使用可能である。或る線形な手法の場合、パラメータは解析的に或いは既知の振る舞いの適切な数値計算で解けるかもしれない。或る非線形な場合を含む、より複雑な場合には、期待値最大化、傾斜降下法及び線形計画法等のような技法を用いてデザイン空間を探索できる。
【００２３】
図１及び図２双方で、単に最適化される、光サブシステム１１０、ディテクタサブシステム１２０又はディジタル画像処理サブシステム１３０に何らの制約もないことに留意を要する。これらのサブシステムに関し、単独で考察された場合には最適なパフォーマンスより劣化したものを示すが、全体的な電気光学画像処理システム１００は依然として良好な又はそれでも最適なパフォーマンスを示すことは、全く可能である。これは従来の調整法とは全く異なり、例えば、従来法では光サブシステム１１０は典型的には、そこで形成された中間的な光画像の画像品質を直接的に最適化することで調整されている。例えば、光サブシステム１１０はＲＭＳ波面エラー又はＲＭＳスポットサイズを直接的に最小化することに基づいて設計されるかもしれない。これに対して、図２の設計法では、光サブシステム１１０で形成される中間的な光画像は（例えば、波面エラー又はスポットサイズで測定される場合に）良くない画像品質を有するかもしれない。その品質は後にディジタル画像処理サブシステム１３０で補償される。光サブシステム１１０は、中間的な光画像の画像品質を直接的に改善することに基づいては設計されない。むしろ、画像処理後の性能指標１９０を直接的に改善するよう設計される。光サブシステム１１０は、画像処理後の性能指標１９０を直接的に最適化することに基づいて、ディジタル画像処理サブシステム１３０と連帯的（又は連携的）に設計されることが好ましい。
【００２４】
図３はソース１５０、光サブシステム１１０、ディテクタサブシステム１２０及びディジタル画像処理サブシステム１３０のモデル例の更なる説明を与える。或る特定のモデルが説明される（但し、そのモデルだけに限定されない。）。サブシステム各々について、後のシミュレーションで使用される仮モデルを簡易化することに加えて、重要な概念要素が説明される。
【００２５】
図３はソース１５０から光サブシステム１１０を介してディテクタサブシステム１２０に至る信号の伝播をシミュレーションする１つの手法を示す。この例では光サブシステム１１０は、正方形開口（アパーチャ）を有するシングレットレンズとして示され、ディテクタサブシステム１２０は正方形ディテクタアレイである。ソース１５０は、赤い正方形１５０Ａを緑の正方形１５０Ｂを異なる位置及び異なる深度で、大きく隔てた青い背景１５０Ｃと共に含んでいる。物理的なシステムでは、ソースオブジェクト１５０は光を生成し、その光は例えばＣＣＤセンサアレイのような画像面にレンズ及び開口絞りを介して伝播する。
【００２６】
しかしながらこのアプローチでは光線はディテクタアレイ１２０からソース１５０へ後ろ向きにトレースされる。ディテクタアレイ１２０は、或る配列のディテクタを含み、そのアレイ中の１以上のディテクタが、捕捉された画像の画素各々を生成するように使用される。或るディテクタアレイでは、画素各々を生成するのに１つのディテクタが使用される。他のディテクタアレイでは、各画素を生成するのに複数のディテクタ（例えば、別々の赤の、緑の及び青のディテクタ）が使用される。アレイの幾何学形状によらず、光線は画素に対応するディテクタから光サブシステム１１０を介して後方にソース１５０に至るまで追跡される。そして画素（例えば、その色及び輝度）は後方レイトレース及びソースの空間モデルに基づいて推定される。
【００２７】
図３は後方にレイトレースされる画像面の中心に向かうピクセルを示す。ディテクタ１２０Ａは対象とする画素を生成する要素である。光線３１０はディテクタ１２０Ａから発信し、アパーチャ絞り及びレンズ１１０を介して後方にレイトレースされ、ソース１５０に進む。一部の光線が赤い正方形１５０Ａに当たり、一部が緑の正方形１５０Ｂに当たり、一部が青の背景１５０Ｃに当たる。各光線と交わるソースポイントの各々はディテクタ１２０Ａにより生成されるピクセル全体に寄与する。これらの画像寄与は全体的なピクセルを推定するために合成される。或る手法では、ソースオブジェクト１５０Ａ−１５０Ｃ各々と交わる光線の相対的な比率が「色(color)」を決定し、その色をディテクタ１２０Ａが見ることになり、そのピクセルはその光線による画像寄与の重み付け平均を形成することで推定される。要するに、この手法は、ソースの空間モデル−プラス−光サブシステムの光の流れとは「逆向きに作用」する。各ピクセルに関して同じプロセスが反復される。このようにして、全捕捉画像が推定できる。
【００２８】
図３ではディテクタ１２０Ａから後方にトレースされた光線の各々は、ソースオブジェクト１５０と単一のポイントで交わる。後方レイトレースの一部として、どの光線も決して複数の光線に分かれない。これは図３を簡易化するためであるが、必須ではない。例えば、後方にトレースされた光線が分散面に当たった場合、光線は複数の光線に分かれ、各光線は更に後方にレイトレースされる。複数の光線はその表面の分散性を説明する。
【００２９】
後方レイトレースに基づいて推定される画像（イメージ）は、ディジタル画像処理サブシステム１３０の入力に使用可能である。ディジタル画像処理サブシステム１３０のパラメータθｉは、理想的な画像１５５と比較した推定画像に基づいて設計可能である。或る手法では、一群の様々なソース（例えば、一群のバーコード）が、対応する理想的な画像と共に、一群の後方レイトレース画像を生成するために使用される。これら２つの群（セット）は統計的なモデルを生成するために使用可能であり、そのモデルからディジタル画像処理サブシステム１３０のパラメータθｉが決定可能である。パラメータθｉが決定されると、後方レイトレーシングに基づく画像は、ディジタル画像１８０を形成するようにディジタル画像処理サブシステム１３０を介して伝播可能になる。理想的な画像１５５と比較することで、光サブシステム１１０及びディジタル画像処理サブシステム１３０のこの特定の試行的画像に関するパフォーマンスメトリック１９０が生成される。このプロセスは、パフォーマンスメトリック１９０を最適化する光サブシステム１１０を設計するように反復可能である。
【００３０】
より詳細には、各ディテクタから発する後方光線束は様々な分散性を備えてもよい。各ディテクタは或る有限の領域を占有し、光サブシステム１１０の出力開口に対して或る有限の立体角をなす。或る手法では、光線はこれらの領域及び立体角に関して均等に分散すうが、それらは様々に重み付けされてよい。例えば、ほぼ垂直な角度でディテクタに当たる光線は、傾斜した角度で当たるものより重く重み付けされてよい。別の手法では、全ての光線に等しい重みが与えられるが、それらはディテクタ領域及び立体角に関して不均一に分散してよい。例えば、垂直な近傍では傾斜した角度の場所と比較して高密度の光線が存在してよい。
【００３１】
交差したソースポイント各々からの画像寄与も様々な手法で決定可能である。好ましくは、その画像寄与はソースの方向性（例えば、その表面が或る方向に向くランベルト分布を有する場合）に加えてソースの色及び強度（距離と共に変化する強度減衰を含む）を説明できることが好ましい。
【００３２】
図４（４Ａ−４Ｇ）はアパーチャ開口及びアパーチャ絞りの位置の様々な値について図３に示される状況をシミュレーションした場合の結果を示す。これらの図において、ｄは開口絞りの直径であり、ｘは開口絞りの位置を決定する。ソースオブジェクト１５０Ａ−１５０Ｃ、レンズ１１０及びディテクタ１２０の相対的な位置は、図４Ａ−４Ｇ全てに対して同じである。アパーチャ絞りの位置だけが変化している。座標ｘ＝０は画像面１２０における値である。レンズ１１０はｘ＝１５０に設けられている。図中、４Ａ，４Ｃ及び４Ｆでは、絞りはｘ＝１４５に設けられ、図３に示されるようにレンズに近接している。４Ｂ及び４Ｅであ、絞りはｘ＝１００に設けられ、ディテクタ１２０に近づくように動かされている。４Ｄ及び４Ｇでは、絞りはレンズの他方側のｘ＝２１０に設けられている。
【００３３】
図中４Ａは本質的にはピンホールであるような最少の開口直径（ｄ＝１）で生成された。４Ｂ−４Ｄはｘの様々な値における大きな開口直径（ｄ＝１０）で生成された。４Ｅ−４Ｇはｘの様々な値における最大の開口直径（ｄ＝２５）で生成された。全ての場合に、レンズの焦点を緑の正方形１５０Ｂに合わせた。後方レイトレースにより生成される結果の画像では、緑の正方形１５０Ｂの画像は、予測されるように常に鮮明に現れた。しかしながら、赤の正方形１５０Ａの鮮明さはシステムのフィールドの深さに依存して異なっていた。ピンホール開口の場合、システムは最大のフィールドの深度を有し、赤の正方形１５０Ａにも照準が合っている。より大きな開口では、フィールド深度は減少し、赤い正方形１５０Ａの焦点はぼけてくる。
【００３４】
図５（５Ａ−５Ｂ）は図３のソースに疑似バーコードが使用された場合の別のシミュレーション結果を示す。バーコードは、レンズの主軸（見通し線）から離れた、４５°（５Ａ）及び６０°（５Ｂ）の深度で付けられた。図中５Ａ及び５Ｂ双方において、バーコードの左側がビューア(viewer)に近く、右側が遠い側である。光システムの限定されたフィールド深度に起因して、近い側及び遠い側の部分がぼけていることに留意を要する。この例では、各ピクセルは、レンズにより円錐状に張られた空間内で、シミュレートされたガウシアンポイントソースから約５０本の光線に基づき、モンテカルロによる方向のランダム化を利用している。
【００３５】
図３は静的なソースモデルを示すが、より複雑なモデルが使用されてもよい。例えば、ソースの動き、ソースの位置変化、ソースの照明の変動又はソースのノイズ変動等に起因する変化をソースモデルで考慮してもよい。ソースの空間モデルは変動を考慮する統計的な性質を備えてもよい。ソースは或るクラスのソース（例えば、或るクラスのバーコード）でもよい。空間モデルはそのクラスの複数のメンバ（例えば、バーコードのサンプリングを表す）を含んでもよい。或る手法では、ソースのモデルはコンピュータで生成された３次元的なモデルを含む。コンピュータで生成されたモデルはそれらを与えるためにしばしばレイトレースされる。後方レイトレースを実行するために同じ技法が使用可能である。
【００３６】
多くのシナリオでは、画像処理される全ての可能なソースオブジェクト全体はアプリケーションによって自然に制約を受ける。例えばそのオブジェクト全体は、バーコード読み取りシステムの場合のように厳しく制約されるかもしれないし、或いは汎用的な顧客のカメラの場合のように何ら制約されないかもしれない。大なり小なり、この空間の境界はシステム設計者にとって重要な事前情報を与える。例えば、ソースがバイナリレベルのスキャンされた書類であるという情報は、（特に、最終的なディジタル画像の二値化で非線形ステージを実現する場合に）強い制約を与え且つディジタル画像処理サブシステムに対する情報を与える。
【００３７】
ソース１５０の空間モデルを生成するのに使用される情報はいくつかの形式をとってもよい。設計者は考察中の状況の３次元幾何学に関する詳細な情報を所有しているかもしれない。そのような情報は画像処理システムに使用される光学要素を制約するのに通常は使用される。例えば、光学設計者は一般に光学要素の焦点深度と考察中の状況のフィールドの予測される深度とを合わせ、関連する光学要素の収差による焦点ぼけに影響されない画像を作成することを望む。しかしながら光学設計者は、予測される対象の深度を規定する箱のような非常に一般的な幾何学的制約しか満たさない。光学設計者の自由な先に示された情報に関連する更に具体的な深度に関し、本システム設計者は画像処理システムに関するより良い設計内容を発展させることができる。
【００３８】
その状況に関する空間的に変化する照明特性がソース１５０をモデル化するのに使用されてもよい。例えば、テキスト又はテキスト書類画像を処理する場合、設計者は画像処理されるテキストの言語又はバイナリソース等を表す信号に関する情報を有するかもしれない。ソースの統計モデルは、フィールドシステムによりスキャンされたものを表すスキャンされた書類のコーパスから抽出されてもよいし又は物理的な最初の原本からモデル化されてもよい。この情報はディジタル画像処理サブシステムを設計する際に特に有用である。多くの画像処理技術は、理想化された画像処理システムにより画像処理されるように、観察される状況の内容に関する事前情報を当てにする。この事前情報は、物理的な最初の原本から導出されてもよいし、或いは多くのデータ集合から学習されてもよいことに留意を要する。或る手法では、高品質画像処理システムは、様々な画像処理状況で、その状況の統計に従って学習しようとしながらデータを捕捉する。
【００３９】
光サブシステム１１０に話題を移すと、従来のレンズ設計者の大まかな目標は、最少の波面誤差で且つ他の制約（最小要素エッジ幅であること、最小要素間隔であること等）を満たしながら光サブシステムを形成するように一群の光設計パラメータθ０を選択することである。条件からの収差は完全には抑制できないので、従来のレンズ設計者の仕事は、所与のアプリケーション、コスト及び関連する制約に関する様々な収差(aberration)の間で適切なバランスを見出すことである。これを行うため、レンズ設計者は一般に光設計ソフトエアを用いて、その収差又は波面誤差に基づいてメリット関数(merit  function)を直接的に最小化する方法で光設計内容を変更する。
【００４０】
不都合なことに、レンズシステム中の所与の複雑さと同程度にしか収差を減らすことができない（例えば、特定の要素数に限定される。）。しかしながら、多くの場合、或る収差はディジタル画像処理サブシステムによりそれとは別の者よりも効果的に補正される。エンドトゥエンド設計法は一般にこの点を活用できるが、従来法は活用できないのが一般的である。この点を説明する目的で簡明化のため、全ての収差が画像処理法による補正法に従って評価されるものとする。そのスケールにおける修正可能な限界の収差は、ディジタル画像処理サブシステムによりほとんど又は充分に補償可能である（そのスケールの修正可能でないものはそれが不可能である。）。従来の設計では、修正可能な収差及び修正できない収差の間の区別は認識されていない。その代わりに、光サブシステムは中間的な光画像を高品質画像に形成するよう設計される。こうして例えばレンズシステムは修正可能な及び修正不可能な収差を或るレベル（中程度のレベル）で等しく減らすように設計される。以後のディジタル画像処理の際に、修正可能な収差は更にディジタル的にレベルを低減するが、修正不可能な収差はそのレベル（中程度のレベル）のままである。更に、修正能力はソースの性質に依存してかなり変化するかもしれないが、その変化は光サブシステムを設計する従来の手法では対処されない。
【００４１】
これに対して、（本願の）エンドトゥエンド設計法では、ディジタル画像処理サブシステムにより修正可能な収差が補償可能であることが認識される。かくて光サブシステムはそれらの収差（以後の画像処理で修正が困難な収差）の削減を強化する。その結果、中間的な光画像は、高度なこれらの修正可能な収差に起因して低画像品質になるかもしれない。しかしながらこれらはディジタル画像処理サブシステムにより以後低レベルに減らされ、全体的な電気光学画像処理システムがハイパフォーマンスになるようにする。エンドトゥエンド設計法は設計者が様々なサブシステムに修正を割り当てることを許容する。例えばディジタル画像処理がレンズ系に比較して高価でなかったならば、簡易であるがパフォーマンスの低い光サブシステムに続いて複雑なディジタル画像処理サブシステムを選択するかもしれない。
【００４２】
さて、ディジタル画像処理サブシステム１３０を考察する。電気光学画像処理システムのパフォーマンスを改善するための広範囲にわたるディジタル画像処理技法が存在し、全ての可能なディジタル画像処理技法をここで議論することは実現可能なことではない。以下の例では、ディジタル画像処理サブシステムはポイントスプレッド関数(PSF:  Point  Spreading  Function)によって劣化した信号を復元するよう意図された技法を使用する。更に、その復元問題は本実施例では理論的考察によるアプローチである。
【００４３】
一般に、観測される信号ｙ（例えば、後方レイトレーシングに基づいて推定された画像）から信号ｓ（例えば、図３における実際のソース１５０）を復元するのに使用可能な広範囲にわたる可能な復元法が存在し、それは単純な線形フィルタから反復的な非線形法に及ぶ。以下の例は或る技法を説明し、その技法は、各々が挙動の良好なパフォーマンス指標に対する最適値を求め且つ予測可能なパフォーマンスを示す。更に、以下の例は理想的な及び実際の画像を比較する画像処理後の性能指標に基づくが、他の手法は、例えば光文字認識での又はバーコードリーダーでの認識精度のような、何らかの経験的な又は非解析的な指標を最適化する。
【００４４】
或るクラスの復元法は線形プロセスに基づく。これらは一般に形式的に解析するのに簡易であり、実際のシステムで実現するのに簡易である。線形な枠組み（フレームワーク）では、当初の信号は次の形式のような線形演算子（オペレータ）を用いて推定される：
【００４５】
【数１】
2007115256.tif 000003
この例では最小二乗平均誤差（MMSE:  Minimum  Mean  Square  Error）がリアプノフ(Lyapunov)関数又はターゲット関数として使用される。図１を参照するに、電気光学画像処理システム１００は、理想的な画像１５５及び実際のディジタル画像１８０間の二乗偏差の総和が最少になるように最適化される。ここで、理想的な画像は、帯域制限された、ノイズフリーなディジタル画像であり、それは充分な照光と共に及び回折なしに理論的なピンホール画像処理システムからもたらされるものである。かくてその目的は次式を満たすフィルタ行列Ｒを見つけることである：
【００４６】
【数２】
2007115256.tif 000004
ここで、期待値演算子εの添え字は、ランダムノイズｎ及び（仮定された）静的なランダム信号ｓに関する期待値を表す。ＭＭＳＥフィルタ法は、各自の平均及び共分散的構造以外に、ノイズモデル又は基礎とする信号の統計的性質について何らの条件も要求しない。ノイズ及び信号が非相関的であることを仮定すると、理想的な線形復元行列(linear  restoration  matrix)は次式で与えられる：
【００４７】
【数３】
2007115256.tif 000005
ここで、Ｃｓ及びＣｎはそれぞれ信号及びノイズの共分散行列を表す。
【００４８】
ピクセル毎のＭＳＥパフォーマンスは次式を用いてそのようなシステムで予測される：
【００４９】
【数４】
2007115256.tif 000006
ここで、Tr［］はトレース演算子であり、Ｎは画像全体のピクセル数である。
【００５０】
非線形復元法を用いることは、可能な画像処理後の性能指標の空間を広げる。例えば、最尤法(ML:Maximum  Likelihood)又は最大帰納法(MAP:Maximum  A-Posteriori)法のような、或るクラスの非線形復元法はしばしば統計的に裏付けられる（動機付けられる）。そのような手法は最少偏差と共に漸近的に公平化される利点を有し、ＭＭＳＥより強力な性質を有する。
【００５１】
例えば、信号ｓが決定性(deterministic)であるが未知信号であると仮定した場合、その信号のＭＬ推定は次式を満たす：
【００５２】
【数５】
2007115256.tif 000007
ここで、L(y|s)は観測されたデータについての統計的な尤度関数(statistical  likelihood  function)である。この特定の例では、この信号モデルでの加法性ノイズはガウシンアンであることが仮定されているので、MLコスト関数は次式の最小二乗（LS）目的関数を低減する：
【００５３】
【数６】
2007115256.tif 000008
多次元信号に関し（即ち、多数のピクセルの場合）、これらの行列をあらわに構築することが困難になるかもしれない。しばしば、反復法を用いて数式（６）を最小化し、その行列をあらわに構築する必要性を排除する。多くの状況では、演算子Ｈは不安定な解に対してランク不足(rank-deficient  leading)である。そのような場合に、ソースパワースペクトル密度やソース関数の滑らかさ(source  functional  smoothness)のような付加的な情報が解空間を制限するために使用可能である。
【００５４】
未知信号について統計的な過去の情報が存在する場合、MAPコスト関数は次式のように書ける：
【００５５】
【数７】
2007115256.tif 000009
ここで、C(s)は未知信号についての過去の情報を表現し、Ψはデータ目的関数及び過去の情報間でのラグランジアン(Lagrangian)形式の相対的重みを表現する。この形式のコスト関数は数式（７）のような解析的な解を許容しないかもしれない。クレーマー・ラオ(Clamer-Rao)不等式は、境界を規定することに加えて漸近的な非線形推定器のパフォーマンスを予測するために使用可能である。
【００５６】
詳細な説明は多くの具体的事項を含んでいるが、本発明の範囲を限定するように解釈されるべきでなく、それらは本発明の様々な実施例及び態様を例示すに過ぎない。本発明の範囲は充分に詳細には議論されなかった他の例も含むことが理解されるべきである。他の様々な修正例、変更例及び変形例は、当業者に明白であり、添付の特許請求の範囲における本発明の範囲及び精神から収差せずに、ここに開示された本発明による方法及び装置の形態、動作及び詳細に対してなされてもよい。
【図面の簡単な説明】
【００５７】
【図１】電気光学画像処理システムを調整する問題点を説明するためのブロック図である。
【図２】電気光学画像処理システムを調整する本発明による方法を示すフローチャートである。
【図３】本発明による後方レイトレーシングを示す図である。
【図４】図３に示される状況のシミュレーション画像である。
【図５】様々な角度で付けられたバーコードのシミュレーション画像を示す図である。
【符号の説明】
【００５８】
１００  電気光学画像処理システム
１１０  光サブシステム
１２０  ディテクタサブシステム
１３０  ディジタル画像処理サブシステム
１５０  ソース信号
１８０  ディジタル画像
１９０  パフォーマンスメトリック
【図１】
2007115256.tif 000010
【図２】
2007115256.tif 000011
【図３】
2007115256.tif 000012
【図４】
2007115256.tif 000013
【図５】
2007115256.tif 000014