(57)【要約】  本発明は、被写体の向上された被写界深度を持つ合成２Ｄ画像を生成するための装置に関するものである。画像取得ユニット２０により、当該被写体の第１横方向位置における第１画像データ及び該被写体の第２横方向位置における第２画像データを取得すること（１１０）が記載されている。上記画像取得ユニットは、第１横方向位置における第３画像データ及び第２横方向位置における第４画像データを取得する（１２０）ために使用され、その場合において、第３画像データは第１画像データに対するものとは異なるダウンレンジ距離において取得される一方、第４画像データは第２画像データに対するものとは異なるダウンレンジ距離において取得される。第１横方向位置に関する第１作業画像データが生成され（１３０）、該生成は第１画像データ及び第３画像データを焦点合成アルゴリズムにより処理することを含む。第２横方向位置に関して第２作業画像データが生成され（１４０）、該生成は前記焦点合成アルゴリズムにより第２画像データ及び第４画像データを処理することを含む。画像取得の間において、第１作業画像データ及び第２作業画像データが組み合わされて（１５０）、当該被写体の向上された被写界深度を持つ合成２Ｄ画像を生成する。
2019512188.tif 000002
【特許請求の範囲】
【請求項１】
被写体の向上された被写界深度を持つ合成２Ｄ画像を生成するための装置であって、
画像取得ユニットと、
処理ユニットと、
を有し、
前記画像取得ユニットは、当該被写体の第１横方向位置における第１画像データ及び該被写体の第２横方向位置における第２画像データを取得し、
前記画像取得ユニットは、前記第１横方向位置における第３画像データ及び前記第２横方向位置における第４画像データを取得し、前記第３画像データは前記第１画像データに対するものとは異なるダウンレンジ距離において取得され、前記第４画像データは前記第２画像データに対するものとは異なるダウンレンジ距離において取得され、
前記処理ユニットは、前記第１横方向位置に関する第１作業画像データを生成し、該生成は前記第１画像データ及び前記第３画像データの焦点合成アルゴリズムによる処理を含み、前記処理ユニットは、前記第２横方向位置に関する第２作業画像データを生成し、該生成は該第２横方向位置に関する第２作業画像データを生成するための前記焦点合成アルゴリズムによる前記第２画像データ及び前記第４画像データの処理を含み、
前記処理ユニットは、画像データの取得の間において、前記第１作業画像データ及び前記第２作業画像データを組み合わせて当該被写体の向上された被写界深度を持つ合成２Ｄ画像を生成する、
装置。
【請求項２】
前記画像取得ユニットが前記被写体の斜め断面の画像データを取得する検出器を有する、請求項１に記載の装置。
【請求項３】
前記検出器が少なくとも２つの活性領域を有する２Ｄ検出器である、請求項２に記載の装置。
【請求項４】
前記画像取得ユニットが、前記第１画像データ及び前記第２画像データを取得するために前記被写体の第１断面の画像データを取得し、該画像取得ユニットが、前記第３画像データ及び前記第４画像データを取得するために該被写体の第２断面の画像データを取得する、請求項１ないし３の何れか一項に記載の装置。
【請求項５】
前記画像取得ユニットは、前記被写体の前記第１横方向位置において且つ第１ダウンレンジ距離において前記第１画像データを取得すると同時に、該被写体の前記第２横方向位置において且つ第２ダウンレンジ距離において前記第２画像データを取得し、ここで、前記第１ダウンレンジ距離は前記第２ダウンレンジ距離とは相違し、前記画像取得ユニットは、前記第１横方向位置において且つ第３ダウンレンジ距離において前記第３画像データを取得すると同時に、前記第２横方向位置において且つ第４ダウンレンジ距離において前記第４画像データを取得し、ここで、前記第３ダウンレンジ距離は前記第４ダウンレンジ距離とは相違する、請求項１ないし４の何れか一項に記載の装置。
【請求項６】
前記画像取得ユニットが、前記第１横方向位置において、及び、前記第２横方向位置において、前記第１画像データが取得されるダウンレンジ距離と前記第２画像データが取得されるダウンレンジ距離との間のダウンレンジ距離における距離よりも何れも大きくはない焦点深度を有する、請求項１ないし５の何れか一項に記載の装置。
【請求項７】
前記被写体が前記第１画像データ及び前記第２画像データを取得するために前記画像取得ユニットの光軸に対して第１位置にあり、該被写体が前記第３画像データ及び前記第４画像データの取得のために該光軸に対して第２位置にある、請求項１ないし６の何れか一項に記載の装置。
【請求項８】
前記画像データが複数のカラーを有し、前記処理ユニットが、該複数のカラーのうちの１以上を有する画像データに基づいて、画像データを前記焦点合成アルゴリズムにより処理する、請求項１ないし７の何れか一項に記載の装置。
【請求項９】
被写体の向上された被写界深度の合成２Ｄ画像を生成する方法であって、
ａ）  画像取得ユニットにより前記被写体の第１横方向位置における第１画像データを取得し、前記画像取得ユニットにより該被写体の第２横方向位置における第２画像データを取得するステップと、
ｂ）  前記画像取得ユニットにより前記第１横方向位置における第３画像データを取得し、前記画像取得ユニットにより前記第２横方向位置における第４画像データを取得するステップであって、前記第３画像データを前記第１画像データに対するものとは異なるダウンレンジ距離において取得し、前記第４画像データを前記第２画像データに対するものとは異なるダウンレンジ距離において取得するステップと、
ｅ）  前記第１横方向位置に関する第１作業画像データを生成するステップであって、該生成するステップが前記第１画像データ及び前記第３画像データを焦点合成アルゴリズムにより処理するステップを有するステップと、
ｆ）  前記第２横方向位置に関する第２作業画像データを生成するステップであって、該生成するステップが前記第２画像データ及び前記第４画像データを前記焦点合成アルゴリズムにより処理するステップを有するステップと、
ｌ）  画像データの取得の間において、前記第１作業画像データ及び前記第２作業画像データを組み合わせて、前記被写体の向上された被写界深度の合成２Ｄ画像を生成するステップと、
を有する、方法。
【請求項１０】
前記取得するステップａ）が、前記被写体の前記第１横方向位置において且つ第１ダウンレンジ距離において前記第１画像データを取得すると同時に該被写体の前記第２横方向位置において且つ第２ダウンレンジ距離において前記第２画像データを取得するステップを有し、ここで、前記第１ダウンレンジ距離は前記第２ダウンレンジ距離とは相違し、前記取得するステップｂ）が、前記第１横方向位置において且つ第３ダウンレンジ距離において前記第３画像データを取得すると同時に前記第２横方向位置において且つ第４ダウンレンジ距離において前記第４画像データを取得するステップを有し、ここで、前記第３ダウンレンジ距離は前記第４ダウンレンジ距離とは相違する、請求項９に記載の方法。
【請求項１１】
ｃ）  前記第１画像データに関する第１エネルギデータを計算し、前記第３画像データに関する第３エネルギデータを計算するステップと、
ｄ）  前記第２画像データに関する第２エネルギデータを計算し、前記第４画像データに関する第４エネルギデータを計算するステップと、
を有し、
前記生成するステップｅ）は、前記第１画像データ又は前記第３画像データの何れかを前記第１作業画像として選択するステップを有し、該選択するステップは前記第１エネルギデータ及び前記第３エネルギデータの関数を含み、
前記生成するステップｆ）は、前記第２画像データ又は前記第４画像データの何れかを前記第２作業画像として選択するステップを有し、該選択するステップは前記第２エネルギデータ及び前記第４エネルギデータの関数を含み、
画像データにおける周波数情報がエネルギデータを表す、請求項９又は請求項１０に記載の方法。
【請求項１２】
ｇ）  前記第１画像データが前記第１作業画像として選択される場合に第１作業エネルギデータを前記第１エネルギデータとして生成するか、又は前記第３画像データが前記第１作業画像として選択される場合に前記第１作業エネルギデータを前記第３エネルギデータとして生成するステップと、
ｈ）  前記第２画像データが前記第２作業画像として選択される場合に第２作業エネルギデータを前記第２エネルギデータとして生成するか、又は前記第４画像データが前記第２作業画像として選択される場合に前記第２作業エネルギデータを前記第４エネルギデータとして生成するステップと、
を有する、請求項１１に記載の方法。
【請求項１３】
ｉ）  前記第１横方向位置において第５画像データを取得し、前記第２横方向位置において第６画像データを取得するステップであって、前記第５画像データは前記第１及び第３画像データに対するものとは異なるダウンレンジ距離において取得され、前記第６画像データは前記第２及び第４画像データに対するものとは異なるダウンレンジ距離において取得されるステップと、
ｊ）  前記第５画像データ及び前記第１作業画像データを前記焦点合成アルゴリズムにより処理して、前記第１横方向位置に関して新たな第１作業画像データを生成するステップであって、前記新たな第１作業画像データが該第１作業画像データとなるステップと、
ｋ）  前記第６画像データ及び前記第２作業画像データを前記焦点合成アルゴリズムにより処理して、前記第２横方向位置に関して新たな第２作業画像データを生成するステップであって、前記新たな第２作業画像データが該第２作業画像データとなるステップと、
を更に有する、請求項９ないし１２の何れか一項に記載の方法。
【請求項１４】
請求項１ないし８の何れか一項に記載の装置を制御するためのコンピュータプログラムであって、プロセッサにより実行された場合に、請求項９ないし１３の何れか一項に記載の方法を実行する、コンピュータプログラム。
【請求項１５】
請求項１４に記載のコンピュータプログラムを記憶したコンピュータ読取可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の向上された被写界深度の合成２Ｄ画像を生成する装置、被写体の向上された被写界深度の合成２Ｄ画像を生成する方法、コンピュータプログラム要素及びコンピュータ読取可能な媒体に関する。
【背景技術】
【０００２】
撮像システムは、撮像されるべき特徴構造を中心とする被写界深度を伴う焦点を有するように配置されるもので、被写界深度により制限を受ける。しかしながら、これらも撮像されることが望まれる幾つかの特徴構造は、焦点面より当該撮像システムの近くにあり、焦点深度の外側にあり、焦点が外れることがあり得る。同様のことが、狭い焦点における特徴構造より遙か遠くにある特徴構造にも当てはまる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
被写体の、向上された被写界深度を持つ画像を生成するための改善された技術を有することが有益であろう。
【課題を解決するための手段】
【０００４】
本発明の目的は、独立請求項の主題により解決され、更なる実施態様は従属請求項に含まれる。以下に記載される本発明の態様は、被写体の向上された被写界深度の合成２Ｄ画像を生成するための装置、被写体の向上された被写界深度の合成２Ｄ画像を生成するための方法、並びにコンピュータプログラム要素及びコンピュータ読取可能な媒体に対しても当てはまることに注意すべきである。
【０００５】
第１態様によれば、被写体の向上された被写界深度を持つ合成２Ｄ画像を生成するための装置が提供され、該装置は、
−  画像取得ユニットと、
−  処理ユニットと、
を有する。
【０００６】
前記画像取得ユニットは、当該被写体の第１横方向位置における第１画像データ及び該被写体の第２横方向位置における第２画像データを取得するように構成される。該画像取得ユニットは、前記第１横方向位置における第３画像データ及び前記第２横方向位置における第４画像データを取得するようにも構成され、前記第３画像データは前記第１画像データに対するものとは異なるダウンレンジ距離（down range distance）において取得され、前記第４画像データは前記第２画像データに対するものとは異なるダウンレンジ距離において取得される。前記処理ユニットは、前記第１横方向位置に関する第１作業画像データ（first working image data）を生成するように構成され、該生成は、前記第１画像データ及び前記第３画像データを焦点合成アルゴリズム（focus stacking algorithm）により処理することを含む。前記処理ユニットは、前記第２横方向位置に関する第２作業画像データを生成するように構成され、該生成は、該第２横方向位置に関する第２作業画像データを生成するために前記焦点合成アルゴリズムにより前記第２画像データ及び前記第４画像データを処理することを含む。前記処理ユニットは、画像データの取得の間において前記第１作業画像データ及び前記第２作業画像データを組み合わせて当該被写体の向上された被写界深度を持つ合成２Ｄ画像を生成するように構成される。
【０００７】
ダウンレンジ距離とは、ダウンレンジ（射程）である距離、又は、言い換えると、当該装置若しくは該装置の特定の部分から或る距離にある距離を意味する。このように、異なるダウンレンジ距離にある被写体又は被写体の部分は、当該装置から異なる距離にある。即ち、或る被写体又は被写体の一部は、他の被写体又は当該被写体の他の部分から遠くにある。
【０００８】
焦点合成に関する説明は、https://en.wikipedia.org/wiki/Focus_stackingなるウェブページで見付けることができる。
【０００９】
このようにして、向上された被写界深度を持つ２Ｄ画像を“オンザフライで（その場で）”取得することができる。言い換えると、該向上された被写界深度の２Ｄ画像をストリーミングモードで取得することができる。全系列の完全な画像ファイルが、キャプチャ及び記憶され、全てが取得された後に後処理されることは必要とされず、むしろ、向上された画像は画像データが取得される際に生成される。
【００１０】
言い換えると、ダウンレンジ距離がｚ方向に延びるものとすると、ｘ及びｙ方向に延びる２Ｄ画像は、異なるｘ，ｙ位置においてピントの合った特徴構造（features）を有し得、これら特徴構造は特定のｘ、ｙ位置において当該画像取得ユニットの焦点深度より大きなダウンレンジ距離ｚの範囲にわたり焦点が合う。そして、この向上された被写界深度の２Ｄ画像はオンザフライで生成される。この特定の座標系において、ｚはダウンレンジ距離を示すために使用され、ｘ及びｙは該ダウンレンジ距離に対して垂直な座標に関するものである。このことは、当該装置が垂直に撮像することに限定されることを意味するものではなく、むしろ、ここでの“ｚ”は垂直、水平又は他の軸に当てはまり得る。言い換えると、“ｚ”は、当該装置の例の構成及び動作を説明する助けとなるように、ダウンレンジ距離を示すために使用されている。
【００１１】
このようにして、画像を、向上された被写界深度の画像を生成するに際して中間画像を記憶することを要せずにオンザフライで取得することができる。更に、向上された被写界深度の画像を、当該被写体を介して当該装置の検出器の投影を、例えば横方向若しくはダウンレンジ軸に平行な方向の何れかに又は斜め等の横方向と平行との間の方向に掃引する間に取得することができる。言い換えると、向上された被写界深度の画像を、単一工程で、且つ、大きな画像バッファの必要性無しで取得することができる。
【００１２】
一例において、前記画像取得ユニットは前記被写体の斜め断面の画像データを取得するように構成された検出器を有する。
【００１３】
このように、斜め断面の画像データを取得することにより、横方向スキャン（一例において、該横方向スキャンの方向は水平方向である）はダウンレンジ距離方向（例えば、垂直方向でもあり得るｚ方向）のデータも取得する。横方向スキャンは、第２断面が当該画像取得ユニットの光軸に対して垂直な方向において第１断面から水平に又は横方向に変位される場合にもたらされ得る。例えば、当該断面を横方向に変位させるために撮像レンズが横方向に移動され、及び／又は該断面を横方向に変位させるために被写体が当該画像取得ユニットの撮像及び取得部分に対して横方向に移動される。言い換えると、当該画像取得ユニットは被写体にわたって、異なるダウンレンジ距離及び同時に異なる横方向位置においてデータを取得するセンサによりスキャンする。一例において、当該装置は、例えば向上された被写界深度で蠅の画像を取得するための研究室環境内にあり得ると共に、上記蠅は該蠅を当該画像取得ユニットに対して横方向に移動させる移動ステージ上にある。一例において、当該装置は、それ自体が移動するシステム上に取り付けられる。例えば、当該装置は都市景観を撮影する無人飛行機（ＵＡＶ）上に取り付けられ、該ＵＡＶの移動は異なる横方向位置における画像が取得されることを可能にする。当該センサは斜め断面を取得するので、当該センサは、前の取得に対して同一の横方向位置におけるものであるが異なるダウンレンジ距離におけるデータを取得することができる。一例において、当該装置は、例えば半導体電子回路のための工業用画像検査システムの一部を形成することができる。他の例において、当該装置は三脚上で回転されるパノラマカメラの一部を形成し、或る角度（例えば、３６０°）にわたり旋回する。該パノラマカメラは、この場合、周囲の３６０°のビューを向上された被写界深度で生成する。何故なら、当該センサは斜め断面をデータが同一の横方向位置において異なるダウンレンジ距離で取得されるようにして取得し、各横方向位置において最良の画像を含む画像がオンザフライで生成されることを可能にするからである。このようにして、同一の横方向位置におけるものであるが異なるダウンレンジ距離における画像データを比較して、何の画像データが最良に焦点の合った特徴構造を含んでいるかを決定することができる（当該特徴構造は当該被写体における或るダウンレンジ距離におけるものであり、ここで、例えば該被写体は都市景観の３６０°ビューであり得る一方、特徴構造は該３６０°ビュー内にある教会の前のフレスコ壁画であり得る）。次いで、当該横方向位置における最良のピントの画像データを、出現する画像に向上された被写界深度を定着させるために使用することができる。一例において、当該センサが横方向にスキャンされる間に、該センサの異なる領域が活性化され、かくして、該センサの或る領域が前記第１画像データを取得し、該センサの別の領域が前記第３画像データを取得するようにする。従って、説明したように、“横方向に”とは数学的な直線又は軸を意味するものではなく、曲線であり得るか（前記３６０°パノラマ掃引におけるように）又は確かに直線であり得る。
【００１４】
一例において、前記検出器は少なくとも２つの活性領域を有する２Ｄ検出器である。一例において、各活性領域は時間遅延積分（ＴＤＩ）センサとして構成される。ＴＤＩ検出器を設けることにより、信号対雑音比を向上させることができる。
【００１５】
一例において、前記画像取得ユニットは前記第１画像データ及び前記第２画像データを取得するために前記被写体の第１断面の画像データを取得するように構成され、該画像取得ユニットは前記第３画像データ及び前記第４画像データを取得するために該被写体の第２断面の画像データを取得するよう構成される。
【００１６】
言い換えると、当該画像取得ユニットは当該被写体を介してダウンレンジ方向にスキャンし、又は該被写体を介して横方向にスキャンすることができる。このように、当該被写体の横方向部分が検出器の同一の部分により又は該検出器の異なる部分により撮像されるようにして、該被写体の異なるダウンレンジ距離における画像データを取得することにより、向上された被写界深度の２Ｄ画像を“オンザフライ”で取得することができる。
【００１７】
一例において、前記画像取得ユニットは前記被写体の前記第１横方向位置において且つ第１ダウンレンジ距離において前記第１画像データを取得すると同時に、該被写体の前記第２横方向位置において且つ第２ダウンレンジ距離において前記第２画像データを取得するように構成され、ここで、前記第１ダウンレンジ距離は前記第２ダウンレンジ距離とは相違し、前記画像取得ユニットは前記第１横方向位置において且つ第３ダウンレンジ距離において前記第３画像データを取得すると同時に、前記第２横方向位置において且つ第４ダウンレンジ距離において前記第４画像データを取得するように構成され、ここで、前記第３ダウンレンジ距離は前記第４ダウンレンジ距離とは相違する。
【００１８】
言い換えると、当該画像取得ユニットはデータを異なる横方向位置において及び異なるダウンレンジ距離において同時に取得しており、次いで、同一の横方向位置におけるものであるが異なるダウンレンジ距離におけるデータは比較されて、向上された被写界深度の２Ｄ画像の生成のための作業画像として使用されるべき当該横方向位置における特徴構造の最良の画像データ（即ち、最良にピントの合ったもの）を決定することができる。このようにして、横方向における当該被写体に対する当該検出器の単一スキャン内で、画像データがダウンレンジ距離方向においても取得され、これを、全ての画像データを記憶すると共に後処理することを要せずに、向上された被写界深度の２Ｄ画像を決定するために効率的に使用することができる。言い換えると、向上された被写界深度の２Ｄ画像のオンザフライでの生成が、効率的に進行し得る。
【００１９】
一例において、前記画像取得ユニットは、前記第１横方向位置において、及び、前記第２横方向位置において、ダウンレンジ距離における前記第１画像データが取得されるダウンレンジ距離と前記第２画像データが取得されるダウンレンジ距離との間の距離よりも何れも大きくはない焦点深度を有する。
【００２０】
このようにして、異なるダウンレンジ距離における画像データを当該画像取得ユニットの固有の焦点深度より大きな当該被写体のダウンレンジ距離に最適に跨がって効率的に取得することができる一方、特定の横方向位置における画像データを、当該画像取得ユニットの焦点深度より大きなダウンレンジ距離の範囲におけるものであるが、これらの横方向位置において焦点の合っている画像データを供給するように処理することができる。このように、異なるダウンレンジ距離における異なる特徴構造は全て当該向上された被写界深度を有する２Ｄ画像においてピントが合ったものとなり得、この向上された画像は、最良の画像データを決定するために取得される全ての画像データを記憶することを要せずに、オンザフライで取得することができる。
【００２１】
一例において、前記被写体は前記第１画像データ及び前記第２画像データを取得するために前記画像取得ユニットの光軸に対して第１位置にある一方、該被写体は前記第３画像データ及び前記第４画像データの取得のために該光軸に対して第２位置にある。
【００２２】
一例において、前記画像データは複数のカラーを有し、前記処理ユニットは画像データを前記焦点合成アルゴリズムにより該複数のカラーのうちの１以上を有する画像データに基づいて処理する。
【００２３】
第２態様においては、被写体の向上された被写界深度の合成２Ｄ画像を生成する方法が提供され、該方法は、
ａ）  画像取得ユニットにより前記被写体の第１横方向位置における第１画像データを取得し、前記画像取得ユニットにより該被写体の第２横方向位置における第２画像データを取得するステップと、
ｂ）  前記画像取得ユニットにより前記第１横方向位置における第３画像データを取得し、前記画像取得ユニットにより前記第２横方向位置における第４画像データを取得するステップであって、前記第３画像データは前記第１画像データに対するものとは異なるダウンレンジ距離において取得され、前記第４画像データは前記第２画像データに対するものとは異なるダウンレンジ距離において取得されるステップと、
ｅ）  前記第１横方向位置に関する第１作業画像データを生成するステップであって、該生成するステップが前記第１画像データ及び前記第３画像データを焦点合成アルゴリズムにより処理するステップを有するステップと、
ｆ）  前記第２横方向位置に関する第２作業画像データを生成するステップであって、該生成するステップが前記第２画像データ及び前記第４画像データを前記焦点合成アルゴリズムにより処理するステップを有するステップと、
ｌ）  画像データの取得の間において前記第１作業画像データ及び前記第２作業画像データを組み合わせて、前記被写体の向上された被写界深度の合成２Ｄ画像を生成するステップと、
を有する。
【００２４】
一例において、前記ステップａ）は、前記被写体の前記第１横方向位置において且つ第１ダウンレンジ距離において前記第１画像データを取得すると同時に該被写体の前記第２横方向位置において且つ第２ダウンレンジ距離において前記第２画像データを取得するステップを有し、ここで、前記第１ダウンレンジ距離は前記第２ダウンレンジ距離とは相違し；前記ステップｂ）は、前記第１横方向位置において且つ第３ダウンレンジ距離において前記第３画像データを取得すると同時に前記第２横方向位置において且つ第４ダウンレンジ距離において前記第４画像データを取得するステップを有し、ここで、前記第３ダウンレンジ距離は前記第４ダウンレンジ距離とは相違する。
【００２５】
一例において、当該方法は、
ｃ）  前記第１画像データに関する第１エネルギデータを計算すると共に前記第３画像データに関する第３エネルギデータを計算するステップと、
ｄ）  前記第２画像データに関する第２エネルギデータを計算すると共に前記第４画像データに関する第４エネルギデータを計算するステップと、
を有し、
前記ステップｅ）は、前記第１画像データ又は前記第３画像データの何れかを前記第１作業画像として選択するステップを有し、該選択するステップは前記第１エネルギデータ及び前記第３エネルギデータの関数を含み、
前記ステップｆ）は、前記第２画像データ又は前記第４画像データの何れかを前記第２作業画像として選択するステップを有し、該選択するステップは前記第２エネルギデータ及び前記第４エネルギデータの関数を含み、
画像データにおける周波数情報がエネルギデータを表す。
【００２６】
このようにして、向上された画像を、特定の位置において該位置における最良にピントの合った特徴構造を有するようにして効率的に生成することができる。言い換えると、ダウンレンジ距離とは無関係に当該画像にわたって、最良に焦点の合った特徴構造が、画像データに関するエネルギデータの関数として選択され、これをストリーミングモードにおいてオンザフライで実行することができる。
【００２７】
一例において、当該方法は、
ｇ）  前記第１画像データが前記第１作業画像として選択される場合に第１作業エネルギデータを前記第１エネルギデータとして生成するか、又は前記第３画像データが前記第１作業画像として選択される場合に前記第１作業エネルギデータを前記第３エネルギデータとして生成するステップと、
ｈ）  前記第２画像データが前記第２作業画像として選択される場合に第２作業エネルギデータを前記第２エネルギデータとして生成するか、又は前記第４画像データが前記第２作業画像として選択される場合に前記第２作業エネルギデータを前記第４エネルギデータとして生成するステップと、
を有する。
【００２８】
このようにして、当該検出器により既に掃引（又はスキャン）された領域の背後に位置する、向上された被写界深度を持つ既に生成された２Ｄ画像しか記憶されることを要さず（前記作業画像）、更新され得る該２Ｄの向上された画像のピクセルに関連する作業エネルギデータファイルも記憶されることを要するのみである。従って、データの記憶は最小限のものとされ、向上された被写界深度の２Ｄ画像は、向上された画像を更新するための現在取得されたエネルギデータの記憶されたエネルギデータとの比較に基づいて更に更新することができる。
【００２９】
一例において、当該方法は、
ｉ）  前記第１横方向位置において第５画像データを取得すると共に前記第２横方向位置において第６画像データを取得するステップであって、前記第５画像データは前記第１及び第３画像データに対するものとは異なるダウンレンジ距離において取得され、前記第６画像データは前記第２及び第４画像データに対するものとは異なるダウンレンジ距離において取得されるステップと、
ｊ）  前記第１横方向位置に関して新たな第１作業画像データを生成するステップであって、前記第５画像データ及び前記第１作業画像データを前記焦点合成アルゴリズムにより処理するステップを有し、この場合において、前記新たな第１作業画像データが該第１作業画像データとなるステップと、
ｋ）  前記第２横方向位置に関して新たな第２作業画像データを生成するステップであって、前記第６画像データ及び前記第２作業画像データを前記焦点合成アルゴリズムにより処理するステップを有し、この場合において、前記新たな第２作業画像データが該第２作業画像データとなるステップと、
を更に有する。
【００３０】
言い換えると、或る横方向位置に関する作業画像データを、当該横方向位置において取得される新たな画像データに基づいて更新して、全ての以前の画像データを記憶することを要せずに当該横方向位置における最良の画像を形成することができ、このことは、当該データが取得される間に実現することができる。当該検出器の投影（断面）が特定の横方向位置を過ぎて完全に掃引されたなら、該横方向位置において取得された最良の画像データから当該画像データが形成され、これは、個々の画像データが記憶されることを要さずにオンザフライで決定されるものであり、当該横方向位置に対して作業画像データが記憶されることが必要とされるのみである。
【００３１】
他の態様によれば、前述した装置を制御するためのコンピュータプログラムであって、処理ユニットにより実行された場合に前述した方法ステップを実行するように構成されたコンピュータプログラム要素が提供される。
【００３２】
他の態様によれば、上述したコンピュータプログラム要素を記憶したコンピュータ読取可能な媒体が提供される。
【００３３】
有利には、上述した態様及び例の何れかによりもたらされる利点は他の態様及び例にも等しく当てはまり、その逆でもある。
【００３４】
上述した態様及び例は、後述する実施態様から明らかとなり、斯かる実施態様を参照して解説される。
【図面の簡単な説明】
【００３５】
【図１】図１は、被写体の向上された被写界深度を持つ合成２Ｄ画像を生成する装置の一例の概略構成を示す。
【図２】図２は、被写体の向上された被写界深度を持つ合成２Ｄ画像を生成する方法を示す。
【図３】図３は、被写体における焦点変化の例示的画像を示す。
【図４】図４は、被写体における焦点変化の例示的画像を示す。
【図５】図５は、２以上の画像が単一の画像に合成される焦点合成の一例を概略的に示す。
【図６】図６は、撮像システムを概略的に示す。
【図７】図７は、向上された被写界深度を持つ２Ｄ合成画像を生成する際に使用される画像取得ユニットの一例を概略的に示す。
【図８】図８は、被写体の断面を概略的に示すもので、２Ｄ検出器アレイの投影が２つのダウンレンジ位置に示されている。
【図９】図９は、被写体の断面を概略的に示すもので、２Ｄ検出器アレイの投影が２つの水平方向（横方向）位置に示されている。
【図１０】図１０は、２Ｄ検出器アレイの投影を被写体内に概略的に示す。
【図１１】図１１は、被写体の断面を概略的に示すもので、２Ｄ検出器アレイの投影が示されている。
【図１２】図１２は、例示的な２Ｄ検出器アレイを概略的に示す。
【図１３】図１３は、オーバーサンプリングの一例を概略的に示す。
【図１４】図１４は、複数の撮像された領域又は層を概略的に示す。
【図１５】図１５は、焦点合成のための例示的ワークフローを示す。
【発明を実施するための形態】
【００３６】
以下、図面を参照して例示的実施態様を説明する。
【００３７】
図１は、被写体の向上された被写界深度を持つ合成２Ｄ画像を生成するための装置１０を示す。装置１０は、画像取得ユニット２０及び処理ユニット３０を有する。画像取得ユニット２０は、当該被写体の第１の横方向位置における第１画像データ及び該被写体の第２の横方向位置における第２画像データを取得するように構成される。画像取得ユニット２０は、更に、前記第１横方向位置における第３画像データ及び前記第２横方向位置における第４画像データを取得するようにも構成される。第３画像データは第１画像データに対するものとは異なるダウンレンジ（射程：down range）距離において取得され、第４画像データは第２画像データに対するものとは異なるダウンレンジ距離において取得される。処理ユニット３０は、第１横方向位置に関する第１作業画像データを生成するように構成され、該生成は第１画像データ及び第３画像データを焦点合成（フォーカススタッキング）アルゴリズムにより処理するステップを有する。処理ユニット３０は、更に、第２横方向位置に関する第２作業画像データを生成するように構成され、該生成は第２画像データ及び第４画像データを前記焦点合成アルゴリズムにより処理して第２横方向位置に関する第２作業画像データを生成するステップを有する。該処理ユニット３０は、画像取得の間において上記第１作業画像データ及び第２作業画像データを組み合わせて、当該被写体の向上された被写界深度を持つ合成２Ｄ画像を生成するように構成される。
【００３８】
一例において、前記画像取得ユニットはカメラである。一例において、当該装置はカメラである。言い換えると、カメラは向上された被写界深度の画像を生成する自己内蔵型のユニットであり得る。また、カメラは外部処理ユニットに受け渡される画像を取得することができ、該処理ユニットが向上された被写界深度の画像を生成する。
【００３９】
ここで、前記“ダウンレンジ”方向は、前記画像取得ユニットの光軸と平行である。言い換えると、該ダウンレンジ方向は当該画像取得ユニットが撮像している方向におけるものである。これを別の方法で言い換えると、被写体が該画像取得ユニットから直に、該被写体の中心が該画像取得ユニットの視野内で横方向に移動しないようにして距離Ｈだけ離れるように移動される場合、該被写体はダウンレンジを距離Ｈだけ移動したことになる。この場合、上記横方向は当該ダウンレンジ方向に対して垂直である。
【００４０】
“ダウンレンジ距離”が特定の距離尺度を意味するものではないことが注記されるべきである。例えば、当該装置は蟻又は蠅の向上された被写界深度の合成画像を生成するために使用することができ、その場合、ダウンレンジ距離及び／又はダウンレンジ距離の差は、ミリメートルの分数、ミリメートル又はセンチメートルの程度のものであり得る。また、当該装置は花の向上された被写界深度の合成画像又は居間の画像を生成するために使用することができ、その場合、ダウンレンジ距離及び／又はダウンレンジ距離の差は、マイクロメートル、ミリメートル、センチメートル及びメートルの程度のものであり得る。また、当該装置は都市景観又は田園景色の向上された被写界深度の合成画像を生成するために使用することができる。例えば、当該装置は飛行機又は無人飛行機に取り付けることができ、該装置は下方を向いて市街の向上された被写界深度の合成画像を生成し、その場合、高層ビルの屋上及び地表面の物体に焦点が合う。このような例において、ダウンレンジ距離及びダウンレンジ距離の差は、センチメートル、メートル及び数十〜数百メートルの程度となり得る。一例において、当該装置は潜水型遠隔操作ロボットに取り付けることができ、その場合、例えば海底の画像が撮影される。他の例において、当該装置は例えば地球外の月を軌道周回する衛星に取り付けることができ、傍を飛行する際に表面を撮影する。このような例において、ダウンレンジ距離及び／又はダウンレンジ距離の差は、センチメートル、メートル、数百メートル〜キロメートルの程度となり得る。一例において、ダウンレンジ距離は前記画像取得ユニットの光軸に対し実質的に平行な方向におけるものである。
【００４１】
一例において、前記画像取得ユニットは、前記第１横方向位置において、前記第１画像データが取得されるダウンレンジ距離と前記第３画像データが取得されるダウンレンジ距離との間の範囲内の距離以下の焦点深度を有する。
【００４２】
一例において、前記第１横方向位置から第２横方向位置への移動は、当該装置のスキャン方向と実質的に平行である。ここで、スキャン方向とは、当該装置の移動、被写体の移動及び／又は当該装置の部分の移動による、該装置の被検体に対する移動を意味し得る。言い換えると、当該検出器の投影は、例えばｘ、ｙ及びｚ方向にも移動可能な移動（平行移動）ステージによる被写体（例えば、移動ステージ上の蟻又は蠅であり得る）の横方向移動により横方向に掃引することができる。または、当該移動は当該装置の移動によるものであり得る。例えば、当該装置は該装置が飛行方向に対して垂直な方向で撮影する（例えば、ダウンレンジ方向は垂直に下方に向かうものであり得る）ＵＡＶ上のものであり得、当該検出器の投影は該ＵＡＶの前進運動により掃引され得る。または、当該移動は、もし必要ならば当該検出器の適切な移動と一緒の当該画像取得ユニット内のレンズ若しくは複数のレンズの移動によるものであり得、かくして、該検出器の投影は斯かるレンズ／検出器が移動されるにつれて被写体を介して横方向に掃引される。
【００４３】
一例において、当該画像取得ユニットは、当該被写体の前記ダウンレンジ方向に対して実質的に垂直な（即ち、該画像取得ユニットの光軸に対して垂直な）断面の画像データを取得するよう構成された検出器４０を有する。
【００４４】
一例によれば、当該画像取得ユニットは当該被写体の斜め断面の画像データを取得するように構成された検出器４０を有する。
【００４５】
一例において、当該センサの領域は、例えば顕微鏡システムに関するものであるが本装置に対する適用可能性を持つ国際特許出願公開第WO2011/161594号に記載されたオートフォーカスセンサから導出される情報を用いて活性化される。言い換えると、特徴構造（フィーチャ）はダウンレンジ距離内において、該特徴構造が当該被写体内のダウンレンジ距離において変化するにつれて該特徴構造を適切に良好な合焦（ピント）度合いで取得して向上された被写界深度の画像の一部を形成するために該センサの適切な領域が活性化されることを可能にすることにより、追跡することができる。
【００４６】
一例において、第２断面は第１断面からダウンレンジ方向（例えば、垂直又はｚ方向）及び横方向（例えば、水平、ｘ又はｙ方向）の両方に変位される。一例においては、撮像レンズが当該断面を変位させるためにダウンレンジ方向（例えば、垂直方向）に移動されると共に横方向に移動される。一例においては、当該断面を変位させるために被写体が前記画像取得ユニットの撮像及び取得部に対してダウンレンジ方向（例えば、垂直方向）に移動されると共に横方向に移動される。一例においては、当該断面を移動させるために、撮像レンズがダウンレンジ方向（例えば、垂直方向）に移動されると共に被写体が当該画像取得ユニットの撮像及び取得部に対して横方向に移動される。一例においては、当該断面を移動させるために、撮像レンズが横方向に移動されると共に被写体が当該画像取得ユニットの撮像及び取得部に対してダウンレンジ方向（例えば、垂直方向）に移動される。一例において、向上された焦点深度の画像を取得する前に、特徴構造又は複数の特徴構造の位置をダウンレンジ距離の関数として推定するために被写体が該被写体に跨がる異なる横方向（ｘ，ｙ）位置において撮像される。この場合、被写体が向上された焦点深度の画像を生成するためにスキャンされる際に、撮像レンズを異なる横方向位置においてダウンレンジ方向に（例えば、垂直に）移動させることができ、及び／又は被検体をダウンレンジ方向に（例えば、垂直方向に）、特徴構造が被写体内でダウンレンジ距離を変化させる際に該特徴構造を追跡して該特徴構造を適切に良好な合焦度合いで取得し、これにより、該特徴構造のダウンレンジ距離が当該被写体内で変化する際に向上された被写界深度の画像の一部を形成するように、移動させることができる。
【００４７】
一例においては、前記斜め断面を提供するために前記検出器が傾斜される。一例において、前記検出器は当該顕微鏡スキャナの光軸に対して傾斜される。言い換えると、通常の“非傾斜”顕微鏡構成において、被写体からの放射は、該放射が当該検出器と検出器面に対して実質的に垂直な方向で作用し合うように該検出器上に結像される。しかしながら、斜め断面を提供するように傾斜された検出器によれば、当該放射は該検出器と検出器面に対して垂直でない方向で作用し合う。
【００４８】
一例において、上記斜め断面は、例えばプリズムの使用により光学的に得られる。
【００４９】
一例において、前記第１画像データ及び第３画像データは当該検出器の異なる部分により取得され、前記第２画像データ及び第４画像データは該検出器の異なる部分により取得される。
【００５０】
一例によれば、検出器４０は少なくとも２つの活性領域を有する２Ｄ検出器である。
【００５１】
一例において、上記活性領域の各々は時間遅延積分（ＴＤＩ）センサとして構成される。
【００５２】
一例において、当該検出器は例えばデジタルカメラにおいて典型的に使用されるような２Ｄ ＣＣＤ検出器である。言い換えると、当該装置は、異なる態様で使用されるが、標準的検出器を使用することができ、このことは、該検出器が向上された被写界深度の画像をその場で（オンザフライで）得るために当該被写体の斜め断面の画像データを取得するように構成されることを含み得る。
【００５３】
一例において、当該検出器は少なくとも４つの活性領域を有する。言い換えると、被写体における該検出器の投影が横方向に移動される際に、該投影はダウンレンジ方向にも（例えば、垂直方向にも）移動することができ、その場合、２つの活性領域は前記第１、第２、第３及び第４画像データを取得することができる。しかしながら、当該検出器の投影が横方向に移動される際に該投影は同じダウンレンジ位置（例えば、垂直位置）に留まることもでき、その場合、４つの活性領域は第１、第２、第３及び第４画像データを取得することができる。
【００５４】
ＴＤＩ検出器を設けることにより、信号対雑音比を増加させることができる。
【００５５】
一例において、当該検出器は少なくとも２つのライン画像を提供するように構成され、その場合、前記第１画像データは斯かるライン画像のうちの第１のものの部分組から形成され、第２画像データは斯かるライン画像のうちの第２のものの部分組から形成される。
【００５６】
一例において、活性領域は当該被写体内の実質的に同一のダウンレンジ距離における一列の画像データを取得するように構成される。
【００５７】
言い換えると、２Ｄ検出器は当該被写体の断面を取得するもので、或る範囲のｘ、ｙ座標にわたり画像を取得する。複数のｘ座標において、該検出器はｙ方向に延びる複数のラインセンサを有する。該検出器が斜め断面を取得している場合も、これらラインセンサの各々は異なるｚ座標（ダウンレンジ距離）においてデータを取得し、当該断面が１つの軸の周りでのみ傾斜されている場合、各ライン画像は同一のダウンレンジ距離において画像データを取得することができる。ラインセンサの長さに沿う画像が利用された場合、結果として滲んだ画像となり、従ってライン画像の或る区間が利用される。しかしながら、一例において、ラインセンサに沿う画像データは合計され、次いで帯域フィルタによりフィルタ処理される（詳細については、米国特許第4141032号を参照されたい）。
【００５８】
一例においては、ライン区間に沿う全ての区間が利用される。このようにして、各ｘ，ｙ位置において、特定のｚ位置（ダウンレンジ距離）において最良にピントの合った画像データを、ストリーム化される２Ｄ増強画像に、生成されている向上された焦点深度を移植するために選択することができる。
【００５９】
一例において、当該検出器は、各々が当該被写体内の異なるダウンレンジ距離における画像データを取得するように構成された３以上の活性領域を有し、その場合において、或る活性領域が当該被写体の一部を撮像するダウンレンジ距離は隣接する活性領域が該被写体の一部を撮像するダウンレンジ距離とは相違し、このダウンレンジ距離の差は少なくとも当該画像取得ユニットの焦点深度に等しい。言い換えると、当該検出器が横方向にスキャンされる際に、斯かる活性領域の各々は、特徴構造に焦点が合うであろう“層”を掃引する。というのは、この層は当該画像取得ユニットの焦点深度に等しいダウンレンジ距離又は厚さの範囲を有し、当該活性領域は該層のデータを取得するからである。例えば、当該被写体にわたって８枚の層を掃引することができ、この場合、該８枚の層はダウンレンジ距離において少なくとも当該検出器の焦点深度の８倍に等しい距離だけ延在する。言い換えると、当該検出器がダウンレンジ方向においては（例えば、垂直には）スキャンしない簡単なケースに関して該検出器が横方向にスキャンを開始する際、特定の横方向（例えば、ｘ）位置において最初に、異なるが隣接するダウンレンジ距離において活性領域１及び２により取得された２つの画像（該検出器の断面は画像取得の間に横方向に移動されている）は、作業画像を形成する１又は２からの最良の画像と比較される。思い返すと、活性領域１及び２により撮像されているダウンレンジ距離は、少なくとも当該画像取得ユニットの固有の焦点深度に等しい距離により隔てられており、従って１つの画像における同一の横方向位置において同時に焦点が合うことはできない。当該検出器の断面は横方向に移動し、ここで、活性領域３により位置ｘにおいて且つ画像２に関するものとは隣接するが異なるダウンレンジ距離において取得された画像は前記作業画像と比較され、該作業画像は、そのままに留まるか又は画像３が該作業画像より良好に焦点が合っている場合は画像３となる（このように、作業画像は今や画像１、２及び３の何れかとなり得る）。当該検出器の断面は再び横方向に移動し、活性領域４により、位置ｘにおいてであるが、ここでも、異なる隣接したダウンレンジ距離において取得された画像が、当該作業画像と比較される。このように、８番目の活性領域により取得された画像が当該作業画像と比較され、該作業画像が該８番目の画像になるか又は該作業画像のままとなった後、位置ｘにおいては、画像１〜８のうちの最良に焦点が合ったものが、今や焦点の合った作業画像を形成する。上記において、活性領域は当該画像取得ユニットの焦点深度より大きく隔てられることができ、及び／又は８より多くの活性領域が存在し得る。このようにして、特徴構造を当該検出器の１つのスキャンにおいて撮像することができ、その場合において、当該被写体における該特徴構造のダウンレンジ距離は当該画像取得ユニットの固有の焦点深度より大きく変化し（即ち、１つの横方向位置における１つの時点において）、向上された被写界深度の２Ｄ画像が、作業画像のみを記憶すると共に該作業画像を目下取得されている画像と比較して、増強された画像がオンザフライで（実行しながら）取得されるようにすることにより、“層”画像の各々を保存することを要せずにもたらされる。一例において、当該装置はオートフォーカスシステムを有し、これによれば、当該断面（被写体における検出器の投影）はダウンレンジ（ｚ）方向に（例えば、垂直に）及び横方向に（例えば、水平に）移動し、例えば、それ自体がｚ方向に変化する被写体を追跡するようにする。例えば、当該装置は都市上を飛行する飛行機又はＵＡＶ内にあり、道路レベルの及び高層ビルの上部の特徴構造の両方に焦点が合った画像を生成するが、該ＵＡＶは一定の海抜高度で飛行する一方、該都市は非常に丘陵的である。
【００６０】
一例において、当該画像取得ユニットは、当該断面が横方向に（例えば、スキャン方向に）傾斜されるようにして斜め断面が形成されるように構成される。言い換えると、検出器が１つの断面を形成する場合に該検出器の各ラインセンサは異なるｘ位置及び異なるダウンレンジ距離ｚにあるが、ｙ座標の実質的に同一の範囲にわたって延在する。これを別の言い方にすると、各ラインセンサは当該スキャンの横方向に対して実質的に垂直であり、このようにして、当該被写体に対する該検出器の各スキャンにおいて最大のボリュームを掃引することができる。
【００６１】
一例によれば、当該画像取得ユニットは前記第１画像データ及び第２画像データを取得するために当該被写体の第１断面の画像データを取得するよう構成される。該画像取得ユニットは、更に、前記第３画像データ及び第４画像データを取得するために該被写体の第２断面の画像データを取得するようにも構成される。
【００６２】
一例において、上記第２断面は、当該画像取得ユニットの光軸に対して平行な方向において上記第１断面からダウンレンジ方向に（例えば、垂直に）変位される。一例においては、当該断面をダウンレンジ方向に（例えば、垂直に）変位させるために撮像レンズがダウンレンジ方向（例えば、垂直方向）に移動される。一例においては、当該断面をダウンレンジ方向に（例えば、垂直に）変位させるために、被写体が当該画像取得ユニットの撮像及び取得部に対してダウンレンジ方向（例えば、垂直方向）に移動される。例えば、当該装置は、自動車の前部に取り付けられ、前方を撮影するカメラシステムの一部であり得る。該カメラシステムは、例えば運転者に対して最新の態様でヘッドアップディスプレイ上に提示される向上された画像における被写界深度より大幅に小さい固有の被写界深度を有するであろう。更に、このような向上された画像は、例えば運転者に警報が供給されることを可能にするために画像処理を用いる自動車内の処理ユニットに供給することもできる。
【００６３】
一例において、前記第２断面は当該画像取得ユニットの光軸に対して垂直な方向において前記第１断面から水平に又は垂直に変位される。一例においては、当該断面を横方向に変位させるために撮像レンズが横方向に移動される。一例においては、当該断面を横方向に変位させるために被写体が該画像取得ユニットの撮像及び取得部に対して横方向に移動される。
【００６４】
一例によれば、当該画像取得ユニットは、当該被写体の第１横方向位置において且つ第１ダウンレンジ距離において第１画像データを取得すると同時に、該被写体の第２横方向位置において且つ第２ダウンレンジ距離において第２画像データを取得するように構成される。第１ダウンレンジ距離は第２ダウンレンジ距離とは相違する。また、該画像取得ユニットは、第１横方向位置において且つ第３ダウンレンジ距離において第３画像データを取得すると同時に、第２横方向位置において且つ第４ダウンレンジ距離において第４画像データを取得するようにも構成される。第３ダウンレンジ距離は第４ダウンレンジ距離とは相違する。
【００６５】
一例によれば、当該画像取得ユニットは、第１横方向位置及び第２横方向位置において、ダウンレンジ距離における第１画像データが取得されるダウンレンジ距離と第２画像データが取得されるダウンレンジ距離との間の距離よりも何れも大きくはない焦点深度を有する。
【００６６】
一例によれば、当該被写体は前記第１画像データ及び第２画像データを取得するために当該画像取得ユニットの光軸に対して第１位置にある一方、該被写体は第３画像データ及び第４画像データの取得のために該光軸に対して第２位置にある。
【００６７】
一例において、当該被写体は上記光軸に関して（一例においては、対して）横方向に移動されるように構成され、その場合において、該被写体は第１及び第２画像データの取得のために第１位置にある一方、該被写体は第３及び第４画像データの取得のために第２位置にある。
【００６８】
一例によれば、当該画像データは複数のカラーを有し、前記処理ユニットは前記焦点合成アルゴリズムにより該複数のカラーのうちの１以上を有する画像データに基づいて画像データを処理するように構成される。
【００６９】
一例において、上記複数のカラーは赤、緑及び青であり得る。一例において、前記処理ユニットは特定のカラーに対応する画像データを処理するように構成される。例えば、撮像されている被写体は特徴的カラーを有し得、当該画像を特定のカラー又は複数のカラーに関して処理することは、当業者により理解されるように、例えばコントラストを改善する等の撮像上の利点を提供することができる。このようにして、固有の特徴構造を向上された被写界深度で取得することができる。他の例において、例えばRGB2Y処理を用いて異なるカラーチャンネルを結合することができる。このようにして、信号対雑音比を向上させることができる。また、カラー分離ステップを適用することにより、異なる最大に最適化された２Ｄ平滑化カーネルを利用することができる。
【００７０】
一例において、前記第１作業画像データは第１画像データ又は第３画像データの何れかであり、前記第２作業画像データは第２画像データ又は第４画像データの何れかである。
【００７１】
言い換えると、特定の特徴構造の最良合焦位置が取得され、これが、生成されているストリーム化された向上された画像に移植するために用いられる。
【００７２】
一例において、前記処理ユニットは第１画像データに関する第１エネルギデータを計算すると共に第３画像データに関する第３エネルギデータを計算するよう構成され、前記第１作業画像を生成するステップは第１画像データ又は第３画像データの何れかを上記第１エネルギデータ及び第３エネルギデータの関数として選択するステップを有し、前記処理ユニットは第２画像データに関する第２エネルギデータを計算すると共に第４画像データに関する第４エネルギデータを計算するよう構成され、前記第２作業画像を生成するステップは第２画像データ又は第４画像データの何れかを上記第２エネルギデータ及び第４エネルギデータの関数として選択するステップを有する。
【００７３】
一例においては、上記エネルギデータを計算するためにハイパスフィルタが使用される。一例において、該ハイパスフィルタはラプラシアンフィルタである。このようにして、各横方向位置において、特定のダウンレンジ距離において最良にピントの合った特徴構造を選択し、向上された被写界深度の２Ｄ画像に用いることができる。
【００７４】
一例においては、フィルタ処理の後に、平滑化処理が適用される。このようにして、ノイズを低減することができる。
【００７５】
一例においては、ラプラシアンフィルタを適用するというより、取得されたデータはウェーブレットドメインに変換され、該ドメインにおいて高周波サブバンドをエネルギの表現として使用することができる。これは、iSyntax圧縮（例えば、米国特許第6711297号又は米国特許第6553141号参照）と組み合わせることができる。
【００７６】
一例においては、第１画像データ又は第３画像データを選択するというより、第１画像データ及び第３画像データが、該第１画像データ及び第３画像データのエネルギの分布に基づく特定の加重を用いて合成される。
【００７７】
一例において、前記処理ユニットは、第１画像データが第１作業画像として選択される場合に第１作業エネルギデータを第１エネルギデータとして生成するか、又は第３画像データが第１作業画像として選択される場合に第１作業エネルギデータを第３エネルギデータとして生成するよう構成される一方、該処理ユニットは、第２画像データが第２作業画像として選択される場合に第２作業エネルギデータを第２エネルギデータとして生成するか、又は第４画像データが第２作業画像として選択される場合に第２作業エネルギデータを第４エネルギデータとして生成するよう構成される。
【００７８】
一例において、前記画像取得ユニットは第１横方向における第５画像データ及び第２横方向位置における第６画像データを取得するように構成され、その場合において、第５画像データは第１及び第３画像データに対するものとは異なるダウンレンジ距離において取得される一方、第６画像データは第２及び第４画像データに対するものとは異なるダウンレンジ距離において取得され、前記処理ユニットは第１横方向位置に関する新たな第１作業画像データを生成するように構成され、該生成は第５画像データ及び第１作業画像データを前記焦点合成アルゴリズムにより処理することを含み、その場合において上記新たな第１作業画像データが第１作業画像データとなり、当該処理ユニットは第２横方向位置に関する新たな第２作業画像データを生成するように構成され、該生成は第６画像データ及び第２作業画像データを前記焦点合成アルゴリズムにより処理することを含み、その場合において上記新たな第２作業画像データが第２作業画像データとなる。
【００７９】
一例において、前記処理ユニットは第５画像データに関する第５エネルギデータを計算すると共に第６画像データに関する第６エネルギデータを計算するように構成され、その場合において、該処理ユニットは第１作業画像が第５作業画像として選択される場合に新たな第１作業エネルギデータを第５エネルギデータとして生成するか、又は第１作業画像が既存の第１作業画像として選択される場合に新たな第１作業エネルギデータを既存の第１作業エネルギデータとして生成するよう構成され、該処理ユニットは第２作業画像が第６作業画像として選択される場合に新たな第２作業エネルギデータを第６エネルギデータとして生成するか、又は第２作業画像が既存の第２作業画像として選択される場合に新たな第２作業エネルギデータを既存の第２作業エネルギデータとして生成するよう構成される。
【００８０】
一例において、特定の横方向位置における（即ち、ｘ座標における）エネルギの合計の量が決定される。このようにして、当該被写体の奥行き範囲を決定することができる。何故なら、これは各画像におけるエネルギに関係する（例えば、各層におけるエネルギに関係する）ものであるからである。
【００８１】
図２は、被写体の向上された被写界深度の合成２Ｄ画像を生成する方法１００を基本的ステップで示す。該方法は、以下のものを有する。
【００８２】
取得ステップ１１０（ステップａ）とも称する）において、画像取得ユニット２０が使用されて、当該被写体の第１横方向位置における第１画像データを取得すると共に該被写体の第２横方向位置における第２画像データを取得する。
【００８３】
取得ステップ１２０（ステップｂ）とも称される）において、画像取得ユニット２０が使用されて、第１横方向位置における第３画像データを取得すると共に第２横方向位置における第４画像データを取得し、その場合において、第３画像データは第１画像データに対するものとは異なるダウンレンジ距離において取得され、第４画像データは第２画像データに対するものとは異なるダウンレンジ距離において取得される。
【００８４】
生成ステップ１３０（ステップｅ）とも称する）において、第１横方向位置に関して第１作業画像データが生成され、該生成ステップは第１画像データ及び第３画像データを焦点合成アルゴリズムにより処理するステップを有する。
【００８５】
生成ステップ１４０（ステップｆ）とも称する）において、第２横方向位置に関して第２作業画像データが生成され、該生成ステップは第２画像データ及び第４画像データを上記焦点合成アルゴリズムにより処理するステップを有する。
【００８６】
組み合わせステップ１５０（ステップｌ）とも称する）において、画像データの取得の間において第１作業画像データ及び第２作業画像データが組み合わされて、当該被写体の向上された被写界深度の合成２Ｄ画像を生成する。
【００８７】
一例において、前記画像取得ユニットは前記第１画像データ及び第２画像データを取得するために当該被写体の第１断面の画像データを取得するよう構成され、該画像取得ユニットは前記第３画像データ及び第４画像データを取得するために該被写体の第２断面の画像データを取得するように構成される。
【００８８】
一例において、当該画像取得ユニットは被写体の斜め断面の画像データを取得するように構成された検出器を有する。
【００８９】
一例において、該検出器は少なくとも２つの活性領域を有する２Ｄ検出器である。一例において、各々は時間遅延積分（ＴＤＩ）センサとして構成される。
【００９０】
一例によれば、ステップａ）は、当該被写体の第１横方向位置において且つ第１ダウンレンジ距離において第１画像データを取得すると同時に、該被写体の第２横方向位置において且つ第２ダウンレンジ距離において第２画像データを取得するステップを有し、第１ダウンレンジ距離は第２ダウンレンジ距離とは相違する一方、ステップｂ）は、第１横方向位置において且つ第３ダウンレンジ距離において第３画像データを取得すると同時に、第２横方向位置において且つ第４ダウンレンジ距離において第４画像データを取得するステップを有し、第３ダウンレンジ距離は第４ダウンレンジ距離とは相違する。
【００９１】
一例において、当該被写体は前記第１画像データ及び第２画像データを取得するために当該画像取得ユニットの光軸に対して第１位置にある一方、該被写体は第３画像データ及び第４画像データの取得のために該光軸に対して第２位置にある。
【００９２】
一例において、当該被写体は上記光軸に対して横方向に移動されるように構成され、その場合において、該被写体は第１及び第２画像データの取得のために第１位置にある一方、該被写体は第３及び第４画像データの取得のために第２位置にある。
【００９３】
一例において、当該画像データは複数のカラーを有し、前記処理ユニットは前記焦点合成アルゴリズムにより該複数のカラーのうちの１以上を有する画像データに基づいて画像データを処理するように構成される。
【００９４】
一例において、前記第１作業画像データは第１画像データ又は第３画像データの何れかであり、前記第２作業画像データは第２画像データ又は第４画像データの何れかである。
【００９５】
一例によれば、当該方法は以下のステップを有する。
【００９６】
計算ステップ１６０（ステップｃ）とも称する）において、前記第１画像データに関する第１エネルギデータが計算されると共に前記第３画像データに関する第３エネルギデータが計算される。
【００９７】
計算ステップ１７０（ステップｄ）とも称する）において、前記第２画像データに関する第２エネルギデータが計算されると共に前記第４画像データに関する第４エネルギデータが計算され、その場合において、
前記ステップｅ）は第１画像データ又は第３画像データの何れかを第１作業画像として選択するステップを有し、該選択するステップは上記第１エネルギデータ及び第３エネルギデータの関数を有し、前記ステップｆ）は第２画像データ又は第４画像データの何れかを第２作業画像として選択するステップを有し、該選択するステップは上記第２エネルギデータ及び第４エネルギデータの関数を有する。思い返すと、この選択はピクセルの完全なラインに対するというより局部的（ピクセル又は数ピクセルの）レベルにおける（言い換えると、ピクセルのラインの部分に関するレベルにおける）ものであり得る。
【００９８】
一例によれば、当該方法は以下のステップを有する。
【００９９】
生成ステップ（ステップｇ）とも称する）において、第１画像データが第１作業画像として選択される場合は第１作業エネルギデータが第１エネルギデータとして生成され（１８０）、又は第３画像データが第１作業画像として選択される場合は第１作業エネルギデータが第３エネルギデータとして生成される（１９０）。
【０１００】
生成ステップ（ステップｈ）とも称する）において、第２画像データが第２作業画像として選択される場合は第２作業エネルギデータが第２エネルギデータとして生成され（２００）、又は第４画像データが第２作業画像として選択される場合は第２作業エネルギデータが第４エネルギデータとして生成される（２１０）。
【０１０１】
思い返すと、当該検出器は第１画像が当該ライン画像データの部分組である等のようにしてライン画像データを取得することができ、選択は、これら画像を組み合わせて入力画像の各々から到来するピントの合った新たな作業画像を生成することができるように局部的（ピクセル）レベルで進行することができる。
【０１０２】
一例によれば、当該方法は以下のステップを有する。
【０１０３】
取得ステップ（ステップｉ）とも称する）において、第５画像データが第１横方向位置において取得される（２２０）と共に、第６画像データが第２横方向位置において取得され（２３０）、その場合において、第５画像データは第１及び第３画像データに対するものとは異なるダウンレンジ距離において取得され、第６画像データは第２及び第４画像データに対するものとは異なるダウンレンジ距離において取得される。
【０１０４】
生成ステップ２４０（ステップｊ）とも称する）において、第１横方向位置に関して新たな第１作業画像データが生成され、該生成するステップは第５画像データ及び第１作業画像データを前記焦点合成アルゴリズムにより処理するステップを有し、ここで、前記新たな第１作業画像データが該第１作業画像データとなる。
【０１０５】
生成ステップ２５０（ステップｋ）とも称する）において、第２横方向位置に関して新たな第２作業画像データが生成され、該生成するステップは第６画像データ及び第２作業画像データを前記焦点合成アルゴリズムにより処理するステップを有し、該新たな第２作業画像データが前記第２作業画像データとなる。
【０１０６】
被写体の向上された被写界深度の合成２Ｄ画像を生成する装置及び方法を、図３〜図
１５を参照して更に詳細に説明する。
【０１０７】
図３及び図４は、被写体の向上された被写界深度の合成２Ｄ画像を生成する当該装置及び方法により対処される問題を示す助けとなるものである。図３において、被写体は視野内に３本の木を伴う森林風景である。左側の木は当該撮像システムに近く、右側の木は該撮像システムから遠く、真ん中の木は、これら２つの間の距離にある。当該撮像システムは、被写体にピントを合わせることができる被写界深度を有するが、３本の全ての木は該撮像システムの被写界深度より大きなダウンレンジにわたって広がっている。従って、中心の木はピントが合い、両側の木はピントが外れている。同様の状況が図４に示されている。ここでは、被写体は蠅である。当該撮像システムは、該蠅のダウンレンジ方向における奥行きよりも小さな、ダウンレンジにわたって延びる被写界深度を有している。従って、該蠅の前部にピントが合っている場合、該蠅の後部、即ち該蠅の前部より当該撮像システムから更に遠い部分はピントが外れる。これが、図４に示されている。
【０１０８】
図５は焦点合成技術の一例を概略的に示す。蠅の画像を取得するために撮像システムが使用されており、該蠅は該撮像システムの被写界深度より大きな奥行きを有している。該蠅の異なる部分が別々の画像において焦点が合うようにして、複数のデジタル画像が異なる焦点位置で取得される。１つの画像においては該蠅の前部に焦点合う一方、該蠅の後部は焦点が外れる。他の画像においては、該蠅の前のピントが外れる一方、該蠅の後部はピントが合う。言い換えると、画像の３Ｄの積み重ねが、各画像が特定の焦点深度における２Ｄ画像であるようにして取得される。これら画像が取得された後、これら画像は、当該蠅の何の部分が何の画像でピントが合っているかを決定するために比較することができる。次いで、異なる画像からの該蠅のピントの合った部分から複合画像が生成される。しかしながら、異なる焦点深度の全ての画像は記憶されねばならず、このことは非常に大きな画像バッファを必要とする一方、向上された画像は全ての画像が取得された後でしか決定されず、各画像は１つの奥行きに関するものでしかない。
【０１０９】
図６は、木等の被写体を撮影する撮像システムを示す。該木の像は該撮像システムの検出器上に投影される。しかしながら、該撮像システムは当該木の奥行きより小さな被写界深度を有している。従って、当該木の奥行きの如何なる特定の領域も検出器上でピントが合って撮像することができ、該木の該被写界深度の前及び背後の領域はピントが外れる。ここでは、見る者にとり当該木の前及び後の枝が前に配置されたように見える冬期の木を想像することができる。
【０１１０】
被写体の向上された被写界深度を持つ合成２Ｄ画像を生成するための当該装置及び方法は、画像データが取得されている際に該画像を向上された被写界深度の人工（合成）２Ｄ画像に変換するために適用することができるストリーミング焦点合成技術を備えることにより、上記問題に対処する。このことは、中間画像ファイルが記憶されることを要さずに“その場で（オンザフライで）”実行され、非常に大きな画像バッファの必要性をなくす。一例において、画像データは複数のダウンレンジ位置から同時に取得される。ここで、ダウンレンジとは、説明上の目的で、ｚ又は奥行き方向に延びるものと見なされるが、如何なる方向に（水平に、垂直に又はこれらの間に）延びることもできる。被写体の向上された被写界深度を持つ合成２Ｄ画像を生成する当該装置及び方法を、図７〜図１５を参照して詳細に説明する。
【０１１１】
図７は、被写体４の向上された被写界深度を持つ合成２Ｄ画像を生成するために使用される画像取得ユニットの一例を概略的に示す。当該被写体は、多数のダウンレンジ距離にわたって延在する特徴構造（凹凸）を有し、幾つかの特徴構造は他のものより大きなダウンレンジ距離にある。言い換えると、被写体４の特徴構造の幾つかの部分は、他のものより当該画像取得ユニットの近くにある。この画像取得ユニットは被写体４を撮像するように配置される。被写体４は静止的シーンであり得、その場合、都市環境がＵＡＶに取り付けられた当該装置により撮影される場合のように当該画像取得ユニットが該シーンに対して移動するか、又は当該被写体が、教育現場に設けられ得る当該画像取得ユニットに対してテーブルを横方向に移動させることができる移動テーブル上に配置された蠅等の被写体であり得る。撮像経路ｐに沿い且つ被写体４から開始して、当該画像取得ユニットは、第１撮像レンズ２２（典型的には、複数のレンズ２２ａ，ｂ，ｃから形成される）、放射を阻止するための開口２１を有する。該画像取得ユニットは、第２撮像レンズ２３及び２Ｄ検出器アレイ４０の形態のセンサも有している。上記検出器は第１撮像レンズの光軸Ｏに対して傾斜され、これが、当該被写体における該検出器の斜め投影（断面）を形成する。このような斜め断面は、例えば検出器を光軸に対して傾斜させる代わりにプリズムを使用することにより、光学的に形成することもできる。他の例において、当該検出器が生物試料の斜め断面の画像データを取得するように構成されることは、顕微鏡対物レンズの光軸が検出器表面の法線に対して平行な場合に達成される。むしろ、試料ステージ自体が光軸Ｏに対して傾斜され、該試料は該試料の傾斜角に平行にスキャンされる。一例において、当該画像取得ユニットは、向上された被写界深度の合成画像を生成する装置１０の一部を形成する。該装置１０は、制御モジュール２５を有し、該制御モジュールは、プロセッサ３０の一部とすることができ、当該装置の動作過程及び当該被写体を撮像するためのスキャン過程を制御する（例えば、前記移動テーブルを移動させると共に検出器からの画像を取得及び処理する）。被写体４に当たる光は、散乱されて撮像レンズ２２により捕捉され、レンズ２３により２Ｄ検出器アレイ４０上に結像される。前記光軸に対して“傾斜される”とは、被写体からの検出器に当たる放射が垂直には当たらない（前述したように、このことはセンサ自体を傾斜させることにより又は非傾斜センサの場合に光学的に達成することができる）ことを意味することに注意すべきである。
【０１１２】
図８は、被写体の向上された被写界深度の合成画像を生成する当該装置及び方法の一例を説明する助けとなるものである。図８は、視野に跨がって横方向に延びる被写体４を概略的に示している。該被写体は、当該視野に跨がって、該被写体における当該検出器の投影（断面５；異なる時点で取得される２つの断面５ａ及び５ｂとして示されている）を横切る位置において当該装置の焦点深度より大きな距離にわたりダウンレンジ距離が変化する。横方向位置ｘ１において、被写体４は撮像されるべき特徴構造Ａを有している。横方向位置ｘ２において、被写体４は撮像されるべき特徴構造Ｂを有している。特徴構造Ａ及びＢは同じタイプの材料であり得、かくして、これら特徴構造は同様の波長帯域にわたって放射を反射するか、又は異なるように反射する点で非類似であり得る。装置１０は、当業者により理解されるように、当該被写体を介して透過する光により、及び／又は該被写体から反射される光により動作しているものであり得る。装置１０は、画像データが当該被写体の断面５ａについて取得されるように構成される。言い換えると、当該装置の検出器の投影は、図８に示される位置（ａ）に位置される。当該装置は、断面５ａの両側の短い距離内の特徴構造にピントが合うような焦点深度を有する。従って、断面５ａに関して取得された第１画像において、組織層４は位置ｘ１ではピントが外れ、該ピンぼけ組織はＡ’と称する。しかしながら、断面５ａに関して取得された第１画像において、組織層４は位置ｘ２では焦点が合い、該ピントの合った組織はＢと称される。取得された画像は作業画像となる。次いで撮像レンズ２２が移動され、かくして、データが必要とされる断面５は当該被写体における新たなダウンレンジ位置５ｂに移動される。撮像レンズ２２を移動させる代わりに、被写体自体をダウンレンジ方向に移動させることもできる（図７に示される光軸Ｏに対して平行に、又は当該装置がダウンレンジ方向に移動される）。この第２画像において、位置ｘ１においては、今度は、特徴構造Ａにピントが合い、特徴構造Ｂはピントが外れる（Ｂ’）。この場合、処理ユニット（図示略）は前記作業画像を、位置ｘ１における画像データが第１画像において取得されたものから第２画像において取得されたものに変更される（Ａ’がＡになる）一方、位置ｘ２における画像データは変更されないように、更新する。この処理は、当該検出器に沿う複数の位置において、且つ、当該被写体を経る複数のダウンレンジ位置において実行することができる。この場合、作業画像は全ての横方向位置（ｘ）において、当該横方向位置における最もピントの合った特徴構造により、その場で、連続的に更新される。作業画像のみが、記憶されねばならないと共に、たった今取得された画像と比較されねばならないだけで、全ての以前に取得された画像は記憶する必要はない。このようにして、当該作業画像は、焦点が合っているのみならず、当該装置の固有の焦点深度より大きな深度における特徴構造を含む。当該被写体を介してダウンレンジ方向に進行したら、全体の被写体自体を横方向に平行移動させることができ、当該処理が当該被写体の未だ撮像されていない部分に関して繰り返される。従って、当該被写体がスキャンされる間に、向上された焦点深度を持つその場での画像が生成され、このことは大量のデータを節約することを可能にする。図８に示された例において、当該被写体における検出器の投影（断面５）は光軸Ｏに対して垂直に示されているが、向上された被写界深度の画像を生成するための、ここに記載されるストリーミング技術は、被写体における検出器の投影が、断面５が斜めとなる（即ち、光軸Ｏに対して垂直でない）ものである場合にも機能することができることは明らかである。
【０１１３】
図９は、被写体の向上された被写界深度の合成画像を生成する当該装置及び方法の他の一例を説明する助けとなるものである。図９は、図８に示された様に被写体４を概略的に示している。この場合も、該被写体は、当該視野に跨がって、該被写体における当該検出器の投影（断面５；異なる時点で取得される２つの断面５ａ及び５ｂとして示されている）を横切る位置において当該装置の焦点深度より大きな距離にわたりダウンレンジ距離が変化する。横方向位置ｘ１において、被写体４は撮像されるべき特徴構造Ａを有している。ここで、当該装置は当該被写体の斜め断面５ａ，５ｂの画像データを取得するように構成された検出器を有している。前述したように、このことは該検出器の傾斜を介して又は光学的に達成することができる。断面５ａに関して取得された第１画像（ａ）において、当該組織層４は位置ｘ１においてはピントが合い、これを特徴構造Ａと称する。しかしながら、断面５ａの第１画像において、組織層４は位置ｘ２では焦点が外れ、これを特徴構造Ｂ’と称する。図８に関して説明した例と同様に、取得された画像は作業画像となる。この場合、当該装置は、検出器の断面（断面５）を斜め断面５ａが横方向に移動して斜め断面５ｂとして示されるように移動させるよう構成される。斜め断面の画像データが当該被写体内の異なる横方向位置で取得されるようにするために移動ステージが横方向に移動する。しかしながら、当業者により理解されるように、当該レンズ及び／又は検出器の移動も、この斜め断面の移動に影響を与え得る。（ｂ）と称される新たな位置において、当該検出器は位置ｘ１及び位置ｘ２におけるデータを再び取得する一方、該検出器の別の部分は該データを該斜め断面が横方向にのみ移動した状況に関して取得している。該第２画像において、位置ｘ１においては、今度は、皮膚層４はピントが外れ、取得された画像はＡ’と称される一方、位置ｘ２における皮膚層４はピントが合い、これは特徴構造Ｂと称される。この場合、処理ユニット（図示略）は前記作業画像を、位置ｘ１における画像データはそのままに留まる一方、位置ｘ２における画像データが第２画像において取得されたものに変更される（Ｂ’がＢになる）ように、更新する。この処理は、各々が当該被写体を介しての異なるダウンレンジ位置としい当該検出器に沿う複数の位置において実行することができる。斜め断面５が当該被写体を介して横方向にスキャンされるにつれて、作業画像は全ての横方向位置（ｘ）において、当該横方向位置における最もピントの合った特徴構造により、その場で、連続的に更新される。作業画像のみが、記憶されねばならないと共に、たった今取得された画像と比較されねばならないだけであり、全ての以前に取得された画像は記憶する必要はない。このようにして、当該作業画像は、焦点が合っているのみならず、当該装置の固有の焦点深度より大きな深度における特徴構造を含む。当該被写体を介して横方向に進行したら、全体の被写体自体を横方向に、前のスキャン方向に対して垂直に平行移動させることができ、当該処理が当該被写体の未だ撮像されていない部分に関して繰り返される。言い換えると、当該被写体がスキャンされる間に、向上された焦点深度を持つその場での画像が生成され、このことは大量のデータを節約することを可能にする。図９において、斜め断面５はｘ方向に横方向にのみ移動するように示されているが、同様に、移動ステージを該斜め断面が横方向に移動するように移動させることも、撮像レンズ２２を該斜め断面が横方向及びダウンレンジ方向の両方に移動するように当該光軸の方向に（ダウンレンジ方向に）移動させることもできる。このようにして、当該装置は被写体４のダウンレンジ位置の大きな偏差に追従することができる。
【０１１４】
図１０は、被写体及び２Ｄ検出器アレイの投影を概略的に示すもので、向上された被写界深度の合成２Ｄ画像の生成のための当該装置及び方法の一例を更に説明する助けとなるものである。被写体４は、例えば当該装置を備えたＵＡＶが飛行及び撮影している地面であり得るか、又は撮影される昆虫の特徴構造を表すものであり得、これら特徴構造はダウンレンジ方向に延びる。当該検出器の２Ｄアレイの投影は断面５として示されており、該断面は当該センサが実際に像を検出する被写体に対応する。デカルト座標系Ｘ’，Ｙ，Ｚが示されており、当該検出器はＸ’軸に対して３０°なる角度β’だけ傾斜されている。一例において、Ｘ’及びＹは横方向（水平）面に位置する一方、Ｚはダウンレンジ（例えば、垂直）方向に延びている。言い換えると、当該検出器は上記横方向（水平）面から傾斜されたＸ−Ｙ面内に位置し、この例において、このことは被写体に当該検出器の斜め投影を生じさせる。これらの軸は、当該検出器が光軸に沿って一直線上にある図７に示されたような概略システムに関して説明されるものであるが、当業者であれば理解するように、当該検出器が図７に示されるような垂直の向きから傾斜されることがないようにミラー又は複数のミラーを使用することもできると理解されるべきである。軸Ｘ’は横方向であり、該方向はスキャン方向であると共に、この例では、光軸Ｏに対して垂直である。前述したように、当該装置は潜水遠隔操作船（ｒｏｖ）で使用することができ、その場合、撮影される被写体は屈折率を持つ媒体内にあり得、又は被写体自体が透明であって固有屈折率を有し得る。従って、断面５は、被写体において当該検出器の傾斜角β’とは異なる角度βを形成し得る（水に半分入り半分出ている棒が空気と水との境界で曲がって見えるのと同様の態様で）。当該斜め断面５は図１０に示される交差部Ｉにおいて被写体４と交差し、この場合、交差部Ｉにはピントが合う。図１２を参照して更に詳細に説明するように、当該検出器はラインスキャンモードで動作される。言い換えると、一行のピクセル又は複数の隣接する行のピクセルを活性化することができ、その場合において、各行は横方向位置ｘ’にあり、Ｙ軸に沿って図１０の頁内へと延びる。被写体４がＹ方向に傾斜されなかった場合、交差部ＩはＹに沿って同一のダウンレンジ距離にあり、該交差部Ｉは１以上の活性化された行によりピントが合って撮像される。しかしながら、交差部Ｉは自身の長さに沿ってＸ’及びＹ座標が変化し得るのみならず、撮像されるべき異なる特徴構造が当該被写体のＹ軸方向に存在し得る。従って、図８及び図９並びに作業画像が如何にして連続的に生成されるかを振り返ると、これらの図は図１０に示される被写体を介しての１つのＹ座標におけるスライスを表すと見なすことができる。この場合、図８及び図９を参照して説明された処理が、異なるＹ座標における全てのスライスに対して実行される。言い換えると、異なる斜め断面５関して取得される、異なるＺ座標によるものであるが各Ｘ’，Ｙ位置における画像データは、該Ｘ’，Ｙ座標において最良にピントの合った特徴構造を有するように連続的に更新され、該更新は、新たな画像データが一層良いピントを有する場合は作業画���内の対応する画像を今取得された画像における画像が置換し、又は作業画像の方が良いピントを有する場合は該作業画像が当該Ｘ’，Ｙ座標における画像に対してそのままに残存することの何れかを意味し得る。ラインスキャンモードの検出器で動作する代わりに、当該被写体の各横方向位置に関する作業画像を生成及び更新する際に上述したのと同様の態様で当該画像の適切な部分が使用されるようにして、通常のＣＣＤ検出器を利用することができる。
【０１１５】
図１１は、２Ｄ検出器アレイの投影５が図示された被写体４の断面を概略的に示すもので、当該装置の構成を説明する助けとなるものである。図１１から分かるように、傾斜された検出器は当該被写体の斜め断面５の像を形成する。該傾斜は、スキャン方向６（横方向Ｘ’）におけるものである。Ｘ軸に沿って当該検出器はＮｘのピクセルを有し、当該被写体をスキャン（横）方向においてピクセル当たりΔｘ’でサンプリングすると共に光軸Ｏに平行な（垂直）方向７（Ｚ）においてピクセル当たりΔｚでサンプリングする。Ｘ方向において、各ピクセルは長さＬを有する。前述したように、当該検出器は角度β’傾斜されているので、当該被写体における横方向及び軸方向サンプリングは：
【数１】
2019512188.tif 000003
により示され、ここで、Ｍは倍率であり、ｎは前述した屈折率である。
【０１１６】
図１２は、向上された被写界深度の画像を生成するために使用されるデータを取得する例示的な２Ｄ検出器アレイを概略的に示す。白で示されたピクセルは、光に対して感応性であって、活性化された場合に信号取得のために使用することができ、図示されていない他のピクセルは暗電流及び信号オフセットのために使用される。図示されていない複数のピクセルは、ピクセル電子回路を示す。複数の行（又はライン）のピクセルが、個々のライン撮像検出器を形成し、該ライン撮像検出器は、図１０を参照すると、１つのＸ’，Ｚ座標にあり、Ｙ軸に沿って頁内へと延びる。隣接するライン又はピクセルからなるピクセルの細条は、時間遅延積分（ＴＤＩ）を用いて単一ラインのピクセル値に合成することができる。異なる例示的検出器においては異なる数のラインを合成することができ、例えば、２，３，４，５，１０又はそれ以上の隣接するラインのピクセルを、ＴＤＩを用いて合成することができる。事実上、ピクセルの各細条は個々のＴＤＩセンサとして作用することができ、これにより、信号対雑音比を改善する。このような検出器の場合、各ライン撮像検出器は、Ｙ方向に延びる数千ものピクセルの長さを有し、これは、例えば、図１０に図示されたラインＩを示す。例えば、該長さは１０００，２０００，３０００，４０００，５０００又は他の数のピクセルとすることができる。横方向スキャンの間において撮像レンズを移動させるために焦点アクチュエータが使用されない場合、各ライン検出器は当該被写体を一定のダウンレンジ距離において当該装置の焦点深度にわたって撮像する。前述したように、ピクセルの各細条は、ＴＤＩが起動された場合、単一のＴＤＩブロックの複数の行を表し得る。当該検出器は、読出電子回路により分離された複数の斯かるブロックを含む。例えば、当該検出器は１００，２００又は３００のブロックを含み得る。当該検出器は、他の数のブロックを有することもできる。当該被写体における検出器の投影である断面５に関する場合、各ＴＤＩブロックの間のｚ方向の距離は、撮影状況に依存して変化させることができる。従って、当該装置の固有の焦点深度にわたり、この焦点深度内に分散される複数のＴＤＩブロックが存在し得る。当該検出器は、ブロック間のｚ方向の距離が可変であり得ると共に、ブロック間で変化し得るように構成することができる。これらのブロックのうちの１つ、又は、確かなことに、これらブロックのうちの該焦点深度内の複数を、特定のダウンレンジ位置における画像データを供給するために個別に使用し又は一緒に合計することができる。この場合、Ｘに沿う当該検出器の異なる位置における１以上のＴＤＩブロックを、焦点深度にわたる当該被写体の異なるダウンレンジ距離に関する画像データを取得するために活性化することができる。第２のダウンレンジ距離は第１深度から少なくとも焦点深度だけ隔てられる。特定のダウンレンジ距離における焦点深度にわたる各ＴＤＩブロック又は複数のＴＤＩブロックは、事実上、当該被写体内の画像データの層を掃引し、該層は当該装置の画像取得ユニットの固有の焦点深度に略等しい厚さを有する。従って、当該装置の固有の焦点深度の８倍に等しいダウンレンジ距離にわたって延びる被写体に関してデータを取得することは、該被写体から画像データを取得するために、当該検出器に沿う異なる位置におけるものであって、各々は異なるダウンレンジ距離及び横方向位置にあるが、自身の長さに沿っては同一のダウンレンジ距離にあるような８つの斯様なＴＤＩブロックを使用することができることを意味する。撮像されるべき特徴構造は、この全体のダウンレンジ距離内の何処かに位置し得る（例えば、当該被写体は冬期における木であり得、該木の前部、中央及び後部における枝が撮影されるべきである）。従って、断面５が当該被写体を介して横方向に掃引される際に、これら８つのＴＤＩブロックの各々が該被写体の同一のＸ’，Ｙ位置においてではあるが、異なるダウンレンジ距離Ｚにおいて画像データを取得する。従って、データを取得するために使用される活性ＴＤＩブロックはデータを取得している他のＴＤＩブロックから、データを取得していない複数のＴＤＩブロックにより離隔され得ることに注意すべきである。これら８つのＴＤＩブロックからの画像データを有する第１画像は、撮像される各Ｘ’，Ｙ位置に関する画像データを有する作業画像を形成するために使用される。断面５が当該被写体内で横方向に移動される場合、画像データは、既に撮像されたＸ’，Ｙ位置の大部分に関するものであるが、これらＸ’，Ｙ位置に対して異なるダウンレンジ距離において取得される。図８及び図９を参照して前述したように、作業画像は当該Ｘ’，Ｙにおいて今まで取得された最良のピントの画像を含むように更新される。このことは、作業画像ファイルが記憶され、たった今取得された画像と比較され、必要な場合に更新されるというよりは、全ての画像データを記憶することを要せずに、オンザフライで実行することができる。これにより、合成２Ｄ画像が向上された被写界深度で生成され、その場合において、当該被写体の或るダウンレンジ距離における特徴構造及び該被写体の別のダウンレンジ距離における別の特徴構造もピントが合った状態になり得、これらダウンレンジ距離の差は当該画像取得ユニットの固有の焦点深度より大きく、従って、通常の装置（１つのダウンレンジ距離において当該撮像系の焦点深度にわたってのみデータを取得する）においては両方にピントを合わせることはできないものである。言い換えると、複数の特徴構造は、これら特徴構造が当該被写体内でダウンレンジ距離が異なって変化するとしても、焦点が合い得る。当該作業画像ファイルが新たな画像データとなるか又は元の作業画像データを維持するかを選択する代わりに、更新された作業画像を形成するために、該新たな画像データと既存の作業画像データとの加重和を用いることもできる。当該検出器はライン撮像モードで動作しているが、ライン画像に沿う個々の区域は別々に使用されることに注意すべきである。これは、ライン画像に沿う或る点における特定の特徴構造はピントが合い得る一方、該ライン画像に沿う他の点における他の特徴構造は、焦点深度の外側の別のダウンレンジ距離にあることにより、焦点が外れ得る故である。従って、もっと局部的（ピクセル）レベルでの選択がなされ、その場合、ピクセルとは、作業画像との比較を行って当該横方向位置における何のデータ（特定のＸ’，Ｙ座標範囲）が最良のピント状態であるかを決定するために十分な数個のピクセルを意味し得る。互いに対して固定されるというより、データを取得するために使用されるＴＤＩブロックは、当該検出器を上下に移動し得ると共に、互いに対しても移動し得る。データを取得するために使用されるＴＤＩブロック間の間隔は斯かるＴＤＩブロックが移動する際に同一に留まることができるか、又はＴＤＩブロックの間の間隔はＴＤＩブロックが移動する際に変化することができ、隣接するＴＤＩブロックの間の間隔は異なるＴＤＩブロックに関して異なって変化する。このことは、被写体を異なる解像度レベルでスキャンすると共に、該被写体全体を通して異なる解像度レベルを有するようにする能力を提供する。例えば、被写体にわたって、撮像されるべき特徴構造が主に小さなダウンレンジ距離に（当該装置の近くに）あるか又は大きなダウンレンジ距離（当該装置から遠くに）あるかの何れかであり、僅かな関心特徴構造しか中間のダウンレンジ距離にはないことがあり得る。この場合、複数のＴＤＩブロックは、当該被写体を、これら２つ組のダウンレンジ距離にわたってスキャンすると共に中間のダウンレンジ距離にわたっては該被写体をスキャンしないように構成することができる。
【０１１７】
図１３は、オーバーサンプリングの一例を概略的に示すもので、向上された被写界深度の画像は中央の明瞭な領域に関して取得されねばならない。以前の図に関する説明から、当該被写体の特定の横方向ポイントに関する全ての利用可能なダウンレンジ距離における画像データは、該被写体における検出器の投影（即ち、断面５）が該ポイントを通り超えて完全にスキャンされたならば、生成することができることが明らかである。言い換えると、検出器の最初の部分が一方の極限のダウンレンジ距離における画像データを取得し、当該被写体が十分に移動された（及び／又は当該装置がスキャンした）場合、該検出器の最後の部分は他方の極限のダウンレンジ距離におけるデータを取得する。当該検出器の中間の部分は、中間のダウンレンジ距離における画像データを取得する。しかしながら、このことは、特定の領域を全ての利用可能なダウンレンジ距離にわたりスキャンするために、検出器の投影は、図１３に示されるように、スキャンされるべき領域の一方の側から直ぐに開始し、スキャンされるべき領域の他方の側の直前の所で終了しなければならない。言い換えると、スキャンされるべき領域の両端に幾らかの量のオーバーサンプリングが存在する。図１１に関する説明に関する場合、このようなオーバーサンプリングがどの様なものであることを要するかは容易に決定することができる。
【０１１８】
図１４は、複数の撮像された領域又は層を概略的に示している。言い換えると、各層は、各ＴＤＩブロック（又は複数のブロック）が特定のダウンレンジ距離において当該装置の固有の焦点深度にわたり撮像するものに対応する。前述したように、当該被写体はダウンレンジ距離が大幅に変化し得る。従って、被写体の向上された被写界深度の合成２Ｄ画像を生成する際に使用されるべき像を取得する前に、該被写体の相対的に低い解像度の画像を得ることができる。これは、被写体ボリュームのｚ位置（ダウンレンジ距離）を推定するために使用される。言い換えると、１以上の位置（Ｘ’，Ｙ）において、最適な焦点（Ｚ）が決定される。次いで、ストリーミングモードにおいて向上された被写界深度の合成２Ｄ画像を生成する像の取得の間に、各位置において当該撮像レンズが光軸Ｏに沿って適切に移動される（又は被検体が光軸に沿って移動される）と共に、上述したデータの取得のために複数のＴＤＩが活性化される。一例においては、撮像レンズ又は移動ステージの移動により断面５の位置を変える代わりに、ＴＤＩの位置が必要に応じて当該検出器の上下に移動される。この場合、断面５は一定の範囲のダウンレンジ距離をスキャンすることができるものとなるが、当該検出器の異なる部分がデータを取得することができる。代替例として、先行する低解像度画像を取得する代わりに、例えば国際特許出願公開第WO2011/161594号に記載されているような自己フォーカス（オートフォーカス）センサを使用することができる。このようなオートフォーカス構成において、図１２に示されるような検出器自体をオートフォーカスセンサとして構成することができるか、又は別のオートフォーカスセンサを使用することができる。このことは、向上された焦点深度の画像を生成するために画像データが取得されている位置毎に、当該被写体の位置を決定し、必要に応じてＴＤＩを活性化することができるということを意味する。その結果が図１４に示され、該図はスキャンの間において別個のＴＤＩにより撮像される被写体のダウンレンジ距離を示している。上述したように、各横方向位置において、向上された画像が特定のダウンレンジ距離における特徴構造が当該合成向上画像内に存在するようにして生成され、かくして、異なるダウンレンジ距離における（従って、異なる層における）特徴構造が結果的向上画像内に存在するようになる。上述したように、当該向上された画像は、別個の画像の全てが記憶されることを要せず、むしろ、作業画像のみが記憶されると共に今し方取得された画像と比較されることにより生成され、これにより、向上された被写界深度を持つ画像が大きな画像バッファを要せずにオンザフライで生成されることを可能にする。
【０１１９】
このようにして、当該システムは、被写体の異なるダウンレンジ距離にある複数の特徴構造であって、焦点の合った複数の特徴構造を有するような画像をオンザフライで生成することができる。
【０１２０】
焦点合成は図５を参照して簡単に説明された。図１５には、向上された被写界深度の合成画像を生成する際に使用される焦点合成のための例示的ワークフローが示されている。説明の容易化のために、焦点合成は図８に示されたようなデータを取得するシステムに関して説明されるが、該焦点合成は斜め断面を提供する傾斜検出器に対しても適用可能である。以下の説明において、層とは、先にも説明されたように、当該画像取得ユニットが被写体の特定のダウンレンジ距離において該ダウンレンジ距離における焦点深度にわたり撮像しているものに関するものである。従って、当該説明は非傾斜検出器に関するものである故に、当該層は当該被写体内の同一のダウンレンジ距離にあるものであるが、上述したように、この焦点合成処理は傾斜検出器及びデータが取得される斜め断面にも等しく当てはまるものである。かくして、層ｎの画像が取得される。最初に、ｚ位置ｎにおいて取得された入力画像のエネルギ量が決定される。該エネルギ量は平滑化処理（ノイズ量を低減するための）により後続されるハイパスフィルタ（即ち、ラプラシアンフィルタ）の適用により決定される。第２に、この算出された層ｎのエネルギ量は層≦(n-1)のエネルギと比較される。個々の全てのピクセルに関して、現在の層（即ち、層ｎの画像データ）又は合成結果（即ち、層≦(n-1)の組み合わされた画像データ：先に説明した作業画像）が使用されるべきかが決定され、この結果が図１５の“層選択”である。第３に、２つのバッファ、即ち合成画像データ（即ち、層≦ｎの画像データ）及び合成エネルギデータ（即ち、層≦ｎの）、が記憶されねばならない。次いで、次の層をスキャンすることができ、当該処理は、最後の層が取得されて処理されるまで反復する。前記層選択（即ち、何の層から何の部分を選択するか）は、層ｎの画像データ及び合成画像≦(n-1)の画像データからの並びに同様にエネルギに関する情報を合成するために使用されることに注意すべきである。
【０１２１】
従って、一例においては、ストリーミングモードにおいて傾斜センサが焦点合成と組み合わされる。この場合、中間結果を完全に（即ち、層≦(n-1)の画像データ及び層≦(n-1)のエネルギ）記憶する必要は無く、使用される画像フィルタ（即ち、高周波フィルタ及び平滑フィルタ）のフットプリントにより決まる当該画像及びエネルギデータの限られた履歴しか必要とされない。当該傾斜センサにより新たな（傾斜）画像が取得される毎に、この画像の行当たりの（即ち、ｚ位置当たりの）エネルギが決定される。該傾斜画像は、前述したように、Ｙ（該画像の行）及びＸ’/Ｚ（該画像の列）における面内にある。これらのエネルギ値は、以前に取得されたものと比較される。該比較は合致する（ｘ’，ｙ）位置に関して実行される。言い換えると、該比較は、局部レベル（上記エネルギ分析を適用することができるのに十分なピクセル）においであって、１つの画像としての全体のライン画像に対してではない。一層大きなフォーカスエネルギが見付かった場合、当該画像データは更新される。（x’,y）位置の全てのｚ位置が評価されたなら、該（合成された；“作業”）画像データは伝送することができる。このことは、数十ＧＢもの中間結果を記憶する必要性をなくす一方、最終結果（即ち、向上された焦点深度層）は当該被写体の最後の部分をスキャンした後に、（依然として）すぐに利用可能となる。
【代替例】
【０１２２】
上記処理においては、各ピクセルに対して、最適な画像層がエネルギ量により決定される（即ち、ハイパスフィルタ）。可能性のある構成例は、高周波情報を決定する前に異なるカラーチャンネルが併合される（即ち、RGB2Y処理を用いて）というものである。一代替例として、情報（即ち、外部ソースからの又は画像分析により決定された）は、特定のカラーに一層注目するように使用することができる。このことは、追加のカラー分離ステップ又はカラー逆畳み込み（デコンボリューション）ステップと組み合わせることさえできる。この場合、最適な層は、１つの（又は複数の）特定のカラーを用いた（例えば、当該画像における特定のカラーに着目した）エネルギ量により局部的に決定することができる。更に、カラー分離ステップを追加すれば、異なる２Ｄ平滑化カーネルを使用することができるようになる。例えば、被写体の特徴構造は、より小さな平滑化カーネル（σ＜２）から利益を得るような大幅に小さな細部を含むものを伴い種々の寸法を有し得る。
【０１２３】
上記処理においては、ラプラシアン高周波フィルタが使用される。一代替例として、取得されたデータはウェーブレットドメインに変換することができ、該ドメインにおいて高周波副帯域をエネルギの表現として使用することができる。これはiSyntax圧縮（例えば、米国特許第6711297号及び米国特許第6553141号参照）と組み合わせることができる。
【０１２４】
上記処理において、向上された被写界深度を持つ単一の画像層への変換は、当該画像をサーバに送信するために適用することができる。単一層への変換がサーバ上で実行され、センサの出力がサーバに直接伝送されるようにすることも可能である。
【０１２５】
各ピクセルに関して最適層を選択する代わりに、複数の層のピクセル値が、当該ピクセルのエネルギの分布に基づいて特定の重み付けを用いて結合されることも可能である。
【０１２６】
各ピクセルに関して最適層を選択する代わりに、同一のｚ方向の傾斜センサの全ピクセルを合計することも可能である。その結果はぼやけた総和画像となるが、該画像は次いで簡単な帯域フィルタによりフィルタ処理することができる。デジタル画像の和に関する情報に関しては、米国特許第4141032号を参照されたい。
【０１２７】
本方法は、各層のエネルギに関するものであるから、被写体の厚さを測定するために使用することもできる。
【０１２８】
他の例示的実施態様においては、コンピュータプログラム又はコンピュータプログラム要素が提供され、該コンピュータプログラム又はコンピュータプログラム要素は、上述した実施態様の１つによる方法の方法ステップを適切なシステム上で実行するように構成されることを特徴とする。
【０１２９】
上記コンピュータプログラム要素は、従って、一実施態様の一部とすることもできるコンピュータユニットに記憶することができる。このコンピュータユニットは、上述した方法のステップの実行を行い又は誘起するよう構成することができる。更に、該コンピュータユニットは、前述した装置の構成要素を動作させるように構成することができる。該コンピュータユニットは、自動的に動作し及び／又はユーザの指令を実行するように構成することができる。コンピュータプログラムは、データプロセッサのワーキングメモリにロードすることができる。該データプロセッサは、このように、前述した実施態様の１つによる方法を実行するように装備することができる。
【０１３０】
本発明の該例示的実施態様は、本発明を最初から使用するコンピュータプログラム及び更新により既存のプログラムを、本発明を使用するプログラムに変えるコンピュータプログラムの両方をカバーするものである。
【０１３１】
更に、前記コンピュータプログラム要素は、前述した方法の例示的実施態様の手順を満たすために必要な全てのステップを提供することができる。
【０１３２】
本発明の他の例示的実施態様によれば、ＣＤ−ＲＯＭ等のコンピュータ読取可能な媒体が提供され、該コンピュータ読取可能な媒体は先の段落により説明されたコンピュータプログラム要素を記憶している。
【０１３３】
コンピュータプログラムは、光記憶媒体又は他のハードウェアと一緒に供給され若しくは他のハードウェアの一部として供給される固体媒体等の適切な媒体により記憶及び／又は分配することができるのみならず、インターネット又は他の有線若しくは無線通信システムを介してのように、他の形態で分配することもできる。
【０１３４】
しかしながら、上記コンピュータプログラムは、ワールドワイドウェブ等のネットワークを介して提供することもでき、斯様なネットワークからデータプロセッサのワーキングメモリにダウンロードすることもできる。本発明の他の例示的実施態様によれば、コンピュータプログラム要素をダウンロードのために利用可能にする媒体も提供され、該コンピュータプログラム要素は本発明の前述した実施態様の１つによる方法を実行するように構成される。
【０１３５】
本発明の実施態様は異なる主題に関して説明されていることに注意されたい。特に、幾つかの実施態様は方法のタイプの請求項に関して説明されている一方、他の実施態様は装置のタイプの請求項に関して説明されている。しかしながら、当業者であれば、上記及び以下の記載から、そうでないと明示されない限り、１つのタイプの主題に属するフィーチャの如何なる組み合わせにも加えて、異なる主題に関係するフィーチャの間の如何なる組み合わせも本出願により開示されていると見なされることが分かるであろう。しかしながら、全てのフィーチャは、斯かるフィーチャの単なる寄せ集め以上の相乗効果を提供するように組み合わせることができるものである。
【０１３６】
以上、本発明を図面及び上記記載において詳細に図示及び説明したが、斯かる図示及び説明は解説的又は例示的なものであって、限定するものではないと見なされるべきである。本発明は、開示された実施態様に限定されるものではない。開示された実施態様に対する他の変形例は、当業者によれば、請求項に記載の本発明を実施するに際して図面、本開示及び従属請求項の精査から理解し、実施することができるものである。
【０１３７】
尚、請求項において“有する”なる文言は他の要素又はステップを排除するものではなく、単数形は複数を排除するものではない。また、単一のプロセッサ又は他のユニットは、請求項に記載された幾つかの項目の機能を満たすことができる。また、特定の手段が互いに異なる従属請求項に記載されているという単なる事実は、これら手段の組み合わせを有利に使用することができないということを示すものではない。また、請求項における如何なる符号も当該範囲を限定するものと見なしてはならない。
【図１】
2019512188.tif 000004
【図２】
2019512188.tif 000005
【図３】
2019512188.tif 000006
【図４】
2019512188.tif 000007
【図５】
2019512188.tif 000008
【図６】
2019512188.tif 000009
【図７】
2019512188.tif 000010
【図８】
2019512188.tif 000011
【図９】
2019512188.tif 000012
【図１０】
2019512188.tif 000013
【図１１】
2019512188.tif 000014
【図１２】
2019512188.tif 000015
【図１３】
2019512188.tif 000016
【図１４】
2019512188.tif 000017
【図１５】
2019512188.tif 000018
【国際調査報告】
2019512188.tif 000019
2019512188.tif 000020
2019512188.tif 000021