(57)【特許請求の範囲】
【請求項１】
リアルタイムで画像を取得および表示するために構成されたダイレクトビューシステム（１００、２００、３００）にして、（ｉ）画像（１４２）を取得するための放射感応アレイ（１２０）を備えるイメージセンサ（１１０）と、（ｉｉ）画像を読み出すために放射感応アレイに接続された読み出し回路（１４０）と、（ｉｉｉ）処理画像（１６２、２６２）を取得するために画像を処理するための信号プロセッサ（１６０、２６０）と、（ｉｖ）処理画像を表示するためのディスプレイ（１８０）とを備え、放射感応アレイはセンサ画素行（１２２）の配列から成り、ディスプレイはディスプレイ画素行（１８２）の配列から成るダイレクトビューシステム（１００、２００、３００）であって、
読み出し回路は、画素サブセット（１２４）を順次送信するために、（ｉ）行の露光を初期化し、かつ、（ｉｉ）前記露光後に行のコンテンツを読み出すことによって、センサ画素行を順次読み出すローリングシャッタ回路であり、
信号プロセッサは、画素サブセットの１つが利用可能である時に、処理画素サブセットを生成するために画素サブセットを処理するように構成され、
ディスプレイは、処理画素サブセットが利用可能である時に、ディスプレイ画素行に順次処理画像を表示するために、ディスプレイ画素の対応サブセット（１８４）に処理画素サブセットを表示するように構成される、ダイレクトビューシステム（１００、２００、３００）。
【請求項２】
ダイレクトビューシステムが、追加イメージセンサ（２１０）と追加読み出し回路（２４０）とを備え、追加イメージセンサは追加画像（２４２）を取得するための追加放射感応アレイ（２２０）を備え、追加読み出し回路は追加画像を読み出すために追加放射感応アレイに接続され、追加放射感応アレイは追加センサ画素行（２２２）の配列から成り、追加読み出し回路は追加画素サブセット（２２４）を順次送信するために追加センサ画素行を順次読み出すための追加ローリングシャッタ回路であり、ダイレクトビューシステムは、
ローリングシャッタ回路（１４０）および追加ローリングシャッタ回路が画像および追加画像の対応部分をほぼ同期して読み出すことによって画素サブセット（１２４）と追加画素サブセットの１つを同期して送信するように構成されること、および
信号プロセッサ（２６０）が画素サブセットと追加画素サブセットが利用可能である時に、処理画素サブセットを取得するために画素サブセットと追加画素サブセットとを合成するように構成されることによって画像（１４２）と追加画像とをディスプレイ（１８０）に同期して表示するように構成される、請求項１に記載のダイレクトビューシステム（２００、３００）。
【請求項３】
イメージセンサ（１１０）が可視光（１１２）を感知する可視光イメージセンサであり、追加イメージセンサ（２１０）は赤外線（２１２）を感知する熱イメージセンサであり、可視光画像（１４２）と熱画像（２４２）とをディスプレイ（１８０）に同時に表示することができる、請求項２に記載のダイレクトビューシステム（２００、３００）。
【請求項４】
信号プロセッサ（２６０）が、処理画像（２６２）として画像（１４２）と追加画像（２４２）との融合画像を取得するために画素サブセットと追加画素サブセットとを融合させることによって、画素サブセット（１２４）と追加画素サブセット（２２４）とを合成するように構成される、請求項２または３のいずれかに記載のダイレクトビューシステム（２００、３００）。
【請求項５】
放射感応アレイ（１２０）が第１の空間解像度を有し、追加放射感応アレイは（２２０）第１の空間解像度より低い第２の空間解像度を有し、追加ローリングシャッタ回路（２４０）は、前記画素サブセット（１２４）と追加画素サブセット（２２４）とを同期して送信することができるように、ローリングシャッタ回路（１４０）の第１の読み出し速度より遅い第２の読み出し速度で追加画像（２４２）を読み出すように構成される、請求項２から４のうちのいずれかに記載のダイレクトビューシステム（２００、３００）。
【請求項６】
ローリングシャッタ回路（１４０）が、撮像フレーム時間（Ｔｉ）内の第１の読み出し速度で画像（１４２）を読み出すように構成され、追加ローリングシャッタ回路（２４０）は、撮像フレーム時間内の第２の読み出し速度で追加画像（２４２）を読み出すように構成される、請求項５に記載のダイレクトビューシステム（２００、３００）。
【請求項７】
ローリングシャッタ回路（１４０）が、第１の読み出し速度を実現するために第１の画素クロックでクロッキングされ、追加ローリングシャッタ回路（２４０）は、第２の読み出し速度を提供するために第２の画素クロックでクロッキングされる、請求項５または６のいずれかに記載のダイレクトビューシステム（２００、３００）。
【請求項８】
ダイレクトビューシステムが、追加画像（２４２）として第１の空間解像度を有する拡大画像（２５２）を生成するために追加画素サブセット（２２４）を空間的にスケーリングするためのスケーラ（２５０）を備える、請求項５から７のうちのいずれかに記載のダイレクトビューシステム（２００、３００）。
【請求項９】
スケーラ（２５０）が、画素反復技術、一次線形補間技術、高次線形補間技術、および非線形補間技術の群から少なくとも１つの技術を使用して、空間スケーリングを実行するように構成される、請求項８に記載のダイレクトビューシステム（２００、３００）。
【請求項１０】
信号プロセッサ（１６０、２６０）が、画素サブセット（１２４）のパイプライン処理を取得するための画像処理パイプラインを備える、請求項１から９のうちのいずれかに記載のダイレクトビューシステム（１００、２００、３００）。
【請求項１１】
ローリングシャッタ回路（１４０）が、第１の読み出し速度で画像（１４２）を読み出すように構成され、ダイレクトビューシステムは、放射感応アレイ（１２０）に作用する放射（１１２）の量に基づいて第１の読み出し速度が確立するように構成される、請求項１から１０のうちのいずれかに記載のダイレクトビューシステム（１００、２００、３００）。
【請求項１２】
撮像装置が、増強された可視光をイメージセンサ（１１０）に提供するために画像増強管を備える、請求項１から１１のうちのいずれかに記載のダイレクトビューシステム（１００、２００、３００）。
【請求項１３】
請求項１から１２のうちのいずれかに記載のダイレクトビューシステム（１００、２００、３００）を備えたヘルメット。
【請求項１４】
請求項１から１２のうちのいずれかに記載のダイレクトビューシステム（１００、２００、３００）を備えたヘッドマウント。
【請求項１５】
請求項１から１２のうちのいずれかに記載のダイレクトビューシステム（１００、２００、３００）を備えたライフル照準器。
【請求項１６】
請求項１から１２のうちのいずれかに記載のダイレクトビューシステム（１００、２００、３００）を備えた携帯用デバイス。
【請求項１７】
（ｉ）画像を取得するための放射感応アレイを備えるイメージセンサと、（ｉｉ）画像を読み出すために放射感応アレイに接続された読み出し回路と、（ｉｉｉ）処理画像を取得するために画像を処理するための信号プロセッサと、（ｉｖ）処理画像を表示するためのディスプレイとを備え、放射感応アレイはセンサ画素行の配列から成り、ディスプレイはディスプレイ画素行の配列から成るダイレクトビューシステムを使用して、リアルタイムで画像を取得および表示する方法（３００）であって、
画素サブセットを順次送信するために、（ｉ）行の露光を初期化し、かつ、（ｉｉ）前記露光後に行のコンテンツを読み出すことによって、読み出し回路により、センサ画素行を順次読み出すステップ（３４０）と、
画素サブセットの１つが利用可能である時に、処理画素サブセットを生成するための信号プロセッサを使用して、画素サブセットを処理するステップ（３６０）と、
処理画素サブセットが利用可能である時に、ディスプレイ画素行に順次処理画像を表示するために、ディスプレイを使用して、ディスプレイ画素の対応サブセットに処理画素サブセットを表示するステップ（３８０）とを含む、方法（３００）。
【請求項１８】
コンピュータ可読媒体（４００）に記憶されるコンピュータプログラム（４２０）であって、プロセッサシステムに請求項１７に記載の方法を実行させる命令を含む、コンピュータプログラム（４２０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、リアルタイムで画像を取得および表示するための撮像装置および方法に関する。本発明はさらに、上述の撮像装置を備えたヘルメット、ヘッドマウント、ライフル照準器、または携帯用デバイスに関する。
【背景技術】
【０００２】
ダイレクトビューシステムは、画像が撮像部品によって取得され、その後、表示部品によってリアルタイムで使用者に提供される撮像装置である。このようなダイレクトビューシステムでは、画像の取得と画像の表示との間に時間差が生じる場合がある。この時間差は、一般的には、レイテンシと呼ばれる。ダイレクトビューシステムの例として、暗視装置や望遠鏡機器がある。
【０００３】
レイテンシは、大抵は望ましくなく、特に、ダイレクトビューシステムが携帯使用を目的とする場合は、望ましくない。それは、使用者がダイレクトビューシステムを使用している時に移動中である可能性があるためである。レイテンシにより、使用者は、使用者の他の運動覚、例えば、使用者の前庭器官系を通して感知する動作とは異なった、表示部品を通しての動作を認識してしまう可能性がある。レイテンシのために、認識した動作と他の方法で感知した動作との間の不整合が大きすぎる場合、使用者は、吐き気または乗り物酔いをもよおす場合がある。
【０００４】
多くのダイレクトビューシステムは、主に、光学的または光電子的システムである。例えば、暗視装置は、撮像部品として光学素子と画像増強管を備え、表示部品として蛍光面を備える。動作時に、低光量のシーンの光子は光電子に変換され、画像増強管によって増強されて、最終的に再び可視光に変換するために蛍光面に向かって加速される。このようなダイレクトビューシステムのレイテンシは、一般に、蛍光面の減衰によって定義される数ミリ秒であり、これは、携帯使用時に使用者が乗り物酔いをしない程度の十分に小さい値である。
【０００５】
画像をデジタル形式で中間的に利用可能である、すなわち、画像がデジタル信号領域で表示されるダイレクトビューシステムを有するのが望ましい場合がある。このことにより、ダイレクトビューシステムは、デジタル信号処理を使用することにより、画質を改善する、関連情報を画像に重ね合わせるなどの処理が可能になる。このダイレクトビューシステムは、画像を取得するための半導体センサと、画像を処理するための信号プロセッサと、画像を表示するための電子表示装置とを使用する場合がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このようなデジタル信号領域を基本にしたダイレクトビューシステムの全レイテンシは、比較的大きくなる場合がある。不利点としては、使用者がこのようなダイレクトビューシステムの携帯使用時に乗り物酔いをする場合があるということである。
【０００７】
本発明の目的は、レイテンシが低減され、画像を信号処理できるように画像がデジタル形式で中間的に利用可能である、リアルタイムで画像を取得および表示するための撮像装置および方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明によれば、上述の目的は、リアルタイムで画像を取得および表示する撮像装置で、（ｉ）画像を取得するための放射感応アレイを備えるイメージセンサと、（ｉｉ）画像を読み出すために放射感応アレイに接続された読み出し回路と、（ｉｉｉ）処理画像を取得するために画像を処理するための信号プロセッサと、（ｉｖ）処理画像を表示するためのディスプレイとを備え、放射感応アレイはセンサ画素行の配列から成り、ディスプレイはディスプレイ画素行の配列から成る撮像装置であって、読み出し回路は、画素サブセットを順次送信するためにセンサ画素行を順次読み出すローリングシャッタ回路であり、信号プロセッサは、画素サブセットの１つが利用可能である時に、処理画素サブセットを生成するために画素サブセットを処理するように構成され、ディスプレイは、処理画素サブセットが利用可能である時に、ディスプレイ画素行に順次処理画像を表示するために、ディスプレイ画素の対応サブセットに処理画素サブセットを表示するように構成される撮像装置が提供されることで実現される。
【０００９】
本発明のさらに他の態様では、上述の撮像装置を備えたヘルメット、ヘッドマウント、ライフル照準器、または携帯用デバイスが提供される。
【００１０】
本発明のさらに他の態様では、（ｉ）画像を取得するための放射感応アレイを備えるイメージセンサと、（ｉｉ）画像を読み出すために放射感応アレイに接続された読み出し回路と、（ｉｉｉ）処理画像を取得するために画像を処理するための信号プロセッサと、（ｉｖ）処理画像を表示するためのディスプレイとを備え、放射感応アレイはセンサ画素行の配列から成り、ディスプレイはディスプレイ画素行の配列から成る撮像装置を使用して、リアルタイムで画像を取得および表示する方法であって、画素サブセットを順次送信するための読み出し回路を使用して、センサ画素行を順次読み出すステップと、画素サブセットの１つが利用可能である時に、処理画素サブセットを生成するための信号プロセッサを使用して、画素サブセットを処理するステップと、処理画素サブセットが利用可能である時に、ディスプレイ画素行に順次処理画像を表示するために、ディスプレイを使用して、ディスプレイ画素の対応サブセットに処理画素サブセットを表示するステップとを含む方法が提供される。
【００１１】
本発明のさらに別の態様では、コンピュータ可読媒体に記憶されるコンピュータプログラムであって、プロセッサシステムに上述の方法を実行させる命令を含むコンピュータプログラムが提供される。
【００１２】
本発明の解決策は、リアルタイムで画像を取得および表示するための撮像装置、すなわち、ダイレクトビューシステムと、撮像装置を操作する方法とを提供する。本明細書では、リアルタイムとは、使用者が撮像装置を使用して、現在のシーンを反映するシーン画像をできるだけ時間差なく見ることである。撮像装置は、イメージセンサ、例えば、相補型金属酸化膜半導体（ＣＭＯＳ）センサのような半導体センサを備える。イメージセンサは、シーンから放出または反射された放射をシーンのデジタル表現、すなわち、画像に変換するのに使用される。そのためには、イメージセンサは、センサ画素行の配列から成る放射感応アレイを備える。撮像装置はさらに、読み出し回路、すなわち、センサ画素行から画像をアドレッシングして順次読み出すことにより、放射感応アレイから画像を読み出す回路を備える。撮像装置はさらに、デジタル信号処理を使用してイメージセンサから取得された画像を処理するように構成された信号プロセッサを備える。そのことにより処理画像が得られ、処理画像は、その後、ディスプレイに表示される。ディスプレイは、ディスプレイ画素行の配列から成る。したがって、ディスプレイ画素行は、放射感応アレイの対応するセンサ画素行によって取得された画像を表示するのに使用される。
【００１３】
撮像装置は、取得されている画像と表示されている処理画像との間のレイテンシを低減するように構成されている。そのために、読み出し回路はローリングシャッタ回路である。ローリングシャッタは、ライン走査としても周知であり、センサ画素行が順次、すなわち、行ごとに順々に、または行のサブセットごとに順々に読み出される放射感応アレイの読み出し方法のことである。したがって、読み出された行または行のサブセットは、異なる時点に対応する。ローリングシャッタ回路は、センサ画素行を読み出すことで、順次画素サブセットを信号プロセッサに送信することができる。次に、信号プロセッサは、画素サブセットを受信すると、画素サブセットを処理し、その後、処理結果、すなわち、処理画素サブセットをディスプレイに送信する。各々の処理画素サブセットは、その後、ディスプレイによって、ディスプレイ画素の対応サブセットに表示される。したがって、センサ画素行は、順次読み出されて画素サブセットのシーケンスを形成し、画素サブセットは、信号プロセッサによって受信された後に処理され、ディスプレイによって受信された後に表示される。
【００１４】
本発明は、画素行の読み出し、処理、および表示を行うことであることがわかるであろう。それは、センサおよびディスプレイは、通常、ライン単位で読み出しおよび書き込みを行うためである。しかしながら、当然、本発明は、画素列単位の読み出し、処理、および表示にも同様に適用可能である、すなわち、読み出し回路は、センサ画素列を順次読み出すように配置されてもよい。
【００１５】
本発明は、部分的には、放射感応アレイから画像を読み出すのに従来のダイレクトビューシステム、つまりスナップショットモードが使用されるという認識に基づいている。この場合、全体画像が最初に読み出されて、フレームバッファメモリに記憶され、全体画像が記憶された時のみ、画像が処理されて順次完全な形で表示される。不利点としては、処理前または処理中にフレームバッファに画像を記憶することによって発生したレイテンシにより、ダイレクトビューシステムを携帯使用する時に使用者が乗り物酔いをしてしまう場合があるということである。
【００１６】
上述の解決策の効果は、撮像装置は、センサ画素の対応サブセットが読み出された後に、できる限り速やかにディスプレイ画素サブセットに画素サブセットを表示するように構成されるということである。したがって、撮像装置は、読み出された画像の個々の部分、すなわち、個々の画素サブセットを信号プロセッサに直接送信して、その後に個々の処理部分をディスプレイに送信するように構成される。その結果、撮像装置の全レイテンシが低減される。有利には、撮像装置のレイテンシは、撮像装置を携帯使用する時に使用者が乗り物酔いしないように十分に低減される。
【００１７】
任意で、撮像装置は、追加イメージセンサと追加読み出し回路とを備え、追加イメージセンサは追加画像を取得するための追加放射感応アレイを備え、追加読み出し回路は追加画像を読み出すために追加放射感応アレイに接続され、追加放射感応アレイは追加センサ画素行の配列から成り、追加読み出し回路は追加画素サブセットを順次送信するために追加センサ画素行を順次読み出すための追加ローリングシャッタ回路であり、撮像装置は、画像と追加画像の対応部分をほぼ同期して読み出すことによって画素サブセットと追加画素サブセットの１つを同期して送信するように構成されるローリングシャッタ回路および追加ローリングシャッタ回路によって、画像と追加画像とをディスプレイに同期して表示するように構成され、信号プロセッサは画素サブセットと追加画素サブセットが利用可能である時に、処理画素サブセットを取得するために画素サブセットと追加画素サブセットとを合成するように構成される。
【００１８】
撮像装置は、画像と追加画像とをディスプレイに同期して表示するように構成される。追加画像を取得するために、撮像装置は追加イメージセンサを備える。ローリングシャッタ回路および追加ローリングシャッタ回路は、両方の画像の対応部分を処理するために同期して信号プロセッサに送信して、その後に表示するために、画像と追加画像の対応部分を実質的に同期して読み出すように構成される。このことにより、画素サブセットと追加画素サブセットとが同期して送信される。
【００１９】
上述の解決策の効果は、撮像装置が２つの画像を同時に取得および表示することができ、同時に前記取得と表示との間のレイテンシを低減するように構成されているということである。有利には、撮像装置では、画像の一部と追加画像の一部とが次の処理および表示のために利用可能になったタイミングで不整合を補償する必要がより少ない、もしくは全くないので、必要なバッファメモリが少なくて済む。したがって、撮像装置のコストおよび／または複雑さが低減される。
【００２０】
任意で、イメージセンサは可視光を感知する可視光イメージセンサとし、追加イメージセンサは赤外線を感知する熱イメージセンサとして、可視光画像と熱画像とをディスプレイに同期して表示することができるようにする。有利には、撮像装置は、シーンの可視光と熱放射とを同時に取得して表示するとともに、レイテンシを低減することができる。
【００２１】
任意で、信号プロセッサは、処理画像として画像と追加画像との融合画像を取得するために画素サブセットと追加画素サブセットとを融合させることによって、画素サブセットと追加画素サブセットとを合成するように構成される。画像融合は、２つの画像、特に、同じシーンの２つの関連画像を直観的に合成する方法である。有利には、シーンの可視光および熱放射を使用者に直観的に表示するために、シーンの熱放射は、シーンの可視光に重ね合わせた色として視覚化されてもよい。
【００２２】
任意で、放射感応アレイは第１の空間解像度を有し、追加放射感応アレイは第１の空間解像度より低い第２の空間解像度を有し、追加ローリングシャッタ回路は、前記画素サブセットと追加画素サブセットとを同期して送信することができるように、ローリングシャッタ回路の第１の読み出し速度より遅い第２の読み出し速度で追加画像を読み出すように構成される。
【００２３】
したがって、追加ローリングシャッタ回路は、より遅い読み出し速度を使用することで、確実に画像と追加画像の対応部分を同期して信号プロセッサに送信することができる。例えば、同じ読み出し速度の場合は、一般に、上述した同期性を確実にするためには頻繁に読み出しを途中で停止する必要があるので、読み出し速度を適合させることは前記空間解像度の差を補償する効率的な方法である。有利には、追加ローリングシャッタ回路の読み出し速度を遅くすると、消費電力が小さくなり、ひいては撮像装置の消費電力が小さくなる。
【００２４】
任意で、ローリングシャッタ回路は、撮像フレーム時間内の第１の読み出し速度で画像を読み出すように構成され、追加ローリングシャッタ回路は、撮像フレーム時間内の第２の読み出し速度で追加画像を読み出すように構成される。このようにして、読み出し速度は、画像と追加画像とを同じ撮像フレーム時間内で読み出すように適合させられる。したがって、第２の読み出し速度に対する第１の読み出し速度の比は、第２の空間解像度に対する第１の空間解像度の比に等しくなる。有利には、上述した同時送信を確実にするために、読み出しを途中で停止する必要は全くない。
【００２５】
任意で、ローリングシャッタ回路は、第１の読み出し速度を実現するために第１の画素クロックでクロッキングされ、追加ローリングシャッタ回路は、第２の読み出し速度を実現するために第２の画素クロックでクロッキングされる。したがって、各々のローリングシャッタ回路の画素クロックは、必要な読み出し速度に適合される。有利には、追加ローリングシャッタ回路の画素クロックを遅くすると、消費電力が小さくなる。
【００２６】
任意で、撮像装置は、追加画像として第１の空間解像度を有する拡大画像を生成するために追加画素サブセットを空間的にスケーリングするためのスケーラを備える。スケーラは、追加画像の空間解像度を画像の空間解像度に適合させる効率的な方法を提供する。有利には、追加ローリングシャッタ回路は、追加画素サブセットをバッファに送信し、信号プロセッサがバッファから同一の追加画素サブセットを繰り返し読み出すことによって、空間解像度の差を補償する必要はない。有利には、追加画像は、より優れた画質で、特に、エッジがより高空間解像度で表示される。有利には、追加画像を画像に重ね合わせて、両方の画像の重なり部分がシーンの同じ部分に関連付けられるようにしてもよい。
【００２７】
任意で、スケーラは、画素反復技術、一次線形補間技術、高次線形補間技術、および非線形補間技術の群から少なくとも１つの技術を使用して、空間スケーリングを実行するように構成される。上述の補間技術は、特に、空間スケーリングに適している。
【００２８】
任意で、信号プロセッサは、画素サブセットのパイプライン処理を行うための画像処理パイプラインを備える。プロセッサ設計およびプロセッサアーキテクチャの技術分野で周知のとおり、画像のパイプライン処理の実行は、高いスループット処理を提供する。有利には、信号プロセッサは、新規画素サブセットまたは新規画素サブセットの個々の画素をそれぞれのクロックサイクルで受け取ることができる。有利には、信号プロセッサが先行する画素の処理によりふさがっているために新規画素を受け取ることができない場合に対処するためにバッファリングをする必要はあまりない。
【００２９】
任意で、ローリングシャッタ回路は、第１の読み出し速度で画像を読み出すように構成され、撮像装置は、放射感応アレイに作用する放射量に基づいて第１の読み出し速度を確立するように構成される。放射感応アレイに作用する放射量に基づいて第１の読み出し速度を確立することによって、放射感応アレイの必要な露光時間と、画像の上部と下部の画像間の取得の差との間でトレードオフが成立し、いわゆるスキュー効果が発生する可能性がある。有利には、放射感応アレイに十分な放射が作用している場合には第１の読み出し速度を上げることによって、前記スキュー効果を低減することができる。
【００３０】
任意で、撮像装置は、増強された可視光をイメージセンサに提供させるために画像増強管を備える。画像増強管を使用することによって、イメージセンサは、改善された信号対雑音比で低光量の条件でも画像を取得することができる。画像増強管を備える撮像装置は、一般的に、暗視装置または低光量画像増強管としても周知である。
【００３１】
本発明のこれらの態様および他の態様は、後述される実施形態から明らかであり、これらの実施形態を参照して説明される。
【図面の簡単な説明】
【００３２】
【図１】ダイレクトビューシステムのタイミング図である。
【図２】イメージセンサを備える撮像装置の図である。
【図３】イメージセンサおよびディスプレイを示す図である。
【図４】撮像装置のタイミング図である。
【図５】図４のタイミング図の代替形態を示す図である。
【図６】追加イメージセンサを備える撮像装置の図である。
【図７】イメージセンサおよび追加イメージセンサを示す図である。
【図８】撮像装置のタイミング図である。
【図９】スケーラを備える撮像装置の図である。
【図１０】読み出し回路の機能の概略図である。
【図１１】リアルタイムの画像取得および画像表示の方法を示す図である。
【図１２】コンピュータ可読媒体に記憶されるコンピュータプログラムの図である。
【発明を実施するための形態】
【００３３】
図１は、フレームバッファメモリを備えるダイレクトビューシステムのタイミング図である。この場合、横軸は時間を示しており、縦軸は、画像の読み出しタイミングと画像の処理タイミングと画像の表示タイミングとを視覚的に区別するのに使用されている。この場合、ＳＳ１はイメージセンサから画像を読み出す期間を示している。読み出しＳＳ１は、読み出した画像をフレームバッファメモリでの記憶を含む。このダイレクトビューシステムでは、画像全体がフレームバッファメモリに記憶されている場合のみ処理が行われる。したがって、読み出しＳＳ１の完了後、ダイレクトビューシステムは画像の処理ＰＰ１を開始する。一般的に、画像の各部分は、フレームバッファメモリから読み出され、処理されて、再びフレームバッファメモリもしくは追加フレームバッファメモリに書き込まれる。最後に、処理ＰＰ１の完了後、ダイレクトビューシステムは画像の表示ＤＤ１を開始する。したがって、画像の読み出しＳＳ１の開始ＴＴ１と画像の表示ＤＤ１の開始ＴＴ２との間の期間は、使用者がシーンの変化と前記変化を反映する表示画像との間で感じる最小遅延もしくはレイテンシＬＬを示している。
【００３４】
ダイレクトビューシステムのスループットを向上させるために、読み出し、処理、および表示はパイプライン化されてもよい。これは、画像の処理ＰＰ１が行われている間に次の画像の読み出しＳＳ２が行われるということである。同様に、画像の表示ＤＤ１が行われている間に次の画像の処理ＰＰ２が行われるなどの処理が可能である。このようなパイプライン処理は、ダイレクトビューシステムのスループットを向上させることに留意されたい。すなわち、ダイレクトビューシステムは所定の期間内でより多くの画像を読み出して、処理し、表示することができる。しかしながら、前記パイプライン処理は、ダイレクトビューシステムのレイテンシＬＬには影響を及ぼさない。
【００３５】
図２は、リアルタイムの画像取得および画像表示するための撮像装置１００を示す図である。撮像装置１００はイメージセンサ１１０を備え、イメージセンサ１１０は画像１４２を取得するための放射感応アレイ１２０を備える。撮像装置１００はさらに、画像１４２を読み出すために放射感応アレイ１２０に接続される読み出し回路１４０と、処理画像１６２を取得するために画像１４２を処理する信号プロセッサ１６０とを備える。そのために、読み出し回路１４０は、信号プロセッサ１６０に接続された状態で示されている。撮像装置１００はさらに、最後に処理画像１６２を表示するディスプレイ１８０を備える。
【００３６】
図３は、放射感応アレイ１２０を備えるイメージセンサ１１０を示す図である。図示されるように、放射感応アレイ１２０は、センサ画素行１２２の配列から成る。当然、図３に明確に示されていないが、放射感応アレイ１２０は、アレイであることの結果として、さらにセンサ画素列の配列から成ることに留意されたい。さらに図３には、ディスプレイ画素行１８２の配列から成るディスプレイ画素アレイとしてディスプレイ１８０が示されている。当然、図３に明確に示されていないが、ディスプレイ１８０は、アレイであることの結果として、さらにディスプレイ画素列の配列から成ることに留意されたい。
【００３７】
撮像装置１００の動作時に、読み出し回路１４０は、画素サブセット１２４を順次送信するためにセンサ画素行１２２を順次読み出す。この読み出しは、図４および図５のタイミング図に示されている。この場合、Ｓ１はイメージセンサ１１０から画像１４２を読み出す期間を示している。図４は、上述のダイレクトビューシステムと比較できるように、図１と同様の方法で期間を示している。図５では、横軸は時間を示し、縦軸は行数を示し、Ｒｎは放射感応アレイ１２０の最上行を示しており、Ｒ０は最下行を示している。したがって、図５は、読み出し回路１４０が期間Ｓ１の初めに行Ｒｎを読み出して、最後に行Ｒ０を読み出す様子を示している。その結果、読み出しＳ１の間に、全ての行ＲｎからＲ０が順次読み出される。
【００３８】
上述した放射感応アレイ１２０の読み出しＳ１は、ローリングシャッタ回路である読み出し回路１４０によって行われる。ローリングシャッタ回路１４０は、スナップショットシャッタを使用して放射感応アレイ１２０を読み出すように構成された回路とは異なる。ローリングシャッタ回路の基本的な動作原理は、（ｉ）行の露光を初期化するために、そして（ｉｉ）前記露光後に行のコンテンツを読み出すために、放射感応アレイ１２０が各行ごとに、すなわち、ライン単位でアドレッシングされるというものである。これは、一般的に、放射感応アレイ１２０の個々の行にアドレッシングする２つのポインタを使用して行われる。一方のポインタは、現在アドレッシングされている行の露光を初期化するためにその行のリセットを行い、他方のポインタは、読み出される行をアドレッシングする。２つのポインタの位置の差が有効露光時間である。すなわち、「リセット」ポインタが１行のみの差で「読み出し」ポインタの後を追う場合、露光時間は最大となる。
【００３９】
一方、スナップショットシャッタを使用する回路は、一般的には、放射感応アレイからフレームバッファメモリに画像全体を読み出す前に、放射感応アレイ全体を同時に露光する。画像全体を読み出すのに必要な時間の間、放射感応アレイは、それ以上露光しないように構成される。不利な点としては、前記回路による露光時間はローリングシャッタ回路の露光時間より短いということである。一般的に、露光時間が短いことで、信号対雑音比が悪い画像になってしまう、つまり、より雑音が多くなる。文献「ＥＢＡＰＳ：Ｎｅｘｔ  Ｇｅｎｅｒａｔｉｏｎ，Ｌｏｗ  Ｐｏｗｅｒ，Ｄｉｇｉｔａｌ  Ｎｉｇｈｔ  Ｖｉｓｉｏｎ」（Ａｅｂｉ氏他、Ｉｎｔｅｖａｃ社、ＯＰＴＲＯ２００５シンポジウム、フランス、パリ）には、カメラセンサの露光時間を最大にするためのローリングシャッタ回路の使用について記載されている。
【００４０】
ローリングシャッタ回路１４０のポインタは、イメージセンサ１１０自体のインターナルステートマシンによって増やされてもよい。すなわち、ローリングシャッタ回路１４０は、イメージセンサ１１０の一部としてもよい。外部ロジック、例えば、イメージセンサ１１０の外部に配置されるフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を使用して、ステートマシンをクロッキングして、露光時間を決定するための２つのポインタ間の間隔をプログラムすることができる。
【００４１】
ローリングシャッタ回路１４０は、センサ画素行１２２を順次読み出すことによって、画素サブセット１２４を順次送信する。画素サブセット１２４は、行全体の画素または行のサブセットの画素を含む。画素サブセットはさらに、１行の画素サブセット、例えば、１画素または複数の隣接画素を含む。ローリングシャッタ回路１４０は、画素サブセット１２４を信号プロセッサ１６０に送信し、信号プロセッサ１６０は、画素サブセット１２４が利用可能である時に、画素サブセットを処理して処理画素サブセットを生成する。信号プロセッサ１６０は、順次送信された画素サブセットを処理することによって、画像１４２を効率的に処理し、処理画像１６２を生成する。この処理は、図４および図５のタイミング図に示されている。この場合、Ｐ１は画像１４２を処理する期間を示している。図５は、読み出し回路１４０が期間Ｐ１の初めに行Ｒｎを処理して、最後に行Ｒ０を処理する様子を示している。その結果、読み出しＰ１の間に、全ての行ＲｎからＲ０が順次処理される。
【００４２】
読み出しＳ１と処理Ｐ１との間の時間遅延は、図４および図５に示されるように、特に、画素サブセット１２４のサイズに左右される。例えば、画素サブセット１２４がセンサ画素行１２２の画素を含む場合、処理Ｐ１は、読み出しＳ１に対して、少なくとも前記画素サブセット１２４を読み出して信号プロセッサ１６０に送信するのに必要な期間だけ遅延される。しかしながら、前記時間遅延は、画素サブセット１２４を順次送信することができるので、画像１４２全体の読み出しに対応する時間遅延より大幅に小さいことは理解できるであろう。
【００４３】
ディスプレイ１８０は、処理画素サブセットが利用可能である時に、対応するディスプレイ画素サブセット１８４に処理画素サブセットを表示する。ディスプレイ１８０は、順次生成された処理画素サブセットを表示することによって、処理画像１６２を効率的に表示する。この表示は、図４および図５のタイミング図に示されている。この場合、Ｄ１は処理画像１６２を表示する期間を示している。図５は、ディスプレイ１８０が期間Ｄ１の初めに行Ｒｎを表示し、最後に行Ｒ０を表示する様子を示している。表示Ｄ１と処理Ｐ１との間の時間遅延は、読み出しＳ１と処理Ｐ１との間の時間遅延と同様の考え方を適用できることがわかるであろう。したがって、図２に示されている撮像装置は、読み出しＳ１と表示Ｄ１との間の時間遅延に相当するレイテンシＬを生じる。また、次の画像の読み出しＳ２は画像の読み出しＳ１が完了した後に開始されることがわかるであろう。同様に、処理Ｐ２は処理Ｐ１が完了した後に開始され、表示Ｄ２は表示Ｄ１が完了した後に開始される。
【００４４】
図６は、撮像装置２００の図である。撮像装置２００は、イメージセンサ１１０および読み出し回路１４０に隣接して、追加イメージセンサ２１０および追加読み出し回路２４０を備える。追加イメージセンサ２１０は、追加画像２４２を取得するための追加放射感応アレイ２２０を備える。追加読み出し回路２４０は、追加画像２４２を読み出すために、追加放射感応アレイ２２０に接続される。
【００４５】
図７は、上述のイメージセンサ１１０および放射感応アレイ１１０に隣接して追加放射感応アレイ２２０を備える追加イメージセンサ２１０を示す図である。図示されるように、追加放射感応アレイ２２０は、追加センサ画素行２２２の配列から成る。図７に明確に示されていないが、追加放射感応アレイ２２０は、アレイであることの結果として、さらにセンサ画素列の配列から成ることに留意されたい。図７はさらに、第１の空間解像度を有する放射感応アレイ１２０と、第１の空間解像度より低い第２の空間解像度を有する追加放射感応アレイ２２０とを示している。それゆえに、放射感応アレイ１２０は、ｎ＋１行、すなわち、行Ｒ０から行Ｒｎで形成され、追加放射アレイ２２０は、ｍ＋１行、すなわち、行Ｒ０から行Ｒｎで形成される。この場合、ｍはｎより小さい。図６の撮像装置に関する説明の残りの部分においても、この構造が前提となる。しかしながら、当然、第２の空間解像度は第１の空間解像度以上にしてもよいことに留意されたい。さらに、空間解像度は、例えば、１２８０画素もしくは１０２４ラインの画像の水平解像度または垂直解像度、または、例えば、１．３メガピクセル画像の合成解像度と呼ぶことができることに留意されたい。
【００４６】
図６に戻ると、読み出し回路１４０は、追加センサ画素行２２２を順次読み出すための追加ローリングシャッタ回路として構成される。撮像装置２００の動作時に、ローリングシャッタ回路１４０および追加ローリングシャッタ回路２４０は、画像１４２と追加画像２４２の対応部分をほぼ同期して読み出すことによって、画素サブセット１２４および追加画素サブセット２２４を同期して送信する。この場合、対応部分とは、関連する画像コンテンツを有する画像の部分のことである。例えば、イメージセンサ１１０が可視光１１２を感知する可視光イメージセンサであり、追加イメージセンサ２１０が赤外線２１２を感知する熱イメージセンサである場合、画像１４２はシーンの可視光画像となり、追加画像２４２は同じシーンの熱画像となる。したがって、対応部分は、例えば、画像１４２の最上行Ｒｎは追加画像２４２の最上行Ｒｍに対応し、画像１４２の最下行Ｒ０は追加画像２４２の同最下行Ｒ０に対応する等と言える。このことにより、信号プロセッサ２６０は、画素サブセット１２４および追加画素サブセット２２４が利用可能である時に、両方の画素サブセットを合成して処理画素サブセットを取得し、例えば、可視光画像の上に熱画像が重ね合わされた処理画像２６２を形成することができる。対応部分は、例えば、イメージセンサ１１０が左側の像を取得し、追加イメージセンサ２１０が右側の像を取得する場合、全体画像において同じ垂直位置にある部分とすることができることに留意されたい。
【００４７】
第１の空間解像度より低い第２の空間解像度を補償するために、追加ローリングシャッタ回路２４０は、ローリングシャッタ回路１４０の第１の読み出し速度より遅い第２の読み出し速度で追加画像２４２を読み出すように構成される。これは、図５と同様のタイミング図で、さらに追加画像２４２の読み出しＩ１の期間が追加されたタイミング図である図８に示されている。追加画像２４２の行数Ｒｍは画像１４２の行数Ｒｎより少ないので、第２の読み出し速度は、画像１４２の読み出しＳ１と同じ時間間隔で追加画像２４２の読み出しＩ１を可能にするために、より遅くする必要があることがわかるであろう。これは、読み出しＳ１と比較して、水平軸に対して読み出しＩ１の傾斜が緩やかになることで反映されている。
【００４８】
図８は、撮像フレーム時間Ｔｉ内での画像１４２の読み出しＳ１のために選択された第１の読み出し速度と、同じ撮像フレーム時間Ｔｉ内での追加画像２４２の読み出しＩ１のために選択された第２の読み出し速度とを示している。撮像フレーム時間Ｔｉは、撮像フレームレートと直接関係があり、例えば、６０Ｈｚ撮像フレームレートで１／６０秒＝０．０１６７ミリ秒である。放射感応アレイ１２０の露光を最大にするために、第１の読み出し速度は、実質的に前記撮像フレーム時間Ｔｉ内で画像１４２の読み出しＳ１を行うように選択される。また、第２の読み出し速度は、同じ撮像フレーム時間Ｔｉで追加画像２４２の読み出しＩ１を十分に行うように選択される。その結果、第１の読み出し速度と第２の読み出し速度との比率は、本質的に、画像１４２と追加画像２４２との対応部分を同期して読み出すための撮像装置２００の上述した構造から得られることがわかるであろう。
【００４９】
さらに、図８に示されている例では、第１の読み出し速度および第２の読み出し速度は、撮像フレーム時間Ｔｉ全体にわたって画像１４２の読み出しＳ１および追加画像２４２の読み出しＩ１を行うように選択される。これは、上述したように放射感応アレイ１２０および／または追加放射感応アレイ２２０の露光時間を最大にすることを優先することにより達成される。しかしながら、読み出しＳ１および読み出しＩ１はより速く行われてもよい、例えば撮像フレーム時間Ｔｉの終了前に完了するようにしてもよい。このことにより、画像１４２の最上部と最下部との読み出しＳ１の時間差が低減され、ひいては、画像１４２内のいわゆるスキューアーチファクトを低減する、もしくは防ぐことができる。これらのアーチファクトは、前記時間差が比較的長い場合に生じることが知られている。さらに、撮像装置２００は、放射感応アレイ１２０に作用する放射１１２の量に応じて第１の読み出し速度を確立するように構成されてもよい。そのため、撮像装置２００は、必要な露光時間と上述したスキュー効果との間の妥協点を動的に決定することができる。
【００５０】
ローリングシャッタ回路１４０は、第１の読み出し速度を実現するために第１の画素クロックでクロッキングされ、追加ローリングシャッタ回路２４０は、第２の読み出し速度を実現するために第２の画素クロックでクロッキングされてもよい。第２の読み出し速度は第１の読み出し速度より遅いので、第２の画素クロックも第１の画素クロックより遅い。例えば、追加画像２４２の第２の空間解像度が水平方向および垂直方向ともに画像１４２の第１の空間解像度の１／４である、例えば、１２８０×１０２４画素に対して３２０×２５６画素である場合、第１の読み出し回路１４０は、例えば、４４ＭＨｚのシステムクロックでクロッキングされ、第２の読み出し回路２４０は、システムクロックの１／１６、つまり、２．７５ＭＨｚ画素クロックでクロッキングされる。一般的に、クロックレートが遅くなると電力消費が小さくなるので、撮像装置２００の電力消費は低減される。あるいは、第２の読み出し回路２４０は、同じように４４ＭＨｚでクロッキングされるが、平均して、１６クロックサイクルごとに１つの画素のみを送信するようにしてもよい。
【００５１】
第２の空間解像度は第１の空間解像度より低いので、追加画像２４２を第１の空間解像度もしくはディスプレイ１８０の空間解像度に拡大しなければならない場合がある。これは、全ての場合に必要となるのではなく、例えば、追加画像２４２がいわゆるピクチャインピクチャ（ＰｉＰ）として画像１４２に挿入される場合に必要でないことに留意されたい。図９は、追加画像２４２として、第１の空間解像度を有する拡大画像２５２を生成するためのスケーラ２５０を備える撮像装置３００を示す図である。この場合、追加ローリングシャッタ回路２４０は追加画像２４２をスケーラ２５０に送信するためにスケーラ２５０に接続され、スケーラ２５０は信号プロセッサ２６０の拡大画像２５２を送信するために信号プロセッサ２６０に接続されている。スケーラ２５０は、垂直方向の空間スケーリングができるようにラインバッファメモリを備えてもよい。空間スケーリングは、画像処理技術の分野で周知であるように、ゼロ次線形補間技術、すなわち、画素反復または最近傍補間の実行を含んでもよい。空間スケーリングはさらに、例えば、双線補間の一次線形補間、高次線形補間、および非線形補間の技術を含んでもよい。このような技術では、一般的に、補間によるアーチファクトが少ない。
【００５２】
当然、撮像装置３００は、明確なスケーラ２５０を備えなくてもよいことに留意されたい。その代わりに、スケーラとして効率的に機能を果たすバッファが使用されてもよい。例えば、追加ローリングシャッタ回路２４０は、プロセッサ設計およびプロセッサアーキテクチャの技術分野で周知であるいわゆるファーストインファーストアウト（ＦＩＦＯ）バッファを備えてもよい。追加ローリングシャッタ回路２４０は、図１０に概略的に示されているように、追加放射感応アレイ２２０から行Ｒｍを読み出すことができる。この読み出しは、２．７５ＭＨｚ画素クロックを使用して実行されてもよい。読み出された行Ｒｍは、ＦＩＦＯにバッファリングされ、ローリングシャッタ回路１４０によって読み出される行Ｒｎと同じ読み出し速度で行Ｒｍを繰り返し送信するために、より速い画素クロック、例えば、４４ＭＨｚ画素クロックで読み出される。このようにＦＩＦＯバッファを使用する技術は、通常はスケーラとして見なされないが、最近傍補間を効率的に実行できることに留意されたい。また、この機能は信号プロセッサ２６０自体にも実装される、すなわち、信号プロセッサ２６０が前記バッファリングを行うためにＦＩＦＯを備えることができることがわかるであろう。
【００５３】
図１１は、（ｉ）画像を取得するための放射感応アレイを備えるイメージセンサと、（ｉｉ）画像を読み出すために放射感応アレイに接続された読み出し回路と、（ｉｉｉ）処理画像を取得するために画像を処理するための信号プロセッサと、（ｉｖ）処理画像を表示するためのディスプレイとを備え、放射感応アレイはセンサ画素行の配列から成り、ディスプレイはディスプレイ画素行の配列から成る撮像装置を使用して、リアルタイムで画像を取得および表示する方法３００であって、画素サブセットを順次送信するための読み出し回路を使用して、センサ画素行を順次読み出すステップ３４０と、画素サブセットが利用可能である時に、処理画素サブセットを生成するための信号プロセッサを使用して、画素サブセットを処理するステップ３６０と、処理画素サブセットが利用可能である時に、ディスプレイ画素行に順次処理画像を表示するために、ディスプレイを使用して、ディスプレイ画素の対応サブセットに処理画素サブセットを表示するステップ３８０とを含む方法を示した図である。
【００５４】
図１２は、図１１に示される方法３００をプロセッサシステムに実行させる命令を含むコンピュータプログラム４２０を備えるコンピュータ可読媒体４００を示す図である。コンピュータプログラム４２０は、コンピュータ可読媒体４００上で、物理的マークとして具現化されてもよいし、またはコンピュータ可読媒体４００の磁化を利用して具現化されてもよい。しかしながら、任意の他の適切な実施形態も可能である。また、コンピュータ可読媒体４００は、図１２では光ディスクとして示されているが、任意の適切なコンピュータ可読媒体４００、例えば、リードオンリメモリ、ランダムアクセスメモリ、例えば、ソリッドステートメモリ、フラッシュメモリなどにしてもよいことは理解できるであろう。
【００５５】
当然、本発明は、種々のイメージセンサに対して使用することができるので、例えば、可視光イメージセンサまたは熱センサに限定されない。また、画像１４２と追加画像２４２との合成は、例えば、追加画像２４２の特定の要素を画像１４２の上に重ね合わせることによって画像１４２を追加画像２４２と融合させることを含んでもよい。しかしながら、合成はさらに、画像１４２と追加画像２４２のサイドバイサイド方式、ピクチャインピクチャ方式、または同じ空間配置を含む処理画像２６２の作成を含んでもよい。
【００５６】
信号プロセッサ１６０は、上述した画像１４２と追加画像２４２とを融合させる合成の後に、種々の信号処理を採用してもよい。例えば、信号プロセッサ１６０は、画像処理の技術分野で周知である種々の画像処理、例えば、不均一性補正、ヒストグラム平坦化、雑音低減、鮮明化、カラーマッピングなどを行ってもよい。さらに、信号プロセッサ１６０のスループットを向上させるために、信号処理は、画素サブセット１２４のパイプライン処理を行うための画像処理パイプラインを備えてもよい。
【００５７】
ディスプレイ１８０は、マイクロ有機発光ダイオード（ＯＬＥＤ）または液晶（ＬＣ）ベースのディスプレイとしてもよい。イメージセンサ１１０は、ＣＭＯＳセンサとしてもよい。信号プロセッサ１６０は、ＦＰＧＡで具現化されてもよい。イメージセンサ１６０は、同期情報、例えば、いわゆる水平ＳＹＮＣ信号および垂直ＳＹＮＣ信号を送信するように構成されてもよい。これらの信号は、撮像装置１００によって使用されて、画像１４２の読み出し、処理、および表示を同期させることができる。同期化情報は、追加読み出し回路２４０を使用して追加画像２４２の読み出しを同期させるために使用されてもよい。
【００５８】
上述の説明は、明確にするために、本発明の実施形態を異なる機能ユニットに関して記載したものであることを理解されたい。しかしながら、本発明の範囲から逸脱せずに、異なる機能ユニットもしくはプロセッサ間の任意の適切な機能分散が使用されてもよいことは明確であろう。例えば、別個のプロセッサもしくはコントローラで実行されると説明された機能は、同じプロセッサもしくはコントローラで実行してもよい。したがって、特定の機能ユニットの参照は、厳密な論理的もしくは物理的な構造もしくは構成を指すのではなく、上述の機能を提供する適切な手段に対する参照であると理解されるだけものとする。
【００５９】
本発明は、ハードウェア、ソフトウェア、ファームウェアもしくはこれらの任意の組み合わせを含む任意の適切な形態で実装することができる。本発明は、任意で、少なくとも部分的に、１つまたは複数のデータプロセッサおよび／またはデジタル信号プロセッサ上で実行するコンピュータソフトウェアとして実装されてもよい。本発明の一実施形態の要素および構成部品は、任意の適切な方法で、物理的、機能的、および論理的に実装されてもよい。実際に、機能は、単一ユニットで、複数のユニットで、もしくは他の機能ユニットの一部として実装されてもよい。したがって、本発明は、単一ユニットで実装されてもよく、または異なるユニットおよび異なるプロセッサ間で物理的および機能的に分散されてもよい。
【００６０】
本発明は、いくつかの実施形態に関して説明したが、本発明は、本明細書で記載されている特定の形態に限定されるものではない。むしろ、本発明の範囲は、添付の請求項によってのみ制限される。さらに、特徴は特定の実施形態に関して記載されているが、当業者は、上述の実施形態の種々の特徴を本発明に従って組み合わせてもよいことは理解できるであろう。請求項において、用語「備える」は、他の要素もしくはステップの存在を除外するものではない。
【００６１】
さらに、複数の手段、要素、もしくは方法ステップは、個々に列挙されているが、例えば、単一のユニットもしくはプロセッサによって実装されてもよい。さらに、個々の特徴は異なる請求項に含まれてもよいが、これらの特徴を有利に組み合わせることができ、また異なる請求項に含まれるということは、これらの特徴の組み合わせが実行可能ではない、および／または有利ではないということを示唆するものではない。また、請求項の１つのカテゴリに特徴を含むということは、このカテゴリに限定されるという示唆するのではなく、特徴は必要に応じて他の請求項のカテゴリにも同様に適用できることを示している。さらに、請求項内の特徴の順序は、特徴が正常に機能する任意の特定の順序を示唆するものではなく、特に、方法請求項の個々のステップの順序は、ステップがこの順序で実行されなければならないことを示唆するものではない。むしろ、ステップは、任意の適切な順序で実行されてもよい。さらに、単数形の表現は、複数形を除外するものではない。したがって、「１つの」、「第１の」、「第２の」などの表現は、複数形を除外するものではない。請求項内の参照番号は、明確な例としてのみ記載されており、決して請求項の範囲を制限するものとして解釈されるべきではない。
【図１】
0005925812.tif 000002
【図２】
0005925812.tif 000003
【図３】
0005925812.tif 000004
【図４】
0005925812.tif 000005
【図５】
0005925812.tif 000006
【図６】
0005925812.tif 000007
【図７】
0005925812.tif 000008
【図８】
0005925812.tif 000009
【図９】
0005925812.tif 000010
【図１０】
0005925812.tif 000011
【図１１】
0005925812.tif 000012
【図１２】
0005925812.tif 000013