(57)【要約】マルチビュー素子内視鏡システムの複数センサのモーション同期化は、CMOS撮像センサを互いに対して回転させるとともに特定方向を走査するように各CMOS撮像センサをプログラムすることによって達成される。完全な画像を形成するために、異なる時間における走査から集められたフレームが記憶され、処理され、表示される。【選択図】図３ａ
2018506317.tif 000002
【特許請求の範囲】
【請求項１】
互いに対して所定の角度だけ回転させた少なくとも２つの相補型金属酸化膜半導体（CMOS）撮像センサであり、前記少なくとも２つのCMOS撮像センサのそれぞれが４つの縁を有し、前記少なくとも２つのCMOS撮像センサのそれぞれが画像のフレームを複数の連続した行を通って走査するように構成され、各走査はセンサの第１縁の行の開始点から開始するとともに前記センサの反対側の第２縁の行の最終点で終了し、前記走査は前記センサの各行を通って連続的に進行する、CMOS撮像センサと、
複数の前記CMOS撮像センサが走査した前記画像のフレームを所定の回転角度を用いることによって同期させて、完全な画像を取得する、複数の前記CMOS撮像センサに接続されたプロセッサと、
を備える、内視鏡システム。
【請求項２】
前記プロセッサに接続されて、前記少なくとも２つのCMOS撮像センサが走査した前記完全な画像を表示する、少なくとも１つのディスプレイを更に備える、請求項１に記載の内視鏡システム。
【請求項３】
前記少なくとも２つのCMOS撮像センサのそれぞれが、少なくとも１つのレジスタを備え、前記少なくとも１つのレジスタは、前記少なくとも２つのCMOS撮像センサの１つが実行する走査の方向を制御するために、前記プロセッサによってプログラムされるように構成される、請求項１に記載の内視鏡システム。
【請求項４】
前記少なくとも２つのCMOS撮像センサの１つめが、前記少なくとも２つのCMOS撮像センサの２つめに対して、90°だけ時計回り方向に回転する、請求項１に記載の内視鏡システム。
【請求項５】
前記少なくとも２つのCMOS撮像センサの１つめが、前記少なくとも２つのCMOS撮像センサの２つめに対して、90°だけ逆時計回り方向に回転する、請求項１に記載の内視鏡システム。
【請求項６】
前記少なくとも２つのCMOS撮像センサの１つに対して、90°だけ時計回り方向又は逆時計回り方向のいずれかに回転する、第３のCMOS撮像センサを更に備える、請求項１に記載の内視鏡システム。
【請求項７】
前記少なくとも２つのCMOS撮像センサの１つに対して、180°だけ時計回り方向又は逆時計回り方向のいずれかに回転する、第３のCMOS撮像センサを更に備える、請求項１に記載の内視鏡システム。
【請求項８】
前記完全な画像は、前記少なくとも２つのCMOS撮像センサのそれぞれ及び前記第３のCMOS撮像センサが走査した画像フレームの結合体である、請求項７に記載の内視鏡システム。
【請求項９】
前記完全な画像は、前記少なくとも２つのCMOS撮像センサのそれぞれが走査した画像フレームの結合体である、請求項１に記載の内視鏡システム。
【請求項１０】
前記少なくとも２つのCMOS撮像センサのそれぞれが、体腔内で、前記内視鏡システムの挿入部の挿入方向に対して、前方向において様々な前方向角度に向けられる、請求項１に記載の内視鏡システム。
【請求項１１】
内視鏡システムの複数の相補型金属酸化膜半導体（CMOS）撮像センサを使用して取得した画像を表示する方法であり、
前記複数のCMOS撮像センサのそれぞれは、上縁と、下縁と、左縁と、右縁とを有し、
前記方法は、
前記複数のCMOS撮像センサのそれぞれを同期させる同期ステップと、
複数の連続した行を通って画像のフレームを走査する走査ステップと、
全ての撮像センサによって走査され、各センサに対して設定されたフレーム時間に対応する画像のフレームをフレームバッファに記憶する記憶ステップと、
記憶された前記画像のフレームを処理して完全な画像を取得する処理ステップと、
前記完全な画像を表示する表示ステップと、を含み、
前記同期ステップは、
少なくとも１つのCMOS撮像センサを除いた前記複数のCMOS撮像センサのそれぞれに対応する画像フレームを記憶する同じ第１開始時間（T0）を設定し、前記複数のCMOS撮像センサの前記少なくとも１つのCMOS撮像センサの画像フレームを記憶する開始時間を第２時間（T-1又はT+1）に設定するステップと、
各撮像センサの走査方向をプログラムするステップと、を含み、
それぞれの走査は、前記複数のCMOS撮像センサのそれぞれの第１縁における行の開始点から開始するとともに前記複数のCMOS撮像センサの反対側の第２縁における行の最終点で終了し、前記走査は前記センサの各行を通って連続的に進行する、画像を表示する方法。
【請求項１２】
前記処理ステップは、走査された前記画像のフレームの方向を所定の方向に合わせる方向合わせステップを含み、
前記完全な画像は、前記複数のCMOS撮像センサのそれぞれが走査した画像のフレームの結合体である、請求項１１に記載の方法。
【請求項１３】
前記第２時間は、第１時間と、画像のフレームを走査するのにかかる時間だけ異なる、請求項１１に記載の方法。
【請求項１４】
前記複数のCMOS撮像センサのそれぞれによって画像を走査するステップを含み、前記画像は動画である、請求項１１に記載の方法。
【請求項１５】
移動中の、前記複数のCMOS撮像センサのそれぞれの撮像センサによって、走査するステップを含む、請求項１１に記載の方法。
【請求項１６】
前記複数のCMOS撮像センサのそれぞれによって走査するステップを含み、前記複数のCMOS撮像センサのそれぞれは、体腔内における前記内視鏡システムの挿入方向に対して、左方向、前方向、右方向、上方向及び下方向を含む群から選択された少なくとも２つの異なる方向を向く、請求項１１に記載の方法。
【請求項１７】
方向合わせステップは、前記完全な走査画像を表示用に再マッピングするステップを含む、請求項１２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
＜関連出願の相互参照＞
本願は、米国特許仮出願第62/093,659号（発明の名称「複数センサの運動を同期させた複数ビュー素子内視鏡システム」、２０１４年１２月１８日出願）に依存する。この仮出願を参照により本明細書に援用する。
【０００２】
本明細書は一般に、相補型金属酸化膜半導体（CMOS）撮像センサを利用する複数ビュー素子内視鏡に関するものである。より具体的には、本明細書は、同期されて画像フレームを撮像してシームレスな画像を生成する、複数の撮像センサを有する複数ビュー素子内視鏡に関するものである。
【背景技術】
【０００３】
内視鏡は、患者の外傷を最小限にしつつ、医師が患者の内部構造を観察しながら医療行為を行う手段を提供するため、医学界で大いに受け入れられてきた。長年にわたり、多数の内視鏡が開発され、特定の用途（例えば膀胱鏡検査、大腸内視鏡検査、腹腔鏡検査、上部消化管内視鏡検査及び他の検査）に従って分類されてきた。身体の自然開口部内に又は皮膚の切り込みを通って内視鏡を挿入することができる。
【０００４】
内視鏡は、その先端側端部に１つ以上のビデオカメラ又は光ファイバレンズアセンブリを有する、硬性又は軟性の、管状の長尺シャフトである。シャフトは、直視用接眼レンズ装置を備えることもあるハンドルに接続される。通常は、外部のスクリーンによって確認することもできる。様々な外科手技を行うために、内視鏡の作業チャンネルを通って様々な処置具を挿入することができる。
【０００５】
内視鏡は、臓器（結腸等）を観察するための前方カメラ及び側方カメラと、それぞれのカメラ又はビュー素子用の照明と、カメラのレンズ及び時折照明をも洗浄するための１つ以上の流体インジェクタと、（例えば結腸内に発見されたポリープを除去するために）処理具を挿入するための作業チャンネルとを有し得る。しばしば、内視鏡は、結腸等の体腔内に挿入して、体腔を洗浄するための流体インジェクタ（「噴出口」）も有する。一般的に使用される照明は、離れた場所で生成された光を、内視鏡の先端部分まで透過する光ファイバである。発光ダイオード（LED）を照明として使用することも知られている。
【０００６】
大部分の内視鏡ビュー素子は、ビュー素子によってローリングシャッター法を利用して画像を撮像する、少なくとも１つの相補型金属酸化膜半導体（CMOS）撮像センサを使用する。ローリングシャッター機構では、複数のフォトダイオード（画素）は、同時には集光しない。同じ期間中に撮像素子のある列の全画素が集光し、各列に対して集光の開始時間及び終了時間をずらしてわずかに相違させる。撮像素子の最上列は、最初に集光を開始する列であり、また最初に集光が完了する列であり、このような手順を「読出し」と呼ぶ。
【０００７】
従来の状況では、集光が最上列から始まり、当該列で左から右の方向に集光を行い、その後、当該手順が最後の列（最下列）に到達するまで下方の次の列に移動する（そして当該列で左から右の方向に集光を行う）。各列において、次の列の集光の開始時点及び終了時点は、前の列と比較してわずかに遅延する。列がリセットされている時間と列の読出時間との間の時間遅延を、積分時間と呼ぶ。ある列をリセットし終える時間と当該列を読出す時間との間の時間の長さを変えることによって、積分時間を制御することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、連続的な積分及び読出のため、ローリングシャッター撮像センサには周知の歪みが存在する。画素の各列は異なる時点の風景を「見ている」ため、ローリングシャッター機構によって撮像される任意の移動物体は歪むこととなる。例を挙げると、目標物体が下から上に移動する場合（すなわち言い換えればビュー素子が上から下に移動する場合）、列の読出方向に基づいて画像は圧縮又は伸長するであろう。
【０００９】
いくつかの複数ビュー素子内視鏡システムにおいて、あるビュー素子は左方向を向くことができ、別のビュー素子は右方向を向くことができる。ビュー素子を、時計回り又は逆時計回りに９０°回転させることができる。２つのビュー素子を時計回りに回転させて同時にクロック入力する（ひいては積分され、例えば左から右に読出される）場合、個々の列の（左から右への）読出について、内視鏡挿入時に、次の列は前の列よりも物理的により遠くの風景を「見る」ため、右側のビュー素子は伸長した物理現象を表示することがある。撮像素子の次の列は前の列よりも物理的により近くの風景を「見る」であろうから、左側のビュー素子は圧縮した物理現象を表示することがある。したがって、複数のローリングシャッターCMOS撮像センサからの読出によって、あるビュー素子からは圧縮された画像を得て、他のビュー素子からは伸長した画像を得ることがある。さらに、物体の画像があるビュー素子から隣接するビュー素子へ移動するときには、複数ビュー素子に対して移動する物体の画像は不連続的に表示されるであろう。
【００１０】
ゆえに、内視鏡内に複数CMOS撮像センサが使用されている場合に、連続的な画像を観察できる撮像システムが求められている。連続的な各列に対して集光の開始時点と終了時点との間の遅延を最小化し、ひいては画像の歪み（伸長及び圧縮を含む）を最小化する撮像システムも求められている。
【課題を解決するための手段】
【００１１】
システム、道具及び方法と関連する、以下の実施形態と実施形態の態様とを説明し図示する。当該実施形態と実施形態とは、例示的かつ説明的とするつもりであり、範囲を限定するものではない。
【００１２】
本明細書は、互いに対して所定の角度だけ回転させた少なくとも２つの相補型金属酸化膜半導体（CMOS）撮像センサであり、少なくとも２つのCMOS撮像センサのそれぞれが４つの縁を有し、少なくとも２つのCMOS撮像センサのそれぞれが画像のフレームを複数の連続した行を通って走査するように構成され、各走査はセンサの第１縁の行の開始点から開始するとともにセンサの反対側の第２縁の行の最終点で終了し、走査はセンサの各行を通って連続的に進行する、CMOS撮像センサと、複数のCMOS撮像センサが走査した画像のフレームを所定の回転角度を用いることによって同期させて、完全な画像を取得する、複数のCMOS撮像センサに接続されたプロセッサと、を備える、内視鏡システムを開示する。
【００１３】
任意に、プロセッサに接続されて、少なくとも２つのCMOS撮像センサが走査した完全な画像を表示する、少なくとも１つのディスプレイを更に備える。
【００１４】
任意に、内視鏡システムは、少なくとも２つのCMOS撮像センサのそれぞれが、少なくとも１つのレジスタを備え、少なくとも１つのレジスタは、少なくとも２つのCMOS撮像センサの１つが実行する走査の方向を制御するために、プロセッサによってプログラムされるように構成される。
【００１５】
少なくとも２つのCMOS撮像センサの１つめは、少なくとも２つのCMOS撮像センサの２つめに対して、90°だけ時計回り方向に回転することができる。少なくとも２つのCMOS撮像センサの１つめが、少なくとも２つのCMOS撮像センサの２つめに対して、90°だけ逆時計回り方向に回転することができる。
【００１６】
完全な画像を、少なくとも２つのCMOS撮像センサのそれぞれが走査した画像のフレームの結合体とすることができる。
【００１７】
任意に、少なくとも２つのCMOS撮像センサのそれぞれが、体腔内で、内視鏡システムの挿入部の挿入方向に対して、前方向において様々な前方向角度に向けられる。
【００１８】
任意に、内視鏡システムは、少なくとも２つのCMOS撮像センサの１つに対して、90°だけ時計回り方向又は逆時計回り方向のいずれかに回転する、第３のCMOS撮像センサを更に備える。
【００１９】
任意に、内視鏡システムは、少なくとも２つのCMOS撮像センサの１つに対して、180°だけ時計回り方向又は逆時計回り方向のいずれかに回転する、第３のCMOS撮像センサを更に備える。完全な画像を、少なくとも２つのCMOS撮像センサのそれぞれ及び第３のCMOS撮像センサが走査した画像フレームの結合体とすることができる。
【００２０】
本明細書は、所定の角度だけ回転し、それぞれが画像のフレームを複数の連続した列を通って走査する、１つ以上の相補型金属酸化膜半導体（CMOS）撮像センサと、複数のCMOS撮像センサに接続されるとともに複数のCMOS撮像センサが走査した画像のフレームを、前記角度の回転を用いて完全な画像を取得することによって同期させるプロセッサと、を備え、それぞれの撮像センサは４つの縁を有し、それぞれの走査は、センサの第１縁における行の開始点から開始するとともにセンサの反対側の第２縁における行の最終点で終了し、走査はセンサの各行を通って連続的に進行する、内視鏡システムも開示する。
【００２１】
任意に、内視鏡システムは、プロセッサに接続されて、複数のCMOS撮像センサが走査した完全な画像を表示する少なくとも１つのディスプレイを更に備える。任意に、複数のCMOS撮像センサのそれぞれは少なくとも１つのレジスタを備え、センサが実施する走査の方向を制御するために、レジスタをプロセッサでデジタルシリアルインタフェースによってプログラムすることができる。
【００２２】
任意に、複数のCMOS撮像センサのそれぞれを物理的に回転させて、画像のフレームを複数の連続した行を通って走査する。任意に、複数のCMOS撮像センサの少なくとも１つを、時計回り方向に90°だけ回転させ、又は逆時計回り方向に90°だけ回転させる。複数のCMOS撮像センサの回転は、時計回り方向に90°だけ回転させたものと、逆時計回り方向に90°だけ回転させたものとの組み合わせである。任意に、複数のCMOS撮像センサの少なくとも１つを180°だけ回転させる。
【００２３】
完全な画像は、各撮像センサが走査する画像のフレームの結合体とすることができる。
【００２４】
任意に、各撮像センサは、体腔内における内視鏡システムの挿入部の挿入方向に対して、左方向、前方向、右方向、上方向及び下方向の１つを向く。更に任意に、各撮像センサは、体腔内で、内視鏡システムの挿入部の挿入方向に対して、前方向において様々な前方向角度に向けられる。
【００２５】
本明細書は、内視鏡システムの複数の相補型金属酸化膜半導体（CMOS）撮像センサを使用して取得した画像を表示する方法であり、複数のCMOS撮像センサのそれぞれは、上縁と、下縁と、左縁と、右縁とを有し、方法は、複数のCMOS撮像センサのそれぞれを同期させる同期ステップと、複数の連続した行を通って画像のフレームを走査する走査ステップと、全ての撮像センサによって走査され、各センサに対して設定されたフレーム時間に対応する画像のフレームをフレームバッファ記憶する記憶ステップと、記憶された画像のフレームを処理して完全な画像を取得する処理ステップと、完全な画像を表示する表示ステップと、を含み、同期ステップは、少なくとも１つのCMOS撮像センサを除いた複数のCMOS撮像センサのそれぞれに対応する画像フレームを記憶する同じ第１開始時間（T0）を設定し、複数のCMOS撮像センサの少なくとも１つのCMOS撮像センサの画像フレームを記憶する開始時間を第２時間（T-1又はT+1）に設定するステップと、各撮像センサの走査方向をプログラムするステップと、を含み、それぞれの走査は、複数のCMOS撮像センサのそれぞれの第１縁における行の開始点から開始するとともに複数のCMOS撮像センサの反対側の第２縁における行の最終点で終了し、走査はセンサの各行を通って連続的に進行する、画像を表示する方法も開示する。
【００２６】
任意に、処理ステップは、走査された画像のフレームの方向を所定の方向に合わせる方向合わせステップを含み、完全な画像は、複数のCMOS撮像センサのそれぞれが走査した画像のフレームの結合体である。
【００２７】
第２時間は、第１時間と、画像のフレームを走査するのにかかる時間だけ異なることができる。
【００２８】
任意に、画像は動画であり、又は複数のCMOS撮像センサのそれぞれは移動中である。
【００２９】
任意に、複数のCMOS撮像センサのそれぞれは、体腔内における内視鏡システムの挿入方向に対して、左方向、前方向、右方向、上方向及び下方向を含む群から選択された少なくとも２つの異なる方向を向く。任意に、方向合わせステップは、完全な走査画像を表示用に再マッピングするステップを含む。
【００３０】
本発明の上述した実施形態及び他の実施形態を、図面及び下記の詳細な説明で更に深く説明するものとする。
【図面の簡単な説明】
【００３１】
【図１】本明細書のいくつかの実施形態に従う、複数ビュー素子の内視鏡システムを表す。
【図２】従来の相補型金属酸化膜半導体（ＣＭＯＳ）撮像センサを示す。
【図３ａ】本願の明細書の様々な実施形態に従う、標準的なセンサを時計回り方向に回転させることによって得られるセンサを示す。
【図３ｂ】本願の明細書の様々な実施形態に従う、標準的なセンサを逆時計回り方向に回転させることによって得られるセンサを示す。
【図３ｃ】本願の明細書の様々な実施形態に従い、レジスタの設定を変更することによって生成される複数の画像を示す。
【図４】本明細書のいくつかの実施形態に従い、複数の撮像センサを有する内視鏡の動作方法を示すフローチャートである。
【図５】本明細書のいくつかの実施形態に従い、複数ビュー素子内視鏡システム内に配置された、左向きセンサ、前向きセンサ及び右向きセンサを含む、３つのセンサを示す。
【図６】本明細書のいくつかの実施形態に従い、複数ビュー素子内視鏡システム内に配置された、左向きセンサ、前向きセンサ、右向きセンサ、上向きセンサ及び下向きセンサを含む、５つのセンサを示す。
【図７】本明細書のいくつかの実施形態に従い、複数ビュー素子内視鏡システム内に配置された、左向きセンサ、前向きセンサ、右向きセンサ及び上向きセンサを含む、４つのセンサを示す。
【図８】本明細書のいくつかの実施形態に従い、複数ビュー素子内視鏡システム内に配置された、左向きセンサ、前向きセンサ、右向きセンサ及び下向きセンサを含む、４つのセンサを示す。
【図９】いくつかの実施形態に従う、マスタークロック、垂直同期クロック及び撮像センサの論理回路、仮想回路又は物理的回路を示す。
【図１０】本願の明細書の様々な実施形態に従う内視鏡システムに組込まれたCMOS撮像センサのブロック図を示す。
【発明を実施するための形態】
【００３２】
添付の図面に関連して考慮するときに、以下の詳細な説明を参照することでより良く理解しながら、本発明のこれらの構成、他の構成及び利点を更に認識するであろう。
【００３３】
本明細書は、内視鏡の集積回路基板上の従来のセンサ方向に対して、時計回りに９０°回転し、逆時計回りに９０°回転し又は１８０°回転する、複数の撮像センサを有する複数ビュー素子内視鏡システムに向けたものである。センサは回路基板に固定され、内視鏡を最初に組立てた後、センサは当該回路基板に対して動かない。１つ以上のセンサの走査開始時間を、残りのセンサに対して遅延させることができる。また、集積回路基板に含まれる少なくとも１つのレジスタをプログラムすることによって、各センサの他の各センタに対する走査方向を変えることができる。走査開始時間をずらし、回転する撮像センサの走査方向を調整することで、クリーナーを生成でき、画像走査中に生じる画像アーティファクトの量を減少させて、シームレスな画像を得ることができる。
【００３４】
本明細書は、複数の実施形態に向けたものである。以下の開示を、当業者が本発明を実施できるようにするために提供する。この明細書で使用される文言は、任意の具体的な実施形態の一般的な否定として解釈されるべきではなく、当該文言を用いて、特許請求の範囲で使用される用語の意味を超えて特許請求の範囲を限定するべきでない。本明細書で特徴付ける一般的な原理を、本発明の精神及び範囲から離れることなく、他の実施形態及び応用に適用することができる。また、専門用語及び表現は、例示的な実施形態を説明するために使用され、限定するものと見なすべきではない。したがって、本発明は、開示された原理及び構成と調和する多数の代替手段、変更、及び均等物を包含する最も広い範囲と合致する。明瞭さのため、本発明に関連する技術分野で知られる技術項目に関する詳細を、本発明をいたずらに不明瞭としないように、詳細に説明しない。
【００３５】
なお、本明細書で言及される用語「内視鏡」は、特にいくつかの実施形態に従う大腸内視鏡及び胃内視鏡を指すが、大腸内視鏡検査及び／又は胃内視鏡検査のみに限定されるものではなく、産業用途等の他の用途にも利用することができる。用語「内視鏡」は、体の中空の器官又は腔の内部を検査するために使用される任意の器具を指すことができる。また、用語「ビュー素子」は相補型金属酸化膜半導体（CMOS）撮像センサを備えるビュー素子を指すことができ、それゆえに用語「ビュー素子」を用語「撮像センサ」と同じ意味で使用することができる。
【００３６】
これから、いくつかの実施形態に従う複数ビュー素子内視鏡システム100を表す、図１を参照する。システム100は、複数ビュー素子内視鏡102を備えることができる。複数ビュー素子内視鏡102はハンドル104を備えることができ、ハンドル104から長尺シャフト106が現れる。長尺シャフト106は、椎骨機構等の屈曲部110によって回動できる先端部108で終端する。長尺シャフト106を体腔内で操作するためにハンドル104を使用することができる。ハンドルは、屈曲部110を制御し、流体噴射又は流体吸引等の機能を制御する、１つ以上のボタン、ノブ及び／又はスイッチ105を備えることができる。ハンドル104は、作業チャンネル開口部112と、１つ以上の側方サービスチャンネル開口部とを更に備えることができ、作業チャンネル開口部112を通して処置具を挿入することができる。
【００３７】
ユーティリティケーブル114は、ハンドル104と主制御装置（MCU）116との間を接続することができる。ユーティリティケーブル114はその中に、１つ以上の流体チャンネルと、１つ以上の電気チャンネルとを備えることができる。電気チャンネルは、前方及び側方向きビュー素子からビデオ信号を受信するための少なくとも１本のデータケーブルと、当該ビュー素子及び別個の照明に電力を供給するための少なくとも１本の電源ケーブルを備えることができる。主制御装置（MCU）116は、内視鏡の複数の動作機能を管理する。例えば、主制御装置（MCU）116は、内視鏡102の先端部分108の、例えば先端部分のビュー素子及び照明等への送電を管理することができる。主制御装置（MCU）116は、内視鏡102へ対応する機能性をもたらす、１つ以上の流体、液体及び／又は吸引ポンプを更に制御することができる。人間が主制御装置（MCU）116と対話するために、１つ以上の入力デバイス（キーボード118等）を主制御装置（MCU）116へ接続することができる。別の構成（図示せず）では、同じケース内で、キーボード等の入力デバイスを主制御装置（MCU）116と統合することができる。
【００３８】
ディスプレイ120を主制御装置（MCU）116に接続することができ、複数ビュー素子内視鏡102のビュー素子から受け取った、画像及び／又はビデオストリームを表示するようにディスプレイ120を構成することができる。ディスプレイ120は、人間の操作者がシステム100の様々な構成を設定できるユーザインタフェースを表示するように更に動作できる。
【００３９】
任意に、ディスプレイ120に、複数ビュー素子内視鏡1022の様々なビュー素子から受け取ったビデオストリームを、別個に表示することができる。ビデオストリームを、並べて表示し、又は交互に表示することができる（すなわち、操作者は様々なビュー素子からの眺めを手動で切り替えることができる）。あるいは、これらのビデオストリームを主制御装置（MCU）116で処理して、複数のビュー素子の視野間の重ね合わせに基づいて、パノラマ式の単一のビデオフレームに結合することができる。
【００４０】
別の構成（図示せず）では、２つ以上のディスプレイを主制御装置（MCU）116に接続して、複数ビュー素子内視鏡の異なるビュー素子からのビデオストリームをそれぞれ表示することができる。
【００４１】
図２は、従来のCMOS撮像センサ200を示す。上述したように、矢印1、2及び3は、センサ200がセンサ200の視野で一般に行う画像の走査の方向を示す。読出の手順である走査は、当業者が既知のローリングシャッター法を用いて行われる。この方法では、センサが視野を速やかに走査することで、静止画又はビデオのフレームを撮像する。各撮像センサ（センサ200等）は、左縁200a、右縁200b、上縁200c及び下縁200dの４つの縁を有する。図２において、矢印1は列読出開始点を示し、矢印1は左縁200aから始まり上縁200cに沿って延びる方向を示す。矢印2は、複数列中の走査の進行方向を示す。列の数は一般に、低分解能センサの480列から、高分解能アレイの4000列に及ぶ。ここで、走査は上縁200cに沿った最上列から、下縁200dに沿った最下列に向かって進行する。矢印3は列読出終了点を示し、矢印3は下縁200dに沿って延びる方向を示す。標準的なCMOSセンサ（センサ200等）は、このように各列において水平方向で左から右に走査し、垂直下方の列に上縁200cから始まり下縁200dまで進行する。
【００４２】
様々な実施形態において、標準的なセンサ（図２に示すセンサ200等）を、時計回り方向又は逆時計回り方向に回転させる。図３ａは、本明細書の一実施形態に従う、標準的なセンサ（図２に示すセンサ200等）を時計回り方向に回転させることによって得られる、センサ300を示す。センサ300は、左縁300a、右縁300b、上縁300c及び下縁300dの４つの縁を有する。図２及び３ａを同時に参照して、図３ａの左縁300aは図２の下縁200dに対応し、図３ａの右縁300bは図２の上縁200cに対応し、図３ａの上縁300cは図２の左縁200aに対応し、図３ａの下縁300dは図２の右縁200bに対応する。図３ｂは、本明細書の一実施形態に従う、標準的なセンサ（図２に示すセンサ200等）を逆時計回り方向に回転させることによって得られる、センサ310を示す。センサ310は、左縁310a、右縁310b、上縁310c及び下縁310dの４つの縁を有する。図２及び３ｂを同時に参照して、図３ｂの左縁310aは図２の下縁200cに対応し、図３ｂの右縁310bは図２の下縁200dに対応し、図３ｂの上縁310cは図２の右縁200bに対応し、図３ｂの下縁310dは図２の左縁200aに対応する。実施形態において、CMOSセンサを時計回り方向に90°回転させることができ、又はCMOSセンサを逆時計回り方向に90°回転させることができる。図２のセンサ200に類似する複数センサを備える内視鏡システムの実施形態では、複数の従来センサの回転を、時計回り方向に90°又は逆時計回り方向に90°の組み合わせとすることができる。他の実施形態では、センサを180°だけ回転させることができる。
【００４３】
この回転の結果、左縁から右縁まで走査される列も回転し、水平方向から垂直方向に位置合わせされる。図３ａを参照して、目下走査は、開始点（上縁300c等）から最終点（下縁300d等）に向かう行で行われ、これに対して図２に示す従来のセンサ200では、左縁200aから右縁200bへ向かう列で走査が行われる。従来各センサによって複数の連続的な列を通して走査されていた画像は、目下複数の連続的な行を通して、各行の上縁300cと下縁300dとの間の方向で走査される。
【００４４】
当業者は、用語「列」を使用してセンサ200の水平読出方向を説明する一方、用語「行」を使用してセンサ300、310の垂直読出方向を説明することを理解するであろう。残りの図及び明細書の目的上（図２の従来技術は例外であることに言及しつつ）、矢印1は一般にセンサの行読出開始点及び方向を示し、矢印2は一般に複数行にわたるセンサの読出方向を示し、矢印3は一般にセンサの行読出終了点及び方向を示す。
【００４５】
図３ａは、センサ200の向きに対して時計回り方向に90°回転させたセンサ300を示す。いくつかの実施形態では、センサ300の回転は、内視鏡を組立ててセンサを内視鏡の集積回路基板に固定的に装着している間に、従来のセンサ（図２のセンサ200等）を時計回りに90°だけ物理的に回転させることによって得られる。言い換えれば、いくつかの実施形態では、内視鏡を組立てると、センサ300は、図２に示す、従来技術の内視鏡の標準的なCMOSの向きに対して90°だけ時計回りに回転した向きで固定されている。センサ300の読出は、右縁300bの最上部とすることができる最初の縁から始まり、ある行を通じて、矢印1で示される方向である垂直下方に進行する。矢印2は、個々の行にわたる進行の読出開始点及び方向を示す。いくつかの実施形態では、内部レジスタを使用して走査方向を変える。例えばいくつかの実施形態では、複数行にわたる進行における読出開始点及び方向を、右縁300bに沿った行（右行）から左縁300aに沿った行（左行）の最終縁に向かうものとすることができ、逆もまた同様である。様々な実施形態において、読出はセンサ300内の２つの両側の縁の間で進行する。読出の進行を独立して又は同時に行うことができ、これによって最大４つの読出開始点及び方向が可能である。矢印3は、行読出終了点及び方向を示す。
【００４６】
図３ｂは、センサ200の向きに対して逆時計回り方向に90°回転させたセンサ310を示す。いくつかの実施形態では、センサ310の回転は、内視鏡を組立ててセンサを内視鏡の集積回路基板に固定的に装着している間に、従来のCMOSセンサ（センサ200等）を逆時計回りに90°だけ物理的に回転させることによって得られる。言い換えれば、いくつかの実施形態では、内視鏡を組立てると、センサ310は、図２に示す、従来技術の内視鏡の標準的なCMOSセンサの向きに対して90°だけ逆時計回りに回転した向きで固定されている。センサ310の読出は、左縁310aの最下部とすることができる最初の縁から始まり、ある行を通じて、矢印1で示される方向である垂直上方に進行する。矢印2は、個々の行にわたる進行の読出開始点及び方向を示す。いくつかの実施形態では、内部レジスタを使用して走査方向を変える。例えば、いくつかの実施形態では、複数行にわたる進行における読出開始点及び方向を、左縁310aに沿った行（左行）から右縁310bに沿った行（右行）の最終縁に向かうものとすることができ、逆もまた同様である。様々な実施形態において、読出はセンサ310内の２つの両側の縁の間で進行する。読出の進行を独立して又は同時に行うことができ、これによって最大４つの読出開始点及び方向が可能である。矢印３は、行読取終了点及び方向を示す。
【００４７】
他の実施形態では、センサを所望の方向に回転させるために、回転部材をセンサ（図３ａのセンサ300及び図３ｂのセンサ310等）に取り付ける。回転部材と連結する小型モータは、回転部材を移動させるコントローラにより回転を可能にする。これらの実施形態では、センサは内視鏡の組立中に集積回路基板に対して固定されず、当該回転部材及び小型モータを使用することで、内視鏡の動作中にセンサを当該回路基板に対して90°ごとの増加量で回転させることができる。
【００４８】
いくつかの実施形態では、内部レジスタを使用して、行方向の走査を列方向の走査に変え、逆もまた同様であり、列走査を左方向から右方向へ変え、逆もまた同様であり、及び／又は行走査を上方向から下方向へ変えることができ逆もまた同様である。例えば、一実施形態において図３ｂを参照して、センサ310の読出は、左縁310aの最下部とすることができる最初の縁から始まり、ある行を通じて、矢印1で示される方向である垂直上方に進行する。矢印2は、個々の行にわたる進行の読出開始点及び方向を示す。いくつかの実施形態では、複数行にわたる進行における読出開始点及び方向を、左縁310aに沿った最下行（左行）の角から右縁310bに沿った行（右行）に向かうものとすることができ、逆もまた同様である。
【００４９】
実施形態において、適切な内部レジスタを設定して走査方向を変えることによって、図３ａ及び３ｂそれぞれの回転したセンサ300及び310をプログラムする。複数のCMOS撮像センサに接続されたプロセッサは、複数の撮像センサによる走査を同期させ、完全な走査画像の方向を合わせる。ここで完全な走査画像とは、各撮像センサが走査した画像の結合体である。実施形態において、プロセッサは図３ａのセンサ300に接続される。プロセッサは、内視鏡システムにおいて、センサ300による走査を他のセンサと同期させて、完全な走査画像を生成することができる。実施形態において、完全な走査画像とは、各撮像センサが走査した画像の結合体である。ある実施形態では、内視鏡システムの電源が投入されて初期化されるときにプログラミングをリアルタイムで行う。実施形態において、センサ300は、当該センサの動作用にプログラムされる１つ以上の内部レジスタを含む。これらのレジスタは、アナログゲイン設定、積分時間及び内部電圧等の様々な設定を可能とし得る。複数行にわたる走査を行うように、センサ内の前記１つ以上のレジスタを設定することで、走査方向をプログラムすることができる。この複数行にわたる走査は、いずれにしても、左方の行から右方の行まで又は右方の行から左方の行まで、最下部の角又は最上部の角から行われる。
【００５０】
様々な実施形態において、１つ以上のレジスタの設定の変更によって、センサに当該センサの異なる角から画像の読出を開始させる。センサ自体は、組立中に初期構成から90°時計回りに若しくは逆時計回りに又は180°最初に回転した後、走査中には物理的に移動しない。むしろ、様々な実施形態において、レジスタの設定を変更することによって、鏡像、反転画像又は反転した鏡像を走査することができる。図３ｃには、レジスタの設定を変更していない第１の走査画像322が示されている。レジスタの「鏡像」設定を変更することで画像324を生成し、レジスタの「反転」を変更することで画像326を生成する。レジスタの「鏡像」設定及び「反転」設定の両方を変更することで、画像328を生成する。実施形態において、シリアルインタフェース（I2C、SPI又は他の任意のシリアルデジタルインタフェース等）によってレジスタを設定することができる。
【００５１】
実施形態において、センサ（図３ａのセンサ300等）の様々な構成を組み合わせて、複数の撮像センサを有する内視鏡システムを動作させる。それぞれの撮像センサ又はビュー素子は、その視野から風景の読出を行う。複数のビュー素子からのフレームを結合して単一の画像を生成する。撮像センサは90°だけ回転しているため、撮像センサが生成する出力はもはやある列の水平方向の読取結果ではなく、最上列から最下列までの読取結果であり、その他の点では従来の標準的なセンサ及びディスプレイと同じである。本明細書で説明する実施形態において、撮像センサは、２つの両側の縁の間を走査する。例えば両側の縁の間とは、ビュー素子の構成によって、複数行にわたり上縁から下縁まで、左行から右行まで又は右行から左行までである。その結果、各センサから集められて、単一の完全な画像を生成するために結合されたデータはバッファに記憶され、当該画像を表示するモニタに対して適切な向きに再マッピングされる。任意に、様々なセンサから受け取ったビデオストリームを、別々に、並べて又は交換可能にディスプレイに表示することができる。すなわちオペレータは手動で様々なビュー素子からの眺めの間で切り替えることができる。他の構成では、２つ以上のディスプレイを利用して、マルチビュー素子内視鏡の各センサからの画像を表示することができる。
【００５２】
複数ビュー素子内視鏡の実施形態において、ビュー素子の数を変えることができる。いくつかの実施形態では、内視鏡は、２つのビュー素子、３つのビュー素子、５つのビュー素子又は内視鏡の動作に対して適切な他の任意の数のビュー素子を備えることができる。例えば、内視鏡システムは、体腔内における内視鏡挿入部の挿入方向に対して、右方向、前方向、左方向、上方向又は下方向を含む群からなる異なる方向を向く２つのセンサを備えることができる。あるいは、内視鏡システムは、同じ方向（前方向等）を向き視野角が異なる、２つのセンサを備えることができる。複数ビュー素子内視鏡において、少なくとも１つのビュー素子を、体腔内における内視鏡挿入部の前方挿入方向である、前方向を向くように方向付けることができる。このビュー素子を、前向き撮像センサと呼ぶことができる。他の１つ以上のビュー素子を、前向きビュー素子の周りの様々な方向及び反対側の方向に対称に向けることができる。これらのビュー素子は、左方90°の方向を向くように（実質的に横向きに）方向付けて左向きセンサと呼ぶことができ、右方90°の方向を向くように（実質的に横向きであり、左方を向くビュー素子に対して反対方向に）方向付けて右向きセンサと呼ぶことができ、上方90°の方向を向くように方向付けて上向きセンサと呼ぶことができ、又は下方90°の方向を向くように（上方を向くビュー素子に対して反対方向に）方向付けて下向きセンサと呼ぶことができる。
【００５３】
図４は、いくつかの実施形態に従い、複数撮像センサを有する内視鏡の動作方法を示すフローチャートである。各撮像素子は、上縁、下縁、左縁及び右縁を含む。最初に、複数撮像センサ内視鏡システムの各撮像素子を同期させる。同期化は少なくともステップ402及び404を含む。402では、少なくとも１つの撮像センサを除くすべての撮像センサに対して、フレーム走査を開始する第１開始時間（T0、「フレーム時間」とも呼ぶ）を設定する。例えば、左向き撮像センサを除いて、前向き撮像センサと他の全ての撮像センサとをT0に設定する。残った撮像センサ（例えば左向き撮像センサ）を第２フレーム時間（T+1又はT-1）に設定して当該時間に走査を開始する。T+1は、時間T0に開始したフレーム走査が完了した時間に対応する時間に開始する、フレーム時間を指すことができる。同様に、T-1は、開始時間T0よりもあるフレームを走査するための所要時間だけ前に開始する、フレーム時間を指すことができる。このように、少なくとも１つの撮像センサが、他の全ての撮像センサが走査を開始する１フレーム前又は１フレーム後の異なる時間に、走査を開始するように設定される。
【００５４】
404では、各撮像センサの走査方向をプログラムする。適切な内部レジスタを設定して撮像センサの走査方向を変えることによって、走査方向をプログラムすることができる。一実施形態では、プログラミングによって走査開始点を決めることができる。ある実施形態では、内視鏡システムの電源が投入されて初期化されるときにプログラミングをリアルタイムで行う。ある実施形態では、各撮像センサは、各センサの動作用にプログラムされる複数の内部レジスタを含む。これらのレジスタは、アナログゲイン設定、積分時間及び内部電圧等の様々な設定を可能とし得る。複数行にわたる走査を行うように、センサ内の少なくとも１つのレジスタ（単一のレジスタ又は複数のレジスタ）を設定することで、走査方向をプログラムすることができる。この複数行にわたる走査は、左方の行から右方の行まで又は右方の行から左方の行まで行われる。走査が開始する行を開始縁と呼ぶことができ、走査を最後に実行する行を最終縁と呼ぶことができる。実施形態において、シリアルインタフェース（I2C、SPI又は他の任意のシリアルデジタルインタフェース等）によってレジスタを設定することができる。
【００５５】
406において、走査は各撮像センサによる同期に基づいて開始する。図３を参照して説明したように、各センサによって、画像が連続した複数行を通して、各行の開始縁と最終縁との間の方向に走査される。前のステップにおけるプログラミングは、各撮像センサの走査方向を決定する。各撮像素子は、左縁、右縁、上縁及び下縁の４つの縁を有する。いくつかの実施形態において、続く図を参照して説明されるように、左方向を向いて方向付けられる撮像センサを、前向きセンサを含む他のセンサに対して、フレーム時間T+1又はT-1で走査を開始するように設定する。これは、左向きセンサ及び前向きセンサがそれらの右縁から走査を開始する場合に、左向きセンサの右縁の行へのクロック入力（統合又は露光）を、前向きセンサの左側縁の行へのクロック入力と同時に行うためのものである。最初の行から最後の行まで読み取るために全フレーム時間が費やされる。そのため、左向きセンサが１フレームだけずれていない場合、左向きセンサの縁の行は、前向きセンサの縁の行から、１全フレーム時間離れるであろう。したがって、ずれ（オフセット）がないと、センサが風景を撮像している間に動いた場合に、不連続が生じることがある。
【００５６】
ある実施形態において、撮像センサが走査開始時間を同期させるためには、動作用マスタークロック及び垂直同期クロックが必要となる。図９は、いくつかの実施形態に従う、マスタークロック902、垂直同期クロック904並びに撮像センサ906、908及び910の例示的ネットワークを示す。マスタークロック902は、時間的展望から、内視鏡の集積回路基板に指示を与える。フレームの開始を同期させるために、垂直同期904をすべての撮像センサ906、908及び910に対して共通とすることができる。垂直同期クロック904を、マスタークロック902の外部のものとし、マスタークロック902から独立させる。垂直同期クロック904は、各センサにフレーム（走査）を開始させるよう命じる外部信号を生成する。垂直同期クロック904は、全てのセンサを同時に走査するように設定することで、全てのセンサが同期されて同時に走査を開始することを確保する。複数の撮像センサ906、908及び910が同期されていない場合には、撮像センサはフリーランとなり、撮像センサが撮像する画像は同期されず各センサからの風景間で動きが不連続となる。様々な実施形態において、垂直同期クロック604は、毎秒1フレームから毎秒300フレームの範囲に設定されるフレームレートを決定する。ある実施形態では、フレームレートは毎秒30フレームに設定される。他の実施形態では、フレームレートは毎秒15フレームに設定される。図９は３つのセンサを備える実施形態を示しているが、代替的実施形態では他の任意の数のセンサに対して類似するネットワークを利用できることが理解されるはずである。
【００５７】
図４で説明する方法に戻ると、408では、各センサに対して設定されたフレーム時間に対応する走査フレームが、メモリに記憶される。センサがオンボードメモリを持たないことも可能であり、センサがフレームデータを記憶できないことも可能である。したがって、ある実施形態では、フレームバッファが内視鏡システムに組込まれて左向きセンサの時間T-1からのフレームを記憶し、他のセンサの時間T0からのフレームを待つ。あるいは、ある実施形態では、フレームバッファは他の全てのセンサの時間T0からのフレームを記憶し、左向きセンサの時間T+1のフレームを待つ。
【００５８】
任意に、410では、各センサが走査してメモリに記憶されたフレームが結合され方向合わせされて、完全な走査画像を形成する。本明細書で説明する実施形態では、ビュー素子の構成によって、撮像センサは左から右へ又は右から左へ（複数行にわたって水平方向に）走査する。その結果、各センサから集められたデータを結合して単一の完全な画像を生成することができ、当該画像は、バッファに記憶されモニタに対して適切な向きに再マッピングされる。412では、適切に方向合わせされた画像を、モニタのディスプレイに伝達する。任意に、様々なセンサから受け取ったビデオストリームを、別々に、並べて又は交換可能にディスプレイに表示することができる。すなわちオペレータは手動で様々なビュー素子からの眺めの間で切り替えることができる。他の構成では、２つ以上のディスプレイを利用して、マルチビュー素子内視鏡の各センサからの画像を表示することができる。
【００５９】
図４のフローチャートの状況で説明した方法を、様々な複数ビュー素子内視鏡の構成に適用することができる。この複数ビュー素子内視鏡は例えば２つのビュー素子、３つのビュー素子、４つのビュー素子又は５つのビュー素子の内視鏡であるが、これらに限定されるものではない。図５は、いくつかの実施形態に従い、図４とともに説明した方法の実施形態を利用した、３つのセンサの動き同期化を示す。図５を参照して、３つのセンサは、複数ビュー素子内視鏡システムに配置された左向きセンサ502、前向きセンサ504及び右向きセンサ506を含む。センサ502、504及び506は、図２の標準的なセンサ200に対して、90°だけ時計回り方向に回転している。各撮像センサ502、504及び506は、上縁、下縁、右縁及び左縁を含む４つの縁を有する。各撮像センサ502、504及び506に関して、初期化中に走査の方向を設定することができる。いくつかの実施形態において、同期クロック（図９の垂直同期クロック904等）は、全てのセンサが同時に初期化されることを確保する。いくつかの実施形態において、シリアルコマンドインタフェースによって走査方向を設定する。走査は、連続した複数行を通して、右縁から開始して連続的に左縁に向かい、各行において上縁から下縁に向かって進行する。実施形態において、左向きセンサ502は、左向きセンサ502の右縁508の最上部から走査を開始し、左向きセンサ502の左縁510に向かって進行する。前向きセンサ504は、前向きセンサ504の右縁512の最上部から走査を開始し、前向きセンサ504の左縁514に向かって進行する。右向きセンサ506は、右向きセンサ506の左縁518の最上部から走査を開始し、右向きセンサ506の右縁516に向かって進行する。右向きセンサ506は、左向きセンサ502の鏡像実施形態とすることができ、右向きセンサ506の走査方向は、左縁518から開始して連続的に右縁516に向かい、各行において上縁から下縁に向かうことができる。
【００６０】
この実施形態の状況において図４を参照して、402及び404では、撮像センサ502、504及び506を同期させる。前方及び右方を向いた撮像センサ504及び506に対するフレーム時間を、同期中に、第１時間（T0）に設定する。センサ502のフレームを第２時間（T+1又はT-1）に設定する。センサ502のフレームは、センサ504及び506からのフレームよりも前のあるフレーム又は後のあるフレームである。上述したように、各撮像センサに対して、同期中に走査方向もプログラムする。
【００６１】
406において、画像の走査は、各撮像センサによって行われ、同期に基づく。408において、センサ504及び506の時間T0からのフレームを結合し、ディスプレイに送信する。ある実施形態において、センサがオンボードメモリを持たないことも可能であり、センサがフレームデータを記憶できないことも可能である。したがって、ある実施形態では、フレームバッファを内視鏡システムに組込んでセンサ502の時間T-1からのフレームを記憶することができ、センサ504及び506の時間T0からのフレームを待つ。あるいは、ある実施形態では、フレームバッファはセンサ504及び506の時間T0からのフレームを記憶し、センサ502の時間T+1のフレームを待つ。上述したように、第２時間を、第１時間とフレームを走査するのにかかる時間だけ相違させることができる。
【００６２】
図６を参照して、いくつかの実施形態に従い、５つのセンサは、左向きセンサ602、前向きセンサ604、右向きセンサ606、上向きセンサ608及び下向きセンサ610を含み、複数ビュー素子内視鏡システムに配置される。図６は、５つのセンサを含み、図５の３つのセンサが生成する画像と比較したときに、より大きくよりパノラマ式の画像を生成する。センサ602、604、606、608及び610は、図２の標準的なセンサ200に対して、90°だけ時計回り方向に回転している。さらに、ある実施形態では、センサ602、604及び610の走査方向は、走査がこれらセンサの上縁から開始し、連続してこれらセンサの左縁に向かって進行するような方向である。しかしながら、センサ606及び608の走査方向は、後に説明するように相違する。各撮像センサ602、604、606、608及び610は、上縁、下縁、右縁及び左縁を含む４つの縁を有する。
【００６３】
各撮像センサ602、604、606、608及び610に関して、初期化中に走査方向を設定することができる。各撮像センサ602、604、606、608及び610の時間領域を設定して、生成される画像のモーションアーティファクトを最小化させる。例えば、センサ602及び604に関する時間領域をT0に設定できる一方、センサ606に関する時間領域をT+1又はT-1に設定して、内視鏡が水平方向に動くときに生成されるモーションアーティファクトを最小化する。いくつかの実施形態において、同期クロック（図９の垂直同期クロック904等）は、同じ領域時間に設定された全てのセンサが同時に初期化されることを確保する。いくつかの実施形態において、走査方向をシリアルコマンドインタフェースによって設定する。走査は、連続した複数行を通して、右縁から開始して連続的に左縁に向かい又は左縁から開始して右縁に向かい、各行において上縁から下縁に向かって又は下縁から上縁に向かって進行する。実施形態において、左向きセンサ602は、左向きセンサ602の右縁638の最上部から走査を開始し、左向きセンサ602の左縁636に向かって進行する。前向きセンサ604は、前向きセンサ604の右縁612の最上部から走査を開始し、前向きセンサ604の左縁614に向かって進行する。右向きセンサ606は、左向きセンサ602の鏡像実施形態とすることができ、右向きセンサ606の走査方向は、右向きセンサ606の左縁618の最上部から開始して連続的に右縁616に向かって進行し、各行において上縁から下縁に向かうことができる。実施形態において、上向きセンサ608は、左向きセンサ602を垂直方向に反転させた実施形態である。センサ608の走査方向は、センサ608の右縁626の最下部から開始することができ、連続的にセンサ608の左縁624に向けて、各行において下縁から上縁に向けて進行する。センサ608に、上から下にクロック入力する代わりに、下から上にクロック入力することで、反転した実施形態を得ることができる。下向きセンサ610は、下向きセンサ610の右縁630の最上部から走査を開始し、下向きセンサ610の左縁628に向かって進行する。
【００６４】
この実施形態の状況において図４を参照して、402及び404では、撮像センサ602、604、606、608及び610を同期させる。例示的実施形態において、撮像センサ604、606、608及び610に対するフレーム時間を、同期中に、第１時間（T0）に設定する。センサ602のフレームを第２時間（T-1又はT+1）に設定する。センサ602のフレームは、センサ604、606、608及び610からのフレームよりも前のあるフレーム又は後のあるフレームである。他の実施形態では、様々な撮像センサ602、604、606、608及び610に対するフレーム時間を、T0、T-1又はT+1に設定して、内視鏡が動く間にもたらされるモーションアーティファクトを最小化する。一実施形態では、T0に設定された走査の前に、T-1は30ミリ秒の走査を開始する。そして、T0に設定された走査の後に、T+1は30ミリ秒の走査を開始する。上述したように、同期中に、各撮像センサに対する走査方向もプログラムする。
【００６５】
406において、画像の走査は、各撮像センサによって行われ、同期に基づく。408において、センサ604、606、608及び610の時間T0からのフレームを結合し、ディスプレイに送信する。ある実施形態では、フレームバッファを内視鏡システムに組込んでセンサ602の時間T-1からのフレームを記憶し、センサ604、606、608及び610の時間T0からのフレームを待つ。あるいは、ある実施形態では、フレームバッファはセンサ604、606、608及び610の時間T0からのフレームを記憶し、センサ602の時間T+1のフレームを待つ。上述したように、第２時間を、第１時間とフレームを走査するのにかかる時間だけ相違させることができる。
【００６６】
図７は、４つのセンサが、いくつかの実施形態に従う複数ビュー素子内視鏡システムに配置される左向きセンサ702、前向きセンサ704、右向きセンサ706及び上向きセンサ708を含む、更に他の実施形態を示す。センサ702、704、706及び708は、標準的なセンサ200に対して、90°だけ時計回り方向に回転している。各撮像センサ702、704、706及び708は、上縁、下縁、右縁及び左縁を含む４つの縁を有する。各撮像センサ702、704、706及び708に関して、初期化中に走査の方向を設定することができる。いくつかの実施形態において、同期クロック（図９の垂直同期クロック904等）は、全てのセンサが同時に初期化されることを確保する。いくつかの実施形態において、走査方向をシリアルコマンドインタフェースによって設定する。走査は、連続した複数行を通して、右縁から開始して連続的に左縁に向かい又は左縁から開始して右縁に向かい、各行において上縁から下縁に向かって又は下縁から上縁に向かって進行する。実施形態において、左向きセンサ702は、左向きセンサ702の右縁720の最上部から走査を開始し、左向きセンサ702の左縁710に向かって進行する。前向きセンサ704は、前向きセンサ704の右縁712の最上部から走査を開始し、前向きセンサ704の左縁714に向かって進行する。右向きセンサ706は、左向きセンサ702の鏡像実施形態とすることができ、右向きセンサ706の走査方向は、右向きセンサ706の左縁718の最上部から開始して連続的に右向きセンサ706の右縁716に向かって進行し、各行において上縁から下縁に向かうことができる。実施形態において、上向きセンサ708は、左向きセンサ702を垂直方向に反転させた実施形態である。センサ708の走査方向は、センサ708の右縁726の最下部から開始することができ、連続的にセンサ708の左縁724に向けて、各行において下縁から上縁に向けて進行する。センサ708に、上から下にクロック入力する代わりに、下から上にクロック入力することで、反転した実施形態を得ることができる。
【００６７】
この実施形態の状況において図４を参照して、402及び404では、撮像センサ702、704、706及び708を同期させる。一実施形態では、撮像センサ704、706及び708に対するフレーム時間を、同期中に、第１時間（T0）に設定する。センサ702のフレームを第２時間（T-1又はT+1）に設定する。センサ702のフレームは、センサ704、706及び708からのフレームよりも前のあるフレーム又は後のあるフレームである。上述したように、同期中に、各撮像センサに関する走査方向もプログラムする。
【００６８】
406において、画像の走査は、各撮像センサによって行われ、同期に基づく。408において、センサ704、706及び708の時間T0からのフレームを結合し、ディスプレイに送信する。ある実施形態では、フレームバッファを内視鏡システムに組込んでセンサ702の時間T-1からのフレームを記憶し、センサ704、706及び708の時間T0からのフレームを待つ。あるいは、ある実施形態では、フレームバッファはセンサ704、706及び708の時間T0からのフレームを記憶し、センサ702の時間T+1のフレームを待つ。上述したように、第２時間を、第１時間とフレームを走査するのにかかる時間だけ相違させることができる。
【００６９】
図８は、４つのセンサが、いくつかの実施形態に従う複数ビュー素子内視鏡システムに配置される左向きセンサ802、前向きセンサ804、右向きセンサ806及び下向きセンサ810を含む、更に他の実施形態を示す。センサ802、804、806及び810は、標準的なセンサ200に対して、90°だけ時計回り方向に回転している。各撮像センサ802、804、806及び810は、上縁、下縁、右縁及び左縁を含む４つの縁を有する。各撮像センサ802、804、806及び810に関して、初期化中に走査の方向を設定することができる。いくつかの実施形態において、フレームの同期クロック（図９の垂直同期クロック904等）は、全てのセンサのフレームが同時に開始されることを確保する。いくつかの実施形態において、走査方向をシリアルコマンドインタフェースによって設定する。走査は、連続した複数行を通して、右縁から開始して連続的に左縁に向かい又は左縁から開始して右縁に向かい、各行において上縁から下縁に向かって進行する。実施形態において、左向きセンサ802は、左向きセンサ802の右縁808の最上部から走査を開始し、左向きセンサ802の左縁820に向かって進行する。前向きセンサ804は、前向きセンサ804の右縁812の最上部から走査を開始し、前向きセンサ804の左縁814に向かって進行する。右向きセンサ806は、左向きセンサ802の鏡像実施形態とすることができ、右向きセンサ806の走査方向は、右向きセンサ806の左縁818の最上部から開始して連続的に右向きセンサ806の右縁816に向かって進行し、各行において上縁から下縁に向かうことができる。下向きセンサ810は、下向きセンサ810の右縁830の最上部から走査を開始し、下向きセンサ810の左縁828に向かって進行する。
【００７０】
この実施形態の状況において図４を参照して、402及び404では、撮像センサ802、804、806及び810を同期させる。ある実施形態では、撮像センサ804、806及び810に対するフレーム時間を、同期中に、第１時間（T0）に設定する。センサ802のフレームを第２時間（T-1又はT+1）に設定する。センサ802のフレームは、センサ804、806及び810からのフレームよりも前のあるフレーム又は後のあるフレームである。上述したように、同期中に、各撮像センサに関する走査方向もプログラムする。
【００７１】
406において、画像の走査は、各撮像センサによって行われ、同期に基づく。408において、センサ804、806及び810の時間T0からのフレームを結合し、ディスプレイに送信する。ある実施形態では、フレームバッファを内視鏡システムに組込んでセンサ802の時間T-1からのフレームを記憶し、センサ804、806及び810の時間T0からのフレームを待つ。あるいは、ある実施形態では、フレームバッファはセンサ804、806及び810の時間T0からのフレームを記憶し、センサ802の時間T+1のフレームを待つ。上述したように、第２時間を、第１時間とフレームを走査するのにかかる時間だけ相違させることができる。
【００７２】
代替的実施形態では、撮像センサの様々な物理的回転及び構成を使用して、様々な縁から垂直方向に走査することができる。本明細書の実施形態によって、内視鏡で使用される複数ローリングシャッターCMOS撮像センサが撮像した動画を結合する際に不連続性を克服することができる。内視鏡が前方向又は後方向に移動するときに、各撮像センサに対する画像の圧縮及び伸長を同期させる。
【００７３】
図１０は、本願の明細書の様々な実施形態に従う内視鏡検査システムに組込まれたCMOS撮像センサのブロック図を示す。図１０は、プロセッサ1004、フレームバッファ1006及びクロック1008と結合するセンサ1002を示す。図を平易にするために、１つのみのセンサ1002を図１２に示す。当業者は、かかる複数のセンサが内視鏡検査システムのプロセッサ1004及びフレームバッファ1006と結合されることを容易に理解でき、プロセッサは各センサが走査した画像フレームを使用することで完全な画像を取得し、当該画像フレームのいくつかは、フレームバッファ1006に一時的に記憶される。その後完全な画像は、プロセッサ1004と結合した適切なディスプレイ1010に表示される。
【００７４】
センサ1002は、従来のセンサ（図２に示すセンサ200等）に相当するセンサ1002の走査の方向をプログラムするために使用される複数の内部レジスタ1012を備える。実施形態において、センサ1002を90°だけ物理的に回転して、適切な内部レジスタを設定して走査の方向を変えることによってセンサ1002をプログラムする。プロセッサ1004は、センサ1002から得られた走査画像フレームを同期させ、完全な走査画像の方向を合わせる。ここで完全な走査画像を、内視鏡検査システムで使用される複数の撮像センサのそれぞれが走査した画像の結合体とすることができる。
【００７５】
ある実施形態では、内視鏡システムの電源が投入されて初期化されるときに、レジスタ1012のプログラミングをリアルタイムで行う。ある実施形態では、センサ1002の動作を支援する複数の内部レジスタ1012をプログラムする。これらのレジスタ1012は、設定の中でもアナログゲイン設定、積分時間及び内部電圧等の様々な設定を可能とし得る。複数行にわたる走査を行うように、センサ1002内の単一のレジスタを設定することで、走査方向をプログラムすることができる。この複数行にわたる走査は、いずれにしても、左方の行から右方の行まで又は右方の行から左方の行まで、最下部の角又は最上部の角から行われる。実施形態において、シリアルインタフェース1014（I2C、SPI又は他の任意のシリアルデジタルインタフェース等）によってレジスタ1012を設定することができる。
【００７６】
様々な実施形態において、図４のステップ408とともに説明したように、各センサに対して設定されたフレーム時間に対応する走査画像フレームをメモリに記憶する。ある実施形態では、センサにオンボードメモリを設けず、それゆえにセンサは走査画像フレームデータを記憶することができない。したがって、いくつかの実施形態では、フレームバッファ1006が内視鏡システムに組込まれて、例えば少なくとも１つの左方向きセンサの時間T-1からのフレームを記憶し、他のセンサの時間T0からのフレームを待つ。あるいは、他の実施形態では、フレームバッファ1006は他の全てのセンサの時間T+1からのフレームを記憶し、左方向きセンサの時間T0のフレームを待つ。
【００７７】
ある実施形態において、プロセッサ1004に結合された撮像センサ1002及び他のセンサ（図10には示さず）が走査開始時間を同期させるためには、図９とともに説明したように動作用マスタークロック1016及び外部垂直同期クロック1018が必要となる。
【００７８】
上記の例は、本明細書のシステムの多数の応用の単なる例示である。本発明の少数の実施形態のみを本明細書で説明したが、本発明の精神又は範囲から離れることなく、本発明を多数の他の特定の形態で具体化できることを理解できるはずである。したがって、これらの例及び実施形態を例示であると考え限定的であるとは考えず、本発明を添付の特許請求の範囲の範囲内で変更することができる。
【図１】
2018506317.tif 000003
【図２】
2018506317.tif 000004
【図３ａ】
2018506317.tif 000005
【図３ｂ】
2018506317.tif 000006
【図３ｃ】
2018506317.tif 000007
【図４】
2018506317.tif 000008
【図５】
2018506317.tif 000009
【図６】
2018506317.tif 000010
【図７】
2018506317.tif 000011
【図８】
2018506317.tif 000012
【図９】
2018506317.tif 000013
【図１０】
2018506317.tif 000014
【国際調査報告】
2018506317.tif 000015