(57)【要約】  本開示は、外科的用途に使用されるカメラシステムに関する。前記カメラシステムは、画像処理装置、および画像処理装置に接続された撮像装置を備え、撮像装置が画像処理装置に接続されると撮像装置の較正が自動的に行われる。データの送信方法も開示する。カメラシステムは、好ましくは、前記撮像装置に接続される内視鏡をさらに具備し、前記内視鏡は、光学画像を前記撮像装置に送信可能である。さらに好ましくは、前記撮像装置は、センサを有し、前記センサは、前記光学画像を受信するとともに、前記画像をアナログビデオ信号へと処理する。
2010537673.tif 000002
【特許請求の範囲】
【請求項１】
外科的用途に使用されるカメラシステムであって、
画像処理装置と、
前記画像処理装置に接続される撮像装置と
を備え、
前記撮像装置が前記画像処理装置に接続されると、前記撮像装置の較正が自動的に行われることを特徴とするカメラシステム。
【請求項２】
前記撮像装置に接続される内視鏡をさらに具備し、
前記内視鏡は、光学画像を前記撮像装置に送信可能であることを特徴とする請求項1に記載のカメラシステム。
【請求項３】
前記画像処理装置に接続されるモニタをさらに具備することを特徴とする請求項1に記載のカメラシステム。
【請求項４】
前記撮像装置は、センサを有し、
前記センサは、前記光学画像を受信するとともに、前記画像をアナログビデオ信号へと処理することを特徴とする請求項2に記載のカメラシステム。
【請求項５】
前記撮像装置は、変換器をさらに備え、
前記変換器は、前記アナログビデオ信号をデジタルビデオ信号に変換可能であり、
前記撮像装置は、前記デジタルビデオ信号を前記画像処理装置に送信可能であることを特徴とする請求項4に記載のカメラシステム。
【請求項６】
前記画像処理装置は、前記デジタルビデオ信号を受信するとともに、前記デジタルビデオ信号を処理可能であることを特徴とする請求項5に記載のカメラシステム。
【請求項７】
前記センサおよび前記画像処理装置の両方は、マイクロプロセッサを有し、
前記撮像装置が前記画像処理装置に接続されると、前記センサのマイクロプロセッサは、前記撮像装置から前記画像処理装置のマイクロプロセッサにデータを自動的に送信可能であることを特徴とする請求項4に記載のカメラシステム。
【請求項８】
前記センサは、少なくとも1つの電荷結合素子を具備することを特徴とする請求項4に記載のカメラシステム。
【請求項９】
前記センサは、相補型金属酸化膜半導体イメージャを具備することを特徴とする請求項4に記載のカメラシステム。
【請求項１０】
前記撮像装置は、カメラを具備することを特徴とする請求項1に記載のカメラシステム。
【請求項１１】
前記カメラは、高精細カメラを具備することを特徴とする請求項10に記載のカメラシステム。
【請求項１２】
前記画像処理装置は、カメラ制御ユニットを具備することを特徴とする請求項1に記載のカメラシステム。
【請求項１３】
前記撮像装置は、前記撮像装置のデータサイズを縮小する手段をさらに具備することを特徴とする請求項7に記載のカメラシステム。
【請求項１４】
データを送信する方法であって、
前記方法は、
センサを有する撮像装置を供給するステップを具備し、
前記センサは、マイクロプロセッサを有し、
前記方法は、
画像処理装置を供給するステップを具備し、
前記画像処理装置は、マイクロプロセッサを有し、
前記方法は、
前記撮像装置を前記画像処理装置に接続するステップを具備し、
前記センサのマイクロプロセッサは、前記撮像装置から前記画像処理装置のマイクロプロセッサにデータを自動的に送信することを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、外科手術中に使用されるカメラシステムに関し、より詳細には最小侵襲性外科手術中に使用されるカメラシステムに関する。
【背景技術】
【０００２】
本出願は、2007年5月4日に出願された米国特許出願第60/915,997号のPCT国際出願であり、引用によりその開示の全体が本明細書に組み込まれる、
【０００３】
現在、外科手術用ビデオカメラシステムの設計は、他の専門ビデオ用途に存在しない動作条件によって課せられる多くの難しい要件を満たす必要がある。こうした要件には、漏れ電流、電磁干渉、および電磁適合性に関連する患者の安全、外科医による使いやすさ、手術台周囲が乱雑になるのを最小限に抑える小さいサイズ、様々な手術室の様々な光学機器およびカメラ制御電子機器を備える設備の相互操作性を維持しながらの一貫した画像品質、湿潤環境での曇りの回避、ならびに厳しい殺菌条件下での機器の信頼性などの領域での考慮が含まれる。他の要件も考慮しなければならない。こうした要件は、機械的ハウジング、光学部品、ケーブル相互接続部品、および電子回路の設計および製造の工学技術の課題である
【０００４】
最小侵襲性外科手術用に設計された内視鏡検査用カメラの使いやすさの要件を満たすための最もユニークな特性は2部分設計であり、撮像センサ(例えば電荷結合素子またはCCD)を含むコンパクトカメラヘッドが、ビデオ処理電子機器を含むカメラ制御ユニット(CCU)から分離される。コンパクトヘッドは、できるだけ小さい非侵襲性のパッケージで、外科医の手中に収まらなければならない。生の未処理ビデオ信号を通常は長さ4メートルの薄い可撓性ケーブルを通してCCUに送信しなければならない。現在のカメラシステムは、たいてい、アナログビデオ信号をCCUに送信して作動し、それによってユニット間の画像品質のばらつきが導入される。カメラヘッドとCCU内のアナログ電子機器のゲイン、オフセット、および位相特性の一時的なドリフト、ケーブルインピーダンス、送信の遅延、ならびに損失がすべてシステム動作の変動の原因となり、それらを補償しなければならない。通常の病院では、CCUは手術室に固定されるが、カメラヘッドおよび内視鏡は処置ごとにその後に洗浄および殺菌に送る必要があるために貯蔵される。カメラヘッドのCCUへの無作為の割り当ては、外科医による最も重要な要件、すなわち処置から処置への一貫した高い画像品質の要件を満たす製造者の能力に対する課題である。多くの場合、カメラヘッドとCCUの1つの特定の組合せで高品質画像が生成されるが、他の組合せでは満足できないことがある。
【０００５】
カメラヘッドとCCUのミスマッチによる一貫しない画像品質は、最も一般的な使用問題の1つである。これは、撮像センサが常に単一ユニットとしてビデオ処理電子機器と共に包装され、整合され、較正される他の専門ビデオカメラには存在しない設計および製造の課題をもたらす。性能特性の分散および許容差の積み重ねにすべて寄与する多くのアナログ電子部品を含む現在の内視鏡カメラ設計では、精巧なビデオ信号調整処置をカメラヘッドとCCUの両方に行って、ユニット間のばらつきを補償しなければならない。この複雑さに加えて、アナログカメラヘッドを較正したCCUを使用して調整しなければならず、CCUを較正したカメラヘッドを使用して調整しなければならない。較正したカメラヘッドと較正したCCUは理想または「高品質(golden)」の関係であるように慎重に選択される。この用語はカメラヘッドまたはCCUの当業者には周知である。
【０００６】
この循環かつ相互依存型のビデオ調整処置が成功しても、長期間にわたり残存する変動、ドリフト、および不安定性がカメラヘッドとCCUの誤調整を招くのは不可避である。最後に、カメラヘッドビデオとカメラ制御ユニットの調整および較正が製造現場において手作業で行われるため、貴重な時間の浪費になる。カメラがカメラ制御ユニットに接続されると自動的に較正および調整が行われるシステムが必要とされる。
【０００７】
HDTVカメラが内視鏡用途に導入され、上記の問題が、画像品質要件に対する改善、すなわち、高解像度、より良好な色精度、低ノイズ、ビデオ帯域幅の6倍増によってさらに大きくなった。より大きい帯域幅の要件によって、アナログビデオおよびタイミング信号の4メートルのケーブルを通る送信がさらに難しくなる。標準解像度テレビジョンのアナログ位相ロックループで補償することができるケーブル長の軽度の変動の補正が数倍難しくなる。帯域幅が大きくなるにつれて、ノイズおよび他の回路の安定性の問題がさらに大きくなる。電力損失も信号帯域幅の増加に比例して大きくなり、熱放散の増加につながる。コンパクトカメラヘッドでは、発生した熱が電子回路の動作温度をさらに上昇させて、熱的に誘発されるノイズおよびドリフトをさらに増加させることになる。
【０００８】
上記の問題を克服し、HDTVカメラに期待される利点に相応する高画像品質を確保するには、カメラヘッド内のビデオ信号をデジタル化して、アナログ信号ではなくデジタル信号をケーブル上で遠隔のCCUに送信するだけでよいようにすることが望ましい。この手法は、ケーブルに沿って収集されるノイズによってビデオ画像品質が低下されず、CCU電子機器がドリフトし不安定になりやすいアナログ回路を持たない利点も有する。ビデオ信号が100%デジタル化されると、製造工程中にCCUに必要とされる製造の較正またはビデオ調整が不要になるため、時間およびコストが節約される。デジタルデータをCCUに送るには、いくつかの技術的な問題を克服しなければならない。
【０００９】
第1に、小さい密閉された体積内で追加のアナログ‐デジタル変換回路によって発生する熱を放散しなければならない。第2に、高品質、高精細度デジタルHDTV撮像センサにカメラヘッドとCCUの間の双方向データ送信の50ビットが必要である。こうした50ビットのデータが、1ビットに1つのラインが専用される従来のケーブルで送信される場合、良好なユーザ人間工学に対してケーブル径が過剰に大きくなり、柔軟性がなくなる。ワイヤ数およびケーブル径は、外科医による使いやすさを保つために、約6mmの現在のカメラケーブル径よりも大きくてはならず、または柔軟性が乏しくなってはならない。第3に、電磁干渉および電磁適合性(EMI/EMC)に関する医療装置の国際基準に従うように、ケーブルに沿った広帯域幅デジタルデータの送信による電磁放射線の放射を抑制しなければならない。
【００１０】
いくつかの標準ビデオカメラと比較して熱エネルギを比較的高率に発生するビデオカメラ電子部品を収容するには、アルミニウムまたはアルミニウム合金など比較的高い熱伝導率を有する材料でハウジングを構成する必要がある。高い熱伝導率の金属合金がカメラハウジングに使用される場合、外部の金属表面を電気的に絶縁しなければならない。電気的に絶縁する必要性は、内部で発生した電磁干渉(EMI)がカメラハウジングの外に漏れるのを防ぎ、外科手術および患者の支持に使用される他の医療電子機器の安全な操作に影響を与えるのを防ぐために、内部の電子機器を電気的に接地されたファラデーケージで包囲しなければならないという要件と矛盾する。同時に、電磁適合性(EMC)を確保して、通常のカメラ動作が、EMI/EMC安全のためのIEC60601-1-2など医療装置の国際基準と一致するレベルまで、外部電磁干渉の影響を受けないようにしなければならない。さらに、患者と接触する可能性のあるすべての表面を、電気保安のためのIEC60601またはUL2601基準など国際的に認められた電気保安基準に必要とされるレベルまで、漏れ電流が最低限に抑えられるように設計し、絶縁破壊に耐えるように絶縁しなければならない。したがって、こうした矛盾する要件には、カメラハウジングの設計の新規の手法が必要とされる。
【００１１】
現在のビデオカメラシステムは、カメラヘッドからのアナログ信号を処理するために装備された画像処理装置およびカメラ制御ユニットを含む。上記のように、このアナログ処理によって望ましくないシステムの変動が生じる。また上記のように、カメラヘッドの調整および較正は、現在では製造工程で行われ、カメラヘッドとカメラ制御ユニットの差し込み時に自動的に行われない。カメラヘッドの自動的調整および較正には、実時間で特定のシーケンスでいくつかの数学的アルゴリズムを処理する能力を有するカメラ制御ユニットが必要である。さらに、技術の進化につれて、様々なタイプのカメラヘッドを支援するように簡単に変更可能なカメラ制御ユニットが必要とされる。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
したがって、標準解像度よりも高い解像度を有するカメラを収容することができ、画像品質を保ちながらカメラヘッドおよびカメラ制御ユニットのアナログ変動を大幅に低減し、ヘッド電子機器、ケーブルインピーダンス、およびカメラ制御ユニット回路の相互作用を大幅に低減するカメラシステムが依然として求められている。さらに、様々なタイプのカメラヘッドを支持するように簡単に変更可能であり、信号処理アルゴリズムの完全制御を有して、それらのアルゴリズムを実時間で処理するカメラ制御ユニットも求められている。また、カメラヘッドの調整および較正が、カメラをカメラ制御ユニットに差し込むと自動的に行われるシステムも求められている。
【課題を解決するための手段】
【００１３】
一態様では、本開示は、外科的用途に使用されるカメラシステムに関する。このカメラシステムは、画像処理装置、および画像処理装置に接続された撮像装置を備え、撮像装置が画像処理装置に接続されると撮像装置の較正が自動的に行われる。
【００１４】
一実施形態では、カメラシステムは、撮像装置に接続された内視鏡をさらに備え、内視鏡は光学画像を撮像装置に送信することができる。他の実施形態では、カメラシステムは、画像処理装置に接続されたモニタをさらに含む。他の実施形態では、撮像装置はセンサを含み、センサは光学画像を受信し、前記画像をアナログビデオ信号に処理する。他の実施形態では、撮像装置は変換器をさらに備え、変換器はアナログビデオ信号をデジタルビデオ信号に変換することができ、撮像装置はデジタルビデオ信号を画像処理装置に送信することができる。他の実施形態では、画像処理装置は前記デジタルビデオ信号を受信し、前記デジタルビデオ信号を処理することができる。
【００１５】
一実施形態では、センサと画像処理装置の両方がマイクロプロセッサを含み、センサのマイクロプロセッサは、撮像装置が画像処理装置に接続されると、データを撮像装置から画像処理装置のマイクロプロセッサに自動的に送信することができる。他の実施形態では、センサは少なくとも1つの電荷結合素子を備える。他の実施形態では、センサは相補型金属酸化膜半導体イメージャを備える。他の実施形態では、撮像装置はカメラを備える。他の実施形態では、カメラは高精細カメラを備える。一実施形態では、画像処理装置はカメラ制御ユニットを備える。他の実施形態では、撮像装置は撮像装置のデータのサイズを縮小する手段をさらに備える。
【００１６】
他の態様では、本開示は、データの送信方法に関し、この方法は、センサを含む撮像装置を提供し、前記センサがマイクロプロセッサを含むステップと、画像処理装置を提供し、前記画像処理装置がマイクロプロセッサを含むステップと、前記撮像装置を前記画像処理装置に接続し、前記センサのマイクロプロセッサが前記撮像装置からのデータを前記画像処理装置の前記マイクロプロセッサに自動的に送信するステップとを含む。
【００１７】
本開示を適用することができるさらなる領域が、以下に記載した詳細な説明から明らかになるであろう。理解されるように、詳細な説明および特定の例は、本開示の好ましい実施形態を示すものであるが、単に例示のためのものであり、本開示の範囲を限定するものではない。
【００１８】
本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、記載と併せて本開示の実施形態を示し、本開示の原理、性質、および特徴を説明する働きをするものである。
【図面の簡単な説明】
【００１９】
【図１】外科手術処置で使用される本開示のカメラシステムを示す図である。
【図２】本開示のカメラを示す図である。
【図３】カメラヘッドのメモリパラメータを示す図である。
【図４】CCUμPのメモリパラメータを示す図である。
【図５】DSPのメモリパラメータを示す図である。
【発明を実施するための形態】
【００２０】
1つまたは複数の好ましい実施形態の以下の記載は、単に例示であり、決して、本発明、本発明の応用、または使用を限定するものではない。
【００２１】
カメラシステムは、2つのサブシステム、遠隔カメラヘッドまたは撮像装置、およびデジタル画像処理装置またはカメラ制御ユニット(CCU)からなる。図1は、撮像装置またはカメラヘッド11、および画像処理装置またはCCU12を示す図であり、それらを内視鏡処置など外科手術処置で使用することができる。カメラヘッド11は、本開示では高精細カメラであり、内視鏡13、光源14、デジタル画像処理装置12、およびモニタ15によって、送信される対象の被検者の光学画像からデジタル電子画像を生成する。光源14を内視鏡13に光リンク16によって接続して、観察下の対象の被検者を内視鏡13の先端を超えて照明することができる。さらに、カメラヘッド11を内視鏡13にカプラ17によって光学的に接続して光学画像を受信し、画像処理装置12に電気的リンク18によって電気的に接続して、得られたデジタル画像を送信し、その画像を他の電気的リンク19によって送信してモニタ15上に表示することができる。
【００２２】
本開示のカメラシステムで使用される内視鏡13は、回折限界MTFおよび約436から約656nmのスペクトルバンドの完全色補正を特徴としており、高精細度テレビジョンに特に適している。内視鏡13の設計は、第1リレー系の瞳孔面の両側に配置された2つのロッドレンズダブレットを含む光学系を使用する。各ダブレットは、上記のように内視鏡がスペクトル領域で高レベルの色補正を行うことができるようにする2つの分散ガラスを含む。この光学系は、2007年5月4日に出願された米国特許出願第11/744,810号明細書にさらに記載されており、引用によりその開示の全体が本明細書に組み込まれる。
【００２３】
図2で示したように、カメラヘッド11は、カメラの電気部品を包囲するハウジング11aを含む。ハウジング11aは、青、緑、および赤のスペクトルを撮像するように構成された3つの電荷結合素子(CCD)など光学画像をデジタル電子画像に移す1つまたは複数のセンサ、および以下にさらに詳細に記載する他の電子部品を含むことができる。内視鏡など装置からの光学画像をカメラヘッド11に通すことができるようにするため、光学窓11bがハウジング11aに光学窓11bとハウジング11aの間のインターフェース11dに配置されたブリッジによって取り付けられる。
【００２４】
高圧蒸気滅菌中にビデオカメラヘッド11の電子部品を保護するため、ハウジング11aは蒸気および化学腐蝕に対してかなりの耐性を有する材料から作成される。ハウジング11aは、押出溶接などの結合方法によって、ブリッジ11cに対して気密密閉され、ブリッジ11cは窓11bに対して気密密閉される。得られた気密密閉されたビデオカメラヘッド11は、例えば約100サイクルから約1000サイクルの多数の高圧蒸気滅菌サイクルの繰り返しに耐えることができる。
【００２５】
さらに、いくつかの標準ビデオカメラと比べて熱エネルギを比較的高率に発生するビデオカメラ電子部品を収容するため、ハウジング11aは、例えばアルミニウムまたはアルミニウム合金など、約25ワット毎メートルケルビン(W/mK)よりも大きい比較的高い熱伝導率を有する材料で構成される。その結果、ハウジング11aは、内部環境を電子部品に許容される動作温度に維持するのに十分な率で熱を放散する。さらに、アルミニウムまたはアルミニウム合金は、良好な機械加工特性を有し、比較的軽量で低コストのハウジング11aを提供する。
【００２６】
同様に、光学窓11bは、許容される光特性を有する他に、高圧蒸気滅菌サイクルの繰り返しに耐えることができる。したがって、光学窓11bは、光学サファイア(酸化アルミニウム単結晶(monocrystalline aluminum oxide)またはアルミナ、Al2O3)など非常に透明で蒸気および化学エッチングに耐性がある光学セラミック材料を含む。このハウジングおよび光学窓は、2006年10月5日に出願された米国特許出願第11/539,160号明細書にさらに十分記載されており、開示全体が引用により本明細書に組み込まれている。
【００２７】
ヘッドは、約20mmのバックフォーカルディスタンスを有する光学機器を収容するように装備することができ、ヘッドのサイズは、高さおよび幅が約2インチ、径が約2.5インチでもよい。輝度、ズーム、または他の外科医の好みのパラメータ、および限定的ではないがビデオレコーダを含む周辺装置を画面上で手動で制御するためのボタン11eをカメラハウジング上に配置してもよい。
【００２８】
本開示のカメラヘッド11は、ビデオデータをCCUにデジタル形式で送信するように設計され、アナログ信号の調整がすべて不要であるため、製造工程でのCCUのビデオ調整の必要性が回避される。必要とされる調整はすべて、カメラヘッド11で行われる。カメラヘッドの調整中、得られた較正係数はすべて、カメラヘッド11内に配置されたメモリ(図示せず)に格納される。さらに、センサ(図示せず)もカメラヘッド11内に配置される。本開示では、センサは3電荷結合素子(3-CCD)であるが、限定的ではないが、相補型金属酸化膜半導体を含む他のセンサに加えて、他の電荷結合素子も本開示の範囲内である。センサはマイクロプロセッサを含む。ヘッド11がCCU12に差し込まれると、較正データが電気的結合部18を介し、センサのマイクロプロセッサによってCCU12内に配置されたマイクロプロセッサ(図示せず)に後の処理のために自動的にダウンロードされる。後でさらに記載するように、カメラヘッド11のメモリに格納することができる較正データが図3に載っており、CCUマイクロプロセッサのメモリ要件が図4に載っている。
【００２９】
その後、外科手術中に、内視鏡13が光学画像をヘッド11に、具体的にはセンサに送信し、その画像がセンサによって処理されて、アナログビデオ信号になる。アナログビデオ信号は、やはりカメラヘッド11内に配置されたアナログ‐デジタル変換器(図示せず)によってデジタルビデオ信号に変換される。変換器は当技術分野で周知の任意のアナログ‐デジタル変換器でもよい。カメラヘッド11は、変換器の他に、デジタルビデオ信号が電気的リンク18によってCCU12に送信される前に、直‐並列変換器(SERDES)などデジタルビデオ信号のサイズを縮小する手段(図示せず)を任意選択で含むこともできる。上記のように、デジタルビデオ信号は、50ビットのデータを含むことができ、それによって電気的リンク18の径が過剰に大きくなり、柔軟性が乏しくなる可能性がある。該手段は、デジタルビデオ信号のサイズを大幅に縮小し、それによって電気的リンク18の径が大きくなる可能性を大幅に低減する。
【００３０】
デジタルビデオ信号がCCU12に送信された後、信号はCCU12内に配置されたデジタルビデオ信号処理装置(図示せず)によって処理される。処理された信号は、次いで、電気的リンク19を介してモニタ15に送信される。以下に記載するように、デジタルビデオ信号処理装置のメモリ要件が図5に載っている。
【００３１】
CCU12内の唯一のアナログ回路が、デジタルビデオ信号がHD-RGB、Y/C、およびコンポジット(Composite)などいくつかの選択されたアナログ出力形式に変換されるときの出力ステップに配置されるが、どれも製造工程での調整が不要である。CCUは、ハードウェアの変更を最低限に抑えたソフトウェア再構成によって、複数の設計者および製造者からのセンサを収容することができるようにも設計される。
【００３２】
上記のように、カメラヘッド11に格納することができるパラメータのリストが図3に載っている。CCUマイクロプロセッサ(CCUμP)の他のメモリ要件が図4に載っており、デジタル信号処理装置(DSP)のメモリ要件が図5に載っている。カメラのメモリ要件は必要とされるビット深さに指定されるが、メモリ機構の指定はヘッド電子機器およびCCUの設計者に委ねられる。
【００３３】
図3、4、および5の特徴を以下のように記載することができる。
【００３４】
欠陥補正(blemish correction)は、回復可能な情報を含まない単一画素の欠陥を補正するように設計される。近隣のメトリックでの補間法が欠陥の位置に代用される。単一画素欠陥位置が永久であり、または単一画素欠陥位置が時間とともに変わる場合に2つの方法を使用することができる。永久の欠陥画素位置に関して、カメラヘッドに格納されたアドレスを有する知られた不良画素に欠陥補正が行われる。カメラヘッドをCCUに差し込むと、不良画素のアドレスがCCUμPを介してDSP処理装置にダウンロードされる。欠陥補正アルゴリズムは以下でもよい。
【００３５】
SR,G,B(x,y)=[SR,G,B(x-1,y)+SR,G,B(x+l,y)]/2
【００３６】
時間変化の欠陥画素位置に関しては、完全な画像フレームで欠陥補正が行われる。無欠陥画素位置の地図も必要であろう。欠陥補正アルゴリズムは以下でもよい。
【００３７】
SR,G,B(x,y)=Median[SR,G,B(x-1,y),SR,G,B,(x,y),SR,G,B(x+l,y)]
【００３８】
電子機器全体の直流電流(DC)および低周波数の空間的変化に対する黒ペデスタルおよび黒シェーディング補正がそれぞれセンサでオフセットされる。さらに、高周波数の変動を補正する方法もある。DCおよび低周波数の変動に関して、オフラインの1度の較正で生成される係数がカメラに格納される。カメラヘッドがμPに差し込まれたときに、多項式の係数がカメラヘッドからダウンロードされる。水平および垂直方向の赤(R)、緑(G)、および青(B)チャネルのオフセット係数を含む6つのルックアップテーブル(LUT)が外部マイクロプロセッサ(μP)内で生成され、始動時にDSP処理装置にダウンロードされる。生成アルゴリズムは以下でもよい。
【００３９】
LUT1(Xi,RGB)=Σai,RGBxi,RGBn
LUT2(yi,RGB)=Σbi,RGByi,RGBn
【００４０】
所望の黒ペデスタル値(DCオフセット)が、カメラの1×8ビットワードに別々に格納され、後で使用するためにCCUμPを介してDSP処理装置にダウンロードされる。こうして、一定の黒ペデスタル(DC)値を維持するために、このオフセットを減算し、次いで後に加算して戻し、後続の乗法型または非線形のガンマオペレーションを行うことができる。このようにして、黒シェーディングと白シェーディングの相互作用を大幅に低減することができる。
【００４１】
DC、低周波数、高周波数の変動に伴って、オフラインの1度の較正で生成される2つの一次元のチャネルごとのLUT(LUT1およびLUT2)がカメラに格納される。LUTは、差し込み時にカメラヘッドからCCUμPを介してDSP処理装置にダウンロードされる。その後、黒ペデスタルおよび黒シェーディングオフセット値が、入ってくるビデオに画素ごとにDSPによって加えられる。生成アルゴリズムは以下である。
【００４２】
S'(xi,RGB,yi,RGB)=S(xi,RGB,yi,RGB)+LUT1(xi,RGB)+LUT2(yi,RGB)+BPdesired
【００４３】
手動の固定の白シェーディングに関しては、2つの補正方法がある。DCおよび低周波数の変動に関して、オフラインの1度の較正で生成される係数がカメラに格納される。多項式の係数がCCUμPに差し込まれたときにカメラヘッドからダウンロードされる。次いで、CCUμPが6つのLUTを生成し、DSPをロードする。その後、3つの完全なフレームゲインバッファ係数が、稼動時に使用するために、外部のシンクロナスダイナミックランダムアクセスメモリ(SDRAM)内のDSPによって生成される。フレームの生成アルゴリズムは以下である。
【００４４】
G(x,y)=1/(LUT1x+LUT2y)
ただし、
LUT1(xi,RGB)=Σai,RGBxi,RGBn
LUT2(yi,RGB)=Σbi,RGByi,RGBn
【００４５】
G(x,y)の生成に関して、チャネルごとの1つの完全なフレームが白シェーディング較正LUTから生成される。DSPは6つのロードされたLUTからフレームを生成する。以前に格納された所望の黒ペデスタル値を補償しながら、それぞれ入力される画素S(x,y)が白シェーディングに対して補正される。アルゴリズムは以下である。
【００４６】
S'(xi,RGB,yi,RGB)=S(xi,RGB,yi,RGB)-Bpoffsetrgb
【００４７】
手動の白バランスでは、CCUμPは(ヘッドからの)最後の有効な白バランス係数と組み合わせたデフォルトの3×3色合わせ係数をDSPにロードしてから、DSPの白バランスを可能にしなければならない。デフォルトの色合わせ係数は、ビデオ経路サブシステム(フィルタ、プリズム、ccd)の理想のスペクトル応答のオフラインの決定によって生成される。デフォルトの色合わせ係数は、特定のレンズサブシステムまたはイルミナントのスペクトル応答を考慮しない。DSPの白バランスが可能になった後(DSPはμPとインターフェースをとるハードウェア(HW)のイネーブルビットを露出しなければならない)、DSPは白バランスの決定を行い、その結果を有効なビットを介してCCUμPに露出する。結果は、各チャネルの平均応答を表す3つのワードである。CCUμPは次いで結果を読み取り、こうした値を(オフライン較正ツールからの入力として与えられた)理想のスペクトル応答係数、デフォルト色合わせマトリクス、および最後の有効な白バランス値に正規化し、組み合わせた3×3をDSPにロードする。5つの領域(中心、上部、底部、左、右)すべてのゲイン係数が互いに約±2%(±2IRE)未満の近似の場合、白シェーディングは許容範囲内である。ゲイン係数が比較的大きい場合、ゲイン値を垂直および水平方向に補間して、自動白シェーディングを実行できるようにすべきである。
【００４８】
手動の白バランスの数学的記載は以下である。
【００４９】
[R'G'B']=[3×3Rec709 Color Matching Matrix][αRγGβB]
【００５０】
3×3Rec.709 Color Matching Matrixは、最小二乗最小化手順を使用して得られる。α、γ、およびβは、それぞれ白バランスオペレーション中に得られた赤、緑、および青のチャネルのゲイン係数である。
【００５１】
α,γ,β=SR,G,B(υ)τIR(υ)τPrism(υ)dυ/VWB
【００５２】
ただし、SR,G,Bはそれぞれ赤、緑、青のCCDチャネルのCCDスペクトル感度を示し、τIRおよびτPrismはIRフィルタおよびプリズムブロックのスペクトル透過率を表し、VWBは白バランスオペレーション中にそれぞれ赤、緑、青のチャネルで積分された測定電圧を表す。信号振幅を保つため、SおよびVの成分を1に正規化すべきである。
【００５３】
光学系が非テレセントリック性であり、多様な光学系を特定のカメラヘッドに使用することが望ましいため、追加の白シェーディングアーチファクトが導入されるが、それを現場で使用時に補償しなければならない。白バランス処理中に白バランスが決定された後のパワーアップ中に、DSPはCCUμPにデータの十分な関心領域(ROI)を提供して、白シェーディングに対して補正するためにCCUμPが画像平面に対して垂直および水平方向に分離可能な2つの寸法的一致を実行することができるようにする。CCUμPは、2つのLUTまたは2組の係数を生成して、DSPにロードする。
【００５４】
DSPでは、以前に格納された所望の黒ペデスタル値を補償しながら、それぞれ入力される画素S(x,y)が白シェーディングに対して補正される。
【００５５】
S'(xi,RGB,yi,RGB)=(S(xi,RGB,yi,RGB)-Bpoffsetrgb)×G(xi,RGB,yi,RGB)+Bpoffsetrgb、ただしG(XiRGB,YiRGB)=LUT((XiRGB)*LUT(YiRGB)
【００５６】
ROIの統計値の生成では、この処理ステップは主なDSPパイプラインの一部ではないが、データがこの時点でパイプラインにタップされて、事前定義ROIから統計値が入力データに提供される。DSPは、各ROIからの統計値を示すN×4×16レジスタをCCUμP/DSPインターフェースに提供する。DSPは、各ROIにRGBおよび(HSVの)Vの統計値を提供する。さらに、DSPは、ROIごとに有効、無効HI、無効LOWに対応するN×1×2ビット(VALIDROI)レジスタを提供する。
【００５７】
ROIごとに、DSPはROI内の閾値データを定めて、ROIデータの有効性を決定する。ROI内の有効データはそのROIの最終統計値に使用される。赤、緑、および青(RGB)報告について、DSPは有効データをROI内に蓄積し、チャネルごとに各ROI内の平均信号を計算する。Vが選択されると、DSPはV=max(R,G,B)を計算し、Vを蓄積し、平均を計算する。さらに、DSPは、ROI内のデータの有効性のための閾値基準を設定するために、2×16ビットレジスタ(THRESHOLD_HIおよびTHRESHOLD_LO)をμP/DSPインターフェースに露出する。これは、THRESHOLD_LOが白バランスおよび自動白シェーディング中にランタイムオペレーション中よりも高く設定されるようにするためである。THRESHOLD_HIはROI内の飽和データが除外されるように設定すべきである。
【００５８】
RGB空間補間に関して、RおよびBチャネルがGチャネルから水平に半画素だけ空間的にオフセットされる。これは全販売者によって与えられる3-CCDプリズムに適用される。RおよびBチャネルが水平に半画素だけ移動される場合、間の画素値が左右の2つの隣接する物理的画素の平均によって得られる単純な補間アルゴリズムが必要である。RおよびBチャネルが水平と垂直の両方向に半画素だけ移動される場合、間の画素値は4つの最も近い近隣の平均によって得られる。
【００５９】
RGB空間補間のアルゴリズムは以下である。
【００６０】
S'rb(x',y)=Srb(x),(Srb(x)+Srb(x-l))/2、およびSrb(0)
S'g(x',y)=Sg(x),(Sg(x)+Sg(x-l))/2、およびSg(end)
【００６１】
RGBからYCRCBへの変換では、通常、色画像がRGB色空間で処理される。いくつかの画像向上アルゴリズムに関して、YCRCBなど輝度/クロマ空間の処理に計算的利点がある。例えば、輪郭線強調の実行が目的の場合、通常は輝度成分を強調するだけでよい。人間の視覚に高空間周波数応答の限度があるため、クロマ成分の輪郭線強調は知覚不可能なこともある。同時に、クロマ要素をデジタル的にサブサンプルして、処理および送信帯域幅を減少することができる。輝度成分Yは主に緑強度によって支配される。クロマ成分CBおよびCRは色差から得られる。CB=B-Y、かつCR=R-Yである。記号Y、BおよびRは、成分がガンマ補正されたことを示す。変換はHDTVに使用されるITURec.709ルマ(luma)基準に基づく。輝度および色差信号(Y,Cr=0.6350*(R-Y),Cb=0.5389*(B-Y))は、以下である。
【００６２】
Y'=0.213R'+0.715G'+0.072B'
Cr'=0.500R'-0.454G'-0.046B'
Cb=-0.115R'-0.385G'+0.500B'
【００６３】
水平アパーチャ補正に関して、ユーザが選択可能な水平周波数帯域を増幅する水平方向の31タップFIRフィルタがある。垂直アパーチャ補正に関して、ユーザが選択可能な垂直周波数帯域を増幅する垂直方向の5タップFIRフィルタがある。
【００６４】
水平アパーチャ補正に関して、ユーザが選択可能な水平周波数帯域を増幅する水平方向の31タップFIRフィルタがある。垂直アパーチャ補正に関して、ユーザが選択可能な垂直周波数帯域を増幅する垂直方向の5タップFIRフィルタがある。
【００６５】
アンシャープマスキングはハイライトの詳細を保存しながら、シャドーのコントラストおよび詳細を強調する信号処理方法である。それは一種のダイナミックレンジ圧縮である。数学的形式では、実行の一方法を以下のように記載することができる。
Output Image=1/c{a×Input Image-b×SMOOTH(Input Image)}
ただし、SMOOTHは、ぶれ、またはローパスフィルタリングオペレ-タであり、aおよびbは調整可能な整数であり、cは2つの積算電力である。確実に出力画像が入力(a-b)/c=1と同じ平均ルマ値を有することを保証するために、鮮明化の程度を係数aおよびbで制御する。より強い強調はbをaに近づけることによって設定される。SMOOTHは、各要素設定=1で寸法m×nの畳み込み核を使用して実行される。高精細カメラでは、mは31よりも大きく、nは5よりも大きくなければならない。最終サイズはリソース限度に基づくべきである。他の提案される平滑フィルタは、h(x)=sqrt(2*pi)*A*e(-2*pi^2*σ^2*x^2)として定義された空間領域内のH(u)=Ae-u^2/(2σ^2)によって定義される個別のガウスフィルタである。
【００６６】
レベル依存のデジタルノイズ低減およびコアリング(coring)によって、音声対ノイズ比(SNR)が低い領域、すなわち、ノイズがフォトンノイズではなく電子機器ノイズによって制限される領域に対してノイズが低減される。比較的暗い領域では、高精細度を有するよりも低いノイズを有することが重要である。YCRCBからRGBへの変換は、前の節で記載した3×3マトリクスの逆を使用するRGBからYCRCBへのオペレーションの逆である。
【００６７】
RGBから色相彩度値(Hue Saturation Value)(HSV)色空間への変換を各色のHUEおよび彩度の独立した調整によってより直感的に行うことができる。HUEは、彩度および輝度と共に、いくつかの色空間の3次元の1つである。HUEを隔離するため、入力RGBデータをHSV色空間に変換する。データがHSV空間に変換された後、色相デルタ(hue delta)LUTが色相チャネルに与えられ、彩度LUTが彩度チャネルに与えられる。O<RGB<1のRGBの画素ごとのH、S、およびVに対応する記号は以下である。
【００６８】
V=MAX(R,G,B)
S=[MAX(R,G,B)-MIN(R,G,B))]/MAX(R,G,B)
R=MAX(R,G,B)について、H=60*([G-B]/[MAX(R,G,B)-MIN(R,G,B))])、
G=MAX(R,G,B)について、60*(2+(B-R)/[MAX(R,G,B,)-MIN(R,G,B))])、
かつB=MAX(R,G,B)について、60*(4+(R-G)/[MAX(R,G,B)-MIN(R,G,B))])
【００６９】
HSV色彩度および色相制御に関して、以下の理由で調整を行うことができる。
【００７０】
製造調整/較正工程の一部として得られた工場較正データを使用したヘッド間の測色変動の補正。データは各カメラヘッドで格納され、カメラの差し込まれたときにCCUにダウンロードされる。
【００７１】
10個の異なる外科手術処置に特有の測色設定が提供される。RGBCYM軸の彩度および色相のオフセット値がCCUのμP内のテーブルに格納される。
【００７２】
ユーザは、オープンソースデフィニション(OSD)メニュー制御を使用して入力する。ユーザはRGBCYM軸の色相および彩度を変えることができる。
【００７３】
以下の式が独立的に色の調整に適用される。
【００７４】
S(xi,HSV,yi,H)=RGB@HSV(S(xi,RGB,yi,RGB))
S'(xi,H,yi,H)=S(xi,H,yi,H)+LUT[S(xi,H,yi,H)
S'(xi,s,yi,s)=S(xi,s,yi,s)*LUT[S(xi,H,yi,H)]
S'(xi,RGB,yi,RGB)=HSV2RGB(S'(xi,HSV,yi,HSV))
【００７５】
LUTはオフライン較正で生成された360要素ルックアップテーブルである。フル解像度色相デルタおよび彩度ゲインLUTをカメラヘッドに格納し、μPを介してDSPにダウンロードしなければならない。μPは、CCUにユーザの好みを格納するための8つの低い解像度の色相および彩度LUTの格納を担当する。ユーザがそれぞれ色相および彩度を一時的に調整するために、1つの追加の比較的低い解像度のLUTがCCUで維持される。テーブル2は特定値を提供する。
【００７６】
HSVからRGBへの色空間変換に関して、以下の式を適用することができる。
【００７７】
R=v*(1-s*f)60<H<120; v*(1-s)120<H<180; v*(1-s)180<H<240; v*(1-s*(1-f))240<H<300; V300<H<360
G=v*(1-s*(1-f));f0<H<60;v for S==0‖60<H<120; v120<H<180; v*(1-s*f)180<H<240; v*(1-s)240<H<300; v*(1-s)300<H<360;
B=v*(1-s)0<H<60; v*(1-s)60<H<120; v*(1-s*(1-f))120<H<180 V for S==0‖180<H<240; v240<H<300; v*(1-s*f)300<360;
ただしf=Hmod60
【００７８】
対応する図を参照して上述したように、本開示の範囲から逸脱することなく、例示の実施形態に様々な変更を加えることができ、上記に含まれ、または添付の図面で示した内容はすべて限定的ではなく例示であると解釈されるものとする。したがって、本開示の広範さおよび範囲は上記の例示の実施形態のどれにも限定されず、本明細書に添付された以下の特許請求の範囲および等価のものだけに定義されるものである。
【符号の説明】
【００７９】
11  カメラヘッド
11a  ハウジング
11b  光学窓
11c  ブリッジ
11d  インターフェース
11e  ボタン
12  画像処理装置
13  内視鏡
14  光源
15  モニタ
16  光リンク
17  カプラ
18、19  電気的リンク
【図１】
2010537673.tif 000003
【図２】
2010537673.tif 000004
【図３】
2010537673.tif 000005
【図４】
2010537673.tif 000006
【図５】
2010537673.tif 000007
【国際調査報告】
2010537673.tif 000008
2010537673.tif 000009