(57)【特許請求の範囲】
【請求項１】
被写体の光学像を撮像する撮像部と、
前記被写体の第１の光学像と、当該第１の光学像と視差を有する第２の光学像を生成し、前記撮像部上の所定の位置に結像させる光学系と、
前記撮像部の撮像面上における前記第１の光学像及び前記第２の光学像の結像位置情報と、前記第１の光学像及び前記第２の光学像の視差情報と、を予め格納させておく記憶部と、
前記撮像部上に結像された前記第１の光学像と前記第２の光学像を光電変換し、それぞれ第１の撮像信号と第２の撮像信号として出力する撮像信号生成部と、
前記結像位置情報に基づいて、前記撮像面上における前記第１の光学像に対応する第１領域及び前記第２の光学像に対応する第２領域を各々切り出すことで、表示用の第１の画像信号及び第２の画像信号を生成する画像処理部と、
を備え、
前記画像処理部は、
前記視差情報に基づいて、前記第１の画像信号と前記第２の画像信号との対応する領域を表す一対の画素位置を設定する視差調整部と、
前記視差調整部の設定に基づき、前記第１の画像信号及び前記第２の画像信号における各画素の輝度値を比較する輝度値比較部と、
前記輝度値比較部の比較結果に基づいて、画素欠陥を検出する検出部と、
を有することを特徴とする撮像システム。
【請求項２】
前記一対の画素位置は、前記第１の画像信号における第１の画素と、前記第２の画像信号における前記第１の画素上に撮像された前記被写体の領域に対応する領域が撮像される第２の画素と、で構成され、
前記視差調整部は、前記第２の画像信号において、前記第１の画素に対応する画素位置から前記視差分ずらした画素位置に位置する画素を、前記第２の画素として設定することを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記検出部は、前記輝度値比較部の比較結果に基づいて、輝度値の差分が所定値以上となる前記一対の画素に対して、輝度値が大きい方の輝度過剰画素を前記画素欠陥として検出し、
前記画像処理部は、
前記検出部により検出された前記輝度過剰画素に対して、前記輝度値の差分が前記所定値以下となるように補正処理を施す補正処理部と、
前記補正処理部により補正処理を施された、前記第１の画像信号と前記第２の画像信号を合成して出力する信号合成部と、
をさらに備えたことを特徴とする請求項１に記載の撮像システム。
【請求項４】
前記撮像部、前記光学系、前記撮像信号生成部及び前記記憶部を具備する内視鏡と、
前記画像処理部を具備するプロセッサと、を備えることを特徴とする請求項３に記載の撮像システム。
【請求項５】
被写体の光学像を撮像する撮像部と、
前記被写体の第１の光学像と、当該第１の光学像と異なる明るさを有する第２の光学像を生成し、前記撮像部上の所定の位置に結像させる光学系と、
前記撮像部の撮像面上における前記第１の光学像及び前記第２の光学像の結像位置情報と、前記第１の光学像及び前記第２の光学像の輝度差情報と、を予め格納させておく記憶部と、
前記撮像部上に結像された前記第１の光学像と前記第２の光学像を光電変換し、それぞれ第１の撮像信号と第２の撮像信号として出力する撮像信号生成部と、
前記結像位置情報に基づいて、前記撮像面上における前記第１の光学像に対応する第１領域及び前記第２の光学像に対応する第２領域を各々切り出すことで、表示用の第１の画像信号及び第２の画像信号を生成する画像処理部と、
を備え、
前記画像処理部は、
前記輝度差情報に基づいて、前記第１の画像信号と前記第２の画像信号との対応する領域を表す一対の画素位置を設定する輝度差調整部と、
前記輝度差調整部の設定に基づき、前記第１の画像信号及び前記第２の画像信号における各画素の輝度値を比較する輝度値比較部と、
前記輝度値比較部の比較結果に基づいて、画素欠陥を検出する検出部と、
を有することを特徴とする撮像システム。
【請求項６】
前記光学系は、前記第２の光学像の明るさを減光する減光部材を備え、
前記輝度差調整部は、前記第２の画像信号に対して前記輝度差情報に基づいてゲイン調整を行うことを特徴とする請求項５に記載の撮像システム。
【請求項７】
前記検出部は、前記輝度値比較部の比較結果に基づいて、輝度値の差分が所定値以上となる前記一対の画素に対して、輝度値が大きい方の輝度過剰画素を前記画素欠陥として検出し、
前記検出部により検出された前記輝度過剰画素に対して、前記輝度値の差分が前記所定値以下となるよう補正処理を施す補正処理部と、
前記補正処理部により補正処理を施された、前記第１の画像信号と前記第２の画像信号を合成して出力する信号合成部と、
をさらに備えたことを特徴とする請求項５に記載の撮像システム。
【請求項８】
前記撮像部、前記光学系、前記撮像信号生成部及び前記記憶部を具備する内視鏡と、
前記画像処理部を具備するプロセッサと、を備えることを特徴とする請求項７に記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像システムに関し、特に、２種の画像を用いて新たな表示用画像を生成すると共に白傷画素を検出可能な撮像システムに関する。
【背景技術】
【０００２】
従来、固体撮像素子を備える撮像システムにおいては、当該固体撮像素子の撮像面上に結晶欠陥に基づく、いわゆる白傷と称される画素欠陥が生じることがある。このような画素欠陥を完全に取り除くことは困難であり、このため、従来より、画素欠陥補正回路を備えて画像を補正し、固定撮像素子の歩留りを向上させる努力がなされている。【０００３】
たとえば、日本国特開平１０−３２２６０３号公報には、撮像システムの工場出荷時に画素欠陥検査装置を用いて固体撮像素子の欠陥画素を検出してその位置情報を記録し、その後、記録された欠陥画素の位置情報に基づいて当該画素欠陥を補正する技術が示されている。【０００４】
また、固体撮像素子を搭載する内視鏡システムにおいても、従来から白傷画素を検出して記録し、されに当該記録した情報に基づいて白傷を補正する技術が知られている。【０００５】
具体的には、内視鏡システムの工場出荷工程において、真っ黒な被写体を撮像して過剰な輝度値を判定することで白傷画素を検出し、当該白傷画素の位置をＸＹのアドレス情報として内視鏡に搭載したＩＤメモリ等に保存する。そして、当該内視鏡を使用する際に、接続されるプロセッサまたは当該内視鏡自体において、前記ＩＤメモリに保存したアドレス情報に基づいて白傷画素に対して所定の補正処理を施す技術が知られている。【０００６】
しかしながら、上述した白傷画素の補正は、工場出荷時にすでに生じていた白傷（先発白傷）等の画素欠陥に対しては有効に作用するものの、出荷後において生じる白傷画素に対しては有効に機能することは困難であった。【０００７】
すなわち、白傷画素は結晶欠陥に基づく欠陥画素であることから経時劣化し、または、温度上昇に伴って増加する傾向にあることが知られている。しかしながら、従来の白傷検出等の欠陥画素の検出は上述したように製造段階で行われているため、出荷後の市場において後発的に生じる欠陥画素の経時変化等には対応することができなかった。【０００８】
この工場出荷後における画素欠陥の経時変化に対応する技術として、日本国特開２００１−０８６４１１号公報には、撮像光学系の光路中に介挿された光学部材を移動させることにより固体撮像素子に入射する光の結像位置を変位させ、フレームの前後の画像のデータを比較することにより画素欠陥を検出する技術が示されている。【０００９】
また、日本国特開２００９−２３２２００号公報には、撮像光を分光して得られた複数の分光光をそれぞれ撮像し、前記分光光毎に同一撮像位置もしくは近傍撮像位置で撮像し出力した映像信号を比較し、比較した結果に応じて、分光光のうちいずれの分光光を撮像した撮像素子で画素欠陥が発生しているか否かを検出し補正する画素欠陥補正方法が開示されている。【００１０】
一方、従来、２種類の画像を取得可能な撮像システムにおいて、当該２種類の画像を用いて新たな表示用画像を生成する技術が実用化されている。【００１１】
たとえば、視差を有する２種類の撮像画像を用いた立体画像を生成する技術として、日本国特開２０１２−０６５２０４号公報および日本国特開２００１−１４８８６５号公報には、複数の撮像部を用いて立体画像（３Ｄ画像）を撮像する撮像装置が開示されている。【００１２】
さらに、日本国特開２００３−０３２５５９号公報には、輝度の異なる２種類の撮像画像を用いてハイダイナミックレンジを有する表示用画像を生成する技術が知られている。【００１３】
この日本国特開２００３−０３２５５９号公報に記載の技術は、１つの光学像を光束分離部により２つの光学像に分離し、これら分離された２つの光学像を１つの撮像素子の撮像面上に結像させるようにしたものである。そして当該技術は、当該撮像素子上の２種の光学像に対して光電変換を施して輝度の異なる２つの撮像信号を生成し、当該２つの撮像信号を画像信号に変換して合成することでハイダイナミックレンジ画像を取得するようになっている。【００１４】
日本国特開２００１−０８６４１１号公報に記載の技術は、工場出荷後における画素欠陥の経時変化に対応する技術ではあるが、撮像光学系の光路中に介挿された光学部材を移動させる機構を要するうえに、日本国特開２０１２−０６５２０４号公報、日本国特開２００１−１４８８６５号公報および日本国特開２００３−０３２５５９号公報に示す如き、２種類の画像を取得し当該２種類の画像を用いて新たな表示用画像を生成する技術に適用することは困難である。【００１５】
また、日本国特開２００９−２３２２００号公報に記載の技術は、撮像光学像を２つに分割し、当該光学像の対応する画素同士を比較することで、輝度値が過剰な白傷画素を検出し、補正を行なうことで適切な画像を出力する技術であるが、上述した日本国特開２０１２−０６５２０４号公報、日本国特開２００１−１４８８６５号公報および日本国特開２００３−０３２５５９号公報に示す如き技術に適用することは困難である。【００１６】
すなわち、日本国特開２０１２−０６５２０４号公報、日本国特開２００１−１４８８６５号公報および日本国特開２００３−０３２５５９号公報に示す如き技術において、単純に撮像光学像を２つに分割し、当該光学像の対応する画素同士を比較しようとしても、たとえば日本国特開２０１２−０６５２０４号公報および日本国特開２００１−１４８８６５号公報に記載の技術おいてはこれら２つの画像には互いに視差を有するものであって、これら光学特性の異なる２つの画像を単純に比較しても有効な結果を得ることは困難である。【００１７】
さらに日本国特開２００３−０３２５５９号公報に記載の技術においても、２つの画像の間にはそもそも輝度値に大きな差があることから、やはり、これら光学特性の異なる２つの画像を単純に比較しても有効な結果を得ることは困難である。【００１８】
本発明は上述した事情に鑑みてなされたものであり、光学特性の異なる２種の画像を用いて新たな表示用画像を生成する撮像システムにおいて、的確に白傷画素を検出し補正することが可能な撮像システムを提供することを目的とする。
【発明の開示】
【課題を解決するための手段】
【００１９】
本発明の一態様の撮像システムは、被写体の光学像を撮像する撮像部と、前記被写体の第１の光学像と、当該第１の光学像と視差を有する第２の光学像を生成し、前記撮像部上の所定の位置に結像させる光学系と、前記撮像部の撮像面上における前記第１の光学像及び前記第２の光学像の結像位置情報と、前記第１の光学像及び前記第２の光学像の視差情報と、を予め格納させておく記憶部と、前記撮像部上に結像された前記第１の光学像と前記第２の光学像を光電変換し、それぞれ第１の撮像信号と第２の撮像信号として出力する撮像信号生成部と、前記結像位置情報に基づいて、前記撮像面上における前記第１の光学像に対応する第１領域及び前記第２の光学像に対応する第２領域を各々切り出すことで、表示用の第１の画像信号及び第２の画像信号を生成する画像処理部と、を備え、前記画像処理部は、前記視差情報に基づいて、前記第１の画像信号と前記第２の画像信号との対応する領域を表す一対の画素位置を設定する視差調整部と、前記視差調整部の設定に基づき、前記第１の画像信号及び前記第２の画像信号における各画素の輝度値を比較する輝度値比較部と、前記輝度値比較部の比較結果に基づいて、画素欠陥を検出する検出部と、を有する。
また、本発明の別の態様の撮像システムは、被写体の光学像を撮像する撮像部と、前記被写体の第１の光学像と、当該第１の光学像と異なる明るさを有する第２の光学像を生成し、前記撮像部上の所定の位置に結像させる光学系と、前記撮像部の撮像面上における前記第１の光学像及び前記第２の光学像の結像位置情報と、前記第１の光学像及び前記第２の光学像の輝度差情報と、を予め格納させておく記憶部と、前記撮像部上に結像された前記第１の光学像と前記第２の光学像を光電変換し、それぞれ第１の撮像信号と第２の撮像信号として出力する撮像信号生成部と、前記結像位置情報に基づいて、前記撮像面上における前記第１の光学像に対応する第１領域及び前記第２の光学像に対応する第２領域を各々切り出すことで、表示用の第１の画像信号及び第２の画像信号を生成する画像処理部と、を備え、前記画像処理部は、前記輝度差情報に基づいて、前記第１の画像信号と前記第２の画像信号との対応する領域を表す一対の画素位置を設定する輝度差調整部と、前記輝度差調整部の設定に基づき、前記第１の画像信号及び前記第２の画像信号における各画素の輝度値を比較する輝度値比較部と、前記輝度値比較部の比較結果に基づいて、画素欠陥を検出する検出部と、を有する。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態の内視鏡システムの構成を示す図である。
【図２】第１の実施形態の内視鏡システムにおける挿入部先端部の構成を示す斜視図である。
【図３】第１の実施形態の内視鏡システムにおける撮像素子に結像される２種の光学像の一例を示した図である。
【図４】第１の実施形態の内視鏡システムの画像処理部における白傷の検出および補正を行う機能部の構成を示したブロック図である。
【図５】第１の実施形態の内視鏡システムにおける撮像素子に白傷が生じた際の様子を示した図である。
【図６】第１の実施形態の内視鏡システムにおける撮像素子に生じた白傷を補正する際の様子を示した図である。
【図７】本発明の第２の実施形態の内視鏡システムの構成を示す図である。
【図８】第２の実施形態の内視鏡システムにおける挿入部先端部に配設した光学部材の構成を示した図である。
【図９】第２の実施形態の内視鏡システムにおける撮像素子に結像される２種の光学像の一例を示した図である。
【図１０】第２の実施形態の内視鏡システムの画像処理部における白傷の検出および補正を行う機能部の構成を示したブロック図である。
【発明を実施するための最良の形態】
【００２１】
以下に、本発明の好ましい形態について図面を参照して説明する。なお、以下の説明に用いる各図においては、各構成要素を図面上で認識可能な程度の大きさとするため、構成要素毎に縮尺を異ならせてあるものであり、本発明は、これらの図に記載された構成要素の数量、構成要素の形状、構成要素の大きさの比率、及び各構成要素の相対的な位置関係のみに限定されるものではない。【００２２】
（第１の実施形態）  
図１から図３を用いて第１の実施形態の内視鏡システムの構成について説明する。図１は、本発明の第１の実施形態の内視鏡システムの構成を示す図、図２は、第１の実施形態の内視鏡システムにおける挿入部先端部の構成を示す斜視図、図３は、第１の実施形態の内視鏡システムにおける撮像素子に結像される２種の光学像の一例を示した図である。【００２３】
図１に示すように本発明の第１の実施形態の内視鏡システム１は、撮像素子２５を有するとともに立体画像を生成する、いわゆる３Ｄ内視鏡である内視鏡２と、内視鏡２が着脱自在に接続され、所定の信号処理を行うプロセッサ３と、内視鏡２が着脱自在に接続され、内視鏡２に対して照明光を供給する光源装置４と、プロセッサ３により生成された画像信号を内視鏡画像として表示する表示装置としてのモニタ５と、を備える。【００２４】
内視鏡２は、体腔内に挿入される細長の挿入部６と、この挿入部６の後端に設けられた操作部７と、この操作部７から延出されたユニバーサルコード８とを有する。ユニバーサルコード８は、その基端付近または途中でライトガイドコード９と、信号コード（信号ケーブル）１０に分岐する。【００２５】
ライトガイドコード９の端部の光源用コネクタ１１は、光源装置４に着脱自在に接続され、信号コード１０の端部の信号用コネクタ１２は、プロセッサ３に着脱自在に接続される。【００２６】
また、この信号用コネクタ１２には、内視鏡２ごとの個別の情報、たとえば撮像素子２５にかかる個別の情報を記憶する記憶部であるＩＤメモリ２０が配設されている。【００２７】
挿入部６、操作部７およびユニバーサルコード８内には照明光を伝送するライトガイド１３が挿通されている。そして、光源用コネクタ１１を光源装置４に接続することにより、光源装置４からの照明光をライトガイド１３により伝送し、挿入部６の先端部１４に設けられた照明窓に取り付けられたライトガイド先端面１３ａから、伝送した照明光を出射する。【００２８】
なお、光源用コネクタ１１と信号用コネクタ１２とが一体となったコネクタを光源装置４に接続し、信号用コネクタ１２の信号を、光源装置４とプロセッサ３を接続するケーブルにより、プロセッサ３とやり取りする構成にしても良い。【００２９】
先端部１４には照明窓に隣接して観察窓（撮像窓）が設けられ、観察窓には照明された患部等の被写体の光学像を、互いに視差を有して入光する２つの第１対物レンズ２１および第２対物レンズ２２が配設されている（図２参照）。【００３０】
前記第１対物レンズ２１および第２対物レンズ２２の後方には、それぞれ所定の対物光学系２３，２４が配設されている。この対物光学系２３，２４を経て前記第１対物レンズ２１および第２対物レンズ２２の結像位置には撮像素子２５が配設されている。【００３１】
すなわち、本第１の実施形態における内視鏡２は、図２に示すように、３Ｄ内視鏡として２つの第１対物レンズ２１および第２対物レンズ２２において互いに視差ある光学像を入力し、それぞれ対物光学系２３，２４において別々の光学像である第１の光学像と第２の光学像とを生成するが、図１に示すように、これら別々の光学像を１つの撮像素子２５の撮像面上に結像するようになっている。【００３２】
撮像素子２５は、たとえばＣＣＤイメージセンサにより構成され、挿入部６およびユニバーサルコード８内に挿通されたケーブルを経たのち信号用コネクタ１２を介してプロセッサ３に接続される。【００３３】
また、撮像素子２５は、本実施形態においては上述したように、互いに別々の光学像である第１の光学像と第２の光学像とを、ＣＣＤの同一撮像面上における各光学像に対応する所定の領域に結像するようになっている。【００３４】
たとえば、図３に示すように、左用の第１の光学像は第１領域５１に、右用の第２の光学像は第２領域５２にそれぞれ結像するようになっている。【００３５】
なお、図３においては第１領域５１と第２領域５２を略矩形状を呈するものとして示したが、これは、プロセッサ３において当該第１の光学像および第２の光学像に係る所定の撮像領域として切り出す際の領域に対応したことによる。【００３６】
しがたって、前記第１の光学像と第２の光学像とのそれぞれの結像領域である前記第１領域５１および第２領域５２は矩形形状に限らず、例えば、円形形状を呈する領域としてもよい。さらに、これら第１領域５１と第２領域５２とは互いに一部の領域が重なるように設定してもよい。【００３７】
本第１の実施形態における内視鏡システムにおいては、たとえば内視鏡製造工程内の検査工程において、前記２つの光学像が当該撮像素子２５の撮像面上のどの位置（領域）に結像されたのかという「結像位置情報」を、出荷される内視鏡ごとに検査により予め取得し、その「結像位置情報」を信号用コネクタ１２に配設された前記ＩＤメモリ２０に記憶するようになっている。【００３８】
この位置情報は、たとえば、図３に示すごとき左用の第１の光学像に対応する第１領域５１および右用の第２の光学像に対応する第２領域５２の、撮像面上のＸ−Ｙ座標情報である。【００３９】
また、本第１の実施形態においては、撮像素子２５に関し、左用の第１の光学像と右用の第２の光学像との「視差情報」を前記ＩＤメモリ２０に記憶するようになっている。【００４０】
前記プロセッサ３は、撮像素子等の動作に必要な複数の電源電圧の電源を発生する図示しない電源回路と、撮像素子から出力される撮像信号に対する所定の信号処理を行う信号処理回路（画像処理部３２および前処理部３３等）と、内視鏡２における前記撮像素子２５の駆動するＣＣＤ駆動回路３４と、前記電源回路、信号処理回路およびＣＣＤ駆動回路３４を含む各種回路の制御を行う制御部３１と、を備える。【００４１】
制御部３１は、上述したようにプロセッサ３内における各種回路を制御するとともに、内視鏡２が当該プロセッサ３に接続された際、信号用コネクタ１２における前記ＩＤメモリ２０に記憶された、当該内視鏡２個別の情報であるところの前記「結像位置情報」を入手するようになっている。【００４２】
前処理部３３は、撮像素子２５からの撮像信号（本実施形態においては第１の光学像および第２の光学像に係る撮像信号）を入力して所定の前信号処理を施すものであり、公知の信号増幅部、プロセス回路、Ａ／Ｄコンバータ、ホワイトバランス回路等により構成され、制御部３１により制御される。【００４３】
画像処理部３２は、前処理部３３からの出力信号に対して所定の画像処理を施す図示しない画像処理部と、制御部３１の制御下に、ＩＤメモリ２０に記憶された前記「結像位置情報」に基づいて、前記第１の光学像と前記第２の光学像の所定の撮像領域を切り出す、図示しない撮像領域切出部と、を備える。【００４４】
前記撮像領域切出部は、当該プロセッサ３に接続された内視鏡２の個別の情報であるところの、撮像素子２５の撮像面上に結像された前記第１の光学像と前記第２の光学像の「結像位置情報」に基づいて、撮像面上の前記第１の光学像に対応する第１領域５１と、前記第２の光学像に対応する第２領域５２とをそれぞれ切り出すようになっている。【００４５】
画像処理部３２は、前記撮像領域切出部において切り出した２つの撮像領域（第１領域５１および第２領域５２）においてそれぞれ所定の画像処理を施して２つの表示用の画像信号（本実施形態においては、第１領域５１に係る左側画像信号および第２領域５２に係る右側画像信号）を生成するようになっている。【００４６】
＜第１の実施形態における白傷の検出および補正機能＞  
また、画像処理部３２は、前記第１領域５１に係る左側画像信号および第２領域５２に係る右側画像信号に基づいて撮像素子２５における白傷の検出および当該白傷の補正を行う機能を備える。【００４７】
以下、本実施形態における白傷の検出および補正機能について説明する。【００４８】
図４は、第１の実施形態の内視鏡システムの画像処理部における白傷の検出および補正を行う機能部の構成を示したブロック図である。【００４９】
図４に示すように画像処理部３２は、光学特性の異なる（本実施形態においてはすなわち視差を有する）２つの画像信号である前記左側画像信号と右側画像信号との視差の値を調整する視差調整部６１と、視差調整部６１において調整された左側画像信号と右側画像信号との輝度値を比較する比較部６２と、比較部６２において比較された情報に基づいて撮像素子２５上の白傷を検出する白傷検出部６３と、前記白傷検出部６３における検出結果に基づいて当該白傷が生じた画素に所定の補正を施す白傷補正部６４と、を有する。【００５０】
前記視差調整部６１は、制御部３１の制御下に、当該プロセッサ３に接続された内視鏡２におけるＩＤメモリ２０に記憶された前記「視差情報」を格納し、この視差情報に基づいて、視差を有する前記第１領域５１に係る左側画像信号と前記第２領域５２に係る右側画像信号との視差を実質的にゼロにするよう調整するようになっている。【００５１】
具体的に本実施形態においては、左側画像信号に係る視方向を右側画像信号に係る視方向に合わせるよう視差分ずらして、実質的に視差をゼロにするように調整する。【００５２】
前記比較部６２は、制御部３１の制御下に、視差調整部６１において実質的に視差がゼロに調整された前記第１領域５１に係る左側画像信号おける各画素の輝度値と、前記第２領域５２に係る右側画像信号おける各画素の輝度値とを、それぞれ画素毎に輝度値を比較するようになっている。【００５３】
前記白傷検出部６３は、制御部３１の制御下に、比較部６２において比較された第１領域５１と第２領域５２における各画素毎の輝度値の比較結果に基づいて撮像素子２５上の白傷の有無を検出するようになっている。【００５４】
具体的には、図５に示すように、前記比較部６２における比較に結果、たとえば、第１領域５１における画素７１が、第２領域５２における対応する画素よりもその輝度値が所定値以上大きい場合は、白傷検出部６３は、当該画素７１の部分に白傷が生じていると判定する。【００５５】
同様に、第２領域５２における画素７２および画素７３が、第１領域５１における対応する画素よりもその輝度値が所定値以上大きい場合は、白傷検出部６３は、当該画素７２および画素７３の部分に白傷が生じていると判定する。【００５６】
前記白傷補正部６４は、白傷検出部６３における検出結果に基づいて、当該白傷が生じた画素、上記の場合は画素７１、７２、７３に対して所定の補正を施して白傷の影響を軽減させるようになっている。【００５７】
たとえば、図６に示すように、白傷が生じている第１領域５１における前記画素７１に係る出力信号を、第２領域５２において対応する画素７１aに係る出力信号で置き換え補正する。また、同様に、白傷が生じている第２領域５２における前記画素７２の場合に係る出力信号を、第１領域５１において対応する画素７２aに係る出力信号で置き換えて補正する。【００５８】
一方、図６に示すように、白傷が生じている画素７３のように、周囲の情報に基づいて補完するように補正してもよい。【００５９】
図４に戻って、画像処理部３２は、前記白傷補正部６４において白傷が補正された左側画像信号および右側画像信号に所定の３Ｄ合成処理を施して出力する合成部６５を有し、この合成部６５において３Ｄ合成処理された１つの映像信号をモニタ５に向けて出力するようになっている。【００６０】
なお本実施形態においては、上述したように画像処理部３２において前記２つの撮像領域に対応する撮像信号に対して所定の３Ｄ合成処理を施し、１つの映像信号として通常のモニタに対して出力するようにしたが、これに限らず、前記モニタ５として、いわゆる３Ｄ対応のモニタ装置を採用し、上述した合成処理を行わず、視差ある２つの映像信号に対して適宜公知の３Ｄ処理を施し表示するようにしてもよい。【００６１】
次に本第１の実施形態の内視鏡システムの作用について説明する。【００６２】
まず、内視鏡２においては、上述したように、内視鏡製造工程内の検査工程において、前記２つの光学像が当該撮像素子２５の撮像面上のどの位置（領域）に結像されたのかという「結像位置情報」を、出荷される内視鏡ごとに検査により予め取得し、その「結像位置情報」を信号用コネクタ１２に配設された前記ＩＤメモリ２０に記憶する。【００６３】
さらに、本第１の実施形態においては、内視鏡製造工程内の検査工程において、内視鏡２における左用の第１の光学像と右用の第２の光学像との「視差情報」を前記ＩＤメモリ２０に記憶する。【００６４】
次に、プロセッサ３においては、当該プロセッサ３に内視鏡２が接続された際には、制御部３１がＩＤメモリ２０に記憶された前記「結像位置情報」および前記「視差情報」を入手する。【００６５】
一方、プロセッサ３においては、制御部３１の制御下に、前処理部３３が撮像素子２５からの撮像信号を入力して所定の前処理を施したのち、画像処理部３２における前記撮像領域切出部が、前記「結像位置情報」に基づいて前記第１の光学像と前記第２の光学像の所定の撮像領域を切り出す。【００６６】
その後、画像処理部３２は、撮像領域切出部において切り出した２つの撮像領域においてそれぞれ所定の画像処理を施して第１領域５１に係る左側画像信号および第２領域５２に係る右側画像信号を生成する。【００６７】
また、画像処理部３２における視差調整部６１は、制御部３１の制御下に、内視鏡２におけるＩＤメモリ２０に記憶された前記「視差情報」を格納し、この視差情報に基づいて、第１領域５１に係る左側画像信号と第２領域５２に係る右側画像信号との視差を実質的にゼロにするよう調整する。【００６８】
さらに、比較部６２は、制御部３１の制御下に、視差調整部６１において実質的に視差がゼロに調整された第１領域５１に係る左側画像信号おける各画素の輝度値と、第２領域５２に係る右側画像信号おける各画素の輝度値とを、それぞれ画素毎に輝度値を比較する。【００６９】
この後、白傷検出部６３は、制御部３１の制御下に、比較部６２において比較された第１領域５１と第２領域５２における各画素毎の輝度値の比較結果に基づいて撮像素子２５上の白傷の有無を検出する。【００７０】
そして、白傷補正部６４は、白傷検出部６３における検出結果に基づいて、白傷が検出された場合は、当該白傷が生じた画素に対して所定の補正を施して白傷の影響を軽減させる。【００７１】
その後、画像処理部３２は、合成部６５において、前記白傷補正部６４により白傷が補正された左側画像信号および右側画像信号に所定の３Ｄ合成処理を施して合成された映像信号をモニタ５に向けて出力する。【００７２】
以上説明したように、本第１の実施形態の内視鏡システムによると、視差のある２種の画像を用いて新たな表示用画像を生成する撮像システムにおいて、的確に白傷画素を検出し補正することが可能な撮像システムを提供することができる。【００７３】
（第２の実施形態）  
次に、本発明の第２の実施形態について説明する。【００７４】
上述したように上記第１の実施形態の内視鏡システムは、２種の光学像として互いに視差を有する２つの光学像を１つの撮像素子上に結像する３Ｄ内視鏡を備える内視鏡システムに本願発明を適用するものであるが、これに対して本第２の実施形態の内視鏡システムは、入光する一の光学像を分離することで生成した２つの光学像を１つの撮像素子上に結像する内視鏡を備える内視鏡システムである。【００７５】
そして、本第２の実施形態の内視鏡システムは、分離された２つの光学像を１つの撮像素子の撮像面上に結像させるとともに、当該２つの光学像に対して輝度の異なる２つの撮像信号を生成し、当該２つの撮像信号を画像信号に変換して合成することでハイダイナミックレンジ画像を取得することを特徴とする。【００７６】
図７は、本発明の第２の実施形態の内視鏡システムの構成を示す図、図８は、第２の実施形態の内視鏡システムにおける挿入部先端部に配設した光学部材の構成を示した図、図９は、第２の実施形態の内視鏡システムにおける撮像素子に結像される２種の光学像の一例を示した図である。【００７７】
本第２の実施形態の内視鏡システム１０１は、その基本的な構成は第１の実施形態と同様であるが、第１の実施形態に比して内視鏡１０２における挿入部の先端部１１４の構成を異にするものである。【００７８】
したがって、ここでは、第１の実施形態と異なる部分の説明にとどめ、第１の実施形態と同様の部分についての説明は省略する。【００７９】
上記第１の実施形態においては互いに視差を有して入光する２つの第１対物レンズ２１および第２対物レンズ２２が配設されたが、図７に示すように、本第２の実施形態においては、先端部１１４には患部等の被写体の光学像を入光する対物レンズ１２１が配設されている。【００８０】
前記対物レンズ１２１の後方には、光プリズム１２３が配設されている。この光プリズム１２３は、図８に示すように、前記対物レンズ１２１からの前記一の光学像を第１の光学像と第２の光学像とに分割して撮像素子１２５に向けて出射する光学像分割部である。  そして、光プリズム１２３から２つの光路（第１の光路と第２の光路）として出力される前記第１の光学像および第２の光学像の結像位置には撮像素子１２５が配設される。【００８１】
一方、本第２の実施形態においては、光プリズム１２３から出力される前記２つの光学像のうち第１の光学像に係る第１の光路上には、すなわち、図８に示すように、前記光プリズム１２３の近傍における、前記一の光学像をプリズム面にて反射された前記第１の光学像に係る第１の光路上には、ミラー１２４ｂおよび光を低減する手段、例えばＮＤフィルタ１２４ａが配設されている。【００８２】
これにより、前記プリズム面にて反射された前記第１の光学像は、前記ミラー１２４ｂにより折り返されて再び光プリズム１２３に入射されるとともに、前記ＮＤフィルタ１２４ａにより輝度が積極的に低減されたのち、撮像素子１２５において結像されることとなる。【００８３】
すなわち、撮像素子１２５に結像される第１の光学像は第２の光学像に比して相対的に低輝度の画像となる。【００８４】
以上説明したように、撮像素子１２５の撮像面上には、光プリズム１２３によって一の光学像から分割された第１の光学像と第２の光学像とがそれぞれ結像されるが、そのうち第１の光学像は光低減手段により低輝度化された像として結像されるようになっている。【００８５】
そして、本第２の実施形態においても、撮像素子１２５は、２種の光学像である第１の光学像と第２の光学像とを、ＣＣＤの同一撮像面上における各光学像に対応する所定の領域に結像するようになっている。【００８６】
たとえば、図９に示すように、低輝度の第１の光学像は領域１５１に、高輝度の第２の光学像は領域１５２にそれぞれ結像するようになっている。【００８７】
また、本第２の実施形態においても、第１の実施形態と同様に、たとえば内視鏡製造工程内の検査工程において、前記２つの光学像が当該撮像素子１２５の撮像面上のどの位置（領域）に結像されたのかという「結像位置情報」を、出荷される内視鏡ごとに検査により予め取得し、その「結像位置情報」を信号用コネクタ１２に配設された前記ＩＤメモリ２０に記憶するようになっている。【００８８】
また、本第２の実施形態においては、撮像素子２５に関し、低輝度の第１の光学像と高輝度の第２の光学像との「輝度差情報」を前記ＩＤメモリ２０に記憶するようになっている。【００８９】
前記プロセッサ１０３は、第１の実施形態と同様に、撮像素子等の動作に必要な複数の電源電圧の電源を発生する図示しない電源回路と、撮像素子から出力される撮像信号に対する所定の信号処理を行う信号処理回路（画像処理部１３２および前処理部３３等）と、内視鏡２における前記撮像素子２５の駆動するＣＣＤ駆動回路３４と、前記電源回路、信号処理回路およびＣＣＤ駆動回路３４を含む各種回路の制御を行う制御部３１と、を備える。【００９０】
また、本第２の実施形態においても前記制御部３１は、上述したようにプロセッサ１０３内における各種回路を制御するとともに、内視鏡１０２が当該プロセッサ１０３に接続された際、信号用コネクタ１２における前記ＩＤメモリ２０に記憶された、当該内視鏡１０２の個別の情報であるところの前記「結像位置情報」および前記「輝度差情報」を入手するようになっている。【００９１】
また、本第２の実施形態において画像処理部１３２は、第１の実施形態と同様に、前処理部３３からの出力信号に対して所定の画像処理を施す図示しない画像処理部と、制御部３１の制御下に、ＩＤメモリ２０に記憶された前記「結像位置情報」に基づいて、前記第１の光学像と前記第２の光学像の所定の撮像領域を切り出す、図示しない撮像領域切出部と、を備える。【００９２】
前記撮像領域切出部は、当該プロセッサ１０３に接続された内視鏡１０２の個別の情報であるところの、撮像素子２５の撮像面上に結像された前記第１の光学像と前記第２の光学像の「結像位置情報」に基づいて、撮像面上の前記第１の光学像に対応する領域１５１と、前記第２の光学像に対応する領域１５２とをそれぞれ切り出すようになっている。【００９３】
画像処理部１３２は、前記撮像領域切出部において切り出した２つの撮像領域（領域１５１および領域１５２）においてそれぞれ所定の画像処理を施して２つの表示用の画像信号（本実施形態においては、領域１５１に係る低輝度画像信号および領域１５２に係る高輝度画像信号）を生成するようになっている。【００９４】
＜第２の実施形態における白傷の検出および補正機能＞  
また、画像処理部１３２は、前記領域１５１に係る低輝度像信号および領域１５２に係る高輝度画像信号に基づいて撮像素子１２５における白傷の検出および当該白傷の補正を行う機能を備える。【００９５】
以下、本第２の実施形態における白傷の検出および補正機能について説明する。【００９６】
図１０は、第２の実施形態の内視鏡システムの画像処理部における白傷の検出および補正を行う機能部の構成を示したブロック図である。【００９７】
図１０に示すように画像処理部１３２は、光学特性の異なる（本実施形態においては輝度値の異なる）２つの画像信号である前記低輝度画像信号と高輝度画像信号との輝度値の差を調整する輝度差調整部１６１と、輝度差調整部１６１において調整された低輝度画像信号と高輝度画像信号との輝度値を比較する比較部１６２と、比較部１６２において比較された情報に基づいて撮像素子１２５上の白傷を検出する白傷検出部１６３と、前記白傷検出部１６３における検出結果に基づいて当該白傷が生じた画素に所定の補正を施す白傷補正部１６４と、を有する。【００９８】
前記輝度差調整部１６１は、制御部３１の制御下に、当該プロセッサ３に接続された内視鏡２におけるＩＤメモリ２０に記憶された前記「輝度差情報」を格納し、この輝度差情報に基づいて、互いに輝度値の異なる前記領域１５１に係る低輝度画像信号と前記領域１５２に係る高輝度画像信号との輝度差を実質的にゼロにするよう調整するようになっている。【００９９】
具体的に本実施形態においては、低輝度画像信号に係るゲインを調整し、高輝度画像信号の輝度値に合わせ実質的に輝度差をゼロにするように調整する。【０１００】
前記比較部１６２は、制御部３１の制御下に、輝度差調整部１６１において実質的に輝度差がゼロに調整された前記領域１５１に係る低輝度画像信号おける各画素の輝度値と、前記領域１５２に係る高輝度画像信号おける各画素の輝度値とを、それぞれ画素毎に輝度値を比較するようになっている。【０１０１】
前記白傷検出部１６３は、制御部３１の制御下に、比較部１６２において比較された領域１５１と領域１５２における各画素毎の輝度値の比較結果に基づいて撮像素子１２５上の白傷の有無を検出するようになっている。この白傷有無の検出方法は第１の実施形態と同様なのでここでの詳しい説明は省略する。【０１０２】
また、前記白傷補正部１６４は、第１の実施形態と同様に、白傷検出部１６３における検出結果に基づいて、当該白傷が生じた画素に対して所定の補正を施して白傷の影響を軽減させるようになっている。この白傷補正方法についても第１の実施形態と同様なのでここでの詳しい説明は省略する。【０１０３】
図１０に戻って、画像処理部１３２は、前記白傷補正部１６４において白傷が補正された低輝度画像信号および高輝度画像信号に所定の３Ｄ合成処理を施して出力する合成部６１５を有し、この合成部１６５において３Ｄ合成処理された１つの映像信号をモニタ５に向けて出力するようになっている。【０１０４】
次に本第２の実施形態の内視鏡システムの作用について説明する。【０１０５】
まず、内視鏡１０２においては、第１の実施形態と同様に、内視鏡製造工程内の検査工程において、前記２つの光学像が当該撮像素子１２５の撮像面上のどの位置（領域）に結像されたのかという「結像位置情報」を、出荷される内視鏡ごとに検査により予め取得し、その「結像位置情報」を信号用コネクタ１２に配設された前記ＩＤメモリ２０に記憶する。【０１０６】
さらに、本第２の実施形態においては、内視鏡製造工程内の検査工程において、内視鏡１０２における低輝度の第１の光学像と高輝度の第２の光学像との「輝度差情報」を前記ＩＤメモリ２０に記憶する。【０１０７】
次に、プロセッサ１０３においては、当該プロセッサ１０３に内視鏡１０２が接続された際には、制御部３１がＩＤメモリ２０に記憶された前記「結像位置情報」および前記「輝度差情報」を入手する。【０１０８】
一方、プロセッサ１０３においては、制御部３１の制御下に、前処理部３３が撮像素子１２５からの撮像信号を入力して所定の前処理を施したのち、画像処理部１３２における前記撮像領域切出部が、前記「結像位置情報」に基づいて前記第１の光学像と前記第２の光学像の所定の撮像領域を切り出す。【０１０９】
その後、画像処理部１３２は、撮像領域切出部において切り出した２つの撮像領域においてそれぞれ所定の画像処理を施して領域１５１に係る低輝度画像信号および領域１５２に係る高輝度画像信号を生成する。【０１１０】
また、画像処理部１３２における輝度差調整部１６１は、制御部３１の制御下に、内視鏡１０２におけるＩＤメモリ２０に記憶された前記「輝度差情報」を格納し、この輝度差情報に基づいて、領域１５１に係る低輝度画像信号と領域１５２に係る高輝度画像信号との輝度差を実質的にゼロにするよう調整する。【０１１１】
さらに、比較部１６２は、制御部３１の制御下に、輝度差調整部１６１において実質的に輝度差がゼロに調整された領域１５１に係る低輝度画像信号おける各画素の輝度値と、領域１５２に係る高輝度画像信号おける各画素の輝度値とを、それぞれ画素毎に輝度値を比較する。【０１１２】
この後、白傷検出部１６３は、制御部３１の制御下に、比較部１６２において比較された領域１５１と領域１５２における各画素毎の輝度値の比較結果に基づいて撮像素子１２５上の白傷の有無を検出する。【０１１３】
そして、白傷補正部１６４は、白傷検出部１６３における検出結果に基づいて、白傷が検出された場合は、当該白傷が生じた画素に対して所定の補正を施して白傷の影響を軽減させる。【０１１４】
その後、画像処理部１３２は、合成部１６５において、前記白傷補正部１６４により白傷が補正された低輝度画像信号および高輝度画像信号に所定の３Ｄ合成処理を施して合成された映像信号をモニタ５に向けて出力する。【０１１５】
以上説明したように、本第２の実施形態の内視鏡システムによると、互いに輝度値が異なる２種の画像を用いて新たな表示用画像を生成する撮像システムにおいて、的確に白傷画素を検出し補正することが可能な撮像システムを提供することができる。【０１１６】
本発明は、上記第１の実施形態および第２の実施形態の如き固体撮像素子を搭載した内視鏡を有する内視鏡システムに限らず、２種の画像を用いて新たな表示用画像を生成すると共に白傷画素を検出可能な、固体撮像素子を備える撮像システムに適用することができる。【０１１７】
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。【０１１８】
本出願は、２０１４年１０月１４日に日本国に出願された特願２０１４−２１０２８１号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。
【図１】
0006017735.tif 000002
【図２】
0006017735.tif 000003
【図３】
0006017735.tif 000004
【図４】
0006017735.tif 000005
【図５】
0006017735.tif 000006
【図６】
0006017735.tif 000007
【図７】
0006017735.tif 000008
【図８】
0006017735.tif 000009
【図９】
0006017735.tif 000010
【図１０】
0006017735.tif 000011