(57)【特許請求の範囲】
【請求項１】
第１の照明方向の照明が照射された術部を撮影した第１の手術画像と、第２の照明方向の照明光が照射された前記術部を撮影した第２の手術画像とを合成し、鏡面反射光成分が抑制された合成画像を生成する信号処理部を備え、
前記第１の手術画像は、奇数フレーム及び偶数フレームのうちの一方のフレームの画像であり、
前記第２の手術画像は、前記奇数フレーム及び前記偶数フレームのうちの他方のフレームの画像であり、
前記信号処理部は、前記第１の手術画像又は前記第２の手術画像のいずれかの注目画素の露光量及び画素値に基づいて、前記合成画像中の前記注目画素に対応する画素の画素値を決定する
画像処理装置。
【請求項２】
前記照明光を照射する照明部を制御する照明制御部をさらに備える
請求項１に記載の画像処理装置。
【請求項３】
前記照明制御部は、前記照明光の照明方向を、前記第１の照明方向と前記第２の照明方向とに切り替えるように、前記照明部を制御する
請求項２に記載の画像処理装置。
【請求項４】
前記照明制御部は、前記第１の照明方向の照明光、及び、前記第２の照明方向の照明光それぞれをオン又はオフするように、前記照明部を制御する
請求項２に記載の画像処理装置。
【請求項５】
前記照明光は、前記術部を撮影する内視鏡から照射される
請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記照明光は、前記術部を撮影する内視鏡とは別の外部器具から照射される
請求項１ないし５のいずれかに記載の画像処理装置。
【請求項７】
前記第１の手術画像は、前記第１の手術画像に映る前記術部の中心部分に向かう前記第１の照明方向の照明光が照射された画像であり、
前記第２の手術画像は、前記第２の手術画像に映る前記術部の周辺部分に向かう前記第２の照明方向の照射光が照射された画像である
請求項１ないし６のいずれかに記載の画像処理装置。
【請求項８】
前記信号処理部は、
第１のフレームの前記第１の手術画像と、前記第１のフレームの次の第２のフレームの前記第２の手術画像とを合成し、
前記第２のフレームの次の第３のフレームの前記第１の手術画像と、前記第３のフレームの次の第４のフレームの前記第２の手術画像とを合成する
ことを繰り返す
請求項１に記載の画像処理装置。
【請求項９】
前記信号処理部は、
第１のフレームの前記第１の手術画像と、前記第１のフレームの次の第２のフレームの前記第２の手術画像とを合成し、
前記第２のフレームの前記第２の手術画像と、前記第２のフレームの次の第３のフレームの前記第１の手術画像とを合成する
ことを繰り返す
請求項１に記載の画像処理装置。
【請求項１０】
前記信号処理部は、
前記第１の手術画像の注目位置の画素の露光量が、前記第２の手術画像の前記注目位置の画素の露光量より大である場合、
前記第１の手術画像の前記注目位置の画素の画素値が、閾値より小であるときには、前記第１の手術画像の前記注目位置の画素の画素値を、前記合成画像の前記注目位置の画素の画素値として求め、
前記第１の手術画像の前記注目位置の画素の画素値が、閾値より小でないときには、前記第２の手術画像の前記注目位置の画素の画素値を、前記合成画像の前記注目位置の画素の画素値として求め、
前記第１の手術画像の注目位置の画素の露光量が、前記第２の手術画像の前記注目位置の画素の露光量より大でない場合、
前記第２の手術画像の前記注目位置の画素の画素値が、閾値より小であるときには、前記第２の手術画像の前記注目位置の画素の画素値を、前記合成画像の前記注目位置の画素の画素値として求め、
前記第２の手術画像の前記注目位置の画素の画素値が、閾値より小でないときには、前記第１の手術画像の前記注目位置の画素の画素値を、前記合成画像の前記注目位置の画素の画素値として求める
請求項１ないし９のいずれかに記載の画像処理装置。
【請求項１１】
前記信号処理部は、前記第１の手術画像の注目位置の画素の画素値と、前記第２の手術画像の前記注目位置の画素の画素値との重み付け加算値を、前記合成画像の前記注目位置の画素の画素値として求める
請求項１に記載の画像処理装置。
【請求項１２】
前記信号処理部は、前記重み付け加算値を求めるのに用いる重みを、前記第１の手術画像又は前記第２の手術画像の前記注目位置の画素の画素値に基づいて設定する
請求項１１に記載の画像処理装置。
【請求項１３】
前記信号処理部は、
前記第１の手術画像の前記注目位置の画素の露光量が、前記第２の手術画像の前記注目位置の画素の露光量より大である場合、前記重みを、前記第１の手術画像の前記注目位置の画素の画素値に応じて設定し、
前記第１の手術画像の前記注目位置の画素の露光量が、前記第２の手術画像の前記注目位置の画素の露光量より大でない場合、前記重みを、前記第２の手術画像の前記注目位置の画素の画素値に応じて設定し、
前記合成画像を含む映像信号のフレームレートは、前記第１の手術画像及び前記第２の手術画像を撮影する手術用撮像装置の撮像フレームレートより、低いものである
請求項１２に記載の画像処理装置。
【請求項１４】
前記信号処理部は、
前記第１の手術画像の前記注目位置の画素の露光量が、前記第２の手術画像の前記注目位置の画素の露光量より大である場合、前記重みを、前記第１の手術画像の前記注目位置の画素の画素値に応じて設定し、
前記第１の手術画像の前記注目位置の画素の露光量が、前記第２の手術画像の前記注目位置の画素の露光量より大でない場合、前記重みを、前記第２の手術画像の前記注目位置の画素の画素値に応じて設定し、
前記第１の手術画像の前記注目位置の画素の画素値ＶＣ、前記第２の手術画像の前記注目位置の画素の画素値Ｖ０、及び、重みａを用い、前記合成画像の前記注目位置の画素の画素値ＣをＣ＝ａ・ＶＣ＋（１−ａ）・Ｖ０に従って求め、
前記第１の手術画像の前記注目位置の画素の露光量が、前記第２の手術画像の前記注目位置の画素の露光量より大である場合、前記第１の手術画像の前記注目位置の画素の画素値ＶＣの増加に対して減少する重みａを設定し、
前記第１の手術画像の前記注目位置の画素の露光量が、前記第２の手術画像の前記注目位置の画素の露光量より大でない場合、前記第２の手術画像の前記注目位置の画素の画素値Ｖ０の増加に対して増加する重みａを設定し、
前記合成画像を含む映像信号のフレームレートは、前記第１の手術画像及び前記第２の手術画像を撮像する手術用撮像装置の撮像フレームレートと同じである
請求項１２に記載の画像処理装置。
【請求項１５】
前記信号処理部は、
前記第１の手術画像の各画素の画素値に、その画素の露光量に応じたゲインをかけるとともに、前記第２の手術画像の各画素の画素値に、その画素の露光量に応じたゲインをかけ、
前記ゲインをかけた後の前記第１の手術画像と前記第２の手術画像とを合成する
請求項１ないし１４のいずれかに記載の画像処理装置。
【請求項１６】
前記信号処理部は、前記ゲインをかけた後の前記第１の手術画像と前記第２の手術画像とを合成することにより生成される前記合成画像の階調を圧縮する
請求項１５に記載の画像処理装置。
【請求項１７】
画像処理装置の画像処理方法であって、
前記画像処理装置が、
第１の照明方向の照明光が照射された術部を撮影した第１の手術画像と、第２の照明方向の照明光が照射された前記術部を撮影した第２の手術画像とを合成し、鏡面反射光成分が抑制された合成画像を生成する
ステップを含み、
前記第１の手術画像は、奇数フレーム及び偶数フレームのうちの一方のフレームの画像であり、
前記第２の手術画像は、前記奇数フレーム及び前記偶数フレームのうちの他方のフレームの画像であり、
前記第１の手術画像又は前記第２の手術画像のいずれかの注目画素の露光量及び画素値に基づいて、前記合成画像中の前記注目画素に対応する画素の画素値を決定するステップを含む
画像処理方法。
【請求項１８】
第１の照明方向の照明光が照射された術部を撮影した第１の手術画像と、第２の照明方向の照明光が照射された前記術部を撮影した第２の手術画像とを合成し、鏡面反射光成分が抑制された合成画像を生成する信号処理部を備え、
前記第１の手術画像は、奇数フレーム及び偶数フレームのうちの一方のフレームの画像であり、
前記第２の手術画像は、前記奇数フレーム及び前記偶数フレームのうちの他方のフレームの画像であり、
前記信号処理部は、前記第１の手術画像又は前記第２の手術画像のいずれかの注目画素の露光量及び画素値に基づいて、前記合成画像中の前記注目画素に対応する画素の画素値を決定する
画像処理装置として、コンピュータを機能させるためのプログラム。
【請求項１９】
術部を撮影する手術用撮像装置と、
第１の照明方向の照明光が照射された術部を前記手術用撮像装置で撮影した第１の手術画像と、第２の照明方向の照明光が照射された前記術部を前記手術用撮像装置で撮影した第２の手術画像とを合成し、鏡面反射光成分が抑制された合成画像を生成する信号処理部とを備え、
前記第１の手術画像は、奇数フレーム及び偶数フレームのうちの一方のフレームの画像であり、
前記第２の手術画像は、前記奇数フレーム及び前記偶数フレームのうちの他方のフレームの画像であり、
前記信号処理部は、前記第１の手術画像又は前記第２の手術画像のいずれかの注目画素の露光量及び画素値に基づいて、前記合成画像中の前記注目画素に対応する画素の画素値を決定する
手術システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、プログラム、及び、手術システムに関し、特に、例えば、鏡面反射光成分を抑制することができるようにする画像処理装置、画像処理方法、プログラム、及び、手術システムに関する。
【背景技術】
【０００２】
例えば、手術や診断において、内視鏡で被写体を観察する場合には、鏡面反射（正反射）が生じやすい。鏡面反射による鏡面反射光は、被写体の観察の妨げとなるため、鏡面反射については、何らかの対処を施すことが要請されている。
【０００３】
鏡面反射に対処する技術としては、例えば、画像処理によって、二色性反射モデルに基づき、内視鏡で撮影された内視鏡画像に含まれる、鏡面反射光に対応する鏡面反射光成分を推定して除去する技術や、内視鏡画像の輝度を調整する技術が提案されている（例えば、特許文献１や２を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2001-224549号公報
【特許文献２】特開2006-142003号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
内視鏡画像の鏡面反射光成分は、被写体である臓器等の凹凸や模様等の観察の妨げになるため、内視鏡画像の鏡面反射光成分を抑制する様々な技術の提案が要請されている。
【０００６】
本技術は、このような状況に鑑みてなされたものであり、鏡面反射光成分を抑制することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の画像処理装置、又は、プログラムは、第１の照明方向の照明が照射された術部を撮影した第１の手術画像と、第２の照明方向の照明光が照射された前記術部を撮影した第２の手術画像とを合成し、鏡面反射光成分が抑制された合成画像を生成する信号処理部を備え、前記第１の手術画像は、奇数フレーム及び偶数フレームのうちの一方のフレームの画像であり、前記第２の手術画像は、前記奇数フレーム及び前記偶数フレームのうちの他方のフレームの画像であり、前記信号処理部は、前記第１の手術画像又は前記第２の手術画像のいずれかの注目画素の露光量及び画素値に基づいて、前記合成画像中の前記注目画素に対応する画素の画素値を決定する画像処理装置、又は、そのような画像処理装置として、コンピュータを機能させるためのプログラムである。
【０００８】
本技術の画像処理方法は、画像処理装置の画像処理方法であって、前記画像処理装置が、第１の照明方向の照明光が照射された術部を撮影した第１の手術画像と、第２の照明方向の照明光が照射された前記術部を撮影した第２の手術画像とを合成し、鏡面反射光成分が抑制された合成画像を生成するステップを含み、前記第１の手術画像は、奇数フレーム及び偶数フレームのうちの一方のフレームの画像であり、前記第２の手術画像は、前記奇数フレーム及び前記偶数フレームのうちの他方のフレームの画像であり、前記第１の手術画像又は前記第２の手術画像のいずれかの注目画素の露光量及び画素値に基づいて、前記合成画像中の前記注目画素に対応する画素の画素値を決定するステップを含む画像処理方法である。
【０００９】
本技術の手術システムは、術部を撮影する手術用撮像装置と、第１の照明方向の照明光が照射された術部を前記手術用撮像装置で撮影した第１の手術画像と、第２の照明方向の照明光が照射された前記術部を前記手術用撮像装置で撮影した第２の手術画像とを合成し、鏡面反射光成分が抑制された合成画像を生成する信号処理部とを備え、前記第１の手術画像は、奇数フレーム及び偶数フレームのうちの一方のフレームの画像であり、前記第２の手術画像は、前記奇数フレーム及び前記偶数フレームのうちの他方のフレームの画像であり、前記信号処理部は、前記第１の手術画像又は前記第２の手術画像のいずれかの注目画素の露光量及び画素値に基づいて、前記合成画像中の前記注目画素に対応する画素の画素値を決定する手術システムである。
【００１０】
本技術においては、第１の照明方向の照明が照射された術部を撮影した第１の手術画像と、第２の照明方向の照明光が照射された前記術部を撮影した第２の手術画像とが合成され、鏡面反射光成分が抑制された合成画像が生成される。また、前記第１の手術画像が、奇数フレーム及び偶数フレームのうちの一方のフレームの画像とされ、前記第２の手術画像が、前記奇数フレーム及び前記偶数フレームのうちの他方のフレームの画像とされる。また、前記第１の手術画像又は前記第２の手術画像のいずれかの注目画素の露光量及び画素値に基づいて、前記合成画像中の前記注目画素に対応する画素の画素値が決定される。
【００１１】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００１２】
また、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１３】
本技術によれば、鏡面反射光成分を抑制することができる。
【００１４】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１５】
【図１】本技術を適用した内視鏡システムの一実施の形態の構成例を示すブロック図である。
【図２】内視鏡システムの使用例を示す図である。
【図３】内視鏡システムにおいて、被写体を照明する照明方法の例を説明する図である。
【図４】照明部１７での照明方向の調整の例を説明する図である。
【図５】信号処理部１３で行われる合成処理の概要を説明する図である。
【図６】中心照射画像と周辺照射画像とのそれぞれの露光量及びゲインの例を示す図である。
【図７】重みaの設定の例を示す図である。
【図８】信号処理部１３で行われる合成処理のタイミングの例を説明する図である。
【図９】信号処理部１３で行われる合成処理のタイミングの他の例を説明する図である。
【図１０】内視鏡システムの処理の例を説明するフローチャートである。
【図１１】合成処理の例を説明するフローチャートである。
【図１２】内視鏡システムにおいて、被写体を照明する照明方法の他の例を説明する図である。
【図１３】内視鏡システムにおいて、被写体を照明する照明方法のさらに他の例を説明する図である。
【図１４】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
＜本技術を適用した内視鏡システムの一実施の形態＞
【００１７】
図１は、本技術を適用した内視鏡システムの一実施の形態の構成例を示すブロック図である。
【００１８】
図１において、内視鏡システムは、内視鏡１１、メモリ１２、信号処理部１３、表示部１４、撮影制御部１５、照明制御部１６、及び、照明部１７を有する。
【００１９】
内視鏡１１は、例えば、CCD(Charge Coupled Device)やCMOS（Complementary Metal Oxide Semiconductor）センサ等のイメージセンサ１１Ａを有し、そのイメージセンサ１１Ａによって被写体を撮影することにより得られる撮影画像を、メモリ１２、及び、信号処理部１３に供給する。
【００２０】
ここで、図１の内視鏡システムは、例えば、医療用の内視鏡システムであり、内視鏡１１のイメージセンサ１１Ａでは、被写体としての生体、すなわち、例えば、患者の体腔の組織が撮影される。そして、その生体の撮影により得られる生体画像である内視鏡画像が、内視鏡１１から、メモリ１２、及び、信号処理部１３に供給される。
【００２１】
なお、図示していないが、内視鏡１１は、必要に応じて、例えば、フォーカスレンズや絞り等の光学系を有する。
【００２２】
さらに、内視鏡１１では、内視鏡画像として、2D(Dimension)画像を撮影することもできるし、3D画像を撮影することもできる。
【００２３】
メモリ１２は、内視鏡１１（のイメージセンサ１１Ａ）から供給される内視鏡画像を一時記憶する。
【００２４】
信号処理部１３は、内視鏡１１（のイメージセンサ１１Ａ）から供給される内視鏡画像や、メモリ１２に記憶された内視鏡画像を用いて、信号処理を行い、その信号処理の結果得られる画像を、表示部１４に供給する。
【００２５】
ここで、信号処理部１３で行われる信号処理としては、例えば、ベイヤ配列の画像の各画素についてRGBの値を求めるデモザイク（現像）や、後述する合成処理等がある。合成処理では、内視鏡１１からの内視鏡画像と、メモリ１２に記憶された内視鏡画像とが合成され、その結果得られる合成画像が、表示部１４に供給される。
【００２６】
表示部１４は、信号処理部１３から供給される合成画像を表示する。表示部１４としては、例えば、信号処理部１３と一体となったディスプレイや、信号処理部１３とは別個の据え置き型のディスプレイ、ヘッドマウントディスプレイ等を採用することができる。
【００２７】
撮影制御部１５は、内視鏡１１（のイメージセンサ１１Ａ）での内視鏡画像の撮影を制御する。また、撮影制御部１５は、内視鏡１１で撮影された内視鏡画像を、メモリ１２又は信号処理部１３に供給する制御を行う。
【００２８】
さらに、撮影制御部１５は、内視鏡１１で撮影される内視鏡画像のフレームに適した照明の条件（照明条件）を設定し、照明制御部１６に供給する。
【００２９】
すなわち、内視鏡１１では、所定のフレームレートで、内視鏡画像が撮影される。撮影制御部１５は、内視鏡画像の各フレームについて、照明条件を設定し、照明制御部１６に供給する。
【００３０】
照明制御部１６は、被写体が撮影制御部１５からの照明条件に従って照明されるように、照明部１７を制御する。
【００３１】
照明部１７は、照明制御部１６の制御に従って、照明光を照射することにより、被写体を照明する。
【００３２】
ここで、照明部１７は、照明光となる光を発するハロゲンランプ、キセノンランプ、LED (Light Emitting Diode）等の光源、及び、その光源が発した照明光を、被写体に導くライトガイドケーブル等の光学部品等の、被写体に照明光を照射するためのすべての機構を含む。
【００３３】
照明部１７は、照明制御部１６の制御に従い、例えば、偶数フレームと奇数フレームとで、異なる照明方向の照明光を、被写体に照射する。
【００３４】
すなわち、偶数フレームの内視鏡画像の撮影時には、照明部１７は、例えば、内視鏡画像に映る被写体の中心部分に向かう照明方向（第１の照明方向）（以下、中心方向ともいう）の照明光を、被写体に照射する。
【００３５】
また、奇数フレームの内視鏡画像の撮影時には、照明部１７は、例えば、内視鏡画像に映る被写体の周辺部分に向かう照明方向（第２の照明方向）（以下、周辺方向ともいう）の照明光を、被写体に照射する。
【００３６】
その結果、内視鏡１１では、偶数フレームの内視鏡画像（第１の撮影画像）として、中心方向の照明光が照射された被写体を撮影した画像が得られるとともに、奇数フレームの内視鏡画像（第２の撮影画像）として、周辺方向の照明光が照射された被写体を撮影した画像が得られる。
【００３７】
信号処理部１３で行われる合成処理では、以上のような偶数フレームの内視鏡画像と、奇数フレームの内視鏡画像とが合成される。
【００３８】
なお、照明部１７の一部、又は、全部は、内視鏡１１に含めることができる。
【００３９】
また、照明部１７から被写体に照射する照明光の数は、特に限定されるものではない。すなわち、照明部１７は、1又は複数の照明光を、被写体に照射することができる。
【００４０】
さらに、中心方向の照明光は、偶数フレームではなく、奇数フレームの内視鏡画像の撮影時に照射し、周辺方向の照明光は、奇数フレームではなく、偶数フレームの内視鏡画像の撮影時に照射することができる。
【００４１】
また、照明光の照明方向の数としては、中心方向と周辺方向との2方向の他、3方向以上を採用することができる。
【００４２】
すなわち、照明光の照明方向の数としては、例えば、被写体の左側に向かう方向、被写体の中央に向かう方向、及び、被写体の右側に向かう方向の3方向や、被写体の左上、左下、右上、及び、右下のそれぞれに向かう4方向等を採用することができる。
【００４３】
照明光の照明方向の数として、K方向を採用する場合、内視鏡システムでは、例えば、連続するKフレームの内視鏡画像として、照明方向がK方向のそれぞれになっているKフレームの画像が撮影され、その連続するKフレームの内視鏡画像が、1フレームの合成画像に合成される。
【００４４】
図２は、図１の内視鏡システムの使用例を示す図である。
【００４５】
図１の内視鏡システムは、例えば、手術対象となる体内の部位である術部３２を被写体として撮影して、その被写体が映った内視鏡画像（合成画像）を、表示部１４に表示し、医師が、内視鏡画像を見ながら、術部３２に処置を施す内視鏡下手術等で用いられる。
【００４６】
内視鏡１１は、例えば、患者（人体）の体腔に挿入され、その体腔内の組織を被写体とする内視鏡画像を撮影する。
【００４７】
すなわち、内視鏡１１は、例えば、外観上、内視鏡システムのユーザとしての手術を行う術者（医師）が手で持って操作するカメラヘッド２１と、患者の体内に挿入される、細長い筒状の内視鏡スコープ２２とを有する。
【００４８】
内視鏡下手術では、例えば、図２に示すように、内視鏡１１の内視鏡スコープ２２と、処置具である鉗子３１が、患者の体内に挿入される。
【００４９】
内視鏡１１では、例えば、内視鏡スコープ２２の先端から、照明部１７が発する照明光が照射され、その照明光によって、患者の体内の被写体としての術部３２が照明される。さらに、内視鏡１１では、照明光が術部３２で反射された反射光が、内視鏡スコープ２２の先端から入射し、内視鏡１１のイメージセンサ１１Ａで受光されることにより、被写体としての術部３２が撮影される。
【００５０】
なお、内視鏡１１において、イメージセンサ１１Ａは、例えば、カメラヘッド２１や、内視鏡スコープ２２の先端部分に設けることができる。内視鏡１１において、イメージセンサ１１Ａを、カメラヘッド２１に設ける場合には、内視鏡スコープ２２の先端から入射する被写体（術部３２）からの反射光を、カメラヘッド２１のイメージセンサ１１Ａまで導く光学部品が、内視鏡スコープ２２内に設けられる。
【００５１】
ここで、一般的な内視鏡では、例えば、特開平11-104075号公報や、特開2011-120646号公報等に記載されているように、その構造上、光源が発する照明光をガイドするライトガイドと、内視鏡（が有するイメージセンサ）の光軸とがほぼ一致する。また、医師が手術や診断を行うために、内視鏡スコープの先端を、被写体としての術部に近づけて、至近距離から、術部が照明される。
【００５２】
そのため、被写体としての術部では、照明光を鏡面反射した鏡面反射光が生じやすい。
【００５３】
内視鏡で撮影される内視鏡画像における、鏡面反射光に対応する鏡面反射光成分は、被写体の表面に本来存在する凹凸や模様を隠蔽するため、医師による術部の観察の妨げとなることがある。
【００５４】
鏡面反射光成分を抑制する方法としては、例えば、特許文献１や２に記載のような、画像処理によって、二色性反射モデルに基づき、鏡面反射光成分を推定して除去する方法や、輝度信号を調整する方法がある。
【００５５】
しかしながら、特許文献１に記載の方法では、鏡面反射光成分の推定は、有彩色の物体を対象として行われ、有彩色でない物体を対象としては、行うことができない。さらに、有彩色の物体を対象とする鏡面反射光成分の推定において、撮影に用いるセンサが飽和すると、彩度の情報が欠け、鏡面反射光成分の推定を正しく行うことができないので、センサの感度を超えないように、撮影を行うことが必要となる。
【００５６】
また、特許文献２に記載の方法では、高輝度の階調を圧縮するので、画像のコントラストが減少し、その結果、被写体の観察を妨げるおそれや、臓器本来の質感が損なわれるおそれがある。
【００５７】
そこで、図１の内視鏡システムでは、偶数フレームの内視鏡画像の撮影時には、中心方向の照明光を、被写体に照射するとともに、奇数フレームの内視鏡画像の撮影時には、周辺方向の照明光を、被写体に照射して、内視鏡画像を撮影する。
【００５８】
そして、図１の内視鏡システムでは、中心方向の照明光が照射された被写体を撮影した偶数フレームの内視鏡画像と、周辺方向の照明光が照射された被写体を撮影した奇数フレームの内視鏡画像とを合成することで、鏡面反射光成分を抑制した合成画像を生成する。
【００５９】
＜照明方法の例＞
【００６０】
図３は、図１の内視鏡システムにおいて、被写体を照明する照明方法の例を説明する図である。
【００６１】
図３のＡは、内視鏡１１を構成する内視鏡スコープ２２の先端を正面とする場合の、その先端の構成例を示す正面図である。
【００６２】
図３のＢは、内視鏡スコープ２２の先端の構成例を示す側面図である。
【００６３】
図３のＡにおいて、内視鏡スコープ２２の先端には、撮影窓と照明窓とが設けられている。
【００６４】
撮影窓からは、被写体からの反射光が入射し、イメージセンサ１１Ａまで導かれる。
【００６５】
なお、図３では、内視鏡スコープ２２の先端の正面は、（ほぼ）円の形状に構成されており、その円の中心部分に、撮影窓が設けられている。
【００６６】
照明窓は、照明部１７の一部であり、照明窓からは、照明光が照射（出射）される。
【００６７】
なお、図３では、撮影窓の周囲に、4個の照明窓が設けられている。但し、照明窓の数は、4個に限定されるものではない。すなわち、内視鏡スコープ２２には、1個、2個、3個、又は、5個以上の照明窓を設けることができる。
【００６８】
照明部１７を構成する照明窓からは、照明制御部１６の制御に従って、照明光が照射される。
【００６９】
図３では、偶数フレームの内視鏡画像の撮影時には、照明窓から、照明方向が中心方向の照明光が照射され、奇数フレームの内視鏡画像の撮影時には、照明方向が周辺方向の照明光が照射されるように、照明光の照明方向が、中心方向と周辺方向とに切り替えられる。
【００７０】
その結果、内視鏡１１では、偶数フレームの内視鏡画像として、中心方向の照明光が照射された被写体が映る画像が撮影され、奇数フレームの内視鏡画像として、周辺方向の照明光が照射された被写体が映る画像が撮影される。
【００７１】
照明部１７において、被写体を照明する照明光の照明方向は、例えば、フレームごとに、メカニカルに制御することや、ミラーや集光レンズ等の光学部品を利用して調整（変更）することができる。
【００７２】
図４は、照明部１７での照明方向の調整の例を説明する図である。
【００７３】
図４では、照明部１７において、図示せぬ光源から発せられた照明光が、内視鏡スコープ２２内に設けられたライトガイドケーブルを通って、内視鏡スコープ２２の先端に設けられた照明窓に到達し、その照明窓から照射される。
【００７４】
図４において、照明窓は、内視鏡スコープ２２の先端の正面としての円上の、半径に垂直な方向を回転軸として回動（揺動）するように構成されている。照明窓が回動することで、照明光の照明方向が、例えば、軟性鏡のように、中心方向や周辺方向に調整される。
【００７５】
図４では、照明光が、常時照射され、照明窓の回動による照明方向の調整が、フレームごとに行われる。これにより、偶数フレームの内視鏡画像の撮影時には、照明窓から、照明方向が中心方向の照明光が照射され、奇数フレームの内視鏡画像の撮影時には、照明方向が周辺方向の照明光が照射される。
【００７６】
＜合成処理＞
【００７７】
図５は、図１の信号処理部１３で行われる合成処理の概要を説明する図である。
【００７８】
合成処理では、偶数フレームの内視鏡画像と、奇数フレームの内視鏡画像とが合成される。
【００７９】
上述したように、偶数フレームの内視鏡画像の撮影時には、中心方向の照明光が照射され、奇数フレームの内視鏡画像の撮影時には、周辺方向の照明光が照射される。
【００８０】
その結果、偶数フレームでは、内視鏡画像の中心部分に、照明光が集中し、奇数フレームでは、内視鏡画像の周辺部分に、照明光が分散する。
【００８１】
したがって、偶数フレームの内視鏡画像では、中心部分の領域A-1が明るく、周辺部分の領域A-2が、中心部分の領域A-1に比較して暗くなる。また、奇数フレームの内視鏡画像では、周辺部分の領域B-2が明るく、中心部分の領域B-1が、周辺部分の領域B-2に比較して暗くなる。
【００８２】
偶数フレームの内視鏡画像の中心部分の領域A-1については、照明光の光軸と、イメージセンサ１１Ａの光軸とが近くなるため、鏡面反射光成分が含まれやすい。
【００８３】
一方、偶数フレームの内視鏡画像の周辺部分の領域A-2、並びに、奇数フレームの内視鏡画像の中心部分の領域B-1、及び、周辺部分の領域B-2（奇数フレームの内視鏡画像の全領域）については、照明光の光軸と、イメージセンサ１１Ａの光軸とのずれが大になるため、鏡面反射光成分が含まれにくい。
【００８４】
合成処理では、以上のような偶数フレームの内視鏡画像と、奇数フレームの内視鏡画像とを、適切に合成することで、鏡面反射光成分が抑制された（鏡面反射光成分がない）合成画像が生成される。
【００８５】
さらに、偶数フレームの内視鏡画像と、奇数フレームの内視鏡画像とは、露光条件が異なる撮影画像であるため、そのような偶数フレームの内視鏡画像と、奇数フレームの内視鏡画像とを合成することで、HDR(High Dynamic Range)の効果を得ることができる。
【００８６】
すなわち、偶数フレームの内視鏡画像と、奇数フレームの内視鏡画像との合成処理によれば、高ダイナミックレンジの合成画像を生成することができる。
【００８７】
ここで、中心方向の照明光が照射されて撮影される偶数フレームの内視鏡画像を、以下、中心照射画像ともいう。また、周辺方向の照明光が照射されて撮影される奇数フレームの内視鏡画像を、以下、周辺照射画像ともいう。
【００８８】
図６は、中心照射画像と周辺照射画像とのそれぞれの露光量及びゲインの例を示す図である。
【００８９】
図６のＡは、中心照射画像と周辺照射画像のそれぞれの露光量（の分布）の例を示している。
【００９０】
図６のＡにおいて、横軸は、中心照射画像及び周辺照射画像の水平方向又は垂直方向の位置（座標）を表し、縦軸は、露光量（明るさ）を表す。
【００９１】
中心照射画像は、その中心照射画像の中心部分に向かう照明方向の照明光が被写体に照射され、撮影が行われた画像であるため、中心部分の露光量が大になり、周辺部分の露光量が小になる。
【００９２】
一方、周辺照射画像は、その周辺照射画像の周辺部分に向かう照明方向の照明光が被写体に照射され、撮影が行われた画像であるため、中心部分の露光量が小になり、周辺部分の露光量が大になる。
【００９３】
なお、中心照射画像の露光量は、任意の方法で測定することができる。
【００９４】
また、中心照射画像の露光量は、例えば、中心方向の照明を被写体に照射して撮影を行うシミュレーション等によってあらかじめ求めておくことができる。
【００９５】
中心照射画像の露光量を、シミュレーション等によってあらかじめ求めておく場合には、1種類の露光量（の分布）を求めておくことの他、例えば、被写体と、内視鏡スコープ２２との距離に対応した複数種類の露光量を求めておくことができる。
【００９６】
被写体と、内視鏡スコープ２２との距離に対応した複数種類の露光量を求めておく場合には、内視鏡システムの使用時に、被写体と、内視鏡スコープ２２との実際の距離を計測し、その実際の距離に対応する露光量を、中心照射画像の露光量として用いることができる。
【００９７】
以上の点、周辺照射画像の露光量についても、同様である。
【００９８】
中心照射画像、及び、周辺照射画像の露光量は、位置（画素）によって異なるため、信号処理部１３は、中心照射画像と周辺照射画像とを合成するにあたって、露光量を一様にするために、中心照射画像、及び、周辺照射画像の、例えば、画素ごとに適切なゲインをかける。
【００９９】
すなわち、信号処理部１３は、例えば、中心照射画像の露光量から、最大の露光量を検出し、その最大の露光量を基準として、中心照射画像、及び、周辺照射画像それぞれの各画素に、その画素の露光量に応じたゲインをかける。
【０１００】
具体的には、信号処理部１３は、中心照射画像の最大の露光量の画素のゲインを1.0に設定する。そして、信号処理部１３は、中心照射画像の最大の露光量の画素のゲインを基準として、中心照射画像、及び、周辺照射画像それぞれの各画素に、その画素の露光量に反比例するような値のゲインを設定する。
【０１０１】
図６のＢは、中心照射画像と周辺照射画像のそれぞれに設定されたゲイン（の分布）の例を示している。
【０１０２】
図６のＢにおいて、横軸は、中心照射画像及び周辺照射画像の水平方向又は垂直方向の位置を表し、縦軸は、信号処理部１３で設定されるゲインを表す。
【０１０３】
図６のＢにおいて、中心照射画像、及び、周辺照射画像それぞれの各画素のゲインは、その画素の露光量に反比例するような値になっている。
【０１０４】
信号処理部１３は、中心照射画像及び周辺照射画像にゲインをかけ、そのゲインをかけた後の中心照射画像と周辺照射画像とを合成する。
【０１０５】
すなわち、いま、注目する注目位置の中心照射画像及び周辺照射画像の画素値を、それぞれ、Pc及びPoと表すこととする。また、中心照射画像及び周辺照射画像の注目位置の画素のゲイン（画素に設定されたゲイン）を、それぞれ、Gc及びGoと表すこととする。
【０１０６】
この場合、ゲインをかけた後の中心照射画像及び周辺照射画像の注目位置の画素の画素値Vc及びVoは、それぞれ、式Vc=Pc・Gc、及び、式Vo=Po・Goで表される。
【０１０７】
信号処理部１３は、例えば、ゲインをかけた後の中心照射画像及び周辺照射画像それぞれの注目位置の画素の画素値Vc及びVoの重み付け加算値を、合成画像の注目位置の画素の画素値Cとして求める。
【０１０８】
すなわち、いま、画素値Vc及びVoの重み付け加算値を求めるのに用いる重みを、aと表すこととすると、信号処理部１３は、例えば、式C=a・Vc+(1-a)・Voに従って、合成画像の注目位置の画素の画素値Cを求める。
【０１０９】
但し、信号処理部１３は、例えば、（ゲインをかけた後の）中心照射画像又は周辺照射画像それぞれの注目位置の画素の画素値Vc又はVoに基づいて、式0.0=<a=<1.0で表される範囲の値を、重みaとして設定する。
【０１１０】
図７は、重みaの設定の例を示す図である。
【０１１１】
図７において、横軸は、中心照射画像又は周辺照射画像の注目位置の画素の画素値Vc又はVoを表し、縦軸は、重みaを表す。
【０１１２】
中心照射画像の注目位置の画素の露光量が、周辺照射画像の注目位置の画素の露光量より大である場合、図７のＡに示すように、重みaは、中心照射画像の注目位置の画素の画素値Vcに応じて設定される。
【０１１３】
また、中心照射画像の注目位置の画素の露光量が、周辺照射画像の注目位置の画素の露光量より大でない場合、図７のＢに示すように、重みaは、周辺照射画像の注目位置の画素の画素値Voに応じて設定される。
【０１１４】
ここで、図７のＡでは、重みaは、中心照射画像の注目位置の画素の画素値Vcの増加に対して、1.0から減少する特性を有する。ここでの減少は、減少量が0以上の減少を意味する。
【０１１５】
また、図７のＢでは、重みaは、周辺照射画像の注目位置の画素の画素値Voの増加に対して、0.0から増加する特性を有する。ここでの増加とは、増加量が0以上の増加を意味する。
【０１１６】
図７のＡでは、中心照射画像の注目位置の画素の画素値Vcが閾値THより小さい（又は、以下である）場合、重みaは、1に設定される。また、図７のＡでは、中心照射画像の注目位置の画素の画素値Vcが閾値TH以上である（又は、より大きい）場合、重みaは、0に設定される。
【０１１７】
図７のＢでは、周辺照射画像の注目位置の画素の画素値Voが閾値THより小さい場合、重みaは、0に設定される。また、図７のＢでは、周辺照射画像の注目位置の画素の画素値Voが閾値TH以上である場合、重みaは、1に設定される。
【０１１８】
閾値THとしては、例えば、鏡面反射光成分を含む可能性が高い画素の画素値の最小値等を用いることができる。かかる閾値THは、例えば、シミュレーション等により推定することができる。
【０１１９】
重みaとして、上述のように、0又は1が設定される場合、式C=a・Vc+(1-a)・Voに従って行われる合成処理では、実質的に、中心照射画像及び周辺照射画像の注目位置の画素の画素値Vc及びVoのうちの一方の画素値が、合成画像の注目位置の画素値となる。
【０１２０】
すなわち、中心照射画像の注目位置の画素の露光量が、周辺照射画像の注目位置の画素の露光量より大である場合（図７のＡ）、中心照射画像の注目位置の画素の画素値Vcが、閾値THより小であるときには、重みaが1となり、中心照射画像の注目位置の画素の画素値Vcが、合成画像の注目位置の画素の画素値Cとして求められる。また、中心照射画像の注目位置の画素の画素値Vcが、閾値THより小でないときには、重みaが0となり、周辺照射画像の注目位置の画素の画素値Voが、合成画像の注目位置の画素の画素値Cとして求められる。
【０１２１】
一方、中心照射画像の注目位置の画素の露光量が、周辺照射画像の注目位置の画素の露光量より大でない場合（図７のＢ）、周辺照射画像の注目位置の画素の画素値Voが、閾値THより小であるときには、重みaが0となり、周辺照射画像の注目位置の画素の画素値Voが、合成画像の注目位置の画素の画素値Cとして求められる。また、周辺照射画像の注目位置の画素の画素値Voが、閾値THより小でないときには、重みaが1となり、中心照射画像の注目位置の画素の画素値Vcが、合成画像の注目位置の画素の画素値Cとして求められる。
【０１２２】
ここで、注目位置が、内視鏡画像（中心照射画像及び周辺照射画像）の中心部分である場合には、中心照射画像の注目位置の画素の露光量が、周辺照射画像の注目位置の画素の露光量より大になる。この場合、中心照射画像の注目位置の画素の画素値Vcが、閾値THより小であるときには、中心照射画像の注目位置の画素の画素値Vcが、鏡面反射光成分を含まないと推定され、その画素値Vcが、そのまま、合成画像の注目位置の画素の画素値Cとなる。
【０１２３】
また、中心照射画像の注目位置の画素の画素値Vcが、閾値THより小でないときには、中心照射画像の注目位置の画素の画素値Vcが、鏡面反射光成分が含む可能性があると推定され、周辺照射画像の注目位置の画素の画素値Voが、合成画像の注目位置の画素の画素値Cとなる。
【０１２４】
一方、注目位置が、周辺部分である場合には、周辺照射画像の注目位置の画素の露光量が、中心照射画像の注目位置の画素の露光量より大になる。この場合、周辺照射画像の注目位置の画素の画素値Voが、閾値THより小であるときには、周辺照射画像の注目位置の画素の画素値Voが、鏡面反射光成分を含まないと推定され、その画素値Voが、そのまま、合成画像の注目位置の画素の画素値Cとなる。
【０１２５】
また、周辺照射画像の注目位置の画素の画素値Ｖ０が、閾値THより小でないときには、周辺照射画像の注目位置の画素の画素値Ｖ０が、鏡面反射光成分が含む可能性があると推定され、中心照射画像の注目位置の画素の画素値ＶＣが、合成画像の注目位置の画素の画素値Ｃとなる。
【０１２６】
鏡面反射は、内視鏡画像の中心部分に映る被写体において、露光量が大きい場合に生じやすく、そのため、中心照射画像の中心部分の画素の画素値Vc(Pc)が、飽和値、又は、飽和値に非常に近い値になっている場合に、その画素値Vcに、鏡面反射光成分が含まれる可能性が高い。
【０１２７】
したがって、上述のように、中心照射画像の注目位置の画素の露光量が（周辺照射画像の注目位置の画素の露光量より）大である場合において、中心照射画像の注目位置の画素の画素値Vcが閾値THより小でないときに、信号処理部１３において、中心照射画像の注目位置の画素の画素値Vcが、鏡面反射光成分が含む可能性があると推定し、周辺照射画像の注目位置の画素の画素値Voを、合成画像の注目位置の画素の画素値Cとすることにより、内視鏡画像から鏡面反射光成分を検出せずに、鏡面反射光成分を抑制した合成画像を得ることができる。
【０１２８】
なお、図７では、中心照射画像の注目位置の画素の露光量が、周辺照射画像の注目位置の画素の露光量より大である場合において、中心照射画像の注目位置の画素の画素値Vcが、閾値THより小でないときには、その画素値Vcが、鏡面反射光成分が含む可能性があると推定され、周辺照射画像の注目位置の画素の画素値Voが、合成画像の注目位置の画素の画素値Cとして求められる。
【０１２９】
また、中心照射画像の注目位置の画素の露光量が、周辺照射画像の注目位置の画素の露光量より大でない場合において、周辺照射画像の注目位置の画素の画素値Voが、閾値THより小でないときには、その画素値Voが、鏡面反射光成分が含む可能性があると推定され、中心照射画像の注目位置の画素の画素値Vcが、合成画像の注目位置の画素の画素値Cとして求められる。
【０１３０】
しかしながら、中心照射画像の注目位置の画素の露光量が、周辺照射画像の注目位置の画素の露光量より大である場合において、中心照射画像の注目位置の画素の画素値Vcが、閾値THより小であるときであっても、その画素値Vcが、鏡面反射光成分が含むことがあり得る。
【０１３１】
同様に、中心照射画像の注目位置の画素の露光量が、周辺照射画像の注目位置の画素の露光量より大でない場合において、周辺照射画像の注目位置の画素の画素値Voが、閾値THより小であるときであっても、その画素値Voが、鏡面反射光成分が含むことがあり得る。
【０１３２】
そこで、信号処理部１３では、中心照射画像及び周辺照射画像それぞれの注目位置の画素について、鏡面反射光成分を検出する処理、すなわち、例えば、二色性反射モデル等を用いた鏡面反射光成分の検出の処理等を行うことができる。そして、中心照射画像及び周辺照射画像それぞれの注目位置の画素のうちのいずれか一方の画素について、鏡面反射光成分が検出された場合には、重みaを用いた重み付け加算値に代えて、他方の画素の画素値を、合成画像の注目位置の画素の画素値Cに採用することができる。
【０１３３】
また、上述の場合には、重みaを、0又は1に設定する（閾値THにおいて、0又は1から、1又は0に急峻に変化する値に設定する）こととしたが、重みaは、中心照射画像又は周辺照射画像それぞれの注目位置の画素の画素値Vc又はVoに基づいて、式0.0=<a=<1.0で表される範囲の任意の値に設定することができる。
【０１３４】
すなわち、重みaは、例えば、画素値Vc又はVoが閾値THの近傍の値である場合には、図７に点線で示すように、画素値Vc又はVoに応じて、1から0に緩やか変化する値、又は、0から1に緩やかに変化する値に設定することができる。
【０１３５】
例えば、重みaは、図７に点線で示すように、TH1(<TH)からTH2(>TH)の範囲の画素値Vc又はVoに対しては、その画素値Vc又はVoに応じて、1から0に緩やか変化する値、又は、0から1に緩やかに変化する値に設定することができる。
【０１３６】
この場合、合成画像の注目位置の画素の画素値Cは、画素値VcとVoとを、重みaに対応する割合（画素値Vc又はVoと閾値THとの差に対応する割合）でブレンドした値となる。
【０１３７】
その他、重みaとしては、画素値Vcの増加に対して、1から減少する任意の特性、又は、画素値Voの増加に対して、0から増加する任意の特性を採用することができる。
【０１３８】
合成処理では、以上のようにして、偶数フレームの内視鏡画像と、奇数フレームの内視鏡画像とが合成され、合成画像が生成されると、その合成画像の階調が圧縮される。
【０１３９】
すなわち、合成処理では、中心照射画像及び周辺照射画像にゲインがかけられ、そのゲインがかけられた後の中心照射画像と周辺照射画像とが合成される。そのため、合成画像は、合成処理前の中心照射画像や周辺照射画像よりもビット幅が大きい画像、つまり、ダイナミックレンジが高い画像になっている。
【０１４０】
例えば、中心照射画像及び周辺照射画像にかけられたゲインの最大値が、16.0(=24)である場合には、合成画像のビット幅は、合成処理前の中心照射画像や周辺照射画像のビット幅よりも4ビットだけ多くなる。
【０１４１】
合成処理では、合成画像のビット幅を、例えば、合成処理前の中心照射画像や周辺照射画像のビット幅に一致させるように、合成画像の階調が圧縮される。
【０１４２】
合成画像の階調を圧縮する方法としては、例えば、固定のトーンカーブを用いて階調を圧縮する方法や、画像の特徴量に応じてトーンカーブを切り替えて階調を圧縮する方法を採用することができる。さらに、合成画像の階調を圧縮する方法としては、例えば、中心照射画像及び周辺照射画像にかけたゲインの最大値で除算を行う方法や、その他の任意の方法を採用することができる。
【０１４３】
図８は、図１の信号処理部１３で行われる合成処理のタイミングの例を説明する図である。
【０１４４】
図８では、合成処理において、ある偶数フレーム#2Nの内視鏡画像（中心照射画像）と、その偶数フレーム#2Nの次の奇数フレーム#2N+1の内視鏡画像（周辺照射画像）とが合成される。さらに、合成処理では、その後、奇数フレーム#2N+1の次の偶数フレーム#2N+2の内視鏡画像（中心照射画像）と、その偶数フレーム#2N+2の次の奇数フレーム#2N+3の内視鏡画像（周辺照射画像）とが合成される。
【０１４５】
図８の合成処理では、以上のような、偶数フレームの内視鏡画像（中心照射画像）と奇数フレームの内視鏡画像（周辺照射画像）との合成が繰り返される。
【０１４６】
この場合、偶数フレームの内視鏡画像と奇数フレームの内視鏡画像との合成により得られる合成画像のフレームレートは、内視鏡１１で撮影される内視鏡画像のフレームレートの1/2になる。
【０１４７】
したがって、合成処理を、図８に示したタイミングで行う場合には、内視鏡１１において、合成画像に要求されるフレームレートの2倍のフレームレートで、内視鏡画像を撮影する必要がある。
【０１４８】
図９は、図１の信号処理部１３で行われる合成処理のタイミングの他の例を説明する図である。
【０１４９】
図９では、合成処理において、ある偶数フレーム#2Nの内視鏡画像（中心照射画像）と、その偶数フレーム#2Nの次の奇数フレーム#2N+1の内視鏡画像（周辺照射画像）とが合成される。さらに、合成処理では、その後、直前の合成に用いられた奇数フレーム#2N+1の内視鏡画像（周辺照射画像）と、その奇数フレーム#2N+1の次の偶数フレーム#2N+2の内視鏡画像（中心照射画像）とが合成される。
【０１５０】
図９の合成処理では、以上のような、偶数フレームの内視鏡画像（中心照射画像）と奇数フレームの内視鏡画像（周辺照射画像）との合成が繰り返される。
【０１５１】
この場合、偶数フレームの内視鏡画像と奇数フレームの内視鏡画像との合成により得られる合成画像のフレームレートは、内視鏡１１で撮影される内視鏡画像のフレームレートに一致する。
【０１５２】
＜内視鏡システムの処理＞
【０１５３】
図１０は、図１の内視鏡システムの処理の例を説明するフローチャートである。
【０１５４】
なお、図１０では、例えば、合成処理が、図８に示したタイミングで行われることとする。
【０１５５】
ステップＳ１１において、これから内視鏡１１で撮影しようとしている注目フレームに適した照明の制御が行われる。
【０１５６】
すなわち、ステップＳ１１では、撮影制御部１５は、注目フレームに適した照明条件を設定し、照明制御部１６に供給する。照明制御部１６は、被写体が撮影制御部１５からの照明条件に従って照明されるように、照明部１７を制御する。
【０１５７】
照明部１７は、照明制御部１６の制御に従って、照明方向が中心方向又は周辺方向の照明光を照射することにより、被写体を照明する。
【０１５８】
その後、処理は、ステップＳ１１からステップＳ１２に進み、内視鏡１１は、照明部１７によって照明光が照射された被写体を撮影し、これにより、注目フレームの内視鏡画像を取得して、処理は、ステップＳ１３に進む。
【０１５９】
ステップＳ１３では、撮影制御部１５は、内視鏡１１において、1フレームの合成画像の合成に必要な内視鏡画像の撮影が完了しているかどうかを判定する。
【０１６０】
ステップＳ１３において、1フレームの合成画像の合成に必要な内視鏡画像の撮影が、まだ完了していないと判定された場合、処理は、ステップＳ１４に進む。
【０１６１】
ステップＳ１４では、撮影制御部１５は、内視鏡１１で撮影された注目フレームの内視鏡画像を、内視鏡１１からメモリ１２に供給させて書き込む（記憶させる）。そして、処理は、ステップＳ１４からステップＳ１１に戻り、現在の注目フレームの次のフレームを、新たに注目フレームとして、以下、同様の処理が繰り返される。
【０１６２】
また、ステップＳ１３において、1フレームの合成画像の合成に必要な内視鏡画像の撮影が完了したと判定された場合、撮影制御部１５は、内視鏡１１で撮影された注目フレームの内視鏡画像を、内視鏡１１から信号処理部１３に供給させる。
【０１６３】
そして、処理は、ステップＳ１３からステップ１５に進み、信号処理部１３は、内視鏡１１から直前に供給された注目フレームの内視鏡画像と、メモリ１２に記憶された、注目フレームの直前のフレームの内視鏡画像とを合成する合成処理を行う。
【０１６４】
すなわち、いま、注目フレームの内視鏡画像が、周辺照射画像であるとすると、メモリ１２には、その周辺照射画像の直前のフレームの中心照射画像が記憶されており、合成処理では、その中心照射画像と周辺照射画像とが合成され、合成画像が生成される。
【０１６５】
合成処理によって得られる合成画像は、信号処理部１３から表示部１４に供給されて表示され、これにより、1フレームの合成画像を表示する処理が終了する。
【０１６６】
次のフレームの合成画像を表示する場合には、図１０のフローチャートに従った処理が繰り返される。
【０１６７】
図１１は、図１０のステップＳ１５で行われる合成処理の例を説明するフローチャートである。
【０１６８】
ステップＳ２１において、信号処理部１３は、合成処理の対象となる中心照射画像及び周辺照射画像のそれぞれについて、図６で説明したように、露光量に応じたゲインをかけるゲイン補正を行い、処理は、ステップＳ２２に進む。
【０１６９】
ステップＳ２２では、信号処理部１３は、（ゲインがかけられた後の）中心照射画像又は周辺照射画像それぞれの画素の画素値Vc又はVoに基づいて、図７で説明したように、重みaを設定する。
【０１７０】
さらに、信号処理部１３は、重みaを用いて、図７で説明したように、中心照射画像及び周辺照射画像を合成し、合成画像を生成して、処理は、ステップＳ２２からステップＳ２３に進む。
【０１７１】
ステップＳ２３では、信号処理部１３は、合成画像の階調を圧縮し、階調の圧縮後の合成画像を、表示部１４に供給して、合成処理は終了する（リターンする）。
【０１７２】
以上のように、図１の内視鏡システムでは、異なる照明方向の照明光が照射された被写体を撮影することにより得られる複数の内視鏡画像である中心照射画像と周辺照射画像とを合成し、合成画像を生成する。
【０１７３】
したがって、合成画像の鏡面反射光成分を抑制することができ、その合成画像を観察するユーザは、合成画像に映る被写体の表面に本来存在する凹凸や模様を十分に認識することができる。さらに、合成画像として、ダイナミックレンジの高い画像を得ることができる。
【０１７４】
＜照明方法の他の例＞
【０１７５】
図１２は、図１の内視鏡システムにおいて、被写体を照明する照明方法の他の例を説明する図である。
【０１７６】
すなわち、図１２は、内視鏡１１を構成する内視鏡スコープ２２の先端の構成例を示す正面図及び側面図である。
【０１７７】
図１２では、図３と同様に、内視鏡スコープ２２の先端に、撮影窓と照明窓とが設けられている。但し、図１２では、照明窓は、少なくとも、内視鏡スコープ２２の先端の正面としての円の中心に近い位置（以下、スコープ中心よりの位置ともいう）と、円周に近い位置（以下、スコープ外側よりの位置ともいう）とに設けられている。
【０１７８】
図１２のＡでは、スコープ中心よりの位置に、1個の照明窓が設けられ、スコープ外周よりの位置に、1個の照明窓が設けられている。
【０１７９】
図１２のＢでは、スコープ中心よりの位置に、撮影窓を囲むように、ドーナツ状の1個の照明窓が設けられ、スコープ外周よりの位置に、スコープ中心よりの位置の照明窓を囲むように、ドーナツ状の1個の照明窓が設けられている。
【０１８０】
図１２のＣでは、スコープ中心よりの位置に、90度の中心角の間隔で、4個の照明窓が設けられ、スコープ外周よりの位置であって、スコープ中心よりの位置の照明窓の外側の位置に、4個の照明窓が設けられている。
【０１８１】
図１２のＤでは、図１２のＣと同様に、スコープ中心よりの位置に、4個の照明窓が設けられ、スコープ外周よりの位置に、4個の照明窓が設けられている。但し、図１２のＤでは、スコープ外周よりの位置の4個の照明窓は、内視鏡スコープ２２の外側に突出するように設けられている。
【０１８２】
なお、図１２のＤにおいて、スコープ外周よりの位置の4個の照明窓は、内視鏡スコープ２２の内部に収納することができるように構成されている。
【０１８３】
スコープ外周よりの位置の4個の照明窓は、内視鏡スコープ２２（の先端）が体腔に挿入されるときには、内視鏡スコープ２２の内部に収納されている。そして、内視鏡スコープ２２が体腔に挿入された後に、内視鏡スコープ２２の外側に露出される。さらに、スコープ外周よりの位置の4個の照明窓は、内視鏡スコープ２２が体腔から引き抜かれるときに、再び、内視鏡スコープ２２の内部に収納される。
【０１８４】
図１２において、スコープ中心よりの位置の照明窓からは、中心方向の照明光が照射され、スコープ外周よりの位置の照明窓からは、周辺方向の照明光が照射される。
【０１８５】
そして、照明制御部１６では、中心照射画像、すなわち、偶数フレームの内視鏡画像の撮影時には、スコープ中心よりの位置の照明窓から照射される照明光をオンにするとともに、スコープ外周よりの位置の照明窓から照射される照明光をオフにするように、照明部１７が制御される。
【０１８６】
また、照明制御部１６では、周辺照射画像、すなわち、奇数フレームの内視鏡画像の撮影時には、スコープ中心よりの位置の照明窓から照射される照明光をオフにするとともに、スコープ外周よりの位置の照明窓から照射される照明光をオンにするように、照明部１７が制御される。
【０１８７】
図３及び図４で説明したように、照明光の照明方向を制御する他、図１２で説明したように、スコープ中心よりの位置の照明窓から照射される中心方向の照明光、及び、スコープ外周よりの位置の照明窓から照射される周辺方向の照明光それぞれのオンとオフとを切り替えることによっても、異なる照明方向の照明光で、被写体を照明することができる。
【０１８８】
なお、図１２のＤの場合、図１２ＡないしＣの場合と比較して、スコープ外周よりの位置の照明窓が、撮影窓から遠い位置にある。そのため、図１２のＤの場合、図１２ＡないしＣの場合と比較して、照明光の光軸と、イメージセンサ１１Ａの光軸とのずれが、より大になるため、周辺照射画像に、鏡面反射光成分が、より含まれにくくなる。
【０１８９】
図１３は、図１の内視鏡システムにおいて、被写体を照明する照明方法のさらに他の例を説明する図である。
【０１９０】
すなわち、図１３は、内視鏡１１が体腔に挿入された状態を簡略に示す断面図である。
【０１９１】
上述の場合には、照明光を、内視鏡１１から照射したが、照明光は、内視鏡１１とは別の器具である外部器具から照射することができる。
【０１９２】
図１３では、人体の表面に開けられた孔に、外部器具としての筒状のトロッカが取り付けられている。図１３では、例えば、直線状に、3個のトロッカが取り付けられている。
【０１９３】
さらに、図１３では、3個のトロッカのうちの、中央のトロッカに、内視鏡スコープ２２が挿入されている。さらに、3個のトロッカのうちの、両端の2個のトロッカは、照明部１７の一部であり、その2個のトロッカには、照明光が出射する照明窓（図示せず）が設けられている。
【０１９４】
図１３のＡでは、内視鏡スコープ２２に、少なくとも、図１２で説明した、スコープ中心よりの位置の照明窓が設けられており、その照明窓から、中心方向の照明光が照射される。
【０１９５】
さらに、図１３のＡでは、両端の2個のトロッカは、そのトロッカに設けられた照明窓から、周辺方向の照明光を照射する。
【０１９６】
そして、図１３のＡでは、中心照射画像、すなわち、偶数フレームの内視鏡画像の撮影時には、照明制御部１６が、内視鏡スコープ２２の照明窓から照射される照明光をオンにするとともに、両端の2個のトロッカの照明窓から照射される照明光をオフにするように、照明部１７を制御する。
【０１９７】
また、照明制御部１６は、周辺照射画像、すなわち、奇数フレームの内視鏡画像の撮影時には、内視鏡スコープ２２の照明窓から照射される照明光をオフにするとともに、両端の2個のトロッカの照明窓から照射される照明光をオンにするように、照明部１７を制御する。
【０１９８】
図１３のＡでは、以上のように、内視鏡スコープ２２とトロッカとから、中心方向の照明光と周辺方向の照明光とがそれぞれ照射されるが、図１３のＢでは、トロッカのみから、中心方向の照明光と周辺方向の照明光とが照射される。
【０１９９】
すなわち、図１３のＢでは、照明制御部１６は、中心照射画像（偶数フレームの内視鏡画像）の撮影時には、両端の2個のトロッカの照明窓から照射される照明光の照明方向が、中心方向になるように、照明部１７を制御する。
【０２００】
また、照明制御部１６は、周辺照射画像（奇数フレームの内視鏡画像）の撮影時には、両端の2個のトロッカの照明窓から照射される照明光の照明方向が、周辺方向になるように、照明部１７を制御する。
【０２０１】
以上のように、内視鏡１１とは別の外部器具であるトロッカから、照明光を照射する場合には、内視鏡スコープ２２から、照明光を照射する場合に比較して、照明光の光軸と、イメージセンサ１１Ａの光軸とのずれが、より大になるため、周辺照射画像に、鏡面反射光成分が、より含まれにくくなる。
【０２０２】
なお、図１３のＢに示したように、トロッカのみから、照明光を照射する場合において、そのトロッカから照射される中心方向の照明光だけでは、被写体を照明する明るさが足りないときには、内視鏡スコープ２２から、中心方向の照明光を照射することができる。
【０２０３】
すなわち、図１３のＢにおいて、トロッカの照明窓から、中心方向の照明光を照射するタイミングでは、そのタイミングに同期して、内視鏡１１からも、中心方向の照明光を照射することができる。
【０２０４】
なお、図１３では、照明光を照射する外部器具として、トロッカを採用したが、照明光を照射する外部器具は、トロッカに限定されるものではない。すなわち、照明光を照射する外部器具としては、例えば、照明専用の装置を採用し、その照明専用の装置を、トロッカから挿入して、被写体としての体腔を照明することができる。
【０２０５】
＜本技術を適用したコンピュータの説明＞
【０２０６】
次に、上述した信号処理部１３の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。
【０２０７】
そこで、図１４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２０８】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０２０９】
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２１０】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２１１】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【０２１２】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【０２１３】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２１４】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２１５】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２１６】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２１７】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２１８】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２１９】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２２０】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２２１】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２２２】
また、本技術は、内視鏡スコープ２２が体内に挿入される内視鏡１１で撮影された内視鏡画像の他、例えば、いわゆるカプセル型の内視鏡で撮影された内視鏡画像の処理に適用することができる。
【０２２３】
さらに、本技術は、人体（の組織）を撮影した画像の他、人体以外の生体を撮影した画像の処理に適用することができる。
【０２２４】
また、本技術は、内視鏡１１で生体を撮影した内視鏡画像（生体画像）の他、例えば、ビデオ顕微鏡で生体を撮影した生体画像の処理に適用することができる。
【０２２５】
さらに、本技術は、医療用の内視鏡システムの他、工業用の内視鏡システムで、生体以外の被写体を撮影した内視鏡画像の処理に適用することができる。
【０２２６】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【符号の説明】
【０２２９】
１１  内視鏡，  １１Ａ  イメージセンサ，  １２  メモリ，  １３  信号処理部，  １４  表示部，  １５  撮影制御部，  １６  照明制御部，  １７  照明部，  ２１  カメラヘッド，  ２２  内視鏡スコープ，  ３１  鉗子，  ３２  術部，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体
【図１】
0006344608.tif 000002
【図２】
0006344608.tif 000003
【図３】
0006344608.tif 000004
【図４】
0006344608.tif 000005
【図５】
0006344608.tif 000006
【図６】
0006344608.tif 000007
【図７】
0006344608.tif 000008
【図８】
0006344608.tif 000009
【図９】
0006344608.tif 000010
【図１０】
0006344608.tif 000011
【図１１】
0006344608.tif 000012
【図１２】
0006344608.tif 000013
【図１３】
0006344608.tif 000014
【図１４】
0006344608.tif 000015