(57)【要約】      （修正有）【課題】3Dの内視鏡画像において、動きが激しい物体が映っている場合や、手前から奥に亘っている物体の手前側の部分が動く場合に、ユーザの負担を軽減する画像処理装置、画像処理方法、プログラム及び内視鏡システムを提供する。【解決手段】内視鏡システムは、3D(Dimensions)の画像を撮像する内視鏡１１と、内視鏡１１で生体を撮像することにより得られる3Dの生体画像の視差がユーザにとって負担になるかどうかに応じて、3Dの生体画像の視差量を調整する視差量調整部１２と、視差量調整部１２で視差量が調整された3Dの生体画像を表示する表示部１３とを備える。【選択図】図１
2016131276.tif 000002
【特許請求の範囲】
【請求項１】
生体を撮像した3D(Dimensions)の生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量を調整する視差量調整部
を備える画像処理装置。
【請求項２】
前記視差量調整部は、エネルギデバイスが使用されている場合に、前記3Dの生体画像の視差量を調整する
請求項１に記載の画像処理装置。
【請求項３】
前記エネルギデバイスは、電気メスである
請求項２に記載の画像処理装置。
【請求項４】
前記視差量調整部は、前記3Dの生体画像に基づいて、前記3Dの生体画像における視差が負担になる負担領域の視差量を調整する
請求項１に記載の画像処理装置。
【請求項５】
前記視差量調整部は、前記3Dの生体画像の動きに基づいて、前記負担領域の視差量を調整する
請求項４に記載の画像処理装置。
【請求項６】
前記視差量調整部は、前記3Dの生体画像の輝度に基づいて、前記負担領域の視差量を調整する
請求項４に記載の画像処理装置。
【請求項７】
前記視差量調整部は、前記3Dの生体画像の動き及び輝度に基づいて、前記負担領域の視差量を調整する
請求項４に記載の画像処理装置。
【請求項８】
前記視差量調整部は、前記3Dの生体画像において、所定の物体が映る領域を、前記負担領域として検出する
請求項４に記載の画像処理装置。
【請求項９】
前記視差量調整部は、前記3Dの生体画像において、処置具が映る領域を、前記負担領域として検出する
請求項８に記載の画像処理装置。
【請求項１０】
前記視差量調整部は、前記3Dの生体画像において、ミスト又は煙が映る領域を、前記負担領域として検出する
請求項８に記載の画像処理装置。
【請求項１１】
前記視差量調整部は、前記3Dの生体画像の視差量を、視差が小さくなるように調整する
請求項１に記載の画像処理装置。
【請求項１２】
前記視差量調整部は、前記3Dの生体画像の視差量を、視差が、前記視差量に対応する調整値だけ小さくなるように調整する
請求項１１に記載の画像処理装置。
【請求項１３】
前記視差量調整部は、前記3Dの生体画像の視差量を、視差が、前記視差量と、前記3Dの生体画像の動き及び輝度のうちの一方又は両方とに対応する調整値だけ小さくなるように調整する
請求項１１に記載の画像処理装置。
【請求項１４】
前記視差量調整部は、前記3Dの生体画像を構成する左眼で観察される左眼画像、及び、右眼で観察される右眼画像とのうちの一方の画像の注目画素の画素値と、前記左眼画像及び前記右眼画像のうちの他方の画像の、前記注目画素に対応する対応画素の画素値とを水平方向にシフトすることにより、前記3Dの生体画像の視差量を調整する
請求項１に記載の画像処理装置。
【請求項１５】
前記左眼画像及び前記右眼画像のうちの、前記画素値のシフトによって画素値が欠落した欠落画素の画素値を補間することにより、前記左眼画像及び前記右眼画像を補正する画像補正部をさらに備える
請求項１４に記載の画像処理装置。
【請求項１６】
前記画像補正部は、前記欠落画素の画素値を、その欠落画素の近傍の画素のうちの、欠落画素になっていない画素の画素値によって補間する
請求項１５に記載の画像処理装置。
【請求項１７】
前記生体画像は、内視鏡で前記生体を撮像した内視鏡画像である
請求項１に記載の画像処理装置。
【請求項１８】
生体を撮像した3D(Dimensions)の生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量を調整する
ステップを含む画像処理方法。
【請求項１９】
生体を撮像した3D(Dimensions)の生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量を調整する視差量調整部
として、コンピュータを機能させるためのプログラム。
【請求項２０】
3D(Dimensions)の画像を撮像する内視鏡と、
前記内視鏡で生体を撮像することにより得られる3Dの生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量を調整する視差量調整部と、
前記視差量調整部で前記視差量が調整された前記3Dの生体画像を表示する表示部と
を備える内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、プログラム、及び、内視鏡システムに関し、特に、例えば、ユーザの負担を軽減することができるようにする画像処理装置、画像処理方法、プログラム、及び、内視鏡システムに関する。
【背景技術】
【０００２】
例えば、内視鏡システムについては、内視鏡を用いた手術や診断等の処置において、処置具を奥行き方向にスムースに誘導するために、人体（内部）を、3D(Dimensions)の画像で撮像し、その結果得られる3Dの内視鏡画像を表示することが要請されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第3,869,029号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
3Dの内視鏡画像によれば、ユーザは、その3Dの内視鏡画像を観察することにより、奥行き方向の情報を得ることができ、そのため、例えば、処置具を、奥行き方向にスムースに誘導することができる。
【０００５】
ところで、3Dの内視鏡画像は、例えば、ユーザの左眼で観察される左眼画像とユーザの右眼で観察される右眼画像とで構成される。そして、3Dの内視鏡画像を構成する左眼画像と右眼画像とには、視差があり、この視差があることによって、3Dの内視鏡画像を観察するユーザは、奥行き方向の情報を知覚する。
【０００６】
以上のように、3Dの内視鏡画像を観察するユーザは、その3Dの内視鏡画像の視差によって、奥行き方向の情報を知覚することができるが、かかる3Dの内視鏡画像を観察するにあたって、ユーザは、3Dに特有の違和感や不快感を感じる場合があり、ユーザの負担になることがある。
【０００７】
すなわち、3Dの内視鏡画像において、例えば、動きが激しい物体が映っている場合や、手前から奥に亘っている物体の手前側の部分が動く場合には、3Dの内視鏡画像を観察しているユーザが、負担を感じることがある。
【０００８】
本技術は、このような状況に鑑みてなされたものであり、ユーザの負担を軽減することができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の画像処理装置、又は、プログラムは、生体を撮像した3D(Dimensions)の生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量を調整する視差量調整部を備える画像処理装置、又は、そのような画像処理装置として、コンピュータを機能させるためのプログラムである。
【００１０】
本技術の画像処理方法は、生体を撮像した3D(Dimensions)の生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量を調整するステップを含む画像処理方法である。
【００１１】
本技術の内視鏡システムは、3D(Dimensions)の画像を撮像する内視鏡と、前記内視鏡で生体を撮像することにより得られる3Dの生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量を調整する視差量調整部と、前記視差量調整部で前記視差量が調整された前記3Dの生体画像を表示する表示部とを備える内視鏡システムである。
【００１２】
本技術の画像処理装置、画像処理方法、プログラム、及び、内視鏡システムにおいては、生体を撮像した3D(Dimensions)の生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量が調整される。
【００１３】
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００１４】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１５】
本技術によれば、ユーザの負担を軽減することができる。
【００１６】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１７】
【図１】本技術を適用した内視鏡システムの第１実施の形態の構成例を示すブロック図である。
【図２】3Dの内視鏡画像を撮像する内視鏡１１の模式的な構成例を示す図である。
【図３】視差量調整部１２の構成例を示すブロック図である。
【図４】画像シフト調整部３２Ｌ及び３２Ｒでの画素値のシフトによる視差量の調整を説明する図である。
【図５】3Dの内視鏡画像を表示する画像表示の処理の例を説明するフローチャートである。
【図６】3Dの内視鏡画像の視差量の調整の処理の例を説明するフローチャートである。
【図７】画像補正部３３Ｌ及び３３Ｒでの欠落画素（の画素値）の補間の例を説明する図である。
【図８】欠落画素の補間による左眼画像及び右眼画像の補正の処理の例を説明するフローチャートである。
【図９】本技術を適用した内視鏡システムの第２実施の形態の構成例を示すブロック図である。
【図１０】視差量調整部４０の構成例を示すブロック図である。
【図１１】フレーム差分演算部４１の構成例を示すブロック図である。
【図１２】3Dの内視鏡画像の視差量の調整の処理の例を説明するフローチャートである。
【図１３】本技術を適用した内視鏡システムの第３実施の形態の構成例を示すブロック図である。
【図１４】鉗子６１が映っている3Dの内視鏡画像の例を示す図である。
【図１５】視差量調整部７０の構成例を示すブロック図である。
【図１６】鉗子領域検出部７１で生成される鉗子領域画像の例を示す図である。
【図１７】3Dの内視鏡画像の視差量の調整の処理の例を説明するフローチャートである。
【図１８】鉗子領域検出の処理の例を説明するフローチャートである。
【図１９】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
＜内視鏡システムの第１実施の形態＞
【００１９】
図１は、本技術を適用した内視鏡システムの第１実施の形態の構成例を示すブロック図である。
【００２０】
図１において、内視鏡システムは、内視鏡１１、視差量調整部１２、表示部１３、電気メス１４、電気メススイッチ１５、及び、電気メス制御部１６を有する。
【００２１】
内視鏡１１は、例えば、患者（人体）の体腔に挿入され、その体腔内の組織を被写体とする3Dの画像である内視鏡画像を撮像する。
【００２２】
すなわち、内視鏡１１は、例えば、外観上、内視鏡システムのユーザとしての手術等を行う術者（医師）が手で持つカメラヘッド１１Ａと、患者の体内に挿入される内視鏡スコープ１１Ｂとを有する。
【００２３】
内視鏡下手術、つまり、内視鏡システムを用いた手術では、内視鏡スコープ１１Ｂが体内に挿入され、ユーザが、カメラヘッド１１Ａを持って、内視鏡１１を操作する。
【００２４】
内視鏡１１では、例えば、内視鏡スコープ１１Ｂの先端から、光が照射され、その光によって、患者の体内の被写体となる術部（組織）が照明される。被写体を照明する光は、被写体で反射され、その被写体からの反射光が、内視鏡スコープ１１Ｂの先端から入射する。そして、内視鏡１１では、内視鏡スコープ１１Ｂの先端から入射した光が受光され、光電変換されることにより、被写体の3Dの内視鏡画像が撮像される。
【００２５】
ここで、内視鏡１１で撮像された3Dの内視鏡画像は、左眼で観察される左眼画像の画像信号Lと、右眼で観察される右眼画像の画像信号Rとで構成される。左眼画像と右眼画像とには、視差があり、ユーザは、かかる視差がある左眼画像及び右眼画像を、左眼及び右眼でそれぞれ観察することにより、奥行き方向の情報を知覚することができる。
【００２６】
内視鏡１１で撮像された3Dの内視鏡画像を構成する左眼画像の画像信号L、及び、右眼画像の画像信号Rは、視差量調整部１２に供給される。
【００２７】
視差量調整部１２は、内視鏡画像１１からの3Dの内視鏡画像（の画像信号L及びR）の視差が、その内視鏡画像を観察するユーザにとって負担になるかどうかに応じて、内視鏡画像１１からの3Dの内視鏡画像の視差量を、ユーザの負担が軽減されるように調整する。
【００２８】
すなわち、図１において、視差量調整部１２は、例えば、後述するように、電気メス制御部１６から供給される電気メス制御情報に基づいて、内視鏡画像１１からの3Dの内視鏡画像の視差がユーザにとって負担になるかどうかを検出（判定）する。そして、内視鏡画像１１からの3Dの内視鏡画像の視差がユーザにとって負担になる場合には、視差量調整部１２は、内視鏡画像１１からの3Dの内視鏡画像の視差量を、視差が小さくなるように調整する。
【００２９】
視差量調整部１２は、視差量を調整した後の3Dの内視鏡画像を構成する左眼画像の画像信号（以下、調整画像信号Lともいう）L、及び、右眼画像の画像信号R（以下、調整画像信号Rともいう）を、表示部１３に供給する。
【００３０】
表示部１３は、3Dの画像を表示することが可能な、例えば、ヘッドマウントディスプレイ等の表示デバイスであり、視差量調整部１２から供給される3Dの内視鏡画像を表示する。
【００３１】
なお、3Dの内視鏡画像を構成する左眼画像の（調整）画像信号L及び（調整）右眼画像の画像信号Rの表示方式としては、例えば、サイドバイサイド方式や、ラインバイライン方式、フレームシーケンシャル方式等がある。表示部１３において、3Dの画像を表示する表示方式は、特に限定されるものではない。
【００３２】
電気メス１４は、電気メス制御部１６から供給される高周波の電流を人体に流すことで、人体の組織を切開する施術を施すことができる処置具である。
【００３３】
ここで、本明細書では、内視鏡システムを用いた手術や診断等において、何らかの処置を施すのに用いられる道具を、処置具といい、処置具の中で、特に、手術に用いられる道具を、術具という。電気メス１４は、エネルギデバイスと呼ばれる術具の１つである。エネルギデバイスとしては、電気メス１４のように、電流を用いるデバイスの他、例えば、超音波を用いるデバイス等がある。
【００３４】
電気メススイッチ１５は、電気メス１４に流す電流をオン又はオフにするときに、例えば、ユーザによって操作される。電気メススイッチ１５は、電流をオン又はオフにするように操作されると、その操作に対応する電気メス制御信号を、電気メス制御部１６に供給する。
【００３５】
電気メス制御部１６は、電気メススイッチ１５から供給される電気メス制御信号に応じて、電気メス１４への高周波の電流の供給を、オン又はオフにする。また、電気メス制御部１６は、電気メス制御信号に応じて、電気メス１４がオン又はオフになっていることを表す電気メス制御情報を、視差量調整部１２に供給する。
【００３６】
以上のように構成される内視鏡システムでは、ユーザ(術者）が、内視鏡スコープ１１Ｂを、患者の体内に挿入し、内視鏡１１において、患者の体内の被写体となる術部（組織）の3Dの内視鏡画像が撮像される。
【００３７】
内視鏡１１で撮像された3Dの内視鏡画像（を構成する左眼画像の画像信号L、及び、右眼画像の画像信号R）は、内視鏡１１から視差量調整部１２に供給され、さらに、視差量調整部１２から表示部１３に供給されて表示される。
【００３８】
ユーザが、表示部１３に表示された3Dの内視鏡画像を見ながら、手術を実施するために、電気メススイッチ１５をオンにするように操作すると、オンを表す電気メス制御信号が、電気メス制御部１６に供給される。
【００３９】
電気メス制御部１６は、電気メススイッチ１５からのオンを表す電気メス制御信号に応じて、電気メス１４への高周波の電流の供給をオンにし（開始し）、これにより、ユーザは、電気メス１４によって、患者の組織を切開することが可能になる。
【００４０】
また、電気メス制御部１６は、電気メス１４のオン又はオフを表す電気メス制御情報を、視差量調整部１２に供給する。
【００４１】
電気メス制御情報が、電気メス１４のオンを表しており、したがって、電気メス１４が使用されている場合、視差量調整部１２は、表示部１３に表示された3Dの内視鏡画像の視差がユーザの負担になる場合であるとして、内視鏡１１からの3Dの内視鏡画像の視差量を調整する。
【００４２】
すなわち、電気メス１４が使用されている場合には、その電気メス１４を用いて、人体の組織が切開されるときに、ミストや煙が生じる。この、電気メス１４の使用時に生じるミストや煙が激しく動き、内視鏡スコープ１１Ｂの先端に近接して、3Dの内視鏡画像に映ると、その3Dの内視鏡画像を観察しているユーザは、動きの激しいミストや煙に不快感を感じることがある。
【００４３】
3Dの内視鏡画像に映る動きの激しいミストや煙によって生じるユーザの不快感は、3Dの内視鏡画像を観察するユーザの負担を大きくし、ユーザが、本来見たい部分を注視することの妨げとなる。
【００４４】
そこで、電気メス１４が使用されている場合には、その電気メス１４の使用によって生じるミストや煙が3Dの内視鏡画像に映ることによるユーザの負担を軽減すべく、視差量調整部１２は、内視鏡１１からの3Dの内視鏡画像の視差量を、視差が小さくなるように調整する。
【００４５】
そして、表示部１３では、視差量調整部１２において視差量が調整された3Dの内視鏡画像が表示される。
【００４６】
なお、図１では、エネルギデバイスとして、電気メス１４を採用しているが、エネルギデバイスとしては、電気メス１４の他、例えば、超音波を用いるデバイス等の、電気メス１４以外のエネルギデバイスを採用することができる。
【００４７】
図２は、3Dの内視鏡画像を撮像する内視鏡１１の模式的な構成例を示す図である。
【００４８】
内視鏡１１は、2個の撮像素子（イメージセンサ）２１Ｌ及び２１Ｒを有する。
【００４９】
撮像素子２１Ｌは、左眼画像となる画像を撮像する。撮像素子２１Ｒは、右眼画像となる画像を撮像する。
【００５０】
図２において、撮像素子２１Ｌ及び２１Ｒは、水平（左右）方向に並べて配置されており、これにより、撮像素子２１Ｌ及び２１Ｒでは、視差がある左眼画像及び右眼画像がそれぞれ撮像される。
【００５１】
なお、内視鏡１１において、撮像素子２１Ｌ及び２１Ｒは、例えば、内視鏡スコープ１１Ｂの先端部分や、カメラヘッド１１Ａに設けることができる。
【００５２】
また、3Dの画像を撮像する方法としては、例えば、いわゆる２眼で撮像を行う方法や、１眼（単眼）で撮像を行う方法があるが、内視鏡１１において、3Dの内視鏡画像を撮像する方法は、特に限定されるものではない。
【００５３】
図３は、図１の視差量調整部１２の構成例を示すブロック図である。
【００５４】
図３において、視差量調整部１２は、現像部３１Ｌ及び３１Ｒ、画像シフト調整部３２Ｌ及び３２Ｒ、画像補正部３３Ｌ及び３３Ｒ、視差画像生成部３４、並びに、視差調整画像生成部３５を有する。
【００５５】
現像部３１Ｌには、内視鏡１１から、3Dの内視鏡画像を構成する左眼画像の画像信号Lが供給される。
【００５６】
ここで、内視鏡１１で撮像される3Dの内視鏡画像を構成する左眼画像及び右眼画像は、例えば、ベイヤ配列等の所定の配列の、いわゆるRAW画像になっている。
【００５７】
現像部３１Ｌは、内視鏡１１からの左眼画像の画像信号Lを対象に、現像処理を行って、R(red)，G(green)、及び、B(blue)の各プレーンの画像信号を有する現像信号Lを生成し、画像シフト調整部３２Ｌ、及び、視差画像生成部３４に供給する。
【００５８】
画像シフト調整部３２Ｌには、現像部３１Ｌから左眼画像の現像信号Lが供給される他、視差調整画像生成部３５から、後述する視差調整画像が供給される。
【００５９】
画像シフト調整部３２Ｌは、現像部３１Ｌからの左眼画像（の現像信号L）の画素の画素値を、視差調整画像生成部３５からの視差調整画像に従って、水平方向にシフトすることにより、現像部３１Ｌからの左眼画像で構成される3Dの内視鏡画像の視差量を調整する。
【００６０】
画像シフト調整部３２Ｌは、画素値のシフト後の左眼画像（の画像信号）を、画像補正部３３Ｌに供給する。
【００６１】
画像補正部３３Ｌは、画像シフト調整部３２Ｌからの、画素値のシフト後の左眼画像を構成する画素のうちの欠落画素を補間することにより、左眼画像を補正する。
【００６２】
ここで、画像シフト調整部３２Ｌから画像補正部３３Ｌに供給される、画素値のシフト後の左眼画像を構成する画素の中には、画素値が欠落している欠落画素が存在することがある。
【００６３】
すなわち、後述する視差画像生成部３４での視差量の誤検出や、画像シフト調整部３２Ｌでの画素値のシフトにおけるシフト先の重複、シフト先にならなかった画素の存在等に起因して、画素値のシフト後の左眼画像には（右眼画像についても同様）、画素値が欠落している欠落画素が存在することがある。
【００６４】
画像補正部３３Ｌは、左眼画像の欠落画素の画素値を、その欠落画素の近傍の画素であって、欠落画素ではない画素の画素値を用いて補間することで、左眼画像を補正する。そして、画像補正部３３Ｌは、補正後の左眼画像の画像信号、すなわち、視差量が調整された3Dの内視鏡画像を構成する、欠落画素がない左眼画像の画像信号を、調整画像信号Lとして、表示部１３に供給する。
【００６５】
現像部３１Ｒには、内視鏡１１から、3Dの内視鏡画像を構成する右眼画像の画像信号Rが供給される。
【００６６】
現像部３１Ｒ、画像シフト調整部３２Ｒ、及び、画像補正部３３Ｒは、現像部３１Ｌ、画像シフト調整部３２Ｌ、及び、画像補正部３３Ｌとそれぞれ同様の処理を行う。
【００６７】
すなわち、現像部３１Ｒは、内視鏡１１からの右眼画像の画像信号Rを対象に、現像処理を行って、R，G、及び、Bの各プレーンの画像信号を有する現像信号Rを生成し、画像シフト調整部３２Ｒ、及び、視差画像生成部３４に供給する。
【００６８】
画像シフト調整部３２Ｒは、現像部３１Ｒからの右眼画像（の現像信号R）の画素の画素値を、視差調整画像生成部３５からの視差調整画像に従って、水平方向にシフトすることにより、現像部３１Ｒからの右眼画像で構成される3Dの内視鏡画像の視差量を調整する。
【００６９】
画像シフト調整部３２Ｒは、画素値のシフト後の右眼画像（の画像信号）を、画像補正部３３Ｒに供給する。
【００７０】
画像補正部３３Ｒは、画素値補正部３３Ｌと同様に、画像シフト調整部３２Ｒからの、画素値のシフト後の右眼画像を構成する画素のうちの欠落画素を補間することにより、右眼画像を補正する。画像補正部３３Ｒは、右眼画像の補正により得られる、視差量が調整された3Dの内視鏡画像を構成する、欠落画素がない右眼画像の画像信号を、調整画像信号Rとして、表示部１３に供給する。
【００７１】
視差画像生成部３４は、現像部３１Ｌから供給される左眼画像（の現像信号L）と、現像部３１Ｒから供給される右眼画像（の現像信号R）とを用いて、それらの左眼画像と右眼画像との視差量を検出する。
【００７２】
すなわち、視差画像生成部３４は、現像部３１Ｌからの左眼画像、及び、現像部３１Ｒからの右眼画像のうちの一方の画像である、例えば、左眼画像を基準として、その左眼画像の各画素について、右眼画像において対応する対応画素を検出する。
【００７３】
具体的には、視差画像生成部３４は、例えば、左眼画像の各画素を、順次、注目する注目画素に選択し、右眼画像の画素から、注目画素に対応する対応画素を検出する。
【００７４】
対応画素は、例えば、右眼画像において、注目画素を含むブロックと類似するブロックを水平方向に探索するブロックマッチング等を行うことによって検出することができる。
【００７５】
視差画像生成部３４は、右眼画像において、注目画素に対応する位置からの、対応画素の位置のずれ量を、注目画素と対応画素との視差量として検出し、その視差量を画素値とする視差画像を生成する。
【００７６】
すなわち、視差画像生成部３４は、注目画素に対して検出された視差量を、注目画素の位置の画素の画素値とする画像を、視差画像として生成する。
【００７７】
視差画像生成部３４は、視差画像を生成すると、その視差画像を、視差調整画像生成部３５に供給する。
【００７８】
視差調整画像生成部３５は、視差画像生成部３４からの視差画像を用いて、その視差画像の画素値になっている視差量を調整する視差調整値を画素値とする視差調整画像を生成する。
【００７９】
すなわち、視差量調整画像生成部３５には、視差画像生成部３４から視差画像が供給される他、電気メス制御部１６から、電気メス制御情報が供給される。
【００８０】
視差量調整画像生成部３５は、電気メス制御情報に基づき、視差画像生成部３４からの視差画像を用いて、視差調整画像を生成する。
【００８１】
具体的には、いま、視差画像の位置(x,y)の画素の画素値である視差量を、d(x,y)と表すとともに、視差調整画像の位置(x,y)の画素の画素値である視差調整値を、c(x,y)と表すこととする。
【００８２】
視差調整画像生成部３５は、例えば、式（１）又は式（２）に従って、視差量d(x,y)を調整する視差調整値c(x,y)を求める。
【００８３】
c(x,y)=(d(x,y)-d(x,y)/a)/2
・・・（１）
c(x,y)=0
・・・（２）
【００８４】
なお、式（１）において、aは、1以上の定数であり、例えば、内視鏡システムの開発者によって、実験的に値が決定される。
【００８５】
また、視差調整値c(x,y)を、式（１）及び式（２）のうちのいずれに従って求めるかは、電気メス制御情報に基づいて制御される。
【００８６】
すなわち、電気メス制御情報が、電気メス１４のオンを表している場合には、視差調整値c(x,y)は、式（１）に従って求められる。また、電気メス制御情報が、電気メス１４のオフを表している場合には、視差調整値c(x,y)は、式（２）に従って求められる。
【００８７】
ここで、式（１）によれば、視差調整値c(x,y)として、視差量d(x,y)に対応する値((d(x,y)-d(x,y)/a)/2)が求められる。また、式（２）によれば、視差調整値c(x,y)として、0が求められる。
【００８８】
したがって、電気メス１４がオンになっており、その電気メス１４の使用によって、ミストや煙が生じやすい場合には、式（１）に従い、視差量d(x,y)に対応する値の視差調整値c(x,y)が求められる。
【００８９】
また、電気メス１４がオフになっており、その電気メス１４の使用に起因するミストや煙の発生がない場合には、式（２）に従い、値が0の視差調整値c(x,y)が求められる。
【００９０】
視差調整画像生成部３５は、以上のような視差調整値c(x,y)を画素値とする視差調整画像を生成し、画像シフト調整部３２Ｌ及び３２Ｒに供給する。
【００９１】
画像シフト調整部３２Ｌ及び３２Ｒでは、以上のようにして視差調整画像生成部３５から供給される視差調整画像に従い、左眼画像及び右眼画像の画素の画素値を水平方向にシフトすることにより、その左眼画像及び右眼画像で構成される3Dの内視鏡画像の視差量が調整される。
【００９２】
図４は、画像シフト調整部３２Ｌ及び３２Ｒでの画素値のシフトによる視差量の調整を説明する図である。
【００９３】
いま、左眼画像の現像信号Lの位置(x,y)の画素を注目画素として、その注目画素の画素値を、l(x,y)と表すとともに、右眼画像の現像信号Rの、注目画素に対応する対応画素の画素値を、r(x,y)と表すこととする。
【００９４】
画像シフト調整部３２Ｌは、左眼画像の現像信号Lの注目画素の画素値l(x,y)を、視差調整画像の位置(x,y)の画素の画素値である視差調整値c(x,y)に従って、水平方向にシフトすることにより、注目画素と対応画素との視差量を調整する。
【００９５】
すなわち、画像シフト調整部３２Ｌは、例えば、式（３）に従い、注目画素の画素値l(x,y)を、-c(x,y)だけ水平方向にシフトした位置の画素値l'(x-c(x,y),y)とする。
【００９６】
l'(x-c(x,y),y)=l(x,y)
・・・（３）
【００９７】
同様に、画像シフト調整部３２Ｒは、右眼画像の現像信号Rの対応画素の画素値r(x,y)を、視差調整画像の位置(x,y)の画素の画素値である視差調整値c(x,y)に従って、水平方向にシフトすることにより、注目画素と対応画素との視差量を調整する。
【００９８】
すなわち、画像シフト調整部３２Ｒは、例えば、式（４）に従い、対応画素の画素値r(x,y)を、+c(x,y)だけ水平方向にシフトした位置の画素値r'(x+c(x,y),y)とする。
【００９９】
r'(x+c(x,y),y)=r(x,y)
・・・（４）
【０１００】
視差調整値c(x,y)が0より大である場合には、シフト後の画素値l'(x-c(x,y),y)とr'(x+c(x,y),y)との間の視差は、シフト前の画素値l(x,y)とr(x,y)との間の視差よりも小さくなり、したがって、視差によって感じるユーザの負担を軽減することができる。
【０１０１】
画像シフト調整部３２Ｌ及び３２Ｒでは、左眼画像の現像信号Lの各画素を、順次、注目画素として、左眼画像の現像信号L及び右眼画像の現像信号Rの各画素の画素値をシフトする。
【０１０２】
そして、画像シフト調整部３２Ｌは、左眼画像の現像信号Lの各画素の画素値のシフトによって得られる画像の信号を、左眼画像の調整現像信号Lとして、画像補正部３３Ｌに供給する。同様に、画像シフト調整部３２Ｒは、右眼画像の現像信号Rの各画素の画素値のシフトによって得られる画像の信号を、右眼画像の調整現像信号Rとして、画像補正部３３Ｒに供給する。
【０１０３】
ここで、図３で説明したように、電気メス１４がオフの場合には、視差調整値c(x,y)は、式（２）に従って0になるので、画像シフト調整部３２Ｌ及び３２Ｒにおいて、画素値のシフトによる視差量の調整は、実質的に行われない。
【０１０４】
一方、電気メス１４がオンの場合には、視差調整値c(x,y)は、式（１）に従って求められ、画像シフト調整部３２Ｌ及び３２Ｒにおいて、その視差調整値c(x,y)に従って、画素値のシフトが行われることにより、視差が小さくなるように、視差量が調整される。
【０１０５】
オンになっている電気メス１４が、人体（被術者（患者））の組織に接触すると、ミストや煙が発生する。このミストや煙が激しく動き、内視鏡スコープ１１Ｂの先端に近接して、3Dの内視鏡画像に映ると、その3Dの内視鏡画像を観察しているユーザは、動きの激しいミストや煙に、3Dの画像に特有の不快感を感じることがある。
【０１０６】
3Dの内視鏡画像に映る動きの激しいミストや煙によって生じるユーザの不快感は、3Dの内視鏡画像を観察するユーザの負担を大きくし、ユーザが、本来見たい部分を注視することの妨げとなる。
【０１０７】
図１の内視鏡システムでは、電気メス１４がオンの場合に、上述したように、視差が小さくなるように、3Dの内視鏡画像の視差量が調整されるので、3Dの内視鏡画像を観察するユーザの負担を軽減することができる。
【０１０８】
図５は、図１の内視鏡システムにおいて、3Dの内視鏡画像を表示する画像表示の処理の例を説明するフローチャートである。
【０１０９】
ステップＳ１において、内視鏡１１は、例えば、患者（人体）の体腔に挿入され、その体腔内の組織を被写体とする3Dの内視鏡画像を撮像し、その3Dの内視鏡画像を構成する左眼画像の画像信号Lと右眼画像の画像信号Rとを、視差量調整部１２に供給する。
【０１１０】
そして、処理は、ステップＳ１からステップＳ２に進み、視差量調整部１２は、内視鏡画像１１からの3Dの内視鏡画像（の画像信号L及びR)の視差量を調整し、その視差量の調整後の3Dの内視鏡画像（の調整画像信号L及びR）を、表示部１３に供給する。
【０１１１】
すなわち、視差量調整部１２は、内視鏡画像１１からの3Dの内視鏡画像の視差が、その内視鏡画像を観察するユーザにとって負担になる場合に、その3Dの内視鏡画像の視差量を、視差が小さくなるように調整する。そして、視差量調整部１２は、視差量の調整後の3Dの内視鏡画像を、表示部１３に供給して、処理は、ステップＳ２からステップＳ３に進む。
【０１１２】
ステップＳ３では、表示部１３は、視差量調整部１２から供給される3Dの内視鏡画像を表示する。その後、処理は、ステップＳ３からステップＳ１に戻り、以下、同様の処理が繰り返される。
【０１１３】
図６は、図１の内視鏡システムにおいて、図５のステップＳ２で行われる、3Dの内視鏡画像の視差量の調整の処理の例を説明するフローチャートである。
【０１１４】
ステップＳ１１において、現像部３１Ｌ及び３１Ｒは、現像処理を行って、処理は、ステップＳ１２に進む。
【０１１５】
すなわち、現像部３１Ｌは、内視鏡１１からの3Dの内視鏡画像を構成する左眼画像の画像信号Lを対象に、現像処理を行って、現像信号Lを生成し、画像シフト調整部３２Ｌ、及び、視差画像生成部３４に供給する。
【０１１６】
現像部３１Ｒは、内視鏡１１からの3Dの内視鏡画像を構成する右眼画像の画像信号Rを対象に、現像処理を行って、現像信号Rを生成し、画像シフト調整部３２Ｒ、及び、視差画像生成部３４に供給する。
【０１１７】
ステップＳ１２では、視差画像生成部３４は、現像部３１Ｌからの左眼画像、及び、現像部３１Ｒからの右眼画像を用いて、視差量d(x,y)を画素値とする視差画像を生成し、視差調整画像生成部３５に供給して、処理は、ステップＳ１３に進む。
【０１１８】
ステップＳ１３では、視差調整画像生成部３５は、電気メス制御部１６から供給される電気メス制御情報に基づき、視差画像生成部３４から供給される視差画像を用いて、視差調整値c(x,y)を画素値とする視差調整画像を生成する。
【０１１９】
そして、視差調整画像生成部３５は、視差調整画像を、画像シフト調整部３２Ｌ及び３２Ｒに供給して、処理は、ステップＳ１４に進む。
【０１２０】
ステップＳ１４では、画像シフト調整部３２Ｌ及び３２Ｒは、視差調整画像生成部３５からの視差調整画像に従い、現像部３１Ｌからの左眼画像、及び、現像部３１Ｒからの右眼画像の各画素の画素値を水平方向にシフトすることにより、その左眼画像及び右眼画像で構成される3Dの内視鏡画像の視差量を調整する。
【０１２１】
そして、画像シフト調整部３２Ｌは、画素値のシフト後の左眼画像（の調整画像信号L）を、画像補正部３３Ｌに供給する。さらに、画像シフト調整部３２Ｒは、画素値のシフト後の右眼画像（の調整画像信号R）を、画像補正部３３Ｌに供給し、処理は、ステップＳ１４からステップＳ１５に進む。
【０１２２】
ステップＳ１５では、画像補正部３３Ｌは、画像シフト調整部３２Ｌからの、画素値のシフト後の左眼画像を構成する画素のうちの欠落画素を補間することにより、左眼画像を補正する。そして、画像補正部３３Ｌは、左眼画像の補正によって得られる、欠落画素がない左眼画像（の調整画像信号L）を、表示部１３に供給する。
【０１２３】
さらに、ステップＳ１５では、画像補正部３３Ｒは、画像シフト調整部３２Ｒからの、画素値のシフト後の右眼画像を構成する画素のうちの欠落画素を補間することにより、右眼画像を補正する。そして、画像補正部３３Ｒは、右眼画像の補正によって得られる、欠落画素がない右眼画像（の調整画像信号R）を、表示部１３に供給し、処理は終了する（リターンする）。
【０１２４】
図７は、画像補正部３３Ｌ及び３３Ｒでの欠落画素（の画素値）の補間の例を説明する図である。
【０１２５】
画像補正部３３Ｌは、左眼画像を構成する画素を、順次、注目画素とする。そして、注目画素が、画像シフト調整部３２Ｌでの画素値のシフトによって画素値が欠落している欠落画素である場合には、その欠落画素となっている注目画素の画素値を補間する。
【０１２６】
欠落画素となっている注目画素の画素値の補間は、例えば、注目画素の近傍の画素のうちの、欠落画素になっていない画素の画素値を用いて行われる。
【０１２７】
すなわち、画像補正部３３Ｌは、例えば、図７に示すように、左眼画像において、注目画素に隣接する8画素のうちの、欠落画素になっていない画素の画素値の平均値を、欠落画素となっている注目画素の画素値として求める。
【０１２８】
図７では、欠落画素になっている注目画素に隣接する8画素のうちの、注目画素の右に隣接する右隣接画素と、注目画素の下に隣接する下隣接画素とが、欠落画素になっている。この場合、欠落画素になっている注目画素に隣接する8画素のうちの、右隣接画素及び下隣接画素を除く6画素の画素値a,b,c,d,e,fの平均値(a+b+c+d+e+f)/6によって、欠落画素になっている注目画素の画素値が補間される。
【０１２９】
画像補正部３３Ｒでも、画像補正部３３Ｌと同様に、右眼画像の欠落画素の補間が行われる。
【０１３０】
図８は、図６のステップＳ１５で行われる、欠落画素の補間による左眼画像及び右眼画像の補正の処理の例を説明するフローチャートである。
【０１３１】
ステップＳ２１において、画像補正部３３Ｌは、補間を行った画素（欠落画素）をカウントする変数としての画素カウントと、左眼画像において、注目画素とする画素の位置を表す変数としての注目画素位置とをリセットし、処理は、ステップＳ２２に進む。
【０１３２】
すなわち、画素カウントのリセットでは、例えば、画素カウントが0に設定される。注目画素位置のリセットでは、例えば、注目画素位置が、左眼画像の最も左上の画素の位置から、1画素分だけ左の位置に設定される。
【０１３３】
ステップＳ２２では、画像補正部３３Ｌは、注目画素位置を、例えば、ラスタスキャン順に、1画素分だけ更新し、処理は、ステップＳ２３に進む。
【０１３４】
ステップＳ２３では、画像補正部３３Ｌは、左眼画像の画素のうちの、注目画素位置の画素、すなわち、注目画素が、欠落画素であるかどうかを判定する。
【０１３５】
ステップＳ２３において、注目画素が、欠落画素でないと判定された場合、処理は、ステップＳ２４及びＳ２５をスキップして、ステップＳ２６に進む。
【０１３６】
また、ステップＳ２３において、注目画素が、欠落画素であると判定された場合、処理は、ステップＳ２４に進む。
【０１３７】
ステップＳ２４では、画像補正部３３Ｌは、左眼画像の画素の中で、注目画素の近傍（周辺）にある画素のうちの、欠落画素でない画素の画素値を用いて、欠落画素になっている注目画素の画素値を補間し、処理は、ステップＳ２５に進む。
【０１３８】
ステップＳ２５では、画像補正部３３Ｌは、ステップＳ２４で補間を行った画素をカウントする変数としての補間画素数を、1だけインクリメントし、処理は、ステップＳ２６に進む。
【０１３９】
ステップＳ２６では、画像補正部３３Ｌは、左眼画像を構成するすべての画素を、注目画素として、注目画素が欠落画素かどうかの判定を行ったかどうかを判定する。
【０１４０】
ステップＳ２６において、左眼画像を構成するすべての画素を、まだ、注目画素としていないと判定された場合、処理は、ステップＳ２２に戻り、以下、同様の処理が繰り返される。
【０１４１】
また、ステップＳ２６において、左眼画像を構成するすべての画素を、注目画素としたと判定された場合、すなわち、注目画素位置が、左眼画像のラスタスキャン順で最後の画素の位置になっている場合、処理は、ステップＳ２７に進み、画像補正部３３Ｌは、画素カウントが0であるかどうかを判定する。
【０１４２】
ステップＳ２７において、画素カウントが0でないと判定された場合、処理は、ステップＳ２１に戻り、以下、同様の処理が繰り返される。
【０１４３】
すなわち、直前のステップＳ２２ないしＳ２６のループ処理において、左眼画像に欠落画素が存在し、その欠落画素の画素値の補間が行われた場合、左眼画像に、まだ、欠落画素が存在する可能性があるため、ステップＳ２１ないしＳ２７の処理が、リカーシブに繰り返される。
【０１４４】
一方、ステップＳ２７において、画素カウントが0であると判定された場合、処理は終了する（リターンする）。
【０１４５】
すなわち、直前のステップＳ２２ないしＳ２６のループ処理において、左眼画像に欠落画素が存在しないことが確認された場合、画像補正部３３Ｌは、ステップＳ２４の画素値の補間によって得られた左眼画像を、表示部１３に供給し、処理は終了する。
【０１４６】
ここで、画像補正部３３Ｌにおいて、注目画素が欠落画素であるかどうかの判定は、例えば、欠落画素を表す欠落フラグを用いて行うことができる。
【０１４７】
すなわち、画像シフト調整部３２Ｌにおいて、シフト後の画素値を格納するメモリに、欠落フラグを埋め込んでおき（記憶させておき）、そのメモリに、シフト後の画素値を、上書きの形で書き込ませる。
【０１４８】
この場合、シフト後の画素値が書き込まれなかったメモリアドレスには、欠落フラグが記憶されたままになっているので、欠落フラグが記憶されたメモリアドレスに対応する画素が、欠落画素であると判定することができる。
【０１４９】
なお、画像補正部３３Ｒでは、画像補正部３３Ｌと同様に、右眼画像の補正が行われる。
【０１５０】
＜内視鏡システムの第２実施の形態＞
【０１５１】
図９は、本技術を適用した内視鏡システムの第２実施の形態の構成例を示すブロック図である。
【０１５２】
なお、図中、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜、省略する。
【０１５３】
図９において、内視鏡システムは、内視鏡１１、表示部１３、電気メス１４、電気メススイッチ１５、及び、電気メス制御部１６を有する点で、図１の場合と共通する。
【０１５４】
但し、図９の内視鏡システムは、視差量調整部１２に代えて、視差量調整部４０が設けられている点で、図１の場合と相違する。
【０１５５】
視差量調整部４０は、内視鏡画像１１からの3Dの内視鏡画像の視差が、その内視鏡画像を観察するユーザにとって負担になる場合に、3Dの内視鏡画像の視差量を、ユーザの負担が軽減されるように調整し、その調整後の内視鏡画像を表示部１３に供給する点で、図１の視差量調整部１２と共通する。
【０１５６】
但し、視差量調整部４０は、内視鏡画像１１からの3Dの内視鏡画像に基づいて、その3Dの内視鏡画像における視差が負担になる負担領域の視差量を調整する点で、電気メス制御情報に基づいて視差量を調整する視差量調整部１２と相違する。
【０１５７】
そのため、図９の内視鏡システムでは、図１の場合のように、電気メス制御部１６から視差量調整部４０には、電気メス制御情報が供給されるようにはなっていない。
【０１５８】
但し、図９の内視鏡システムでは、図１の場合と同様に、電気メス制御部１６から視差量調整部４０に、電気メス制御情報を供給することができる。この場合、視差量調整部４０では、電気メス制御情報に基づき、電気メス１４がオンになっているときに、内視鏡画像１１からの3Dの内視鏡画像に基づいて、その3Dの内視鏡画像における負担領域の視差量の調整を行うことができる。
【０１５９】
図１０は、図９の視差量調整部４０の構成例を示すブロック図である。
【０１６０】
なお、図中、図３の視差量調整部１２と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１６１】
図１０において、視差量調整部４０は、現像部３１Ｌ及び３１Ｒ、画像シフト調整部３２Ｌ及び３２Ｒ、画像補正部３３Ｌ及び３３Ｒ、並びに、視差画像生成部３４を有する点で、図３の視差量調整部１２と共通する。
【０１６２】
但し、図１０の視差量調整部４０は、視差調整画像生成部３５に代えて、視差調整画像生成部４３が設けられている点で、図３の視差量調整部１２と相違する。さらに、図１０の視差量調整部４０は、フレーム差分演算部４１、及び、輝度信号変換部４２が、新たに設けられている点で、図３の視差量調整部１２と相違する。
【０１６３】
フレーム差分演算部４１、及び、輝度信号変換部４２には、現像部３１Ｌで得られる左眼画像（の現像信号L）、及び、現像部３１Ｒで得られる右眼画像（の現像信号R）のうちの一方が供給される。
【０１６４】
図１０では、左眼画像及び右眼画像のうちの、例えば、視差画像の生成で基準となる左眼画像が、フレーム差分演算部４１、及び、輝度信号変換部４２に供給される。
【０１６５】
フレーム差分演算部４１は、現像部３１Ｌから供給される左眼画像の隣接するフレームどうしの各画素の画素値の差分絶対値を演算し、その差分絶対値を画素値とするフレーム差分画像を、視差調整画像生成部４３に供給する。
【０１６６】
輝度信号変換部４２は、現像部３１Ｌから供給される左眼画像のR，G、及び、Bの各プレーンの現像信号Lから、その左眼画像の各画素の輝度信号を求め、その輝度信号を画素値とする輝度画像を、視差調整画像生成部４３に供給する。
【０１６７】
輝度信号は、現像信号LとしてのR，G、及び、Bの値から、式（５）により求めることができる。
【０１６８】
Y=0.2126R+0.7152G+0.0722B
・・・（５）
【０１６９】
視差調整画像生成部４３には、フレーム差分演算部４１からフレーム差分画像が供給されるとともに、輝度信号変換部４２から輝度画像が供給される他、視差画像生成部３４から、視差画像が供給される。
【０１７０】
視差調整画像生成部４３は、フレーム差分演算部４１からのフレーム差分画像、及び、輝度信号変換部４２からの輝度画像に基づき、視差画像生成部３４からの視差画像を用いて、視差調整画像を生成する。
【０１７１】
すなわち、いま、フレーム差分画像の位置(x,y)の画素値である差分絶対値を、S(x,y)と表すとともに、輝度画像の位置(x,y)の画素値である輝度（信号）を、L(x,y)と表すこととする。
【０１７２】
視差調整画像生成部４３は、例えば、式（６）、式（７）、及び、式（８）に従い、視差画像の画素値である視差量d(x,y)を用いて、視差調整値c(x,y)を求め、その視差調整値c(x,y)を画素値とする視差調整画像を生成して、画像シフト調整部３２Ｌ及び３２Ｒに供給する。
【０１７３】
c(x,y)=(d(x,y)-d(x,y)/a(x,y))/2
・・・（６）
if (c(x,y)<0) {c(x,y)=0}
・・・（７）
a(x,y)=b・L(x,y)・S(x,y)
・・・（８）
【０１７４】
なお、式（８）において、bは、a(x,y)を調整する調整値であり、例えば、内視鏡システムの開発者によって、実験的に値が決定される。
【０１７５】
式（６）ないし式（８）によれば、視差調整値c(x,y)は、式（６）に従って求められる。但し、式（６）に従って求められる視差調整値c(x,y)が負の値である場合には、視差調整値c(x,y)は、式（７）に従って0に補正される。
【０１７６】
式（６）の視差調整値c(x,y)は、視差量d(x,y)と、a(x,y)とを用いて求められ、a(x,y)は、式（８）に従い、差分絶対値S(x,y)と輝度L(x,y)とを用いて求められる。したがって、式（６）の視差調整値c(x,y)は、視差量d(x,y)と、差分絶対値（動き）S(x,y)とに対応する値になっているということができる。さらに、式（６）の視差調整値c(x,y)は、視差量d(x,y)と、輝度L(x,y)とに対応する値になっている、ということもできる。
【０１７７】
式（６）ないし式（８）によれば、差分絶対値S(x,y)や、輝度L(x,y)が大きい画素については、a(x,y)が大になり、ひいては、視差調整値c(x,y)が大になる。その結果、差分絶対値S(x,y)や、輝度L(x,y)が大きい画素については、画像シフト調整部３２Ｌ及び３２Ｒにおいて、視差が、より小さくなるように調整される。
【０１７８】
ここで、フレーム差分画像の画素の画素値である差分絶対値S(x,y)は、その画素における動きを表す。また、電気メス１４の使用によって発生するミストや煙は、動きが流動的で大きく、さらに、白色に近くて、輝度レベルが大きいといった特徴がある。したがって、3Dの内視鏡画像において、差分絶対値S(x,y)や輝度L(x,y)が大きい画素は、ミストや煙が映る領域の画素であると推定することができる。
【０１７９】
また、3Dの内視鏡画像において、ミストや煙が映る領域は、その動きの激しさから、3Dの内視鏡画像を観察するユーザに不快感を感じさせるので、ユーザの負担となる負担領域であるということができる。
【０１８０】
以上のように、3Dの内視鏡画像において、ミストや煙が映る領域は、負担領域であり、差分絶対値S(x,y)や輝度L(x,y)が大きくなる。
【０１８１】
差分絶対値S(x,y)や輝度L(x,y)が大きい画素については、上述したように、視差調整画像生成部３５において、値が大きな視差調整値c(x,y)が求められ、その結果、画像シフト調整部３２Ｌ及び３２Ｒにおいて、視差量が、より小さくなるように調整される。
【０１８２】
したがって、3Dの内視鏡画像において、電気メス１４の使用によって生じたミストや煙が映る負担領域の視差は小さくなり、ユーザの負担を軽減することができる。
【０１８３】
なお、上述の場合には、動きを表す差分絶対値S(x,y)と、輝度L(x,y)との両方に基づいて、負担領域の視差量を調整することとしたが、負担領域の視差量の調整は、差分絶対値S(x,y)及び輝度L(x,y)のうちの一方に基づいて行うことができる。
【０１８４】
すなわち、式（８）において、L(x,y)=1とすることにより、動きを表す差分絶対値S(x,y)に基づいて、負担領域の視差量の調整を行うことができる。また、式（８）において、S(x,y)=1とすることにより、輝度L(x,y)に基づいて、負担領域の視差量の調整を行うことができる。
【０１８５】
ここで、上述の式（６）ないし式（８）においては、a(x,y)は、3Dの内視鏡画像（の左眼画像）における位置(x,y)の画素が、ミストや煙等が映る負担領域である程度（以下、負担領域度ともいう）を表す。そして、負担領域度a(x,y)が大きい画素ほど、視差量が小さくなるように調整される。
【０１８６】
視差量調整部４０では、以上のように、画素の負担領域度a(x,y)に応じた視差量の調整を行う他、例えば、閾値処理によって、負担領域を検出し、その負担領域についてだけ、視差量の調整を行うことができる。
【０１８７】
すなわち、視差量調整部４０では、視差調整画像生成部４３において、例えば、式（９）に従って、視差調整値c(x,y)を求めることができる。
【０１８８】
if (L(x,y)>TH1 & S(x,y)>TH2) {c(x,y)=(d(x,y)-d(x,y)/a)/2} else{c(x,y)=0}
・・・（９）
【０１８９】
式（９）において、TH1及びTH2は、負担領域の検出に用いる閾値であり、aは、1以上の定数である。TH1，TH2、及び、aは、例えば、内視鏡システムの開発者によって、実験的に値が決定される。
【０１９０】
式（９）によれば、輝度L(x,y)が閾値TH1より大であり、かつ、差分絶対値S(x,y)が閾値TH2より大である場合、3Dの内視鏡画像（の左眼画像）における位置(x,y)の画素が、ミストや煙等の、ユーザの負担になる所定の物体が映る負担領域（を構成する画素）として検出される。そして、負担領域については、式（１）の場合と同様に、視差量d(x,y)に対応する値（(d(x,y)-d(x,y)/a)/2）の視差調整値c(x,y)が求められる。
【０１９１】
また、式（９）によれば、輝度L(x,y)が閾値TH1より大でないか、又は、差分絶対値S(x,y)が閾値TH2より大でない場合、3Dの内視鏡画像における位置(x,y)の画素が、負担領域ではないとして、値が0の視差調整値c(x,y)が求められる。
【０１９２】
したがって、式（９）によれば、3Dの内視鏡画像において、ミストや煙等が映る負担領域について、視差が小さくなるように調整され、その結果、ユーザの負担を軽減することができる。
【０１９３】
図１１は、図１０のフレーム差分演算部４１の構成例を示すブロック図である。
【０１９４】
図１１において、フレーム差分演算部４１は、フレームメモリ５１及び差分絶対値演算部５２を有する。
【０１９５】
フレームメモリ５１及び差分絶対値演算部５２には、現像部３１Ｌから左眼画像のフレーム（の現像信号L）が供給される。
【０１９６】
フレームメモリ５１は、現像部３１Ｌからの左眼画像のフレームを記憶する。
【０１９７】
差分絶対値演算部５２は、現像部３１Ｌから供給される左眼画像のフレームを、順次、注目フレームとして、フレームメモリ５１に記憶された、注目フレームの直前のフレームと、注目フレームとの各画素の画素値の差分絶対値を演算する。そして、差分絶対値演算部５２は、差分絶対値を画素値とするフレーム差分画像を生成し、視差調整画像生成部４３に供給する。
【０１９８】
すなわち、いま、注目フレームが、N番目のフレーム#Nであるとすると、差分絶対値演算部５２は、フレームメモリ５１に記憶された、N-1番目のフレーム#N-1とフレーム#Nとの各画素について、画素値の差分絶対値を演算することにより、フレーム差分画像を生成する。
【０１９９】
次に、図９の内視鏡システムで行われる、3Dの内視鏡画像を表示する画像表示の処理について説明する。
【０２００】
図９の内視鏡システムでは、図５のフローチャートで説明した場合と同様の画像表示の処理が行われる。但し、図５の画像表示の処理において、ステップＳ２で行われる、3Dの内視鏡画像の視差量の調整の処理は、図６の場合と異なる。
【０２０１】
図１２は、図９の内視鏡システムにおいて、図５のステップＳ２で行われる、3Dの内視鏡画像の視差量の調整の処理の例を説明するフローチャートである。
【０２０２】
ステップＳ４１において、現像部３１Ｌ及び３１Ｒは、現像処理を行って、処理は、ステップＳ４２に進む。
【０２０３】
すなわち、現像部３１Ｌは、内視鏡１１からの3Dの内視鏡画像を構成する左眼画像の画像信号Lを対象に、現像処理を行って、現像信号Lを生成し、画像シフト調整部３２Ｌ、視差画像生成部３４、フレーム差分演算部４１、及び、輝度信号変換部４２に供給する。
【０２０４】
現像部３１Ｒは、内視鏡１１からの3Dの内視鏡画像を構成する右眼画像の画像信号Rを対象に、現像処理を行って、現像信号Rを生成し、画像シフト調整部３２Ｒ、及び、視差画像生成部３４に供給する。
【０２０５】
ステップＳ４２では、視差画像生成部３４は、現像部３１Ｌからの左眼画像、及び、現像部３１Ｒからの右眼画像を用いて、視差量d(x,y)を画素値とする視差画像を生成し、視差調整画像生成部４３に供給して、処理は、ステップＳ４３に進む。
【０２０６】
ステップＳ４３では、フレーム差分演算部４１は、現像部３１Ｌからの左眼画像の隣接するフレームどうしの各画素の画素値の差分絶対値を演算し、その差分絶対値を画素値とするフレーム差分画像を生成して、視差調整画像生成部４３に供給する。
【０２０７】
さらに、ステップＳ４３では、輝度信号変換部４２は、現像部３１Ｌからの左眼画像から、その左眼画像の各画素の輝度信号を求め、その輝度信号を画素値とする輝度画像を生成して、視差調整画像生成部４３に供給する。
【０２０８】
そして、処理は、ステップＳ４３からステップＳ４４に進み、視差調整画像生成部４３は、フレーム差分演算部４１からのフレーム差分画像と、輝度信号変換部４２からの輝度画像とに基づき、視差画像生成部３４から供給される視差画像を用いて、視差調整値c(x,y)を画素値とする視差調整画像を生成する。
【０２０９】
さらに、視差調整画像生成部４３は、視差調整画像を、画像シフト調整部３２Ｌ及び３２Ｒに供給して、処理は、ステップＳ４４からステップＳ４５に進む。
【０２１０】
以下、ステップＳ４５及びＳ４６では、図６のステップＳ１４及びＳ１５とそれぞれ同様の処理が行われる。
【０２１１】
＜内視鏡システムの第３実施の形態＞
【０２１２】
図１３は、本技術を適用した内視鏡システムの第３実施の形態の構成例を示すブロック図である。
【０２１３】
なお、図中、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜、省略する。
【０２１４】
図１３において、内視鏡システムは、内視鏡１１、及び、表示部１３を有する点で、図１の場合と共通する。
【０２１５】
但し、図１３の内視鏡システムは、電気メス１４、電気メススイッチ１５、及び、電気メス制御部１６に代えて、鉗子６１が設けられている点で、図１の場合と相違する。
【０２１６】
さらに、図１３の内視鏡システムは、視差量調整部１２に代えて、視差量調整部７０が設けられている点で、図１の場合と相違する。
【０２１７】
鉗子６１は、ユーザによって、患者の体内に挿入され、術部に処置を施すこと等に用いられる。
【０２１８】
視差量調整部７０は、内視鏡画像１１からの3Dの内視鏡画像の視差が、その内視鏡画像を観察するユーザにとって負担になる場合に、3Dの内視鏡画像の視差量を、ユーザの負担が軽減されるように調整し、その調整後の内視鏡画像を表示部１３に供給する点で、図１の視差量調整部１２と共通する。
【０２１９】
但し、視差量調整部７０は、内視鏡画像１１からの3Dの内視鏡画像に基づいて、その3Dの内視鏡画像における視差が負担になる負担領域を検出し、その負担領域の視差量を調整する点で、電気メス制御情報に基づいて視差量を調整する視差量調整部１２と相違する。
【０２２０】
なお、図９の視差量調整部４０では、3Dの内視鏡画像において、ミストや煙が映る領域を負担領域としたが、図１３の視差量調整部７０では、3Dの内視鏡画像において、例えば、鉗子６１等の処置具が映る領域が、負担領域として検出される。
【０２２１】
すなわち、3Dの内視鏡画像において、例えば、鉗子６１が映る領域である鉗子領域は、手前から奥の術部の方向に向かって広範囲に亘っていることがある。この場合、ユーザによる鉗子６１の操作によって、鉗子領域の中でも面積が大きい手前側の領域が大きく動くと、上述の激しく動くミストや煙と同様に、ユーザに不快感を与え、ユーザの負担になることがある。
【０２２２】
そこで、視差量調整部７０は、鉗子領域の全部又は一部を、負担領域として検出し、その負担領域の視差を小さくするように調整することで、ユーザの負担を軽減する。
【０２２３】
なお、視差量調整部７０では、鉗子領域の全体を、負担領域として検出することもできるし、鉗子領域のうちの、動いた場合のユーザへの負担が大きい手前側の領域だけを、負担領域として検出することもできる。
【０２２４】
図１４は、鉗子６１が映っている3Dの内視鏡画像（を構成する左眼画像又は右眼画像）の例を示す図である。
【０２２５】
図１４では、3Dの内視鏡画像の、左側と右側とに、体腔に挿入された鉗子６１としての2本の鉗子が、組織を背景として映っている。
【０２２６】
図１４の3Dの内視鏡画像においては、左側の鉗子６１が、手前から奥の術部の方向に広範囲に亘って映っている。かかる3Dの内視鏡画像において、左側の鉗子６１が映る鉗子領域の、特に、面積が大きい手前側の領域が大きく動くと、3Dの内視鏡画像を観察しているユーザに不快感を与え、ユーザの負担になることがある。
【０２２７】
図１５は、図１３の視差量調整部７０の構成例を示すブロック図である。
【０２２８】
なお、図中、図３の視差量調整部１２と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２２９】
図１５において、視差量調整部７０は、現像部３１Ｌ及び３１Ｒ、画像シフト調整部３２Ｌ及び３２Ｒ、画像補正部３３Ｌ及び３３Ｒ、並びに、視差画像生成部３４を有する点で、図３の視差量調整部１２と共通する。
【０２３０】
但し、図１５の視差量調整部７０は、視差調整画像生成部３５に代えて、視差調整画像生成部７２が設けられている点で、図３の視差量調整部１２と相違する。さらに、図１５の視差量調整部７０は、鉗子領域検出部７１が、新たに設けられている点で、図３の視差量調整部１２と相違する。
【０２３１】
鉗子領域検出部７１には、現像部３１Ｌで得られる左眼画像（の現像信号L）、及び、現像部３１Ｒで得られる右眼画像（の現像信号R）のうちの一方が供給される。
【０２３２】
図１５では、左眼画像及び右眼画像のうちの、例えば、視差画像の生成で基準となる左眼画像が、鉗子領域検出部７１に供給される。
【０２３３】
鉗子領域検出部７１は、現像部３１Ｌから供給される左眼画像から、鉗子６１が映る鉗子領域を検出し、その検出結果を表す鉗子領域画像を生成して、視差調整画像生成部７２に供給する。
【０２３４】
ここで、鉗子領域検出部７１での鉗子領域の検出の方法は、特に限定されるものではない。鉗子領域の検出の方法としては、例えば、第１の検出方法や第２の検出方法を採用することができる。
【０２３５】
第１の検出方法では、鉗子６１の色が、体内の組織の色と明らかに異なることを前提として、左眼画像の現像信号LのR，G、及び、Gの各値から、色相(hue)が演算される。そして、その色相の閾値処理を行うことにより、鉗子６１の色になっている領域が、鉗子領域として検出される。
【０２３６】
第２の検出方法では、左眼画像の現像信号LのR，G、及び、Gの各値から、各画素の輝度が求められ、その輝度を画素値とする輝度画像が生成される。さらに、輝度画像のエッジ検出を行うことで、エッジが表されたエッジ画像が生成され、そのエッジ画像のハフ変換を行うことで、エッジ画像上の直線（状のエッジ）が検出される。そして、エッジ画像上の直線の中から、長さの長い2つの直線が検出され、その2つの直線で囲まれる領域が、鉗子領域として検出される。
【０２３７】
視差調整画像生成部７２には、鉗子領域検出部７１から鉗子領域画像が供給される他、視差画像生成部３４から、視差画像が供給される。
【０２３８】
視差調整画像生成部７２は、鉗子領域検出部７１からの鉗子領域画像に基づき、視差画像生成部３４からの視差画像を用いて、視差調整画像を生成し、画像シフト調整部３２Ｌ及び３２Ｒに供給する。
【０２３９】
すなわち、位置(x,y)の画素が、鉗子領域（の画素）であり、かつ、位置(x,y)の画素の視差d(x,y)が、閾値TH3より大である場合、視差調整画像生成部７２は、例えば、式（１０）に従って、視差調整値c(x,y)を求める。
【０２４０】
c(x,y)=(d(x,y)-d(x,y)/a(x,y))/2
・・・（１０）
【０２４１】
また、位置(x,y)の画素が、鉗子領域でないか、又は、位置(x,y)の画素が、鉗子領域であっても、視差d(x,y)が、閾値TH3より大でない場合、視差調整画像生成部７２は、例えば、式（１１）に従って、視差調整値c(x,y)を求める。
【０２４２】
c(x,y)=0
・・・（１１）
【０２４３】
以上のように、視差調整画像生成部７２は、式（１０）又は式（１１）に従って、視差調整値c(x,y)を求め、その視差調整値c(x,y)を画素値とする視差調整画像を生成して、画像シフト調整部３２Ｌ及び３２Ｒに供給する。
【０２４４】
なお、閾値TH3は、負担領域の検出に用いる閾値であり、aは、1以上の定数である。TH3及びaは、例えば、内視鏡システムの開発者によって、実験的に値が決定される。
【０２４５】
以上のような視差調整画像生成部７２では、所定の物体としての鉗子６１が映る鉗子領域の中で、視差d(x,y)が閾値TH3より大きい領域、すなわち、手前側の領域が、負担領域として検出される。そして、負担領域については、例えば、式（１）の場合と同様に、視差量d(x,y)に対応する値（(d(x,y)-d(x,y)/a)/2）の視差調整値c(x,y)が求められる。
【０２４６】
また、視差調整画像生成部７２では、位置(x,y)の画素が、鉗子領域でないか、又は、位置(x,y)の画素が、鉗子領域であっても、視差d(x,y)が、閾値TH3より大でない場合、位置(x,y)の画素が、負担領域ではないとして、値が0の視差調整値c(x,y)が求められる。
【０２４７】
したがって、画像シフト調整部３２Ｌ及び３２Ｒにおいて、視差調整画像生成部７２で求められる視差調整値c(x,y)（を画素値とする視差調整画像）に基づいて、視差の調整を行うことにより、ユーザの負担を軽減することができる。
【０２４８】
すなわち、画像シフト調整部３２Ｌ及び３２Ｒでは、3Dの内視鏡画像において、鉗子６１が映る鉗子領域のうちの手前側の負担領域について、視差が小さくなるように調整される。その結果、ユーザの負担を軽減することができる。
【０２４９】
図１６は、図１５の鉗子領域検出部７１で生成される鉗子領域画像の例を示す図である。
【０２５０】
図１６のＡは、鉗子領域検出部７１において、鉗子領域の検出の対象となる対象画像としての左眼画像の例を示している。
【０２５１】
図１６のＡの左眼画像においては、左眼画像の中央から下部に亘って、鉗子６１が映っている。
【０２５２】
図１６のＢは、図１６のＡの左眼画像から鉗子領域を検出することにより生成される鉗子領域画像の例を示している。
【０２５３】
鉗子領域画像は、鉗子領域を表す、例えば、2値の画像になっている。
【０２５４】
次に、図１３の内視鏡システムで行われる、3Dの内視鏡画像を表示する画像表示の処理について説明する。
【０２５５】
図１３の内視鏡システムでは、図５のフローチャートで説明した場合と同様の画像表示の処理が行われる。但し、図５の画像表示の処理において、ステップＳ２で行われる、3Dの内視鏡画像の視差量の調整の処理は、図６の場合と異なる。
【０２５６】
図１７は、図１３の内視鏡システムにおいて、図５のステップＳ２で行われる、3Dの内視鏡画像の視差量の調整の処理の例を説明するフローチャートである。
【０２５７】
ステップＳ５１において、現像部３１Ｌ及び３１Ｒは、現像処理を行って、処理は、ステップＳ５２に進む。
【０２５８】
すなわち、現像部３１Ｌは、内視鏡１１からの3Dの内視鏡画像を構成する左眼画像の画像信号Lを対象に、現像処理を行って、現像信号Lを生成し、画像シフト調整部３２Ｌ、視差画像生成部３４、及び、鉗子領域検出部７１に供給する。
【０２５９】
現像部３１Ｒは、内視鏡１１からの3Dの内視鏡画像を構成する右眼画像の画像信号Rを対象に、現像処理を行って、現像信号Rを生成し、画像シフト調整部３２Ｒ、及び、視差画像生成部３４に供給する。
【０２６０】
ステップＳ５２では、視差画像生成部３４は、現像部３１Ｌからの左眼画像、及び、現像部３１Ｒからの右眼画像を用いて、視差量d(x,y)を画素値とする視差画像を生成し、視差調整画像生成部７２に供給して、処理は、ステップＳ５３に進む。
【０２６１】
ステップＳ５３では、鉗子領域検出部７１は、現像部３１Ｌからの左眼画像から鉗子領域を検出する鉗子領域検出の処理を行い、鉗子領域を表す鉗子領域画像を生成して、視差調整画像生成部７２に供給する。
【０２６２】
そして、処理は、ステップＳ５３からステップＳ５４に進み、視差調整画像生成部７２は、鉗子領域検出部７１からの鉗子領域画像に基づき、視差画像生成部３４から供給される視差画像を用いて、視差調整値c(x,y)を画素値とする視差調整画像を生成する。
【０２６３】
さらに、視差調整画像生成部７２は、視差調整画像を、画像シフト調整部３２Ｌ及び３２Ｒに供給して、処理は、ステップＳ５４からステップＳ５５に進む。
【０２６４】
以下、ステップＳ５５及びＳ５６では、図６のステップＳ１４及びＳ１５とそれぞれ同様の処理が行われる。
【０２６５】
図１８は、図１７のステップＳ５３で行われる鉗子領域検出の処理の例を説明するフローチャートである。
【０２６６】
鉗子領域検出部７１は、上述の第１及び第２の検出方法のうちの、例えば、第２の検出方法によって、左眼画像から鉗子領域を検出する。
【０２６７】
すなわち、ステップＳ６１において、鉗子領域検出部７１は、現像部３１Ｌからの左眼画像の現像信号LのR，G、及び、Gの各値から、各画素の輝度を求め、その輝度を画素値とする輝度画像を生成して、処理は、ステップＳ６２に進む。
【０２６８】
ステップＳ６２では、鉗子領域検出部７１は、輝度画像のエッジ検出を行い、エッジが表されたエッジ画像を生成して、処理は、ステップＳ６３に進む。
【０２６９】
ステップＳ６３では、鉗子領域検出部７１は、エッジ画像をハフ変換することにより、エッジ画像上の直線（線分）を検出して、処理は、ステップＳ６４に進む。
【０２７０】
ステップＳ６４では、鉗子領域検出部７１は、ステップＳ６３で検出されたエッジ画像上の直線の中から、長さの長い順に2つの直線を、鉗子領域の境界を表す境界直線として検出し、処理は、ステップＳ６５に進む。
【０２７１】
ステップＳ６５では、鉗子領域検出部７１は、2つの境界直線で囲まれる領域を、鉗子領域として検出し、処理は終了する（リターンする）。
【０２７２】
なお、図１３の視差量調整部７０では、鉗子６１が映る鉗子領域（の一部）を、負担領域として検出することとしたが、視差量調整部７０では、鉗子６１の他、例えば、シース等の処置具、その他の、3Dの内視鏡画像を観察するユーザの負担になる所定の物体（例えば、奥行き方向に大きく動く物体や、3Dの内視鏡画像において大きな領域を占める、動く物体等）が映る領域の一部又は全部を、負担領域として検出することができる。そして、その負担領域について、ユーザの負担を軽減するように、視差量の調整を行うことができる。
【０２７３】
以上のように、本実施の形態の内視鏡システムによれば、例えば、3Dの内視鏡画像を観察しながら外科手術を行うケースにおいて、内視鏡スコープ１１Ｂの先端に近接した激しい動きのミストや煙に対し、視差量が調整されるので、違和感や不快感の少ない3Dの内視鏡画像を、ユーザ（術者）に提示することができる。
【０２７４】
さらに、本実施の形態の内視鏡システムによれば、例えば、3Dの内視鏡画像を観察しながら外科手術を行うケースにおいて、内視鏡スコープ１１Ｂの先端に近接した動きの激しい鉗子領域に対し、視差量が調整されるので、違和感や不快感の少ない3Dの内視鏡画像を、ユーザに提示することができる。
【０２７５】
したがって、本実施の形態の内視鏡システムによれば、ユーザの疲労を軽減し、集中力の維持に貢献することできる。
【０２７６】
なお、本技術は、体内に、内視鏡スコープ１１Ｂが挿入される内視鏡１１で撮像された内視鏡画像の他、例えば、いわゆるカプセル型の内視鏡で撮像された内視鏡画像を処理する場合に適用することができる。
【０２７７】
さらに、本技術は、人体を撮像した画像の他、人体以外の生体を撮像した画像を処理する場合に適用することができる。
【０２７８】
また、本技術は、内視鏡１１で生体を撮像した内視鏡画像の他、例えば、顕微鏡で生体を撮像した生体画像を処理する場合に適用することができる。その他、本技術は、ファイバスコープと呼ばれる内視鏡で、生体以外の被写体を撮像した内視鏡画像に適用することができる。
【０２７９】
さらに、上述の第１実施の形態ないし第３実施の形態の内視鏡システムにおける視差量の調整は、組み合わせて用いることができる。すなわち、例えば、視差量を小さくする調整は、煙やミストが映る領域と、鉗子が映る鉗子領域との両方に行うことができる。
【０２８０】
＜本技術を適用したコンピュータの説明＞
【０２８１】
次に、視差量調整部１２や、４０，７０の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、マイクロコンピュータ等にインストールされる。
【０２８２】
そこで、図１９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２８３】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０２８４】
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２８５】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２８６】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【０２８７】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【０２８８】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２８９】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２９０】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２９１】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２９２】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２９３】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２９４】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２９５】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２９６】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２９７】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０２９８】
なお、本技術は、以下の構成をとることができる。
【０２９９】
＜１＞
生体を撮像した3D(Dimensions)の生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量を調整する視差量調整部
を備える画像処理装置。
＜２＞
前記視差量調整部は、エネルギデバイスが使用されている場合に、前記3Dの生体画像の視差量を調整する
＜１＞に記載の画像処理装置。
＜３＞
前記エネルギデバイスは、電気メスである
＜２＞に記載の画像処理装置。
＜４＞
前記視差量調整部は、前記3Dの生体画像に基づいて、前記3Dの生体画像における視差が負担になる負担領域の視差量を調整する
＜１＞に記載の画像処理装置。
＜５＞
前記視差量調整部は、前記3Dの生体画像の動きに基づいて、前記負担領域の視差量を調整する
＜４＞に記載の画像処理装置。
＜６＞
前記視差量調整部は、前記3Dの生体画像の輝度に基づいて、前記負担領域の視差量を調整する
＜４＞に記載の画像処理装置。
＜７＞
前記視差量調整部は、前記3Dの生体画像の動き及び輝度に基づいて、前記負担領域の視差量を調整する
＜４＞に記載の画像処理装置。
＜８＞
前記視差量調整部は、前記3Dの生体画像において、所定の物体が映る領域を、前記負担領域として検出する
＜４＞に記載の画像処理装置。
＜９＞
前記視差量調整部は、前記3Dの生体画像において、処置具が映る領域を、前記負担領域として検出する
＜８＞に記載の画像処理装置。
＜１０＞
前記視差量調整部は、前記3Dの生体画像において、ミスト又は煙が映る領域を、前記負担領域として検出する
＜８＞に記載の画像処理装置。
＜１１＞
前記視差量調整部は、前記3Dの生体画像の視差量を、視差が小さくなるように調整する
＜１＞ないし＜１０＞のいずれかに記載の画像処理装置。
＜１２＞
前記視差量調整部は、前記3Dの生体画像の視差量を、視差が、前記視差量に対応する調整値だけ小さくなるように調整する
＜１１＞に記載の画像処理装置。
＜１３＞
前記視差量調整部は、前記3Dの生体画像の視差量を、視差が、前記視差量と、前記3Dの生体画像の動き及び輝度のうちの一方又は両方とに対応する調整値だけ小さくなるように調整する
＜１１＞に記載の画像処理装置。
＜１４＞
前記視差量調整部は、前記3Dの生体画像を構成する左眼で観察される左眼画像、及び、右眼で観察される右眼画像とのうちの一方の画像の注目画素の画素値と、前記左眼画像及び前記右眼画像のうちの他方の画像の、前記注目画素に対応する対応画素の画素値とを水平方向にシフトすることにより、前記3Dの生体画像の視差量を調整する
＜１＞ないし＜１３＞のいずれかに記載の画像処理装置。
＜１５＞
前記左眼画像及び前記右眼画像のうちの、前記画素値のシフトによって画素値が欠落した欠落画素の画素値を補間することにより、前記左眼画像及び前記右眼画像を補正する画像補正部をさらに備える
＜１４＞に記載の画像処理装置。
＜１６＞
前記画像補正部は、前記欠落画素の画素値を、その欠落画素の近傍の画素のうちの、欠落画素になっていない画素の画素値によって補間する
＜１５＞に記載の画像処理装置。
＜１７＞
前記生体画像は、内視鏡で前記生体を撮像した内視鏡画像である
＜１＞ないし＜１６＞のいずれかに記載の画像処理装置。
＜１８＞
生体を撮像した3D(Dimensions)の生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量を調整する
ステップを含む画像処理方法。
＜１９＞
生体を撮像した3D(Dimensions)の生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量を調整する視差量調整部
として、コンピュータを機能させるためのプログラム。
＜２０＞
3D(Dimensions)の画像を撮像する内視鏡と、
前記内視鏡で生体を撮像することにより得られる3Dの生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量を調整する視差量調整部と、
前記視差量調整部で前記視差量が調整された前記3Dの生体画像を表示する表示部と
を備える内視鏡システム。
【符号の説明】
【０３００】
１１  内視鏡，  １１Ａ  カメラヘッド，  １１Ｂ  内視鏡スコープ，  １２  視差量調整部，  １３  表示部，  １４  電気メス，  １５  電気メススイッチ，  １６  電気メス制御部，  ２１Ｌ，２１Ｒ  撮像素子，  ３１Ｌ，３１Ｒ  現像部，  ３２Ｌ，３２Ｒ  画像シフト調整部，  ３３Ｌ，３３Ｒ  画像補正部，  ３４  視差画像生成部，  ３５  視差調整画像生成部，  ４０  視差量調整部，  ４１  フレーム差分演算部，  ４２  輝度信号変換部，  ４３  視差調整画像生成部，  ５１  フレームメモリ，  ５２  差分絶対値演算部，  ６１  鉗子，  ７０  視差量調整部，  ７１  鉗子領域検出部，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体
【図１】
2016131276.tif 000003
【図２】
2016131276.tif 000004
【図３】
2016131276.tif 000005
【図４】
2016131276.tif 000006
【図５】
2016131276.tif 000007
【図６】
2016131276.tif 000008
【図７】
2016131276.tif 000009
【図８】
2016131276.tif 000010
【図９】
2016131276.tif 000011
【図１０】
2016131276.tif 000012
【図１１】
2016131276.tif 000013
【図１２】
2016131276.tif 000014
【図１３】
2016131276.tif 000015
【図１４】
2016131276.tif 000016
【図１５】
2016131276.tif 000017
【図１６】
2016131276.tif 000018
【図１７】
2016131276.tif 000019
【図１８】
2016131276.tif 000020
【図１９】
2016131276.tif 000021