(57)【要約】【課題】より適切な露出状態で観察する。【解決手段】光源制御装置は、被写体の表面で照射光が反射する反射方向を推定する反射方向推定部と、推定された照射光の反射方向に基づいて、照射光を照射する光源の向きを制御する制御部とを備える。そして、制御部は、反射方向に基づいて、被写体を観察する方向から見た照度が均一になるように、または、被写体を観察する方向への鏡面反射が抑制されるように、制御を行う。本技術は、例えば、内視鏡下手術に用いられる手術用システムに適用できる。【選択図】図８
2017070523.tif 000002
【特許請求の範囲】
【請求項１】
生体内の被写体の表面で照射光が反射する反射方向を推定する反射方向推定部と、
前記反射方向推定部により推定された照射光の反射方向および前記被写体を観察する方向に基づいて、前記照射光を照射する光源の向きを、前記被写体を観察する方向に対して相対的に制御する制御部と
を備える光源制御装置。
【請求項２】
前記制御部は、前記反射方向に基づいて、前記被写体を観察する方向から見た照度が均一になるように前記光源の向きを制御する
請求項１に記載の光源制御装置。
【請求項３】
前記制御部は、前記反射方向に基づいて、前記被写体を観察する方向への鏡面反射が抑制されるように前記光源の向きを制御する
請求項１に記載の光源制御装置。
【請求項４】
前記被写体を観察する方向に対する前記被写体の傾きを推定する被写体傾き推定部をさらに備え、
前記反射方向推定部は、前記被写体傾き推定部により推定された前記被写体の傾きに基づいて前記反射方向を推定する
請求項１に記載の光源制御装置。
【請求項５】
前記被写体を撮像する撮像部から前記被写体までの距離を求める距離情報取得部をさらに備え、
前記被写体傾き推定部は、前記撮像部により撮像された画像の空間座標、および、前記距離情報取得部により求められた前記距離に基づいて、前記被写体の傾きを推定する
請求項４に記載の光源制御装置。
【請求項６】
前記反射方向推定部は、前記撮像部により撮像される画像の画素または領域ごとに、前記被写体の傾きを推定する
請求項５に記載の光源制御装置。
【請求項７】
生体内の前記被写体は内視鏡により撮像される
請求項１に記載の光源制御装置。
【請求項８】
前記距離情報取得部は、生体内の前記被写体が内視鏡により撮像されたステレオ画像を用いて前記距離を求める
請求項５に記載の光源制御装置。
【請求項９】
生体内の被写体の表面で照射光が反射する反射方向を推定し、
推定された照射光の反射方向および前記被写体を観察する方向に基づいて、前記照射光を照射する光源の向きを、前記被写体を観察する方向に対して相対的に制御する
ステップを含む光源制御方法。
【請求項１０】
生体内の被写体の表面で照射光が反射する反射方向を推定し、
推定された照射光の反射方向および前記被写体を観察する方向に基づいて、前記照射光を照射する光源の向きを、前記被写体を観察する方向に対して相対的に制御する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１１】
生体内において術部に対して所定の方向から照射光を照射する光源と、
生体内において前記術部を撮像する撮像部と、
前記術部の表面で照射光が反射する反射方向を推定する反射方向推定部と、
前記反射方向推定部により推定された照射光の反射方向および前記撮像部の光軸方向に基づいて、前記光源の向きを前記撮像部の光軸方向に対して相対的に制御する制御部と
を備える手術用システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、光源制御装置、光源制御方法、プログラム、および手術用システムに関し、特に、より適切な露出状態で観察することができるようにした光源制御装置、光源制御方法、プログラム、および手術用システムに関する。
【背景技術】
【０００２】
近年、医療現場において従来の開腹手術に代わって、内視鏡を利用した手術が行われている。また、従来より、内視鏡による観察において、適切な露出状態に設定することが困難であることが知られており、均一に被写体を照射するための技術が開発されている。
【０００３】
例えば、特許文献１には、距離情報に応じて照射光量や配光パターンを変更し、ゲイン補正によって配光ムラを調整する内視鏡装置が開示されている。また、特許文献２には、複数の光源によって配光ムラ（シェーディング）を減少させる内視鏡装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−８７８５号公報
【特許文献２】特開２０１２−２４５３４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述したような特許文献１および２に開示されている技術において適正露出を得ることができたとしても、これらの技術では反射成分を考慮していないことより、鏡面反射が原因となって観察に適した画像を得ることは困難であった。
【０００６】
本開示は、このような状況に鑑みてなされたものであり、より適切な露出状態で観察することができるようにするものである。
【課題を解決するための手段】
【０００７】
本開示の一側面の光源制御装置は、生体内の被写体の表面で照射光が反射する反射方向を推定する反射方向推定部と、前記反射方向推定部により推定された照射光の反射方向および前記被写体を観察する方向に基づいて、前記照射光を照射する光源の向きを、前記被写体を観察する方向に対して相対的に制御する制御部とを備える。
【０００８】
本開示の一側面の光源制御方法またはプログラムは、生体内の被写体の表面で照射光が反射する反射方向を推定し、推定された照射光の反射方向および前記被写体を観察する方向に基づいて、前記照射光を照射する光源の向きを、前記被写体を観察する方向に対して相対的に制御するステップを含む。
【０００９】
本開示の一側面の手術用システムは、生体内において術部に対して所定の方向から照射光を照射する光源と、生体内において前記術部を撮像する撮像部と、前記術部の表面で照射光が反射する反射方向を推定する反射方向推定部と、前記反射方向推定部により推定された照射光の反射方向および前記撮像部の光軸方向に基づいて、前記光源の向きを前記撮像部の光軸方向に対して相対的に制御する制御部とを備える。
【００１０】
本開示の一側面においては、生体内の被写体の表面で照射光が反射する反射方向が推定され、その反射方向および被写体を観察する方向に基づいて、照射光を照射する光源の向きが、被写体を観察する方向に対して相対的に制御される。
【発明の効果】
【００１１】
本開示の一側面によれば、より適切な露出状態で観察することができる。
【図面の簡単な説明】
【００１２】
【図１】本技術を適用した内視鏡手術用システムの一実施の形態の全体的構成例を示す図である。
【図２】ＣＣＵのハードウェア構成の一例を示す説明図である。
【図３】自然環境における露出状態を説明する図である。
【図４】内視鏡における露出状態を説明する図である。
【図５】従来の内視鏡の構造を説明する図である。
【図６】フォンの反射モデルについて説明する図である。
【図７】複数光源を備えた硬性鏡の外観を示す図である。
【図８】光源制御システムの構成例を示すブロック図である。
【図９】ステレオ画像データおよびステレオマッチングを利用して距離情報を取得する方法について説明する図である。
【図１０】ステレオ画像データおよびステレオマッチングを利用して距離情報を取得する方法について説明する図である。
【図１１】被写体の傾きを推定する処理について説明する図である。
【図１２】被写体照度が均一となるように光源向きを推定する方法について説明する図である。
【図１３】鏡面反射が最小となるように光源向きを推定する方法について説明する図である。
【図１４】光源制御処理を説明するフローチャートである。
【図１５】被写体の傾きを推定する処理を説明するフローチャートである。
【図１６】適正な光源向きを推定する処理を説明するフローチャートである。
【図１７】正規分布を示す図である。
【図１８】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１４】
＜内視鏡手術用システムの構成例＞
【００１５】
図１は、本技術の手術用システムとしての、内視鏡手術用システムの全体的構成例を示す図である。
【００１６】
近年、医療現場において従来の開腹手術に代わって、内視鏡下手術が行われている。たとえば、腹部の手術を行う場合、図１で示されるような手術室に配置される内視鏡手術用システム１１を用いる。従来のように腹壁を切って開腹する代わりに、トロッカ２２ａおよび２２ｂと称される開孔器具が腹壁に数か所取り付けられ、トロッカ２２ａおよび２２ｂに設けられている孔から腹腔鏡（内視鏡とも称する）のカメラヘッド部（以下、単にカメラヘッド部と称する）１２、エネルギ処置具１３や鉗子１４等が体内に挿入される。そして、カメラヘッド部１２によってビデオ撮像された患部（腫瘍等）２６の画像をリアルタイムに見ながら、エネルギ処置具１３等によって患部２６を切除するなどの処置が行われる。カメラヘッド部１２、エネルギ処置具１３や鉗子１４は、術者、助手、スコピスト、またはロボット等が保持している。
【００１７】
このような内視鏡下手術を行う手術室内には、内視鏡下手術のための装置類を搭載するカート２４、患者が横たわる患者ベッド２３、フットスイッチ２５等が配置される。カート２４は、医療機器として例えばＣＣＵ（カメラコントロールユニット）１５、光源装置１６、処置具用装置１７、気腹装置１８、表示装置１９、レコーダ２０及びプリンタ２１等の装置類を載置している。
【００１８】
カメラヘッド部１２の観察光学系を通じて撮像された患部２６の画像信号がカメラケーブルを介してＣＣＵ１５に伝送され、ＣＣＵ１５内で信号処理された後に、表示装置１９に出力され、患部２６の内視鏡画像が表示される。ＣＣＵ１５は、カメラケーブルを介してカメラヘッド部１２に接続される他、無線で接続してもよい。
【００１９】
光源装置１６は、ライトガイドケーブルを介してカメラヘッド部１２に接続され、患部２６に対してさまざまな波長の光を切り替えて照射することができる。処置具用装置１７は、例えば患部２６を、電気熱を用いて切断するエネルギ処置具１３に対して高周波電流を出力する高周波出力装置である。
【００２０】
気腹装置１８は、送気、吸気手段を備え、患者体内の例えば腹部領域に空気を送気するものである。フットスイッチ２５は、術者や助手等のフット操作をトリガ信号として、ＣＣＵ１５や処置具用装置１７等を制御するようになっている。
【００２１】
このように構成される内視鏡手術用システム１１では、エネルギ処置具１３や鉗子１４による施術をカメラヘッド部１２で撮像し、画像信号に対してＣＣＵ１５において信号処理が施された画像によって、患部２６を観察することができる。
【００２２】
図２は、図１におけるＣＣＵ１５のハードウェア構成の一例を示す説明図である。ＣＣＵ１５は、例えば、FPGAボード５１、CPU５２、GPUボード５３−１および５３−２、メモリ５４、IOコントローラ５５、記録媒体５６、インタフェース５７を備える。また、FPGAボード５１、CPU５２、並びに、GPUボード５３−１および５３−２は、例えば、バス５８で接続される。FPGAボード５１は、例えば、FPGA（Field-Programmable Gate Array）、図１のカメラヘッド部１２から入力画像信号が入力される入力インタフェース、および、図１の表示装置９に出力画像信号が出力される出力インタフェースを含む。
【００２３】
CPU５２と、GPUボード５３−１および５３−２とは、例えば、関連するソフトフェアなどの各種ソフトウェアを実行して、様々な処理を行う。CPU５２は、プロセッサを備えている。GPUボード５３−１および５３−２それぞれは、GPU（Graphics Processing Unit）とDRAM（Dynamic Random Access Memory）を備えている。
【００２４】
メモリ５４には、例えば、カメラヘッド部１２から入力画像信号に対応するデータや、表示装置１９への出力画像信号に対応するデータなど、様々なデータが記憶される。CPU５２は、メモリ５４への各種データの書き込みや読み出しを制御する役目を果たす。
【００２５】
CPU（Central Processing Unit）５２は、メモリ５４に記憶させたデータ、GPUボード５３−１および５３−２の処理能力および処理内容に応じて、メモリ５４に記憶された画像データを分割する。そして、GPUボード５３−１および５３−２のそれぞれのGPUは、分割されて供給されてくるデータに所定の処理を施し、処理結果をCPU５２に出力する。
【００２６】
IO（Input Output）コントローラ５５は、例えば、CPU５２と、記録媒体５６およびインタフェース５７との間の信号の伝達を制御する役目を果たす。
【００２７】
記録媒体５６は、記憶部（図示せず）として機能し、画像データや、各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体５６としては、例えば、SSD（Solid State Drive）などが挙げられる。また、記録媒体５６は、ＣＣＵ１５から着脱可能であってもよい。
【００２８】
インタフェース５７としては、例えば、USB（Universal Serial Bus）端子および処理回路や、LAN（Local Area Network）端子および送受信回路などが挙げられる。
【００２９】
なお、ＣＣＵ１５のハードウェア構成は、図２に示す構成に限られない。例えば、図２では、GPUボード５３−１および５３−２の２枚である例が示されているが、２枚以上の枚数であってもよい。また、CPU５２がGPUの機能を有している場合には、ＣＣＵ１５は、GPUボード５３−１および５３−２を備えていなくてもよい。
【００３０】
ところで、内視鏡手術用システム１１を用いることで、外科手術における大きなデメリットである侵襲性を抑えた手術手技を実現することが可能となる一方で、内視鏡観察における普遍的な課題として露出設定の難しさが挙げられる。
【００３１】
図３および図４を参照して、自然環境における露出状態と、内視鏡における露出状態との違いについて説明する。
【００３２】
図３Ａには、自然環境における視線方向と照明方向との関係が示されており、図３Ｂには、図３Ａの視線方向から見た明るさの状態が示されている。同様に、図４Ａには、内視鏡における視線方向と照明方向との関係が示されており、図４Ｂには、図４Ａの視線方向から見た明るさの状態が示されている。
【００３３】
例えば、図３に示すように、自然環境の様に太陽光線によって均一な照度で被写体が照らされている状態では、太陽光線によって均一に照射される物体の反射率が同一であれば、視線方向から見て、距離に依らず同じ明るさで目に映ることになる。
【００３４】
これに対し、図４に示すように、内視鏡による観察では、光源によって不均一に被写体を照らす状態となるため、反射率が同一の物体であっても、距離によって被写体の照度が変化してしまい、視野全体を適正露出にすることが困難となる。即ち、距離が近ければ露出オーバーとなり、距離が遠ければ露出アンダーとなってしまい、距離によって異なる明るさで目に映ることになる。
【００３５】
このため、従来より、上述した特許文献１および２に開示されているような、適正露出を得るための技術が開発されている。しかしながら、これらの技術では光量や配光を変えることはできるものの、反射成分を考慮していないことより、適正照度であっても観察に適していない画像を撮像してしまう可能性がある。
【００３６】
つまり、従来の内視鏡の構造的な理由から、医用内視鏡を用いた観察では鏡面反射成分が生じやすいものとなっていた。
【００３７】
例えば、図５に示すように、従来の内視鏡６１は、鏡筒６２の先端面に一組の照明窓６３および観察窓６４が配置される構造となっている。光源からの照射光は、導光部を介して照明窓６３から被写体へ照射され、その照射光が被写体において反射された反射光のうち、観察窓６４に入射する入射光が撮像部へ送られる。
【００３８】
このような構成の内視鏡６１では、光源からの照射光ベクトルθ1と撮像部への入射光ベクトルθ2とが略平行（θ1≒θ2）となる。このため、被写体の表面における鏡面反射が高い頻度で発生すると、観察の妨げになるだけではなく観察者の眼にも大きなストレスとなることがあった。従って、適正な観察環境を提供するためには、鏡面反射成分についても考慮する必要がある。しかしながら、上述したように、特許文献１および２に開示されている技術では、照明ムラ（シェーディング）を抑制するように適正照度で光源を制御するだけであり、鏡面反射については考慮されていなかった。そのため、制御の結果次第では、却って鏡面反射を多く発生させる可能性があった。
【００３９】
ここで、図６を参照して、フォンの反射モデルについて説明する。
【００４０】
例えば、図６に示すように、法線ベクトルＮの平面上における所定の点で、入射角αとなる入射方向ベクトルＬで入射した光が、反射角αとなる反射方向ベクトルＲで反射し、反射方向ベクトルＲに対する視線方向ベクトルＶは角度γを成しているものとする。この場合、反射する光の拡散反射成分の強度Ｉdは、入射光の強度Ｉi、拡散反射率Ｋd、および反射角αを用いて、次の式（１）によって表される。
【００４１】
【数１】
2017070523.tif 000003
【００４２】
式（１）に示すように、拡散反射成分の強度Ｉdは、反射方向（反射角α）によって変化する。
【００４３】
同様に、反射する光の鏡面反射光の強度Ｓは、入射光の強度Ｉi、鏡面反射率Ｗ（定数）、ハイライト係数ｎ、および、角度γを用いて、次の式（２）によって表される。
【００４４】
【数２】
2017070523.tif 000004
【００４５】
式（２）に示すように、鏡面反射光の強度Ｓは、視線方向ベクトルＶと反射方向ベクトルＲとの成す角度γに応じて減少する。
【００４６】
また、フォンの反射モデルにおいて、この点での陰影Ｉは、環境光の強度Ｉaおよび反射率Ｋaを用いて、次の式（３）によって表される。
【００４７】
【数３】
2017070523.tif 000005
【００４８】
ここで、式（１）に示すように、拡散反射成分の強度Ｉdは、反射方向によって変化するため、適正な照度を算出するには、距離情報を用いるだけでなく、反射方向を用いる必要がある。
【００４９】
そこで、内視鏡手術用システム１１は、光源から被写体までの距離情報、および、光源向きを変更可能な光源を用いて、観察に適した画像を提供することができるように構成されている。
【００５０】
図７は、内視鏡手術用システム１１で用いられる複数光源を備えた硬性鏡の外観を示す図である。図７Ａには、硬性鏡７１を正面方向から見た外観の構成例が示されており、図７Ｂには、硬性鏡７１を正面斜め方向から見た外観の構成例が示されている。
【００５１】
図７に示すように、硬性鏡７１は、鏡筒７２の先端面に、観察窓７３および照射窓７４−１乃至７４−４が配置される構造となっている。
【００５２】
観察窓７３は、鏡筒７２の先端面の中央に配置されており、被写体で反射して観察窓７３に入射する光が撮像部（例えば、後述する図８の撮像部８３）に送られて、その光による撮像が行われる。
【００５３】
照射窓７４−１乃至７４−４は、鏡筒７２を正面から見て略９０°の間隔を設けて配置されており、照射窓７４−１乃至７４−４それぞれから照射光を照射することができる。そして、後述するように、照射窓７４−１乃至７４−４それぞれから被写体に照射される照射光の強度を調整することで、照射光の光源向きが制御される。
【００５４】
このように硬性鏡７１は構成されており、内視鏡手術用システム１１では、照射窓７４−１乃至７４−４から被写体に照射される照射光の光源制御が行われる。
【００５５】
図８は、内視鏡手術用システム１１において光源制御を行う光源制御システム８１の構成例を示すブロック図である。
【００５６】
図８に示すように、光源制御システム８１は、光源ユニット８２、撮像部８３、信号処理部８４、および光源制御部８５を備えて構成される。例えば、光源制御システム８１は、図１のカメラヘッド部１２、ＣＣＵ１５、および光源装置１６によって構成され、光源制御システム８１から表示装置１９に画像が出力される。
【００５７】
光源ユニット８２は、図７の照射窓７４−１乃至７４−４それぞれから照射される照射光を発生する複数の光源を有している。そして、光源ユニット８２は、光源制御部８５の制御に従って、それらの光源の強度を調整（例えば、強／弱やオン／オフなど）することで、被写体に照射される照明光の向きを変更することができる。
【００５８】
撮像部８３は、図７の観察窓７３から入射する光による撮像を行い、その撮像によって得られる画像信号を信号処理部８４に供給する。
【００５９】
信号処理部８４は、撮像部８３から供給される画像信号に対する信号処理を行い、その信号処理を施した画像を表示装置１９に表示させる。
【００６０】
光源制御部８５は、光源情報取得部９１、距離情報取得部９２、被写体傾き推定部９３、反射方向推定部９４、および配光制御部９５を備えて構成され、光源ユニット８２に対する制御を行う。
【００６１】
光源情報取得部９１は、光源ユニット８２から出力される光源情報を取得し、その光源情報から得られる現時点での光源向きを反射方向推定部９４に供給する。
【００６２】
距離情報取得部９２は、撮像部８３から被写体までの距離情報を取得し、その距離情報により示される距離を、被写体傾き推定部９３に供給する。例えば、距離情報取得部９２は、後述の図９および図１０を参照して説明するように、ステレオ画像データおよびステレオマッチングを利用する手法により距離情報を取得することができる。なお、距離情報を取得する様々な手法（例えば、時分割で赤外線を照射する手法や、ミリ波レーダを利用する手法）があり、距離情報取得部９２は、いずれかの手法により距離情報を取得することができればよく、特定の手法に限定されることはない。
【００６３】
被写体傾き推定部９３には、撮像部８３により撮像される画像の空間座標（２次元座標）が、撮像部８３から供給される。そして、被写体傾き推定部９３は、その空間座標と、距離情報取得部９２から供給される光源から被写体までの距離とを用いて、被写体の３次元的な傾きを推定する処理を行い、その処理の結果求められる被写体ベクトルを反射方向推定部９４に供給する。なお、被写体傾き推定部９３が被写体の傾きを推定する手法については、後述の図１１を参照して説明する。
【００６４】
反射方向推定部９４は、被写体傾き推定部９３から供給される被写体ベクトルと、光源情報取得部９１から供給される現時点での光源の向きとを用いて、画素または領域ごとの被写体における反射方向を求める処理を行い、その処理の結果求められる反射ベクトルを配光制御部９５に供給する。
【００６５】
配光制御部９５は、反射方向推定部９４から供給される反射ベクトルに基づいて、拡散反射強度を推定し、被写体を観察する方向（即ち、撮像部８３の光軸方向）から見て、被写体照度が均一となるような光源向き（図１２参照）、または、鏡面反射が最小となるような光源向き（図１３参照）を求める。そして、配光制御部９５は、そのように求めた最適な光源向きで、図７の照射窓７４−１乃至７４−４から被写体に照射光が照射されるように配光を制御する。
【００６６】
このように光源制御システム８１は構成されており、被写体に表面における照射光の反射方向、および、被写体を観察する方向に基づいて、最適な光源向きとなるように被写体に照射光を照射することができる。これにより、より適切な露出状態で撮像部８３による撮像を行うことができる。
【００６７】
図９および図１０を参照して、撮像部８３から被写体までの距離情報を取得する方法の一例として、ステレオ画像データおよびステレオマッチングを利用した方法について説明する。
【００６８】
例えば、図９に示すように、生体内の被写体を図７の硬性鏡７１を用いて撮像するときに、２台の撮像部８３Ｌおよび撮像部８３Ｒを用いることで、撮像部８３Ｌおよび撮像部８３Ｒそれぞれにより撮像されたステレオ画像が取得される。そして、このステレオ画像に対する画像処理を行うことで、撮像部８３Ｌおよび撮像部８３Ｒの撮像間隔Ｔに応じた視差画像が取得される。
【００６９】
そして、図１０に示すように、実世界の点Ｐを撮像部８３Ｌおよび撮像部８３Ｒで撮像した際の視差ｄは、点Ｐに対応する撮像部８３Ｌの画像平面ＸL上での点ｐLの水平座標ｘLと、点Ｐに対応する撮像部８３Ｒの画像平面ＸR上での点ｐRの水平座標ｘRとを用いて、次の式（４）によって表される。
【００７０】
【数４】
2017070523.tif 000006
【００７１】
また、撮像部８３Ｌおよび撮像部８３Ｒから実世界の点Ｐまでの距離（奥行き）Ｚと、撮像部８３Ｌの撮像中心ＯLおよび撮像部８３Ｒの撮像中心ＯRの撮像間隔Ｔとの関係は、視差ｄおよび焦点距離ｆを用いて、次の式（５）によって表される。
【００７２】
【数５】
2017070523.tif 000007
【００７３】
従って、式（４）および式（５）より、撮像部８３Ｌおよび撮像部８３Ｒから実世界の点Ｐまでの距離Ｚは、次の式（６）によって表される。
【００７４】
【数６】
2017070523.tif 000008
【００７５】
このようなステレオ画像に基づいて、距離情報取得部９２は、撮像部８３から被写体までの距離を求めることができる。そして、被写体傾き推定部９３は、撮像部８３から被写体までの距離を用いて、撮像部８３の光軸方向（奥行き方向）に対する被写体の傾きを推定することができる。
【００７６】
図１１を参照して、被写体傾き推定部９３が、距離情報から画素または領域ごとの被写体の傾きを推定する処理について説明する。
【００７７】
例えば、図１１Ａに示すように三次元の座標と軸が定義され、図１１Ｂに示すようにＸＺ平面の傾きが定義され、図１１Ｃに示すようにＹＺ平面の傾きが定義される。このとき、撮像平面上の所定の２カ所の注目座標（ｘ1，ｙ1，ｚ1）および注目座標（ｘ2，ｙ2，ｚ2）を用いて、ＸＺ平面の角度θ1およびＹＺ平面の角度θ2は、次の式（７）により求めることができる。なお、傾きを求めるための注目座標として用いる２カ所は、画素により特定される２点でもよいし、複数の画素からなる領域により特定される２領域であってもよい。
【００７８】
【数７】
2017070523.tif 000009
【００７９】
このように、被写体傾き推定部９３は、被写体の傾きを求めることができ、反射方向推定部９４は、被写体の傾きから反射方向を推定することができる。
【００８０】
即ち、反射方向推定部９４は、被写体傾き推定部９３により傾きが求められた画素または領域ごとに、鏡面反射強度Ｓおよび拡散反射強度Ｉdを推定する。
【００８１】
例えば、反射方向推定部９４は、上述した式（１）に示すようなフォンの反射モデルなどの反射成分推定の数学モデル、上述した式（７）により求められる被写体の傾き（ＸＺ平面の角度θ1およびＹＺ平面の角度θ2）、および、光源情報取得部９１から供給される光源向きに基づいて、拡散反射強度Ｉdを推定することができる。
【００８２】
また、反射方向推定部９４は、拡散反射強度Ｉdと同様に、上述した式（２）に示すような数学モデル、上述した式（７）により求められる被写体の傾き（ＸＺ平面の角度θ1およびＹＺ平面の角度θ2）、および、光源情報取得部９１から供給される光源向きに基づいて、鏡面反射光の強度Ｓを推定することができる。
【００８３】
このとき、反射方向推定部９４は、例えば、光源ユニット８２から入射光の強さＩiを取得することができる。また、上述した式（１）および式（２）で用いられる拡散反射率Ｋd、鏡面反射率Ｗ、ハイライト係数ｎは、任意の定数を用いることができ、または、画像認識等を用いて被写体を識別することによって、それぞれの被写体の固有の反射係数を用いてもよい。さらに、この際に使用する反射モデルは、反射強度を推定できるものであれば、上述したフォンの反射モデルに限定されることはなく、その他の様々なモデルを使用することができる。
【００８４】
次に、図１２および図１３は、配光制御部９５が、適正な光源向きを推定する方法を説明する図である。
【００８５】
図１２を参照して、被写体照度が均一となるように光源向きを推定する方法について説明する。
【００８６】
例えば、図１２に示すように、ＸＺ平面における反射角度をＸ軸に取り、ＹＺ平面における反射角度をＹ軸に取り、Ｚ軸に拡散反射強度Ｉdの分散値を取る。そして、配光制御部９５は、拡散反射強度Ｉdの分散値が最小になるようなＸＺ平面およびＹＺ平面それぞれの傾きを算出することで、被写体照度が均一となる光源向きを推定することができる。
【００８７】
このように、配光制御部９５が、撮像部８３から見たときの被写体照度が均一となるように光源向きを推定することで、適切な被写体照明を実現することができる。
【００８８】
図１３を参照して、鏡面反射が最小となるように光源向きを推定する方法について説明する。
【００８９】
例えば、配光制御部９５は、反射方向推定部９４により求められる反射ベクトルから反射角毎の累積頻度を求め、最も鏡面反射が発生する頻度が少なくなる光源ベクトルを求める。例えば、図１３に示すように、ＸＺ平面における反射角度をＸ軸に取り、ＹＺ平面における反射角度をＹ軸に取り、それらの累積頻度をＺ軸にした３次元のプロットを行う。そして、配光制御部９５は、光源の可動範囲のうちで累積頻度が最も小さくなるようなＸＺ平面およびＹＺ平面それぞれの傾きを算出することで、鏡面反射が最小となる光源向きを推定することができる。
【００９０】
このように、配光制御部９５は、撮像部８３への鏡面反射が抑制され、鏡面反射が最小となるように光源向きを推定することで、適切な被写体照明を実現することができる。
【００９１】
図１２および図１３を参照して説明したように、配光制御部９５は、被写体照度の均一さに従って適切な被写体照明を実現することや、鏡面反射率の少なさに従って適切な被写体照明を実現することができる。なお、これら以外の方法で、配光制御部９５が、適切な被写体照明を実現してもよい。
【００９２】
なお、配光制御部９５が、光源向きを決定する際に、被写体の均一な照度と鏡面反射の頻度との評価は両立しない可能性がある。この場合、配光制御部９５は、これら二点の総合評価が最も良い光源向きを適正方向とすることや、いずれか一方の評価を偏重して適正方向を決定することができる。
【００９３】
次に、図１４は、図８の光源制御部８５による光源制御処理を説明するフローチャートである。
【００９４】
例えば、撮像部８３により画像が撮像されると処理が開始される。ステップＳ１１において、距離情報取得部９２は、例えば、図９および図１０を参照して上述したように、撮像部８３から被写体までの距離を取得して被写体傾き推定部９３に供給する。
【００９５】
ステップＳ１２において、被写体傾き推定部９３は、ステップＳ１１で距離情報取得部９２から供給される距離、および、撮像部８３により撮像される画像の空間座標に基づいて、図１１を参照して上述したように、被写体の傾きを推定する。そして、被写体傾き推定部９３は、被写体の傾きを示す被写体ベクトルを、反射方向推定部９４に供給する。
【００９６】
ステップＳ１３において、反射方向推定部９４は、ステップＳ１２で被写体傾き推定部９３から供給される被写体ベクトルに基づいて、被写体における照明光の反射方向を推定する。そして、反射方向推定部９４は、被写体における照明光の反射方向を示す反射ベクトルを、配光制御部９５に供給する。
【００９７】
ステップＳ１４において、配光制御部９５は、ステップＳ１３で反射方向推定部９４から供給される反射ベクトルに基づいて、被写体照度が均一となるように、または、鏡面反射が最小となるように、最適な光源向きを求める。
【００９８】
ステップＳ１５において、配光制御部９５は、ステップＳ１４で求めた最適な光源向きを光源ユニット８２に供給し、最適な光源向きで照射窓７４−１乃至７４−４（図７）から被写体に照射光が照射されるように、配光を制御する。
【００９９】
ステップＳ１５の処理後、光源制御処理は終了される。そして、上述のように制御された配光で照明光が照射される被写体が撮像部８３により撮像され、次の画像が撮像部８３から供給されるまで処理が待機される。
【０１００】
以上のように、光源制御部８５は、被写体の表面における反射成分を推定して最適な光源向きを求めることができるので、より適切な露出状態で被写体を観察することができる。即ち、光源制御部８５は、被写体照度の不均一性を解消し、または、鏡面反射の頻度を低下させることによって、撮像部８３により撮像された画像による観察時の視認性を向上させることができる。
【０１０１】
次に、図１５は、被写体傾き推定部９３が、被写体の傾きを推定する処理を説明するフローチャートである。
【０１０２】
ステップＳ２１において、被写体傾き推定部９３は、撮像部８３により撮像される画像の空間座標、および、距離情報取得部９２から供給される距離情報を取得する。
【０１０３】
ステップＳ２２において、被写体傾き推定部９３は、撮像平面上の所定の２点または２領域を特定する注目座標（ｘ1，ｙ1，ｚ1）および注目座標（ｘ2，ｙ2，ｚ2）を取得する。
【０１０４】
ステップＳ２３において、被写体傾き推定部９３は、図１１を参照して上述したように、ＸＺ平面の角度θ1およびＹＺ平面の角度θ2を、上述の式（７）を用いて算出する。そして、被写体傾き推定部９３は、被写体の傾き（ＸＺ平面の角度θ1およびＹＺ平面の角度θ2）を反射方向推定部９４に供給し、処理は終了される。
【０１０５】
以上のように、被写体傾き推定部９３は、画像および距離情報に基づいて、被写体の傾きを推定することができる。
【０１０６】
ここで、配光制御部９５が、適正な光源向きを推定する処理においては、拡散反射率の分散が小さく、鏡面反射率が低く、かつ、現在の光源向きから近いという３つの条件を兼ねることが望ましい。例えば、手術操作中など内視鏡映像を動画として観察する際に、照明方向の変化によって被写体（術部）の印象が急激かつ頻繁に変化する様な事態は避けるべきであり、光源向きの変化は時間および空間方向に対して緩やかに変化することが望ましい。そのため、動画観察において上述した３つの条件が必要となる。
【０１０７】
一方で、静止画を撮像する場合には、撮像のタイミングに合わせて最適な照明条件であることが望ましいので、上述した３つの条件を満たす必要はない。例えば、この場合、拡散反射率の分散が小さく、かつ、鏡面反射率が低いという条件で、新たな光源向きを決定してもよい。
【０１０８】
また、配光制御部９５が、適正な光源向きを推定する際に、上述した３つの条件は独立した要因になるので、これらの各条件の評価が最も高い向きを、新たな光源向きに決定することができる。例えば、一例として、図１６のフローチャートを参照して説明する。
【０１０９】
図１６は、配光制御部９５が、適正な光源向きを推定する処理を説明するフローチャートである。
【０１１０】
ステップＳ３１において、配光制御部９５は、初期設定を行い、Ｘ軸光源向きが変動範囲ｎの最小となるようにＸ軸方向の変数ｉを設定（ｉ＝Ｘ−ｎ）し、Ｙ軸光源向きが変動範囲ｎの最小となるようにＹ軸方向の変数ｊを設定（ｊ＝Ｙ−ｎ）する。
【０１１１】
ステップＳ３２において、配光制御部９５は、拡散反射成分の分散値Diff、鏡面反射率Spec、および距離の重みＷを用いて、次の式（８）に従って、新しい光源向きＤを算出する。なお、式（８）において、拡散反射成分の分散値Diff、鏡面反射率Spec、および距離の重みＷは、０から１までの値をとる。
【０１１２】
【数８】
2017070523.tif 000010
【０１１３】
ステップＳ３３において、配光制御部９５は、現在のＸ軸光源向きは変動範囲ｎの最大（Ｘ＋ｎ）であるか否かを判定する。
【０１１４】
ステップＳ３３において、配光制御部９５が、現在のＸ軸光源向きは変動範囲ｎの最大でないと判定した場合、処理はステップＳ３４に進み、配光制御部９５は、Ｘ軸方向の変数ｉをインクリメント（ｉ＝ｉ＋１）する。その後、処理はステップＳ３２に戻り、以下、同様の処理が繰り返される。
【０１１５】
一方、ステップＳ３３において、配光制御部９５が、現在のＸ軸光源向きは変動範囲ｎの最大であると判定した場合、処理はステップＳ３５に進む。即ち、この場合、現在のＹ軸光源向きで、最小から最大までの変動範囲の全てのＸ軸光源向きで照明光が照射されたことになる。
【０１１６】
ステップＳ３５において、配光制御部９５は、現在のＹ軸光源向きは変動範囲ｎの最大（Ｙ＋ｎ）であるか否かを判定する。
【０１１７】
ステップＳ３５において、配光制御部９５が、現在のＹ軸光源向きは変動範囲ｎの最大でないと判定した場合、処理はステップＳ３６に進み、配光制御部９５は、Ｙ軸方向の変数ｊをインクリメント（ｊ＝ｊ＋１）する。その後、処理はステップＳ３２に戻り、以下、同様の処理が繰り返される。
【０１１８】
一方、ステップＳ３５において、配光制御部９５が、現在のＹ軸光源向きは変動範囲ｎの最大であると判定した場合、処理は終了する。これにより、最小から最大までの変動範囲の全てのＸ軸光源向きおよびＹ軸光源向きで照明光が照射されたことになり、最終的なステップＳ３２で求められた光源向きが、最適な光源向きとなる。
【０１１９】
また、このような処理において、距離重みＷは、現在の光源向きを基準として、新しい光源向きとの相対角度（Min=0，Max=n）によって決定することができる。例えば、相対角度が小さいほど１に近く、相対角度が大きいほど０に近くなるように、次の式（９）に示す正規分布（図１７参照）を用いて設計することが好適である。
【０１２０】
【数９】
2017070523.tif 000011
【０１２１】
ここで、式（９）において、重み係数σは、定数を用いてもよいし、撮像部８３から被写体までの距離に適応的な変数を用いてもよい。また、重み係数σを変数として扱う場合には、距離情報から重み係数σを適宜決定することが好適である。例えば、撮像部８３から被写体までの距離が遠ければ、僅かな光源向きの変化で照明範囲が大きく移動することより重み係数σを小さく設定し、撮像部８３から被写体までの距離が近ければ、重み係数σを大きく設定することで、より良好な観察を行うことができる。
【０１２２】
以上のように、内視鏡手術用システム１１では、拡散反射率の分散が小さくなるように、または、鏡面反射率が低くなるように光源向きを制御することにより、例えば、極端に明るい箇所が画像に発生することが回避され、より適切な露出状態で観察することができる。
【０１２３】
なお、上述した実施の形態では、撮像部８３の光軸を固定して光源向きを制御する方法について説明したが、撮像部８３の光軸と光源向きとを相対的に調整することができればよく、例えば、光源向きを固定して、撮像部８３の光軸を制御してもよい。また、光源向きの制御についても、図７の照射窓７４−１乃至７４−４それぞれから照射される照射光の照射強度を制御する手法に限られることはなく、様々は手法（例えば、可動式の光源を利用する手法や、さらに多数の光源の中から適切な光源を選択する手法など）を採用することができる。
【０１２４】
また、本技術は、内視鏡手術用システム１１の他、例えば、内視鏡と同様の照明環境下で観察を行う各種の装置に適用することができる。
【０１２５】
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１２６】
また、上述した一連の処理（情報処理方法）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
【０１２７】
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１２８】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１２９】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【０１３０】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１３１】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１３２】
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１３３】
なお、本技術は以下のような構成も取ることができる。
（１）
生体内の被写体の表面で照射光が反射する反射方向を推定する反射方向推定部と、
前記反射方向推定部により推定された照射光の反射方向および前記被写体を観察する方向に基づいて、前記照射光を照射する光源の向きを、前記被写体を観察する方向に対して相対的に制御する制御部と
を備える光源制御装置。
（２）
前記制御部は、前記反射方向に基づいて、前記被写体を観察する方向から見た照度が均一になるように前記光源の向きを制御する
上記（１）に記載の光源制御装置。
（３）
前記制御部は、前記反射方向に基づいて、前記被写体を観察する方向への鏡面反射が抑制されるように前記光源の向きを制御する
上記（１）に記載の光源制御装置。
（４）
前記被写体を観察する方向に対する前記被写体の傾きを推定する被写体傾き推定部をさらに備え、
前記反射方向推定部は、前記被写体傾き推定部により推定された前記被写体の傾きに基づいて前記反射方向を推定する
上記（１）から（３）までのいずれかに記載の光源制御装置。
（５）
前記被写体を撮像する撮像部から前記被写体までの距離を求める距離情報取得部をさらに備え、
前記被写体傾き推定部は、前記撮像部により撮像された画像の空間座標、および、前記距離情報取得部により求められた前記距離に基づいて、前記被写体の傾きを推定する
上記（４）に記載の光源制御装置。
（６）
前記反射方向推定部は、前記撮像部により撮像される画像の画素または領域ごとに、前記被写体の傾きを推定する
上記（５）に記載の光源制御装置。
（７）
生体内の前記被写体は内視鏡により撮像される
上記（１）から（６）までのいずれかに記載の光源制御装置。
（８）
前記距離情報取得部は、生体内の前記被写体が内視鏡により撮像されたステレオ画像を用いて前記距離を求める
上記（５）に記載の光源制御装置。
（９）
生体内の被写体の表面で照射光が反射する反射方向を推定し、
推定された照射光の反射方向および前記被写体を観察する方向に基づいて、前記照射光を照射する光源の向きを、前記被写体を観察する方向に対して相対的に制御する
ステップを含む光源制御方法。
（１０）
生体内の被写体の表面で照射光が反射する反射方向を推定し、
推定された照射光の反射方向および前記被写体を観察する方向に基づいて、前記照射光を照射する光源の向きを、前記被写体を観察する方向に対して相対的に制御する
ステップを含む処理をコンピュータに実行させるプログラム。
（１１）
生体内において術部に対して所定の方向から照射光を照射する光源と、
生体内において前記術部を撮像する撮像部と、
前記術部の表面で照射光が反射する反射方向を推定する反射方向推定部と、
前記反射方向推定部により推定された照射光の反射方向および前記撮像部の光軸方向に基づいて、前記光源の向きを前記撮像部の光軸方向に対して相対的に制御する制御部と
を備える手術用システム。
【０１３４】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１３５】
１１  内視鏡手術用システム，  １２  カメラヘッド部，  １３  エネルギ処置具，  １４  鉗子，  １５  ＣＣＵ，  １６  光源装置，  １７  処置具用装置，  １８  気腹装置，  １９  表示装置，  ２０  レコーダ，  ２１  プリンタ，  ２２ａおよび２２ｂ  トロッカ，  ２３  患者ベッド，  ２４  カート，  ２５  フットスイッチ，  ２６  患部，  ５１  FPGAボード，  ５２  CPU，  ５３−１および５３−２  GPUボード，  ５４  メモリ，  ５５  IOコントローラ，  ５６  記録媒体，  ５７  インタフェース，  ５８  バス，  ６１  内視鏡，  ６２  鏡筒，  ６３  照明窓，  ６４  観察窓，  ７１  硬性鏡，  ７２  鏡筒，  ７３  観察窓，  ７４−１乃至７４−４  照射窓，  ８１  光源制御システム，  ８２  光源ユニット，  ８３  撮像部，  ８４  信号処理部，  ８５  光源制御部，  ９１  光源情報取得部，  ９２  距離情報取得部，  ９３  被写体傾き推定部，  ９４  反射方向推定部，  ９５  配光制御部
【図１】
2017070523.tif 000012
【図２】
2017070523.tif 000013
【図３】
2017070523.tif 000014
【図４】
2017070523.tif 000015
【図５】
2017070523.tif 000016
【図６】
2017070523.tif 000017
【図７】
2017070523.tif 000018
【図８】
2017070523.tif 000019
【図９】
2017070523.tif 000020
【図１０】
2017070523.tif 000021
【図１１】
2017070523.tif 000022
【図１２】
2017070523.tif 000023
【図１３】
2017070523.tif 000024
【図１４】
2017070523.tif 000025
【図１５】
2017070523.tif 000026
【図１６】
2017070523.tif 000027
【図１７】
2017070523.tif 000028
【図１８】
2017070523.tif 000029