(57)【要約】【課題】医療用の画像処理のための視差の判定の精度を向上させること。【解決手段】視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定する領域判定部と、前記領域判定部による前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定する視差判定部と、を備える医療用画像処理装置を提供する。【選択図】図５
2017145531.tif 000002
【特許請求の範囲】
【請求項１】
視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定する領域判定部と、
前記領域判定部による前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定する視差判定部と、
を備える医療用画像処理装置。
【請求項２】
前記視差判定部は、前記非生体領域の判定の結果に基づいて設定される照合ブロックを用いて第１の視差判定用画像と第２の視差判定用画像とを照合することにより、前記視差を判定する、請求項１に記載の医療用画像処理装置。
【請求項３】
前記視差判定部は、前記非生体領域のサイズ又は形状に依存して、前記照合ブロックのサイズを設定する、請求項２に記載の医療用画像処理装置。
【請求項４】
前記視差判定部は、前記照合のために使用される、前記照合ブロック内の画素ごとの重みを、前記非生体領域の形状に依存して設定する、請求項２に記載の医療用画像処理装置。
【請求項５】
前記視差判定部は、前記照合ブロック内の前記非生体領域に対応する画素の前記重みを第１の値に、前記照合ブロック内の生体領域に対応する画素の前記重みを第２の値に設定し、
前記第２の値は、対応する画素位置の画素値が前記照合のための指標に算入されず又は過小に算入されることを意味する、
請求項４に記載の医療用画像処理装置。
【請求項６】
前記領域判定部は、前記領域判定用画像内の各画素が前記非生体領域に属する確率を計算し、
前記視差判定部は、前記照合ブロック内の各画素の前記重みを、当該画素が前記非生体領域に属する確率に依存して設定する、
請求項４に記載の医療用画像処理装置。
【請求項７】
前記領域判定部は、前記領域判定用画像を生体領域と１つ以上の非生体領域へとセグメント化し、
前記視差判定部は、前記領域判定部により複数の前記非生体領域が存在すると判定された場合には、各非生体領域について個別の前記照合ブロックを設定し、設定した前記照合ブロックを用いて各非生体領域に適用すべき視差を判定する、
請求項２に記載の医療用画像処理装置。
【請求項８】
前記領域判定用画像は、生体又は非生体の少なくとも一方の分光特性が既知である波長を有する光であって、前記視野内の被写体へ照射される当該光の反射光を撮像することにより生成され、
前記領域判定部は、前記領域判定用画像から前記被写体の分光特性を解析することにより、前記視野内の前記非生体領域を判定する、
請求項１に記載の医療用画像処理装置。
【請求項９】
前記領域判定用画像は、前記視野内の被写体へ異なる波長パターンで複数回にわたって照射される光の反射光を撮像することにより生成される、請求項８に記載の医療用画像処理装置。
【請求項１０】
生体又は非生体の少なくとも一方の前記分光特性を示す分光特性情報を記憶する記憶部、をさらに備える、請求項８に記載の医療用画像処理装置。
【請求項１１】
前記領域判定用画像は、遠赤外画像である、請求項１に記載の医療用画像処理装置。
【請求項１２】
前記領域判定用画像は、前記視野内の被写体から放射される遠赤外光を撮像することにより生成され、
前記領域判定部は、前記領域判定用画像において閾値を下回る画素値を示す画素が前記非生体領域に属すると判定する、
請求項１１に記載の医療用画像処理装置。
【請求項１３】
前記領域判定用画像は、前記視野内の被写体へ照射される遠赤外光の反射光を撮像することにより生成され、
前記領域判定部は、前記領域判定用画像において閾値を上回る画素値を示す画素が前記非生体領域に属すると判定する、
請求項１１に記載の医療用画像処理装置。
【請求項１４】
前記視差判定部により判定される前記視差に基づいて、前記視野に対応する立体視画像を生成する画像処理部、をさらに備える、請求項１に記載の医療用画像処理装置。
【請求項１５】
前記視差判定部により判定される前記視差に基づいて、被写界深度拡大処理を実行する画像処理部、をさらに備える、請求項１に記載の医療用画像処理装置。
【請求項１６】
前記視差判定部により判定される前記視差を補正することにより、表示される立体視画像の立体感を強調する画像処理部、をさらに備える、請求項１に記載の医療用画像処理装置。
【請求項１７】
請求項１に記載の医療用画像処理装置と、
前記視野内の被写体を撮像して、前記視差判定用画像及び前記領域判定用画像のうち少なくとも一方を生成する撮像装置と、
を含む医療用画像処理システム。
【請求項１８】
視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定することと、
前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定することと、
を含む医療用画像処理方法。
【請求項１９】
医療用画像処理装置を制御するプロセッサを、
視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定する領域判定部と、
前記領域判定部による前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定する視差判定部と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、医療用画像処理装置、システム、方法及びプログラムに関する。
【背景技術】
【０００２】
従来、立体視画像の生成又はその他の用途のために、異なる視点から被写体を撮像することにより生成される複数の画像を用いて視点間の視差を判定する技術が知られている（例えば、特許文献１及び特許文献２参照）。例えば、ステレオカメラからの２つの画像を用いるブロックマッチング法によれば、一方の画像内のあるブロックの小画像と最も強く類似する小画像を有する他方の画像内のブロック位置が探索され、探索結果として得られるブロック位置の差から視差が判定される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２０６８９３号公報
【特許文献２】特開２０１５−１４６５２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、医療用の画像処理の分野では、例えば手術における縫合又は結紮に使用される針具及び糸のような微小な被写体について高い視認性が要求されることがあり、従来のブロックマッチング法はそうした要求を十分に満たすことができなかった。
【課題を解決するための手段】
【０００５】
本開示によれば、視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定する領域判定部と、前記領域判定部による前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定する視差判定部と、を備える医療用画像処理装置が提供される。【０００６】
また、本開示によれば、前記医療用画像処理装置と、前記視野内の被写体を撮像して、前記視差判定用画像及び前記領域判定用画像のうち少なくとも一方を生成する撮像装置と、を含む医療用画像処理システムが提供される。【０００７】
また、本開示によれば、視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定することと、前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定することと、を含む医療用画像処理方法が提供される。【０００８】
また、本開示によれば、医療用画像処理装置を制御するプロセッサを、視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定する領域判定部と、前記領域判定部による前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定する視差判定部と、として機能させるためのプログラムが提供される。
【発明の効果】
【０００９】
本開示に係る技術によれば、医療用の画像処理のための視差の判定の精度を向上させて、被写体の高い視認性を実現することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１０】
【図１】一実施形態に係る医療用画像処理システムの概略的な構成について説明するための説明図である。
【図２】微小な被写体が映っている視差判定用画像の一例を示す説明図である。
【図３】既存のブロックマッチング法に従って判定される視差の精度について説明するための説明図である。
【図４】第１の実施形態に係る撮像装置の構成の一例を示すブロック図である。
【図５】第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図６】いくつかの物質の分光特性について説明するための説明図である。
【図７】被写体の分光特性の解析の一例について説明するための説明図である。
【図８】照射光の波長パターンの切り替えの一例について説明するための説明図である。
【図９Ａ】複眼式の立体視カメラを用いた視差の判定について説明するための説明図である。
【図９Ｂ】単眼式の立体視カメラを用いた視差の判定について説明するための説明図である。
【図１０】領域判定用画像を用いた非生体領域の判定の結果の一例について説明するための説明図である。
【図１１】非生体領域の判定の結果に基づいて設定される照合ブロックの一例について説明するための説明図である。
【図１２Ａ】照合ブロックへの重みの設定の第１の例について説明するための説明図である。
【図１２Ｂ】照合ブロックへの重みの設定の第２の例について説明するための説明図である。
【図１３】複数の照合ブロックの設定の一例について説明するための説明図である。
【図１４】第１の実施形態に係る画像処理の全体的な流れの一例を示すフローチャートである。
【図１５】図１４に示した領域判定用画像取得処理の詳細な流れの一例を示すフローチャートである。
【図１６】図１４に示した領域判定処理の詳細な流れの一例を示すフローチャートである。
【図１７Ａ】図１４に示した照合ブロック設定処理の詳細な流れの第１の例を示すフローチャートである。
【図１７Ｂ】図１４に示した照合ブロック設定処理の詳細な流れの第２の例を示すフローチャートである。
【図１８】図１４に示した視差判定処理の詳細な流れの一例を示すフローチャートである。
【図１９】第２の実施形態に係る撮像装置の構成の一例を示すブロック図である。
【図２０】第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図２１】領域判定用画像を用いた非生体領域の判定の結果の他の例について説明するための説明図である。
【図２２】第２の実施形態に係る画像処理の全体的な流れの一例を示すフローチャートである。
【図２３】図２２に示した領域判定処理の詳細な流れの一例を示すフローチャートである。
【図２４】第３の実施形態に係る撮像装置の構成の一例を示すブロック図である。
【図２５】第３の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図２６】領域判定用画像を用いた非生体領域の判定の結果のまた別の例について説明するための説明図である。
【図２７】第３の実施形態に係る画像処理の全体的な流れの一例を示すフローチャートである。
【図２８】図２７に示した領域判定処理の詳細な流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
また、以下の順序で説明を行う。
１．序論
１−１．システムの概要
１−２．課題の説明
２．第１の実施形態
２−１．撮像装置の構成例
２−２．画像処理装置の構成例
２−３．処理の流れ
３．第２の実施形態
３−１．撮像装置の構成例
３−２．画像処理装置の構成例
３−３．処理の流れ
４．第３の実施形態
４−１．撮像装置の構成例
４−２．画像処理装置の構成例
４−３．処理の流れ
５．まとめ
【００１３】
＜１．序論＞
［１−１．システムの概要］
本項では、本開示に係る技術が適用され得る例示的なシステムの概要を説明する。図１は、一実施形態に係る医療用画像処理システム１の概略的な構成の一例を示している。医療用画像処理システム１は、内視鏡下手術システムである。図１の例では、術者（医師）３が、医療用画像処理システム１を用いて、患者ベッド５上の患者７に内視鏡下手術を行っている。医療用画像処理システム１は、内視鏡１０と、その他の手術器具（術具）３０と、内視鏡１０を支持する支持アーム装置４０と、内視鏡下手術のための様々な装置が搭載されたカート５０と、から構成される。
【００１４】
内視鏡下手術では、腹壁を切って開腹する代わりに、トロッカと呼ばれる筒状の開孔器具３７ａ〜３７ｄが腹壁に複数穿刺される。そして、トロッカ３７ａ〜３７ｄから、内視鏡１０の鏡筒１１、及びその他の術具３０が、患者７の体腔内に挿入される。図１の例では、その他の術具３０として、気腹チューブ３１、エネルギー処置具３３及び鉗子３５が示されている。エネルギー処置具３３は、高周波電流又は超音波振動での、組織の切開若しくは剥離又は血管の封止などの処置のために利用される。なお、図示した術具３０は一例に過ぎず、他の種類の術具（例えば、攝子又はレトラクタなど）が利用されてもよい。
【００１５】
内視鏡１０によって撮像される患者７の体腔内の画像は、表示装置５３により表示される。術者３は、表示画像をリアルタイムで見ながら、エネルギー処置具３３及び鉗子３５を用いて、例えば患部を切除するなどの処置を行う。なお、図示を省略しているが、気腹チューブ３１、エネルギー処置具３３及び鉗子３５は、手術中に、術者３又は助手などのユーザによって支持される。
【００１６】
支持アーム装置４０は、ベース部４１から延伸するアーム部４３を備える。図１の例では、アーム部４３は、関節部４５ａ、４５ｂ及び４５ｃ、並びにリンク４７ａ及び４７ｂから構成され、内視鏡１０を支持している。アーム部４３がアーム制御装置５７からの制御に従って駆動される結果として、内視鏡１０の位置及び姿勢が制御され、内視鏡１０の安定的な位置の固定もまた実現され得る。
【００１７】
内視鏡１０は、鏡筒１１と、鏡筒１１の基端に接続されるカメラヘッド１３と、から構成される。鏡筒１１の先端からある長さまでの一部分は、患者７の体腔内に挿入される。図１の例では、硬性の鏡筒１１を有するいわゆる硬性鏡として内視鏡１０が構成されているが、内視鏡１０は、いわゆる軟性鏡として構成されてもよい。
【００１８】
鏡筒１１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１０には光源装置５５が接続されており、光源装置５５によって生成された光が、鏡筒１１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者７の体腔内の観察対象に向かって照射される。なお、内視鏡１０は、直視鏡であってもよく、又は斜視鏡若しくは側視鏡であってもよい。
【００１９】
カメラヘッド１３は、照射部と、光学系、駆動系、及びイメージセンサを内蔵する撮像部とを備える。照射部は、光源装置５５からライトガイドを通じて供給される照射光を、被写体へ向けて照射する。光学系は、典型的にはレンズユニットを含み、鏡筒１１の先端から取り込まれる被写体からの観察光（照射光の反射光）を、イメージセンサへ向けて集光する。レンズユニット内のズームレンズ及びフォーカスレンズの位置は、倍率及び焦点距離といった撮像条件を可変的に制御するために、駆動系により駆動されて変化し得る。カメラヘッド１３のイメージセンサは、光学系により集光される観察光を光電変換し、電気信号である画像信号を生成する。イメージセンサは、３つの色成分の画像信号をそれぞれ生成する別個の撮像素子を有する３板式センサであってもよく、又は単板式若しくは２板式といった他のタイプのイメージセンサであってもよい。イメージセンサは、例えばＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）又はＣＣＤ（Charge-Coupled  Device）などのいかなるタイプの撮像素子を有していてもよい。イメージセンサにより生成される画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera  Control  Unit）５１へ送信される。
【００２０】
ある実施形態において、カメラヘッド１３により生成される画像信号により表現される撮像画像は、視差判定用画像を含む。視差判定用画像は、典型的には、右眼画像及び左眼画像から構成される。右眼画像及び左眼画像は、複眼カメラの右眼用イメージセンサ及び左眼用イメージセンサによりそれぞれ生成されてもよい。その代わりに、右眼画像及び左眼画像は、単眼カメラの単一のイメージセンサにより（例えばシャッタ切り替え方式で）生成されてもよい。さらに、カメラヘッド１３は、視野内の非生体領域を判定するために用いられる領域判定用画像の画像信号をも生成し得る。ある実施形態において、領域判定用画像は可視光画像であってよく、他の実施形態において、領域判定用画像は赤外画像であってよい。
【００２１】
ＣＣＵ５１は、信号線及び通信インタフェースを介してカメラヘッド１３と接続される。カメラヘッド１３とＣＣＵ５１との間の信号線は、例えば光ケーブルなどの、双方向の通信を可能とする高速の伝送線である。ＣＣＵ５１は、ＣＰＵ（Central  Processing  Unit）などのプロセッサとＲＡＭ（Random  Access  Memory）などのメモリとを有し、内視鏡１０及び表示装置５３の動作を統括的に制御する。ＣＣＵ５１は、画像信号を一時的に記憶するためのフレームメモリと、画像処理を実行する１つ以上のＧＰＵ（Graphics  Processing  Unit）とをさらに有してもよい。例えば、ＣＣＵ５１は、カメラヘッド１３から入力される視差判定用画像に基づいて、画素ごと（又は他の何らかの単位ごとに）視差を判定する。判定される視差は、例えば、立体視画像の生成、被写界深度の拡大、立体感の強調又はダイナミックレンジの拡張といった画像処理のために利用され得る。ＣＣＵ５１は、画像処理の結果として生成される画像を、表示のために表示装置５３へ出力し、又は記録のためにレコーダ６５へ出力し得る。出力される一連の画像は、動画（映像）を構成し得る。ＣＣＵ５１において実行される画像処理は、例えば現像及びノイズ低減などの一般的な処理を含んでもよい。また、ＣＣＵ５１は、カメラヘッド１３へ制御信号を送信し、カメラヘッド１３の駆動を制御する。当該制御信号には、例えば上述した撮像条件を指定する情報が含まれ得る。
【００２２】
表示装置５３は、ＣＣＵ５１からの制御に従い、入力される表示画像信号に基づいて立体視画像を表示する。表示装置５３は、アクティブシャッタ方式、パッシブ方式又はグラスレス方式などのいかなる方式で立体視画像を表示してもよい。
【００２３】
光源装置５５は、例えばＬＥＤ、キセノンランプ、ハロゲンランプ、レーザ光源、又はこれらの組み合わせに相当する光源を含み、観察対象へ向けて照射されるべき照射光を、ライトガイドを通じて内視鏡１０へ供給する。
【００２４】
アーム制御装置５７は、例えばＣＰＵなどのプロセッサを有し、所定のプログラムに従って動作することにより支持アーム装置４０のアーム部４３の駆動を制御する。
【００２５】
入力装置５９は、医療用画像処理システム１へのユーザ入力を受け付ける１つ以上の入力インタフェースを含む。ユーザは、入力装置５９を介して、医療用画像処理システム１へ様々な情報を入力し又は様々な指示を入力することができる。例えば、ユーザは、入力装置５９を介して、後述する設定情報又はその他のパラメータを入力してもよい。また、例えば、ユーザは、入力装置５９を介して、アーム部４３を駆動させる旨の指示、内視鏡１０における撮像条件（照射光の種類、倍率及び焦点距離など）を変更する旨の指示、又はエネルギー処置具３３を駆動させる旨の指示などを入力する。
【００２６】
入力装置５９は、いかなる種類のユーザ入力を扱ってもよい。例えば、入力装置５９は、マウス、キーボード、スイッチ（例えば、フットスイッチ６９）又はレバーなどの機構を介して物理的なユーザ入力を検出してもよい。入力装置５９は、タッチパネルを介してタッチ入力を検出してもよい。入力装置５９は、メガネ型デバイス又はＨＭＤ（Head  Mounted  Display）といったウェアラブルデバイスの形態で実現され、ユーザの視線又はジェスチャを検出してもよい。また、入力装置５９は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声コマンドを検出してもよい。
【００２７】
処置具制御装置６１は、組織の焼灼若しくは切開又は血管の封止などの処置のために、エネルギー処置具３３の駆動を制御する。気腹装置６３は、内視鏡１０により観察される視野を確保し及び術者の作業空間を確保する目的で、患者７の体腔を膨らませるために、気腹チューブ３１を介して当該体腔内にガスを送り込む。レコーダ６５は、医療上の作業に関する様々な情報（例えば、設定情報、画像情報及びバイタルセンサ（図示せず）からの測定情報のうちの１つ以上）を記録媒体へ記録する。プリンタ６７は、医療上の作業に関する様々な情報を、テキスト、画像又はグラフなどの何らかの形式で印刷する。
【００２８】
［１−２．課題の説明］
こうした医療用画像処理システムにおける、立体視画像の生成又はその他の用途のための視差の判定は、典型的には、共通する視野を異なる視点から映した２つの画像の間の比較に基づいて行われる。例えば、ステレオカメラからの２つの画像を用いるブロックマッチング法によれば、一方の画像内のあるブロックの小画像と最も強く類似する小画像を有する他方の画像内のブロック位置が探索され、探索結果として得られるブロック位置の差から視差が判定される。本明細書では、こうした探索において利用される上記ブロックを照合ブロックという。照合ブロックの形状は、一般的には矩形である。
【００２９】
しかしながら、医療用の画像処理の分野では、例えば手術における縫合又は結紮に使用される針具及び糸のような微小な被写体について、従来のブロックマッチング法が十分な視差判定精度を提供しないことが多かった。
【００３０】
図２は、微小な被写体が映っている視差判定用画像の一例を示す説明図である。図２を参照すると、画像Ｉｍ０１が例示されており、画像Ｉｍ０１は、視差判定用画像を構成する右眼画像及び左眼画像のうちの右眼画像であり得る。画像Ｉｍ０１には、被写体として、生体Ｊ０、鉗子Ｊ１、針具Ｊ２及び糸Ｊ３が映っている。生体Ｊ０と比較して、鉗子Ｊ１が画像Ｉｍ０１に占める領域は相対的に小さく、針具Ｊ２及び糸Ｊ３が画像Ｉｍ０１に占める領域は微小である。
【００３１】
図３は、既存のブロックマッチング法に従って判定される視差の精度について説明するための説明図である。図３の左に示したブロックＢ１は、例えば右眼画像である画像Ｉｍ０１と共に視差判定用画像を構成する左眼画像から切り出された照合ブロックである。照合ブロックＢ１には、被写体Ｊ０及びＪ３が映っている。ブロックマッチング法に従って照合ブロックＢ１に最も強く類似する（例えば、画素間の差異の総和が最も小さい）小画像を画像Ｉｍ０１内で探索していくと、例えば画像Ｉｍ０１内のブロックＢ２に照合ブロックＢ１がマッチし得る。ブロックＢ１とブロックＢ２とを比較すると、背景に相当する被写体Ｊ０の小画像は互いに十分に類似する。これに対し、照合ブロックＢ１内の被写体Ｊ３の位置は、ブロックＢ２内の被写体Ｊ３の位置とは不一致である。こうした不一致は、２つの被写体の深度の相違に起因してそれら被写体の視差が異なっており、かつ被写体Ｊ３が小さいためにその見え方の違いが小画像の照合において十分に考慮されず、より大きい被写体Ｊ０が照合の結果を左右するために生じ得る。しかし、手術又は診断といった医療のシーンでは、通常は非生体である医療器具（例えば、結紮のための針具及び糸）のような、微小な又は背景よりも小さい被写体について高い視認性が要求されることが多い。そして、既存の手法は、そうした要求を十分に満たしていない。本開示に係る技術の後述する実施形態は、こうした不都合に着目し、既存の手法を改良して医療用の画像処理のための視差の判定の精度を向上させる。
【００３２】
＜２．第１の実施形態＞
図１に例示した医療用画像処理システム１の構成要素の中で、特に、撮像装置の役割を有するカメラヘッド１３、及び画像処理装置の役割を有するＣＣＵ５１が、視差の判定と判定された視差に基づく画像処理に主に関与する。そこで、本節では、これら２つの装置の一実施形態に係る具体的な構成について詳細に説明する。
【００３３】
なお、医療用画像処理システム１では、これら撮像装置及び画像処理装置がそれぞれ別体に構成され互いに信号線で接続されるが、本開示に係る技術は、かかる例に限定されない。例えば、後に説明する画像処理装置の機能は、撮像装置に内蔵されるプロセッサに実装されてもよい。また、撮像装置が画像信号を記録媒体に記録し、画像処理装置がその記録媒体から読み出される画像信号を処理してもよい（この場合、これら２つの装置の間に信号線が存在しなくてよい）。
【００３４】
［２−１．撮像装置］
図４は、第１の実施形態に係るカメラヘッド１３の構成の一例を示すブロック図である。図４を参照すると、カメラヘッド１３は、照射部１１０、撮像部１２０及び通信部１３０を備える。
【００３５】
照射部１１０は、光源装置５５からライトガイドを通じて供給される照射光を、視野内の被写体へ向けて照射する。照射部１１０により照射される光は、例えば、視差判定用画像の撮像を目的とする可視光であってよい。また、特殊光観察（例えば、蛍光観察）が行われる場合には、視差判定用の照射光は、その観察の種類に応じた波長を有する特殊光であってもよい。
【００３６】
さらに、本実施形態において、照射部１１０は、領域判定用画像の撮像を目的として、生体又は非生体の少なくとも一方の分光特性が既知である波長を有する光を同じ被写体へと照射する。領域判定用の照射光は、視差判定用の照射光と同一であってもよく又は異なってもよい。一般に、生体の分光特性（又は分光反射率）は高々数種類のモードで記述され得ることが知られている（村上百合，「分光反射率の推定理論」，日本写真学会誌Vol.65，2002，No.4，第234-239頁）。非生体の分光特性もまた、その種類ごとに予め測定して分光特性情報として記述されることができる。本実施形態において照射部１１０により照射される領域判定用の照射光は、そうした分光特性が既知である１つ以上の波長成分を有する。照射部１１０は、後述する領域判定が複数の（例えば、４つ以上の）波長成分を要する場合には、互いに異なる波長パターンを有する照射光を時間分割方式で被写体へ照射してもよい。照射部１１０から照射される照射光の波長（又は波長パターン）及び照射タイミングは、ＣＣＵ５１からの制御信号に従って制御され得る。
【００３７】
撮像部１２０は、典型的には、光学系、イメージセンサ及び駆動系を含み得る。撮像部１２０の光学系は、鏡筒１１の先端から取り込まれる被写体からの観察光を、一組のレンズ（レンズユニットともいう）を通じてイメージセンサへと集光する。イメージセンサは、集光された観察光を光電変換し、電気信号である画像信号を生成する。例えば、視差判定用の照射光が照射された際には、その反射光の撮像の結果として、視差判定用画像の画像信号が生成される。視差判定用画像は、上述したように、右眼画像及び左眼画像から構成される。領域判定用の照射光が照射された際には、その反射光の撮像の結果として、領域判定用画像の画像信号が生成される。撮像部１２０は、イメージセンサにより生成されるこれら画像信号を、通信部１３０へ出力する。撮像部１２０の駆動系は、光学系のズームレンズ又はフォーカスレンズといった可動部材を、ＣＣＵ５１からの制御信号に従って動かす。
【００３８】
通信部１３０は、信号線を介してＣＣＵ５１へ接続される通信インタフェースである。例えば、通信部１３０は、撮像部１２０において生成される上述した画像信号をＣＣＵ５１へ送信する。また、通信部１３０は、ＣＣＵ５１から制御信号が受信されると、受信された制御信号を照射部１１０及び撮像部１２０へ出力する。
【００３９】
［２−２．画像処理装置の構成例］
図５は、第１の実施形態に係るＣＣＵ５１の構成の一例を示すブロック図である。図５を参照すると、ＣＣＵ５１は、信号取得部１４０、領域判定部１５０、記憶部１６０、視差判定部１７０、画像処理部１８０及び制御部１９０を備える。
【００４０】
（１）信号取得部
信号取得部１４０は、カメラヘッド１３の撮像部１２０において生成される、領域判定用画像の画像信号及び視差判定用画像の画像信号を取得する。領域判定用画像は、視差判定用画像と共通する視野を映した撮像画像である。信号取得部１４０は、領域判定用画像を領域判定部１５０へ出力する。また、信号取得部１４０は、視差判定用画像を視差判定部１７０へ出力する。
【００４１】
（２）領域判定部
領域判定部１５０は、信号取得部１４０から入力される領域判定用画像を用いて、観察される視野内の非生体領域を判定する。本実施形態において、領域判定用画像は、上述したように、分光特性の解析の基準となる１つ以上の波長成分を有する、被写体からの観察光を撮像することにより生成された画像である。記憶部１６０により記憶される分光特性情報は、生体又は非生体の少なくとも一方であるターゲットの分光特性を記述する。領域判定部１５０は、分光特性情報を用いて、領域判定用画像から被写体の分光特性を解析することにより、観察される視野内の非生体領域を判定する。
【００４２】
図６は、いくつかの物質の分光特性について説明するための説明図である。図６には、互いに異なる４種類の物質の分光特性をそれぞれ示すグラフが描かれている。グラフの横軸は波長を表し、縦軸は反射率を表す。実線のグラフは鉄の分光特性を、破線のグラフは合成樹脂の一種であるナイロンの分光特性を、一点鎖線のグラフは銀の分光特性を、点線のグラフは血液の分光特性をそれぞれ例示的に示している。血液の分光特性は、特に生体の体内が撮像される場合に体内の分光特性に大きく影響するため、生体を代表する分光特性として扱われることができる。ナイロンは、医療用の糸のために使用される素材のうちの１つである。鉄を主要成分とするステンレスは、医療用の針具のために使用される素材のうちの１つである。銀もまた、医療用の針具のために使用される素材のうちの１つである。これらグラフから理解されるように、特定の１つ以上の波長成分を有する光を既知の強度で被写体へと照射し、その反射光の波長成分ごとの強度を測定し、その測定結果を既知の物質の分光特性と比較することにより、被写体が生体なのか又は非生体なのかを判定することが可能である。また、被写体が非生体である場合に、同様の手法で、被写体がどういった種類の医療器具であるのかを判定することも可能である。反射光の波長成分ごとの強度は、領域判定用画像の各画素の信号成分ごとの画素値の大きさにより表される。なお、図６に例示した４種類の物質以外にも、例えばガラス又はゴムなど、医療器具のために使用される様々な物質の分光特性が活用されてよい。
【００４３】
図７は、被写体の分光特性の解析の一例について説明するための説明図である。図７に示したグラフＧ０は、ある既知の非生体（ターゲット）の分光特性を表している。分光特性は、ここでは、６つのサンプル波長ｒ１、ｒ２、ｒ３、ｒ４、ｒ５及びｒ６における波長成分のそれぞれの反射率のセットとして扱われる。グラフＧ１は、１つ以上の領域判定用画像の画素値から認識される、第１の画素位置に存在する被写体ＪＡの分光特性を表している。領域判定部１５０は、グラフＧ１により表される分光特性を、グラフＧ０により表されるターゲットの既知の分光特性と比較することにより、被写体ＪＡがターゲットである確率（あるいは尤もらしさ）を算出し得る。例えば、分光特性の間の誤差の総和がゼロであれば、被写体ＪＡがターゲットである確率は最も高い。分光特性の間の誤差が大きいほど、被写体ＪＡがターゲットである確率は小さくなる。グラフＧ２は、１つ以上の領域判定用画像の画素値から認識される、第２の画素位置に存在する被写体ＪＢの分光特性を表している。領域判定部１５０は、グラフＧ２により表される分光特性を、グラフＧ０により表されるターゲットの既知の分光特性と比較することにより、被写体ＪＢがターゲットである確率を算出し得る。
【００４４】
図７の例では、グラフＧ１は、グラフＧ２と比較して、より強くグラフＧ０に類似している（サンプル波長ごとの反射率の差の総和がより小さい）。従って、この場合、領域判定部１５０は、第１の画素位置はターゲットに対応する非生体領域に属し、一方で第２の画素位置はターゲットに対応する非生体領域に属しないと判定し得る。領域判定部１５０は、例えば画素ごとに上記確率（ターゲット尤度又は分光特性の類似度）を算出して、算出した確率を閾値と比較することにより、画素ごとの領域の判定を行い得る。ターゲットが非生体である場合には、閾値を上回る確率を示す画素は非生体領域に属し、閾値を下回る確率を示す画素は生体領域に属し得る。ターゲットが生体（例えば、血液）である場合には、閾値を上回る確率を示す画素は生体領域に属し、閾値を下回る確率を示す画素は非生体領域に属する。
【００４５】
被写体の分光特性の解析に基づく領域判定の精度は、解析の基準とされるサンプル波長が多いほど高まる。しかし、通常の撮像装置は、同時に最大で３つの色成分からなる観察光を撮像する。そこで、ある実施例において、照射光の波長パターンを複数のパターンの間で時間分割方式で切り替えながら撮像を行うことが有益である。図８は、そうした波長パターンの切り替えの一例について説明するための説明図である。図８を参照すると、時刻Ｔ１において、波長パターンＰＴ１を有する光が照射され、反射光が撮像される。波長パターンＰＴ１は、サンプル波長ｒ１、ｒ３及びｒ５からなる。次に、時刻Ｔ２において、波長パターンＰＴ２を有する光が照射され、反射光が撮像される。波長パターンＰＴ２は、サンプル波長ｒ２、ｒ４及びｒ６からなる。次に、時刻Ｔ３において、波長パターンＰＴ１を有する光が再び照射され、反射光が撮像される。次に、時刻Ｔ４において、波長パターンＰＴ２を有する光が再び照射され、反射光が撮像される。領域判定部１５０は、例えば時刻Ｔ１及びＴ２においてそれぞれ撮像された２つの領域判定用画像の合計６つの信号成分の値から、６つのサンプル波長ｒ１〜ｒ６を基準とする被写体の分光特性を認識し得る。同様に、領域判定部１５０は、時刻Ｔ３及びＴ４においてそれぞれ撮像された領域判定用画像の合計６つの信号成分の値から、６つのサンプル波長ｒ１〜ｒ６を基準とする次のフレームの分光特性を認識し得る。
【００４６】
領域判定部１５０は、領域判定用画像を生体領域と１つ以上の非生体領域へとセグメント化してもよい。例えば、領域判定部１５０は、複数の種類の非生体（例えば、鉗子、針具及び糸のうちの２つ以上）の分光特性が既知である場合に、各画素がそれぞれの種類の非生体領域に属する確率を算出し、算出した確率に基づいて領域判定用画像を生体領域と１つ以上の非生体領域へとセグメント化してもよい。その代わりに、領域判定部１５０は、単一の非生体（又は生体）の分光特性が既知である場合に、各画素について算出される非生体領域（又は生体領域）に属する確率に基づいて例えばグラフカット法などのセグメンテーション技法を実行することにより、領域判定用画像を生体領域と１つ以上の非生体領域へとセグメント化してもよい。領域判定画像内に複数の非生体領域が存在すると判定された場合には、後述する視差の判定において、各非生体領域についての個別の照合ブロックを設定することが可能となる。
【００４７】
（３）記憶部
記憶部１６０は、ＣＣＵ５１において実行される様々な処理のための情報を記憶する。例えば、記憶部１６０は、領域判定部１５０により領域判定のために使用される分光特性情報を記憶する。分光特性情報は、１つ以上のターゲットの各々についての既知の分光特性を示す、サンプル波長ごとの反射率のデータセットを含む。各ターゲットは、生体又は非生体の少なくとも一方であり得る。医療用画像処理システム１において行われる作業の種類（例えば、手術の術式）又は使用される器具の種類に基づいて、分光特性を解析されるべきターゲットが複数のターゲット候補の間で切り替えられてもよい。記憶部１６０は、作業の種類又は使用される器具と、分光特性を解析すべきターゲットとを関連付けるターゲット設定情報を記憶してもよい（例えば、結紮作業には、糸及び針具が関連付けられ得る）。
【００４８】
（４）視差判定部
視差判定部１７０は、信号取得部１４０から入力される視差判定用画像を用いて視差を判定する。より具体的には、本実施形態において、視差判定部１７０は、少なくとも非生体領域に適用すべき視差を、視差判定用画像に加えて、領域判定部１５０による非生体領域の判定の結果を用いて判定する。視差の判定は、典型的には、ブロックマッチング法に従い、視差判定用画像を構成する右眼画像及び左眼画像のうちの一方の画素位置ごと（又は画素ブロックごと）に、他方の画像における対応点を探索し、発見された対応点との水平位置の差を算出することにより行われ得る。
【００４９】
図９Ａは、複眼式の立体視カメラを用いた視差の判定について説明するための説明図である。図９Ａを参照すると、右眼用イメージセンサ１２１ａ及び左眼用イメージセンサ１２１ｂがそれぞれ逆三角形で示されている。逆三角形の上辺はイメージセンサの撮像面に相当し、下の頂点は焦点に相当する。図中で、Ｆは焦点距離を表し、Ｌｂａｓｅはイメージセンサ間の基線長（例えば、２つの光学中心１２３の間の距離）を表す。図９Ａの例では、被写体Ｊ５は、右眼用イメージセンサ１２１ａ及び左眼用イメージセンサ１２１ｂの間の基線から距離Ｚの位置にある。本明細書では、この距離Ｚを深度という。被写体Ｊ５は、右眼用イメージセンサ１２１ａにおいては撮像面上の水平位置ｕＲに映っている。また、被写体Ｊ５は、左眼用イメージセンサ１２１ｂにおいては撮像面上の水平位置ｕＬに映っている。説明の簡明さのためにピンホールカメラモデルを前提とすると、右眼用イメージセンサ１２１ａを基準とする視差ｄは、次式で与えられる：
【００５０】
【数１】
2017145531.tif 000003
【００５１】
さらに、深度Ｚが可変的な値であるとすると、深度Ｚの関数としての視差ｄ（Ｚ）は、基線長Ｌｂａｓｅ及び焦点距離Ｆを用いて、次式のように表現され得る：
【００５２】
【数２】
2017145531.tif 000004
【００５３】
図９Ｂは、単眼式の立体視カメラを用いた視差の判定について説明するための説明図である。図９Ｂを参照すると、単一のイメージセンサ１２２が逆三角形で示されている。また、イメージセンサ１２２の前方には、一組のレンズ１２４に加えて、レンズの右半分及び左半分を選択的に遮蔽可能なシャッタ１２５が配置されている。右眼撮像時には、シャッタ１２５がレンズの左半分を遮蔽し、レンズの右半分を通じて集光される観察光がイメージセンサ１２２により撮像される。左眼撮像時には、シャッタ１２５がレンズの右半分を遮蔽し、レンズの左半分を通じて集光される観察光がイメージセンサ１２２により撮像される。このようなシャッタの切り替えを時間的に反復しながら撮像を実行することにより、右眼画像及び左眼画像のシーケンスがイメージセンサ１２２において生成される。右眼画像と左眼画像との間の基線長Ｌｂａｓｅは、例えばシャッタ１２５の位置における瞳（光学系の絞りの像に相当）の右半分の重心と左半分の重心との間の距離として定義され得る。単眼式の立体視カメラにおいても、視差ｄ（Ｚ）は、基線長Ｌｂａｓｅ及び焦点距離Ｆを用いて、被写体の深度Ｚの関数として上記式（２）により表現され得る。
【００５４】
このように、立体視カメラの方式に関わらず、右眼画像及び左眼画像に基づきブロックマッチング法によって視差ｄ（Ｚ）を導出することができ、導出された視差ｄ（Ｚ）は、さらに例えば基線長及び焦点距離を既知として被写体の深度Ｚを算出するために使用され得る。但し、２つの被写体の実深度が異なる場合には、それら被写体の実視差も互いに異なる。そして、ブロックマッチングの際に使用される照合ブロックがそうした実深度の異なる２つの被写体を含んでいるケースでは、判定結果として得られる視差は、判定の指標への寄与のより大きい被写体の実視差により近いものとなる。そこで、本実施形態において、視差判定部１７０は、微小か又は背景よりも小さいことの多い非生体である医療器具についての視差の判定の精度を向上させるために、非生体領域の判定の結果に基づいて適応的に照合ブロックを設定し、設定した当該照合ブロック用いて第１の視差判定用画像（右眼画像及び左眼画像のうちの一方）と第２の視差判定用画像（右眼画像及び左眼画像のうちの他方）とを照合する。
【００５５】
例えば、視差判定部１７０は、領域判定部１５０により判定された非生体領域のサイズ又は形状に依存して、照合ブロックのサイズを設定する。また、視差判定部１７０は、照合のために使用される、照合ブロック内の画素ごとの重みを、非生体領域の形状に依存して設定する。視差判定部１７０は、照合ブロック内の非生体領域に対応する画素の重みを第１の値（例えば、１）に、照合ブロック内の生体領域に対応する画素の重みを第２の値（例えば、ゼロ）に設定してもよい。第２の値は、対応する画素位置の画素値が照合判定指標に算入されないか又は過小に算入されることを意味し得る。照合判定指標は、例えば、画素間の差分絶対値の加重和であってよい。その代わりに、視差判定部１７０は、照合ブロック内の各画素の重みを、当該画素が非生体領域に属する確率に依存して設定してもよい。各画素が非生体領域に属する確率は、領域判定部１５０により領域判定の際に計算済みであり得る。
【００５６】
以下、図１０〜図１２Ｂを用いて、非生体領域に適用すべき視差を判定するための手法についてより詳しく説明する。
【００５７】
図１０は、領域判定用画像を用いた非生体領域の判定の結果の一例について説明するための説明図である。図１０の上段には、図２を用いて説明した視差判定用画像Ｉｍ０１が再び示されている。視差判定用画像Ｉｍ０１と共通する視野を映した領域判定用画像に基づく領域判定の結果は、例えば、画素位置ごとに各画素が非生体領域に属するか否かを二値（真（１）：属する、偽（ゼロ）：属しない、など）で示す二値マスク情報で表現されてもよい。その代わりに、領域判定の結果は、画素位置ごとに各画素がどの種類の非生体領域に又は生体領域に属するかを多値（例えば、ゼロ：生体、１：糸、２：針具、３：鉗子、など）で示す多値マスク情報で表現されてもよい。図１０の例では、領域判定の結果を表現する多値マスク情報Ｍ１１の内容が、明瞭性のために拡大されて部分的に示されている。例えば、多値マスク情報Ｍ１１は、非生体領域としての鉗子領域Ｒ１の位置及び形状をドットの網掛けで示している。また、多値マスク情報Ｍ１１は、非生体領域としての針具領域Ｒ２の位置及び形状を斜線の網掛けで示している。また、多値マスク情報Ｍ１１は、非生体領域としての糸領域Ｒ３の位置及び形状を黒い網掛けで示している。
【００５８】
図１１は、非生体領域の判定の結果に基づいて設定される照合ブロックの一例について説明するための説明図である。図１１の左には、多値マスク情報Ｍ１１が再び示されている。視差判定部１７０は、例えば、多値マスク情報Ｍ１１により示される糸領域Ｒ３のサイズ及び形状に依存して、糸領域Ｒ３の視差の判定のために使用される照合ブロックＢ１０の少なくともサイズを設定する。照合ブロックの形状は、典型的には、正方形若しくは長方形、即ち矩形であってよい。矩形の辺の長さは、照合ブロックが非生体領域の全体若しくは大部分をカバーし、又は非生体領域の特徴的な一部分をカバーし得るように設定される。図１１の例では、視差判定部１７０は、糸領域Ｒ３の視差の判定のために使用される照合ブロックＢ１０を、糸領域Ｒ３の全体をカバーし得る最も小さい正方形として設定している。なお、照合ブロックは、矩形以外の他の形状を有していてもよい。また、非生体領域の形状に依存して照合ブロックの形状が設定されてもよい。
【００５９】
図１２Ａは、照合ブロックへの重みの設定の第１の例について説明するための説明図である。図１２Ａに示した第１の例では、視差判定部１７０は、照合ブロックＢ１０ａ内の糸領域Ｒ３に対応する画素の重みを１に、照合ブロックＢ１０ａ内の糸領域Ｒ３に対応しない画素（主に、生体領域に対応する画素）の重みをゼロに設定している。このように、視差の判定の対象領域（高精度での視差の判定が望まれる被写体の領域）に対応しない照合ブロック内の画素の重みをゼロに設定することにより、そうした画素をブロックマッチングにおいて実質的に無視することができる。即ち、対象領域が微小であっても、対象領域の周辺の（視差の異なる）被写体に影響されて照合判定指標が乱されることなく、対象領域について正確なブロックマッチングを行うことが可能となる。
【００６０】
図１２Ｂは、照合ブロックへの重みの設定の第２の例について説明するための説明図である。図１２Ｂに示した第２の例では、視差判定部１７０は、照合ブロックＢ１０ｂ内の糸領域Ｒ３に属する確率の高い画素の重みを１に、糸領域Ｒ３に属する確率が中程度である画素の重みを０．５に、糸領域Ｒ３に属する確率の低い画素の重みをゼロに設定している。このように、各画素が対象領域に属する確率に依存して、ブロックマッチングの照合判定指標へ算入される画素位置ごとの重みを設定することにより、領域判定の確実性をも考慮しながらブロックマッチングの最適な結果を導出することが可能となる。
【００６１】
視差判定部１７０は、領域判定部１５０により視野内に複数の非生体領域が存在すると判定された場合には、各非生体領域について個別の照合ブロックを設定し、設定した当該照合ブロックを用いて各非生体領域に適用すべき視差を判定してもよい。
【００６２】
図１３は、複数の照合ブロックの設定の一例について説明するための説明図である。図１３を参照すると、図１０を用いて説明した多値マスク情報Ｍ１１が再び示されている。多値マスク情報Ｍ１１は、非生体領域としての鉗子領域Ｒ１、針具領域Ｒ２及び糸領域Ｒ３の位置及び形状を示している。これら非生体領域Ｒ１、Ｒ２及びＲ３は、例えば、領域判定部１５０における非生体領域のセグメント化の結果として互いに区別され得る。視差判定部１７０は、こうした多値マスク情報Ｍ１１により表現される鉗子領域Ｒ１に基づいて照合ブロックＢ１１を、針具領域Ｒ２に基づいて照合ブロックＢ１２を、糸領域Ｒ３に基づいて照合ブロックＢ１３をそれぞれ設定し得る。そして、視差判定部１７０は、照合ブロックＢ１１を用いたブロックマッチングにより鉗子についての視差を高精度で判定し得る。同様に、視差判定部１７０は、照合ブロックＢ１２を用いたブロックマッチングにより針具についての視差を、照合ブロックＢ１３を用いたブロックマッチングにより糸についての視差を、それぞれ高精度で判定し得る。
【００６３】
視差判定部１７０は、このように非生体領域の判定の結果に基づいて設定される照合ブロックを用いて画素位置（又は画素ブロック位置）ごとに視差を判定し、判定した視差を表す視差情報を画像処理部１８０へ出力する。また、視差判定部１７０は、視差判定用画像を画像処理部１８０へ出力する。
【００６４】
（５）画像処理部
画像処理部１８０は、視差判定部１７０から入力される視差情報により表される視差に基づく画像処理を実行する。例えば、画像処理部１８０は、視差情報により表される視差に基づいて、観察される視野に対応する立体視画像を生成してもよい。より具体的には、画像処理部１８０は、例えば、視差判定部１７０から入力される右眼画像及び左眼画像のうちの一方において、視差情報により表される視差に従って画素の水平位置をシフトすることにより、立体視画像を生成する。画像処理部１８０は、画素の水平位置をシフトすることにより画素情報が欠損する欠損領域については、欠損の無い隣接する画素から画素情報を補間してよい。本実施形態では、非生体領域の判定の結果に基づいて非生体についての視差の判定の精度が向上されているため、生成される立体視画像において、微小な又は背景よりも小さい非生体の被写体について、より正確な立体感を提供することが可能である。
【００６５】
また、画像処理部１８０は、視差情報により表される視差に基づいて、被写界深度拡大（ＥＤＯＦ）処理を実行してもよい。より具体的には、画像処理部１８０は、例えば、視差情報により表される視差に基づいて画素ごとに深度を算出する。そして、画像処理部１８０は、算出した深度に依存するフィルタ構成で、撮像画像（視差判定用画像のうちの少なくとも一方）について鮮明化（deblurring）を実行することにより、撮像画像の被写界深度を疑似的に拡大し得る。本実施形態では、非生体領域の判定の結果に基づいて非生体についての視差の判定の精度が向上されているため、こうした被写界深度拡大処理をより的確に実行することが可能である。
【００６６】
また、画像処理部１８０は、視差情報により表される視差に基づいて、立体感強調処理を実行してもよい。より具体的には、画像処理部１８０は、例えば、視差情報により表される視差を、所定の係数を乗算し又は所定のオフセットを加算（若しくは減算）することにより補正し、補正後の視差を用いて立体視画像を生成する。本実施形態では、非生体領域の判定の結果に基づいて非生体についての視差の判定の精度が向上されているため、微小な又は背景よりも小さい非生体の被写体について、より正確にその立体感を強調して不自然な立体視画像が表示されるリスクを低減することができる。
【００６７】
画像処理部１８０は、さらに、上述した画像処理の前又は後の任意のタイミングで、例えば、高ダイナミックレンジ処理、ノイズ低減、ホワイトバランス調整及び高解像度化などの他の画像処理を実行してもよい。また、これら画像処理において、視差判定部１７０により判定された視差が活用されてもよい。そして、画像処理部１８０は、これら画像処理を経た後の（例えば、立体視画像の、又は被写界深度の拡大された画像の）画像信号を、表示装置５３又はレコーダ６５へ出力する。
【００６８】
（６）制御部
制御部１９０は、ユーザが望む通りの画像が撮像され及び表示されるように、入力装置５９により検出されるユーザ入力と設定情報とに基づいて、内視鏡１０の動作を制御する。例えば、制御部１９０は、撮像が開始されると、予め決定され又は動的に選択される１つ以上の波長パターン及びタイミングでカメラヘッド１３の照射部１１０に領域判定用の照射光を照射させ、撮像部１２０による撮像を通じて信号取得部１４０に領域判定用画像の画像信号を取得させる。また、制御部１９０は、照射部１１０に視差判定用の照射光を照射させ、撮像部１２０による撮像を通じて信号取得部１４０に視差判定用画像の画像信号を取得させる。また、制御部１９０は、１つ以上のターゲットについての既知の分光特性に基づいて、領域判定部１５０に非生体領域を判定させ、その判定の結果を用いて視差判定部１７０に非生体領域に適用すべき視差を判定させる。そして、制御部１９０は、システムの用途に応じた、立体視画像の生成又は被写界深度の拡大といった画像処理を画像処理部１８０に実行させる。制御部１９０は、作業の種類（例えば、心臓バイパス術若しくは胃部分切除術といった術式、又は結紮若しくは縫合といった手技の種別）を、ユーザインタフェースを介してユーザに指定させてもよい。この場合、制御部１９０は、ユーザにより指定された作業の種類に基づいて、領域判定用の照射光の波長パターンと、分光特性を解析すべきターゲットとを選択し得る。また、制御部１９０は、使用される医療器具（例えば、針具及び糸）をユーザインタフェースを介してユーザに指定させてもよい。この場合、制御部１９０は、ユーザにより指定された器具に基づいて、領域判定用の照射光の波長パターンと、分光特性を解析すべきターゲットとを選択し得る。また、制御部１９０は、画像処理部１８０において実行すべき画像処理の種類を、ユーザ入力又はその他の設定に依存して動的に切り替えてもよい。ここでのユーザ入力は、入力装置５９に関連して説明した物理的な入力、タッチ入力、ジェスチャ入力又は音声入力など、いかなる種類の入力であってもよい。
【００６９】
［２−３．処理の流れ］
本項では、上述した実施形態においてカメラヘッド１３及びＣＣＵ５１により実行され得る処理の流れの例を、いくつかのフローチャートを用いて説明する。なお、フローチャートに複数の処理ステップが記述されるが、それら処理ステップは、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。これらは、次節以降の実施形態の説明についても同様である。
【００７０】
（１）全体的な流れ
図１４は、第１の実施形態に係る画像処理の全体的な流れの一例を示すフローチャートである。図１４を参照すると、まず、信号取得部１４０は、カメラヘッド１３の撮像部１２０において生成される、領域判定用画像の画像信号を取得する（ステップＳ１１０）。ここで実行される領域判定用画像取得処理のより詳細な流れの例を、後にさらに説明する。また、信号取得部１４０は、右眼画像及び左眼画像からなる視差判定用画像の画像信号を取得する（ステップＳ１２０）。
【００７１】
次に、領域判定部１５０は、信号取得部１４０から供給される領域判定用画像を用いて、観察される視野内の非生体領域を判定するための領域判定処理を実行する（ステップＳ１３０）。ここで実行される領域判定処理のより詳細な流れの例を、後にさらに説明する。
【００７２】
次に、視差判定部１７０は、ステップＳ１３０における領域判定処理の結果に基づいて照合ブロック設定処理を実行して、観察される視野内の非生体領域の視差の判定のために使用される照合ブロックを設定する（ステップＳ１５０）。ここで実行される照合ブロック設定処理のより詳細な流れのいくつかの例を、後にさらに説明する。
【００７３】
次に、視差判定部１７０は、ステップＳ１５０における照合ブロック設定処理において設定された照合ブロックを用いて視差判定処理を実行して、視差判定用画像の少なくとも非生体領域に適用すべき視差を判定する（ステップＳ１６０）。ここで実行される視差判定処理のより詳細な流れの例を、後にさらに説明する。
【００７４】
そして、画像処理部１８０は、ステップＳ１６０における視差判定処理の結果として生成される視差情報を用いて、立体視画像の生成又はその他の画像処理を実行する（ステップＳ１８０）。
【００７５】
上述したステップＳ１１０〜ステップＳ１８０は、画像処理の終了条件が満たされるまで繰り返される（ステップＳ１９０）。例えば、処理の終了を指示するユーザ入力が入力装置５９を介して検出されると、上述した処理は終了する。
【００７６】
（２）領域判定用画像取得処理
図１５は、図１４に示した領域判定用画像取得処理の詳細な流れの一例を示すフローチャートである。図１５を参照すると、まず、制御部１９０は、カメラヘッド１３へと制御信号を送信して、特定の波長パターンを有する光を照射部１１０から照射させる（ステップＳ１１１）。また、制御部１９０は、照射された光の反射光を撮像部１２０に撮像させ、領域判定用画像の画像信号を生成させる（ステップＳ１１３）。制御部１９０は、ステップＳ１１１及びＳ１１３における照射光の照射及び反射光の撮像を、必要とされる全ての波長パターンでの撮像が終了するまで繰り返す（ステップＳ１１５）。そして、全ての波長パターンでの（１フレーム分の）撮像が終了すると、図１５に示した領域判定用画像取得処理は終了する。
【００７７】
（３）領域判定処理
図１６は、図１４に示した領域判定処理の詳細な流れの一例を示すフローチャートである。図１６を参照すると、まず、領域判定部１５０は、制御部１９０により選択され得るターゲットの既知の分光特性を示す分光特性情報を、記憶部１６０から取得する（ステップＳ１３１）。
【００７８】
次に、領域判定部１５０は、画像内で順次選択される画素のうちの１つ（以下、注目画素という）の分光特性を、領域判定用画像から抽出する（ステップＳ１３３）。分光特性が３つ以下の波長サンプルにおける反射率として抽出される場合には、ここで参照される領域判定用画像は１つのみであってよい。分光特性が４つ以上の波長サンプルにおける反射率として抽出される場合には、異なる波長パターンでの複数回の撮像を通じて取得された複数の領域判定用画像が参照され得る。次に、領域判定部１５０は、抽出された注目画素の分光特性とターゲットの既知の分光特性との比較に基づいて、注目画素が対象領域に属する確率を算出する（ステップＳ１３４）。そして、領域判定部１５０は、算出した確率に基づいて、注目画素が対象領域に属するかを判定する（ステップＳ１３５）。
【００７９】
領域判定部１５０は、上述したステップＳ１３３〜ステップＳ１３５を、全ての注目画素について判定が終了するまで繰り返す（ステップＳ１３７）。また、領域判定部１５０は、１つ以上のターゲットのうちの全てのターゲットについて領域判定結果が導出されるまで、上述した判定を繰り返す（ステップＳ１３９）。そして、全てのターゲットについての領域判定結果を示す（二値又は多値の）マスク情報が生成されると、図１６に示した領域判定処理は終了する。
【００８０】
（４）照合ブロック設定処理−第１の例
図１７Ａは、図１４に示した照合ブロック設定処理の詳細な流れの第１の例を示すフローチャートである。図１７Ａを参照すると、まず、視差判定部１７０は、領域判定結果により示される１つ以上の非生体領域のうちの１つである対象領域のサイズ又は形状に依存して、当該対象領域に対応する照合ブロックのサイズを設定する（ステップＳ１５１）。照合ブロックの形状は、対応する対象領域の形状に依存して設定されてもよく、又は固定的であってもよい。
【００８１】
次に、視差判定部１７０は、照合ブロック内の注目画素が対象領域に属するか否かを判定し（ステップＳ１５３）、対象領域に属する注目画素の重みを１に（ステップＳ１５５）、対象領域に属しない注目画素の重みをゼロに設定する（ステップＳ１５６）。視差判定部１７０は、こうした重みの設定を、照合ブロック内の全ての画素の重みの設定が終了するまで繰り返す（ステップＳ１５８）。この繰り返しが終了すると、１つの対象領域に対応する照合ブロックの設定が終了する。
【００８２】
また、視差判定部１７０は、複数の対象領域が存在する場合には、全ての対象領域について対応する照合ブロックの設定が終了するまで、上述したステップＳ１５１〜ステップＳ１５８を繰り返す（ステップＳ１５９）。この繰り返しが終了すると、領域判定結果により示される全ての対象領域に対応する照合ブロックの設定が終了する。
【００８３】
（５）照合ブロック設定処理−第２の例
図１７Ｂは、図１４に示した照合ブロック設定処理の詳細な流れの第２の例を示すフローチャートである。図１７Ｂを参照すると、まず、視差判定部１７０は、１つの対象領域のサイズ又は形状に依存して、当該対象領域に対応する照合ブロックのサイズ（又はサイズ及び形状）を設定する（ステップＳ１５１）。
【００８４】
次に、視差判定部１７０は、照合ブロック内の注目画素について領域判定部１５０により算出された対象領域としての確率（注目画素が対象領域に属する確率）を取得する（ステップＳ１５４）。次に、視差判定部１７０は、取得した確率に依存して、注目画素の重みを設定する（ステップＳ１５７）。視差判定部１７０は、こうした重みの設定を、照合ブロック内の全ての画素の重みの設定が終了するまで繰り返す（ステップＳ１５８）。この繰り返しが終了すると、１つの対象領域に対応する照合ブロックの設定が終了する。
【００８５】
また、視差判定部１７０は、複数の対象領域が存在する場合には、全ての対象領域について対応する照合ブロックの設定が終了するまで、上述したステップＳ１５１〜ステップＳ１５８を繰り返す（ステップＳ１５９）。この繰り返しが終了すると、領域判定結果により示される全ての対象領域に対応する照合ブロックの設定が終了する。
【００８６】
（６）視差判定処理
図１８は、図１４に示した視差判定処理の詳細な流れの一例を示すフローチャートである。図１８を参照すると、まず、視差判定部１７０は、視差判定用画像内の注目画素が非生体領域に属するか否かを判定する（ステップＳ１６１）。
【００８７】
注目画素が非生体領域に属する場合、視差判定部１７０は、照合ブロック設定処理において設定された１つ以上の照合ブロックから、注目画素に適した照合ブロックを選択する（ステップＳ１６２）。ここで選択される照合ブロックは、注目画素が属する確率の最も高い非生体領域に対応する照合ブロックであってよい。そして、視差判定部１７０は、選択した照合ブロックを用いて重み付けを伴うブロックマッチングを実行して、注目画素に対応する対応ブロックを決定する（ステップＳ１６３）。
【００８８】
一方、注目画素が非生体領域に属しない場合、視差判定部１７０は、既定の照合ブロックを選択する（ステップＳ１６４）。既定の照合ブロックとは、例えば、一般的な形状（例えば、矩形）と、全ての画素にわたって一様な重みとを有するブロックであり得る。そして、視差判定部１７０は、既定の照合ブロックを用いてブロックマッチングを実行して、注目画素に対応する対応ブロックを決定する（ステップＳ１６５）。
【００８９】
次に、視差判定部１７０は、ブロックマッチングの結果として決定された対応ブロックの位置から、（例えば、対応ブロックの基準位置と注目画素の画素位置との間の水平方向の差として）注目画素における視差を算出する（ステップＳ１６７）。視差判定部１７０は、視差判定用画像内の全ての画素について視差の算出が終了するまで、上述したステップＳ１６１〜ステップＳ１６７を繰り返す（ステップＳ１６９）。視差判定部１７０は、このように判定される画素位置ごとの視差を表す視差情報を、画像処理部１８０へ出力する。
【００９０】
＜３．第２の実施形態＞
第１の実施形態では、領域判定用画像を用いた被写体の分光特性の解析に基づいて、視野内の非生体領域が判定された。本節で説明する第２の実施形態では、分光特性を解析する代わりに、遠赤外画像として撮像される領域判定用画像の信号強度から、より簡易に非生体領域が判定される。
【００９１】
［３−１．撮像装置の構成例］
図１９は、第２の実施形態に係るカメラヘッド１３の構成の一例を示すブロック図である。図１９を参照すると、カメラヘッド１３は、照射部２１０、第１撮像部２２０、第２撮像部２２５及び通信部２３０を備える。
【００９２】
照射部２１０は、光源装置５５からライトガイドを通じて供給される照射光を、視野内の被写体へ向けて照射する。照射部２１０により照射される光は、例えば、視差判定用画像の撮像を目的とする可視光であってよい。また、特殊光観察（例えば、蛍光観察）が行われる場合には、視差判定用の照射光は、その観察の種類に応じた波長を有する特殊光であってもよい。本実施形態では、照射部２１０は、領域判定用の照射光を照射しない。
【００９３】
第１撮像部２２０は、第１の実施形態に係る撮像部１２０と同様に、鏡筒１１の先端から取り込まれる被写体からの観察光をイメージセンサにおいて光電変換し、視差判定用画像の画像信号を生成する。視差判定用画像は、右眼画像及び左眼画像から構成される。そして、第１撮像部２２０は、生成された画像信号を通信部２３０へ出力する。
【００９４】
本実施形態において、第２撮像部２２５は、可視光ではなく遠赤外光を撮像する撮像装置である。遠赤外光は、例えば１μｍの波長境界よりも長波長側の波長領域に属する赤外光である。第２撮像部２２５は、典型的には、生体から放射される遠赤外光を通過させるフィルタを有する光学系と、遠赤外領域を含む波長領域に感度を有するイメージセンサと、を備え得る。第２撮像部２２５は、被写体からの遠赤外光を撮像し、遠赤外画像の画像信号を生成する。そして、第２撮像部２２５は、生成された画像信号を通信部２３０へ出力する。
【００９５】
通信部２３０は、信号線を介してＣＣＵ５１へ接続される通信インタフェースである。例えば、通信部２３０は、第１撮像部２２０において生成される視差判定用画像の画像信号をＣＣＵ５１へ送信する。また、通信部２３０は、第２撮像部２２５において生成される領域判定用画像の画像信号をＣＣＵ５１へ送信する。また、通信部２３０は、ＣＣＵ５１から制御信号が受信されると、受信された制御信号を照射部２１０、第１撮像部２２０及び第２撮像部２２５へ出力する。
【００９６】
［３−２．画像処理装置の構成例］
図２０は、第２の実施形態に係るＣＣＵ５１の構成の一例を示すブロック図である。図２０を参照すると、ＣＣＵ５１は、信号取得部２４０、領域判定部２５０、記憶部２６０、視差判定部２７０、画像処理部１８０及び制御部１９０を備える。
【００９７】
（１）信号取得部
信号取得部２４０は、カメラヘッド１３の第２撮像部２２５において生成される、領域判定用画像（遠赤外画像）の画像信号を取得する。また、信号取得部２４０は、カメラヘッド１３の第１撮像部２２０において生成される、視差判定用画像（可視光画像）の画像信号を取得する。そして、信号取得部２４０は、領域判定用画像を領域判定部２５０へ、視差判定用画像を視差判定部２７０へそれぞれ出力する。
【００９８】
（２）領域判定部
領域判定部２５０は、信号取得部２４０から入力される領域判定用画像を用いて、観察される視野内の非生体領域を判定する。本実施形態において、領域判定用画像は、上述したように、被写体から放射される遠赤外光を撮像することにより生成された遠赤外画像である。一般に、臓器又は腹壁などの生体は遠赤外光を放射する一方で、糸、針具及び鉗子などの医療器具は遠赤外光をほとんど放射しない。そこで、領域判定部２５０は、領域判定用画像の画素ごとの画素値を予め定義される閾値と比較することにより、各画素が生体領域及び非生体領域のうちのいずれに属するかを判定し得る。より具体的には、領域判定部２５０は、領域判定用画像において閾値を下回る画素値を示す画素は非生体領域に属すると判定し、閾値を上回る画素値を示す画素は生体領域に属すると判定し得る。
【００９９】
図２１は、領域判定用画像を用いた非生体領域の判定の結果の他の例について説明するための説明図である。図２１の上段には、遠赤外画像である領域判定用画像Ｉｍ１１が示されている。領域判定用画像Ｉｍ１１に映った被写体Ｊ０は遠赤外光を放射する生体であるため、被写体Ｊ０に対応する領域の画素値は相対的に高い値を示す。一方、領域判定用画像Ｉｍ１１に映った被写体Ｊ１、Ｊ２及びＪ３は遠赤外光をほとんど放射しない非生体であるため、被写体Ｊ１、Ｊ２及びＪ３に対応する領域の画素値は相対的に低い値を示す。こうした領域判定用画像Ｉｍ１１についての画素値と閾値との比較に基づく領域判定の結果が図２１の下段のマスク情報Ｍ２１により表現されている。マスク情報Ｍ２１は、画像領域の全体を、生体領域Ｒ２０及び非生体領域Ｒ２１に（例えば画素ごとの二値で）分けている。
【０１００】
領域判定部２５０は、例えばグラフカット法などのセグメンテーション技法を実行することにより、図示した単一の非生体領域Ｒ２１を複数の非生体領域へとセグメント化してもよい。また、領域判定部２５０は、遠赤外画像の画像信号レベルが弱いためにノイズが現れる場合には、ノイズ除去のためのフィルタリングの後に、マスク情報を生成するための閾値判定を実行してもよい。
【０１０１】
（３）記憶部
記憶部２６０は、ＣＣＵ５１において実行される様々な処理のための情報を記憶する。例えば、記憶部２６０は、領域判定部２５０により領域判定のために使用される閾値情報を記憶する。
【０１０２】
（４）視差判定部
視差判定部２７０は、信号取得部２４０から入力される視差判定用画像を用いて視差を判定する。より具体的には、視差判定部２７０は、第１の実施形態に係る視差判定部１７０と同様、少なくとも非生体領域に適用すべき視差を、視差判定用画像に加えて、非生体領域の判定の結果を用いて判定する。本実施形態では、非生体領域の判定は、上述したように、遠赤外画像である領域判定用画像を用いて領域判定部２５０により行われる。視差判定部２７０は、領域判定部２５０により判定された非生体領域のサイズ又は形状に依存して、照合ブロックのサイズを設定してよい。また、視差判定部２７０は、照合のために使用される、照合ブロック内の画素ごとの重みを、非生体領域の形状に依存して設定してよい。典型的には、照合ブロック内の非生体領域に対応する画素の重みは第１の値（例えば、１）に、照合ブロック内の生体領域に対応する画素の重みは第２の値（例えば、ゼロ）に設定され得る。第２の値は、対応する画素位置の画素値が照合判定指標に算入されないか又は過小に算入されることを意味し得る。視差判定部２７０は、領域判定部２５０により視野内に複数の非生体領域が存在すると判定された場合には、各非生体領域について個別の照合ブロックを設定し、設定した当該照合ブロックを用いて各非生体領域に適用すべき視差を判定してもよい。さらに、視差判定部２７０は、非生体領域については適応的に設定した照合ブロックを用いて、生体領域については既定の照合ブロックを用いて画素位置（又は画素ブロック位置）ごとに視差を判定する。そして、視差判定部２７０は、判定結果を表す視差情報を画像処理部１８０へ出力する。また、視差判定部２７０は、視差判定用画像を画像処理部１８０へ出力する。視差判定部２７０により生成される視差情報は、第１の実施形態と同様、画像処理部１８０において、立体視画像の生成又は被写界深度の拡大などの様々な目的のために使用されてよい。
【０１０３】
［３−３．処理の流れ］
本項では、上述した実施形態においてカメラヘッド１３及びＣＣＵ５１により実行され得る処理の流れの例を、いくつかのフローチャートを用いて説明する。
【０１０４】
（１）全体的な流れ
図２２は、第２の実施形態に係る画像処理の全体的な流れの一例を示すフローチャートである。図２２を参照すると、まず、信号取得部２４０は、カメラヘッド１３の第２撮像部２２５における遠赤外光の撮像を通じて、領域判定用画像の画像信号を取得する（ステップＳ２１０）。また、信号取得部２４０は、右眼画像及び左眼画像からなる視差判定用画像の画像信号を取得する（ステップＳ１２０）。
【０１０５】
次に、領域判定部２５０は、信号取得部２４０から供給される領域判定用画像を用いて、観察される視野内の非生体領域を判定するための領域判定処理を実行する（ステップＳ２３０）。ここで実行される領域判定処理のより詳細な流れの例を、後にさらに説明する。
【０１０６】
次に、視差判定部２７０は、ステップＳ２３０における領域判定処理の結果に基づいて照合ブロック設定処理を実行して、観察される視野内の非生体領域の視差の判定のために使用される照合ブロックを設定する（ステップＳ１５０）。ここで実行される照合ブロック設定処理は、第１の実施形態において説明した処理と同様であってよい。
【０１０７】
次に、視差判定部２７０は、ステップＳ１５０における照合ブロック設定処理において設定された照合ブロックを用いて視差判定処理を実行して、視差判定用画像の少なくとも非生体領域に適用すべき視差を判定する（ステップＳ１６０）。ここで実行される視差判定処理は、第１の実施形態において説明した処理と同様であってよい。
【０１０８】
そして、画像処理部１８０は、ステップＳ１６０における視差判定処理の結果として生成される視差情報を用いて、立体視画像の生成又はその他の画像処理を実行する（ステップＳ１８０）。
【０１０９】
上述したステップＳ２１０〜ステップＳ１８０は、画像処理の終了条件が満たされるまで繰り返される（ステップＳ１９０）。例えば、処理の終了を指示するユーザ入力が入力装置５９を介して検出されると、上述した処理は終了する。
【０１１０】
（２）領域判定処理
図２３は、図２２に示した領域判定処理の詳細な流れの一例を示すフローチャートである。図２３を参照すると、まず、領域判定部２５０は、予め定義され得る閾値情報を、記憶部２６０から取得する（ステップＳ２３１）。
【０１１１】
次に、領域判定部２５０は、注目画素の画素値が、ステップＳ２３１において取得した閾値情報により示される閾値を下回るか否かを判定する（ステップＳ２３３）。注目画素の画素値が閾値を下回る場合、領域判定部２５０は、注目画素が非生体領域に属すると判定する（ステップＳ２３４）。一方、注目画素の画素値が閾値を下回らない場合、領域判定部２５０は、注目画素が生体領域に属すると判定する（ステップＳ２３５）。
【０１１２】
領域判定部２５０は、上述したステップＳ２３３〜ステップＳ２３５を、全ての画素について判定が終了するまで繰り返す（ステップＳ２３７）。そして、全ての画素についての領域判定結果を示すマスク情報が生成されると、図２３に示した領域判定処理は終了する。
【０１１３】
＜４．第３の実施形態＞
本節で説明する第３の実施形態においても、領域判定用画像は遠赤外画像である。但し、第３の実施形態では、被写体へ向けて照射される遠赤外光の反射光が撮像される。
【０１１４】
［４−１．撮像装置の構成例］
図２４は、第３の実施形態に係るカメラヘッド１３の構成の一例を示すブロック図である。図２４を参照すると、カメラヘッド１３は、第１照射部２１０、第２照射部３１５、第１撮像部２２０、第２撮像部３２５及び通信部３３０を備える。
【０１１５】
第２照射部３１５は、観察される視野内の被写体へ、遠赤外光を照射する。第２照射部３１５により照射される遠赤外光は、領域判定用画像の撮像を目的とする、遠赤外領域に属するいかなる波長を有する赤外光であってもよい。
【０１１６】
第２撮像部３２５は、遠赤外光を撮像する撮像装置である。第２撮像部３２５は、典型的には、第２照射部３１５により照射される遠赤外光の反射光を通過させるフィルタを有する光学系と、遠赤外領域を含む波長領域に感度を有するイメージセンサと、を備え得る。第２撮像部３２５は、被写体において反射される遠赤外光を撮像し、遠赤外画像の画像信号を生成する。そして、第２撮像部３２５は、生成された画像信号を通信部３３０へ出力する。
【０１１７】
通信部３３０は、信号線を介してＣＣＵ５１へ接続される通信インタフェースである。例えば、通信部３３０は、第１撮像部２２０において生成される視差判定用画像の画像信号をＣＣＵ５１へ送信する。また、通信部３３０は、第２撮像部３２５において生成される領域判定用画像の画像信号をＣＣＵ５１へ送信する。また、通信部３３０は、ＣＣＵ５１から制御信号が受信されると、受信された制御信号を第１照射部２１０、第２照射部３１５、第１撮像部２２０及び第２撮像部３２５へ出力する。
【０１１８】
［４−２．画像処理装置の構成例］
図２５は、第３の実施形態に係るＣＣＵ５１の構成の一例を示すブロック図である。図２５を参照すると、ＣＣＵ５１は、信号取得部３４０、領域判定部３５０、記憶部３６０、視差判定部３７０、画像処理部１８０及び制御部１９０を備える。
【０１１９】
（１）信号取得部
信号取得部３４０は、カメラヘッド１３の第２撮像部３２５において生成される、領域判定用画像（遠赤外画像）の画像信号を取得する。また、信号取得部３４０は、カメラヘッド１３の第１撮像部２２０において生成される、視差判定用画像（可視光画像）の画像信号を取得する。そして、信号取得部３４０は、領域判定用画像を領域判定部３５０へ、視差判定用画像を視差判定部３７０へそれぞれ出力する。
【０１２０】
（２）領域判定部
領域判定部３５０は、信号取得部３４０から入力される領域判定用画像を用いて、観察される視野内の非生体領域を判定する。本実施形態において、領域判定用画像は、上述したように、被写体へ向けて照射された遠赤外光の反射光を撮像することにより生成された遠赤外画像である。一般に、臓器又は腹壁などの生体は遠赤外光を吸収する一方で、金属で形成される鉗子などの医療器具は遠赤外光を反射する。そこで、領域判定部３５０は、領域判定用画像の画素ごとの画素値を予め定義される閾値と比較することにより、各画素が生体領域及び非生体領域のうちのいずれに属するかを判定し得る。より具体的には、領域判定部３５０は、領域判定用画像において閾値を上回る画素値を示す画素は非生体領域に属すると判定し、閾値を下回る画素値を示す画素は生体領域に属すると判定し得る。
【０１２１】
図２６は、領域判定用画像を用いた非生体領域の判定の結果のまた別の例について説明するための説明図である。図２６の上段には、遠赤外画像である領域判定用画像Ｉｍ２１が示されている。領域判定用画像Ｉｍ２１に映った被写体Ｊ０は遠赤外光を吸収する生体であるため、被写体Ｊ０に対応する領域の画素値は相対的に低い値を示す。一方、領域判定用画像Ｉｍ２１に映った被写体Ｊ１及びＪ２は遠赤外光を反射する非生体であるため、被写体Ｊ１及びＪ２に対応する領域の画素値は相対的に高い値を示す。こうした領域判定用画像Ｉｍ２１についての画素値と閾値との比較に基づく領域判定の結果が図２６の下段のマスク情報Ｍ３１により表現されている。マスク情報Ｍ３１は、画像領域の全体を、生体領域Ｒ３０及び非生体領域Ｒ３１に（例えば画素ごとの二値で）分けている。
【０１２２】
領域判定部３５０は、例えばグラフカット法などのセグメンテーション技法を実行することにより、図示した単一の非生体領域Ｒ３１を複数の非生体領域へとセグメント化してもよい。
【０１２３】
（３）記憶部
記憶部３６０は、ＣＣＵ５１において実行される様々な処理のための情報を記憶する。例えば、記憶部３６０は、領域判定部３５０により領域判定のために使用される閾値情報を記憶する。
【０１２４】
（４）視差判定部
視差判定部３７０は、信号取得部３４０から入力される視差判定用画像を用いて視差を判定する。より具体的には、視差判定部３７０は、第１の実施形態に係る視差判定部１７０及び第２の実施形態に係る視差判定部２７０と同様、少なくとも非生体領域に適用すべき視差を、視差判定用画像に加えて、非生体領域の判定の結果を用いて判定する。本実施形態では、非生体領域の判定は、上述したように、遠赤外画像である領域判定用画像を用いて領域判定部３５０により行われる。視差判定部３７０は、領域判定部３５０により判定された非生体領域のサイズ又は形状に依存して、照合ブロックのサイズを設定してよい。また、視差判定部３７０は、照合のために使用される、照合ブロック内の画素ごとの重みを、非生体領域の形状に依存して設定してよい。典型的には、照合ブロック内の非生体領域に対応する画素の重みは第１の値（例えば、１）に、照合ブロック内の生体領域に対応する画素の重みは第２の値（例えば、ゼロ）に設定され得る。第２の値は、対応する画素位置の画素値が照合判定指標に算入されないか又は過小に算入されることを意味し得る。視差判定部３７０は、領域判定部３５０により視野内に複数の非生体領域が存在すると判定された場合には、各非生体領域について個別の照合ブロックを設定し、設定した当該照合ブロックを用いて各非生体領域に適用すべき視差を判定してもよい。そして、視差判定部３７０は、非生体領域については適応的に設定した照合ブロックを用いて、生体領域については既定の照合ブロックを用いて画素位置（又は画素ブロック位置）ごとに視差を判定する。そして、視差判定部３７０は、判定結果を表す視差情報を画像処理部１８０へ出力する。また、視差判定部３７０は、視差判定用画像を画像処理部１８０へ出力する。視差判定部３７０により生成される視差情報は、第１の実施形態及び第２の実施形態と同様、画像処理部１８０において、立体視画像の生成又は被写界深度の拡大などの様々な目的のために使用されてよい。
【０１２５】
［４−３．処理の流れ］
本項では、上述した実施形態においてカメラヘッド１３及びＣＣＵ５１により実行され得る処理の流れの例を、いくつかのフローチャートを用いて説明する。
【０１２６】
（１）全体的な流れ
図２７は、第３の実施形態に係る画像処理の全体的な流れの一例を示すフローチャートである。図２７を参照すると、まず、信号取得部３４０は、カメラヘッド１３の第２照射部３１５からの遠赤外光の照射及び第２撮像部３２５における遠赤外光の撮像を通じて、領域判定用画像の画像信号を取得する（ステップＳ３１０）。また、信号取得部３４０は、右眼画像及び左眼画像からなる視差判定用画像の画像信号を取得する（ステップＳ１２０）。
【０１２７】
次に、領域判定部３５０は、信号取得部３４０から供給される領域判定用画像を用いて、観察される視野内の非生体領域を判定するための領域判定処理を実行する（ステップＳ３３０）。ここで実行される領域判定処理のより詳細な流れの例を、後にさらに説明する。
【０１２８】
次に、視差判定部３７０は、ステップＳ３３０における領域判定処理の結果に基づいて照合ブロック設定処理を実行して、観察される視野内の非生体領域の視差の判定のために使用される照合ブロックを設定する（ステップＳ１５０）。ここで実行される照合ブロック設定処理は、第１の実施形態において説明した処理と同様であってよい。
【０１２９】
次に、視差判定部３７０は、ステップＳ１５０における照合ブロック設定処理において設定された照合ブロックを用いて視差判定処理を実行して、視差判定用画像の少なくとも非生体領域に適用すべき視差を判定する（ステップＳ１６０）。ここで実行される視差判定処理は、第１の実施形態において説明した処理と同様であってよい。
【０１３０】
そして、画像処理部１８０は、ステップＳ１６０における視差判定処理の結果として生成される視差情報を用いて、立体視画像の生成又はその他の画像処理を実行する（ステップＳ１８０）。
【０１３１】
上述したステップＳ３１０〜ステップＳ１８０は、画像処理の終了条件が満たされるまで繰り返される（ステップＳ１９０）。例えば、処理の終了を指示するユーザ入力が入力装置５９を介して検出されると、上述した処理は終了する。
【０１３２】
（２）領域判定処理
図２８は、図２７に示した領域判定処理の詳細な流れの一例を示すフローチャートである。図２８を参照すると、まず、領域判定部３５０は、予め定義され得る閾値情報を、記憶部３６０から取得する（ステップＳ３３１）。
【０１３３】
次に、領域判定部３５０は、注目画素の画素値が、ステップＳ３３１において取得した閾値情報により示される閾値を上回るか否かを判定する（ステップＳ３３３）。注目画素の画素値が閾値を上回る場合、領域判定部３５０は、注目画素が非生体領域に属すると判定する（ステップＳ３３４）。一方、注目画素の画素値が閾値を上回らない場合、領域判定部３５０は、注目画素が生体領域に属すると判定する（ステップＳ３３５）。
【０１３４】
領域判定部３５０は、上述したステップＳ３３３〜ステップＳ３３５を、全ての画素について判定が終了するまで繰り返す（ステップＳ３３７）。そして、全ての画素についての領域判定結果を示すマスク情報が生成されると、図２８に示した領域判定処理は終了する。
【０１３５】
＜５．まとめ＞
ここまで、図１〜図２８を用いて本開示に係る技術の実施形態について詳しく説明した。上述した実施形態によれば、視差判定用画像と共通する視野を映した領域判定用画像を用いて当該視野内の非生体領域が判定され、非生体領域の判定の結果及び視差判定用画像を用いて少なくとも非生体領域に適用すべき視差が判定される。従って、手術又は診断といった医療のシーンにおいて、周囲の被写体に対して相対的に小さくしか映らない非生体の被写体について、視差判定の精度を向上させ、改善された視認性を実現することが可能となる。
【０１３６】
また、上述した実施形態によれば、非生体領域の判定の結果に基づいて設定される照合ブロックを用いて２つの視差判定用画像を照合することにより、上記視差が判定される。即ち、照合ブロックの設定を非生体領域の判定の結果に合わせて適応的に変化させることが可能となる。例えば、照合ブロックの適応的な設定を通じて、非生体領域の周囲の生体領域が視差の判定へ与える影響を低減することで、非生体領域に適用すべき視差の判定の精度が効果的に向上される。
【０１３７】
また、上述した実施形態によれば、視野内に複数の非生体が存在する場合には、視差判定用画像内の各非生体領域について個別の照合ブロックが設定され得る。この場合、個々の非生体の深度が均一でなかったとしても、それぞれの非生体について正確に視差を判定することができる。
【０１３８】
ある実施形態によれば、既知の被写体の分光特性に基づいて非生体領域が判定される。この場合、可視光領域の光を撮像可能な一般的なイメージセンサを用いて、非生体領域を判定することができる。また、想定される被写体の分光特性を事前に把握しておくだけで、多様な非生体の被写体について視差の判定の精度を向上させることができる。これは、日常の空間と比較して想定される被写体の種類が限られている医療のシーンにおいて特に有益である。
【０１３９】
他の実施形態によれば、遠赤外画像である領域判定用画像の画素値に基づいて非生体領域が判定される。この場合、分光特性情報を要することなく、非生体領域の簡易な判定が可能である。生体から放射される遠赤外光を撮像することにより領域判定用画像を生成する手法は、遠赤外光の照射を要しないため、カメラヘッドの構成を小規模に保つことができ、被写体に熱量も与えない。被写体へ照射される遠赤外光の反射光を撮像することにより領域判定用画像を生成する手法は、遠赤外画像に現れるノイズの量を抑制し、領域判定の精度を向上させる。
【０１４０】
なお、本明細書では、手術用内視鏡を含む画像処理システムの例を主に説明した。しかしながら、本開示に係る技術は、かかる例に限定されず、顕微鏡などの他の種類の医療用観察装置にも適用可能である。また、本開示に係る技術は、そうした医療用観察装置に搭載される画像処理モジュール（例えば、画像処理チップ）又はカメラモジュールとして実現されてもよい。
【０１４１】
本明細書において説明した画像処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組み合わせのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory  media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random  Access  Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。
【０１４２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１４３】
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
【０１４４】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定する領域判定部と、
前記領域判定部による前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定する視差判定部と、
を備える医療用画像処理装置。
（２）
前記視差判定部は、前記非生体領域の判定の結果に基づいて設定される照合ブロックを用いて第１の視差判定用画像と第２の視差判定用画像とを照合することにより、前記視差を判定する、前記（１）に記載の医療用画像処理装置。
（３）
前記視差判定部は、前記非生体領域のサイズ又は形状に依存して、前記照合ブロックのサイズを設定する、前記（２）に記載の医療用画像処理装置。
（４）
前記視差判定部は、前記照合のために使用される、前記照合ブロック内の画素ごとの重みを、前記非生体領域の形状に依存して設定する、前記（２）又は前記（３）に記載の医療用画像処理装置。
（５）
前記視差判定部は、前記照合ブロック内の前記非生体領域に対応する画素の前記重みを第１の値に、前記照合ブロック内の生体領域に対応する画素の前記重みを第２の値に設定し、
前記第２の値は、対応する画素位置の画素値が前記照合のための指標に算入されず又は過小に算入されることを意味する、
前記（４）に記載の医療用画像処理装置。
（６）
前記領域判定部は、前記領域判定用画像内の各画素が前記非生体領域に属する確率を計算し、
前記視差判定部は、前記照合ブロック内の各画素の前記重みを、当該画素が前記非生体領域に属する確率に依存して設定する、
前記（４）に記載の医療用画像処理装置。
（７）
前記領域判定部は、前記領域判定用画像を生体領域と１つ以上の非生体領域へとセグメント化し、
前記視差判定部は、前記領域判定部により複数の前記非生体領域が存在すると判定された場合には、各非生体領域について個別の前記照合ブロックを設定し、設定した前記照合ブロックを用いて各非生体領域に適用すべき視差を判定する、
前記（２）〜（６）のいずれか１項に記載の医療用画像処理装置。
（８）
前記領域判定用画像は、生体又は非生体の少なくとも一方の分光特性が既知である波長を有する光であって、前記視野内の被写体へ照射される当該光の反射光を撮像することにより生成され、
前記領域判定部は、前記領域判定用画像から前記被写体の分光特性を解析することにより、前記視野内の前記非生体領域を判定する、
前記（１）〜（７）のいずれか１項に記載の医療用画像処理装置。
（９）
前記領域判定用画像は、前記視野内の被写体へ異なる波長パターンで複数回にわたって照射される光の反射光を撮像することにより生成される、前記（８）に記載の医療用画像処理装置。
（１０）
生体又は非生体の少なくとも一方の前記分光特性を示す分光特性情報を記憶する記憶部、をさらに備える、前記（８）又は前記（９）に記載の医療用画像処理装置。
（１１）
前記領域判定用画像は、遠赤外画像である、前記（１）〜（７）のいずれか１項に記載の医療用画像処理装置。
（１２）
前記領域判定用画像は、前記視野内の被写体から放射される遠赤外光を撮像することにより生成され、
前記領域判定部は、前記領域判定用画像において閾値を下回る画素値を示す画素が前記非生体領域に属すると判定する、
前記（１１）に記載の医療用画像処理装置。
（１３）
前記領域判定用画像は、前記視野内の被写体へ照射される遠赤外光の反射光を撮像することにより生成され、
前記領域判定部は、前記領域判定用画像において閾値を上回る画素値を示す画素が前記非生体領域に属すると判定する、
前記（１１）に記載の医療用画像処理装置。
（１４）
前記視差判定部により判定される前記視差に基づいて、前記視野に対応する立体視画像を生成する画像処理部、をさらに備える、前記（１）〜（１３）のいずれか１項に記載の医療用画像処理装置。
（１５）
前記視差判定部により判定される前記視差に基づいて、被写界深度拡大処理を実行する画像処理部、をさらに備える、前記（１）〜（１４）のいずれか１項に記載の医療用画像処理装置。
（１６）
前記視差判定部により判定される前記視差を補正することにより、表示される立体視画像の立体感を強調する画像処理部、をさらに備える、前記（１）〜（１５）のいずれか１項に記載の医療用画像処理装置。
（１７）
前記（１）〜（１６）のいずれか１項に記載の医療用画像処理装置と、
前記視野内の被写体を撮像して、前記視差判定用画像及び前記領域判定用画像のうち少なくとも一方を生成する撮像装置と、
を含む医療用画像処理システム。
（１８）
視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定することと、
前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定することと、
を含む医療用画像処理方法。
（１９）
医療用画像処理装置を制御するプロセッサを、
視差判定用画像と共通する視野を映した領域判定用画像を用いて、前記視野内の非生体領域を判定する領域判定部と、
前記領域判定部による前記非生体領域の判定の結果、及び前記視差判定用画像を用いて、少なくとも前記非生体領域に適用すべき視差を判定する視差判定部と、
として機能させるためのプログラム。
【符号の説明】
【０１４５】
１                      医療用画像処理システム
１３                    カメラヘッド（撮像装置）
５１                    ＣＣＵ（画像処理装置）
１４０，２４０，３４０  信号取得部
１５０，２５０，３５０  領域判定部
１６０，２６０，３６０  記憶部
１７０，２７０，３７０  視差判定部
１８０                  画像処理部
１９０                  制御部
【図１】
2017145531.tif 000005
【図２】
2017145531.tif 000006
【図３】
2017145531.tif 000007
【図４】
2017145531.tif 000008
【図５】
2017145531.tif 000009
【図６】
2017145531.tif 000010
【図７】
2017145531.tif 000011
【図８】
2017145531.tif 000012
【図９Ａ】
2017145531.tif 000013
【図９Ｂ】
2017145531.tif 000014
【図１０】
2017145531.tif 000015
【図１１】
2017145531.tif 000016
【図１２Ａ】
2017145531.tif 000017
【図１２Ｂ】
2017145531.tif 000018
【図１３】
2017145531.tif 000019
【図１４】
2017145531.tif 000020
【図１５】
2017145531.tif 000021
【図１６】
2017145531.tif 000022
【図１７Ａ】
2017145531.tif 000023
【図１７Ｂ】
2017145531.tif 000024
【図１８】
2017145531.tif 000025
【図１９】
2017145531.tif 000026
【図２０】
2017145531.tif 000027
【図２１】
2017145531.tif 000028
【図２２】
2017145531.tif 000029
【図２３】
2017145531.tif 000030
【図２４】
2017145531.tif 000031
【図２５】
2017145531.tif 000032
【図２６】
2017145531.tif 000033
【図２７】
2017145531.tif 000034
【図２８】
2017145531.tif 000035
【国際調査報告】
2017145531.tif 000036
2017145531.tif 000037
2017145531.tif 000038
2017145531.tif 000039