(57)【特許請求の範囲】
【請求項１】
第一波長帯の光に対して透明で第二波長帯による光に対して不透明な対象物を撮像して得られる撮像画像として、前記第一波長帯による光を選択的に受光して得られた前記撮像画像を第一撮像画像、前記第二波長帯による光を選択的に受光して得られた前記撮像画像を第二撮像画像としたときに、前記第二撮像画像に基づいて前記対象物が存在する画像領域を対象領域として検出する対象検出部と、
前記対象検出部が検出した前記対象領域の情報に基づいて前記第一撮像画像に前記対象物の輪郭を重畳する輪郭重畳部とを備え、
前記対象検出部は、
前記第二撮像画像と前記第一撮像画像のそれぞれについてエッジ抽出を行って前記第二撮像画像に基づく第二エッジ画像と前記第一撮像画像に基づく第一エッジ画像とを生成し、
前記第二エッジ画像と前記第一エッジ画像のそれぞれに対し前記対象物のテンプレートを用いたテンプレートマッチングを行い、
前記第二エッジ画像に対する前記テンプレートマッチングによって検出された画像領域のうち、前記第一エッジ画像に対する前記テンプレートマッチングにより検出された画像領域と重複しない画像領域を前記対象領域として検出する、
画像処理装置。
【請求項２】
前記対象検出部は、
前記第二撮像画像と前記第一撮像画像とに基づいて前記対象領域を検出する
請求項１に記載の画像処理装置。
【請求項３】
前記対象検出部は、
前記第二撮像画像と、前記第一波長帯内の異なる波長帯による光をそれぞれ選択的に受光して得られた複数の前記第一撮像画像についてエッジ抽出を行って、前記第二撮像画像に基づく第二エッジ画像と複数の前記第一撮像画像に基づく複数の第一エッジ画像とを生成し、
生成したエッジ画像のそれぞれに対し前記テンプレートマッチングを行い、
前記第二エッジ画像に対する前記テンプレートマッチングにより検出された画像領域のうち、前記複数の第一エッジ画像に対する前記テンプレートマッチングによりそれぞれ検出された画像領域の何れとも重複しない画像領域を前記対象領域として検出する
請求項１または２に記載の画像処理装置。
【請求項４】
前記第二波長帯による光を選択的に受光する撮像素子を用いて前記対象物をステレオ撮像して得られた左目画像、右目画像をそれぞれ左目側第二撮像画像、右目側第二撮像画像としたときに、
前記対象検出部は、
前記左目側第二撮像画像と前記右目側第二撮像画像との間の視差に基づき算出した距離の情報に基づいて前記対象領域を検出する
請求項１〜３のいずれか一項に記載の画像処理装置。
【請求項５】
前記対象検出部は、
前記第二撮像画像と前記第一撮像画像のそれぞれについて算出した前記距離の情報に基づいて前記第二撮像画像についての距離画像と前記第一撮像画像についての距離画像とを生成し、前記第二撮像画像についての距離画像と前記第一撮像画像についての距離画像との差分画像を生成し、前記差分画像に基づいて前記対象領域を検出する
請求項４に記載の画像処理装置。
【請求項６】
前記対象検出部は、
複数のフレーム画像について行った前記対象領域の検出結果に基づき、前記輪郭重畳部による前記輪郭の重畳に用いる前記対象領域を決定する
請求項１〜５のいずれか一項に記載の画像処理装置。
【請求項７】
前記第一撮像画像内における前記対象領域を対象として前記対象物により生じる光学歪を補正する光学歪補正部を備える
請求項１〜６のいずれか一項に記載の画像処理装置。
【請求項８】
前記対象検出部は、
前記第二撮像画像に基づいて前記対象物の種類を同定し、
前記光学歪補正部は、
前記対象検出部が同定した前記対象物の種類に応じた補正特性により前記光学歪を補正する
請求項７に記載の画像処理装置。
【請求項９】
前記第二波長帯による光を選択的に受光する撮像素子を用いて前記対象物をステレオ撮像して得られた左目画像、右目画像をそれぞれ左目側第二撮像画像、右目側第二撮像画像としたときに、
前記対象検出部は、
前記左目側第二撮像画像と前記右目側第二撮像画像とに基づいて前記対象物についての三次元位置情報を生成し、前記三次元位置情報に基づいて前記対象物の姿勢を検出し、
前記光学歪補正部は、
前記対象検出部が検出した前記対象物の姿勢に応じた補正特性により前記光学歪を補正する
請求項７または８に記載の画像処理装置。
【請求項１０】
前記光学歪補正部は、
前記対象物の距離に応じた補正特性により前記光学歪を補正する
請求項９に記載の画像処理装置。
【請求項１１】
コンピュータの信号処理部が、
第一波長帯の光に対して透明で第二波長帯による光に対して不透明な対象物を撮像して得られる撮像画像として、前記第一波長帯による光を選択的に受光して得られた前記撮像画像を第一撮像画像、前記第二波長帯による光を選択的に受光して得られた前記撮像画像を第二撮像画像としたときに、前記第二撮像画像に基づいて前記対象物が存在する画像領域を対象領域として検出する対象検出手順と、
前記対象検出手順により検出した前記対象領域の情報に基づいて前記第一撮像画像に前記対象物の輪郭を重畳する輪郭重畳手順と、
を実行することを含み、
前記対象検出手順は、
前記第二撮像画像と前記第一撮像画像のそれぞれについてエッジ抽出を行って前記第二撮像画像に基づく第二エッジ画像と前記第一撮像画像に基づく第一エッジ画像とを生成することと、
前記第二エッジ画像と前記第一エッジ画像のそれぞれに対し前記対象物のテンプレートを用いたテンプレートマッチングを行うことと、
前記第二エッジ画像に対する前記テンプレートマッチングによって検出された画像領域のうち、前記第一エッジ画像に対する前記テンプレートマッチングにより検出された画像領域と重複しない画像領域を前記対象領域として検出することと、
を含む、
画像処理方法。
【請求項１２】
第一波長帯の光に対して透明で第二波長帯による光に対して不透明な対象物を撮像して得られる撮像画像として、前記第一波長帯による光を選択的に受光して得られた前記撮像画像を第一撮像画像、前記第二波長帯による光を選択的に受光して得られた前記撮像画像を第二撮像画像としたときに、前記第二撮像画像に基づいて前記対象物が存在する画像領域を対象領域として検出する対象検出処理と、
前記対象検出処理により検出した前記対象領域の情報に基づいて前記第一撮像画像に前記対象物の輪郭を重畳する輪郭重畳処理と、を信号処理装置に実行させ、
前記対象検出処理は、
前記第二撮像画像と前記第一撮像画像のそれぞれについてエッジ抽出を行って前記第二撮像画像に基づく第二エッジ画像と前記第一撮像画像に基づく第一エッジ画像とを生成することと、
前記第二エッジ画像と前記第一エッジ画像のそれぞれに対し前記対象物のテンプレートを用いたテンプレートマッチングを行うことと、
前記第二エッジ画像に対する前記テンプレートマッチングによって検出された画像領域のうち、前記第一エッジ画像に対する前記テンプレートマッチングにより検出された画像領域と重複しない画像領域を前記対象領域として検出することと、
を含む、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、例えば透明術具のような可視光に対して透明な対象物を撮像して得られた撮像画像について画像処理を行う画像処理装置、画像処理方法及びプログラムについての技術分野に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２００９−２９１３５８号公報
【特許文献２】特開２０１１−３５８５３号公報
【背景技術】
【０００３】
患者への身体的負担の低減を図ったいわゆる低侵襲手術が知られている。低侵襲手術においては、術者が内視鏡により撮像される体内画像を確認しながら手術を行うことで、非開胸、非開腹により手術を行うことができ、手術に伴う患者の身体的負担の軽減が図られている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
低侵襲手術のように内視鏡を用いた手術を行う場合には、メスや鉗子等の術具として透明術具を用いることが考えられる。術具が透明であれば、その奥側に位置している臓器等の観察対象物の視認性が向上し望ましい。【０００５】
しかしながら、透明術具を用いると、術者等の観察者が撮像画像内における術具の位置を確認し難く、返って手術が困難となってしまう虞がある。【０００６】
そこで、本技術では上記の問題点を克服し、例えば透明術具等の透明な対象物を用いた作業についての作業効率を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
第１に、本技術に係る画像処理装置は、第一波長帯の光に対して透明で第二波長帯による光に対して不透明な対象物を撮像して得られる撮像画像として、前記第一波長帯による光を選択的に受光して得られた前記撮像画像を第一撮像画像、前記第二波長帯による光を選択的に受光して得られた前記撮像画像を第二撮像画像としたときに、前記第二撮像画像に基づいて前記対象物が存在する画像領域を対象領域として検出する対象検出部と、前記対象検出部が検出した前記対象領域の情報に基づいて前記第一撮像画像に前記対象物の輪郭を重畳する輪郭重畳部とを備えるものである。【０００８】
上記のように第一撮像画像に対象物の輪郭を重畳することで、対象物の奥側を視認可能としつつ対象物の位置を視認可能な撮像画像が得られる。【０００９】
第２に、上記した本技術に係る画像処理装置においては、前記対象検出部は、前記第二撮像画像と前記第一撮像画像とに基づいて前記対象領域を検出することが望ましい。
これにより、対象物が透明に映し出される画像と対象物が不透明に映し出される画像とに基づいて対象領域の検出が行われる。【００１０】
第３に、上記した本技術に係る画像処理装置においては、前記対象検出部は、前記第二撮像画像と前記第一撮像画像のそれぞれについてエッジ抽出を行って前記第二撮像画像に基づく第二エッジ画像と前記第一撮像画像に基づく第一エッジ画像とを生成し、前記第二エッジ画像と前記第一エッジ画像のそれぞれに対し前記対象物のテンプレートを用いたテンプレートマッチングを行い、前記第二エッジ画像に対する前記テンプレートマッチングによって検出された画像領域のうち、前記第一エッジ画像に対する前記テンプレートマッチングにより検出された画像領域と重複しない画像領域を前記対象領域として検出することが望ましい。
これにより、第二撮像画像に対するテンプレートマッチングで誤検出された画像領域を除外することが可能とされる。【００１１】
第４に、上記した本技術に係る画像処理装置においては、前記対象検出部は、前記第二撮像画像と、前記第一波長帯内の異なる波長帯による光をそれぞれ選択的に受光して得られた複数の前記第一撮像画像についてエッジ抽出を行って、前記第二撮像画像に基づく第二エッジ画像と複数の前記第一撮像画像に基づく複数の第一エッジ画像とを生成し、生成したエッジ画像のそれぞれに対し前記テンプレートマッチングを行い、前記第二エッジ画像に対する前記テンプレートマッチングにより検出された画像領域のうち、前記複数の第一エッジ画像に対する前記テンプレートマッチングによりそれぞれ検出された画像領域の何れとも重複しない画像領域を前記対象領域として検出することが望ましい。
第一波長帯内の異なる波長帯による光をそれぞれ選択的に受光して得られた複数の第一撮像画像についてテンプレートマッチングを行うことで、可視光画像側において対象物と形状が類似している対象物以外の部分がより検出され易くなる。【００１２】
第５に、上記した本技術に係る画像処理装置においては、前記第二波長帯による光を選択的に受光する撮像素子を用いて前記対象物をステレオ撮像して得られた左目画像、右目画像をそれぞれ左目側第二撮像画像、右目側第二撮像画像としたときに、前記対象検出部は、前記左目側第二撮像画像と前記右目側第二撮像画像との間の視差に基づき算出した距離の情報に基づいて前記対象領域を検出することが望ましい。
このように距離の情報を用いることによっても、対象領域の検出が可能とされる。【００１３】
第６に、上記した本技術に係る画像処理装置においては、前記対象検出部は、前記第二撮像画像と前記第一撮像画像のそれぞれについて算出した前記距離の情報に基づいて前記第二撮像画像についての距離画像と前記第一撮像画像についての距離画像とを生成し、前記第二撮像画像についての距離画像と前記第一撮像画像についての距離画像との差分画像を生成し、前記差分画像に基づいて前記対象領域を検出することが望ましい。
上記のように第二撮像画像についての距離画像と第一撮像画像についての距離画像との差分画像を生成することで、当該差分画像には対象物が存在する画像領域のみが抽出される。【００１４】
第７に、上記した本技術に係る画像処理装置においては、前記対象検出部は、複数のフレーム画像について行った前記対象領域の検出結果に基づき、前記輪郭重畳部による前記輪郭の重畳に用いる前記対象領域を決定することが望ましい。
これにより、一時的なノイズ等の影響で対象物以外の物体が映し出された部分が対象領域として誤検出されたとしても、その影響が輪郭重畳に反映されない。【００１５】
第８に、上記した本技術に係る画像処理装置においては、前記第一撮像画像内における前記対象領域を対象として前記対象物により生じる光学歪を補正する光学歪補正部を備えることが望ましい。
これにより、第一撮像画像内における対象領域に生じる光学歪が補正される。【００１６】
第９に、上記した本技術に係る画像処理装置においては、前記対象検出部は、前記第二撮像画像に基づいて前記対象物の種類を同定し、前記光学歪補正部は、前記対象検出部が同定した前記対象物の種類に応じた補正特性により前記光学歪を補正することが望ましい。
これにより、対象物の種類に応じた適切な補正特性による光学歪補正が実現される。【００１７】
第１０に、上記した本技術に係る画像処理装置においては、前記第二波長帯による光を選択的に受光する撮像素子を用いて前記対象物をステレオ撮像して得られた左目画像、右目画像をそれぞれ左目側第二撮像画像、右目側第二撮像画像としたときに、前記対象検出部は、前記左目側第二撮像画像と前記右目側第二撮像画像とに基づいて前記対象物についての三次元位置情報を生成し、前記三次元位置情報に基づいて前記対象物の姿勢を検出し、前記光学歪補正部は、前記対象検出部が検出した前記対象物の姿勢に応じた補正特性により前記光学歪を補正することが望ましい。
これにより、対象物の姿勢に応じた適切な補正特性による光学歪補正が実現される。【００１８】
第１１に、上記した本技術に係る画像処理装置においては、前記光学歪補正部は、前記対象物の距離に応じた補正特性により前記光学歪を補正することが望ましい。
これにより、対象物の距離に応じた適切な補正特性による光学歪補正が実現される。
【発明の効果】
【００１９】
本技術によれば、例えば透明術具等の透明な対象物を用いた作業についての作業効率を向上させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２０】
【図１】実施の形態で前提とする低侵襲手術と透明術具についての説明図である。
【図２】第１の実施の形態の撮像装置の内部構成について説明するためのブロック図である。
【図３】第１の実施の形態の撮像装置が備える撮像素子の構造についての説明図である。
【図４】第１の実施の形態の撮像装置が備える信号処理部（画像処理装置）の内部構成について説明するためのブロック図である。
【図５】輪郭画像が重畳された後の可視光画像を例示した図である。
【図６】第１の実施の形態の画像処理装置が用いる光学歪情報ＤＢの情報内容についての説明図である。
【図７】第１の実施の形態に係る画像処理装置の動作をソフトウエアにより実現する場合の構成と処理手順についての説明図である。
【図８】第２の実施の形態の撮像装置の内部構成について説明するためのブロック図である。
【図９】赤外光画像と可視光画像の双方を用いた術具領域の検出を行う意義についての説明図である。
【図１０】第３の実施の形態の撮像装置の内部構成について説明するためのブロック図である。
【図１１】三次元位置情報についての説明図である。
【図１２】第３の実施の形態の画像処理装置が用いる光学歪情報ＤＢの情報内容についての説明図である。
【発明を実施するための形態】
【００２１】
以下、実施の形態を次の順序で説明する。
＜１．第１の実施の形態＞
（1-1．前提）
（1-2．撮像装置の全体構成）
（1-3．信号処理部について）
（1-4．プログラムについて）
（1-5．まとめ及び効果）
＜２．第２の実施の形態＞
（2-1．構成及び動作）
（2-2．まとめ及び効果）
＜３．第３の実施の形態＞
（3-1．構成及び動作）
（3-2．まとめ及び効果）
＜４．変形例＞
＜５．本技術＞
【００２２】
＜１．第１の実施の形態＞
（1-1．前提）
図１は、本実施の形態で前提とする低侵襲手術と透明術具についての説明図である。
図１Ａに示すように、本実施の形態で前提とする低侵襲手術では、患者Ｈの体内に術具Ｊと後述する撮像装置１の硬性鏡（内視鏡）１ａとが挿入される。この図では、術具Ｊとして術具Ｊ１と術具Ｊ２の二種が体内に挿入された場合を例示している。術具Ｊと硬性鏡１ａの体内への挿入はそれぞれ患者Ｈに施された低侵襲切開を通じて行われる。
【００２３】
術具Ｊは、例えばメスや鉗子等の手術用のツールであり、本実施の形態ではいわゆる透明術具が用いられている。透明術具とは、可視光に対して透明な術具を意味する。
【００２４】
図１Ｂは、図１Ａに示したような術具Ｊと硬性鏡１ａの挿入を行った場合に硬性鏡１ａを介して得られる撮像画像を模式的に示している。
この場合、撮像の視野内においては臓器等の体内物Ｘの手前側に術具Ｊ１と術具Ｊ２が存在するが、これら術具Ｊ１及び術具Ｊ２は透明術具とされているため撮像画像中ではこれら術具Ｊ１及び術具Ｊ２は完全には映し出されず、術具Ｊ１、術具Ｊ２の奥側にそれぞれ体内物Ｘが透けて見えている。
【００２５】
術具Ｊの奥側が透けて見えることで体内物Ｘの視認性が向上し、手術の容易性の向上に繋がるが、前述のように透明術具は撮像画像内における位置を確認し難く、返って手術が困難となってしまう虞がある。
【００２６】
そこで、本実施の形態では、術具Ｊの奥側を視認可能としつつ術具Ｊの位置を視認可能とした撮像画像を提供することで、透明術具を用いた手術作業についての作業効率の向上を図り、手術の容易性を向上させる。
【００２７】
このために、本実施の形態では、術具Ｊとして可視光に対して透明で赤外光に対して不透明とされた術具を用いる。
具体的に、本例における術具Ｊは、可視光を透過するが赤外光を反射又は吸収するフィルムで覆われて形成されている。このようなフィルムの例としては、例えば３Ｍ社製「マルチレイヤー  Nanoシリーズ」等を挙げることができる。
なお、術具Ｊは、可視光を透過するが赤外光を反射又は吸収するガラス材料で形成することもできる。このようなガラスの例としては、下記のｗｅｂページに示される製品（セントラル硝子社製）等を挙げることができる。
・http://www.cg-glass.jp/pro/sub_technique/pdf/180-181.pdf
【００２８】
（1-2．撮像装置の全体構成）
図２は、第１の実施の形態としての撮像装置１の内部構成を示したブロック図である。
なお、図１では撮像装置１により得られた撮像画像を表示するための表示装置２も併せて示している。
撮像装置１は、第１の実施の形態としての画像処理装置を備えて構成された撮像装置である。
【００２９】
撮像装置１は、硬性鏡１ａと本体部１ｂとを有する。
硬性鏡１ａ内には、光ファイバ１２、照明光学系１３、左目光学系１４−Ｌ、右目光学系１４−Ｒ、撮像素子１５−Ｌ、撮像素子１５−Ｒが設けられている。本体部１ｂ内には、第一光源１１−１、第二光源１１−２、信号処理部１６、表示制御部１７、端子Ｔｄが設けられている。
【００３０】
第一光源１１−１は可視光を発光する。本例の場合、第一光源１１−１は白色光を発光する。
第二光源１１−２は赤外光を発光する。
【００３１】
第一光源１１−１より発せられた可視光、第二光源１１−２により発せられた赤外光は共に光ファイバ１２を通じて照明光学系１３に入射する。
照明光学系１３は光ファイバ１２を介して入射された可視光及び赤外光を観察対象としての被写体に照射する。
【００３２】
左目光学系１４Ｌ、右目光学系１４Ｒは、立体視画像の提示を実現するための左目画像ＧＬ、右目画像ＧＲを生成するために設けられている。
左目光学系１４Ｌは、被写体からの光を集光して撮像素子１５−Ｌの撮像面に結像させる。右目光学系１４−Ｒは被写体からの光を集光して撮像素子１５−Ｒの撮像面に結像させる。
【００３３】
本例において、撮像素子１５−Ｌ及び撮像素子１５−Ｒは、可視光と赤外光の同時受光を可能とするために図３に示す構造を有している。
撮像素子１５−Ｌ、撮像素子１５−Ｒのそれぞれにおいては、水平方向２画素×垂直方向２画素の計４画素が一つのユニットＵを構成している。この場合のユニットＵは、赤色光を選択的に透過する波長フィルタが形成された画素（図中「Ｒ」と表記）と、緑色光を選択的に透過する波長フィルタが形成された画素（図中「Ｇ」と表記）と、青色光を選択的に透過する波長フィルタが形成された画素（図中「Ｂ」と表記）と、赤外光を選択的に透過する波長フィルタが形成された画素（図中「ＩＲ」と表記）とで成る。
撮像素子１５−Ｌ及び撮像素子１５−Ｒにおいては、このようなユニットＵが水平方向及び垂直方向に複数配列されている。
これにより、撮像素子１５−Ｌ、撮像素子１５−Ｒのそれぞれにおいては、赤色光、緑色光、青色光、赤外光がそれぞれ撮像面上の異なる位置で選択的に受光される。
【００３４】
図２に戻り、撮像素子１５−Ｌにより得られる撮像画像信号を「撮像画像信号ｇＬ」、撮像素子１５−Ｒにより得られる撮像画像信号を「撮像画像信号ｇＲ」と表記する。
撮像画像信号ｇＬ及び撮像画像信号ｇＲは信号処理部１６に入力される。
【００３５】
信号処理部１６は、撮像画像信号ｇＬに基づき左目画像ＧＬを、撮像画像信号ｇＲに基づき右目画像ＧＲをそれぞれ生成する。
信号処理部１６は、第１の実施の形態の画像処理装置に相当するものであるが、その内部構成については後述する。
【００３６】
表示制御部１７は、端子Ｔｄを介して接続された表示装置２に左目画像ＧＬと右目画像ＧＲを立体視が実現されるように表示させる制御を行う。
本例において、表示装置２は、例えばレンチキュラー方式によって立体視画像を提示するディスプレイとされ、表示制御部１７はレンチキュラー方式に対応した表示制御を行う。
【００３７】
（1-3．信号処理部について）
図４は、信号処理部１６の内部構成について説明するためのブロック図である。
なお、この図では信号処理部１６の内部構成のうち左目画像ＧＬの生成に係る構成のみを抽出して示しているが、左側画像ＧＬの生成に係る構成と右目画像ＧＲの生成に係る構成は同様であることから、ここでは重複説明を避けるため右目画像ＧＲの生成に係る構成の図示は省略している。
【００３８】
信号処理部１６内には、可視・赤外画像生成処理部２１Ｌ、光学歪補正処理部２２Ｌ、重畳処理部２３Ｌ、術具検出処理部２４Ｌ、輪郭画像生成処理部２５Ｌ、及びメモリ２６が設けられている。
【００３９】
可視・赤外画像生成処理部２１Ｌは、撮像素子１５−Ｌより入力された撮像画像信号ｇＬに基づき、可視光画像と赤外光画像を生成する。本例の場合、可視光画像は、画素ごとに赤色光、緑色光、青色光についての各輝度値が対応づけられたカラー画像である。赤外光画像は、画素ごとに赤外光についての輝度値が対応づけられた画像である。
可視・赤外画像生成処理部２１Ｌは、撮像画像信号ｇＬについてデモザイク処理を行って可視光画像と赤外光画像を生成する。デモザイク処理は、撮像素子１５−Ｌ上の水平方向＝ｉ番目、垂直方向＝ｊ番目の位置にある画素について、その画素の波長フィルタを介して受光される波長帯以外の他の各波長帯の輝度値を、その画素の近傍に配される同波長帯の光を透過する波長フィルタが形成された画素の輝度値を用いて補間する（例えば線形補間等）ものである。例えば（ｉ，ｊ）の画素が赤色光を受光する画素であれば、赤色以外の緑色、青色、赤外光についての輝度値を（ｉ，ｊ）の画素の近傍に位置するそれぞれ同波長帯の光を透過する波長フィルタが形成された画素の輝度値を用いて補間する。
このようなデモザイク処理により、画素ごとに赤色光、緑色光、青色光及び赤外光についての各輝度値が取得される。
可視・赤外画像生成処理部２１Ｌは、画素ごとに赤色光、緑色光、青色光についての各輝度値を有する画像を可視光画像として出力する。また可視・赤外画像生成処理部２１Ｌは、画素ごとに赤外光についての輝度値を有する画像を赤外光画像として出力する。
【００４０】
可視・赤外画像生成処理部２１Ｌより出力された可視光画像は、光学歪補正処理部２２Ｌ及び重畳処理部２３Ｌを介して左目画像ＧＬとして図１に示した表示制御部１７に出力される。
なお、光学歪補正処理部２２Ｌ、重畳処理部２３Ｌについては後述する。
【００４１】
一方、可視・赤外画像生成処理部２１Ｌより出力された赤外光画像は、術具検出処理部２４Ｌに入力される。
術具検出処理部２４Ｌは、入力された赤外光画像に基づいて術具Ｊが存在する画像領域を術具領域Ａｊとして検出する。また術具検出処理部２４Ｌは、術具Ｊの種類を同定する。
【００４２】
本実施の形態の術具検出処理部２４Ｌは、術具領域Ａｊの検出及び術具Ｊの種類の同定を以下のように行う。
先ず、入力された赤外光画像に対しエッジ抽出（エッジ検出）を行う。次いで、エッジ抽出後の画像を対象として、テンプレートマッチングにより術具領域Ａｊを検出する。すなわち、術具Ｊのテンプレートに表されたエッジ形状に対する類似度が所定値以上であるエッジ形状を有する画像領域を術具領域Ａｊとして検出する。この場合のテンプレートマッチングとしては、術具Ｊの全体形状（輪郭）に基づくもの、術具Ｊの一部の特徴的な形状に基づくもの等を挙げることができる。
本例の場合、術具Ｊとしては複数の種類が使用されることを想定しているため、上記のテンプレートとしては術具Ｊの種類ごとに用意しておき、それら全てのテンプレートを用いてマッチングを行い、術具領域Ａｊを検出する。
【００４３】
なお、術具Ｊの位置が奥行き方向（撮像方向に平行な方向）に変化することが想定される場合すなわち撮像画像内において術具Ｊの大きさが異なることが想定される場合には、テンプレートとして縮尺の異なる複数のテンプレートを用意しておき、それらの各テンプレートを用いたマッチングを行って術具領域Ａｊを検出すればよい。
【００４４】
本実施の形態の場合、各テンプレートには、術具Ｊの種類を表す術具ＩＤの情報が紐付けられている。術具検出処理部２４Ｌは、検出された術具領域Ａｊについての術具Ｊの種類の同定を、その術具領域Ａｊの検出時に用いたテンプレートに紐付けられている術具ＩＤを取得することで行う。
【００４５】
輪郭画像生成処理部２５Ｌには、術具検出処理部２４Ｌによって検出された術具領域Ａｊの情報が入力される。輪郭画像生成処理部２５Ｌは、術具領域Ａｊの輪郭Ｓｊを表した輪郭画像を生成し、重畳処理部２３Ｌに出力する。
【００４６】
重畳処理部２３Ｌは、光学歪補正部２２Ｌを介して入力された可視光画像に対して輪郭画像生成処理部２５Ｌより入力された輪郭画像を重畳する。
【００４７】
図５は、重畳処理部２３Ｌによって輪郭画像が重畳された後の可視光画像を例示している。
図５では、撮像の視野内に術具Ｊ１と術具Ｊ２とが存在していた場合を例示している。この場合、術具領域Ａｊとしては、術具Ｊ１が存在する画像領域である術具領域Ａｊ１と術具Ｊ２が存在する画像領域である術具領域Ａｊ２とが検出される。そして、輪郭画像としては、これら術具領域Ａｊ１と術具領域Ａｊ２のそれぞれの輪郭（図中Ｓｊ１、Ｓｊ２）を表した輪郭画像が生成され、当該輪郭画像が可視光画像に対して重畳される。
【００４８】
ここで、前述のように術具Ｊは可視光に対して透明であるため、可視光画像においては術具Ｊの奥側に体内物Ｘが透けて見える。一方で、上記の輪郭画像が重畳されることにより、可視光画像において術具Ｊの位置を視認することが可能となる。
従って、上記のように可視光画像に術具Ｊの輪郭を重畳することで、術具Ｊの奥側を視認可能としつつ術具Ｊの位置を視認可能な撮像画像が得られる。
【００４９】
なお、上記により説明した術具検出処理部２４Ｌによる術具領域Ａｊの検出と術具Ｊの種類の同定の各処理、及び輪郭画像生成処理部２５Ｌによる輪郭画像の生成処理、及び重畳処理部２３Ｌによる輪郭画像の重畳処理は各フレーム画像について行われるものである。
【００５０】
図４に戻り、光学歪補正処理部２２Ｌには、術具検出処理部２４Ｌにより検出された術具領域Ａｊの情報と術具ＩＤとが入力される。
光学歪補正処理部２２Ｌは、可視光画像における術具領域Ａｊを対象として、術具Ｊの種類に応じた補正特性により光学歪補正を行う。なお、この場合における光学歪とは、透明術具としての術具Ｊによって生じる光学的な歪を意味する。
【００５１】
ここで、透明術具としての術具Ｊを用いることによっては前述のように術具Ｊの奥側が透けて見えることによる視認性の向上が図られるが、光学歪によって術具Ｊの奥側に存在する体内物Ｘの詳細を視認できなくなる虞がある。そこで、上記のように術具Ｊによって生じる光学歪の補正を行うものである。
【００５２】
メモリ２６は、光学歪補正処理部２２Ｌが読み出し可能なメモリであり、光学歪情報ＤＢ（データベース）２６ａが格納されている。
図６に示すように、光学歪特性情報ＤＢ２６ａにおいては、術具ＩＤごとに光学歪特性情報が対応づけられている。本例の場合、光学歪特性情報は関数により光学歪特性を表現した情報とされている。
【００５３】
図４において、光学歪補正処理部２２Ｌは、光学歪情報ＤＢ２６ａに格納された光学歪特性情報のうち入力された術具ＩＤと同一の術具ＩＤが対応づけられている光学歪特性情報を取得し、取得した光学歪特性情報に基づいて可視光画像における術具領域Ａｊを対象とした光学歪補正を行う。すなわち、取得した光学歪特性情報に基づき、光学歪がキャンセルされるように補正を行う。具体的に、本例においては、取得した光学歪特性情報としての関数の逆関数を用いて光学歪補正を行う。
【００５４】
光学歪補正が行われることで、術具Ｊの奥側に位置する体内物Ｘの視認性を向上できる。
また、上記のような光学歪補正の処理によれば、術具Ｊの種類に応じた補正特性により光学歪補正が行われる。
【００５５】
なお、メモリ２６と光学歪情報ＤＢ２６ａについては、図示を省略した右目画像ＧＬの生成に係る構成との間で共用することができる。
【００５６】
また、上記により説明した光学歪補正処理部２２Ｌによる光学歪補正処理としても各フレーム画像について行われるものである。
【００５７】
（1-4．プログラムについて）
ここで、上記では本実施の形態に係る画像処理装置の動作をハードウエアにより実現する場合を例示したが、ソフトウエアにより実現することもできる。
図７Ａは、本実施の形態に係る画像処理装置の動作をソフトウエアにより実現する場合に対応した構成を示した図である。
この場合は、信号処理部１６に代えて、例えばＤＳＰ（Digital  Signal  Processor）、又はＣＰＵ（Central  Processing  Unit）を備えたマイクロコンピュータなどの信号処理装置で構成された信号処理部１６'が設けられる。
信号処理部１６'に対しては、メモリ２７が設けられ、メモリ２７内には光学歪情報ＤＢ２６ａとプログラム２８が格納されている。信号処理部１６'は、プログラム２８に従って図７Ｂのフローチャートにより示す処理を実行することで、第１の実施の形態としての画像処理装置の動作を実現する。
【００５８】
図７Ｂにおいて、信号処理部１６'は、可視・赤外画像生成処理（Ｓ１０１）、術具検出処理（Ｓ１０２）、光学歪補正処理（Ｓ１０３）、輪郭画像生成処理（Ｓ１０４）、及び重畳処理（Ｓ１０５）を実行する。
可視・赤外画像生成処理では、入力された撮像画像信号ｇＬと撮像画像信号ｇＲについてそれぞれ可視・赤外画像生成処理部２１Ｌと同様の処理を行って可視光画像と赤外光画像を生成する。
【００５９】
術具検出処理では、撮像画像信号ｇＬ、撮像画像信号ｇＲから生成したそれぞれの赤外光画像（左目側の赤外光画像、右目側の赤外光画像）について、術具検出処理部２４Ｌと同様の処理を行って術具領域Ａｊの検出、及び術具Ｊの種類の同定を行う。
【００６０】
光学歪補正処理では、撮像画像信号ｇＬ、撮像画像信号ｇＲから生成したそれぞれの可視光画像（左目側の可視光画像、右目側の可視光画像）について、術具検出処理で検出した術具領域Ａｊを対象とした光学歪補正を光学歪補正部２２Ｌと同様に術具ＩＤと光学歪情報ＤＢ２６ａとに基づいて術具Ｊの種類に応じて行う。
【００６１】
輪郭画像生成処理では、術具検出処理で検出した左目側、右目側の術具領域Ａｊの情報に基づき、術具Ｊの輪郭画像を左目側、右目側のそれぞれについて生成する。
重畳処理では、輪郭画像生成処理で生成した左目側の輪郭画像を左目側の可視光画像に、右目側の輪郭画像を右目側の可視光画像にそれぞれ重畳する。これにより、左目画像ＧＬ、右目画像ＧＲが得られる。
【００６２】
なお、重畳処理は、光学歪補正処理を実行する前に行うことも可能である。
【００６３】
（1-5．まとめ及び効果）
上記のように第１の実施の形態の信号処理部１６（画像処理装置）は、可視光（第一波長帯の光）に対して透明で赤外光（第二波長帯による光）に対して不透明な術具Ｊ（対象物）を撮像して得られる撮像画像として、可視光を選択的に受光して得られた撮像画像を可視光画像（第一撮像画像）、赤外光を選択的に受光して得られた撮像画像を赤外光画像（第二撮像画像）としたときに、赤外光画像に基づいて術具Ｊが存在する画像領域を術具領域Ａｊ（対象領域）として検出する術具検出処理部２４Ｌ（対象検出部）と、術具検出処理部２４Ｌが検出した術具領域Ａｊの情報に基づいて可視光画像に術具Ｊの輪郭を重畳する重畳処理部２３Ｌ（輪郭重畳部）とを備えている。
【００６４】
上記のように可視光画像に術具Ｊの輪郭を重畳することで、術具Ｊの奥側を視認可能としつつ術具Ｊの位置を視認可能な撮像画像が得られる。
従って、透明な術具Ｊを用いて行われる手術作業の作業効率を向上させて手術の容易性を向上でき、より安全な手術の実現を図ることができる。
【００６５】
また、第１の実施の形態の信号処理部１６は、可視光画像内における術具領域Ａｊを対象として術具Ｊにより生じる光学歪を補正する光学歪補正処理部２２Ｌ（光学歪補正部）を備えている。
これにより、可視光画像内における術具領域Ａｊに生じる光学歪が補正される。
従って、術具Ｊの奥側に位置する物体（体内物Ｘ）の視認性をより向上できる。
【００６６】
さらに、第１の実施の形態の信号処理部１６においては、術具検出処理部２４Ｌは、赤外光画像に基づいて術具Ｊの種類を同定し、光学歪補正処理部２２Ｌは、術具検出処理部２４Ｌが同定した術具Ｊの種類に応じた補正特性により光学歪を補正している。
これにより、術具Ｊの種類に応じた適切な補正特性による光学歪補正が実現される。
従って、術具Ｊの種類に依らず、術具Ｊの奥側に位置する物体の視認性を向上できる。
【００６７】
＜２．第２の実施の形態＞
（2-1．構成及び動作）
図８は、第２の実施の形態の撮像装置の内部構成について説明するためのブロック図である。
なお、第２の実施の形態の撮像装置は第１の実施の形態の撮像装置１と比較して信号処理部１６に代えて信号処理装置１６Ａが設けられた点のみが異なり、他の部分の構成は同様とされている。このため、図８では信号処理部１６Ａの内部構成のみを示している。
第２の実施の形態においても、右側画像ＧＲの生成に係る構成は左目画像ＧＬの生成に係る構成と同様であることから、ここでは左目画像ＧＬの生成に係る構成のみを示し、重複説明を避ける。
以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
【００６８】
信号処理部１６Ａは、信号処理部１６と比較して、術具検出処理部２４Ｌに代えて術具検出処理部２４ＡＬが設けられた点が異なる。
術具検出処理部２４ＡＬには、可視・赤外画像生成処理部２１Ｌが生成した赤外光画像のみでなく可視光画像も入力される。術具検出処理部２４ＡＬは、赤外光画像と可視光画像とに基づいて術具領域Ａｊの検出及び術具Ｊの種類の同定を行う。
【００６９】
具体的に、術具検出処理部２４ＡＬは、赤外光画像と可視光画像のそれぞれについてエッジ抽出を行って赤外光画像に基づくエッジ画像（以下「赤外エッジ画像Ｇｉｒ」と表記）と可視光画像に基づくエッジ画像（以下「可視エッジ画像Ｇｖ」と表記）とを生成する。次いで、赤外エッジ画像Ｇｉｒと可視エッジ画像Ｇｖのそれぞれに対し、術具Ｊのテンプレートを用いたテンプレートマッチングを第１の実施の形態の場合と同様に行う。
その上で、赤外エッジ画像Ｇｉｒに対するテンプレートマッチングによって検出された画像領域のうち、可視エッジ画像Ｇｖに対するテンプレートマッチングにより検出された画像領域と重複しない画像領域を術具領域Ａｊとして検出する。
【００７０】
ここで、術具Ｊは赤外光に対して不透明とされているため、第１の実施の形態のように赤外光画像のみに基づいて術具領域Ａｊを検出することは十分に可能である。
しかしながら、例えば被写体とされる体内物Ｘの種類や撮像環境等によっては、赤外光画像中において術具Ｊと形状が類似している術具Ｊ以外の部分が映し出される可能性が皆無ではなく、赤外光画像のみに基づきテンプレートマッチングによる術具領域Ａｊの検出を行っていると術具Ｊ以外の部分が術具領域Ａｊとして誤検出されてしまう場合も想定され得る。
【００７１】
そこで、第２の実施の形態では、上記のように可視光画像も用いて術具領域Ａｊの検出を行っている。
図９は、赤外光画像と可視光画像の双方を用いた術具領域Ａｊの検出を行う意義についての説明図であり、図９Ａは赤外エッジ画像Ｇｉｒ、図９Ｂは可視エッジ画像Ｇｖを示している。
図９Ａに示すように、この場合の赤外エッジ画像Ｇｉｒにおいては、術具Ｊ（図中斜線部）と術具Ｊと形状が類似している術具Ｊ以外の部分（図中「Ｉ１'」「Ｉ２'」）とが映し出されている。この場合、赤外エッジ画像Ｇｉｒに対してテンプレートマッチングを行うと、これら双方の画像領域が術具領域Ａｊとして検出されてしまう。
但し、術具Ｊと形状が類似している術具Ｊ以外の部分Ｉ１'、Ｉ２'は、術具Ｊのように赤外光に対して不透明とされた部分ではないことから、赤外光画像側のみでなく可視光画像側にも映し出される可能性が高い（図９Ｂ参照）。一方、術具Ｊは可視光に対して透明とされているので、可視エッジ画像Ｇｖに対して行ったテンプレートマッチングにより術具Ｊが存在する画像領域が検出されることはない。
従って、この場合の可視エッジ画像Ｇｖについてテンプレートマッチングを行うと、部分Ｉ１'、Ｉ２'の画像領域のみが検出される可能性が高い。
【００７２】
この点に鑑み第２の実施の形態では、上記のように赤外エッジ画像Ｇｉｒに対するテンプレートマッチングによって検出された画像領域のうち、可視エッジ画像Ｇｖに対するテンプレートマッチングにより検出された画像領域と重複しない画像領域を術具領域Ａｊとして検出するようにしている。これにより、術具領域Ａｊの検出精度を向上させることができる。
【００７３】
ここで、本例においては、可視光画像はカラー画像とされるため、赤色、緑色、青色の各色の画像で構成されていると換言できる。このとき、部分Ｉ１'、Ｉ２'は、或る色の画像には映し出されるが別の色の画像には映し出されない可能性がある。
そこで、可視光画像側のテンプレートマッチングについては複数の色の画像について行う。具体的に、本例においては、赤色画像、緑色画像、青色画像のそれぞれについてエッジ抽出を行って赤色画像、緑色画像、青色画像に基づく赤色エッジ画像Ｇｖｒ、緑色エッジ画像Ｇｖｇ、青色エッジ画像Ｇｖｂをそれぞれ生成し、これら赤色エッジ画像Ｇｖｒ、緑色エッジ画像Ｇｖｇ、青色エッジ画像Ｇｖｂのそれぞれに対し術具Ｊのテンプレートを用いたテンプレートマッチングを行う。そして、赤外エッジ画像Ｇｉｒに対するテンプレートマッチングにより検出された画像領域のうち、赤色エッジ画像Ｇｖｒ、緑色エッジ画像Ｇｖｇ、青色エッジ画像Ｇｖｂに対するテンプレートマッチングによりそれぞれ検出された画像領域の何れとも重複しない画像領域を術具領域Ａｊとして検出する。
【００７４】
赤色、緑色、青色としての可視光帯におけるそれぞれ異なる波長帯の光を選択的に受光して得られたそれぞれの画像についてテンプレートマッチングを行うことで、可視光画像側において部分Ｉ１'、Ｉ２'がより検出され易くなる。
従って、これら赤色、緑色、青色の複数の画像についてのテンプレートマッチングで検出された画像領域と重複しない画像領域を術具領域Ａｊとして検出することで、術具領域Ａｊの検出精度をより向上させることができる。
【００７５】
なお、上記では可視光画像を構成する赤色画像、緑色画像、青色画像の全て対してテンプレートマッチングを行った結果を用いることとしたが、これら赤色、緑色、青色の画像のうち少なくとも二以上の色の画像についてテンプレートマッチングを行った結果を用いれば、一色の画像についてテンプレートマッチングを行う場合よりも部分Ｉ１'、Ｉ２'が検出される可能性を上げることができ、術具領域Ａｊの検出精度を向上させることができる。
【００７６】
ここで、第２の実施の形態においても、術具Ｊの種類の同定は、第１の実施の形態と同様に術具Ｊのテンプレートに術具ＩＤを紐付けておくことで行う。
【００７７】
なお、上記により説明した信号処理部１６Ａの動作についても、第１の実施の形態の場合と同様にソフトウエアにより実現することができる。
その場合、図７Ｂに示したステップＳ１０２の術具検出処理として、上記で説明した術具検出処理部２４ＡＬの処理を実行すればよい。
【００７８】
（2-2．まとめ及び効果）
上記のように第２の実施の形態の信号処理部１６Ａ（画像処理装置）においては、術具検出処理部２４ＡＬ（対象検出部）は、赤外光画像（第二撮像画像）と可視光画像（第一撮像画像）とに基づいて術具領域Ａｊ（対象領域）を検出している。
これにより、術具Ｊ（対象物）が透明に映し出される画像と術具Ｊが不透明に映し出される画像とに基づいて術具領域Ａｊの検出が行われる。
従って、術具領域Ａｊの検出精度を向上させることができる。
【００７９】
また、第２の実施の形態の信号処理部１６Ａにおいては、術具検出処理部２４ＡＬは、赤外光画像と可視光画像のそれぞれについてエッジ抽出を行って赤外エッジ画像Ｇｉｒ（第二エッジ画像）と可視エッジ画像Ｇｖ（第一エッジ画像）とを生成し、赤外エッジ画像Ｇｉｒと可視エッジ画像Ｇｖのそれぞれに対し術具Ｊのテンプレートを用いたテンプレートマッチングを行い、赤外エッジ画像Ｇｉｒに対するテンプレートマッチングによって検出された画像領域のうち、可視エッジ画像Ｇｖに対するテンプレートマッチングにより検出された画像領域と重複しない画像領域を術具領域Ａｊとして検出している。
これにより、赤外光画像側のテンプレートマッチングで誤検出された画像領域（部分Ｉ１'、Ｉ２'が映し出された画像領域）を除外することが可能とされる。
従って、術具領域Ａｊの検出精度を向上させることができる。
【００８０】
さらに、第２の実施の形態の信号処理部１６Ａにおいては、術具検出処理部２４ＡＬは、赤外光画像と、赤色画像、緑色画像、青色画像のうちの複数の画像（第一波長帯内の異なる波長帯による光をそれぞれ選択的に受光して得られた複数の第一撮像画像）についてエッジ抽出を行って、赤外エッジ画像Ｇｉｒ（第二エッジ画像）と赤色画像、緑色画像、青色画像のうちの複数の画像に基づくエッジ画像（複数の第一エッジ画像）とを生成し、生成したエッジ画像のそれぞれに対しテンプレートマッチングを行い、赤外エッジ画像Ｇｉｒに対するテンプレートマッチングにより検出された画像領域のうち、赤色画像、緑色画像、青色画像のうちの複数の画像に基づくエッジ画像に対するテンプレートマッチングによりそれぞれ検出された画像領域の何れとも重複しない画像領域を術具領域Ａｊとして検出している。
赤色画像、緑色画像、青色画像のうちの複数の画像についてテンプレートマッチングを行うことで、可視光画像側において術具Ｊと形状が類似している術具Ｊ以外の部分（Ｉ１'、Ｉ２'）がより検出され易くなる。
従って、術具領域Ａｊの検出精度をより向上させることができる。
【００８１】
＜３．第３の実施の形態＞
（3-1．構成及び動作）
図１０は、第３の実施の形態の撮像装置の内部構成について説明するためのブロック図である。
なお、第３の実施の形態の撮像装置は第２の実施の形態の撮像装置と比較して信号処理部１６Ａに代えて信号処理装置１６Ｂが設けられた点のみが異なり、他の部分の構成は同様とされている。このため、図１０では信号処理部１６Ｂの内部構成のみを示している。第３の実施の形態においても、右側画像ＧＲの生成に係る構成は左目画像ＧＬの生成に係る構成と同様であることから、ここでは左目画像ＧＬの生成に係る構成のみを示し（可視・赤外画像生成処理部２１Ｒは除く）、重複説明を避ける。
【００８２】
信号処理部１６Ｂは、信号処理部１６Ａと比較して、術具検出処理部２４ＡＬに代えて術具検出処理部２４ＢＬが、光学歪補正処理部２２Ｌに代えて光学歪補正処理部２２ＡＬが設けられた点と、メモリ２６に対して光学歪情報ＤＢ２６ａではなく光学歪情報ＤＢ２６ａＡが格納されている点が異なる。
図のように術具検出処理部２４ＢＬには、可視・赤外画像生成処理部２１Ｌが生成した赤外光画像と可視光画像が入力されると共に、可視・赤外画像生成処理部２１Ｒが生成した赤外光画像が入力される。可視・赤外画像生成処理部２１Ｒは、撮像画像信号ｇＲについて可視・赤外画像生成処理部２１Ｌと同様の処理を行って赤外光画像と可視光画像とを生成する。
なお以下、可視・赤外画像生成処理部２１Ｌが生成した赤外光画像、可視光画像を「左目側赤外光画像」「左目側可視光画像」と表記し、可視・赤外画像生成処理部２１Ｒが生成した赤外光画像、可視光画像を「右目側赤外光画像」「右目側可視光画像」と表記する。
【００８３】
術具検出処理部２４ＢＬは、術具領域Ａｊの検出、術具Ｊの種類の同定、及び術具Ｊの姿勢の検出を行う。
術具領域Ａｊの検出、及び術具Ｊの種類の同定については、左目側赤外光画像と左目側可視光画像とに基づき第２の実施の形態の場合と同様の手法で行う。
検出された術具領域Ａｊの情報は輪郭画像生成処理部２５Ｌと光学歪補正処理部２２ＡＬに、術具Ｊの種類を表す術具ＩＤの情報は光学歪補正処理部２２ＡＬにそれぞれ入力される。
【００８４】
術具Ｊの姿勢の検出は、左目側赤外光画像と右目側赤外光画像とに基づき術具Ｊについての三次元位置情報を生成して行う。
【００８５】
図１１は、三次元位置情報についての説明図である。
図中のｘ軸、ｙ軸は、撮像素子１５−Ｌの撮像面に平行な面内において直交関係にある軸である。ｘ軸は、撮像素子１５−Ｌの水平方向に平行な軸であり、ｙ軸は撮像装置１５の垂直方向に平行な軸であるとする。ｚ軸は、上記撮像面に平行な面に対して直交する軸である。
三次元位置情報は、座標（ｘ、ｙ、ｚ）で表現される位置情報である。すなわち、画像内に映し出された被写体の位置を、画像内における水平方向、垂直方向の位置（ｘ、ｙ）と、実空間上における被写体までの距離（ｚ）とで表現した情報である。
【００８６】
被写体までの距離の情報は、左目側の画像と右目側の画像との間に生じる視差の値から求める。
本例において、術具検出処理部２４ＢＬは、視差の値をいわゆる対応点探索法により求める。すなわち、左目側赤外光画像と右目側赤外光画像とで同一の点とみなすことのできる画像領域を対応点として検出し、対応点ごとに視差を求める。
次いで、術具検出処理部２４ＢＬは、求めた視差の値から距離（ｚ）を算出する。つまり、撮像素子１５−Ｌの画素ピッチや左目光学系１４−Ｌの焦点距離の情報等から視差の値をそれぞれ距離（ｚ）に換算する。
このように左目側赤外光画像と右目側赤外光画像の対応点を検出し、対応点ごとに視差の値から距離を算出することで、対応点ごとに（ｘ、ｙ、ｚ）による三次元位置情報が求まる。三次元位置情報が求まることで、赤外光画像に基づく距離画像（三次元マップ、Depth  Map）が得られる。
【００８７】
術具検出処理部２４ＢＬは、上記のように取得した距離画像中における術具領域Ａｊの三次元位置情報から、術具Ｊの姿勢を検出する。ここで言う姿勢とは、ｘ軸、ｙ軸、ｚ軸の三軸の傾きを意味する。
術具検出処理部２４ＢＬにより検出された姿勢の情報は、光学歪補正処理部２２ＡＬに入力される。
【００８８】
光学歪補正処理部２２ＡＬは、術具検出処理部２４ＢＬより入力された術具ＩＤと姿勢の情報と光学歪情報ＤＢ２６ａＡとに基づき、可視光画像における術具領域Ａｊを対象とした光学歪補正を行う。
【００８９】
図１２に示すように、光学歪情報ＤＢ２６ａＡにおいては、術具ＩＤと姿勢の組み合わせごとに光学歪特性情報が対応づけられている。
光学歪情報ＤＢ２６ａＡの構築にあたっては、光学歪特性情報として、術具Ｊを「レンズ」と見立ててその姿勢ごとの光学歪特性情報を術具Ｊの種類ごとに求めておく。その上で、求めた光学歪特性情報を術具Ｊの種類（術具ＩＤ）と姿勢の組み合わせごとに対応づける。
【００９０】
光学歪補正処理部２２ＡＬは、光学歪情報ＤＢ２６ａＡに格納された光学歪特性情報のうち入力された術具ＩＤと姿勢の情報とで特定される光学歪特性情報を取得し、取得した光学歪特性情報に基づいて可視光画像における術具領域Ａｊを対象として光学歪補正を行う。すなわち、光学歪がキャンセルされるように補正を行う。
これにより、術具Ｊの種類と姿勢とに応じた補正特性による光学歪補正が実現される。
【００９１】
なお、上記により説明した信号処理装置１６Ｂの動作についても、第１の実施の形態の場合と同様にソフトウエアにより実現することができる。
その場合、図７Ａに示したメモリ２７内に光学歪情報ＤＢ２６ａＡを格納しておく。その上で、図７Ｂに示したステップＳ１０２の術具検出処理として、上記で説明した術具検出処理部２４ＢＬの処理を実行し、ステップＳ１０３の光学歪補正処理として上記で説明した光学歪補正処理部２２ＡＬの処理を実行すればよい。
【００９２】
（3-2．まとめ及び効果）
上記のように第３の実施の形態の信号処理部１６Ｂ（画像処理装置）においては、術具検出処理部２４ＢＬ（対象検出部）は、左目側赤外光画像（左目側第二撮像画像）と右目側赤外光画像（右目側第二撮像画像）とに基づいて術具Ｊ（対象物）についての三次元位置情報を生成し、三次元位置情報に基づいて術具Ｊの姿勢を検出している。
そして、光学歪補正処理部２２ＡＬ（光学歪補正部）は、術具検出処理部２４ＢＬが検出した術具Ｊの姿勢に応じた補正特性により光学歪を補正している。
これにより、術具Ｊの姿勢に応じた適切な補正特性による光学歪補正が実現される。
従って、術具Ｊの姿勢に依らず、術具Ｊの奥側に位置する物体の視認性を向上できる。
【００９３】
＜４．変形例＞
なお、本技術は上記で説明した具体例に限定されるべきものではなく、多様な変形例が考えられる。
例えば、上記では、術具領域Ａｊをテンプレートマッチングによって検出する例を挙げたが、術具領域Ａｊは左目側赤外光画像と右目側赤外光画像との間の視差に基づき算出した距離の情報に基づいて検出することもできる。
手術中において、術具Ｊは、通常は体内物Ｘの手前側に位置している。この点を利用し、距離の情報から術具領域Ａｊを検出できる。例えば、前述した距離画像（三次元マップ）において距離が所定の範囲内である画像領域を術具領域Ａｊとして検出するなどの手法を挙げることができる。
このように距離の情報を用いることによっても、術具領域Ａｊの検出が可能となる。
【００９４】
ここで、距離の情報を、テンプレートマッチングによる検出と併せて用いることで、術具領域Ａｊの検出精度の向上を図ることもできる。具体的には、第１の実施の形態や第２の実施の形態で説明したテンプレートマッチングを行って術具Ｊと形状が類似する画像領域を検出した上で、当該画像領域のうち距離が所定の範囲内にあるもののみを術具領域Ａｊとして検出するなどの手法を挙げることができる。
これにより、テンプレートマッチング単体で検出を行う場合よりも術具領域Ａｊの検出精度を向上させることができる。
【００９５】
また、距離の情報を用いた術具領域Ａｊの検出手法としては、赤外光画像と可視光画像のそれぞれについて距離画像を生成し、それら距離画像の差分をとるという手法も挙げることができる。
具体的には、赤外光画像と可視光画像のそれぞれについて距離画像を生成し、赤外光画像についての距離画像と可視光画像についての距離画像との差分画像を生成し、差分画像に基づいて術具領域Ａｊを検出する。
術具Ｊは赤外光画像にのみ映し出され可視光画像には映し出されない。また、術具Ｊは他の被写体に対し手前側に位置している。この点より、上記のように赤外光画像についての距離画像と可視光画像についての距離画像との差分画像を生成することで、当該差分画像には術具Ｊが存在する画像領域のみが抽出される。
従って、当該差分画像に基づいて術具領域Ａｊを適正に検出できる。
【００９６】
また、上記では、フレーム画像ごとに行った術具領域Ａｊの検出結果を逐次輪郭画像生成処理部２５Ｌに出力するすなわち術具Ｊの輪郭重畳に用いる情報として出力する場合を例示したが、これに代えて、複数のフレーム画像について行った術具領域Ａｊの検出結果に基づき、輪郭の重畳に用いる術具領域Ａｊを決定することもできる。例えば、複数のフレーム画像について行った術具領域Ａｊの検出を行った結果、複数回連続して検出された術具領域Ａｊを輪郭の重畳に用いる術具領域Ａｊの情報として出力する。
これにより、一時的なノイズ等の影響で術具Ｊ以外の物体が映し出された部分が術具領域Ａｊとして誤検出されたとしても、その影響が輪郭重畳に反映されない。
従って、術具Ｊの輪郭画像を正しく表示できる。
【００９７】
また、上記では、テンプレートマッチングによる術具領域Ａｊの検出を術具Ｊの形状を基準として行う場合を例示したが、術具Ｊの色の変化等の他の特徴点を基準としてもよいし、或いは形状とその他の特徴点との双方を基準とした検出を行うこともできる。
【００９８】
さらに、上記では、術具領域Ａｊの検出にエッジ抽出後の画像を用いたが、エッジ抽出を行うことは必須ではない。
例えば、赤外光画像のみを用いた検出の例としては、輝度値が所定値よりも大きい（又は小さい）部分を術具領域Ａｊとして検出する手法を挙げることができる。これは、術具Ｊとして赤外光に対する反射率（又は吸収率）が大きいものを用いた場合に好適な手法である。すなわち、赤外光に対する反射率（又は吸収率）が大きければ（又は小さければ）、術具Ｊが映し出された部分の画素値は際だって大きく（又は小さく）なる。従って、上記の検出手法により、術具領域Ａｊを検出することが可能である。
【００９９】
或いは、エッジ抽出を行わない手法としては、赤外光画像と可視光画像との差分画像に基づく検出手法を挙げることができる。赤外光画像と可視光画像との間では、術具Ｊが存在する部分では画像パターンの差が大きく、それ以外の部分では画像パターンの差は少ない。このため、赤外光画像と可視光画像との差分画像においては、術具Ｊが存在する部分の輝度値（差分値）が大きく、それ以外の部分の輝度値が小さくなる。すなわち、赤外光画像と可視光画像との差分画像においては術具Ｊの存在する部分が強調される。従って、当該強調された部分を抽出するすなわち差分画像において輝度値が所定値以上となっている画像領域を抽出すれば、術具領域Ａｊを検出することが可能となる。
【０１００】
また、上記では、赤外光（第二波長帯の光）と可視光（第一波長帯の光）を同じ撮像素子（１５−Ｌ又は１５−Ｒ）により受光する場合を例示したが、別々の撮像素子により受光してもよい。すなわち、赤外光画像を生成するための撮像素子と可視光画像を生成するための撮像素子とを別々に設けてもよい。
【０１０１】
また、上記では、赤外光と可視光を同じ撮像素子で同時に受光する例を挙げたが、赤外光と可視光を時分割で受光することもできる。
その場合、撮像素子としては、赤色光と赤外光を透過する波長フィルタが形成された画素と、緑色光と赤外光を透過する波長フィルタが形成された画素と、青色光と赤外光を透過する波長フィルタが形成された画素が配列されたものを用いる。
その上で、第一光源１１−１による可視光の発光と第二光源１１−２による赤外光の発光を交互に行い、可視光の発光期間と赤外光の発光期間とで撮像素子が撮像画像信号を別々に取得する。
これにより、可視光画像と赤外光画像を時分割取得できる。
上記の時分割取得の手法においては、撮像素子の各画素で赤外光が受光されるため、赤外光画像の生成にあたり補間処理を省略できる。
【０１０２】
また、上記では、光学歪補正を術具Ｊの種類や姿勢に応じた補正特性により行う場合を例示したが、光学歪補正は距離に応じた補正特性により行うこともできる。
具体的には、検出された術具領域Ａｊの距離に応じて補正特性（光学歪特性情報の逆関数）を校正し、校正後の補正特性により術具領域Ａｊを対象とした光学歪補正を行う。
これにより、術具Ｊの距離に応じた適切な補正特性による光学歪補正が実現される。
従って、術具Ｊの距離に依らず、術具Ｊの奥側に位置する物体の視認性を向上できる。
【０１０３】
また、上記では、輪郭重畳や光学歪補正を行う対象が術具Ｊとされた場合を例示したが、本技術は、術具以外の他の対象物について輪郭重畳や光学歪補正を行う場合にも好適に適用できる。術具以外の対象物の例としては、例えば人工の血管や骨など手術中に術具により扱われる物体などを挙げることができる。
術具以外の他の対象物が用いられる場合に本技術を適用した場合にも、透明な対象物を用いた作業についての作業効率を向上させることができる。
【０１０４】
また、上記では、術具Ｊの輪郭重畳と光学歪補正の双方を行う場合を例示したが、光学歪補正のみを行い、輪郭重畳は行わない構成とすることも可能である。
【０１０５】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【０１０６】
＜５．本技術＞
なお、本技術は以下のような構成を採ることもできる。
（１）
第一波長帯の光に対して透明で第二波長帯による光に対して不透明な対象物を撮像して得られる撮像画像として、前記第一波長帯による光を選択的に受光して得られた前記撮像画像を第一撮像画像、前記第二波長帯による光を選択的に受光して得られた前記撮像画像を第二撮像画像としたときに、前記第二撮像画像に基づいて前記対象物が存在する画像領域を対象領域として検出する対象検出部と、
前記対象検出部が検出した前記対象領域の情報に基づいて前記第一撮像画像に前記対象物の輪郭を重畳する輪郭重畳部とを備える
画像処理装置。
（２）
前記対象検出部は、
前記第二撮像画像と前記第一撮像画像とに基づいて前記対象領域を検出する
前記（１）に記載の画像処理装置。
（３）
前記対象検出部は、
前記第二撮像画像と前記第一撮像画像のそれぞれについてエッジ抽出を行って前記第二撮像画像に基づく第二エッジ画像と前記第一撮像画像に基づく第一エッジ画像とを生成し、
前記第二エッジ画像と前記第一エッジ画像のそれぞれに対し前記対象物のテンプレートを用いたテンプレートマッチングを行い、
前記第二エッジ画像に対する前記テンプレートマッチングによって検出された画像領域のうち、前記第一エッジ画像に対する前記テンプレートマッチングにより検出された画像領域と重複しない画像領域を前記対象領域として検出する
前記（１）又は（２）に記載の画像処理装置。
（４）
前記対象検出部は、
前記第二撮像画像と、前記第一波長帯内の異なる波長帯による光をそれぞれ選択的に受光して得られた複数の前記第一撮像画像についてエッジ抽出を行って、前記第二撮像画像に基づく第二エッジ画像と複数の前記第一撮像画像に基づく複数の第一エッジ画像とを生成し、
生成したエッジ画像のそれぞれに対し前記テンプレートマッチングを行い、
前記第二エッジ画像に対する前記テンプレートマッチングにより検出された画像領域のうち、前記複数の第一エッジ画像に対する前記テンプレートマッチングによりそれぞれ検出された画像領域の何れとも重複しない画像領域を前記対象領域として検出する
前記（３）に記載の画像処理装置。
（５）
前記第二波長帯による光を選択的に受光する撮像素子を用いて前記対象物をステレオ撮像して得られた左目画像、右目画像をそれぞれ左目側第二撮像画像、右目側第二撮像画像としたときに、
前記対象検出部は、
前記左目側第二撮像画像と前記右目側第二撮像画像との間の視差に基づき算出した距離の情報に基づいて前記対象領域を検出する
前記（１）乃至（４）の何れかに記載の画像処理装置。
（６）
前記対象検出部は、
前記第二撮像画像と前記第一撮像画像のそれぞれについて算出した前記距離の情報に基づいて前記第二撮像画像についての距離画像と前記第一撮像画像についての距離画像とを生成し、前記第二撮像画像についての距離画像と前記第一撮像画像についての距離画像との差分画像を生成し、前記差分画像に基づいて前記対象領域を検出する
前記（５）に記載の画像処理装置。
（７）
前記対象検出部は、
複数のフレーム画像について行った前記対象領域の検出結果に基づき、前記輪郭重畳部による前記輪郭の重畳に用いる前記対象領域を決定する
前記（１）乃至（６）の何れかに記載の画像処理装置。
（８）
前記第一撮像画像内における前記対象領域を対象として前記対象物により生じる光学歪を補正する光学歪補正部を備える
前記（１）乃至（７）の何れかに記載の画像処理装置。
（９）
前記対象検出部は、
前記第二撮像画像に基づいて前記対象物の種類を同定し、
前記光学歪補正部は、
前記対象検出部が同定した前記対象物の種類に応じた補正特性により前記光学歪を補正する
前記（８）に記載の画像処理装置。
（１０）
前記第二波長帯による光を選択的に受光する撮像素子を用いて前記対象物をステレオ撮像して得られた左目画像、右目画像をそれぞれ左目側第二撮像画像、右目側第二撮像画像としたときに、
前記対象検出部は、
前記左目側第二撮像画像と前記右目側第二撮像画像とに基づいて前記対象物についての三次元位置情報を生成し、前記三次元位置情報に基づいて前記対象物の姿勢を検出し、前記光学歪補正部は、
前記対象検出部が検出した前記対象物の姿勢に応じた補正特性により前記光学歪を補正する
前記（８）又は（９）に記載の画像処理装置。
（１１）
前記光学歪補正部は、
前記対象物の距離に応じた補正特性により前記光学歪を補正する
前記（１０）に記載の画像処理装置。
【符号の説明】
【０１０７】
１…撮像装置、１ａ…硬性鏡、１ｂ…本体部、Ｊ１,Ｊ２…術具、１６,１６',１６Ａ,１６Ｂ…信号処理部、２２Ｌ,２２ＡＬ…光学歪補正処理部、２３Ｌ…重畳処理部、２４Ｌ,２４ＡＬ,２４ＢＬ…術具検出処理部、２５Ｌ…輪郭画像生成処理部、２６,２７…メモリ、２６ａ,２６ａＡ…光学歪情報ＤＢ（データベース）
【図１】
0006458732.tif 000002
【図２】
0006458732.tif 000003
【図３】
0006458732.tif 000004
【図４】
0006458732.tif 000005
【図５】
0006458732.tif 000006
【図６】
0006458732.tif 000007
【図７】
0006458732.tif 000008
【図８】
0006458732.tif 000009
【図９】
0006458732.tif 000010
【図１０】
0006458732.tif 000011
【図１１】
0006458732.tif 000012
【図１２】
0006458732.tif 000013