(57)【要約】【課題】簡易な構成及び処理で奥行方向の距離感を直感的に把握することができる撮像装置、撮像方法、撮像プログラム、及び内視鏡を提供する。【解決手段】特徴点抽出部２６で、カメラ４１Ａ及び４１Ｂにより撮像された画像から特徴点Ｐを抽出し、距離計測部２７で、特徴点Ｐに対応する実際の特徴点位置Ｐ’とカメラ位置Ｐｃとの奥行方向の距離Ｄを計測する。ワイヤフレーム構築部２８で、特徴点位置Ｐ’及び距離Ｄに基づいて、奥行方向に等間隔に配置された特徴点位置Ｐ’を囲む複数の円弧と、等間隔に配置された奥行方向に伸びる直線とで構成したワイヤフレームを構築し、レーザ制御部２９で、構築されたワイヤフレームが対象範囲に描画されるようにレーザ照射装置４２を制御する【選択図】図３
2011206435.tif 000002
【特許請求の範囲】
【請求項１】
対象範囲を撮像する撮像手段と、
前記撮像手段により撮像された画像から特徴点を抽出する抽出手段と、
前記抽出手段により抽出された特徴点に対応する位置と前記撮像手段との奥行方向の距離を計測する計測手段と、
前記抽出手段により抽出された特徴点に対応する位置及び前記計測手段により計測された距離に基づいて、前記奥行方向の距離に対応したワイヤフレームを構築する構築手段と、
前記対象範囲にワイヤフレームを描画する描画手段と、
前記構築手段により構築されたワイヤフレームが前記対象範囲に描画されるように前記描画手段を制御する制御手段と、
を含む撮像装置。
【請求項２】
前記計測手段により計測された距離、及び前記撮像手段により撮像される画像の画角に基づいて、前記描画手段によりワイヤフレームを描画する範囲を設定する設定手段を含み、
前記制御手段は、前記設定手段により設定された範囲に前記ワイヤフレームが描画されるように前記描画手段を制御する
請求項１記載の撮像装置。
【請求項３】
前記描画手段を、可動レーザ光源を用いたレーザ照射装置、または固定レーザ光源及び可動ミラーで構成されたレーザ照射装置で構成した請求項１または請求項２記載の撮像装置。
【請求項４】
対象範囲を撮像する撮像手段と、
前記撮像手段により撮像された画像から特徴点を抽出する抽出手段と、
前記抽出手段により抽出された特徴点に対応する位置と前記撮像手段との距離を計測する計測手段と、
前記抽出手段により抽出された特徴点に対応する位置及び前記計測手段により計測された距離に基づいて、前記奥行方向の距離に対応したワイヤフレームを構築する構築手段と、
前記構築手段により構築されたワイヤフレームを、前記撮像手段の撮像方向に対して垂直な面に投影した画像に変換し、変換された画像と前記撮像手段により撮像された画像とを合成する合成手段と、
を含む撮像装置。
【請求項５】
前記ワイヤフレームを、前記奥行方向に等間隔に配置された前記特徴点を囲む複数の円弧状の線と、前記特徴点を基準に水平方向に等間隔に配置された前記奥行方向に伸びる直線とで構成した請求項１〜請求項４のいずれか１項記載の撮像装置。
【請求項６】
対象範囲を撮像する撮像手段により撮像された画像を取得し、
取得された画像から特徴点を抽出し、
抽出された特徴点に対応する位置と前記撮像手段との距離を計測し、
抽出された特徴点に対応する位置及び計測された距離に基づいて、前記撮像手段から前記特徴点に対応する位置までの奥行方向の距離に対応したワイヤフレームを構築し、
構築されたワイヤフレームが前記対象範囲に描画されるように、前記対象範囲にワイヤフレームを描画する描画手段を制御する
撮像方法。
【請求項７】
対象範囲を撮像する撮像手段により撮像された画像を取得し、
取得された画像から特徴点を抽出し、
抽出された特徴点に対応する位置と前記撮像手段との距離を計測し、
抽出された特徴点に対応する位置及び計測された距離に基づいて、前記撮像手段から前記特徴点に対応する位置までの奥行方向の距離に対応したワイヤフレームを構築し、
構築されたワイヤフレームを、前記撮像手段の撮像方向に対して垂直な面に投影した画像に変換し、変換された画像と前記撮像手段により撮像された画像とを合成する
撮像方法。
【請求項８】
コンピュータを、
対象範囲を撮像する撮像手段により撮像された画像から特徴点を抽出する抽出手段、
前記抽出手段により抽出された特徴点に対応する位置と前記撮像手段との奥行方向の距離を計測する計測手段、
前記抽出手段により抽出された特徴点に対応する位置及び前記計測手段により計測された距離に基づいて、前記奥行方向の距離に対応したワイヤフレームを構築する構築手段、及び
前記構築手段により構築されたワイヤフレームが前記対象範囲に描画されるように、前記対象範囲にワイヤフレームを描画する描画手段を制御する制御手段
として機能させるための撮像プログラム。
【請求項９】
コンピュータを、
対象範囲を撮像する撮像手段により撮像された画像から特徴点を抽出する抽出手段、
前記抽出手段により抽出された特徴点に対応する位置と前記撮像手段との奥行方向の距離を計測する計測手段、
前記抽出手段により抽出された特徴点に対応する位置及び前記計測手段により計測された距離に基づいて、前記奥行方向の距離に対応したワイヤフレームを構築する構築手段、及び
前記構築手段により構築されたワイヤフレームを、前記撮像手段の撮像方向に対して垂直な面に投影した画像に変換し、変換された画像と前記撮像手段により撮像された画像とを合成する合成手段
として機能させるための撮像プログラム。
【請求項１０】
請求項１〜請求項５のいずれか１項記載の撮像装置を備えた内視鏡。
【請求項１１】
前記撮像手段を、第１の視点から前記対象範囲を撮像する第１の撮像手段と、前記第１の視点とは異なる第２の視点から前記対象範囲を撮像する第２の撮像手段とで構成した請求項１０記載の内視鏡。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、撮像プログラム、及び内視鏡に係り、特に、撮像された画像の奥行方向の距離感を把握することができる撮像装置、撮像方法、撮像プログラム、及び内視鏡に関する。
【背景技術】
【０００２】
従来、複数の撮像手段で得られた撮像信号から、所定の画素の対応点を検出する対応点検出手段と、対応点検出手段で得られた対応点の情報に基づき対応点の３次元位置を算出する３次元位置算出手段と、算出された３次元位置の情報に基づき所定の画素間の距離を算出する距離算出手段と、算出された距離の情報に基づき画素間の距離に対応する目盛を表示する目盛表示手段とを有する目盛表示装置が提案されている（特許文献１参照）。特許文献１に記載の目盛表示装置では、対応点について、撮像平面に対して垂直方向における距離と予め定めた閾値とを比較し、その比較結果に応じて、目盛表示の方法を変更している。
【０００３】
また、超音波プローブと、超音波プローブを駆動して被検体内の３次元領域を超音波で走査する送受信ユニットと、送受信ユニットによる走査によって得られる受信信号に基づいて３次元領域内の対象臓器の形態を表す３次元の形態画像データを生成し、受信信号に基づいて対象臓器の機能を表す３次元の機能画像データを生成すると共に３次元の機能画像データに３次元の形態画像データを合成して表示する信号処理ユニットとを具備する超音波診断装置が提案されている（特許文献２参照）。特許文献２に記載の超音波診断装置では、３次元の形態画像データを、対象臓器のワイヤフレームモデルで表示している。
【０００４】
また、オブジェクトの属する種類の典型的な原型であり、その種類の特定の要求に適合するようにモディファイできる汎用のワイヤフレームによる、三次元オブジェクトのワイヤフレーム表現の高速作成する方法と装置が提案されている（特許文献３参照）。特許文献３に記載の方法及び装置では、汎用のワイヤフレームの組合せが、ワイヤフレームを編集するためのソフトウェアと共にツールキットとして纏められており、原型ステレオレンダードワイヤフレームから目標ステレオレンダードワイヤフレームまでモーフィングする方法が開示されており、更に明確なカメラビューポイントはモーフィング中も変えられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−１５６２１２号公報
【特許文献２】特開２０００−１３９９１７号公報
【特許文献３】特表２０００−５１１６５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の発明では、画像上で選択された２点間の奥行方向の距離が閾値より小さいか否かにより目盛の表示方法を変更しているが、撮像装置から選択された点に対応する位置までの距離感を直感的に把握し難い、という問題がある。
【０００７】
また、特許文献２に記載の発明では、３次元の形態画像データを得るために超音波プローブが必要であり、また、３次元の形態画像をワイヤフレームモデルで表示しているものの、その相対的な位置や距離感が把握し難い、という問題がある。
【０００８】
また、特許文献３に記載の発明では、汎用のワイヤフレームを用いるため、専用のデータベース及びそれを基に編集を行う機能を備えた装置が必要となり、構成及び処理が煩雑になる、という問題がある。
【０００９】
本発明は上記問題点を解決するためになされたものであり、簡易な構成及び処理で奥行方向の距離感を直感的に把握することができる撮像装置、撮像方法、撮像プログラム、及び内視鏡を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、第１の発明の撮像装置は、対象範囲を撮像する撮像手段と、前記撮像手段により撮像された画像から特徴点を抽出する抽出手段と、前記抽出手段により抽出された特徴点に対応する位置と前記撮像手段との奥行方向の距離を計測する計測手段と、前記抽出手段により抽出された特徴点に対応する位置及び前記計測手段により計測された距離に基づいて、前記奥行方向の距離に対応したワイヤフレームを構築する構築手段と、前記対象範囲にワイヤフレームを描画する描画手段と、前記構築手段により構築されたワイヤフレームが前記対象範囲に描画されるように前記描画手段を制御する制御手段と、を含んで構成されている。
【００１１】
第１の発明の撮像装置によれば、撮像手段が、対象範囲を撮像し、抽出手段が、撮像手段により撮像された画像から特徴点を抽出し、計測手段が、抽出手段により抽出された特徴点に対応する位置と撮像手段との奥行方向の距離を計測する。そして、構築手段が、抽出手段により抽出された特徴点に対応する位置及び計測手段により計測された距離に基づいて、奥行方向の距離に対応したワイヤフレームを構築する。そして、制御手段が、構築手段により構築されたワイヤフレームが対象範囲に描画されるように対象範囲にワイヤフレームを描画する描画手段を制御する。
【００１２】
このように、奥行方向に対応したワイヤフレームを構築し、そのワイヤフレームを対象範囲に描画するため、簡易な構成及び処理で奥行方向の距離感を直感的に把握することができる。
【００１３】
また、第１の発明の撮像装置は、前記計測手段により計測された距離、及び前記撮像手段により撮像される画像の画角に基づいて、前記描画手段によりワイヤフレームを描画する範囲を設定する設定手段をさらに含んで構成することができ、前記制御手段は、前記設定手段により設定された範囲に前記ワイヤフレームが描画されるように前記描画手段を制御することができる。これにより、必要な範囲のみにワイヤフレームが描画されるため、無駄な処理を削減できる。
【００１４】
また、第１の発明において、前記描画手段を、可動レーザ光源を用いたレーザ照射装置、または固定レーザ光源及び可動ミラーで構成されたレーザ照射装置で構成することができる。このように、描画手段としてレーザ照射装置を用いる場合には、フォーカス系の構成が不要であるため、簡易な構成で適切にワイヤフレームを描画することができる。
【００１５】
また、第２の発明の撮像装置は、対象範囲を撮像する撮像手段と、前記撮像手段により撮像された画像から特徴点を抽出する抽出手段と、前記抽出手段により抽出された特徴点に対応する位置と前記撮像手段との距離を計測する計測手段と、前記抽出手段により抽出された特徴点に対応する位置及び前記計測手段により計測された距離に基づいて、前記奥行方向の距離に対応したワイヤフレームを構築する構築手段と、前記構築手段により構築されたワイヤフレームを、前記撮像手段の撮像方向に対して垂直な面に投影した画像に変換し、変換された画像と前記撮像手段により撮像された画像とを合成する合成手段と、を含んで構成されている。
【００１６】
第２の発明の撮像装置によれば、撮像手段が、対象範囲を撮像し、抽出手段が、撮像手段により撮像された画像から特徴点を抽出し、計測手段が、抽出手段により抽出された特徴点に対応する位置と撮像手段との距離を計測する。そして、構築手段が、抽出手段により抽出された特徴点に対応する位置及び計測手段により計測された距離に基づいて、奥行方向の距離に対応したワイヤフレームを構築する。そして、合成手段が、構築手段により構築されたワイヤフレームを、撮像手段の撮像方向に対して垂直な面に投影した画像に変換し、変換された画像と撮像手段により撮像された画像とを合成する。
【００１７】
このように、奥行方向に対応したワイヤフレームを構築し、そのワイヤフレームを撮像された画像に合成するため、簡易な構成及び処理で奥行方向の距離感を直感的に把握することができる。
【００１８】
また、前記ワイヤフレームを、前記奥行方向に等間隔に配置された前記特徴点を囲む複数の円弧状の線と、前記特徴点を基準に水平方向に等間隔に配置された前記奥行方向に伸びる直線とで構成するようにすることができる。これにより、奥行方向の距離感を直感的に把握することが容易になる。
【００１９】
また、第３の発明の撮像方法は、対象範囲を撮像する撮像手段により撮像された画像を取得し、取得された画像から特徴点を抽出し、抽出された特徴点に対応する位置と前記撮像手段との距離を計測し、抽出された特徴点に対応する位置及び計測された距離に基づいて、前記撮像手段から前記特徴点に対応する位置までの奥行方向の距離に対応したワイヤフレームを構築し、構築されたワイヤフレームが前記対象範囲に描画されるように、前記対象範囲にワイヤフレームを描画する描画手段を制御する方法である。
【００２０】
また、第４の発明の撮像方法は、対象範囲を撮像する撮像手段により撮像された画像を取得し、取得された画像から特徴点を抽出し、抽出された特徴点に対応する位置と前記撮像手段との距離を計測し、抽出された特徴点に対応する位置及び計測された距離に基づいて、前記撮像手段から前記特徴点に対応する位置までの奥行方向の距離に対応したワイヤフレームを構築し、構築されたワイヤフレームを、前記撮像手段の撮像方向に対して垂直な面に投影した画像に変換し、変換された画像と前記撮像手段により撮像された画像とを合成する方法である。
【００２１】
また、第５の発明の撮像プログラムは、コンピュータを、対象範囲を撮像する撮像手段により撮像された画像から特徴点を抽出する抽出手段、前記抽出手段により抽出された特徴点に対応する位置と前記撮像手段との奥行方向の距離を計測する計測手段、前記抽出手段により抽出された特徴点に対応する位置及び前記計測手段により計測された距離に基づいて、前記奥行方向の距離に対応したワイヤフレームを構築する構築手段、及び前記構築手段により構築されたワイヤフレームが前記対象範囲に描画されるように、前記対象範囲にワイヤフレームを描画する描画手段を制御する制御手段として機能させるためのプログラムである。
【００２２】
また、第６の発明の撮像プログラムは、コンピュータを、対象範囲を撮像する撮像手段により撮像された画像から特徴点を抽出する抽出手段、前記抽出手段により抽出された特徴点に対応する位置と前記撮像手段との奥行方向の距離を計測する計測手段、前記抽出手段により抽出された特徴点に対応する位置及び前記計測手段により計測された距離に基づいて、前記奥行方向の距離に対応したワイヤフレームを構築する構築手段、及び前記構築手段により構築されたワイヤフレームを、前記撮像手段の撮像方向に対して垂直な面に投影した画像に変換し、変換された画像と前記撮像手段により撮像された画像とを合成する合成手段として機能させるためのプログラムである。
【００２３】
また、第７の発明の内視鏡は、上記第１及び第２の発明の撮像装置を備えて構成されている。また、第７の発明の内視鏡は、前記撮像手段を、第１の視点から前記対象範囲を撮像する第１の撮像手段と、前記第１の視点とは異なる第２の視点から前記対象範囲を撮像する第２の撮像手段とで構成することができる。異なる２視点からの画像を用いて立体視を行う内視鏡においては、特に画像上での奥行方向の距離感が把握し難いという問題があるため、本発明を適用する意義が高い。
【発明の効果】
【００２４】
本発明によれば、奥行方向に対応したワイヤフレームを構築し、そのワイヤフレームを対象範囲に描画するか、または画像に合成するため、簡易な構成及び処理で奥行方向の距離感を直感的に把握することができる、という効果が得られる。
【図面の簡単な説明】
【００２５】
【図１】本実施の形態の立体視内視鏡の外観を示す概略図である。
【図２】撮像部の概略構成を示す（Ａ）側面図、及び（Ｂ）正面図である。
【図３】第１の実施の形態の立体視内視鏡の概略構成を示すブロック図である。
【図４】対象範囲に設定される座標系を説明するための概略図である。
【図５】第１の実施の形態における撮像処理ルーチンの内容を示すフローチャートである。
【図６】特徴点の抽出を説明するためのイメージ図である。
【図７】第１の実施の形態におけるワイヤフレーム構築処理ルーチンの内容を示すフローチャートである。
【図８】ワイヤフレームを構成する円弧状の線の形成を説明するための概略図である。
【図９】ワイヤフレームを構成する直線の形成を説明するための概略図である。
【図１０】画像上での描写範囲を説明するためのイメージ図である。
【図１１】距離−描画範囲データベースの一例を示す図である。
【図１２】画像上の描画範囲ｈｘ，ｈｙと対象範囲における描画範囲Ｈｘ，Ｈｙとの関係を説明するための概略図である。
【図１３】描画範囲Ｈｘ，Ｈｙと平面Ｓとの関係を説明するための概略図である。
【図１４】第２の実施の形態の立体視内視鏡の概略構成を示すブロック図である。
【図１５】第２の実施の形態における撮像処理ルーチンの内容を示すフローチャートである。
【図１６】平面Ｓ上のワイヤフレームのＺ軸視変換を説明するための概略図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。本実施の形態では、本発明の撮像装置を立体視内視鏡に適用した場合について説明する。
【００２７】
図１に示すように、第１の実施の形態に係る立体視内視鏡１０は、患者の体腔内に挿入される長尺状の挿入部１２を備えており、挿入部１２の基端部には、本体操作部１４が連設されている。この本体操作部１４には制御部２０に着脱可能に接続される長尺状のライトガイド１６が連結されている。また、本体操作部１４には、挿入部１２を操作するための操作ノブ１８が設けられている。また、制御部２０には、各種表示を行うためのディスプレイ５０、及び各種入力操作等を行うための制御操作部６０が接続されている。
【００２８】
また、挿入部１２の先端部には、対象範囲を撮像する撮像部４０が設けられている。図２（Ａ）に撮像部４０の側面概略図、同図（Ｂ）に正面概略図を示す。図２に示すように、撮像部４０は、各々共通の対象範囲を撮像するための複数（ここでは、２つ）のカメラ４１Ａ及びカメラ４１Ｂと、後述するワイヤフレームを対象範囲に描画する可動レーザ光源を用いたレーザ照射装置４２と、対象範囲に照明を照射する照明装置４３と、制御部２０の制御に従ってカメラ４１Ａ及びカメラ４１Ｂを駆動するカメラ駆動部４４Ａ及び４４Ｂと、制御部２０の制御に従ってレーザ照射装置４２を駆動するレーザ駆動部４５と、を備えている。カメラ４１Ａ及びカメラ４１Ｂは、撮像素子４６Ａ及び撮像素子４６Ｂと、撮像素子４６Ａの撮像領域に被写体像を結像させる結像光学系４７Ａと、撮像素子４６Ｂの撮像領域に被写体像を結像させる結像光学系４７Ｂと、を備えている。撮像素子４６Ａ及び４６Ｂは、例えばＣＣＤエリアセンサやＣＭＯＳイメージセンサ等を用いることができる。また、結像光学系４７Ａ及び４７Ｂは、例えば各々単一の結像レンズのみで構成してもよいし、結像レンズに加えて、焦点調整用の機構やズーミング用の機構等を設けて、焦点調整やズーミング等の機能を有する構成としてもよい。
【００２９】
図３は、立体視内視鏡１０の構成を示す概略ブロック図である。図３に示すように、立体視内視鏡１０の制御部２０は、撮像制御部２１、画像処理部２２、画像記憶部２３、内部メモリ２４、表示制御部２５、特徴点抽出部２６、距離計測部２７、ワイヤフレーム構築部２８、レーザ制御部２９、及びＣＰＵ３０を備えている。
【００３０】
撮像制御部２１は、制御操作部６０を操作することにより撮像が指示されると、カメラ４１Ａ及び４１Ｂにより対象範囲を撮像し、画像データが出力されるようにカメラ駆動部４４Ａ及び４４Ｂ（図３では図示省略）に指示信号を出力する。
【００３１】
画像処理部２２は、カメラ４１Ａ及び４１Ｂから出力された左画像及び右画像の画像データに対して、アナログ／デジタル変換処理、ホワイトバランス調整、階調補正、シャープネス補正、及び色補正等の画像処理を施す。また、画像処理部２２は、所定の画像処理が施された左画像及び右画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルを生成する。また、左画像及び右画像をディスプレイ５０に立体視表示するために、立体視用の画像ファイルに３次元処理を行って立体視用画像を生成する。
【００３２】
画像記憶部２３は、画像処理部２２で所定の画像処理が施された右画像及び左画像を表す画像データ、立体視用の画像ファイル等の画像データを記憶する。
【００３３】
内部メモリ２４は、立体視内視鏡１０において設定される各種定数、及びＣＰＵ３０が実行するプログラム等を記憶する。
【００３４】
表示制御部２５は、画像記憶部２３に記憶された左画像及び右画像から生成された立体視用画像がディスプレイ５０に表示されるように制御する。
【００３５】
特徴点抽出部２６は、左画像、右画像、または立体視用画像から特徴点Ｐを抽出する。例えば、診断及び治療の対象となる患部が特徴点として抽出されるように、予め定めたパターンと一致する画素や所定の条件を満たす画素値の画素等を抽出する。また、ユーザがディスプレイ５０に表示された画像を確認して、制御操作部６０を操作することにより設定した特徴点を抽出するようにしてもよい。
【００３６】
距離計測部２７は、左画像及び右画像を用いたステレオ計測により、カメラ４１Ａの中心とカメラ４１Ｂの中心との中点（以下、カメラ位置Ｐｃという）と、画像上から抽出された特徴点Ｐに対応する実際の位置（以下、特徴点位置Ｐ’という）との距離を計測する。なお、本実施の形態では、ステレオ計測により距離を計測する場合について説明するが、単眼の撮像装置の場合には、焦点距離を用いて特徴点までの距離を計測するようにしてもよい。
【００３７】
ワイヤフレーム構築部２８は、図４に示すように、対象範囲に設定した水平方向をＸ軸、垂直方向をＹ軸、カメラの中心を通る撮像方向をＺ軸とする座標系において、奥行方向の距離に対応したワイヤフレームを構築する。具体的には、Ｘ軸と特徴点位置Ｐ’とで定まる平面Ｓにおいて、Ｚ軸方向に等間隔に配置された特徴点位置Ｐ’を囲む複数の円弧状の線と、同平面Ｓにおいて等間隔に配置された直線Ｐｃ−Ｐ’に平行な直線とで構成されたワイヤフレームを構築する。
【００３８】
なお、図４では、簡略的に１つのカメラのみを示し、カメラの撮像方向をＺ軸として説明したが、実際には、カメラ４１Ａの中心を通るカメラ４１Ａの撮像方向を示す直線とカメラ４１Ｂの中心を通るカメラ４１Ｂの撮像方向を示す直線との交点と、カメラ位置Ｐｃとを通る直線をＺ軸とし、カメラ４１Ａの中心とカメラ４１Ｂの中心とを通る直線をＸ軸、Ｘ軸及びＺ軸に直交する方向をＹ軸とする。また、カメラ４１Ａの撮像方向とカメラ４１Ｂの撮像方向とが平行の場合には、カメラ位置Ｐｃを通り、撮像方向に平行な直線をＺ軸とすればよい。
【００３９】
レーザ制御部２９は、レーザ照射装置４２により、ワイヤフレーム構築部２８で構築されたワイヤフレームが対象範囲に描画されるようにレーザ駆動部４５（図３では図示省略）に制御信号を出力する。
【００４０】
次に、図５を参照して、第１の実施の形態の立体視内視鏡１０において実行される撮像処理ルーチンについて説明する。
【００４１】
ステップ１００で、カメラ４１Ａ及び４１Ｂから出力された左画像及び右画像を示す画像データを取得し、所定の画像処理及び３次元処理を施して、ディスプレイ５０に立体視画像を表示する。
【００４２】
次に、ステップ１０２で、予め定めたパターンと一致する画素や所定の条件を満たす画素値の画素が特徴点として抽出されたか、または制御操作部６０から入力される情報を取得して、ユーザによりディスプレイ５０に表示された画像から患部位置を示す特徴点が設定されたか否かを判定する。特徴点が抽出または設定された場合には、ステップ１０４へ移行し、特徴点が抽出または設定されない場合には、抽出または設定されるまで待機状態となる。
【００４３】
ステップ１０４では、上記ステップ１０２で抽出または設定された特徴点を特徴点Ｐとして、カメラ位置Ｐｃと特徴点位置Ｐ’との奥行方向の距離Ｄをステレオ計測により計測する。
【００４４】
次に、ステップ１０６で、距離Ｄが予め定めた閾値Ｄｔｈより大きいか否かを判定する。閾値Ｄｔｈは、奥行方向の距離を把握しやすくするためのワイヤフレームを描画する必要がない程度の距離を予め定めておく。Ｄ＞Ｄｔｈの場合には、ステップ１０８へ移行し、Ｄ≦Ｄｔｈの場合には、処理を終了する。
【００４５】
ステップ１０８では、特徴点Ｐの近傍から２つの特徴点Ａ及びＢを抽出する。この特徴点Ａ及びＢは、画像上での患部の範囲を特定するためのものである。例えば、図６に示すように、こぶ上の患部の頂点部が特徴点Ｐとして抽出または設定されている場合には、患部の裾部を特徴点Ａ及びＢとして抽出する。特徴点Ａ及びＢは、例えばエッジ抽出処理等により抽出することができる。
【００４６】
次に、ステップ１１０で、上記ステップ１０８で特徴点Ａ及びＢが抽出されたか否かを判定する。画像が不鮮明な場合や、患部自体の形状等によっては、適切な特徴点Ａ及びＢを抽出できない場合もある。特徴点Ａ及びＢが抽出できなかった場合には、ステップ１１２へ移行し、抽出された場合には、ステップ１１４へ移行する。
【００４７】
ステップ１１２では、制御操作部６０から入力される情報を取得して、ユーザによりディスプレイ５０に表示された画像から特徴点Ａ及びＢが設定されたか否かを判定する。特徴点Ａ及びＢが設定された場合には、ステップ１１４へ移行し、特徴点Ａ及びＢが設定されない場合には、設定されるまで待機状態となる。
【００４８】
ステップ１１４では、ワイヤフレーム構築処理を実行する。ここで、図７を参照して、第１の実施の形態の立体視内視鏡１０において実行されるワイヤフレーム構築処理ルーチンについて説明する。
【００４９】
ステップ１５０で、Ｘ軸と特徴点位置Ｐ’とで定まる平面Ｓを設定し、カメラ位置Ｐｃ及び特徴点Ａに対応する位置を通る直線と平面Ｓとの交点を特徴点位置Ａ’、カメラ位置Ｐｃ及び特徴点Ｂに対応する位置を通る直線と平面Ｓとの交点を特徴点位置Ｂ’として設定する。そして、図８に示すように、特徴点位置Ｐ’、Ａ’及びＢ’を通り、中心が直線Ｐｃ−Ｐ’上にある円弧の半径ｒを算出する。
【００５０】
次に、ステップ１５２で、特徴点位置Ａ’及びＢ’を通る半径ｒ×ｔの中心が直線Ｐｃ−Ｐ’上にある円弧Ｃ０を、平面Ｓ上に特徴点位置Ｐ’を囲むように設定する。ｔは１より大きな値とする。また、距離Ｄに応じて変更してもよい。
【００５１】
次に、ステップ１５４で、円弧の描画本数ｎが設定されているか否かを判定する。設定されていない場合には、設定されるまで待機状態となる。なお、初期値として予め定めた値を設定しておいてもよい。円弧の描画本数ｎが設定されている場合には、ステップ１５６へ移行し、平面Ｓ上に、円弧Ｃ０と平行な半径ｒ×ｔの円弧Ｃ１〜Ｃｎ−１をＤ／ｎ間隔で設定する。
【００５２】
次に、ステップ１５８で、図９に示すように、平面Ｓに、特徴点位置Ｐ’とカメラ位置Ｐｃとを通る直線Ｌ０（＝直線Ｐｃ−Ｐ’）を設定する。
【００５３】
次に、ステップ１６０で、直線描画間隔Δｘが設定されているか否かを判定する。設定されていない場合には、設定されるまで待機状態となる。なお、初期値として予め定めた値を設定しておいてもよい。直線描画間隔Δｘが設定されている場合には、ステップ１６２へ移行する。
【００５４】
ステップ１６２では、平面Ｓ上に、直線Ｌ０と平行な直線Ｌ−ｍ〜ＬｍをΔｘ間隔で設定する。ｍは、ワイヤフレームを描画する対象範囲やΔｘの値に応じて予め任意の正数を設定しておく。これにより、奥行方向に等間隔に配置された特徴点位置Ｐ’を囲む複数の円弧と、Ｘ軸方向に対して等間隔に配置された奥行方向に伸びる直線とで構成されたワイヤフレームが、平面Ｓ上に構築される。
【００５５】
次に、図５のステップ１１６に戻って、ワイヤフレームを描画する描画範囲を設定する。描画範囲は、例えば、図１０に示すような特徴点Ｐを含む画像上での範囲ｈｘ，ｈｙを、図１１に示すような距離−描画範囲データベースを参照して、図１２に示すように、カメラの焦点距離と画角との関係、及び距離Ｄに基づいて、Ｘ軸方向及びＹ軸方向に対応させた範囲Ｈｘ、Ｈｙとして設定する。
【００５６】
次に、ステップ１１８で、上記ステップ１１６で設定された描画範囲Ｈｘ，Ｈｙを平面Ｓに対応させる。具体的には、図１３に示すように、カメラ位置Ｐｃと特徴点位置Ｐ’を含む範囲Ｈｘ，ＨｙのＸＹ平面とで囲まれた領域に含まれる平面Ｓの範囲Ｓ’（同図中斜線の範囲）が、描画範囲Ｈｘ，Ｈｙに対応する平面Ｓ上の範囲となる。そして、上記ステップ１１４で構築されたワイヤフレームが、平面Ｓの範囲Ｓ’にレーザ照射装置４２によって描画されるように制御する。なお、レーザの照射は特徴点位置Ｐ’よりＹ座標が大きく、特徴点位置Ｐ’に対してカメラ位置Ｐｃの後方となる位置から照射する。これにより、図１０に示すように、描画範囲にワイヤフレームが描画された状態の対象範囲がカメラにより撮像される。
【００５７】
なお、図８及び９に示すように、ワイヤフレームを構成する円弧は等間隔に配置されているため、Ｙ軸視においては等間隔に見えるが、Ｚ軸視（撮像方向）で見た場合、すなわち画像上では不等間隔となる。また、ワイヤフレームを構成する直線は等間隔に配置されているため、Ｙ軸視においては等間隔に見えるが、Ｚ軸視で見た場合、すなわち画像上では奥行方向奥側に対して手前側が開いた配置となる。
【００５８】
以上説明したように、第１の実施の形態の立体視内視鏡によれば、奥行方向に等間隔に配置された特徴点位置Ｐ’を囲む複数の円弧と、奥行方向に伸びる直線とで構成されたワイヤフレームを構築し、構築されたワイヤフレームをレーザ照射装置により描画するため、奥行方向の間隔を示すワイヤフレームが描画された画像が取得されることになり、簡易な構成及び処理で奥行方向の距離感を直感的に把握することができる。
【００５９】
なお、第１の実施の形態では、ワイヤフレームを可動式レーザ光源を用いたレーザ照射装置により描画する場合について説明したが、固定式のレーザ光源と可動式ミラーとで構成されたレーザ照射装置を用いてもよい。また、構築されたワイヤフレームをＸＹ平面の液晶パネル上に対応させ、この液晶パネルにバックライトを照射して透過した光を対象範囲に投影するようにしてもよい。また、個別に駆動される多数の微小鏡面（マイクロミラー）を平面に配列したＤＭＤ（デジタル・マイクロミラー・デバイス：Digital Micro mirror Device）上にワイヤフレームを対応させ、このＤＭＤに光源を照射して反射した光を対象範囲に投影するようにしてもよい。このような透過型または反射型の照射装置の場合には、フォーカス系の構成も合わせて用い、ワイヤフレームが対象範囲に適切に描画されるようにする。
【００６０】
また、第１の実施の形態では、ワイヤフレームを構築してから、描画範囲を設定し、設定された描画範囲にワイヤフレームを描画する場合について説明したが、先に描画範囲を設定し、設定された範囲にワイヤフレームを構築するようにしてもよい。
【００６１】
次に、第２の実施の形態について説明する。なお、第２の実施の形態の立体視内視鏡２１０の構成について、第１の実施の形態の立体視内視鏡１０と同一の構成については、同一の符号を付して説明を省略する。
【００６２】
図１４は、立体視内視鏡２１０の構成を示す概略ブロック図である。図１４に示すように、立体視内視鏡２１０の制御部２２０は、撮像制御部２１、画像処理部２２、画像記憶部２３、内部メモリ２４、表示制御部２５、特徴点抽出部２６、距離計測部２７、ワイヤフレーム構築部２８、画像合成部３１、及びＣＰＵ３０を備えている。
【００６３】
画像合成部３１は、カメラ４１Ａ及び４１Ｂにより撮像された画像に、ワイヤフレーム構築部２８で構築されたワイヤフレームを表す画像を合成する。
【００６４】
次に、図１５を参照して、第２の実施の形態の立体視内視鏡２１０において実行される撮像処理ルーチンについて説明する。なお、第１の実施の形態の撮像処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。
【００６５】
ステップ１００〜１１４を経て、ステップ２００で、特徴点位置Ｐ’と同じＹ座標位置からのＺ軸視となるように、構築されたワイヤフレームを、特徴点位置Ｐ’を含むＸＹ平面に投影することによりＺ軸視に変換する。例えば、図１６に示すように、直線ＰＣ−Ｐ’と円弧Ｃ１〜Ｃ３との交点ｃ１〜ｃ３についてみると、ｃ１〜ｃ３は各々ＸＹ平面上のｃ１’〜ｃ３’に投影される。このようにＺ軸視に変換することで、平面Ｓ上に等間隔で配置された円弧は不等間隔になる。
【００６６】
次に、ステップ２０２で、ＸＹ平面に投影されたワイヤフレームを撮像画像に合成する。例えば、図１６に示すように、ＸＹ平面上の点ｃ１’〜ｃ３’は、各々画像上でＣＩ１〜ＣＩ３に対応する。このように、ワイヤフレーム上の各点に対応する画像上の点を得て、ワイヤフレーム画像を生成し、特徴点Ｐ等に基づいて位置合せを行って撮像画像と合成する。
【００６７】
以上説明したように、第２の実施の形態の立体視内視鏡によれば、奥行方向に等間隔に配置された特徴点位置Ｐ’を囲む複数の円弧と、奥行方向に伸びる直線とで構成されたワイヤフレームを構築し、構築されたワイヤフレームを撮像画像に合成するため、奥行方向の間隔を示すワイヤフレームが描画された画像が表示されることになり、簡易な構成及び処理で奥行方向の距離感を直感的に把握することができる。
【符号の説明】
【００６８】
１０、２１０  立体視内視鏡
２０、２２０  制御部
２６   特徴点抽出部
２７   距離計測部
２８   ワイヤフレーム構築部
２９   レーザ制御部
３１   画像合成部
４０   撮像部
４１Ａ カメラ
４１Ｂ カメラ
４２   レーザ照射装置
【図１】
2011206435.tif 000003
【図２】
2011206435.tif 000004
【図３】
2011206435.tif 000005
【図４】
2011206435.tif 000006
【図５】
2011206435.tif 000007
【図６】
2011206435.tif 000008
【図７】
2011206435.tif 000009
【図８】
2011206435.tif 000010
【図９】
2011206435.tif 000011
【図１０】
2011206435.tif 000012
【図１１】
2011206435.tif 000013
【図１２】
2011206435.tif 000014
【図１３】
2011206435.tif 000015
【図１４】
2011206435.tif 000016
【図１５】
2011206435.tif 000017
【図１６】
2011206435.tif 000018