(57)【要約】      （修正有）【課題】発話による直感的な観察支援を実現する医用観察支援装置を提供する。【解決手段】臓器の観察に係る視点位置及び視線方向を３次元で変化させる観察制御部５０と、音声入力装置２４から入力される音声を認識し、その音声に対応する臓器の解剖学的名称を判定する音声認識部６０とを、備え、観察制御部５０は、音声認識部６０により判定される臓器の解剖学的名称に基づいて、その臓器の観察に係る視点位置及び視線方向を決定するものであることから、観察したい部位の解剖学的名称を発話することで、その臓器を簡便に表示させるといった制御が可能となる。すなわち、発話による直感的な観察支援を実現する医用観察支援装置を提供することができる。【選択図】図２
2015047309.tif 000002
【特許請求の範囲】
【請求項１】
被検体における臓器の観察を支援する医用観察支援装置であって、
前記臓器の観察に係る視点位置及び視線方向を３次元で変化させる観察制御部と、
音声入力装置から入力される音声を認識し、該音声に対応する臓器の解剖学的名称を判定する音声認識部と
を、備え、
前記観察制御部は、前記音声認識部により判定される臓器の解剖学的名称に基づいて、該臓器の観察に係る視点位置及び視線方向を決定するものである
ことを特徴とする医用観察支援装置。
【請求項２】
前記観察制御部は、前記臓器の観察に係る視点位置及び視線方向に対応して、該臓器が他の臓器によって遮られると判定される場合には、前記視点位置及び視線方向の少なくとも一方を調整するものである
請求項１に記載の医用観察支援装置。
【請求項３】
前記観察制御部は、予め取得された前記臓器の３次元画像データに基づいて該臓器の３次元仮想画像を生成するものであり、前記音声認識部により判定される臓器の解剖学的名称に基づいて、該臓器に対応する前記３次元仮想画像に係る視点位置及び視線方向を決定するものである
請求項１又は２に記載の医用観察支援装置。
【請求項４】
前記観察制御部は、前記臓器の実際の映像を撮影するものであり、前記音声認識部により判定される臓器の解剖学的名称に基づいて、該臓器の撮影に係る視点位置及び視線方向を決定するものである
請求項１又は２に記載の医用観察支援装置。
【請求項５】
前記観察制御部は、前記音声認識部により判定される臓器の解剖学的名称が更新された場合には、前記視点位置を現時点における観察位置から一旦離隔させた後、前記臓器の観察に係る視点位置へ移動させるものである
請求項１から４の何れか１項に記載の医用観察支援装置。
【請求項６】
前記観察制御部は、前記被検体の方向に基づいて該被検体における臓器の観察に係る視点位置及び視線方向を決定するものである
請求項１から５の何れか１項に記載の医用観察支援装置。
【請求項７】
前記観察制御部は、前記臓器の長手方向に基づいて該臓器の観察に係る視点位置及び視線方向を決定するものである
請求項１から６の何れか１項に記載の医用観察支援装置。
【請求項８】
臓器の観察を支援する医用観察支援装置に備えられた制御装置を、
前記臓器の観察に係る視点位置及び視線方向を３次元で変化させる観察制御部、
及び、音声入力装置から入力される音声を認識し、該音声に対応する臓器の解剖学的名称を判定する音声認識部
として機能させ、
前記観察制御部は、前記音声認識部により判定される臓器の解剖学的名称に基づいて、該臓器の観察に係る視点位置及び視線方向を決定するものである
ことを特徴とする医用観察支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検体における臓器の観察を支援する医用観察支援装置及び医用観察支援プログラムに関し、特に、発話による直感的な観察支援を実現するための改良に関する。
【背景技術】
【０００２】
被検体における臓器の観察を支援する医用観察支援装置が知られている。例えば、非特許文献１に記載された手術ナビゲーションがその一例である。斯かる技術においては、内視鏡手術の安全性を高めるために、手術前に撮影されたＣＴ（Computed Tomography）装置や磁気共鳴（MRI;Magnetic Resonance Imaging）装置等の３次元画像データを利用し、内視鏡の動きに追従して仮想３次元画像を生成して表示させる。例えば、内視鏡に装着された位置センサを利用することで前記追従表示等を行う。所定の部位を詳しく観察したい場合には、前記仮想３次元画像を平行移動或いは回転等させながら観察を行う。
【０００３】
前記手術ナビゲーションを手術中に行う場合、衛生上の問題から術者自身がマウスやキーボード等或いはタッチパネルディスプレイ等の操作装置に触れることは困難である。このため、非接触型のユーザインターフェイスが提案されている。例えば、非特許文献２に記載された技術がその一例である。この技術によれば、手術ナビゲーションに音声認識を導入し、左右上下等の音声コマンドを認識することで、手術ナビゲーションを制御し、術者が必要とするビューを得ることができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Eiji Ito, Masazumi Fujii, Yuichiro Hayashi, Zhengang Jiang, Tetsuya Nagatani, Kiyoshi Saito, Yugo Kishida, Kensaku Mori, and Toshihiko Wakabayashi, "Magnetically Guided 3-Dimensional Virtual Neuronavigation for Neuroendoscopic Surgery: Technique and Clinical Experience,″NEUROSURGERY, Vol.66,pp.ons342-353(2010/06)
【非特許文献２】平田 正保, 道満 恵介, 目加田 慶人, 森 健策, "ナビゲーションシステムにおける音声認識を用いた直感的操作,″電子情報通信学会技術研究報告,MI2012-113,Vol.112,No.411,pp.267-270, 那覇市ぶんかテンブス館（沖縄）,2013/01/25(2013/01)
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、手術中における臓器の観察においては、例えば解剖学的名称を操作装置により入力する等して、観察対象となる部位を医師が直接的に指定したいという要望があった。しかし、前記のように、手術中には滅菌上の問題から術者自身が操作装置に触れることは困難である。前記従来の技術では、臓器の観察に係る左右上下等の視点位置を発話により決定することはできるものの、観察対象となる部位を医師が直接的に指定するといったような手術ナビゲーションを実現することはできなかった。すなわち、発話による直感的な観察支援を実現する医用観察支援装置及び医用観察支援プログラムは、未だ開発されていないのが現状である。
【０００６】
本発明は、以上の事情を背景として為されたものであり、その目的とするところは、発話による直感的な観察支援を実現する医用観察支援装置及び医用観察支援プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
斯かる目的を達成するために、本第１発明の要旨とするところは、被検体における臓器の観察を支援する医用観察支援装置であって、前記臓器の観察に係る視点位置及び視線方向を３次元で変化させる観察制御部と、音声入力装置から入力される音声を認識し、その音声に対応する臓器の解剖学的名称を判定する音声認識部とを、備え、前記観察制御部は、前記音声認識部により判定される臓器の解剖学的名称に基づいて、その臓器の観察に係る視点位置及び視線方向を決定することを特徴とするものである。
【発明の効果】
【０００８】
前記第１発明によれば、前記臓器の観察に係る視点位置及び視線方向を３次元で変化させる観察制御部と、音声入力装置から入力される音声を認識し、その音声に対応する臓器の解剖学的名称を判定する音声認識部とを、備え、前記観察制御部は、前記音声認識部により判定される臓器の解剖学的名称に基づいて、その臓器の観察に係る視点位置及び視線方向を決定するものであることから、観察したい部位の解剖学的名称を発話することで、その臓器を簡便に表示させるといった制御が可能となる。すなわち、発話による直感的な観察支援を実現する医用観察支援装置を提供することができる。
【０００９】
前記第１発明に従属する本第２発明の要旨とするところは、前記観察制御部は、前記臓器の観察に係る視点位置及び視線方向に対応して、その臓器が他の臓器によって遮られると判定される場合には、前記視点位置及び視線方向の少なくとも一方を調整するものである。このようにすれば、対象となる臓器の観察をより好適なものとすることができる。
【００１０】
前記第１発明又は第２発明に従属する本第３発明の要旨とするところは、前記観察制御部は、予め取得された前記臓器の３次元画像データに基づいてその臓器の３次元仮想画像を生成するものであり、前記音声認識部により判定される臓器の解剖学的名称に基づいて、その臓器に対応する前記３次元仮想画像に係る視点位置及び視線方向を決定するものである。このようにすれば、例えば仮想内視鏡画像表示制御等において、観察したい部位の解剖学的名称を発話することで、その臓器の３次元仮想画像を簡便に表示させるといった制御が可能となる。
【００１１】
前記第１発明又は第２発明に従属する本第４発明の要旨とするところは、前記観察制御部は、前記臓器の実際の映像を撮影するものであり、前記音声認識部により判定される臓器の解剖学的名称に基づいて、その臓器の撮影に係る視点位置及び視線方向を決定するものである。このようにすれば、例えば所謂手術ロボットを用いた手術における手術ナビゲーション等において、観察したい部位の解剖学的名称を発話することで、その臓器の像を簡便に撮影するといった制御が可能となる。
【００１２】
前記第１発明から第４発明の何れかに従属する本第５発明の要旨とするところは、前記観察制御部は、前記音声認識部により判定される臓器の解剖学的名称が更新された場合には、前記視点位置を現時点における観察位置から一旦離隔させた後、前記臓器の観察に係る視点位置へ移動させるものである。このようにすれば、視点位置の移動を利用者により分かり易く認識させることができる。
【００１３】
前記第１発明から第５発明の何れかに従属する本第６発明の要旨とするところは、前記観察制御部は、前記被検体の方向に基づいてその被検体における臓器の観察に係る視点位置及び視線方向を決定するものである。このようにすれば、対象となる臓器の観察をより好適なものとすることができる。
【００１４】
前記第１発明から第６発明の何れかに従属する本第７発明の要旨とするところは、前記観察制御部は、前記臓器の長手方向に基づいてその臓器の観察に係る視点位置及び視線方向を決定するものである。このようにすれば、対象となる臓器の観察をより好適なものとすることができる。
【００１５】
前記目的を達成するために、本第８発明の要旨とするところは、臓器の観察を支援する医用観察支援装置に備えられた制御装置を、前記臓器の観察に係る視点位置及び視線方向を３次元で変化させる観察制御部、及び、音声入力装置から入力される音声を認識し、その音声に対応する臓器の解剖学的名称を判定する音声認識部として機能させ、前記観察制御部は、前記音声認識部により判定される臓器の解剖学的名称に基づいて、その臓器の観察に係る視点位置及び視線方向を決定することを特徴とする医用観察支援プログラムである。このようにすれば、観察したい部位の解剖学的名称を発話することで、その臓器を簡便に表示させるといった制御が可能となる。すなわち、発話による直感的な観察支援を実現する医用観察支援プログラムを提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施例である医用観察支援装置の構成を例示する図である。
【図２】図１の医用観察支援装置に備えられた制御機能の要部を説明する機能ブロック線図である。
【図３】図１の医用観察支援装置に備えられた血管データベースの構成を例示する図である。
【図４】図１の医用観察支援装置による観察対象である被検体の血管に関する情報の一例として、血管枝ｂに係る特徴情報を例示する図である。
【図５】図１の医用観察支援装置による観察に関して、仮想カメラの視点位置及び視線方向を説明する図である。
【図６】図５の仮想カメラを用いて臓器の３次元仮想画像に係る視点位置及び視線方向を説明する図である。
【図７】図１の医用観察支援装置による観察において、「ＣＡ」との発声に対して音声認識が行われた場合における画面を例示している。
【図８】図１の医用観察支援装置による観察において、「ＣＨＡ」との発声に対して音声認識が行われた場合における画面を例示している。
【図９】図１の医用観察支援装置による観察における仮想画像の占有率について説明するために、図６を断面図として模式化した図である。
【図１０】図１の医用観察支援装置による観察における仮想画像の占有率について説明するために、図６を断面図として模式化した図である。
【図１１】図１の医用観察支援装置の観察対象である臓器を遮る位置に他の臓器が存在する場合における仮想画像の占有率について説明する図である。
【図１２】図１の医用観察支援装置の観察における視線方向の調整について説明する図である。
【図１３】図１の医用観察支援装置の観察において、視点位置及び視線方向に応じた仮想画像の見え方の違いについて概念的に説明する図である。
【図１４】図１の医用観察支援装置のＣＰＵによる観察支援制御の一例の要部について説明するフローチャートである。
【図１５】図１４に示す制御における視点位置・視線方向計算処理の一例の要部について説明するフローチャートである。
【図１６】図１５に示す制御における視線方向修正処理の一例の要部について説明するフローチャートである。
【図１７】図１４に示す制御における妨害物体による遮蔽を考慮した視点位置及び視線方向の修正処理の一例の要部について説明するフローチャートである。
【図１８】図１７に示す制御における血管枝ｂ描画率計算処理の一例の要部について説明するフローチャートである。
【図１９】図１の医用観察支援装置に備えられた装置及び制御機能の他の一例の要部を説明する機能ブロック線図である。
【図２０】図１４に示す制御における視点位置・視線方向計算処理の一例の要部について説明するフローチャートであり、仮想内視鏡画像の表示制御に対応するものである。
【発明を実施するための形態】
【００１７】
以下、本発明の好適な実施例について、図面を参照しつつ詳細に説明する。
【実施例１】
【００１８】
図１は、本発明の一実施例である医用観察支援装置１０（以下、単に支援装置１０という）の構成を例示する図である。この図１に示すように、本実施例の支援装置１０は、中央演算処理装置であるＣＰＵ１２と、読出専用メモリであるＲＯＭ１４と、随時書込読出メモリであるＲＡＭ１６と、記憶装置１８と、映像表示装置２０と、入力装置２２と、音声入力装置２４とを、備えて構成されている。前記ＣＰＵ１２は、前記ＲＡＭ１６の一時記憶機能を利用しつつ前記ＲＯＭ１４に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータである。
【００１９】
前記記憶装置１８は、好適には、情報を記憶可能なハードディスクドライブ等の公知の記憶装置（記憶媒体）である。小型メモリカードや光ディスク等の着脱式記憶媒体であってもよい。前記映像表示装置２０は、好適には、ＴＦＴ（Thin Film Transistor Liquid Crystal）等の公知の表示装置（ディスプレイ）であり、出力インターフェイス２６を介して前記ＣＰＵ１２等に接続されている。前記入力装置２２は、キーボードやマウス等の公知の入力デバイスであり、入力インターフェイス２８を介して前記ＣＰＵ１２等に接続されている。前記音声入力装置２４は、好適には、音声をはじめとする音波に対応する振動を電気信号に変換する公知のマイクロフォンであり、Ａ／Ｄコンバータ３０を介して前記ＣＰＵ１２等に接続されている。すなわち、前記音声入力装置２４から入力された音声等の音波が前記Ａ／Ｄコンバータ３０によりディジタル信号に変換されて前記ＣＰＵ１２等に入力されるようになっている。
【００２０】
図２は、前記支援装置１０に備えられた制御機能の要部を説明する機能ブロック線図である。この図２に示す観察制御部５０、音声認識部６０、解剖学的名称情報発生部６２、及び画像合成表示部６４は、好適には、何れも前記ＣＰＵ１２に機能的に備えられたものであるが、各制御部が個別に複数のＣＰＵやコンピュータに設けられると共に相互に通信が可能に構成されたものであってもよい。前記各制御部のうち一部が前記支援装置１０とは別の制御装置に備えられたものであってもよい。例えば、前記画像合成表示部６４が前記支援装置１０とは別の装置（例えば、表示専用の装置）に備えられたものであってもよい。或いは、前記音声認識部６０が前記支援装置１０とは別の装置（例えば、音声認識専用の装置）に備えられたものであってもよい。
【００２１】
本実施例の支援装置１０は、被検体の臓器に関して予めＸ線ＣＴや磁気共鳴装置等により得られた３次元画像データに基づいて、前記臓器の３次元仮想画像を生成する。前記支援装置１０は、前記臓器に対応する前記３次元仮想画像の観察（表示）を支援する。好適には、血管、気管支、食道等の木構造をなす臓器に対応する前記３次元仮想画像を生成すると共に、その３次元仮想画像の観察を支援する。或いは、大腸、小腸、十二指腸、胃、胆管、膵管、リンパ管等の管腔臓器（中空臓器）に対応する３次元仮想画像の観察及び支援を行うものであってもよい。
【００２２】
図２に示すように、前記支援装置１０に備えられた記憶装置１８には、画像データベース３２及び血管データベース３４等の各種データベースが設けられている。これらのデータベースは、好適には、前記記憶装置１８に備えられたものであるが、前記記憶装置１８とは別体の記憶装置に備えられたものであってもよい。更には、前記支援装置１０とは別体の制御装置に備えられた記憶装置に、前記画像データベース３２及び血管データベース３４の一部乃至全部が備えられたものであってもよい。
【００２３】
前記画像データベース３２には、公知のＸ線ＣＴ（Computed Tomography）装置や磁気共鳴（MRI;Magnetic Resonance Imaging）装置等によって予め得られた被検体の３次元画像データが記憶される。この３次元画像データは、Ｘ線ＣＴにより得られたものにおいては、被検体に対して多方向からＸ線を照射し、被検体を透過してきたＸ線を検出器で検出して、透過Ｘ線量の情報をコンピュータで処理して３次元画像として再構成したものである。前記画像データベース３２には、例えば、Ｘ線ＣＴや磁気共鳴装置等により得られた被検体の３次元濃淡画像、換言すれば被検体の単位体積であるボクセル毎の画素値（濃度値）が記憶される。前記画像データベース３２には、好適には、Ｘ線ＣＴや磁気共鳴装置等により得られた管腔臓器の３次元画像データが記憶される。
【００２４】
図３は、前記血管データベース３４の構成を例示する図である。この図３に示すように、前記血管データベース３４は、観察対象である前記臓器に関する各種情報を格納する。すなわち、図３に示す血管データベース３４は、被検体の臓器に関する各種情報を格納する臓器データベースの一例である。図３においては、前記臓器の一例として、木構造をなす管腔臓器である血管に関する各種情報が前記血管データベース３４に記憶された例を示している。以下の実施例においては、前記支援装置１０により、被検体における臓器の一例である血管の観察を支援する制御について説明する。
【００２５】
図３に示すように、前記血管データベース３４には、被検体の血管に関する情報として、血管名Ｎ（例えば、“Superior mesenteric artery”）、血管和名ＪN（例えば、上腸間膜動脈）、血管名略称ＣN（例えば、ＳＭＡ）、平均観察方向ｄN（例えば、（０，１，０））、平均観察上向き方向ｕN（例えば、（０，−１，０））、観察方向標準偏差ΔｓN（例えば、２度）、観察上向き方向標準偏差ΔｕN（例えば、１度）等の情報が記憶されている。好適には、前記情報に加えて、平均観察位置ｐN（例えば、所定の座標）、平均観察上向き位置ｑN（例えば、所定の座標）等の情報が記憶されている。換言すれば、それぞれ所定の解剖学的名称で識別される複数の血管それぞれに対応して、血管名、血管和名、及び血管名略称等の解剖学的名称情報、平均観察方向、平均観察上向き方向、観察方向標準偏差、観察上向き方向標準偏差、平均観察位置、及び平均上向き観察位置等の観察視点位置／視線方向情報等が記憶されている。すなわち、前記血管データベース３４は、前記支援装置１０の観察対象である臓器毎に、各臓器の解剖学的名称を記憶する解剖学的名称データベースを含んでいる。前記支援装置１０の観察対象である臓器（臓器の部位）毎に、各臓器に対応する観察視点位置及び視線方向を記憶する視点位置／視線方向データベースを含んでいる。解剖学的名称データベース及び視点位置／視線方向データベースが、それぞれ個別のデータベースとして備えられたものであってもよい。
【００２６】
前記血管データベース３４は、好適には、それぞれ所定の解剖学的名称で識別される複数の血管それぞれに対応して、各血管の走行方向、長さ、断面積等の特徴情報を格納する。図４は、被検体の臓器に関する情報の一例として、血管枝ｂに係る特徴情報を例示する図である。前記血管データベース３４は、例えば、木構造をなす血管の枝構造単位で枝シリアル番号によりデータベース化されており、各血管枝に対応する始点ｖb1、終点ｖbn、中心位置ｏ（＝（ｖb1＋ｖbn）／２）、経路｛ｖb1，…，ｖbn｝、経路長ｎ、長さｌb（＝｜ｖb1，…，ｖbn｜）、走行方向ｓb（＝（ｖbn−ｖb1）／｜ｖb1，…，ｖbn｜）、及び半径（断面半径）ｒb等の情報が記憶されている。
【００２７】
図２に示すように、前記観察制御部５０は、３次元仮想画像生成部５２、視点位置／視線方向設定部５４、臓器識別部５６、及び臓器重なり判定部５８を備えている。前記３次元仮想画像生成部５２は、予め取得されて前記画像データベース３２に記憶された３次元画像データに基づいてその臓器の３次元仮想画像を生成する。例えば、所定の臓器の観察に際して、その臓器に対応して予め得られて前記画像データベース３２に記憶された３次元画像データを読み出し、その３次元画像データに基づいて３次元仮想画像を生成する。前記画像データベース３２に記憶された３次元画像データは、例えば、ＣＴ装置等を用いて、Ｘ線照射器・検出器を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン）を行った３次元画像データである。前記３次元仮想画像生成部５２は、斯かる３次元画像データを読み出し、３次元領域の連続するスライスの断層像を積み重ねることによって臓器の３次元仮想画像を作成する。本実施例においては、観察対象となる臓器の仮想的な外形（例えば、正面側から視た外観を表す像）を示す３次元仮想画像の表示制御について説明するが、例えば管腔臓器の内部（内腔）に内視鏡を挿入して撮影を行った際の映像に対応する３次元仮想内視鏡画像を、前記３次元画像データに基づいて表示させる表示制御にも、本発明は好適に適用される。
【００２８】
前記視点位置／視線方向設定部５４は、前記３次元仮想画像生成部５２により生成される前記臓器の３次元仮想画像に係る視点位置及び視線方向を設定（決定）する。図５は、前記臓器の３次元仮想画像に係る視点位置及び視線方向に対応する仮想カメラ７０について説明する図である。図５に示す仮想カメラ７０においては、視点位置及び視線方向が定義される。例えば、この仮想カメラ７０が、前記臓器の３次元仮想画像に係る視点位置に対応する。前記仮想カメラ７０の視線方向が、前記臓器の３次元仮想画像に係る視線方向に対応する。前記視点位置／視線方向設定部５４は、概念的には、前記３次元仮想画像生成部５２により生成される前記臓器の３次元仮想画像に対して、前記仮想カメラ７０を３次元方向に相対移動させることで、前記臓器の３次元仮想画像に係る視点位置及び視線方向を設定する。
【００２９】
前記音声認識部６０は、前記音声入力装置２４から入力される音声を認識する。具体的には、前記音声入力装置２４により入力されて前記Ａ／Ｄコンバータ３０によりディジタル信号に変換された音声情報に関して、公知の技術によりその周波数等を解析することで、前記音声情報に対応する音素テキスト（発声された文字列）を認識する。前記音声認識部６０は、認識された音素テキストに対応する臓器の解剖学的名称を判定する。前記血管データベース３４は、前記支援装置１０による観察対象となる臓器（血管枝）それぞれに対応して、臓器の解剖学的名称と音素テキストとを対応付けて記憶する。すなわち、予め定められた複数の血管枝それぞれに対応して、各血管枝の解剖学的名称を発声した際の音声に対応する音素テキストがデータベース化されている。前記音声認識部６０は、好適には、前記血管データベース３４に記憶された対応関係から、前記音声情報に対応して認識された音素テキストに基づいて、その音声情報に対応する臓器の解剖学的名称を判定する。すなわち、前記血管データベース３４は、前記支援装置１０の観察対象である臓器毎に、各臓器の解剖学的名称に対応する音素テキストを記憶する音素テキストデータベースを含んでいる。斯かる音素テキストデータベースが、前記血管データベース３４とは別のデータベース或いはテーブルとして備えられたものであってもよい。
【００３０】
前記音声認識部６０は、更には、前記臓器の観察に係る各種指令に対応する音素テキストを認識するものであってもよい。例えば、「上向き」、「下向き」等、前記臓器の観察に係る視線方向を指示する指令に対応する音素テキストを認識するものであってもよい。更には、「右」、「左」、「上」、「下」等、前記支援装置１０における観察に係る視点位置を移動させる指令に対応する音素テキストを認識するものであってもよい。
【００３１】
前記臓器識別部５６は、観察対象である臓器を識別する。好適には、それぞれ所定の解剖学的名称で識別される複数の臓器に関して、前記３次元仮想画像生成部５２により生成される前記臓器の３次元仮想画像における各部が、どの臓器（臓器の部位）に対応するか識別する。好適には、前記３次元仮想画像生成部５２により生成される前記臓器の３次元仮想画像における各部の走行方向、長さ、断面積等の特徴を抽出し、前記血管データベース３４に記憶された特徴情報を参照することで、対象となる部位がどの臓器に対応するか識別する。例えば、前記血管データベース３４に記憶された特徴情報に関して、走行方向、長さ、断面積等の特徴が最も近い臓器を、対象となる部位に対応する臓器として識別する。
【００３２】
前記臓器識別部５６は、好適には、前記３次元仮想画像生成部５２により生成される前記臓器の３次元仮想画像を、体積領域であるＶＯＩ（Volume Of Interest：注目体積領域＝以下、単にＶＯＩと記す）により分割し、ＶＯＩ内の臓器の領域情報及び構造情報を抽出することで、観察対象である臓器を識別するものであってもよい。或いは、前記３次元仮想画像生成部５２により生成される前記臓器の３次元仮想画像における各部について、例えば前記入力装置２２により解剖学的名称が入力されて対応付けられる等、人的な処理により臓器の識別が行われるものであってもよい。斯かる態様においては、前記臓器の３次元仮想画像における各部と、識別された臓器（例えば、その解剖学的名称等）とが対応付けられて前記記憶装置１８等に記憶され、以下の制御に用いられる。
【００３３】
前記観察制御部５０は、前記音声認識部６０により判定される臓器の解剖学的名称に基づいて、その臓器の観察に係る視点位置及び視線方向を決定する。前述のように、前記３次元仮想画像生成部５２により生成される前記臓器の３次元仮想画像における各部の解剖学的名称は、前記臓器識別部５６により識別される。前記血管データベース３４には、観察対象である臓器（血管枝）それぞれに対応して、平均観察方向、平均観察上向き方向、観察方向標準偏差、観察上向き方向標準偏差、平均観察位置、及び平均観察上向き位置等の視点位置及び視線方向に関する情報が予め定められて記憶されている。前記視点位置／視線方向設定部５４は、前記音声認識部６０により所定の臓器の解剖学的名称が判定された場合、その臓器の解剖学的名称に対応して前記血管データベース３４に記憶された視点位置及び視線方向に関する情報を読み出し、その情報に基づいて前記臓器の観察に係る視点位置及び視線方向を決定する。
【００３４】
図６は、前記仮想カメラ７０を用いて前記臓器の３次元仮想画像に係る視点位置及び視線方向を説明する図である。被検体における臓器の３次元仮想画像として血管枝ｂの３次元仮想画像７２（以下、単に仮想画像７２という）を考えた場合、その仮想画像７２に対する前記仮想カメラ７０の相対的な視点位置及び視線方向を設定すると、後述する画像合成表示部６４等により前記映像表示装置２０に表示される仮想画面７４内における前記仮想画像７２の位置、方向、専有率（画面全体における仮想画像７２の占有面積）等が定まる。すなわち、前記視点位置／視線方向設定部５４は、前記音声認識部６０により判定される臓器の解剖学的名称に基づいて、その臓器に対応する前記仮想画像７２に係る視点位置及び視線方向を決定する。
【００３５】
前記視点位置／視線方向設定部５４は、好適には、前記被検体の方向に基づいてその被検体における臓器の観察に係る視点位置及び視線方向を決定する。前記被検体の方向とは、例えば被検体の体軸方向（頭部から脚部へと向かう方向、被検体が直立した場合における鉛直方向）である。前記視点位置／視線方向設定部５４は、好適には、少なくとも前記被検体の上下方向と、前記仮想画面７４内における仮想画像７２の上下方向とが一致するように、その被検体における臓器の観察に係る視点位置及び視線方向を決定する。
【００３６】
前記視点位置／視線方向設定部５４は、好適には、前記臓器の長手方向に基づいてその臓器の観察に係る視点位置及び視線方向を決定する。前記臓器の長手方向とは、管腔臓器等の長手状の臓器における軸心方向であり、例えば図４に示す血管枝ｂの走行方向ｓbに対応する。前記視点位置／視線方向設定部５４は、好適には、前記仮想画面７４内における仮想画像７２の長手方向が、その仮想画面７４の左右方向或いは上下方向等、画面の広がりに対応する方向となるように、その被検体における臓器の観察に係る視点位置及び視線方向を決定する。換言すれば、前記仮想画面７４内における仮想画像７２の長手方向が、その仮想画面７４の奥行き方向とならないように、その被検体における臓器の観察に係る視点位置及び視線方向を決定する。
【００３７】
前記視点位置／視線方向設定部５４は、具体的には、前記血管データベース３４に記憶された平均観察方向、平均観察上向き方向、観察方向標準偏差、観察上向き方向標準偏差、平均観察位置、及び平均上向き観察位置等の情報に基づいて、前記臓器の観察に係る視点位置及び視線方向を決定する。例えば、観察対象となる臓器に対応して前記血管データベース３４に記憶された平均観察位置を読み出し、その平均観察位置に基づいて前記臓器の観察に係る視点位置を設定する。観察対象となる臓器に対応して前記血管データベース３４に記憶された平均観察方向及び観察方向標準偏差を読み出し、それら平均観察方向及び観察方向標準偏差に基づいて前記臓器の観察に係る視線方向を決定する。例えば、前記音声認識部６０により「上向き」に対応する音素テキストが認識された場合等、観察対象となる臓器を上向きに観察する場合には、観察対象となる臓器に対応して前記血管データベース３４に記憶された平均上向き観察位置を読み出し、その平均上向き観察位置に基づいて前記臓器の観察に係る視点位置を設定する。観察対象となる臓器に対応して前記血管データベース３４に記憶された平均上向き観察方向及び観察上向き方向標準偏差を読み出し、それら平均上向き観察方向及び観察上向き方向標準偏差に基づいて前記臓器の観察に係る視線方向を決定する。視認しづらい臓器の観察においては、その臓器に対応する仮想画像の長手方向に基づいて、斯かる臓器の全体が視認できるような視点位置及び視線方向を設定する。
【００３８】
前記視点位置／視線方向設定部５４は、好適には、観察対象となる臓器に対応する仮想画像７２が、前記仮想画面７４における略中央に位置するように前記視点位置及び視線方向を算出する。好適には、観察対象となる臓器に対応する仮想画像７２の、前記仮想画面７４全体における占有率（仮想画像７２が占める面積の割合）が、予め定められた閾値以上となるように前記視点位置及び視線方向を算出する。前記視点位置／視線方向設定部５４は、必ずしも予め前記血管データベース３４等に記憶された視点位置及び視線方向に関する情報に基づいて前記臓器の観察に係る視点位置及び視線方向を設定するものでなくともよい。前記臓器識別部５６により観察対象となる臓器が識別された際に、その臓器の特徴に基づいて前記視点位置及び視線方向をその都度算出するものであってもよい。
【００３９】
前記視点位置／視線方向設定部５４は、好適には、前記音声認識部６０により判定される臓器の解剖学的名称が更新された場合、すなわち現時点の観察対象である臓器とは異なる臓器の解剖学的名称が前記音声認識部６０により判定された場合であって、視点位置の移動距離が規定の閾値以上である場合（比較的遠くへ移動する場合）には、前記視点位置を現時点における観察位置から一旦離隔させた後、前記臓器の観察に係る視点位置へ移動させる。例えば、前記音声認識部６０により判定される臓器の解剖学的名称が更新された場合、前記視点位置を現時点における観察位置から予め定められた基準視点位置へ移動させた後、前記臓器の観察に係る視点位置へ移動させる。前記基準視点位置は、例えば、観察対象となる臓器全体（例えば、血管全体）を概観する視点位置に対応する。或いは、現時点における観察位置から、所定距離に対応する分だけ視点位置をズームアウトさせた後、前記臓器の観察に係る視点位置へ移動させる。斯かる制御により、観察位置の移動に要する時間が長くなることを抑制しつつ、観察位置の移動を、観察者に違和感なく認識させることができる。
【００４０】
前記解剖学的名称情報発生部６２は、観察対象である臓器の解剖学的名称情報を生成する。例えば、前記音声認識部６０により判定される臓器の解剖学的名称に対応するテキストデータ（文字画像データ）を生成する。前記画像合成表示部６４は、前記３次元仮想画像生成部５２により生成される前記臓器の３次元仮想画像に対して、前記解剖学的名称情報発生部６２により生成されたテキストデータを合成させ、前記映像表示装置２０に表示させる。好適には、前記３次元仮想画像生成部５２により生成される３次元仮想画像において、前記臓器識別部５６により識別される観察対象である臓器に対応する部位に、その臓器の解剖学的名称に対応するテキストデータを合成させ、前記映像表示装置２０に表示させる。
【００４１】
図７及び図８は、前記支援装置１０による臓器の観察に際して、前記映像表示装置２０に表示される画面の一例を示す図である。図７及び図８においては、画面向かって左側に３次元仮想画像を含む仮想画面を表示させると共に、画面向かって右側に対応する断面画像すなわち３次元仮想画像の基となる画像データ（ＣＴ画像データ）を表示させる観察画面を例示している。図７は、「ＣＡ（シー・エー）」との発声に対して前記音声認識部６０による認識が行われた場合における画面を例示しており、解剖学的血管名略称「ＣＡ」に対応する腹腔動脈の仮想画像が、仮想画面における略中央とされている。すなわち、前記音声認識部６０により判定される臓器の解剖学的名称に対応する仮想画像が、仮想画面における略中央となるように、その視点位置及び視線方向が設定されている。図８は、「ＣＨＡ（シー・エイチ・エー）」との発声に対して前記音声認識部６０による認識が行われた場合における画面を例示しており、解剖学的血管名略称「ＣＨＡ」に対応する総肝動脈の仮想画像が、仮想画面における略中央とされている。しかし、対象となる仮想画像の手前に、解剖学的血管名略称「ＧＤＡ」に対応する胃十二指腸動脈の仮想画像が映り込んでいるため、その仮想画像によって解剖学的血管名略称「ＣＨＡ」に対応する総肝動脈の仮想画像が遮られ、観察し難くなっている。
【００４２】
前記画像重なり判定部５８は、前記視点位置／視線方向設定部５４により設定された前記臓器の観察に係る視点位置及び視線方向に対応して、その臓器が他の臓器によって遮られるか否かを判定する。具体的には、規定の評価関数を用い、観察対象となる臓器に対応する仮想画像７２の、前記仮想画面７４全体における占有率（仮想画像７２が占める面積の割合）を算出する。その占有率が予め定められた閾値未満である場合には、図８を用いて前述したように、前記観察対象となる臓器が他の臓器によって遮られていると判定する。
【００４３】
図９及び図１０は、前記仮想画像７２の占有率について説明するために、図６を断面図として模式化した図であり、図９は血管枝ｂの軸心に垂直な断面（半径方向の断面）に、図１０は血管枝ｂの軸心を含む断面（長手方向の断面）にそれぞれ対応する。図９及び図１０において、前記仮想カメラ７０の視点位置をｐb、血管枝ｂの軸心（中心位置）をｃbでそれぞれ示している。図９に示すように、前記仮想画像７２の、前記仮想画面７４全体における血管枝ｂ半径方向の画面占有率αは、前記仮想カメラ７０から血管枝ｂの軸心までの仮想的な距離をｋ、血管枝ｂの半径（仮想半径）をｒb、前記仮想カメラ７０の視野角をθとして、次の（１）式で表される。図１０に示すように、前記仮想画像７２の、前記仮想画面７４全体における血管枝ｂ長手方向の画面占有率βは、前記仮想カメラ７０から血管枝ｂの軸心までの仮想的な距離をｋ、血管枝ｂの長手方向の長さ寸法（仮想長さ）をｌb、前記仮想カメラ７０の視野角をθとして、次の（２）式で表される。
【００４４】
α＝ｒb／（ｋ×ｔａｎ（θ／２））×１００  ・・・（１）
β＝ｌb／（ｋ×２×ｔａｎ（θ／２））×１００  ・・・（２）
【００４５】
図１１は、観察対象である臓器を遮る位置に他の臓器が存在する場合における前記仮想画像７２の占有率について説明する図である。この図１１に示す例においては、前記仮想画像７２の観察に係る視点位置及び視線方向を定める仮想カメラ７０を基準とした場合、観察対象となる前記仮想画像７２の前面側（手前側）に他の臓器である妨害血管枝に対応する３次元仮想画像７６（以下、単に仮想画像７６という）が存在する。斯かる状態において、観察対象である前記仮想画像７２の経路（軸心）上に複数の経路点（図１１においては白抜き丸印で示している）ｖb1〜ｖbnを設定した場合、それらのうち幾つかの経路点が前記仮想画像７６によって遮蔽され、前記仮想カメラ７０から見えなくなる。すなわち、前記映像表示装置２０に表示される仮想画面７４内に描画されなくなる。ここで、前記仮想画像７２の描画率は、例えば、その仮想画像７２の経路点のうち前記仮想画面７４上に描画される経路点の数を、前記仮想画像７２の経路点の総数で除した値となる。すなわち前記仮想画像７２の描画率＝（描画される経路点の数）／（血管枝の経路点の数）となる。
【００４６】
前記視点位置／視線方向設定部５４は、前記臓器の観察に係る視点位置及び視線方向に対応して、その臓器が他の臓器によって遮られると判定される場合、すなわち前記画像重なり判定部５８による判定が肯定される場合には、前記視点位置及び視線方向の少なくとも一方を調整（変更）する。図１２は、前記視点位置／視線方向設定部５４による視線方向の調整について説明する図である。この図１２に示す例では、前記仮想画像７２の観察に係る視線方向ｄNがｄbである状態から所定角度変更して、前記仮想画像７４の長手方向（走行方向）ｓbに垂直な方向である視線方向ｄ′bの状態に変更している。すなわち、前記視点位置／視線方向設定部５４は、例えば、前記仮想画像７４の長手方向ｓbを基準として、その長手方向ｓbに対する視線方向を調整する。好適には、図１２に示すように、前記仮想画像７２における注視位置（仮想画像７２上における視線方向の延長線上の点）を維持したまま、その仮想画像７２の観察に係る視点位置及び視線方向を調整する。例えば、前記仮想画像７２の描画率が最大となる視線方向を算出すると共に、その視線方向において前記仮想画像７２における注視位置が維持される視点位置を算出する。
【００４７】
図１３は、前記臓器の観察に係る視点位置及び視線方向に応じた前記仮想画像７２の見え方の違いについて概念的に説明する図である。図１３に示す仮想画面７４ａ〜７４ｅは、前記仮想画像７２における注視位置を維持しつつ、その仮想画像７２の観察に係る視点位置及び視線方向を縦方向及び横方向に変更（探索）した仮想カメラ７０ａ〜７０ｅの視点位置及び視線方向にそれぞれ対応するものである。図１３に示すように、観察対象となる前記仮想画像７２の前面側に他の臓器に対応する前記仮想画像７６が存在する場合において、前記仮想画像７２の観察に係る視点位置及び視線方向を前記仮想カメラ７０ａ〜７０ｅのように変化させると、前記仮想画面７４ａ〜７４ｅのように前記仮想画像７２及び仮想画像７６の相対的な位置関係が変化する。図１２に示す例において、前記仮想カメラ７０ａ、７０ｃ〜７０ｅに対応する仮想画面７４ａ、７４ｃ〜７４ｅでは、前記仮想画像７２の一部が前記仮想画像７６によって遮られて見えなくなっているが、前記仮想カメラ７０ｂに対応する仮想画面７４ｂでは、前記仮想画像７６によって遮られることなく前記仮想画像７２の全体が見えている。従って、図１２に示す例では、前記仮想カメラ７０ｂに対応する視点位置及び視線方向を採用することで、前記仮想画像７２を好適に観察することができる。
【００４８】
図１４は、前記支援装置１０のＣＰＵ１２による観察支援制御の一例の要部について説明するフローチャートであり、所定の周期で繰り返し実行されるものである。
【００４９】
先ず、ステップ（以下、ステップを省略する）Ｓ１において、前記画像データベース３２に記憶された、観察対象となる臓器に対応する３次元画像データ（ＣＴ画像データ或いはＭＲ画像データ等）が読み出される。次に、Ｓ２において、Ｓ１にて読み出された３次元画像データに対応する３次元仮想画像が、体積領域であるＶＯＩにより分割され、ＶＯＩ内における血管の領域情報及び構造情報等が抽出される。次に、Ｓ３において、Ｓ２にて抽出された血管の領域情報及び構造情報等に基づいて、各血管の解剖学的名称（血管名）が認識される。次に、Ｓ４において、Ｓ３にて認識された各血管の解剖学的名称に基づいて血管の木構造データが生成される。
【００５０】
前記Ｓ１〜Ｓ４の処理と併行して、Ｓ５〜Ｓ８の処理が実行される。Ｓ５においては、前記音声入力装置２４により入力されて前記Ａ／Ｄコンバータ３０によりディジタル信号に変換された音声情報が公知の技術により認識（解析）される。次に、Ｓ６において、Ｓ５にて認識された音声情報に対応する音素テキスト（発声された文字列）が認識される。「上向き」等の指令に対応する音素テキストが認識される。次に、Ｓ７において、Ｓ６にて認識された音素テキストに対応する血管の解剖学的名称が判定され、付随コマンドが切り出される。次に、Ｓ８において、Ｓ７にて判定された解剖学的名称に対応する血管が、観察対象である注目血管とされ、その注目血管を指定する注目血管名コマンドが出力される。
【００５１】
次に、Ｓ９において、観察対象である臓器として、Ｓ８にて出力された注目血管名コマンドに対応する血管枝ｂが探索される。次に、ＳＡにおいて、図１５に示す視点位置・視線方向計算処理が実行される。次に、ＳＢにおいて、図１７に示す妨害物体による遮蔽を考慮した視点位置及び視線方向の修正処理が実行される。次に、Ｓ１０において、ＳＡにて算出され、ＳＢにて修正された視点位置及び視線方向が、前記血管枝ｂの観察に係る視点位置及び視線方向として設定される。次に、Ｓ１１において、前記血管枝ｂの仮想画像７２が、ＳＡにて算出され、ＳＢにて修正された視点位置及び視線方向に対応して描画され、血管枝ｂの解剖学的名称を示すテキストデータが生成されると共に、前記仮想画像７２及びテキストデータが合成されて前記映像表示装置２０に表示（描画）された後、本ルーチンが終了させられる。
【００５２】
図１５は、図１４に示す制御のＳＡにおける視点位置・視線方向計算処理の一例の要部について説明するフローチャートである。先ず、ＳＡ１において、前記Ｓ８にて出力された注目血管名コマンドに対応する注目血管枝名Ｎが取得される。ＳＡ１の処理と併行して、ＳＡ２において、前記Ｓ４にて生成された血管の木構造データ等の血管枝ｂに係る情報が取得される。次に、ＳＡ３において、ＳＡ１にて取得された注目血管枝名Ｎに対応する仮想画像を観察対象である臓器の画像として、ＳＡ２にて取得された血管枝ｂに係る情報に基づいて、前記血管枝ｂに対応する仮想画像７２の仮想画面７４上における半径方向画面占有率α及び長手方向画面占有率βが算出される。半径方向画面占有率αが予め定められた閾値であるｔα％以上且つ長手方向画面占有率βが予め定められた閾値であるｔβ％以上となる最大注視視点間距離ｋが算出される。
【００５３】
次に、ＳＡ４において、注目血管枝Ｎに対応して前記血管データベース３４に記憶された中心位置（注視点位）ｃbが参照される。次に、ＳＡ５において、注目血管枝Ｎに対応して前記血管データベース３４に記憶された平均観察方向（視点方向）ｄb＝ｄNが参照される。前記Ｓ６にて「上向き」に対応する音素テキストが認識された場合等、上向き観察が行われる場合には、注目血管枝Ｎに対応して前記血管データベース３４に記憶された平均観察上向き方向（仮想画面上向き方向）ｕb＝ｕNが参照される。次に、ＳＡＡにおいて、図１６に示す視線方向修正処理が実行される。次に、ＳＡ６において、ＳＡＡにて修正された視線方向に対応して、視点位置ｐb（＝ｃb−ｋｄb）が算出される。次に、ＳＡ７において、ＳＡＡにて修正された視線方向及びＳＡ６にて算出された視点位置ｐbに対応して、仮想画面描画パラメータｐb ｄb ｕb等が出力された後、図１４に示す制御に復帰させられる。
【００５４】
図２０は、図１４に示す制御のＳＡにおける視点位置・視線方向計算処理の一例の要部について説明するフローチャートであり、仮想内視鏡画像の表示制御に対応するものである。この図２０に示す制御は、前記支援装置１０が、仮想内視鏡画像の観察を支援する制御において、前述した図１５に示す制御に代替して実行されるものである。図２０に示す制御において、前述した図１５に示す制御と共通するステップについては、同一の符号を付してその説明を省略する。図２０に示す制御では、ＳＡ４の処理に続くＳＡ５′において、注目血管枝Ｎに対応して前記血管データベース３４に記憶された走行方向ｓbが参照され、ｄb＝ｓbとされる。前記Ｓ６にて「上向き」に対応する音素テキストが認識された場合等、上向き観察が行われる場合には、仮想画面上向き方向ｕbが計算される。例えば、ｄbに垂直な任意の方向でｕbが計算される。次に、ＳＡ６′において、ＳＡ５′にて参照された視線方向に対応して、視点位置ｐb（＝ｃb）が算出される。すなわち、仮想内視鏡画像の表示制御において、好適には、注視点位置に視点位置が設定され、視線方向は管腔臓器の走行方向に一致させられる。続いて、前述したＳＡ７以下の処理が実行される。
【００５５】
図１６は、図１５に示す制御のＳＡＡにおける視線方向修正処理の一例の要部について説明するフローチャートである。先ず、ＳＡＡ１において、前記ＳＡ５にて参照された視線方向（平均観察方向）ｄbが取得される。ＳＡＡ１の処理と併行して、ＳＡＡ２において、注目血管枝Ｎに対応して前記血管データベース３４に記憶された血管枝ｂの走行方向ｓbが読み出される。次に、ＳＡＡ３において、ＳＡＡ１にて取得された視線方向ｄbとＳＡＡ２にて読み出された走行方向ｓbとが張る平面内において、ｄbがｓbに対して垂直となるように、ｓb×ｄb（ｓb及びｄbの外積）を回転軸として、ｄbを角度（π／２−ｃｏｓ-1（ｓbｄb））回転させて新しい視線方向ｄbとする処理が行われる。次に、ＳＡＡ４において、ＳＡＡ３にて算出された新しい視線方向ｄbが、視線方向修正結果として出力された後、図１５に示す制御に復帰させられる。
【００５６】
図１７は、図１４に示す制御のＳＢにおける妨害物体による遮蔽を考慮した視点位置及び視線方向の修正処理の一例の要部について説明するフローチャートである。先ず、ＳＢ１において、前記Ｓ４にて生成された血管の木構造データ等の血管枝ｂに係る情報が取得される。ＳＢ１の処理と併行して、ＳＢ２において、前記ＳＡ７にて出力された仮想画面描画パラメータｐb ｄb ｕb等が取得される。ＳＢ１及びＳＢ２の処理と併行して、ＳＢ３において、前記画像データベース３２に記憶された、観察対象となる臓器に対応する３次元画像データ（ＣＴ画像データ或いはＭＲ画像データ等）が読み出される。次に、ＳＢ４において、パラメータｐ′b、ｄ′b、ｕ′bに、ＳＢ２にて取得された仮想画面描画パラメータｐb、ｄb、ｕbがそれぞれ代入される。
【００５７】
次に、ＳＢＡにおいて、図１８に示す血管枝ｂ描画率計算処理（横方向の描画率計算処理）が実行される。次に、ＳＢ５において、ＳＢＡにて算出された血管枝ｂの描画率ρが最大であるか否かが判断される。このＳＢ５の判断が肯定される場合には、ＳＢ６において、パラメータｐmb、ｄmb、ｕmbに、ＳＢ４にて定められたパラメータｐ′b、ｄ′b、ｕ′bがそれぞれ代入された後、ＳＢ７以下の処理が実行されるが、ＳＢ５の判断が否定される場合には、ＳＢ７において、血管枝ｂの横方向探索範囲に関して全範囲がチェック済みであるか否かが判断される。このＳＢ７の判断が肯定される場合には、ＳＢ１１以下の処理が実行されるが、ＳＢ７の判断が否定される場合には、ＳＢ８において、Δθhが更新される。次に、ＳＢ９において、ｕbを回転軸としてｄbｕbをΔθh回転したものをｄ′bｕ′bとする処理が行われる。次に、ＳＢ１０において、ｐ′bがｃb−ｋｄ′bとされた後、ＳＢＡ以下の処理が再び実行される。
【００５８】
ＳＢ１１においては、パラメータｐb、ｄb、ｕbに、ＳＢ６にて定められたパラメータｐmb、ｄmb、ｕmbがそれぞれ代入される。次に、ＳＢＡにおいて、図１８に示す血管枝ｂ描画率計算処理（縦方向の描画率計算処理）が実行される。次に、次に、ＳＢ１２において、ＳＢＡにて算出された血管枝ｂの描画率ρが最大（極大）であるか否かが判断される。このＳＢ１２の判断が肯定される場合には、ＳＢ１３において、パラメータｐmb、ｄmb、ｕmbに、ＳＢ４にて定められたパラメータｐ′b、ｄ′b、ｕ′bがそれぞれ代入された後、ＳＢ１４以下の処理が実行されるが、ＳＢ１２の判断が否定される場合には、ＳＢ１４において、血管枝ｂの縦方向探索範囲に関して全範囲がチェック済みであるか否かが判断される。このＳＢ１４の判断が肯定される場合には、ＳＢ１８以下の処理が実行されるが、ＳＢ１４の判断が否定される場合には、ＳＢ１５において、Δθvが更新される。次に、ＳＢ１６において、ｄb×ｕbを回転軸としてｄbｕbをΔθv回転したものをｄ′bｕ′bとする処理が行われる。次に、ＳＢ１７において、ｐ′bがｃb−ｋｄ′bとされた後、ＳＢＡ以下の処理が再び実行される。ＳＢ１８においては、パラメータｐb、ｄb、ｕbに、ＳＢ１３にて定められたパラメータｐmb、ｄmb、ｕmbがそれぞれ代入される。次に、ＳＢ１９において、ＳＢ１１及びＳＢ１８にて補正された仮想画面描画パラメータ補正結果ｐb ｄb ｕb等が出力された後、図１４に示す制御に復帰させられる。
【００５９】
図１８は、図１７に示す制御のＳＢＡにおける血管枝ｂ描画率計算処理の一例の要部について説明するフローチャートである。先ず、ＳＢＡ１において、前記Ｓ４にて生成された血管の木構造データ等の血管枝ｂに係る情報が取得される。ＳＢＡ１の処理と併行して、ＳＢＡ２において、前記ＳＡ７にて出力された仮想画面描画パラメータｐb ｄb ｕb等が取得される。ＳＢＡ１及びＳＢＡ２の処理と併行して、ＳＢＡ３において、前記画像データベース３２に記憶された、観察対象となる臓器に対応する３次元画像データ（ＣＴ画像データ或いはＭＲ画像データ等）が読み出される。次に、ＳＢＡ４において、パラメータｉに１が、パラメータｑに０がそれぞれ代入される。次に、ＳＢＡ５において、視点位置ｐbとｖbiとを結ぶレイが発生させられる。次に、ＳＢＡ６において、ＳＢＡ５にて発生させられたレイ上に妨害物体（例えば、他の臓器の仮想画像）が存在するか否かが判断される。このＳＢＡ６の判断が肯定される場合には、ＳＢＡ８以下の処理が実行されるが、ＳＢＡ６の判断が否定される場合には、ＳＢＡ７において、パラメータｑに１が加算された（ｑ＋１とされた）後、ＳＢＡ８において、ｉ＝ｎであるか否かが判断される。このＳＢＡ８の肯定される場合には、ＳＢＡ１０以下の処理が実行されるが、ＳＢＡ８の判断が否定される場合には、ＳＢＡ９において、パラメータｉに１が加算された（ｉ＋１とされた）後、ＳＢＡ５以下の処理が再び実行される。ＳＢＡ１０においては、描画率ρ（＝ｑ／ｂ）が算出される。このｂは、例えば血管枝ｂに対応する前記仮想画像７２の経路点の総数である。次に、ＳＢＡ１１において、ＳＢＡ１０にて算出された描画率ρが出力された後、図１７に示す制御に復帰させられる。
【００６０】
以上に説明した、図１４〜図１８の制御において、Ｓ１〜Ｓ１１、ＳＡ、及びＳＢが前記観察制御部５０の処理に、Ｓ１、Ｓ１１が前記３次元仮想画像生成部５２の処理に、ＳＡ及びＳＢが前記視点位置／視線方向設定部５４の処理に、Ｓ２〜Ｓ４が前記臓器識別部５６の処理に、ＳＢＡが前記臓器重なり判定部５８の処理に、Ｓ５〜Ｓ７が前記音声認識部６０の処理に、Ｓ７及びＳ１１が前記解剖学的名称情報発生部６２の処理に、Ｓ１１が前記画像合成表示部６４の処理に、それぞれ対応する。
【００６１】
このように、本実施例によれば、前記臓器の観察に係る視点位置及び視線方向を３次元で変化させる観察制御部５０（Ｓ１〜Ｓ１１、ＳＡ、及びＳＢ）と、音声入力装置２４から入力される音声を認識し、その音声に対応する臓器の解剖学的名称を判定する音声認識部６０（Ｓ５〜Ｓ７）とを、備え、前記観察制御部５０は、前記音声認識部６０により判定される臓器の解剖学的名称に基づいて、その臓器の観察に係る視点位置及び視線方向を決定するものであることから、観察したい部位の解剖学的名称を発話することで、その臓器を簡便に表示させるといった制御が可能となる。すなわち、発話による直感的な観察支援を実現する支援装置１０を提供することができる。
【００６２】
前記観察制御部５０は、前記臓器の観察に係る視点位置及び視線方向に対応して、その臓器が他の臓器によって遮られると判定される場合には、前記視点位置及び視線方向の少なくとも一方を調整するものであるため、対象となる臓器の観察をより好適なものとすることができる。
【００６３】
前記観察制御部５０は、予め取得された前記臓器の３次元画像データに基づいてその臓器の仮想画像７２を生成するものであり、前記音声認識部６０により判定される臓器の解剖学的名称に基づいて、その臓器に対応する前記仮想画像７２に係る視点位置及び視線方向を決定するものであるため、例えば仮想内視鏡画像表示制御等において、観察したい部位の解剖学的名称を発話することで、その臓器の仮想画像７２を簡便に表示させるといった制御が可能となる。
【００６４】
前記観察制御部５０は、前記音声認識部６０により判定される臓器の解剖学的名称が更新された場合には、前記視点位置を現時点における観察位置から一旦離隔させた後、前記臓器の観察に係る視点位置へ移動させるものであるため、視点位置の移動を利用者により分かり易く認識させることができる。
【００６５】
前記観察制御部５０は、前記被検体の方向に基づいてその被検体における臓器の観察に係る視点位置及び視線方向を決定するものであるため、対象となる臓器の観察をより好適なものとすることができる。
【００６６】
前記観察制御部５０は、前記臓器の長手方向に基づいてその臓器の観察に係る視点位置及び視線方向を決定するものであるため、対象となる臓器の観察をより好適なものとすることができる。
【００６７】
本実施例によれば、臓器の観察を支援する支援装置１０に備えられたＣＰＵ１２を、前記臓器の観察に係る視点位置及び視線方向を３次元で変化させる観察制御部５０、及び、音声入力装置２４から入力される音声を認識し、その音声に対応する臓器の解剖学的名称を判定する音声認識部６０として機能させ、前記観察制御部５０は、前記音声認識部６０により判定される臓器の解剖学的名称に基づいて、その臓器の観察に係る視点位置及び視線方向を決定することを特徴とする医用観察支援プログラムであることから、観察したい部位の解剖学的名称を発話することで、その臓器を簡便に表示させるといった制御が可能となる。すなわち、発話による直感的な観察支援を実現する医用観察支援プログラムを提供することができる。
【００６８】
続いて、本発明の他の好適な実施例を図面に基づいて詳細に説明する。以下の説明において、実施例相互に共通する部分については同一の符号を用いてその説明を省略する。
【実施例２】
【００６９】
図１９は、前記支援装置１０に備えられた装置及び制御機能の一例の要部を説明する機能ブロック線図である。この図１９に示すように、本実施例の支援装置１０には、医用カメラ８０及び医用カメラ駆動部８２が備えられている。前記医用カメラ８０は、例えばＣＣＤ（Charge Coupled Device）等の撮像素子を備えたデジタルカメラであり、前記支援装置１０による観察対象である臓器の実際の映像を撮影する撮像装置である。前記医用カメラ駆動部８２は、前記医用カメラ８０を、前記観察対象である臓器に対して３次元方向に移動させる装置である。前記医用カメラ駆動部８２は、前記ＣＰＵ１２から供給される指令に従い、前記医用カメラ８０を前記臓器に対して３次元方向に移動させる。前記医用カメラ８０及び医用カメラ駆動部８２は、好適には、図示しない操作部における操作に応じて被検体の手術を行う所謂マスタースレイブ型医用ロボット等に備えられたものである。前記医用カメラ８０及び医用カメラ駆動部８２は、好適には、管腔臓器の観察に用いられる公知の電子スコープ或いはファイバスコープ等の内視鏡である。
【００７０】
本実施例の支援装置１０における観察制御部５０は、前記医用カメラ８０を介して観察対象となる臓器の実際の映像を撮影する。このため、前記観察制御部５０は、前記医用カメラ８０による撮像を制御する撮像制御部６６を備えている。この撮像制御部６６は、前記医用カメラ駆動部８２を介して、前記医用カメラ８０を、観察対象である臓器に対して３次元方向に移動させる。すなわち、前記医用カメラ８０による前記臓器の撮影に係る視点位置及び視線方向を制御する。本実施例の観察制御部５０に備えられた視点位置／視線方向設定部５４は、前記撮像制御部６６の制御に係る、前記医用カメラ８０による前記臓器の撮影に係る視点位置及び視線方向を設定する。
【００７１】
本実施例の観察制御部５０に備えられた臓器識別部５６は、前記医用カメラ８０による撮影対象となる実際の臓器を識別する。好適には、それぞれ所定の解剖学的名称で識別される複数の臓器に関して、前記医用カメラ８０により撮影される前記臓器における各部が、どの臓器に対応するか識別する。好適には、観察対象となる被検体に対応して予め取得された臓器の３次元画像データを参照し、前記医用カメラ８０により撮影される位置が、どの臓器に対応する位置であるか識別する。好適には、前記医用カメラ８０による撮影対象である臓器における各部の走行方向、長さ、断面積等の特徴を、対応する３次元画像データから抽出し、前記血管データベース３４に記憶された特徴情報を参照することで、対象となる部位がどの臓器に対応するか識別する。例えば、前記血管データベース３４に記憶された特徴情報に関して、走行方向、長さ、断面積等の特徴が最も近い臓器を、対象となる部位に対応する臓器として識別する。
【００７２】
前述のように、前記血管データベース３４には、観察対象である臓器（血管枝）それぞれに対応して、平均観察方向、平均観察上向き方向、観察方向標準偏差、観察上向き方向標準偏差、平均観察位置、及び平均観察上向き位置等の視点位置及び視線方向に関する情報が予め定められて記憶されている。前記視点位置／視線方向設定部５４は、前記音声認識部６０により所定の臓器の解剖学的名称が判定された場合、その臓器の解剖学的名称に対応して前記血管データベース３４に記憶された視点位置及び視線方向に関する情報を読み出し、その情報に基づいて前記臓器の観察に係る視点位置及び視線方向を決定する。すなわち、前記視点位置／視線方向設定部５４は、前記音声認識部６０により判定される臓器の解剖学的名称に基づいて、前記医用カメラ８０によるその臓器の撮影に係る視点位置及び視線方向を決定する。
【００７３】
本実施例の観察制御部５０に備えられた画像合成表示部６４は、前記医用カメラ８０により撮影される前記臓器の実際の映像に対して、前記解剖学的名称情報発生部６２により生成されたテキストデータを合成させ、前記映像表示装置２０に表示させる。好適には、前記医用カメラ８０により撮影される前記臓器の実際の映像において、前記臓器識別部５６により識別される観察対象である臓器に対応する部位に、その臓器の解剖学的名称に対応するテキストデータを合成させ、前記映像表示装置２０に表示させる。
【００７４】
本実施例の観察制御部５０に備えられた臓器重なり判定部５８は、前記視点位置／視線方向設定部５４により設定された、前記医用カメラ８０によるその臓器の撮影に係る視点位置及び視線方向に対応して、その臓器の実際の映像が他の臓器によって遮られるか否かを判定する。具体的には、前記実施例において詳述したような方法を用いて、観察対象となる臓器に対応する実際の映像の、撮像画面全体における占有率（実際の映像が占める面積の割合）を算出する。その占有率が予め定められた閾値未満である場合には、前記観察対象となる臓器が他の臓器によって遮られていると判定する。
【００７５】
その他、前記臓器重なり判定部５８により、臓器が他の臓器によって遮られると判定される場合には、前記視点位置及び視線方向の少なくとも一方を調整する制御、前記音声認識部６０により判定される臓器の解剖学的名称が更新された場合には、前記視点位置を現時点における観察位置から一旦離隔させた後、前記臓器の観察に係る視点位置へ移動させる制御、前記被検体の方向に基づいてその被検体における臓器の観察に係る視点位置及び視線方向を決定する制御、前記臓器の長手方向に基づいてその臓器の観察に係る視点位置及び視線方向を決定する制御等については、前記実施例において詳述した制御が、本実施例においても同様に適用される。
【００７６】
このように、本実施例によれば、前記観察制御部５０は、前記臓器の実際の映像を撮影するものであり、前記音声認識部６０により判定される臓器の解剖学的名称に基づいて、その臓器の撮影に係る視点位置及び視線方向を決定するものであるため、例えば所謂手術ロボットを用いた手術における手術ナビゲーション等において、観察したい部位の解剖学的名称を発話することで、その臓器の像を簡便に撮影するといった制御が可能となる。
【００７７】
以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。
【００７８】
例えば、前述の実施例１においては、予め取得された臓器の３次元画像データに基づいてその臓器の３次元仮想画像を生成する制御に本発明が適用された例について、前述の実施例２においては、前記臓器の実際の映像を撮影する制御に本発明が適用された例についてそれぞれ説明したが、これらの制御は複合的に適用されてもよい。例えば、予め取得された臓器の３次元画像データに基づいてその臓器の３次元仮想画像を生成する制御と、前記臓器の実際の映像を撮影する制御とを同期して実行する医用観察支援装置において、本発明がその両者の制御に適用されるものであってもよい。更には、観察対象となる臓器の仮想的な外形（例えば、正面側から視た外観を表す像）を示す３次元仮想画像の表示制御と、観察対象となる臓器の内部（内腔）に内視鏡を挿入して撮影を行った際の映像に対応する３次元仮想内視鏡画像を、前記３次元画像データに基づいて表示させる表示制御とを、同期して実行する医用観察支援装置において、本発明がその両者の制御に適用されるものであってもよい。
【００７９】
前述の実施例においては、前記音声認識部６０により判定される１つの臓器の解剖学的名称に基づいて、その臓器の観察に係る視点位置及び視線方向を決定する制御について説明したが、前記音声認識部６０により判定される２つ以上の臓器の解剖学的名称に基づいて、それらの臓器の観察に係る視点位置及び視線方向を決定するものであってもよい。例えば、「ＣＡとＬＧＡとの分岐部」との発声に応じて、観察対象となる臓器における解剖学的名称「ＣＡ」と「ＬＧＡ」との分岐部における３次元仮想画像を表示させる（或いは、斯かる部位の実際の映像を撮影する）ように視点位置及び視線方向を設定するものであってもよい。
【００８０】
前述の実施例においては、前記音声認識部６０により「上向き」に対応する音素テキストが認識された場合等において、観察対象となる臓器を上向きに観察する制御について説明したが、音声認識により、観察対象となる部位をより詳しく指示する制御を行うものであってもよい。例えば、「ＣＡを右から」との発声に応じて、解剖学的名称「ＣＡ」に対応する臓器を右側から左側に向かって観察する視点位置及び視線方向を設定する制御、「ＣＡを大きく」との発声に応じて、解剖学的名称「ＣＡ」に対応する臓器を拡大して観察する視点位置及び視線方向を設定する制御等を行うものであってもよい。或いは、前記支援装置１０による観察に係る履歴を前記ＲＡＭ１６等に記憶させておき、「さっきの」との発声に応じて、前記ＲＡＭ１６等に記憶された履歴における視点位置及び視線方向を再度設定する制御を行うものであってもよい。
【００８１】
前述の実施例においては、「ＣＭＡ」等の解剖学的名称の略称の発声に応じて、その解剖学的名称に対応する臓器の観察に係る視点位置及び視線方向を設定する制御について説明したが、「上腸間膜動脈」等の和名の発声、或いは「Superior mesenteric artery」等の正式名の発声に応じて同様の制御を行うものであってもよい。
【００８２】
その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。
【符号の説明】
【００８３】
１０：医用観察支援装置、２４：音声入力装置、５０：観察制御部、６０：音声認識部、７２、７６：３次元仮想画像
【図１】
2015047309.tif 000003
【図２】
2015047309.tif 000004
【図３】
2015047309.tif 000005
【図４】
2015047309.tif 000006
【図５】
2015047309.tif 000007
【図６】
2015047309.tif 000008
【図９】
2015047309.tif 000009
【図１０】
2015047309.tif 000010
【図１１】
2015047309.tif 000011
【図１２】
2015047309.tif 000012
【図１３】
2015047309.tif 000013
【図１４】
2015047309.tif 000014
【図１５】
2015047309.tif 000015
【図１６】
2015047309.tif 000016
【図１７】
2015047309.tif 000017
【図１８】
2015047309.tif 000018
【図１９】
2015047309.tif 000019
【図２０】
2015047309.tif 000020
【図７】
2015047309.tif 000021
【図８】
2015047309.tif 000022