(57)【要約】【課題】診断用の画像において表示されない範囲に関心領域が位置する場合でも、関心領域の状態を容易に確認することを可能にする。【解決手段】実内視鏡画像処理部１３ｂが、大腸内部を実内視鏡１１の進行方向から撮影した実内視鏡画像を表示部１３ａに表示する。また、視線方向変更ガイド操作部１１ｄが、実内視鏡画像処理部１３ｂによって表示された実内視鏡画像上で任意の視点を指定する操作を操作者から受け付ける。そして、仮想内視鏡画像処理部１３ｆが、Ｘ線ＣＴ装置によって得られたＣＴ像データを用いて、視線方向変更ガイド操作部１１ｄによる操作の受け付けによって指定された視点から大腸内部を撮影した場合の仮想内視鏡画像を生成し、生成した仮想内視鏡画像を表示部１３ａに表示する。【選択図】図１
2011036600.tif 000002
【特許請求の範囲】
【請求項１】
被検体の部位を所定方向から撮影した画像を第１の画像として表示部に表示する第１の表示制御手段と、
前記第１の表示制御手段によって表示された前記第１の画像上で任意の視点を指定する操作を操作者から受け付ける操作受付手段と、
所定の画像診断装置によって得られた画像データを用いて、前記操作受付手段による操作の受け付けによって指定された視点から前記部位を撮影した場合の仮想画像を生成し、生成した仮想画像を第２の画像として前記表示部に表示する第２の表示制御手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記第１の表示制御手段によって前記表示部に表示された前記第１の画像上に前記任意の視点を指定する範囲を示す視線方向変更ガイドを表示するガイド表示制御手段をさらに備え、
前記操作受付手段は、前記ガイド表示制御手段によって表示された前記視線方向変更ガイドによって示される範囲で前記任意の視点を指定する操作を前記操作者から受け付けることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ガイド表示制御手段は、ドーム状または球状に形成された前記視線方向変更ガイドおよび当該視線方向変更ガイドの表面に配置された視点マーカをそれぞれ前記第一の画像上に表示し、
前記操作受付手段は、前記視線方向変更ガイドの表面に沿って前記視点マーカを移動する操作を前記操作者から受け付け、
前記第２の表示制御手段は、前記視点マーカの位置から前記視線方向変更ガイドの中心へ向かう方向に前記部位を撮影した場合の仮想画像を生成して前記表示部に表示することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の表示制御手段は、内視鏡によって撮影された画像を前記第１の画像として前記表示部に表示し、
前記第２の表示制御手段は、所定の画像診断装置によって得られた画像データを用いて仮想内視鏡画像を生成し、生成した仮想内視鏡画像を第２の画像として前記表示部に表示することを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項５】
前記画像診断装置によって得られた画像データを用いて前記部位の外形像を生成し、生成した外形像を前記表示部に表示する外形像表示制御手段と、
前記外形像表示制御手段によって表示された前記部位の外形像に前記内視鏡が有するカメラの位置および進行方向を示すカメラ位置情報を重畳して表示するカメラ位置表示制御手段と
をさらに備えたことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
被検体の部位を所定方向から撮影した画像を第１の画像として表示部に表示する第１の表示制御手順と、
前記第１の表示制御手順によって表示された前記第１の画像上で任意の視点を指定する操作を操作者から受け付ける操作受付手順と、
所定の画像診断装置によって得られた画像データを用いて、前記操作受付手順による操作の受け付けによって指定された視点から前記部位を撮影した場合の仮想画像を生成し、生成した仮想画像を第２の画像として前記表示部に表示する第２の表示制御手順と
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項７】
内視鏡と画像処理装置とを有する医用診断システムであって、
前記内視鏡が、
被検体の部位を所定方向から撮影する撮影手段を備え、
前記画像処理装置が、
前記内視鏡によって撮影された画像を第１の画像として表示部に表示する第１の表示制御手段と、
前記第１の表示制御手段によって表示された前記第１の画像上で任意の視点を指定する操作を操作者から受け付ける操作受付手段と、
所定の画像診断装置によって得られた画像データを用いて、前記操作受付手段による操作の受け付けによって指定された視点から前記部位を撮影した場合の仮想画像を生成し、生成した仮想画像を第２の画像として前記表示部に表示する第２の表示制御手段と
を備えたことを特徴とする医用診断システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理プログラムおよび医用診断システムに関する。
【背景技術】
【０００２】
従来、例えば大腸などの検査では、電子式内視鏡を用いて、大腸内部にある病変部などの関心領域を診察することが行われている。また、近年では、電子式内視鏡を用いた診察に加えて、仮想内視鏡システムを用いた診察も行われている。
【０００３】
仮想内視鏡システムは、例えば、Ｘ線ＣＴ（Computed  Tomography）装置などの画像診断装置によって生成された画像データから仮想内視鏡画像を生成し、生成した仮想内視鏡画像を表示する（例えば、非特許文献１参照）。なお、以下では、電子式内視鏡と仮想内視鏡とを区別するため、電子式内視鏡を「実内視鏡」と呼ぶ。
【０００４】
かかる仮想内視鏡システムを利用することによって、医師は、実内視鏡を用いて大腸内部を直接診察する代わりに、仮想内視鏡画像を用いて大腸内部を仮想的に診察することができる。また、ＣＡＤ（Computer  Aided  Design）システムを用いて、仮想内視鏡システムによって生成された仮想内視鏡画像から病変部を自動検出する技術もある。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】「仮想化内視鏡を核とした最新画像診断支援・画像誘導手術システム」、［平成２１年７月３０日検索］、インターネット＜URL: http://tzklabo.met.nagoya-u.ac.jp/35jsrt-au/kouen/tokubetsu.htm＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来の技術では、以下に説明するように、診察で用いられる画像に表示されない範囲があった場合に、操作者が、その範囲に位置する関心領域を容易に確認することができないという課題があった。
【０００７】
例えば、実内視鏡は、視線方向が進行方向の一方向のみであることから、視野に死角が生じる。図９は、従来技術の課題を説明するための図である。図９に示すように、例えば、実内視鏡１は、先端に設けられたカメラ２が関心領域３の付近に到達しても、進行方向に向かって関心領域３がヒダ４の裏側に位置するような場合には、関心領域３を撮影することができない。そのため、操作者は、例えば、被検体の大腸にガスを注入して大腸を膨らませたうえで、実内視鏡を死角に回り込ませて撮影するなどの特別な操作を行って、関心領域の状態を確認していた。
【０００８】
また、例えば、実内視鏡による観察の前に、仮想内視鏡システムによって生成された仮想内視鏡画像の展開図を観察することで、関心領域周辺のヒダの情報を得る方法もある。しかし、展開図の生成および観察は長い時間を要することから、操作者は関心領域の状態を容易に確認することができなかった。
【０００９】
本発明は、上記に鑑みてなされたものであって、診察で用いられる画像に表示されない範囲があった場合でも、その範囲に位置する関心領域を容易に確認することができるように操作者を支援することが可能な画像処理装置、画像処理プログラムおよび医用診断システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、請求項１記載の本発明は、画像処理装置が、被検体の部位を所定方向から撮影した画像を第１の画像として表示部に表示する第１の表示制御手段と、前記第１の表示制御手段によって表示された前記第１の画像上で任意の視点を指定する操作を操作者から受け付ける操作受付手段と、所定の画像診断装置によって得られた画像データを用いて、前記操作受付手段による操作の受け付けによって指定された視点から前記部位を撮影した場合の仮想画像を生成し、生成した仮想画像を第２の画像として前記表示部に表示する第２の表示制御手段とを備えたことを特徴とする。
【００１１】
また、請求項６記載の本発明は、画像処理プログラムが、被検体の部位を所定方向から撮影した画像を第１の画像として表示部に表示する第１の表示制御手順と、前記第１の表示制御手順によって表示された前記第１の画像上で任意の視点を指定する操作を操作者から受け付ける操作受付手順と、所定の画像診断装置によって得られた画像データを用いて、前記操作受付手順による操作の受け付けによって指定された視点から前記部位を撮影した場合の仮想画像を生成し、生成した仮想画像を第２の画像として前記表示部に表示する第２の表示制御手順とをコンピュータに実行させることを特徴とする。
【００１２】
また、請求項７記載の本発明は、内視鏡と画像処理装置とを有する医用診断システムであって、前記内視鏡が、被検体の部位を所定方向から撮影する撮影手段を備え、前記画像処理装置が、前記内視鏡によって撮影された画像を第１の画像として表示部に表示する第１の表示制御手段と、前記第１の表示制御手段によって表示された前記第１の画像上で任意の視点を指定する操作を操作者から受け付ける操作受付手段と、所定の画像診断装置によって得られた画像データを用いて、前記操作受付手段による操作の受け付けによって指定された視点から前記部位を撮影した場合の仮想画像を生成し、生成した仮想画像を第２の画像として前記表示部に表示する第２の表示制御手段とを備えたことを特徴とする。
【発明の効果】
【００１３】
請求項１、６または７記載の本発明によれば、診断用の画像において表示されない範囲に関心領域が位置する場合でも、関心領域の状態を容易に確認することができるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】図１は、本実施例１に係る医用診断システムの構成を示す図である。
【図２−１】図２−１は、視線方向変更ガイド画像処理部によって表示される視線方向変更ガイドの一例を示す図である。
【図２−２】図２−２は、視線方向変更ガイド画像処理部によって表示される視線方向変更ガイドの他の例を示す図である。
【図３】図３は、視線方向変更ガイドの表示および仮想内視鏡画像の表示に関する制御を説明するための図である。
【図４−１】図４−１は、本実施例１に係る医用診断システムの処理手順を示すフローチャート（１）である。
【図４−２】図４−２は、本実施例１に係る医用診断システムの処理手順を示すフローチャート（２）である。
【図５】図５は、医用診断システムによって表示される画像の一例を示す図（１）である。
【図６】図６は、医用診断システムによって表示される画像の一例を示す図（２）である。
【図７】図７は、医用診断システムによって表示される画像の一例を示す図（３）である。
【図８】図８は、本実施例２に係る仮想内視鏡システムを説明するための図である。
【図９】図９は、従来技術の課題を説明するための図である。
【発明を実施するための形態】
【００１５】
以下に、本発明に係る画像処理装置、画像処理プログラムおよび医用診断システムの実施例を図面に基づいて詳細に説明する。なお、以下に示す実施例では、大腸の検査を行う場合について説明するが、この実施例によって本発明が限定されるものではない。
【実施例１】
【００１６】
まず、本実施例１に係る医用診断システムの概要について説明する。本実施例１に係る医用診断システムは、実内視鏡によって撮影された実内視鏡画像と、Ｘ線ＣＴ装置によって得られた画像データから生成された仮想内視鏡画像とをそれぞれ表示する。ここで、実内視鏡の視野方向は進行方向のみであるので、視野に死角が存在する。
【００１７】
そこで、本実施例１では、医用診断システムが、実内視鏡画像上で任意の視点を指定する操作を操作者から受け付ける。そして、医用診断システムは、操作者によって指定された視点から大腸内部を撮影した場合の仮想内視鏡画像を生成し、生成した仮想内視鏡画像を表示部に表示する。
【００１８】
すなわち、本実施例１に係る医用診断システムは、実内視鏡の視野方向とは異なる任意の方向から撮影した場合の仮想内視鏡画像を表示することができる。したがって、本実施例１によれば、診察で用いられる実内視鏡画像に表示されない範囲があった場合でも、その範囲に位置する関心領域を容易に確認することができるように操作者を支援することが可能になる。
【００１９】
次に、本実施例１に係る医用診断システムの構成について説明する。図１は、本実施例１に係る医用診断システム１０の構成を示す図である。図１に示すように、本実施例１に係る医用診断システム１０は、実内視鏡１１と、記憶装置１２と、画像処理装置１３とを有する。
【００２０】
実内視鏡１１は、カメラ１１ａと、マーカ１１ｂと、実内視鏡操作部１１ｃと、視線方向変更ガイド操作部１１ｄとを有する。カメラ１１ａは、実内視鏡１１の先端に設けられ、実内視鏡１１の進行方向を撮影する。マーカ１１ｂは、カメラ１１ａの位置および進行方向を検出する。実内視鏡操作部１１ｃは、カメラ１１ａのアングルや撮影の調整に関する操作を操作者から受け付ける。
【００２１】
視線方向変更ガイド操作部１１ｄは、後述する画像処理装置１３によって表示された実内視鏡画像上で任意の視線方向を指定する操作を操作者から受け付ける。また、例えば、視線方向変更ガイド操作部１１ｄは、画像処理装置１３によって表示される仮想内視鏡画像の視線方向を変更するための視線方向変更モードを起動または終了する操作を操作者から受け付ける。かかる視線方向変更ガイド操作部１１ｄは、例えば、マウスやトラックボールなどの入力ユーザインタフェースを有する。
【００２２】
記憶装置１２は、被検体に関する３次元画像データを記憶する。例えば、記憶装置１２は、Ｘ線ＣＴ装置によって生成されたＣＴ像データを記憶する。かかる記憶装置１２は、例えば、ハードディスクドライブ、ＤＶＤドライブなどである。
【００２３】
画像処理装置１３は、各種画像を処理する。例えば、画像処理装置１３は、実内視鏡１１によって得られた画像データから実内視鏡画像を生成して表示する。また、画像処理装置１３は、記憶装置１２によって記憶されている画像データから仮想内視鏡画像を生成して表示する。この画像処理装置１３は、表示部１３ａと、実内視鏡画像処理部１３ｂと、実内視鏡位置検出部１３ｃと、視線方向変更ガイド画像処理部１３ｄと、視線方向変更ガイド操作量処理部１３ｅと、仮想内視鏡画像処理部１３ｆとを有する。
【００２４】
表示部１３ａは、各種画像を表示する。例えば、表示部１３ａは、実内視鏡１１によって撮影された実内視鏡画像や、記憶装置１２によって記憶されている画像データから生成された仮想内視鏡画像を表示する。
【００２５】
実内視鏡画像処理部１３ｂは、大腸内部を実内視鏡１１の進行方向から撮影した実内視鏡画像を表示部１３ａに表示する。具体的には、実内視鏡画像処理部１３ｂは、実内視鏡１１のカメラ１１ａによって得られた画像データから実内視鏡画像を再構成し、再構成した実内視鏡画像を表示部１３ａに表示する。
【００２６】
実内視鏡位置検出部１３ｃは、実内視鏡１１が有するカメラ１１ａの位置を検出する。具体的には、実内視鏡位置検出部１３ｃは、検査対象の被検体に関するＣＴ像データを記憶装置１２から取得し、取得したＣＴ像データに基づいて、大腸に含まれる各部の位置関係を示す大腸マップを作成する。そして、実内視鏡位置検出部１３ｃは、実内視鏡１１のマーカ１１ｂによってカメラ１１ａの位置が検出されると、検出された位置を大腸マップに配置する。
【００２７】
視線方向変更ガイド画像処理部１３ｄは、実内視鏡画像処理部１３ｂによって表示部１３ａに表示された実内視鏡画像上に、任意の視点を指定する範囲を示す視線方向変更ガイドを表示する。
【００２８】
図２−１は、視線方向変更ガイド画像処理部１３ｄによって表示される視線方向変更ガイドの一例を示す図である。図２−１に示すように、例えば、視線方向変更ガイド画像処理部１３ｄは、ドーム状に形成された視線方向変更ガイド２１を表示し、さらに、視線方向変更ガイド２１の表面に配置された視点マーカ２２を表示する。
【００２９】
そして、視線方向変更ガイド画像処理部１３ｄは、視線方向変更ガイド２１の位置または大きさを変更する操作が視線方向変更ガイド操作部１１ｄによって受け付けられた場合に、後述する視線方向変更ガイド操作量処理部１３ｅからの指示に応じて、表示部１３ａに表示されている視線方向変更ガイド２１の大きさを変更したり（矢印Ａを参照）、回転したりする（矢印Ｂを参照）。
【００３０】
また、視線方向変更ガイド画像処理部１３ｄは、視点マーカ２２を移動する操作が視線方向変更ガイド操作部１１ｄによって受け付けられた場合に、後述する視線方向変更ガイド操作量処理部１３ｅからの指示に応じて、表示部１３ａに表示されている視点マーカ２２の位置を視線方向変更ガイド２１の表面に沿って移動する（矢印Ｃを参照）。ここで、視点マーカ２２の位置から視線方向変更ガイド２１の中心２３へ向かう垂線の方向が、後述する仮想内視鏡画像処理部１３ｆによって生成される仮想内視鏡画像の視線方向２４として設定される。
【００３１】
なお、視線方向変更ガイドの形状はドーム状に限られるものではない。図２−２は、視線方向変更ガイド画像処理部１３ｄによって表示される視線方向変更ガイドの他の例を示す図である。例えば、図２−２に示すように、視線方向変更ガイド画像処理部１３ｄは、球状に形成された視線方向変更ガイド３１を表示し、さらに、視線方向変更ガイド３１の表面に配置された視点マーカ３２を表示してもよい。この場合には、視線方向変更ガイド画像処理部１３ｄは、視点マーカ３２から視線方向変更ガイド３１の中心３３へ向かう垂線の方向が、仮想内視鏡画像の視線方向３４として設定される。
【００３２】
視線方向変更ガイド操作量処理部１３ｅは、視線方向変更ガイド操作部１１ｄによって操作者から受け付けられた操作に基づいて、視線方向変更ガイドの表示および仮想内視鏡画像の表示を制御する。
【００３３】
例えば、視線方向変更ガイド操作量処理部１３ｅは、視線方向変更モードを起動する操作が受け付けられた場合には、視線方向変更ガイドを表示部１３ａに表示するように、視線方向変更ガイド画像処理部１３ｄを制御する。また、視線方向変更ガイド操作量処理部１３ｅは、視線方向変更ガイドの位置または大きさを変更する操作が受け付けられた場合には、その操作量に応じて視線方向変更ガイドの位置または大きさを変更するように、視線方向変更ガイド画像処理部１３ｄを制御する。
【００３４】
また、視線方向変更ガイド操作量処理部１３ｅは、視線方向変更ガイドの表面に表示された視点マーカの位置を変更する操作が受け付けられた場合には、その操作量に応じて視点マーカの位置を変更するように、視線方向変更ガイド画像処理部１３ｄを制御する。さらに、視線方向変更ガイド操作量処理部１３ｅは、操作者によって指定された視点マーカから大腸を撮影した場合の仮想内視鏡画像を表示部１３ａに表示するように、仮想内視鏡画像処理部１３ｆを制御する。
【００３５】
なお、上述した視線方向変更ガイドの表示および仮想内視鏡画像の表示に関する制御については、後に詳細に説明する。
【００３６】
仮想内視鏡画像処理部１３ｆは、Ｘ線ＣＴ装置によって得られたＣＴ像データを用いて仮想内視鏡画像および大腸外形像を生成し、生成した仮想内視鏡画像および大腸外形像を表示部１３ａに表示する。
【００３７】
具体的には、仮想内視鏡画像処理部１３ｆは、Ｘ線ＣＴ装置によって得られたＣＴ像データを記憶装置１２から取得し、取得したＣＴ像データを用いて、視線方向変更ガイド操作部１１ｄによる操作の受け付けによって指定された視点から大腸内部を撮影した場合の仮想内視鏡画像を生成する。さらに、仮想内視鏡画像処理部１３ｆは、取得したＣＴ像データを用いて、大腸の外形を表す大腸外形像を生成する。その後、仮想内視鏡画像処理部１３ｆは、生成した大腸外形像および仮想内視鏡画像を表示部１３ａに表示する。なお、このとき、仮想内視鏡画像処理部１３ｆは、実内視鏡画像処理部１３ｂによって表示される実内視鏡画像と同期するように、大腸外形像および仮想内視鏡画像を表示する。
【００３８】
また、仮想内視鏡画像処理部１３ｆは、実内視鏡位置検出部１３ｃによって作成された大腸マップを参照し、大腸マップに配置されているカメラ１１ａの位置情報に基づいて、カメラ１１ａの位置および進行方向を示すカメラ位置情報を大腸外形像上に重畳表示する。例えば、仮想内視鏡画像処理部１３ｆは、カメラ１１ａの位置および進行方向を示す矢印を大腸外形像上に重畳表示する。
【００３９】
そして、仮想内視鏡画像処理部１３ｆは、操作者によって実内視鏡が操作されるたびに、大腸外形像、仮想内視鏡画像、および、大腸外形像上のカメラ位置情報の情報を更新する。これにより、大腸外形像、仮想内視鏡画像およびカメラ位置情報が、常に、実内視鏡１１のカメラ１１ａの位置に同期して表示される。
【００４０】
次に、視線方向変更ガイドの表示および仮想内視鏡画像の表示に関する制御について説明する。図３は、視線方向変更ガイドの表示および仮想内視鏡画像の表示に関する制御を説明するための図である。なお、ここでは、図２−１に示したドーム状の視線方向変更ガイドを例にあげて説明する。
【００４１】
図３に示すように、例えば、視点マーカ２２の座標を（ｘ，ｙ，ｚ）、視線方向変更ガイド２１を表すドームの中心２３の座標を（ｘ0，ｙ0，ｚ0）、ドームの半径をｒとした場合、以下に示す方程式（１）が成り立つ。
【００４２】
（ｘ−ｘ0）２＋（ｙ−ｙ0）２＋（ｚ−ｚ0）２＝ｒ２      ・・・（１）
【００４３】
ここで、視線方向２４は、視点マーカ２２の位置から視線方向変更ガイド２１を表すドームの中心２３へ向かう方向である。したがって、視線方向２４を示すベクトルｒは、以下に示す式（２）で表される。
【００４４】
ベクトルｒ＝（ｘ0−ｘ，ｙ0−ｙ，ｚ0−ｚ）      ・・・（２）
【００４５】
視線方向変更ガイド操作量処理部１３ｅは、視線方向変更モードの起動中は、視線方向変更ガイド操作部１１ｄによって受け付けられた操作の操作量に応じて、視線方向変更ガイド２１の位置および大きさを決定する。具体的には、視線方向変更ガイド操作量処理部１３ｅは、視線方向変更ガイド操作部１１ｄによって受け付けられた操作の操作量に応じて、視線方向変更ガイド２１を表すドームの中心２３の座標（ｘ0，ｙ0，ｚ0）と、視線方向変更ガイド２１を表すドームの半径ｒとを算出する。
【００４６】
なお、このとき、視線方向変更ガイド操作量処理部１３ｅは、大腸の内部に収まる範囲で、視線方向変更ガイド２１の位置および大きさを決定する。そして、視線方向変更ガイド操作量処理部１３ｅは、決定した視線方向変更ガイド２１の位置および大きさを視線方向変更ガイド画像処理部１３ｄへ通知する。
【００４７】
視線方向変更ガイド画像処理部１３ｄは、視線方向変更ガイド操作量処理部１３ｅから通知された位置および大きさに基づいて、視線方向変更ガイド２１の表示を更新する。視線方向変更ガイド画像処理部１３ｄは、視線方向変更モードの起動中は、実内視鏡画像上に視線方向変更ガイド２１を重畳して表示する。これにより、操作者は、表示された視線方向変更ガイド２１を操作することで、視線方向変更ガイド２１を任意の大きさおよび位置に設定することができる。
【００４８】
こうして、視線方向変更ガイドの大きさが決定されたのちに、視線方向変更ガイド操作量処理部１３ｅは、視線方向変更ガイド２１の表面に沿って視点マーカ２２を移動する操作が視線方向変更ガイド操作部１１ｄによって受け付けられると、その操作量に応じて、視点マーカ２２の座標（ｘ，ｙ，ｚ）および視線方向を示すベクトルｒを算出する。そして、視線方向変更ガイド操作量処理部１３ｅは、算出した座標（ｘ，ｙ，ｚ）およびベクトルｒを仮想内視鏡画像処理部１３ｆに通知する。
【００４９】
仮想内視鏡画像処理部１３ｆは、視線方向変更ガイド操作量処理部１３ｅから通知された視点マーカ２２の位置（ｘ，ｙ，ｚ）および視線方向を示すベクトルｒに基づいて、操作者によって指定された視点マーカ２２から大腸を撮影した場合の仮想内視鏡画像を生成して表示部１３ａに表示する。
【００５０】
視線方向変更モードの起動中は、視線方向変更ガイド操作部１１ｄによって視点マーカ２２の位置を変更する操作が受け付けられるたびに、上述した処理が繰り返される。これにより、常に、視点マーカ２２に同期した仮想内視鏡画像が表示される。
【００５１】
次に、本実施例１に係る医用診断システム１０の処理手順について説明する。図４−１および４−２は、本実施例１に係る医用診断システム１０の処理手順を示すフローチャートである。また、図５〜７は、医用診断システム１０によって表示される画像の一例を示す図である。
【００５２】
図４−１に示すように、操作者によってシステムが起動されると（ステップＳ１０１，Ｙｅｓ）、まず、仮想内視鏡画像処理部１３ｆが、被検体に関するＣＴ像データを記憶装置１２から取得し（ステップＳ１０２）、取得したＣＴ像データから大腸外形像および仮想内視鏡画像を生成する（ステップＳ１０３）。そして、仮想内視鏡画像処理部１３ｆは、生成した大腸外形像を表示部１３ａに表示する（ステップＳ１０４）。
【００５３】
この時点では、例えば、図５に示すように、大腸外形像４１のみが表示部１３ａの大腸外形像表示エリアに表示される。また、実内視鏡１１はまだ大腸に挿入されていないので、表示部１３ａの実内視鏡画像表示エリアには何も表示されない。また、実内視鏡画像と同期した仮想内視鏡画像が表示される仮想内視鏡画像表示エリアにも何も表示されない。また、後に、実内視鏡１１のカメラ１１ａの位置および進行方向を示すカメラ位置情報が大腸外形像上に重畳表示されるが、この時点ではまだ表示されない。
【００５４】
続いて、実内視鏡位置検出部１３ｃが、被検体に関するＣＴ像データを記憶装置１２から取得し、取得したＣＴ像データから大腸マップを作成する（ステップＳ１０５）。
【００５５】
その後、医師によって検査が開始されると（ステップＳ１０６，Ｙｅｓ）、被検体の大腸に実内視鏡１１が挿入され、実内視鏡画像処理部１３ｂが、カメラ１１ａによって取得された画像データから実内視鏡画像を生成して表示部１３ａに表示する（ステップＳ１０７）。
【００５６】
続いて、実内視鏡位置検出部１３ｃが、実内視鏡１１のマーカ１１ｂによって検出されたカメラ１１ａの位置を大腸マップに配置する（ステップＳ１０８）。
【００５７】
続いて、仮想内視鏡画像処理部１３ｆが、仮想内視鏡画像処理部１３ｆによって表示された大腸外形像上に、カメラ１１ａの位置および進行方向を示すカメラ位置情報を重畳表示する（ステップＳ１０９）。さらに、仮想内視鏡画像処理部１３ｆは、実内視鏡１１のカメラ１１ａの位置から撮影された場合の仮想内視鏡画像を生成して表示部１３ａに表示する（ステップＳ１１０）。
【００５８】
この時点では、例えば、図６に示すように、表示部１３ａの実内視鏡画像表示エリアに実内視鏡画像４２が表示される。また、大腸外形像表示エリアには、カメラ１１ａの位置および視線方向を示すカメラ位置情報として、矢印４３が大腸外形像４１上に重畳表示される。また、仮想内視鏡画像表示エリアには、実内視鏡画像４２と同じ位置および視線方向から撮影した場合の仮想内視鏡画像が表示される。実内視鏡画像４２は、実内視鏡１１が操作されるたびに更新され、それに同期して、大腸外形像４１上の矢印４３および仮想内視鏡画像４４も更新される。
【００５９】
その後、図４−２に示すように、操作者によって視線方向変更モードが起動されると（ステップＳ１１１，Ｙｅｓ）、視線方向変更ガイド画像処理部１３ｄおよび視線方向変更ガイド操作量処理部１３ｅが、視線方向変更ガイドを実内視鏡画像上に重畳表示する（ステップＳ１１２）。
【００６０】
そして、操作者によって視線方向変更ガイドの大きさまたは位置が変更されると（ステップＳ１１３，Ｙｅｓ）、視線方向変更ガイド操作量処理部１３ｅが、視線方向変更ガイド操作部１１ｄの操作量を計測する。そして、視線方向変更ガイド画像処理部１３ｄが、視線方向変更ガイド操作量処理部１３ｅによって計測された操作量の分だけ視線方向変更ガイドの大きさおよび位置を更新して表示する（ステップＳ１１４）。
【００６１】
また、視線方向変更ガイド操作量処理部１３ｅが、更新された視線方向変更ガイドの中心位置および半径を計算する（ステップＳ１１５）。
【００６２】
その後、操作者によって視点マーカが移動されると（ステップＳ１１６，Ｙｅｓ）、視線方向変更ガイド操作量処理部１３ｅが、視線方向変更ガイド操作部１１ｄの操作量を計測する。そして、視線方向変更ガイド画像処理部１３ｄが、視線方向変更ガイド操作量処理部１３ｅによって計測された操作量の分だけ視点マーカの位置を更新して表示する（ステップＳ１１７）。
【００６３】
続いて、視線方向変更ガイド操作量処理部１３ｅが、更新された視点マーカの位置および視線方向を算出する（ステップＳ１１８）。そして、仮想内視鏡画像処理部１３ｆが、視線方向変更ガイドにおける視点マーカの位置および視線方向から撮影した場合の仮想内視鏡画像を生成して表示部１３ａに表示する（ステップＳ１１９）。
【００６４】
この時点では、例えば、図７に示すように、実内視鏡表示エリアには、視線方向変更ガイド２１および視点マーカ２２が実内視鏡画像４２に重畳表示される。また、仮想内視鏡画像表示エリアには、視点マーカ２２の位置および視線方向から見える仮想内視鏡画像４４が表示される。仮想内視鏡画像４４は、視線方向変更ガイド２１の表面に沿って視点マーカ２２の位置が更新されるたびに、それに同期して更新される。
【００６５】
ここで、図７に示す例は、実内視鏡の進行方向において視線方向が奥側から手前側に向くように、視点マーカ２２が設定された場合を示している。このように視点マーカ２２を設定することによって、例えば、実内視鏡画像４２においてヒダ４５の裏側に関心領域４６が隠れていた場合でも、仮想内視鏡画像４４には、関心領域４６が表示される。したがって、医師は、仮想内視鏡画像４４を用いて、実内視鏡の死角に入っていた関心領域４６の状態を確認することができる。
【００６６】
また、図７に示すように、大腸外形像表示エリアには、実内視鏡１１のカメラ１１ａの位置および視線方向を示す矢印４３が重畳表示され続ける。ここで、大腸外形像表示エリアの矢印４３は、カメラ１１ａの位置および視線方向を示すものであって、視線方向変更ガイド２１の変更にともなって更新されることはない。
【００６７】
そして、操作者によって視線方向変更モードの起動が終了された場合には、表示部１３ａの画面は図６に示した表示の状態に戻る。すなわち、実内視鏡画像表示エリアから視線方向変更ガイド２１の表示が消え、仮想内視鏡画像表示エリアには実内視鏡画像４２と同期した仮想内視鏡画像４４が表示される。
【００６８】
上述してきたように、本実施例１では、実内視鏡画像処理部１３ｂが、大腸内部を実内視鏡１１の進行方向から撮影した実内視鏡画像を表示部１３ａに表示する。また、視線方向変更ガイド操作部１１ｄが、実内視鏡画像処理部１３ｂによって表示された実内視鏡画像上で任意の視点を指定する操作を操作者から受け付ける。そして、仮想内視鏡画像処理部１３ｆが、Ｘ線ＣＴ装置によって得られたＣＴ像データを用いて、視線方向変更ガイド操作部１１ｄによる操作の受け付けによって指定された視点から大腸内部を撮影した場合の仮想内視鏡画像を生成し、生成した仮想内視鏡画像を表示部１３ａに表示する。
【００６９】
したがって、本実施例１によれば、診察で用いられる実内視鏡画像に表示されない範囲があった場合でも、その範囲に位置する関心領域を容易に確認することができるように操作者を支援することが可能になる。また、実内視鏡１１の操作時に、複雑な操作をしなくてもヒダの裏側等の一般的な死角を仮想内視鏡画像で容易に確認できるようになる。これにより、実内視鏡の複雑な操作を減らすことができるので、検査時間を短縮することが可能になる。また、検査時間を短縮することで、被検体である患者および医師の負担を軽減することができる。また、大腸にガスを注入して検査を行う回数を減らすことができるので、患者の負担をさらに軽減することが可能になる。
【００７０】
また、本実施例１では、視線方向変更ガイド画像処理部１３ｄが、実内視鏡画像処理部１３ｂによって表示された実内視鏡画像上に、任意の視点を指定する範囲を示す視線方向変更ガイドを表示する。そして、視線方向変更ガイド操作部１１ｄが、視線方向変更ガイドによって示される範囲で任意の視点を指定する操作を操作者から受け付ける。
【００７１】
したがって、本実施例１によれば、視線方向変更ガイドを基準にして位置関係を確認しながら始点を設定することができるので、さらに容易に関心領域を確認することができるように操作者を支援することが可能になる。
【００７２】
また、本実施例１では、視線方向変更ガイド画像処理部１３ｄが、ドーム状または球状に形成された視線方向変更ガイドおよび視線方向変更ガイドの表面に配置された視点マーカをそれぞれ実内視鏡画像上に表示する。また、視線方向変更ガイド操作部１１ｄが、視線方向変更ガイドの表面に沿って視点マーカを移動する操作を操作者から受け付ける。そして、仮想内視鏡画像処理部１３ｆが、視点マーカの位置から視線方向変更ガイドの中心へ向かう方向に大腸内部を撮影した場合の仮想画像を生成して表示部１３ａに表示する。
【００７３】
したがって、本実施例１によれば、視線方向変更ガイドを基準にして立体的な位置関係を確認しながら始点を設定することができるので、システムの操作性を向上させることができる。また、視点の位置を立体的に示すことができるので、より正確に関心領域を確認することができるように操作者を支援することが可能になる。
【００７４】
また、本実施例１では、仮想内視鏡画像処理部１３ｆが、Ｘ線ＣＴ装置によって得られたＣＴ像データを用いて大腸内部の外形像を生成し、生成した外形像を表示部１３ａに表示する。そして、仮想内視鏡画像処理部１３ｆは、表示された大腸内部の外形像に実内視鏡１１が有するカメラ１１ａの位置および進行方向を示すカメラ位置情報を重畳して表示する。
【００７５】
したがって、本実施例１によれば、操作者が、大腸内部におけるカメラ１１ａの位置および進行方向を容易に把握することができるので、精度よく検査を行うことができるように操作者を支援することが可能になる。また、診察に用いられる画像の他に付加的な情報を操作者に提供することで、システムの利便性を向上させることが可能になる。
【実施例２】
【００７６】
なお、上記実施例１では、実内視鏡画像と仮想内視鏡画像とをそれぞれ表示する医用診断システムについて説明したが、本発明はこれに限られるものではない。そこで、以下では、実施例２として、本発明を仮想内視鏡システムに適用した場合について説明する。
【００７７】
例えば、近年、仮想内視鏡システムの自動フライスルー技術を用いて、大腸ガンのスクリーニングが行われる場合がある。ここでいう「自動フライスルー技術」とは、仮想内視鏡システムが、あらかじめ生成した経路に沿って視点を進めながら、仮想内視鏡画像を自動的に表示する技術である。
【００７８】
かかる自動フライスルー技術では、仮想内視鏡システムは、表示部の表示領域に表示可能な範囲で仮想内視鏡画像を表示するが、経路の位置に沿って一通り仮想内視鏡画像を表示した結果、表示できなかった領域が存在することもある。そのため、仮想内視鏡システムの中には、表示することができなかった領域を未提示領域として検出する機能を備えたものもある（例えば、「仮想化内視鏡システムにおける未提示領域の検出機能の開発」、林  雄一郎、森  健策  他、ＭＥＤＩＣＡＬ  ＩＭＡＧＩＮＧ  ＴＥＣＨＮＯＬＯＧＹ  Ｖｏｌ．２０  Ｎｏ．５  Ｓｅｐｔｅｍｂｅｒ  ２００２を参照）。
【００７９】
本実施例２では、かかる未提示領域を検出する機能を備えた仮想内視鏡システムに本発明を適用した場合について説明する。図８は、本実施例２に係る仮想内視鏡システムを説明するための図である。図８に示すように、本実施例２に係る仮想内視鏡システムは、例えば、大腸の外形を表す大腸外形像５１を表示部に表示したうえで、大腸外形像５１に重畳させて未提示領域５２を表示する。
【００８０】
そして、この仮想内視鏡システムは、表示された大腸外形像５１上で任意の視点を指定する操作を操作者から受け付ける。例えば、仮想内視鏡システムは、ドーム状に形成された視線方向変更ガイド２１および視線方向変更ガイド２１の表面に配置された視点マーカ２２をそれぞれ大腸外形像５１上に表示する。また、仮想内視鏡システムは、視線方向変更ガイド２１の表面に沿って視点マーカ２２を移動する操作を操作者から受け付ける。
【００８１】
その後、仮想内視鏡システムは、Ｘ線ＣＴ装置によって得られたＣＴ像データを用いて、操作者によって指定された視点から大腸内部を撮影した場合の仮想内視鏡画像５３を生成し、生成した仮想内視鏡画像５３を表示部に表示する。例えば、仮想内視鏡システムは、視点マーカ２２の位置から視線方向変更ガイド２１の中心へ向かう方向に大腸内部を撮影した場合の仮想内視鏡画像５３を生成して表示部に表示する。
【００８２】
このように、本実施例２では、仮想内視鏡システムが、大腸内部の外形を表す大腸外形像５１を表示部に表示したうえで、大腸外形像５１に重畳させて未提示領域５２を表示する。また、仮想内視鏡システムは、表示された大腸外形像５１上で任意の視点を指定する操作を操作者から受け付ける。そして、仮想内視鏡システムは、Ｘ線ＣＴ装置によって得られたＣＴ像データを用いて、視線方向変更ガイド操作部１１ｄによる操作の受け付けによって指定された視点から大腸内部を撮影した場合の仮想内視鏡画像５３を生成し、生成した仮想内視鏡画像５３を表示部に表示する。
【００８３】
したがって、本実施例２によれば、診察で用いられる仮想内視鏡画像に表示されない範囲があった場合でも、その範囲に位置する関心領域を容易に確認することができるように操作者を支援することが可能になる。また、仮想内視鏡システムの自動フライスルー技術を用いたスクリーニングにおいて、未提示領域の確認が容易となるので、検査効率を向上させることが可能になる。
【符号の説明】
【００８４】
１０    医用診断システム
１１    実内視鏡
１１ａ    カメラ
１１ｂ    マーカ
１１ｃ    実内視鏡操作部
１１ｄ    視線方向変更ガイド操作部
１２    記憶装置
１３    画像処理装置
１３ａ    表示部
１３ｂ    実内視鏡画像処理部
１３ｃ    実内視鏡位置検出部
１３ｄ    視線方向変更ガイド画像処理部
１３ｅ    視線方向変更ガイド操作量処理部
１３ｆ    仮想内視鏡画像処理部
【図１】
2011036600.tif 000003
【図２−１】
2011036600.tif 000004
【図２−２】
2011036600.tif 000005
【図３】
2011036600.tif 000006
【図４−１】
2011036600.tif 000007
【図４−２】
2011036600.tif 000008
【図５】
2011036600.tif 000009
【図６】
2011036600.tif 000010
【図７】
2011036600.tif 000011
【図８】
2011036600.tif 000012
【図９】
2011036600.tif 000013