(57)【要約】【課題】カプセル内視鏡検査における確定診断の作業性を上げることが可能な医用画像表示装置を提供する。【解決手段】実施形態の医用画像表示装置は、管状体の３次元画像を用いて、前記管状体の管内に置かれる視点に基づく前記管内の仮想内視鏡画像を表示可能であって、カプセル内視鏡画像記憶部と表示制御部とを有し、カプセル内視鏡画像記憶部は管内をカプセル内視鏡が通過することにより収集されたカプセル内視鏡画像を記憶する。表示制御部は、視点の位置に基づいて、カプセル内視鏡画像を表示させる。【選択図】図１
2013009956.tif 000002
【特許請求の範囲】
【請求項１】
管状体の３次元画像を用いて、前記管状体の管内に置かれる視点に基づく前記管内の仮想内視鏡画像を表示可能な医用画像表示装置において、
前記管内をカプセル内視鏡が通過することにより収集されたカプセル内視鏡画像を記憶するカプセル内視鏡画像記憶部と、
前記視点の位置に基づいて、前記カプセル内視鏡画像を表示させる表示制御部と、
を有する
ことを特徴とする医用画像表示装置。
【請求項２】
前記表示制御部は、前記カプセル内視鏡画像を、前記仮想内視鏡画像上で指定された前記視点に基づいて表示させる
ことを特徴とする請求項１に記載の医用画像表示装置。
【請求項３】
前記表示制御部は、前記カプセル内視鏡の位置を前記仮想内視鏡画像に重ねて表示させる
ことを特徴とする請求項１または請求項２に記載の医用画像表示装置。
【請求項４】
前記３次元画像に基づいて前記管状体の第１芯線を予め抽出する第１芯線抽出部と、
前記カプセル内視鏡の位置に基づいて前記管状体の第２芯線を予め抽出する第２芯線抽出部と、
前記第１芯線と前記第２芯線との対応関係を求める対応関係算出部と、
をさらに有し、
前記表示制御部は、前記対応関係に基づいて前記カプセル内視鏡画像を表示させる
ことを特徴とする請求項１に記載の医用画像表示装置。
【請求項５】
前記対応関係算出部は、前記第１芯線と前記第２芯線における芯線の方向を表す３次元接線ベクトルの類似度に基づき、前記対応関係を求めることを特徴とする請求項４に記載の医用画像表示装置。
【請求項６】
前記カプセル内視鏡画像記憶部は、前記カプセル内視鏡画像を前記カプセル内視鏡の位置である第２芯線の位置及びカプセル内視鏡の向きである第２芯線の向きに関連付けて記憶し、
前記第１芯線上の位置に対応する第２芯線上の位置を前記対応関係を参照して求め、当該求めた前記第２芯線上の位置の周辺で撮影された画像群を、前記カプセル内視鏡画像記憶部に記憶されているカプセル内視鏡画像の中から抽出し、当該抽出した前記画像群のうち、前記第１芯線上の向きに対し相対的に最も近い前記第２芯線上の向きを求め、当該求めた前記第２芯線上の向きに対応する前記第２芯線上の位置を求め、当該求めた前記第２芯線上の前記位置及び前記向きに関連付けられた前記カプセル内視鏡画像を前記カプセル内視鏡画像記憶部に記憶されているカプセル内視鏡画像の中から選択するカプセル内視鏡画像選択部を有する請求項４または請求項５に記載の医用画像表示装置。
【請求項７】
前記３次元画像を用いて前記管状体の第１芯線を予め抽出する第１芯線抽出部と、
前記第１芯線と前記カプセル内視鏡が前記管内を通過するときの通過時間との対応関係を求める対応関係算出部と、
を有し、
前記表示制御部は、前記対応関係に基づいて前記カプセル内視鏡画像を表示させる
ことを特徴とする請求項１に記載の医用画像表示装置。
【請求項８】
前記表示制御部は、前記仮想内視鏡画像と前記カプセル内視鏡画像とを並列して表示させることを特徴とする請求項１から請求項７のいずれかに記載の医用画像表示装置。
【請求項９】
前記表示制御部は、前記仮想内視鏡画像と前記カプセル内視鏡画像とを切り換えて表示させることを特徴とする請求項１から請求項８のいずれかに記載の医用画像表示装置。
【請求項１０】
前記仮想内視鏡画像は、前記管状体の芯線に沿って前記管内を開いた展開画像を含むことを特徴とする請求項１から請求項９のいずれかに記載の医用画像表示装置。
【請求項１１】
管状体の３次元画像を用いて、前記管状体の管内に置かれる視点に基づく前記管内の仮想内視鏡画像を表示可能な医用画像表示装置において、
前記管内をカプセル内視鏡が通過することにより収集された複数のカプセル内視鏡画像を記憶するカプセル内視鏡画像記憶部と、
前記カプセル内視鏡画像の選択を受けて、前記選択されたカプセル内視鏡画像が収集されたときの前記カプセル内視鏡の通過時間または通過位置に対応する前記視点の位置を求める手段と、
前記求められた前記視点の位置に基づく仮想内視鏡画像を表示させる表示制御部と、
を有する
ことを特徴とする医用画像表示装置。
【請求項１２】
前記請求項１から請求項１１のいずれかに記載の医用画像表示装置を有することを特徴とする医用画像診断装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、医用画像表示装置及び医用画像診断装置に関する。
【背景技術】
【０００２】
Ｘ線コンピュータ断層撮影装置（以下、ＣＴ（Ｃｏｍｐｕｔｅｄ  Ｔｏｍｏｇｒａｐｈｙ）と記す）、磁気共鳴診断装置（以下、ＭＲＩ（Ｍａｇｎｅｔｉｃ  Ｒｅｓｏｎａｎｃｅ  Ｉｍａｇｉｎｇ）と記す）、Ｘ線診断装置、超音波診断装置の各モダリティを用いて３次元画像が収集される。例えば、ＣＴにより収集された３次元画像を基に、透視投影法を用いた３次元画像処理することにより、消化管や気管、血管などの管状体の管内に視点を置いた仮想内視鏡画像（ＶＥ：Ｖｉｒｔｕａｌ  Ｅｎｄｏｓｃｏｐｙ）を作成することが可能となる（例えば、特許文献１）。なお、モダリティを医用画像診断装置という場合がある。また、仮想内視鏡画像をＣＴ内視鏡画像という場合がある。
【０００３】
また、消化管や気管、血管などの管状体の管内に通過させるカプセル内視鏡を用いて、管内に視点を置いたカプセル内視鏡画像が収集される。
【０００４】
仮想内視鏡画像及びカプセル内視鏡画像として、特に、大腸のような消化管臓器内のポリープ等の病変部を表示することにより、画像診断するための３次元医用画像処理・表示装置（マルチモダリティ・ワークステーション）が用いられている。なお、３次元医用画像処理・表示装置を単に医用画像表示装置という場合がある。
【０００５】
消化管の検査方法には、ＣＴによる大腸解析（ＣＴ  ｃｏｌｏｎｏｇｒａｐｈｙ）や小腸解析（ＣＴ  Ｅｎｔｅｒｏｇｒａｐｈｙ）、内視鏡検査、カプセル内視鏡検査などがある。
【０００６】
ＣＴによる大腸解析や小腸解析では、仮想内視鏡画像によりポリープ病変候補の洗い出しを行う。実際に消化管内部を撮影した画像ではないため、内壁表面の実際の色を観察することができないなどの理由から確定診断には不向きである。
【０００７】
内視鏡検査は、内視鏡を直接患者の消化管に挿入し、内視鏡先端のカメラで消化管内部を撮影した画像によりポリープ病変の診断を行う。確定診断が可能であるが、侵襲性が高いことが短所である。
【０００８】
カプセル内視鏡検査は、患者が飲み込んだ小型（外径約１１ｍｍ、長さ約２６ｍｍ）のカプセル状の内視鏡が消化管内を通過する際に連続的に撮影された消化管内部の画像（カプセル内視鏡画像）によりポリープ病変の診断を行う。侵襲性が低いので従来の内視鏡にかわる確定診断のための検査として注目されている。
【０００９】
カプセル内視鏡検査は、侵襲性が低い検査が求められるため、今後はＣＴによる消化管解析による検診で病変候補が洗い出された患者に対して、カプセル内視鏡検査による確定診断を行う診断ワークフローが主流になっていくことが考えられる。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、ＣＴによる大腸解析や小腸解析において洗い出されたポリープ病変候補を基に、カプセル内視鏡検査において確定診断をするとき、作業性が低下するという問題がある。次の２つの要因が挙げられる。
【００１１】
第１に、仮想内視鏡検査とカプセル内視鏡検査は互いに独立して行われるため、仮想内視鏡画像とカプセル内視鏡画像とは対応付けられておらず、その病変候補が表示されているカプセル内視鏡画像を選択し難い。
【００１２】
第２に、カプセル内視鏡検査において、消化管の蠕動運動に任せて消化管内を進行するカプセル内視鏡は、バラバラの方向を向きながら撮影するため、バラバラの方向に向いた大量（例えば、約６００００枚）のカプセル内視鏡画像が得られる。このため、病変候補が表示されているカプセル内視鏡画像を大量の画像の中からの選択はかなりの労力を要する。
【００１３】
この実施形態は、上記の問題を解決するものであり、カプセル内視鏡検査における確定診断の作業性を上げることが可能な医用画像表示装置及び医用画像診断装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、実施形態の医用画像表示装置は、管状体の３次元画像を用いて、前記管状体の管内に置かれる視点に基づく前記管内の仮想内視鏡画像を表示可能であって、カプセル内視鏡画像記憶部と表示制御部とを有し、カプセル内視鏡画像記憶部は管内をカプセル内視鏡が通過することにより収集されたカプセル内視鏡画像を記憶する。表示制御部は、視点の位置に基づいて、カプセル内視鏡画像を表示させる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態に係る医用画像表示装置の構成の一例を示すブロック図。
【図２Ａ】第１芯線及び病変候補を抽出するときの説明図。
【図２Ｂ】第１芯線及び病変候補を抽出するときの説明図。
【図３】カプセル内視鏡による撮影の説明図。
【図４Ａ】第２芯線を抽出するときの説明図。
【図４Ｂ】第２芯線を抽出するときの説明図。
【図５】芯線の対応関係を求めるときの説明図。
【図６】カプセル内視鏡画像を選択するときの説明図。
【図７】仮想内視鏡画像及びカプセル内視鏡画像を並列して表示するときの一例を示す図。
【図８】第１芯線と第２芯線との対応関係を求める一連の動作を示すフローチャート。
【図９】病変候補が表示されるカプセル内視鏡画像を選択する一連の動作を示すフローチャート。
【図１０】第２の実施形態に係る医用画像表示装置の構成ブロック図。
【図１１】第１芯線とカプセル内視鏡の通過時間との対応関係を求める一連の動作を示すフローチャート。
【図１２】病変候補が表示されるカプセル内視鏡画像を選択する一連の動作を示すフローチャート。
【図１３】胃の検査を対象とした表示例を示す図。
【発明を実施するための形態】
【００１６】
次に、医用画像表示装置の実施形態について各図を参照して説明する。
【００１７】
［第１の実施形態］
第１の実施形態に係る医用画像表示装置について図１〜図７、及び図９を参照して説明する。図１は、医用画像表示装置の構成の一例を示すブロック図である。
【００１８】
（ＣＴ）
図１に示すように、モダリティの一例としてはＣＴ１が用いられる。ＣＴ１により管状体の３次元画像が収集される。
【００１９】
ＣＴ１を含むモダリティは、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ  Ｉｍａｇｉｎｇ  ａｎｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ｉｎ  Ｍｅｄｉｃｉｎｅ）により規定されたネットワークを介して、必要に応じてディジタル画像を転送、表示することが可能なシステムであるＰＡＣＳ（医用画像管理システム）に接続されている。モダリティにより収集された管状体の３次元画像は、ネットワークを介してＰＡＣＳに転送される。なお、管状体の３次元画像をモダリティの記憶部（図示省略）に記憶させてもよい。
【００２０】
（カプセル内視鏡装置）
カプセル内視鏡装置２は、カプセル内視鏡、アンテナ、及び記憶部を有する。カプセル内視鏡は、管状体の管内を撮影するための画像センサを搭載している。アンテナは、カプセル内視鏡からの電波を受信する。記憶部は、アンテナが受信した画像データを記憶する。
【００２１】
管状体の管内を移動するカプセル内視鏡によって、管内のカプセル内視鏡画像が撮影さる。撮影において、位置センサ（図示省略）により、カプセル内視鏡の位置（３次元位置）及び向きが検出される。カプセル内視鏡は、所望の管状体の管内をおよそ毎秒２枚の間隔で連続的に撮影する。カプセル内視鏡装置２の記憶部には、撮影により得られたカプセル内視鏡画像（画像群）が、カプセル内視鏡の位置、向き、及び撮影時間を付して記憶される。画像群は、カプセル内視鏡画像記憶部１２に記憶される。
【００２２】
〔医用画像表示装置〕
次に、医用画像表示装置について図１を参照して説明する。
【００２３】
医用画像表示装置は、例えば汎用コンピュータ装置を基本ハードウェアとして用いることができる。
【００２４】
図１に示すように、医用画像表示装置の一例としては、３次元画像記憶部１１、カプセル内視鏡画像記憶部１２、第１芯線抽出部１３、第２芯線抽出部１４、対応関係算出部１５、対応関係記憶部１６、カプセル内視鏡画像選択部１７、仮想内視鏡画像生成部１８、及びＧＵＩ（ｇｒａｐｈｉｃａｌ  ｕｓｅｒ  ｉｎｔｅｒｆａｃｅ）２０を含む。
【００２５】
これらの構成は、上記のコンピュータ装置に搭載されたマイクロプロセッサに画像処理プログラムを実行させることにより実現することができる。なお、画像表示処理プログラムはコンピュータ装置に予めインストールされてもよい。さらに、画像表示処理プログラムは記憶媒体（磁気ディスク、光磁気ディスク、光ディスク、半導体メモリなど）に記録され、コンピュータ装置に適宜インストールされてもよい。さらに、画像表示処理プログラムはネットワークを介して配布されるようにしておき、コンピュータ装置に適宜インストールされてもよい。
【００２６】
なお、これらの構成は、その一部または全部をロジック回路などのハードウェアにより、また、ハードウェアとソフトウェア制御とを組み合わせにより実現することも可能である。
【００２７】
（３次元画像記憶部）
３次元画像記憶部１１は、ＣＴ１により収集された管状体の３次元画像を記憶する。なお、３次元画像記憶部１１は、ＰＡＣＳとして構成されてもよく、ＣＴ１の記憶部として構成されてもよく、さらに、これらに独立して構成されてもよい。
【００２８】
（カプセル内視鏡画像記憶部）
カプセル内視鏡画像記憶部１２は、カプセル内視鏡装置２により収集された管状体のカプセル内視鏡画像を記憶する。なお、カプセル内視鏡画像記憶部１２は、ＰＡＣＳとして構成されてもよく、カプセル内視鏡装置２の記憶部として構成されてもよく、さらに、これらに独立して構成されてもよい。
【００２９】
（第１芯線抽出部）
次に、第１芯線抽出部１３について図２Ａ及び図２Ｂを参照して説明する。図２Ａ及び図２Ｂは第１芯線及び病変候補を抽出するときの説明図である。図２Ａでは、管状体の一例である大腸の第１芯線Ｌ１及び病変候補Ｔを示す。図２Ｂでは、大腸の第１芯線Ｌ１を直線により模式的に示し、さらに第１芯線Ｌ１の開始点Ｌ１Ｓ、終了点Ｌ１Ｅで示す。
【００３０】
第１芯線抽出部１３は、３次元画像記憶部１１に記憶された３次元画像を基にして、管状体の第１芯線（３次元芯線）及び単一又は複数の病変候補位置の抽出を自動的に行う。なお、第１芯線の抽出は、ＧＵＩ２０を用いて操作者により決定されてもよい。
【００３１】
３次元芯線を自動的に抽出する具体的例としては、次の技術が用いられる。
【００３２】
すなわち、対象画像の大きさをＬ行Ｍ列Ｎ段の画素で表し、各画像に対して距離変換を行うことで、線形図形を抽出する（例えば、距離変換を用いた図形の構造解析手法  Ｍｅｄ  Ｉｍａｇ  Ｔｅｃｈ  Ｖｏｌ．１、１３−２２、Ｊａｎｕａｒｙ  ２００２）。
【００３３】
病変候補位置の自動的に抽出する具体例としては、大腸ポリープが塊状の濃淡構造を持つことに着目し、ヘッセ行列の固有値を利用した塊状構造強調フィルタを用いて大腸ポリープの検出を行う（例えば、局所濃淡構造解析による３次元腹部ＣＴ像からの大腸ポリープ検出手法  電子情報通信学会技術研究報告  ＭＩ  、医用画像１０６（２２６）、４７−５２、２００６−０８−２６）。
【００３４】
抽出された第１芯線は、３次元画像と同じ３次元座標空間の点列データとして３次元画像記憶部１１に記憶される。抽出された病変候補位置は、同じく上記３次元画像データと同じ３次元座標空間の点座標として３次元画像記憶部１１に記憶される。
【００３５】
（第２芯線抽出部）
次に、第２芯線抽出部１４について図３、図４Ａ及び図４Ｂを参照して説明する。図３はカプセル内視鏡による撮影の説明図である。図３では、管状体の一例である大腸腔内を移動するカプセル内視鏡ＣＥを示す。
【００３６】
図３に示すように、カプセル内視鏡は、管状体の管内を移動しながら管内の画像（カプセル内視鏡画像）を撮影する。カプセル内視鏡画像は、撮影したときのカプセル内視鏡の位置（３次元位置）及び向きを付帯してカプセル内視鏡画像記憶部１２に記憶される。
【００３７】
図４Ａ及び図４Ｂは第２芯線を抽出するときの説明図である。図４Ａでは、カプセル内視鏡の位置ＣＰ及び第２芯線Ｌ２を示す。図４Ｂでは、カプセル内視鏡の移動経路（第２芯線Ｌ２）を真っ直ぐな点線により模式的に示し、さらに、カプセル内視鏡の移動開始位置（開始点）Ｌ２Ｓ、移動終了位置（終了点）Ｌ２Ｅで示し、さらに、カプセル内視鏡の各位置における向きを矢印で示す。
【００３８】
図４Ａ及び図４Ｂに示すように、第２芯線抽出部１４は、カプセル内視鏡画像の位置に基づいて第２芯線（３次元芯線）の抽出を行う。
【００３９】
具体的な第２芯線抽出方法としては、カプセル内視鏡画像に付帯する３次元位置の座標を撮影された順につないだ点列データを求め、この点列データの位置情報を３次元的に平滑化処理して第２芯線の点列データとする。
【００４０】
（対応関係算出部）
次に、対応関係算出部１５について図５を参照して説明する。図５は芯線の対応関係を求めるときの説明図である。図５では、実線により第１芯線Ｌ１を示し、点線により第２芯線Ｌ２を示す。第２芯線Ｌ２が第１芯線Ｌ１より長く示されているのは、カプセル内視鏡が蛇行したりして管状体の芯線に沿って常に移動するとは限らないからである。なお、図５において、第１芯線Ｌ１に沿って配置された矢印は、仮想内視鏡画像を作るときの視線の向きに相当する。
【００４１】
対応関係算出部１５は、第１芯線抽出部１３により抽出された第１芯線と、第２芯線抽出部１４により抽出された第２芯線との対応関係を求める（図５参照）。
【００４２】
具体的には、第１芯線と第２芯線との非線形位置合わせ処理により、第１芯線上の位置と第２芯線上の位置との対応関係を求める。なお、第１芯線上の位置が仮想内視鏡画像における視点の位置に相当し、また第２芯線上の位置がカプセル内視鏡の位置に相当する。
【００４３】
具体的な非線形位置合わせの方法としては、第１芯線及び第２芯線上の各点における接線ベクトルの類似度が最大となるように第１芯線及び第２芯線上の点同士の対応関係を決める。すなわち、図２Ｂで模式的に表されているように第１芯線の開始点Ｌ１Ｓから終了点Ｌ１Ｅまでの各点における芯線の接線ベクトルを求め、同様に図４Ｂで模式的に表されているように第２芯線の開始点Ｌ２Ｓから終了点Ｌ２Ｅまでの各点における芯線の接線ベクトルを求める。続いて、第１芯線の各点に対して、第２芯線の任意の点との内積を求めた総和が最大となるような第１芯線及び第２芯線の各点間の組み合わせを求める。
【００４４】
（対応関係記憶部）
対応関係記憶部１６は、求められた第１芯線と第２芯線との対応関係を記憶する。対応関係記憶部１６の一例としては、第１芯線上の各点と、第２芯線上の各点とを対応付けて記憶するテーブルである。なお、これに限らず、対応関係記憶部１６は、第１の芯線の各点に基づき第２芯線の各点を求めるための対応関係式であってもよい。
【００４５】
（カプセル内視鏡画像選択部）
次に、カプセル内視鏡画像選択部１７について図６を参照して説明する。図６はカプセル内視鏡画像を選択するときの説明図である。
【００４６】
カプセル内視鏡画像選択部１７は、対応関係記憶部１６に記憶された対応関係に基づいて、仮想内視鏡画像を表示する位置及び向きと最も近い位置及び向きのカプセル内視鏡画像をカプセル内視鏡画像記憶部１２に保存されたカプセル内視鏡画像の中から選択する。なお、第１芯線上の向きが、仮想内視鏡画像における視線の向きに相当する。また、第２芯線上の向きが、カプセル内視鏡の視線の向きに相当する。
【００４７】
具体的には、カプセル内視鏡画像選択部１７は、ＧＵＩ２０による第１芯線上の位置の入力を受けて、その位置に対応する第２芯線上の位置を、対応関係記憶部１６に記憶された対応関係に基づいて求める。さらに、カプセル内視鏡画像選択部１７は、カプセル内視鏡画像記憶部１２に記憶されているカプセル内視鏡画像の中から第２芯線上の位置の周辺で撮影された画像群を抽出する。さらに、カプセル内視鏡画像選択部１７は、その画像群のうち、第１芯線上の向きに対し相対的に最も近い第２芯線上の向きを求め、さらに、第２芯線上の向きに対応する第２芯線上の位置を求める。さらに、カプセル内視鏡画像選択部１７は、求めた第２芯線上の位置及び向きに関連付けられたカプセル内視鏡画像を、カプセル内視鏡画像記憶部１２に記憶されているカプセル内視鏡画像の中から選択する。選択されたカプセル内視鏡画像を、第１芯線上の位置及び向きを基に作成された仮想内視鏡画像に最も近いカプセル内視鏡画像とする。
【００４８】
（仮想内視鏡画像生成部）
仮想内視鏡画像生成部１８は、ＧＵＩ２０により第１芯線上の位置及び向きを受けて、３次元画像記憶部１１から読み出した３次元画像を用いて、第１芯線上の位置及び向きに基づき、透視投影法を用いた３次元画像処理することにより、仮想内視鏡画像を作成する。
【００４９】
（ＧＵＩ）
ＧＵＩ２０は、入力部２１、表示制御部２２、及びモニタ２３を有している。
入力部２１の一例としては、キーボード、マウス、ジョイスティックなどのポインティングデバイスを含む。
【００５０】
表示制御部２２は、モニタ２３に３次元画像、仮想内視鏡画像（第１芯線含む）、カプセル内視鏡画像などを表示させるとともに、入力部２１により指示された表示領域に対応する第１芯線上の位置をカプセル内視鏡画像選択部１７に出力する。なお、ＧＵＩ２０の内部メモリ（図示省略）には、第１芯線上の初期位置及び初期向きが予め記憶されている。
【００５１】
［医用画像表示装置の動作］
次に、医用画像表示装置の一連の動作について図８及び図９を参照して説明する。図８は第１芯線と第２芯線との対応関係を求める一連の動作を示すフローチャートである。
【００５２】
（Ｓ１０１）
図８に示すように、Ｓ１０１では、第１芯線抽出部１３が、３次元画像記憶部１１から読み出された３次元画像に基づき、第１芯線及び病変候補位置を抽出する（図２参照）。
【００５３】
３次元画像記憶部１１には、抽出された第１芯線（点列データ）及び病変候補位置が記憶される。
【００５４】
（Ｓ１０２）
Ｓ１０２では、第２芯線抽出部１４は、カプセル内視鏡画像記憶部１２に記憶されたカプセル内視鏡の位置（３次元位置）に基づいて、カプセル内視鏡が通過した第２芯線（点列データ）を抽出する。
【００５５】
（Ｓ１０３）
Ｓ１０３では、対応関係算出部１５は、Ｓ１０１で得られた第１芯線の位置とＳ１０２で得られた第２芯線の位置との対応関係を求める。求めた対応関係が対応関係記憶部１６に記憶される。
【００５６】
以上のような第１芯線と第２芯線との対応関係を予め求めておく。対応関係を用いて、例えば、ＣＴ１による大腸解析や小腸解析において洗い出された病変候補を基に、カプセル内視鏡検査において確定診断を行う。なお、カプセル内視鏡検査における確定診断をするとき、対応関係を求めるようにしてもよい。
【００５７】
次に、対応関係を用いて、カプセル内視鏡検査における確定診断をするときの一連の動作について図９を参照して説明する。図９は、病変候補が表示されるカプセル内視鏡画像を選択する一連の動作を示すフローチャートである。
【００５８】
（Ｓ２０１：第１芯線上の初期位置等の読み出し）
ＧＵＩ２０の内部メモリには、第１芯線上の初期位置及び初期向きが記憶されている。図９に示すように、Ｓ２０１では、仮想内視鏡画像及びカプセル内視鏡画像をモニタ２３に表示する開始の指示を受けて、カプセル内視鏡画像選択部１７は、ＧＵＩ２０の内部メモリから第１芯線上の初期位置及び初期向きを読み出す。
【００５９】
（Ｓ２０２：カプセル内視鏡画像の選択）
Ｓ２０２では、カプセル内視鏡画像選択部１７は、読み出した第１芯線上の初期位置を基に、対応関係記憶部１６に記憶されたテーブルに基づいて、第１芯線上の位置に対応する第２芯線上の位置を求める。
【００６０】
次に、カプセル内視鏡画像選択部１７は、カプセル内視鏡画像記憶部１２に記憶されているカプセル内視鏡画像の中から第２芯線上の位置の周辺で撮影された画像群を抽出する。
【００６１】
次にカプセル内視鏡画像選択部１７は、その画像群のうち、ＧＵＩ２０に予め記憶されている第１芯線上の初期向きに、最も近い第２芯線上の向きで撮影された画像を選択する。選択された画像を、第１芯線上の初期位置及び初期向きに最も近いカプセル内視鏡画像とする。
【００６２】
（Ｓ２０３：画像表示）
Ｓ２０３では、仮想内視鏡画像生成部１８は、ＧＵＩ２０に予め設定されている第１芯線上の初期位置及び初期向きに基づいて、３次元画像記憶部１１に記憶されている３次元画像を用いて仮想内視鏡画像を生成する。
【００６３】
表示制御部２２は、第１芯線上の初期位置及び初期向きに基づき、Ｓ２０２で求められたカプセル内視鏡画像と、Ｓ２０３で生成された仮想内視鏡画像とをモニタ２３に連動表示させる。
【００６４】
ここで、連動表示とは、芯線上の位置及び向きに基づき互いに対応関係を有する二つの画像において、芯線の位置及び／又は向きに基づいて、二つの画像を関連付けて表示することをいう。
【００６５】
連動表示について図６及び図７を参照して説明する。図６は、管状体のＶＲ画像、仮想内視鏡画像、及びカプセル内視鏡画像が並列表示された図、図７は、さらに、フィレビュー画像が配列表示された図である。
【００６６】
なお、図６に、仮想内視鏡画像における視線の位置Ｌ１Ｐ、視線の向きＬ１Ｄ、仮想内視鏡の位置Ｌ２Ｐ、視線の向きＬ２Ｐを示す。また、並列表示された管状体のＶＲ画像Ｇ１、仮想内視鏡画像Ｇ２、及びカプセル内視鏡画像Ｇ３を示す。図７には、配列表示されたフィレビュー画像Ｇ４及び他の画像Ｇ１〜Ｇ３とを示す。
【００６７】
具体的な連動表示方法としては、上下や左右に並列表示したり、ＧＵＩ２０による操作者による操作などをきっかけとして切り換えて表示したりする。
【００６８】
図６及び図７に示すように、３次元画像記憶部１１に記憶されている３次元画像を用いてＣＴのＶＲ（ｖｏｌｕｍｅ  Ｒｅｎｄｅｒｉｎｇ）画像を並列表示し、ＶＲ画像上に、第１芯線、第２芯線、仮想内視鏡画像及びカプセル内視鏡画像の現在の視線及び視点、病変候補位置などをグラフィックで表示する（図６参照）。それにより、表示されている仮想内視鏡画像とカプセル内視鏡画像との位置関係により、病変候補位置などを把握しやすくする。
【００６９】
同様の目的で、第１芯線に沿って管状体を切り開いたＶＲ画像であるフィレビュー（Ｆｉｌｌｅｔ  Ｖｉｅｗ）画像を表示する（図７参照）。
【００７０】
（Ｓ２０４）
Ｓ２０４では、画像の表示が終了であるかどうかを判断する。画像の表示が終了であるとき（Ｓ２０４：Ｙｅｓ）、画像の表示を終了する。画像の表示が終了でないとき（Ｓ２０４：Ｎｏ）、第１芯線上の位置を変更したか否かを判断するＳ２０５に移行する。
【００７１】
（Ｓ２０５）
Ｓ２０５では、ＧＵＩ２０による操作により、操作者が仮想内視鏡画像及び／又はカプセル内視鏡画像の視点及び視線を変更するとき（Ｓ２０５：Ｙｅｓ）、視点及び／又は視線の変更を受けて、カプセル内視鏡画像選択部１７は、カプセル内視鏡画像を再選択する（Ｓ２０２）。
【００７２】
表示制御部２２は、変更された第１芯線上の位置及び／又は向きに基づき、Ｓ２０２で求められたカプセル内視鏡画像と、Ｓ２０３で生成された仮想内視鏡画像とをモニタ２３に連動表示させる。
【００７３】
ＧＵＩ２０による操作の例としては、ＣＴのＶＲ画像上で観察したい位置及び向きを入力部２１で指定することにより、視点の位置及び視線の向きが変更されるようにする。この操作により、操作者がＶＲ画像上に表示されている病変候補位置を指定することにより、ＶＲ画像Ｇ１上の現在の視点の位置及び視線の向きに基づき、仮想内視鏡画像及びカプセル内視鏡画像の表示を更新する。それにより、視点の位置及び視線の向きに応じて、カプセル内視鏡画像を瞬時に観察できる。
【００７４】
ＧＵＩ２０による操作の他の例としては、仮想内視鏡画像上、又はカプセル内視鏡画像上にて操作者が観察したい方向に入力部２１例えばマウスを動かすことにより、両画像の視線が連動して変更されるようにする。この操作により、カプセル内視鏡画像でも病変候補を様々な角度から立体的に観察することができる。
【００７５】
なお、視点及び視線を変更しないとき（Ｓ２０５：Ｎｏ）、画像の表示が終了であるかどうかを判断するＳ２０４に戻る。
【００７６】
［第２実施形態］
次に、第２の実施形態に係る医用画像表示装置について図１０〜図１２を参照して説明する。
【００７７】
図１０は医用画像表示装置の構成ブロック図である。
【００７８】
図１及び図１０に示すように、第１の実施形態との違いは、第１の実施形態に係る対応関係算出部１５が第１芯線と第２芯線との対応関係により第１芯線と第２芯線との対応関係を求めるのに対し、第２の実施形態に係る対応関係算出部１５は、第１芯線とカプセル内視鏡が管状体の管内を通過するときの通過時間との対応関係を求める点が異なる。
【００７９】
以下異なる点について説明し、第１の実施形態と同じ構成についてはその説明を省略する。
【００８０】
対応関係算出部１５は、カプセル内視鏡が管状体の管内を移動する統計的な平均速度に基づいて、第１芯線上の位置とカプセル内視鏡の通過時間との対応関係を求める。
【００８１】
次に、対応関係を求める一例を説明する。
【００８２】
カプセル内視鏡による撮影における撮影開始時間をｔｓ、撮影終了時間をｔｅ、通過時間ｔａ、カプセル内視鏡の移動時の平均速度をｖとする。なお、通過時間ｔａは、その撮影時のカプセル内視鏡画像に付帯してカプセル内視鏡画像記憶部１２に記憶されている。
【００８３】
撮影所要時間Ｔｏは撮影終了時間から撮影開始時間を減算することで求められる（ｔｅ−ｔｓ）。また、通過時間ｔａまでの所要時間Ｔａは、通過時間ｔａから撮影開始時間を減算することで求められる（ｔａ−ｔｓ）。
【００８４】
撮影所要時間Ｔｏ、Ｔａとを比較することで、通過時間ｔａにおいて、カプセル内視鏡が全移動経路の中のどこの辺りに位置するかが求められる（Ｔａ／Ｔｏ）。
【００８５】
第１芯線の全長Ｌｏは、開始点Ｌ１Ｓから終了点Ｌ１Ｅまでの各点間の微小距離を積分することで求めることができる。また、開始点Ｌ１Ｓからの第１芯線上の位置Ｌ１Ｐまでの長さＬａは、開始点Ｌ１Ｓから第１芯線上の位置Ｌ１Ｐまでの各点間の微小距離を積分することで求められる。
【００８６】
第１芯線の全長Ｌｏと開始点から第１芯線上の位置Ｌ１Ｐまでの長さＬａとを比較することで、第１芯線上の位置Ｌ１Ｐが、第１芯線の全長の中のどの辺りに位置するかが求められる（Ｌａ／Ｌｏ）。
【００８７】
求められる両者は対応関係にある〔（Ｔａ／Ｔｏ）≒（Ｌａ／Ｌｏ）〕。それにより、通過時間ｔａ（又はＴａ）、撮影所要時間Ｔｏ、及び第１芯線の全長Ｌｏから、開始点Ｌ１Ｓからの第１芯線上に沿った長さＬａが求められ、さらに、第１芯線上の位置Ｌ１Ｐが求められる。
【００８８】
以上のように対応関係算出部１５を構成したことにより、対応関係記憶部１６及びカプセル内視鏡画像選択部１７は次のように構成される。
【００８９】
対応関係記憶部１６は、第１芯線上の位置と通過時間との対応関係を記憶する。さらに、カプセル内視鏡画像選択部１７は、第１芯線上の位置に対応する通過時間を対応関係記憶部１６から読み出し、通過時間に近い時間に撮影された画像を、カプセル内視鏡画像記憶部１２に記憶されているカプセル内視鏡画像の中から選択する。
【００９０】
次に、第１芯線とカプセル内視鏡の通過時間との対応関係を求める一連の動作について図１１を参照して説明する。図１１は、第１芯線とカプセル内視鏡の通過時間との対応関係を求める一連の動作を示すフローチャートである。
【００９１】
（Ｓ３０１）
Ｓ３０１では、第１の実施形態におけるＳ１０１と同様に、３次元画像を基に第１芯線及び病変候補を抽出する。
【００９２】
（Ｓ３０２）
Ｓ３０２では、対応関係算出部１５は、カプセル内視鏡画像記憶部１２から撮影時おけるカプセル内視鏡の通過時間を読み出す。
【００９３】
（Ｓ３０３）
次に、Ｓ３０３では、対応関係算出部１５は、第１芯線の位置と通過時間との対応関係を求める。対応関係は対応関係記憶部１６に記憶される。
【００９４】
次に、対応関係を用いて、カプセル内視鏡検査における確定診断をするときの一連の動作につい説明する。図１２は、病変候補が表示されるカプセル内視鏡画像を選択する一連の動作を示すフローチャートである。
【００９５】
（Ｓ４０１）
図１２に示すように、Ｓ４０１では、仮想内視鏡画像及びカプセル内視鏡画像をモニタ２３に表示する開始の指示を受けて、カプセル内視鏡画像選択部１７は、ＧＵＩ２０の内部メモリから第１芯線上の初期位置及び初期向きを読み出す。
【００９６】
（Ｓ４０２）
Ｓ４０２では、カプセル内視鏡画像選択部１７は、読み出した第１芯線上の初期位置を基に、対応関係記憶部１６に記憶されたテーブルに基づいて、第１芯線上の位置に対応するカプセル内視鏡の通過時間を求める。
【００９７】
次に、カプセル内視鏡画像選択部１７は、カプセル内視鏡画像記憶部１２に記憶されているカプセル内視鏡画像の中から通過時間の周辺で撮影された画像群を抽出する。
【００９８】
次にカプセル内視鏡画像選択部１７は、その画像群のうち、ＧＵＩ２０に予め記憶されている第１芯線上の初期向きに、最も近い向きで撮影された画像を選択する。選択された画像を、第１芯線上の初期位置及び初期向きに最も近いカプセル内視鏡画像とする。
【００９９】
（Ｓ４０３）
Ｓ４０３では、仮想内視鏡画像生成部１８は、ＧＵＩ２０に予め設定されている第１芯線上の初期位置及び初期向きに基づいて、３次元画像記憶部１１に記憶されている３次元画像を用いて仮想内視鏡画像を生成する。
【０１００】
表示制御部２２は、第１芯線上の初期位置及び初期向きに基づき、Ｓ４０２で求められたカプセル内視鏡画像と、Ｓ４０３で生成された仮想内視鏡画像とをモニタ２３に連動表示させる。
【０１０１】
（Ｓ４０４）
Ｓ４０４では、画像の表示が終了であるかどうかを判断する。画像の表示が終了であるとき（Ｓ４０４：Ｙｅｓ）、画像の表示を終了する。画像の表示が終了でないとき（Ｓ４０４：Ｎｏ）、第１芯線上の位置を変更したか否かを判断するＳ４０５に移行する。
【０１０２】
（Ｓ４０５）
Ｓ４０５では、ＧＵＩ２０による操作により、操作者が仮想内視鏡画像及び／又はカプセル内視鏡画像の視点及び視線を変更するとき（Ｓ４０５：Ｙｅｓ）、視点及び／又は視線の変更を受けて、カプセル内視鏡画像選択部１７は、カプセル内視鏡画像を再選択する（Ｓ４０２）。
【０１０３】
表示制御部２２は、変更された第１芯線上の位置及び／又は向きに基づき、Ｓ４０２で求められたカプセル内視鏡画像と、Ｓ４０３で生成された仮想内視鏡画像とをモニタ２３に連動表示させる。
【０１０４】
［変形例１］
以上、ＣＴ大腸解析を例に実施例を説明した。
【０１０５】
次に、実施形態の変形例１について図１３を参照して説明する。図１３は胃の検査を対象とした表示例を示す図である。図１３に、並列表示された管状体のＶＲ画像Ｇ１、仮想内視鏡画像Ｇ２、及びカプセル内視鏡画像Ｇ３、さらに、ＶＲ画像Ｇ１中に病変候補Ｔ及びカプセル内視鏡ＣＥを示す。
【０１０６】
図１３に示すように、同様の手法で胃の解析など消化管全般にわたって本発明を適用可能である。
【０１０７】
この実施形態では、ＣＴ１など３次元の医用診断装置による消化管解析で洗い出されたポリープ病変候補位置に対応するカプセル内視鏡画像のみに注目して観察できるので、大量の撮影画像を全て確認する手間が省け、ポリープ病変の確定診断における検査効率が向上する。
【０１０８】
また、ＣＴ１などの仮想内視鏡画像上でポリープ病変候補を観察する向きを微調整するのに連動して、対応する向きのカプセル内視鏡画像にその都度更新表示することにより、カプセル内視鏡画像を擬似的な３次元画像として観察でき、病変候補を立体的な内視鏡画像で診断することが可能となり、ポリープ病変の確定診断における診断精度が向上する。
【０１０９】
［変形例２］
次に、実施形態の変形例２について図７を参照して説明する。
【０１１０】
上記実施形態では、仮想内視鏡画像が選択されると、その仮想内視鏡画像の視点の位置に基づいて、カプセル内視鏡画像を表示させるものであった。これに対し、変形例２では、カプセル内視鏡画像が選択されると、選択されたカプセル内視鏡画像が収集されたときのカプセル内視鏡の通過時間または通過位置に対応する視点の位置を求め、求められた視点の位置に基づいて仮想内視鏡画像を表示させるものである。
【０１１１】
図７は、仮想内視鏡画像Ｇ２及びカプセル内視鏡画像Ｇ３を並列して表示するときの一例を示す図である。図７に、カプセル内視鏡画像Ｇ３の辺縁に沿うように配置されたスケール画像を”ＳＧ”で示す。
【０１１２】
図７に示すように、スケール画像ＳＧの左端位置が通過開始時間または通過開始位置であって、図６に示す仮想内視鏡の開始点Ｌ２Ｓに相当している。スケール画像ＳＧの右端位置が通過終了時間または通過終了位置であって、図６に示す仮想内視鏡の終了点Ｌ２Ｅに相当している。
【０１１３】
また、図７に、管内をカプセル内視鏡が通過することにより収集された複数のカプセル内視鏡画像上の色であって、カプセル内視鏡の通過時間または通過位置に対応する組織の代表色がスケール画像ＳＧ上に表示されている。例えば、病変部の代表色は、”赤”（図７で示すハッチング）で表示されている。
【０１１４】
図７に三角形の形状で表されたマーカーを”ＭＫ”で示す。カプセル内視鏡画像選択部１７は、入力部２１及び表示制御部２２を有している。入力部（例えばマウス）２１の操作により、マーカーＭＫの位置がスケール画像ＳＧに沿って移動可能に表示される。マーカーＭＫの位置は、カプセル内視鏡の通過時間または通過位置に相当している。
【０１１５】
表示制御部２２は、入力部２１の操作によるマーカーＭＫの位置の指定を受けて、その位置に対応する通過時間または通過位置に収集されたカプセル内視鏡画像を選択し、選択されたカプセル内視鏡画像を表示させる。
【０１１６】
対応関係算出部１５は、カプセル内視鏡画像の選択を受けて、選択されたカプセル内視鏡画像が収集されたときのカプセル内視鏡の通過時間または通過位置に対応する視点の位置（第１芯線上の位置）を求める。表示制御部２２は、求められた視点の位置に基づく仮想内視鏡画像を表示させる。
【０１１７】
前記実施形態では、仮想内視鏡画像とカプセル内視鏡画像とが対応付けられ、例えば、仮想内視鏡画像上で病変候補を指定すると、それに相当する病変候補が表示されているカプセル内視鏡画像を選択し易くなり、カプセル内視鏡検査における確定診断の作業性を上げることが可能となる。
【０１１８】
なお、実施形態では、図６及び図７に示すように、表示制御部２２がＶＲ画像Ｇ１、仮想内視鏡画像Ｇ２、及びカプセル内視鏡画像Ｇ３等を並列表示させるものを示したが、ＶＲ画像Ｇ１、仮想内視鏡画像Ｇ２、及びカプセル内視鏡画像Ｇ３等を切り換えて表示させてもよい。
【０１１９】
さらに、表示制御部２２が仮想内視鏡画像にカプセル内視鏡の位置を重ねて表示させてもよい。カプセル内視鏡画像選択部１７が、仮想内視鏡画像における視点の位置（第１芯線上の位置）および視線の向き（第１芯線上の方向）を基に、第１芯線上の位置及び向きに最も近いカプセル内視鏡画像を求める。表示制御部２２は、求められたカプセル内視鏡画像における第２芯線上の位置（カプセル内視鏡の位置）を、仮想内視鏡画像に重ねて表示させる。それにより、仮想内視鏡画像とカプセル内視鏡画像との対応付けが容易となる。
【０１２０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、書き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるととともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１２１】
１  ＣＴ
２  カプセル内視鏡装置
１１  ３次元画像記憶部
１２  カプセル内視鏡画像記憶部
１３  第１芯線抽出部
１４  第２芯線抽出部
１５  対応関係算出部
１６  対応関係記憶部
１７  カプセル内視鏡画像選択部
１８  仮想内視鏡画像生成部
２０  ＧＵＩ
２１  入力部
２２  表示制御部
２３  モニタ
【図１】
2013009956.tif 000003
【図２Ａ】
2013009956.tif 000004
【図２Ｂ】
2013009956.tif 000005
【図３】
2013009956.tif 000006
【図４Ａ】
2013009956.tif 000007
【図４Ｂ】
2013009956.tif 000008
【図５】
2013009956.tif 000009
【図６】
2013009956.tif 000010
【図７】
2013009956.tif 000011
【図８】
2013009956.tif 000012
【図９】
2013009956.tif 000013
【図１０】
2013009956.tif 000014
【図１１】
2013009956.tif 000015
【図１２】
2013009956.tif 000016
【図１３】
2013009956.tif 000017