(57)【要約】【課題】  プログラムの知識を有していないものであっても、診断装置や診断システムが行う推論過程の処理について容易に把握、評価を可能とすると共に、専門家による断層画像の診断の負担を軽減する。【解決手段】  診断支援装置は、少なくとも画像データを含むマルチメディアデータを用いた診断を支援する診断支援装置であり、階層構造の画像及び数値等のデータに所定の操作を施して当該階層構造を再構成するデータ処理手段を備え、複数のユニットに対応した各操作記述を、操作記述を単位として実行することによって階層構造の再構成を順次実行し、これによってマルチメディアデータに操作結果を付与し、データの区分を行う。【選択図】  図１
2006247164.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも画像データを含むマルチメディアデータを用いて診断を支援する診断支援装置であって、
階層構造の前記マルチメディアデータに所定の操作を施して当該階層構造を再構成するデータ処理手段を備え、
前記データ処理手段は、前記階層構造の階層の指定、及び、指定した階層の前記マルチメディアデータに対する操作内容を含む操作記述に基づいて、
前記指定された階層に含まれる集合又は要素に対する更新、追加、削除を含む要素操作、階層に対する削除、再構成を含む階層操作を選択的に行って階層構造を再構成し、
操作記述を単位として前記階層構造の再構成を順次実行することによって前記マルチメディアデータに各操作の操作結果を順次付加することを特徴とする、診断支援装置。
【請求項２】
前記マルチメディアデータは、画像データに加えて、数値データ、文字列データ、ベクトルデータ、音声データの少なくとも何れか一種のデータを含むことを特徴とする、請求項１に記載の診断支援装置。
【請求項３】
前記操作記述の操作内容は関数及び属性を備え、
前記データ処理手段は、コンピュータに前記関数の演算を行わせ、当該演算結果を前記属性で定める階層に格納することによって階層構造に組み込むことを特徴とする、請求項１又は２に記載の診断支援装置。
【請求項４】
前記データ処理手段は、コンピュータに複数の関数を実行させ、前記指定した階層の前記マルチメディアデータを当該複数の関数で並列処理させることを特徴とする、請求項３に記載の診断支援装置。
【請求項５】
前記データ処理手段は、前記操作記述を単位として、処理前データと処理後データとを、選択的に表示手段に表示することを特徴とする、請求項１乃至４の何れかに記載の診断支援装置。
【請求項６】
前記階層構造の前記マルチメディアデータを、
各階層別に表示すると共に、
各階層が備える複数のマルチメディアデータを重ねた積層状態で、かつ任意に指定するマルチメディアデータを上面に移動可能に表示することを特徴とする、請求項１乃至５の何れかに記載の診断支援装置。
【請求項７】
前記データ処理手段は、階層構造の階層の上位の階層を指定することにより、下位の複数の階層に属する前記マルチメディアデータを取り出し、同一の処理を施すことを特徴とする、請求項１乃至４の何れかに記載の診断支援装置。
【請求項８】
前記データ処理手段は、
データベースと、
前記マルチメディアデータ及びこのマルチメディアデータから得られる派生データを前記データベースに対して入出力管理するデータ管理手段と、
前記データ管理手段を制御する制御手段とを備え、
前記制御手段は、前記操作記述を実行単位として、前記データ管理手段にデータベースとの間でマルチメディアデータの入出力を実行させることを特徴とする、請求項１乃至７の何れかに記載の診断支援装置。
【請求項９】
前記画像データは、ＰＥＴ画像、ＣＴ画像、ＭＲＩ画像、サーモグラフィ画像、エコー画像の少なくとも何れかであることを特徴とする、請求項１乃至８の何れかに記載の診断支援装置。
【請求項１０】
少なくとも画像データを含むマルチメディアデータを入力する入力手段と、
前記入力した前記マルチメディアデータを上位の階層データとし、階層構造の階層の指定、及び、指定した階層のマルチメディアデータに対する操作内容を含む操作記述に基づいて、前記指定された階層に含まれる集合又は要素に対する更新、追加、削除を含む要素操作、階層に対する削除、再構成を含む階層操作を選択的に行って階層構造を再構成し、前記階層構造の再構成を、操作記述を単位として順次実行することによって前記マルチメディアデータに各操作の操作結果を順次付加するデータ処理手段と、
各操作記述の処理前データ及び処理後データ、並びに前記操作結果を付加したマルチメディアデータを出力する出力手段と、
を備えることを特徴とする、診断支援システム。
【請求項１１】
前記マルチメディアデータは、画像データに加えて、数値データ、文字列データ、ベクトルデータ、音声データの少なくとも何れか一種のデータを含むことを特徴とする、請求項１０に記載の診断支援システム。
【請求項１２】
前記操作内容は、前記マルチメディアデータをコンピュータにデータ処理させる演算、及び当該演算に用いるパラメータを含み、当該演算、及び／又はパラメータを変更自在であることを特徴とする、請求項１０又は１１に記載の診断支援システム。
【請求項１３】
前記出力手段は、前記データ処理手段が用いた操作内容を当該操作における処理前データ及び処理後データと共に出力することを特徴とする、請求項１０乃至１２の何れかに記載の診断支援システム。
【請求項１４】
前記入力手段と前記データ処理手段と前記出力手段とを備えるサーバをネットワークに接続し、
前記入力手段は当該ネットワークに接続される端末から前記マルチメディアデータを取得し、
前記出力手段は当該ネットワークに接続される端末に出力することを特徴とする請求項１０乃至１３の何れかに記載の診断支援システム。
【請求項１５】
前記データ処理手段は当該ネットワークに接続される端末から前記操作内容を取得し、当該操作内容を含む操作記述により階層構造を再構成し、
前記出力手段は当該再構成の結果を前記端末に出力することを特徴とする、請求項１４に記載の診断支援システム。
【請求項１６】
前記画像データは、ＰＥＴ画像、ＣＴ画像、ＭＲＩ画像、サーモグラフィ画像、エコー画像の少なくとも何れかであることを特徴とする、請求項１０乃至１５の何れかに記載の診断支援システム。
【請求項１７】
少なくとも画像データを含むマルチメディアデータを用いた診断支援処理において、階層構造を有するマルチメディアデータに対して各操作を行い、その操作結果を付加する処理をコンピュータに実行させるプログラムであって、
当該プログラムは、前記階層構造内のマルチメディアデータに所定の操作を施して当該階層構造を再構成する動作をコンピュータに実行させる機能を備え、
当該機能は、前記階層構造の階層の指定、及び、指定した階層の前記マルチメディアデータに対する操作内容を含み、
コンピュータは、当該機能に基づいて、前記指定された階層に含まれる集合又は要素に対する更新、追加、削除を含む要素操作、階層に対する削除、再構成を含む階層操作を選択的に行って階層構造を再構成し、操作記述を単位として前記階層構造の再構成を順次実行することによって前記マルチメディアデータに各操作の操作結果を順次付加することを特徴とする、診断支援プログラム。
【請求項１８】
前記マルチメディアデータは、画像データに加えて、数値データ、文字列データ、ベクトルデータ、音声データの少なくとも何れか一種のデータを含むことを特徴とする、請求項１７に記載の診断支援プログラム。
【請求項１９】
前記機能の操作内容は関数及び属性を備え、
コンピュータに前記関数の演算を行わせ、当該演算結果を前記属性で定める階層に格納させることによって階層構造に組み込ませることを特徴とする、請求項１７又は１８に記載の診断支援プログラム。
【請求項２０】
前記機能は、コンピュータに複数の関数を実行させ、前記指定した階層の前記マルチメディアデータを当該複数の関数で並列処理させることを特徴とする、請求項１７乃至１９の何れかに記載の診断支援プログラム。
【請求項２１】
前記機能は、階層構造の階層の上位の階層を指定することにより、コンピュータに下位の複数の階層に属する前記マルチメディアデータを取り出させ、同一の処理を実行させることを特徴とする、請求項１７乃至２０の何れかに記載の診断支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医療画像診断に関し、特に医療専門家が医療画像データの他、数値データ、文字列データ等の各種マルチメディアデータを読影して行う診断を支援するための診断支援装置、診断支援システム、及び診断支援プログラムに関する。
【背景技術】
【０００２】
一般に、医療の検査データを用いて、医師が行う診断のプロセスをコンピュータに代行させる試みが行われているが（非特許文献１）、人体の複雑さや、検査データと医学知識との関連付けの困難さとから、有効なものとなっていない。
【０００３】
また、医師による診断手法と異なる手法を用いてコンピュータで診断を行うことは、信頼性の点から実用化は困難である。そこで、コンピュータを用いた診断支援は、画像診断などの補助的なものが一般的である（非特許文献２−６）。
【０００４】
また、ＣＴ，ＭＲＩ，ＰＥＴに代表される人体内情報を断層画像を用いて診断する手法も提案されている。医療分野において、例えばＰＥＴ画像等の断層画像撮像装置で得られた断層画像を用いて医療診断を行うことが知られている。この断層画像等の画像データや数値データを用いた医療診断では、医療専門家が撮像画像を読影し、専門知識や経験に照らし合わせることで疑わしい領域の抽出や推論を行っている。
【０００５】
例えば、全身ＦＤＧ−ＰＥＴ（FDG-Positron Emission Tomography：陽電子放射断層撮像）画像を用いてガン診断では、放射性フッ素（f-18）を標識してＦＤＧ（フルオロデオキシグルコース）というブドウ糖に似た放射性の薬剤を体内に投入し、その体内分布を撮影してＦＤＧ−ＰＥＴ画像を得る。ＦＤＧの集積の度合いはＳＵＶという値で表され、ガンがある部位はＳＵＶ値が高く表れる。
【０００６】
全身ＰＥＴ診断では、体軸方向に約３mm間隔で、大腿部から頭頂部までの断層撮影が行われ、患者一人につき約３００枚程度の断層画像（スライス画像）が撮像される。この全身ＰＥＴ診断では、炎症が起きている部位やＦＤＧを取り込みやすい臓器・組織（腎臓・膀胱・肝臓等）では、ガンがない場合であってもＳＵＶ値が高く表れるため、診断者は正しく診断するために多くの負担がかかっている。
【０００７】
全身ＰＥＴ診断による集団検診が検討されるなかで、上記のように断層画像の読影は長い時間や多大な労力を要するため、多数の人の診断に対応できないことが予想されている。
【０００８】
【非特許文献１】E.H. Shortliffe,“Computer based Medical Consultations:MYCIN”,  American:Elsevier,1976
【非特許文献２】江浩、増藤信明、西村修、奥村俊昭、山本眞司、飯作俊一、松本徹、舘野之男、飯沼武志、松本満、“肺がん検診用Ｘ線ＣＴ像の計算機支援画像診断システム”,電子情報通信学会論文誌（D-II），Vol.j83-D-II，No.1，pp.333-341，Jan．2000．
【非特許文献３】鳥脇純一郎、“Ｘ線像のコンピュータ支援診断-研究動向と課題”,電子情報通信学会論文誌（D-II），Vol.j83-D-II，No.1，pp.3-26，Jan．2000．
【非特許文献４】蔡篤儀、李鎔範“ファジイ推論を用いた心臓超音波画像における心筋症のコンピュータ支援診断”,電子情報通信学会論文誌（A），Vol.j84-A，No.12，pp.1431-1438，Dec．2001．
【非特許文献５】程相勇、秋山いわき、王怡，伊藤紘一“超音波３次元画像を用いた乳腺腫瘍診断システム”,電子情報通信学会論文誌（D-II），Vol.j81-D-II，No.1，pp.1402-1410，Jul．1998．
【非特許文献６】鵜飼裕司、仁木登，佐藤均、渡辺滋“ヘリカルＣＴ画像を用いた冠動脈石灰化検診支援システム”,電子情報通信学会論文誌（D-II），Vol.j83-D-II，No.1，pp.342-350，Jan．2000．
【発明の開示】
【発明が解決しようとする課題】
【０００９】
診断者の負担を軽減する手法として、診断者が行っている断層画像の読影による診断をコンピュータに行わせることが考えられる。診断をコンピュータに行わせる手法として、ＦＯＲＴＲＡＮやＰａｓｃａｌ等の既存のプログラム言語を用い、手続き的なプログラミングによって診断技術や知識をプログラム内に取り込むことが考えられる。また、専門知識を簡単なルールで表現した知識ベースと知識を組み合わせて、診断の推論を実行する推論エンジンを構成することも考えられる。
【００１０】
しかしながら、診断をコンピュータに代行させるには、医師が断層画像に対してどのような処理を行って情報を導いているかを把握する必要があるが、この画像処理は多くは経験的で主観的であるため、プログラム言語で記述することは難しく、コンピュータでの実行は困難とされている。
【００１１】
例えば、手続き的なプログラミングでは、医師等の専門家が行う推定過程を既存のプログラム言語で記述することは難しく、専門家が行う推論が十分に反映されないおそれがあり、信頼性の点で問題がある。また、推論エンジンを構成した場合には、例えば、知識をIF-THEN形式でルールとして記述する方式により専門知識を断片的に記述することはできるが、利用者は記述されたルール部分を確認できるものの、システムや装置がどのような推論過程に従って診断を行っているかを把握し、その処理が適切であるかの妥当性について評価することが難しいという問題がある。
【００１２】
また、一般に、全身ＰＥＴ診断によるガンの検診では、被験者の内ほぼ８割はガンが見受けられない明らかに正常な結果となると言われている。そのため、正常な断層画像を認識して医師の診断を要さないものについては予め除いておき、医師等の専門家は読影を要する断層画像のみを診断することができれば、医師等の専門家の負担を軽減することができる。なお、上記検診による発見率は、全身ＰＥＴ診断による検診の場合であり、ガンの可能性がある被験者を対象とした場合には、その発見率は高くなる。
【００１３】
また、医師等の専門家による診断は、断層画像等の画像データに限らず、数値データ等の種々のデータが用いられる場合があり、上記した画像データによる診断と同様の問題を含んでいる。
【００１４】
そこで、本発明は前記した従来の問題点を解決し、断層画像等の画像データを含む種々のデータについて、専門家の診断が不要なデータと、専門家の診断を要するデータとに区分することによって、専門家による診断の負担を軽減することを目的とする。
【００１５】
また、プログラムの知識を有していないものであっても、診断支援装置や診断支援システムが行う推論過程の処理について容易に把握し、評価することができることを目的とする。
【００１６】
また、診断支援装置や診断支援システムが行う推論過程の処理の把握や評価を容易とするデータ構造構成に適したデータの入出力処理を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明は、診断支援装置、診断支援システム、及び診断支援プログラムの各態様とすることができる。
【００１８】
本発明の診断支援装置は、少なくとも画像データを含むマルチメディアデータを用いて診断を支援する診断支援装置であり、階層構造のマルチメディアデータに所定の操作を施して当該階層構造を再構成するデータ処理手段を備える。
【００１９】
本発明の診断支援で扱うマルチメディアデータは、画像データの他に、数値データ、文字列データ、ベクトルデータ、音声データ等の各種データを含むことができる。ここで、画像データは、静止画像データの他に動画画像データを含むことができ、また、実画像データに限らずＣＧ画像データも含むことができる。
【００２０】
本発明の診断支援では、この少なくとも画像データを含むマルチメディアデータの各種データの少なくとも何れかを一つを用いて診断支援を行うものであり、マルチメディアデータが含む１種類のデータに限らず、マルチメディアデータが含む各種データを任意の組み合わせた複数種のデータによって診断支援を行うことも含むものである。以下では、マルチメディアデータを用いて説明する。
【００２１】
本発明のデータ処理手段は階層構造の再構成を行う。階層構造の再構成は、要素操作と階層操作とを、操作記述中の操作内容を基づいて選択的に行うことで行う。
【００２２】
要素操作は、指定された階層に含まれる集合又は要素に対する更新、追加、削除を含む操作であり、階層操作は、階層に対する削除、再構成を含む操作である。操作記述は、階層構造の階層の指定、及び、指定した階層のマルチメディアデータに対する操作内容を含み、一連の診断操作を操作手順に沿って小さな単位に分けた複数のユニットに対応して設定する。各操作記述はコンピュータに実行させることによって、当該ユニットの診断の一操作に対応したマルチメディアデータのデータ処理を行う。
【００２３】
データ処理手段は、複数のユニットに対応した各操作記述を、操作記述を単位として実行することによって階層構造の再構成を順次実行する。これによって、マルチメディアデータに各操作の操作結果を順次付加する。
【００２４】
この操作結果は、例えば、各臓器や部位を基準に分けた領域において、異常の可能性が無いとする「精査不要」、正常とは言えないとする「要精査」、明らかな異常があるとする「異常所見」の分類分けに相当する。例えば、画像データ中の検査対象量をデータ処理する場合には、「肺に異常集積がある」等の局所的領域や、異常集積の部位やその強度や、これらの値をしきい値で区分した結果等をその操作結果として付加する。したがって、この操作結果は、専門家が行う一連の診断操作における各段階での診断経過あるいは診断結果に対応する。
【００２５】
この操作結果の付加は、階層構造の再構成する各操作で行うことができ、マルチメディアデータが備える種々のデータ形式によって行うことができる。
【００２６】
本発明は、一連の診断操作を操作手順に沿った複数のユニットに分割し、各ユニットに対応してコンピュータを実行させるための操作記述を設定し、各ユニットに対応した操作記述により階層構造に対して要素操作や階層操作を行うことによって階層構造を再構成する。
【００２７】
診断対象のマルチメディアデータと、このマルチメディアデータを診断の各ユニットに対応して行うデータ処理によって得られる派生データとを階層構造とすることによって、各データ処理は各階層に位置付けされるデータを単位として取り扱うことができるため、各データ処理において実際の処理に用いられるデータを含む全てのデータを取り扱う場合と比較してデータ処理が簡易となる。
【００２８】
また、各ユニットに対応したデータ処理において、処理前データと処理後データの階層関係が明瞭であるため、処理前後の両データの比較が容易であり、そのユニットで行われる一診断過程のデータ処理の評価が容易となる。
【００２９】
操作記述の操作内容は関数及び属性を備えることができる。データ処理手段は、コンピュータに関数の演算を行わせ、演算結果を属性で定める階層に格納することによって階層構造への組み込みを行う。この関数の演算において、データ処理手段は、コンピュータに複数の関数を実行させることができる。
【００３０】
ここで、本発明の操作記述において、関数の処理結果は、参照元のデータの書き換え、あるいは新しい属性データとして付加するかとし、操作記述はこの書き換えの可否を記述内に規定しているため、関数が参照するデータの書き換え状態による処理結果の変動を防ぐことができる。つまり、各関数は、参照するデータの独立性が確保しているため、指定した階層のマルチメディアデータを複数の関数で、任意の順序で、かつ並列に処理させることができる。
【００３１】
また、データ処理手段は、階層構造の階層の上位の階層を指定することにより、下位の複数の階層に属するマルチメディアデータを取り出し、同一の処理を施すことができる。
【００３２】
データ処理手段は、処理前データと処理後データとを、操作記述を単位として表示手段に表示することができ、この表示によって、各ユニットに対応して設定した操作記述のデータ処理を評価することができる。評価結果は各操作記述単位で得ることができるため、操作記述を単位として評価結果をフィードバックして操作記述を構成する操作内容を変更することができる。
【００３３】
また、データは階層構造で構成されているため、データを表示する際に、各階層別に表示すると共に、各階層において、階層が備える複数のデータを重ねた積層状態で表示することができる。また、任意に指定するデータを上面に移動可能に表示することもできる。これによって、階層構造を視覚的に容易に確認することができる。
【００３４】
データ処理手段は、データベースとデータ管理手段と制御手段とを備えた構成とすることができる。データ管理手段はマルチメディアデータ及び派生データをデータベースに対して入出力管理し、制御手段はデータ管理手段を制御する。制御手段は、操作記述を実行単位として、データ管理手段にデータベースとの間でデータの入出力を実行させる。
【００３５】
本発明が取り扱うマルチメディアデータの内、画像データとしては、例えば、ＰＥＴ画像、ＣＴ画像、ＭＲＩ画像、サーモグラフィ画像、エコー画像とすることができる。
【００３６】
本発明の診断支援システムは、本発明が備える診断支援装置が備えるデータ処理手段に加えて、少なくとも画像データを含むマルチメディアデータを入力する入力手段と、データ処理手段で得られる各操作記述の処理前データ及び処理後データ、並びに操作結果を付加したマルチメディアデータを出力する出力手段とを備える。
【００３７】
操作記述中の操作内容は、少なくとも画像データを含むマルチメディアデータをコンピュータにデータ処理させる演算、及び当該演算に用いるパラメータを含む。演算やパラメータは変更することによって、操作内容を変更することができる。
【００３８】
出力手段は、データ処理手段が用いた操作内容をその操作における処理前データ及び処理後データと共に出力する。
【００３９】
診断支援システムは、入力手段とデータ処理手段と出力手段とを備えるサーバをネットワークに接続した構成とすることができる。入力手段はネットワークに接続される端末から少なくとも画像データを含むマルチメディアデータを取得し、出力手段はネットワークに接続した端末に出力する。
【００４０】
データ処理手段はネットワークに接続される端末から操作内容を取得し、操作内容を含む操作記述により階層構造を再構成する。出力手段はこの再構成の結果を出力手段から端末に出力する。
【００４１】
この診断支援システムによれば、サーバはネットワークに接続した端末から診断対象の少なくとも画像データを含むマルチメディアデータを取得する。サーバは、取得した少なくとも画像データを含むマルチメディアデータを処理した処理結果を、ネットワークを介して端末に送信する。  
【００４２】
本発明の診断支援プログラムは、少なくとも画像データを含むマルチメディアデータを用いた診断支援処理において、階層構造を有するマルチメディアデータへの操作結果の付加をコンピュータに実行させるプログラムである。本発明の  プログラムは、階層構造内のマルチメディアデータに所定の操作を施して当該階層構造を再構成する動作をコンピュータに実行させる機能を備える。
【００４３】
プログラムにおいて、コンピュータは、当該機能に基づいて、前記指定された階層に含まれる集合又は要素に対する更新、追加、削除を含む要素操作、階層に対する削除、再構成を含む階層操作を選択的に行って階層構造を再構成し、操作記述を単位として前記階層構造の再構成を順次実行することによって、マルチメディアデータに操作結果を付加する。
【００４４】
プログラムが備える機能の操作内容は関数及び属性を備え、コンピュータに関数の演算を行わせ、演算結果を前記属性で定める階層に格納させることによって階層構造に組み込ませる。
【００４５】
プログラムが備える機能は、コンピュータに複数の関数を実行させ、前記指定した階層のマルチメディアデータを当該複数の関数で並列処理させる。また、機能は、階層構造の階層の上位の階層を指定することにより、コンピュータに下位の複数の階層に属するマルチメディアデータを取り出させ、同一の処理を実行させる。
【００４６】
本発明は、診断対象のマルチメディアデータについて、医師等の専門家が行う診断を手順に沿って細分化した各ユニットに応じたデータ処理を逐次行うことによって、専門家の診断が不要である正常なマルチメディアデータであるか、あるいは専門家の診断を要する疑わしいマルチメディアデータであるかのマルチメディアデータの分類を行う操作結果とするものであり、このマルチメディアデータの分類による操作結果は、断層画像に基づいてコンピュータに医師等の専門家に代わって診断を行うものではなく、専門家の診断が不要である正常な断層画像を抽出し、専門家による断層画像の診断の負担を軽減するものであり、これによって、より実現性の高い診断支援を可能とする。
【００４７】
なお、この操作結果は、例えば、各臓器や部位を基準に分けた領域において、異常の可能性が無いとする「精査不要」、正常とは言えないとする「要精査」、明らかな異常があるとする「異常所見」の診断に相当し、コンピュータでは、例えば、しきい値との比較で区分することができる。また、「要精査」及び「異常所見」は、専門家による診断を要するものとして区分することもできる。
【００４８】
さらに、この各データ処理において、処理前データと処理後データを階層構造とすることによって、プログラムの全ての部分を解析することなく、各処理データを記述する操作記述を特定するだけで各データ処理を容易に確認することができ、また、各データ処理での処理前データと処理後データを比較することによって処理内容を容易に評価することができる。
【００４９】
本発明のプログラムは、各ユニットに対応して操作記述を構成し、各操作記述において処理前データと処理後データの階層を指定することによって、階層構造の構成及び再構成を容易に行うことができる。
【発明の効果】
【００５０】
以上説明したように、本発明によれば、断層画像の場合には、専門家の診断が不要である正常な断層画像と専門家の診断を要する疑わしい断層画像とに区分することによって、専門家による断層画像の診断の負担を軽減することができる。
【００５１】
また、プログラムの知識を有していないものであっても、診断支援装置や診断支援システムが行う推論過程の処理について容易に把握し、評価することができることができる。
【００５２】
また、診断支援装置や診断支援システムが行う推論過程の処理の把握や評価を容易とするデータ構造を構成するための、データの入出力処理を可能とすることができる。
【発明を実施するための最良の形態】
【００５３】
以下、本発明の実施の形態について、図を参照しながら詳細に説明する。
【００５４】
図１は本発明による少なくとも画像データを含むマルチメディアデータの処理の流れを説明するための図である。
【００５５】
診断操作は所定の判断手法や判断基準に基づいて判定することで診断結果を得ている。本発明は、医師等の専門家が行う診断操作をコンピュータに代行させ、コンピュータに診断結果を出力させるものではなく、専門家が行う診断操作を行う際の支援を行うものであり、種々の操作による操作結果の付加や、診断を要するものと診断を要さないものとの区分等によって、専門家が診断を行う負担を軽減するものである。
【００５６】
そこで、本発明は、診断操作を、一連の複数の小操作（ユニットという）を順次行う推定過程として捉え、このユニットに対応するデータ処理をコンピュータに実行させ、そのユニットに対応するデータ処理の出力により操作結果を付加すると共に、当該出力を次のユニットに対応するデータ処理の入力とし、各ユニットに対応するデータ処理の出力を積み重ねることで診断支援を行う。
【００５７】
さらに、各ユニットに対応するデータ処理で得られたデータを階層化する。このデータの階層化によって、同じ階層内及び異なる階層間においてデータの関連性を把握することが容易となり、あるデータ処理についてその入力データと出力データとを比較することで、当該データ処理の処理内容の把握と評価が容易となり、診断支援の信頼性を向上させることができる。
【００５８】
図１は一連の推定過程がユニットＵ１〜ユニットＵ５からなり、各ユニットに対応して一操作記述あるいは複数の操作記述で行われるデータ処理を行うことで診断支援を行う例を示している。なお、ここでは、各ユニットに対応するデータ処理をユニットの名称で表している。また、ここでは、ユニットＵ４及びユニットＵ５は判定によって区分を行うユニットの例を示している。
【００５９】
ユニット１は、診断対象データである原データをDATA1として入力し、当該入力データDATA１に操作記述で定められる所定のデータ処理を施して出力データDATA2，DATA3を生成する。ここでは、画像データDATA1をデータ処理して画像データDATA2，数値データDATA3を生成する例を示している。
【００６０】
データ処理は診断処理を行う推定過程の内容に応じた内容であり、例えば、画像データに対する２値化処理等のしきい値との比較処理、エッジ検出処理、平均化処理、最大値・最小値検出処理等、その過程で必要とされる様々なデータ処理がある。
【００６１】
ユニットＵ２は、ユニットＵ１が有するDATA1，DATA2，DATA3を入力データとし、当該入力データDATA1，DATA2，DATA3から選択されたデータに、操作記述で定められる所定のデータ処理を施して出力データDATA4，DATA5，DATA6を生成して付加する。ここでは、画像データDATA1〜DATA3から選択したデータをデータ処理してデータ値DATA4，DATA5，DATA6を生成する例を示している。
【００６２】
ユニットＵ３は、ユニットＵ２が有するDATA1〜DATA6を入力データとし、当該入力データDATA1〜DATA3の何れかあるいはその組み合わせに、操作記述で定められる所定のデータ処理を施して出力データDATA7を生成する。ここでは、数値データDATA7を生成する例を示している。
【００６３】
ユニットＵ４は、ユニットＵ３が有するDATA1〜DATA7を入力データとし、当該入力データDATA1〜DATA7の何れかあるいはこれらの組み合わせに、操作記述で定められる所定のデータ処理を施すことによってDATA８を生成すると共に判定を行い、区分処理を行う。この判定では、データ処理に基づいて、以後のユニットの処理は不要であるとする流れと、次のユニットの処理に進む流れとに区分する。
【００６４】
さらに、ユニットＵ５は、ユニットＵ４が有するDATA1〜DATA8を入力データとし、当該入力データDATA1〜DATA8の何れかあるいはこれらの組み合わせに、操作記述で定められる所定のデータ処理を施すことによって判定を行い、区分処理を行う。この判定では、データ処理に基づいて、当該診断対象データについては診断者の診断を要し、以後のユニットの処理は不要であるとする流れと、さらに次のユニットでの処理を要するものであるとする流れとに区分する。
【００６５】
このユニットＵ４，Ｕ５において、以後のユニットでの処理が不要と判定された場合（異常と判定された場合）には、診断対象データの処理はこのユニットで終了させることができる。これにより、診断者は、多数の診断対象データについて診断を行う際に、全ての診断対象データについて診断を行うことなく、ユニットＵ５において診断が要と判定された診断対象データのみについて診断を行えば済むため、診断に要する負担が軽減されることになる。
【００６６】
図２は、各ユニットに対応して行うデータ処理の概略を説明するための図である。本発明が行う各データ処理は、入力データ１０に対して所定のデータ処理を施す操作内容１１と、前記入力データに加えて操作１１により生成された操作結果とを含む出力データ１２を有する。
【００６７】
各ユニットでのデータ処理は、上記の入力データ１０と操作内容１１と出力データ１２を一単位として有することによって、出力データ１２を次のユニットのデータ処理に対する入力データとすることができる。また、各ユニットにおいて、入力データ１０と出力データ１２との比較、あるいは出力データ１２中の入力データと操作結果との比較によって、そのユニットに対応する操作内容１１を評価することができ、評価結果に基づいて操作内容１１を変更して最適化することができる。
【００６８】
操作結果の評価は、例えば、入力データと出力データを比較表示することで行うことができる。画像データの場合には、両画像データをディスプレイ上に表示することにより視覚で比較することができ、プログラムの知識を有していない者であっても操作結果を容易に評価することができる。
【００６９】
なお、この操作内容１１の変更は、例えばこの操作内容をコンピュータに実行させるためのプログラムやパラメータを書き換えることで行うことができる。本発明によれば、このプログラムやパラメータの書き換えによる変更は、推定過程の全プログラムを検討する必要はなく、単にこの操作内容に係わる部分のみの変更で対応することができる。
【００７０】
ユニットは、入力データを演算することで新たな付加情報を生成する演算ユニットと、入力データに基づいて振り分けの判定を行う判定ユニットの２種類を含む。図３は演算ユニットと判定ユニットの概略を説明するための図である。図３（ａ）は演算ユニットの概略を示し、図３（ｂ）は判定ユニットの概略を示している。
【００７１】
図３（ａ）において、演算ユニット１１ａは、入力データ１０に対して所定の演算処理を施して出力データ１２を取得する。出力データ１２は、入力データと共に演算で得られた付加情報を備える。演算ユニット１１ａの操作内容は、入力データ１０と出力データ１２とを比較する他、出力データ１２中に含まれる入力データの部分と付加情報とを比較することでその評価を行うことができる。
【００７２】
また、図３（ｂ）において、判定ユニット１１ｂは、入力データ１０に対して所定の判定処理を施して判定結果に基づいて振り分けを行う。振り分けは、以後のユニットの処理は不要であるとする流れと、次のユニットの処理を要するとする流れとを分ける。なお、図３（ｂ）では、以後のユニットの処理は不要であるとする流れは、「異常へ振り分け」で示している。これは、診断対象データについては診断者の診断を要する異常が判定されたことを表している。
【００７３】
次のユニットに進むと判定した場合には、判定ユニット１１ｂに用いた入力データ１０はそのまま次のユニットに送り、次のユニットでの演算処理あるいは判定処理に用いられる。判定ユニット１１ｂの操作内容は、入力データ１０を観察することでその評価を行うことができる。
【００７４】
ここで、各データに階層を設定して階層構造を構成する。この階層構造は木構造とも呼ばれ、包括関係を表現する入れ子構造を表すことができ、各データに設定された階層を指標とすることによって、各データを識別すると共に、入力データと出力データとの関係、出力データ中の入力データの部分と付加情報との関係等のデータ間の関係を把握することができる。
【００７５】
また、階層構造は、一連の推定過程を複数に分割したユニットとの対応が容易であるため、ユニットに対応する操作に関連するデータを容易に取得することができる。
【００７６】
図４は階層構造を説明するための図である。前記したように、本発明の診断支援によれば、一連の推定過程を複数のユニットに分割し、各ユニットに対応して一つの操作記述あるいは複数の操作記述によってデータ処理を行うことで、診断対象データ及びこのデータから得られた派生データについて階層構造を構成することができる。
【００７７】
図４に示す階層構造の一例は、前記図１に示す推定過程の各ユニットで得られるデータについて示している。最上位の階層（階層Ａ）には診断対象データであるDATA1が設定され、第２層の階層（階層Ｂ）にはユニットＵ１のデータ処理で得られるDATA2，DATA3が設定され、第３層の階層（階層Ｃ）にはユニットＵ２のデータ処理で得られるDATA4〜DATA6が設定される。なお、各ユニットのデータ処理で得られた派生データが設定される階層は、操作記述中の記述に基づいて設定することができる。
【００７８】
図５は、各ユニットでのデータ処理をコンピュータに実行させるプログラムを説明するための図である。
【００７９】
プログラム２０は複数の操作記述２１によって構成することができる。各操作記述２１（Ｃ１〜Ｃ６，…）は、一連の推定過程に応じて設定されたユニットＵ１〜Ｕ２、…に応じて設定され、各ユニットで行うデータ処理をコンピュータに実行させて、データの階層を付加、削除、再構成などの処理を行って、階層構造の構成及び再構成を行う。
【００８０】
図５では、ユニット１はＣ１とＣ２の二つの操作記述を含み、ユニット２はＣ３〜Ｃ５の三つの操作記述を含む例を示している。
【００８１】
操作記述２１は、オペレータ２１ａ，ランク記述２１ｂ，及び操作内容２１ｃを含む構成とすることができる。ここで、オペレータ２１ａは、操作記述２１が階層構造に対して行う処理内容を示すものである。ランク記述２１ｂは層構造中の特定の階層への参照を示し、オペレータ２１ａによって行う処理の処理前データを特定する。オペレータ２１ａはランク記述２１ｂで指定される階層を参照し、その階層にあるデータを処理前データとしてオペレータに記述される処理をコンピュータに実行させる。
【００８２】
また、操作内容２１ｃは、ランク記述２１ｂで指定される階層に対して、オペレータ２１ａで指定され操作の具体的な内容を記述する他、判定処理を行う場合等ではその判定を行うための論理式を記述することができる。
【００８３】
また、上記の他、操作内容２１ｃでは、ランク記述２１ｂで指定される階層のデータに対して行う所定演算を定める関数や、関数で得られた値を格納する階層を指定する属性等を備える。
【００８４】
関数としては、参照先の階層から得られる値や集合を引数として入力とし、一意に定まる０を含む値や集合を出力する。この関数としては、例えば定数、基本的な数値演算や集合に対する操作を扱う原始関数、データベース中のデータを取り出すデータベース関数、画像データ処理等のマルチメディア処理など、オペレータの操作で得られない操作を行う外部関数等を設定することができる。また、関数としては、条件によって適用する関数が異なる場合に、どの条件のときにどの関数が適用されるかを記述する条件関数も含まれる。
【００８５】
以下の表１に、オペレータの一例を示す。
【００８６】
【表１】
2006247164.tif 000003
【００８７】
オペレータとして、update，select，delete，reconstruct，retrieve等がある。
【００８８】
updateのオペレータは、データ構造に存在する既存の値、集合の更新、あるいは新たに属性を追加して、その部分の対する値や集合の割り当てを行うものである。例えば、ランク記述で指定する階層の属する画像データに対して、操作内容で指定される処理を施した後にその階層で更新したり、属性が指定されている場合にはその属性で指定される階層に設定する。
【００８９】
例えば、
update〈/A〉B:func（〈．〉）
で表される操作記述の場合には、オペレータは“update”であり、ランク記述は〈/A〉であり、操作内容はＢ：funk（〈．〉）で表されている。
【００９０】
オペレータ“update”は、ランク記述〈/A〉で指定される階層Aを参照して、操作内容である関数funcを実行し、その結果を属性Bを作成して格納する。
【００９１】
selectのオペレータは、集合である属性の中からある条件を満たす要素のみを残し、他の要素を削除するものであり、例えば画像の後ろ半分のフレームを消去する際に用いられる。
【００９２】
例えば、
select〈/A〉｛〈./a〉&“DB”｝
で表される操作記述の場合には、オペレータは“select ”であり、ランク記述は〈/A〉であり、操作内容は｛〈./a〉&“DB”｝で表されている。
【００９３】
オペレータ“select ”は、ランク記述〈/A〉で指定される階層Aを参照し、その中のａという属性の値に「DB」が含まれるもの以外を削除する。
【００９４】
deleteのオペレータは、指定した属性以下の部分を全て削除するものであり、例えば不必要な二値化画像を削除する際に用いられる。
【００９５】
reconstruct のオペレータは、データ構造の再構成を行うものであり、例えばフレーム列に注目して特定の二値化画像を表示する際に用いられる。
【００９６】
また、retrieveのオペレータは、集合の全ての要素に対して、データベース関数を適用した結果を、新しい属性を作って割り当てるものであり、例えば画像のフレーム列や、撮影日や撮影場所などの情報をデータベースから取得する際に用いられる。
【００９７】
例えば、
retrieve〈/A〉aa：Name：
で表される操作記述の場合には、オペレータは“retrieve ”であり、ランク記述は〈/A〉であり、操作内容はaa：Nameで表されている。
【００９８】
オペレータ“retrieve ”は、ランク記述〈/A〉で指定される階層Aを参照し、その中のNameというデータを取得し、aaという属性を作成して格納する。
【００９９】
上記した例に示すように、各操作記述によれば、処理前データはランク記述で指定される階層により確認することができ、また、処理後データは操作内容の属性等によって確認することができるため、当該操作記述で指定される操作における処理前データと処理後データとを容易に比較することができるため、ユニットに対応する操作記述の評価を容易に行うことができる。
【０１００】
次に、本発明の診断支援装置の概略構成について図６を用いて設定する。
【０１０１】
図６において、本発明の診断支援装置１は、診断支援を行うための一連の推論過程を構成する各ユニットについて、そのデータ処理を実行する各機能手段を備える。この機能手段として、データ管理手段３、データベース４，関数ライブラリ５、及び制御手段６を備える。
【０１０２】
データベース４は、推論に用いる既知のデータの蓄積、取り出しを行う機能手段である。この既知データとしては、例えば、医療分野等の利用分野ではカルテやレントゲン写真の画像データ、ＰＥＴ画像データ、ＣＴ画像データ、ＭＲＩ画像データ等がある。また、データベース４は、データの型チェック等の機能に用いるデータスキーマなどのメタデータの蓄積、取り出しを行う。
【０１０３】
制御手段６は、推論過程における推論エンジンに対応する部分であり、推論過程を記述した操作記述９を解釈して、コンピュータ上で動作可能なプログラム形態にコンパイルする。プログラムは記憶手段（図示していない）から読み込む形式とするほか、実装方式の場合には、この制御手段６をインタプリタ型解釈機で構成してもよい。
【０１０４】
データ管理手段３は、制御手段６においてプログラムによってデータ処理されたデータを、構造化されたデータ形式として生成、あるいは更新して、データベース４に格納する他、表示手段７に表示する。
【０１０５】
関数ライブラリ５は、制御手段６が構成する推論エンジンで用意されていない機能を実現するための埋め込み関数を蓄積する。この関数ライブラリ５は、入力手段８等を介して追加、変更することができる。
【０１０６】
データ処理手段２には、データを表示する表示手段７、データ管理手段３に対してプログラムや関数ライブラリ５に対して関数の変更等を行う入力手段８を備える。
【０１０７】
表示手段７は、各ユニットでの処理前データと処理後データとを表示して比較することで、データ構造の変化を確認することができる。また、一連の推論過程を構成する各ユニットに対応する処理をたどることによって、データ管理手段３で生成、更新された構造データの変化を確認することができる。この確認は、各ユニットに対応する操作記述をたどり、各操作記述におけるデータの階層構造から容易に確認することができる。
【０１０８】
図６に示す診断支援装置の構成における動作例について、図７の動作概略図及び図８のフローチャートを用いて説明する。
【０１０９】
ここでは、一つの操作記述による動作について説明する。制御手段６は、操作記述９に記述されている一ユニットに対する一部の操作記述を読み出し、この操作記述を解釈器等で解釈してデータ管理手段３を動作させる。読み出した操作記述は、オペレータ、ランク記述、及び操作内容の各操作記述要素を備えている（Ｓ１）。
【０１１０】
データ管理手段３は、ランク記述に基づいてデータベース４を参照し、データベースから該当する階層のデータ（処理前データ）を取り込む（Ｓ２）。
【０１１１】
操作記述の操作内容には、単位操作や論理式が設定されている。単位操作は、ある集合に対する操作の最小単位であり、参照されたランク内での入出力、及び操作を記述している。操作は例えば関数として表され、入力は関数の引数として表され、出力は属性としてデータ構造に反映する。操作単位は、“属性名：関数”の形式で表すことができる。操作単位は、一つのオペレータ、ランク記述に対して、複数記述することができる。また、属性：［属性：関数、属性：関数］のように入れ子として記述することができる。属性は、関数により操作内容された結果を格納する。関数は、引数として与えられた値、集合に対して、どのような操作を行うかを指定する。その返値は値あるいは集合となり、単位操作で指定された属性に格納される。
【０１１２】
操作記述の操作内容に関数が設定されている場合には（Ｓ３）、関数ライブラリ５から設定された関数を読み出し、その関数に引数を渡して（Ｓ４）、演算結果を取得し（Ｓ５）、設定されている属性に基づいて、データベース４内に階層化して格納する（Ｓ６）。
【０１１３】
また、操作記述の操作内容に関数が設定されていない場合には（Ｓ３）、オペレータと操作内容に基づいて、データに対して付加、削除、再構成等を行う（Ｓ７）。
【０１１４】
上記処理の結果、次のユニットを行う場合には前記Ｓ１〜Ｓ７の工程を繰り返し、次のユニットが不要である場合には処理を終了する（Ｓ８）。
【０１１５】
次に、図６に示した操作記述の動作において、当該動作と階層構造との関係を図９を用いて説明する。
【０１１６】
ここでは、操作記述として、“update〈A/B/C〉D:func（〈．〉）”を用いた例について説明する。この操作記述において、オペレータはupdateであり、ランク記述は〈A/B/C〉であり、単位操作はD:func（〈．〉）である。
【０１１７】
データ管理手段３は、ランク記述〈A/B/C〉に基づいてデータベース５を参照して階層Ｃのデータを取得し、関数ライブラリ６から指定された関数func（〈．〉）を取得し、データを関数に適用させて演算し、演算結果を属性Ｄに格納する。
【０１１８】
属性Ｄは演算結果を格納する階層を表すことになる。これによって、処理前のデータ構造の階層Ａ，Ｂ，Ｃは、処理後には階層Ａ，Ｂ，Ｃ，Ｄに再構成される。
【０１１９】
この階層構造を表示手段上で表示するときには、各階層のデータを集合関係で表すと共に、当該集合に含まれるデータが積層状態で模式的な表示形式で表示するほか、前記図４に示すように木構造の表示形式を補助的に表示してもよい。
【０１２０】
図１０は、この階層構造の一表示形式を表している。図１０に示す表示例では、表示面３０上において、最上位層（ルート階層）Ａを最下面とし、当該面上に下位の階層を重ねて表示する。最上位層Ａの上面に次下位の階層Ｂを配置し、さらに、階層Ｂの上面に次下位の階層Ｃを配置する。
【０１２１】
操作記述が、前記した“update〈A/B/C〉D:func（〈．〉）”である場合には、ランク記述〈A/B/C〉によって、階層Ｃのデータ（図中の斜線部）が入力データとして指定される。この入力データを、関数ライブラリから取り込んだ関数func（〈．〉）に入力して演算を行い、演算結果を属性Ｄに格納する。属性Ｄは階層Ｃの下位の階層として、階層Ｃの上面に重ねて表示する。
【０１２２】
また、最上位層Ａの次に階層として、階層Ｂの他に階層Ｅ，Ｆが設定されている場合には、階層Ｅ，Ｆについても最上位層Ａの面上に配置される。
【０１２３】
階層Ｅが複数の要素の集合である場合には、階層Ｅは複数の要素を重ねて状態で表示し、複数の要素を含む状態を視覚的に表示することができる。また、階層Ｆの下位に階層Ｇが設定されている場合には、階層Ｆの上面に階層Ｇを配置して表示する。
【０１２４】
上記表示形式によれば、一画面表示を観察することで、データの階層構造を視覚的に確認することができる。
【０１２５】
図１１は、本発明のデータ処理手段の構成する一構成例である。図１１において、データ処理手段はバス４０に接続されたＣＰＵ４１を備える。このバス４０には、データ処理が行うプログラムや、システムを制御するためのプログラム、表示制御やデータ処理を行うプログラム等を記憶するＲＯＭ４２，演算結果を一時的に記憶するＲＡＭ４３、データベース４４、表示手段６と接続するためのインターフェースＩＦ４６、外部装置との間でデータの入出力を行うＩ／Ｏ手段４７が接続される。なお、Ｉ／Ｏ手段４７は図６，７中の入力手段８の対応している。
【０１２６】
ＣＰＵ４１は、ＲＯＭ４２に記憶されるプログラムから、各ユニットに対応する操作記述を読み出して解釈・実行し、データベース４４からの入力データの読み出し、演算処理、演算結果のデータベース４４への書き込み等の制御を行う。
【０１２７】
なお、プログラムはＲＯＭ４２に限らず書き換え可能な記録媒体に格納しておくことで、プログラムの内容を変更することができる。
【０１２８】
本発明による診断支援は、医療分野に限らず、所定の判断手法や判断基準に基づいて推定操作を行う一連の操作を有する診断操作を行う分野であれば任意の分野に適用することができるが、以下では、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像等の断層画像を診断対象画像として医療診断を行う例について図１２〜図１７を用いて説明する。
【０１２９】
ＰＥＴ画像等の断層画像を用いた診断では、全身について多数枚（例えば３００枚）の断層画像を取得し、これらの断層画像を医師等の専門家が目視で読影して、異常の有無についての診断を行う。
【０１３０】
全身の断層画像を診断する際には、例えば身体の下方から上方に向かって各部位について順に読影を行う。各部位では、当該部位に特徴的な診断要素について判断を行うことで診断を行う。
【０１３１】
図１２は、全身の断層画像により診断を行う際の一連の推定過程において、この推定過程を複数のユニットに分け、このユニットに対応した画像処理の一例を示している。なお、以下では、演算ユニットに対応する処理は５０番台の番号を付して、また、判定ユニットに対応する処理は６０番台の番号を付して示している。
【０１３２】
全身の断層画像による診断は身体の下方から上方に向かって行う。例えば、断層画像に基づいて、身体から大腿部を認識し、認識した大腿部について診断の指標となる薬剤の蓄積を認識し、これら試薬の蓄積等のデータに基づいて大腿部までの異常を判定し、さらに、身体から胴部を認識し、当該胴部が備える各臓器（例えば膀胱、腎臓、…）について認識し、認識した臓器における指標の蓄積を認識し、蓄積量から判定を行う。
【０１３３】
図１２では、大腿部の部位を認識するユニットに対応する処理として、大腿部の領域画像を生成する画像生成５１を有し、大腿部までの部位の診断の指標となるＦＤＧ（フルオロデオキシグルコース）等の薬剤が集積している領域を識別するユニットに対応する処理として、集積の領域画像を生成する画像生成５２を有し、種々の判定データに基づいて大腿部までの異常を判定するユニットに対応して、異常を判定する処理６１を有し、この判定ユニットで異常が認められない場合に、胴部の部位を認識するユニットに対応する処理として、胴部の領域画像を生成する画像生成５３を有し、膀胱の部位を認識するユニットに対応する処理として、膀胱の領域画像を生成する画像生成５４を有し、膀胱部位を診断するユニットに対応する処理として、膀胱体積を算出する算出処理５５を有し、膀胱での最大ＳＵＶ値を算出する算出処理５６を有し、膀胱までの集積の領域画像を生成する画像生成５７を有し、最大ＳＵＶ値を算出する算出処理５８を有し、種々の判定データに基づいて膀胱までの異常を判定するユニットに対応する処理として、異常を判定する処理６２を有し、この判定ユニットで異常が認められない場合に、腎臓の部位を認識するユニットに対応する処理として腎臓認識処理５９を有する。
【０１３４】
以後、脳の部位まで、断層画像から各臓器を認識するユニットに対応する処理、認識した臓器について指標となる蓄積を認識するユニットに対応する処理、認識した蓄積の値を算出するユニットに対応する処理、蓄積やその他の検出データに基づいて判定を行うユニットに対応する処理等を有している。
【０１３５】
各判定ユニットに対応する処理では、それぞれの部位において異常の可能性の有無を判定、最後の脳までの部位の異常判定で異常と判定されなかった場合には、正常に振り分けが行われる。
【０１３６】
これによって、断層画像に専門家の診断を必要とするものと、専門家の診断を不要とするものとに振り分けることができ、専門家は診断が不要な断層画像については診断を行わず、診断を要する断層画像のみを診断することで、負担を軽減することができ、また、各断層画像の診断に十分な時間をかけることができる。
【０１３７】
上記した各ユニットに対応する処理において、画像生成の処理では、生成された新たな画像は付加情報として元の断層画像に付加される。また、体積やＳＵＶ値の算出処理では、算出された値は、元の断層画像及び処理途中で得られた付加情報に対して、さらに付加情報として付加される。
【０１３８】
図１３は、肺部における診断支援状態を示している。肺部の診断では、胴部を認識するユニットと、認識した胴部内において肺を認識するユニットと、認識した肺において診断の指標となるＦＤＧ（フルオロデオキシグルコース）等の薬剤の集積を認識するユニットと、肺部までの異常を判定するユニットを含んでいる。
【０１３９】
上記各ユニットに対応して、本発明では、患者情報と断層画像を入力データとして胴部を認識する処理７１を行い、胴部認識処理７１で得られた胴部の画像情報を付加情報として肺部を認識する処理７２を行い、肺認識処理７２で得られた右肺及び左肺の画像情報を付加情報として、肺部での集積を認識する処理７３を行い、集積認識処理７３で得られた集積情報１，２を付加情報として、肺部までの異常を判定する判定処理８１を行う。プログラムは、上記各処理をコンピュータに実行させるために、それぞれに処理に対応した操作記述を備える。
【０１４０】
以下、肺領域における処理について、図１４を用いてより詳細に説明する。
【０１４１】
肺領域の認識処理７２は、断層画像と胴部の領域画像を入力データとして、右肺の領域画像と左肺の領域画像を取得する。
【０１４２】
肺領域の集積認識処理７３は、断層画像と胴部の領域画像に加えて、前段の肺領域の認識処理７２で得られた右肺の領域画像と左肺の領域画像を入力データとして、右肺及び左肺の体積、最大ＳＵＶ値、及び平均ＳＵＶ値を算出して取得する。
【０１４３】
さらに、肺領域内の異常集積判定処理８１は、前段処理７３の出力データを入力データとして、異常集積の領域画像、集積部位（集積１）のＩＤ、集積部位の体積、最大USV値、及び平均USV値を算出して取得するほか、左肺が集積１を内砲する器官の情報を取得する。
【０１４４】
他の臓器の器官においても、当該器官を診断に要する画像や検出値を算出する処理を行い、取得された画像や検出値に基づいて異常判定が行われる。
【０１４５】
一連に推定過程の流れを表す操作記述は、複数の操作記述をまとめて表したUnit Boxで表すことができ、このUnitを用いることによって推定過程の大きな流れを簡略して把握することができる。
【０１４６】
例えば、肺に注目した一連の推定過程に注目した場合、各操作を最小単位の操作記述を用いて表現すると多量の操作記述が必要となるが、いくつかの操作記述をまとめることで構成されるUnitを用いることにより、把握が容易な単位で所定の操作を表すことができる。
【０１４７】
ここで、肺に注目した一連の推定過程について、簡易的に「データの取得」、「胴部の認識」、「肺の認識」、「肺の高さまでの集積の認識」、「肺に高さまでの異常の判定」の５つのUnitで表すことができる。
【０１４８】
図１５は「肺の認識」Unitの入力データを表し、図１６は「肺の認識」Unitの出力データを表している。図１５と図１６の入力データと出力データに示すように、データが付加される様子を可視的に表示することができるため、利用者は、データ構造の変化から操作内容を容易に理解し、また、その操作内容の評価を行うことができる。
【０１４９】
前記したように、Unitは複数の操作記述をまとめて表すことによって操作内容を抽象化して表現している。このUnitを構成する各操作記述を表記すると、例えば以下のようになる。
【０１５０】
unit GetLung〈/TOMOGRAPHY/SLICE〉
begin
/*閾値を変化させながら処理する肺領域の２値化フィルタをかける*/
update〈/ TOMOGRAPHY/SLICE〉TH1:copy(〈./PARAMETER/LUNG1〉),
TH2:copy(〈./PARAMETER/LUNG2〉);
update〈/ TOMOGRAPHY/SLICE〉
LUNG.MK:LungFilter(〈./TH1〉, 〈./TH2〉, 〈./IMAGAVG3〉);,
/*肺の領域画像を右肺と左肺に分ける*/
update〈/ TOMOGRAPHY/SLICE〉RLUNG.MK:GetRside〈./LUNG.MK〉
LLUNG.MK:GetLside〈./LUNG.MK〉
/*取得した肺領域の解析*/
/*各領域の面積*/
update〈/ TOMOGRAPHY/SLICE〉RLUNG.AREA:CheckArea(〈./RLUNG.MK〉),
LLUNG.AREA: CheckArea(〈./LLUNG.MK〉),
RLUNG.CP.CheckCP(〈./RLUNG.MK〉),
LLUNG.CP.CheckCP(〈./LLUNG.MK〉);
/*肺の横断面領域であるかの確認*/
update〈/ TOMOGRAPHY/SLICE〉RLUNG.FLG:CheckRLung(〈./RLUNG.AREA〉, 〈./RLUNG.CP〉),
LLUNG.FLG:CheckLLung(〈./LLUNG.AREA〉, 〈./LLUNG.CP〉);
/*肺の横断面領域でない場合はEXIT*/
update〈/ TOMOGRAPHY/SLICE〉
STATUS:｛(value(〈./RLUNG.FLG〉)=false)→“POSSIBLE”,
(value(〈./LLUNG.FLG〉)=false)→“POSSIBLE”,“NEGATIVE”｝;
/*３次元的な肺の解析*/
/*肺の分類、体積、SUV最大値、SUV平均値の算出*/
update〈/ TOMOGRAPHY〉
［RLUNG:［TYPE:”RLUNG”,
VOLUME:CheckVolume!(〈./SLICE/RLUNG.MK〉),
MAX:CheckMax!(〈./SLICE/IMAGE〉, 〈./SLICE/RLUNG.MK〉),
MEAN:CheckMean!(〈./SLICE/IMAGE〉, 〈./SLICE/RLUNG.MK〉),
［LLUNG:［TYPE:”LLUNG”,
VOLUME:CheckVolume!(〈./SLICE/LLUNG.MK〉),
MAX:CheckMax!(〈./SLICE/IMAGE〉, 〈./SLICE/LLUNG.MK〉),
MEAN:CheckMean!(〈./SLICE/IMAGE〉, 〈./SLICE/LLUNG.MK〉)］］
/*左右の肺の位置関係の確認*/
update〈/ TOMOGRAPHY〉LUNG.FLG:CheckLUNG!
(〈./SLICE/IMAGE〉,) 〈./SLICE/LLUNG.MK〉)
/*肺の位置関係がおかしい場合はEXIT*/
update〈/ TOMOGRAPHY〉｛(value(〈.LUNG.FLG〉)=abnomal)→“POSSIBLE”, “NEGATIVE”｝;｝
end
【０１５１】
これらの処理によって、左右肺の領域が抽出され、体積や最大値などの値が算出されたことが、図１６に示されているTOMOGRAPHYを表すWindowに、RLUNGとLLUNGという属性が付加され、それぞれの中にVOLUME,MAXなどの属性が付加されたことで理解することができる。
【０１５２】
このように、診断の妥当性の評価は、Unitを単位としてその入力データと出力データを比較することで行う他、Unit内の単位操作での入力データと出力データを比較することで行うことができる。
【０１５３】
また、本発明はネットワークで接続された診断支援システムを構成することができる。図１７は本発明の診断支援システムの一構成例を説明するための概略図である。本発明の診断支援システム１００は、サーバ１０１と、端末１０２（１０２Ａ〜１０２Ｄ）をネットワーク１０３によって接続して構成することができる。サーバ１０１は、データ処理手段１０１ａ、データベース１０１ｂ等を備えることにより前記した本発明の診断支援装置１を構成し、入出力手段１０１ｃによってネットワーク１０３と接続する。
【０１５４】
端末１０２は、例えば診断対象の断層画像を撮影する施設の端末１０２Ａ、断層画像による診断支援を求める医師等の利用者側の端末１０２Ｂ、利用者とサーバとの間の取り次ぎ処理を請け負う中間者の端末１０２Ｃに設置され、ネットワーク１０３を介してサーバ１０１との間で診断支援を受ける。また、診断の専門家側に設置される端末１０２Ｄは、ネットワーク１０３を介してサーバ１０１と接続し、サーバ１０１側の診断支援装置で専門家の診断が必要と判定された断層画像のデータを取得して診断を行い、診断結果をサーバ１０１あるいは、診断を依頼した端末１０２Ａ〜１０２Ｃに送信する。
【０１５５】
撮影施設の端末１０２Ａは、撮影した断層画像の画像データをネットワーク１０４を介してサーバ１０１に送信する。サーバ１０１は、送信された画像データを入出力手段１０１ｃで受信し、データベース１０１ｂに格納する。データ処理手段１０１ａは、データベース１０１ｂに格納された断層画像について前記で説明した処理を行い、専門家による診断を要する断層画像と診断を要さない断層画像とに振り分け、振り分けた結果を撮影施設の端末１０２Ａに送る。
【０１５６】
撮影施設の端末１０２Ａは、サーバ１０１から送られた振り分けた結果を受け取る。撮影施設は、専門家の診断を要する断層画像を確認し、専門家に診断を依頼する。撮影施設は、専門家への診断依頼を専門家に直接依頼することも、あるいは、ネットワーク１０３を介して接続される専門家の端末１０２Ｄによって依頼することもできる。
【０１５７】
医師等の利用者は、端末１０２Ｂからネットワーク１０３を介してサーバ１０１に断層画像の画像データを送り、サーバ１０１側から振り分け結果を受け取る。利用者の端末１０２Ｂは、サーバ１０１から送られた振り分けた結果に基づいて、専門家の診断を要する断層画像を確認し、専門家に診断を依頼する。利用者は、専門家への診断依頼を専門家に直接依頼することも、あるいは、ネットワーク１０３を介して接続される専門家の端末１０２Ｄによって依頼することもできる。
【０１５８】
中間者は、依頼者から断層画像の画像データを取得しておき、この画像データを端末１０２Ｃからネットワーク１０３を介してサーバ１０１に送り、サーバ１０１側から振り分け結果を受け取る。中間者の端末１０２Ｃは、サーバ１０１から送られた振り分けた結果に基づいて、専門家の診断を要する断層画像を確認し、専門家に診断を依頼する。中間者は、専門家への診断依頼を専門家に直接依頼することも、あるいは、ネットワーク１０３を介して接続される専門家の端末１０２Ｄによって依頼することもできる。依頼者は、専門家による診断結果を中間者から受け取ることで診断支援が行われる。
【０１５９】
専門家は、ネットワーク１０３を介してサーバ１０１で処理した断層画像の振り分け結果に基づいて、診断を要する断層画像のみを受け取って読影し、診断を行う。診断結果は、サーバ１０１に送る他、依頼者に直接送ることもできる。依頼者に直接送る場合には、サーバ１０１から断層画像と共に依頼者のアドレス等の情報を取得することによって、ネットワーク１０３を介して送ることができる。
【０１６０】
なお、本発明の診断支援システムは、上記したネットワークを介する構成に限らず、マルチメディアデータを任意の記録媒体に記憶させ、この記録媒体を介してデータの授受を行うシステム構成としてもよい。
【０１６１】
本発明の診断支援に用いる推論過程は、断層画像の画像データ等の診断対象情報を用いて診断を行う際の一連の流れに応じたユニット、及びこのユニットに対応した操作記述を生成する必要がある。
【０１６２】
このユニットや操作記述の生成には、診断を行う専門家と、専門家が行う推論過程をシステムに反映させるために解析を行ってユニットを生成し、このユニットに対応する操作記述を生成するエンジニアと、エンジニアの解析に基づいて生成したユニットをコンピュータに実行させるプログラムを生成するプログラマとの協同することで行うことができる。
【０１６３】
図１８は、推論過程システムの概略を説明するための図である。図１８において、上記した専門家とエンジニアとプログラマの３者と推論過程システムとの関係を示している。
【０１６４】
エンジニア２１１は、専門家２１０へのインタビューを繰り返すことによって、推論過程をモデリングする。このモデリングは、専門官２１０が行う推論過程を解析してユニットを生成し、この各ユニットに対応する操作記述を生成する。この操作記述に生成において、外部関数や、処理のアルゴリズムへの変更が必要となった場合には、エンジニアはプログラマ２１２に外部関数の追加・変更を依頼する。
【０１６５】
プログラマ２１２が生成した外部関数等の組み込み関数は、関数ライブラリ２０６に格納される。
【０１６６】
エンジニア２１１は、プログラマ２１２によって作成された新たな外部関数を用いて、推論過程をエディタ２０８によって推論エンジン手段２０４に用いる推論エンジン用言語に記述する。
【０１６７】
推論過程システム２０１において、推論エンジン２０４（制御手段に対応する）は、操作記述を解釈し、コンピュータ上で動作するプログラムをコンパイルする。データ構造化マネージャー２０３（データ処理手段に対応する）は、知識ベース２０５を参照しながら、推論エンジン２０４から得られたデータを、構造化されたデータ形式として生成、あるいは校正する。
【０１６８】
この推論過程のユニットを表す操作記述は、ビューア２０７ｂによってエンジニア２１１が確認することができる他、ビューア２０７ａによって専門家２１０が確認することができる。
【０１６９】
なお、前記したユニットでは、異常と判定した場合には処理を終了する構成としているが、異常と判定した場合であっても、次のユニットに進む構成とすることもできる。
【産業上の利用可能性】
【０１７０】
本発明の診断支援は、医療分野に限らず、所定の判断手法や判断基準に基づいて推定操作を行う一連の操作を有する診断操作を行う分野に適用することができる。
例えば、構造体の断層画像データを用いた非破壊構造検査、大気の気圧、温度等の断層画像データを解析する気象解析、３次元の流体流れの断層画像データを解析する流体解析等に適用することができる。  
【図面の簡単な説明】
【０１７１】
【図１】本発明による画像及び数値等のデータの処理の流れを説明するための図である。
【図２】各ユニットに対応して行うデータ処理の概略を説明するための図である。
【図３】演算ユニットと判定ユニットの概略を説明するための図である。
【図４】本発明の階層構造を説明するための図である。
【図５】本発明の各ユニットでのデータ処理をコンピュータに実行させるプログラムの操作記述を説明するための図である。
【図６】本発明の各ユニットのデータ処理を実行する各機能手段を説明するための図である。
【図７】本発明のプログラムの各操作記述による動作を説明するための図である。
【図８】本発明のプログラムの各操作記述による動作を説明するためのフローチャートである。
【図９】本発明のプログラムの各操作記述による動作と階層構造との関係を説明するための図である。
【図１０】本発明の階層構造の表示例を説明するための図である。
【図１１】本発明のデータ処理手段の構成例を説明するための図である。
【図１２】本発明の断層画像による診断支援の動作を説明するための図である。
【図１３】本発明の断層画像による診断支援の動作を説明するための図である。
【図１４】本発明の断層画像による診断支援の動作を説明するための図である。
【図１５】本発明の階層構造の表示例を説明するための図である。
【図１６】本発明の階層構造の表示例を説明するための図である。
【図１７】本発明の診断支援システムを説明するための図である。
【図１８】本発明の診断支援を構成するための関係図を説明するための図である。
【符号の説明】
【０１７２】
１…診断支援装置
２…データ処理手段
３…データ管理手段
４…データベース
５…関数ライブラリ
６…制御手段
７…表示手段
８…入力手段
９…操作記述
１０…入力データ
１１…操作
１１ａ…演算ユニット
１１ｂ…判定ユニット
１２…出力データ
２０…プログラム
２１…操作記述
２１ａ…オペレータ
２１ｂ…ランク記述
２１ｃ…操作内容
３０…表示面
４０…バス
４１…ＣＰＵ
４２…ＲＯＭ
４３…ＲＡＭ
４４…データベース
４５…関数ライブラリ
４６…ＩＦ
４７…Ｉ／Ｏ
５１〜５９，７１〜７３…演算ユニット
６１〜６３，８１…判定ユニット
１００…診断支援システム
１０１…サーバ
１０１ａ…データ処理手段
１０１ｂ…データベース
１０１ｃ…入出力制御手段
１０２Ａ〜１０２Ｄ…端末
１０３…ネットワーク
２０１…推論システム
２０３…データ構造化マネージャー
２０４…推論エンジン
２０５…知識ベース
２０６…関数ライブラリ
２０７ａ，２０７ｂ…ビューア
２０８…エディタ
２１０…専門家
２１１…エンジニア
２１２…プログラマ
Ｕ１〜Ｕ６  ユニット
【図２】
2006247164.tif 000004
【図４】
2006247164.tif 000005
【図５】
2006247164.tif 000006
【図６】
2006247164.tif 000007
【図７】
2006247164.tif 000008
【図８】
2006247164.tif 000009
【図９】
2006247164.tif 000010
【図１０】
2006247164.tif 000011
【図１１】
2006247164.tif 000012
【図１４】
2006247164.tif 000013
【図１７】
2006247164.tif 000014
【図１８】
2006247164.tif 000015
【図１】
2006247164.tif 000016
【図３】
2006247164.tif 000017
【図１２】
2006247164.tif 000018
【図１３】
2006247164.tif 000019
【図１５】
2006247164.tif 000020
【図１６】
2006247164.tif 000021