(57)【特許請求の範囲】
【請求項１】
分類を行うための情報を入力するための情報入力手段と、
前記情報入力手段により入力された情報から特徴情報を抽出する特徴抽出手段と、
前記特徴抽出手段で抽出された特徴情報及び前記情報入力手段から入力された情報のうちの少なくとも一つの情報に基づき情報の種別を判定し、
この種別毎に分類わけする分類判定手段と、を具備し、
前記分類判定手段は、前記分類を行うための情報が正常部か或いは１つ以上の異常部の種類の何れかを示す種別をデジタル的に判定するための論理判定手段と、
この論理判定手段からの出力に基づいて、当該論理判定手段より前段の前記特徴抽出手段で用いる分類ベクトルの再選択を行うようにしたフィードバック手段とを有することを特徴とする画像分類装置。
【請求項２】
前記分類判定手段は、前記特徴抽出手段から得られる特徴量の値から判定値をダイレクトに結びつける判定テーブルと、前記分類わけするための分類番号を出力するコントロール部と、を有し、
前記フィードバック手段は更に、前記コントロール部から出力される前記分類番号に応じて前記判定テーブルの出力を再選択することを特徴とする請求項１に記載の画像分類装置。
【請求項３】
前記分類判定手段は、さらに、
予め学習された学習データをもとにニューラルネットワークを用いて前記情報を前記デジタル的判定に適する評価値に変換するための曖昧判定手段を有し、
前記論理判定手段は、前記分類を行うための情報が正常部か或いは１つ以上の異常部の種類の何れかを示す種別を、前記評価値を用いてデジタル的に判定し、
前記フィードバック手段はこの論理判定手段からの出力に基づいて当該論理判定手段より前段の曖昧判定手段で用いる重み係数の再選択を行うようにしたとを有することを特徴とする請求項１に記載の画像分類装置。
【請求項４】
前記分類判定手段は、さらに、
予め学習された学習データをもとにファジー推論を用いて前記情報を前記デジタル的判定に適する評価値に変換するための曖昧判定手段を有し、
前記論理判定手段は、前記分類を行うための情報が正常部か或いは１つ以上の異常部の種類の何れかを示す種別を、前記評価値を用いてデジタル的に判定し、
前記フィードバック手段はこの論理判定手段からの出力に基づいて当該論理判定手段より前段の曖昧判定手段で用いるメンバーシップ関数の再選択を行うようにしたとを有することを特徴とする請求項１に記載の画像分類装置。
【請求項５】
前記画像分類装置は、さらに、
前記情報入力手段により入力された情報を、入力時の諸条件の違いまたは前記情報入力手段のばらつきを補正して、正規化するためのノーマライズ手段を有し、前記特徴抽出手段は、前記ノーマライズ手段により正規化された情報から特徴情報を抽出することを特徴とする請求項１乃至４の何れか一つに記載の画像分類装置。
【請求項６】
前記ノーマライズ手段は、正規化した情報の他に、前記特徴抽出手段で抽出する特徴量を選択するための制御情報を出力することを特徴とする請求項５に記載の画像分類装置。
【請求項７】
前記特徴抽出手段は該特徴抽出手段に入力された情報から特徴量を前段階として抽出する前処理部と、該特徴抽出手段に入力された情報または前記前記特徴量を統計的に解析して前記情報または前記特徴量の次元数を減少させる多変量解析部を有し、
前記ノーマライズ手段は、正規化した情報の他に、前記特徴抽出手段の処理方法として前記前処理部からの出力を直接特徴抽出手段の出力とするか、前記前処理部の出力を用いて多変量解析部で多変量解析を行った結果を特徴抽出手段の出力とするか、或いは、多変量解析部のみを用いて特徴抽出行うかの何れかの処理方法を選択するための制御情報を出力することを特徴とする請求項５に記載の画像分類装置。
【請求項８】
前記画像分類装置は、さらに、
前記分類判定手段による分類判定結果を表示する表示手段を具備し、
前記表示手段は、前記情報入力手段からの分類対象の画像情報、前記特徴抽出手段で抽出された特徴量及び前記分類判定手段での判定結果を表示するための表示画像生成手段を有することを特徴とする請求項１乃至６の何れか１つに記載の画像分類装置。
【請求項９】
前記画像分類装置は、さらに、
前記分類判定手段による分類判定結果を表示する表示手段を具備し、
前記表示手段は、前記情報入力手段からの画像情報と、前記特徴抽出手段で抽出された特徴量又は前記分類判定手段での判定結果に係る情報のいずれか一つと、を表示するための表示画像生成手段を有することを特徴とする請求項１乃至６の何れか一つに記載の画像分類装置。
【請求項１０】
前記表示画像生成手段は、前記特徴抽出手段で抽出された特徴量または前記分類判定手段での判定結果に応じて分類対象の画像を異なる分類ごとに視覚的に異ならせて表示することを特徴とする請求項８又は９の何れか一つに記載の画像分類装置。
【請求項１１】
前記表示手段が前記分類対象の画像を視覚的に異ならせて表示するに際して、前記特徴量または判定結果に応じて前記分類対象の画像を異なる分類ごとに色を変えて表示することを特徴とする請求項１０に記載の画像分類装置。
【請求項１２】
前記表示手段が前記分類対象の画像を視覚的に異ならせて表示するに際して、前記特徴量を軸としたグラフ上に前記分類判定結果を表示することを特徴とする請求項１０に記載の画像分類装置。
【請求項１３】
前記フィードバック手段が再選択する処理は、前記特徴抽出手段における特徴抽出処理であり、前記論理判定手段の出力に基づいて、前記特徴抽出処理の条件を変更することを特徴とする請求項１乃至請求項１２の何れか一つに記載の画像分類装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は画像情報を入力して、分類判定を行なう装置に関する。
【０００２】
【従来の技術】
一般に、カメラ、赤外線カメラ等の撮影装置や内視鏡画像，顕微鏡画像，超音波画像入力装置、Ｘ線画像入力装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＣＴ (Computer Tomography)装置等からの画像を予め定めた幾つかの種類に分類し表示する画像入力装置がある。
【０００３】
例えば、第１の例としては、「画像ラボ」（１９９３年２月号，Ｐ１９）に、２値化により悪性腫瘍を抽出する装置に応用した例が記載されている。またこれには原発性肝癌を３次元表示する例において、映し出された画像における不規則性から判断するものが記載されている。
【０００４】
その他、第２の例としては、「Ｋｏｎｉｋａ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ」，Ｖｏｌ．６，１９９３，Ｐ５５に、病変部の特定パターンを強調した画像と、減弱した画像との差を特徴解析する例が記載されている。
【０００５】
【発明が解決しようとする課題】
しかし、前述した第１の例による２値化された画像から悪性腫瘍を抽出する装置例では、悪性として検出する２値化レベルの設定が難しく、元々、目で見て差が明かな腫瘍にのみ有効である。
【０００６】
また、第２の例においては、画像内での病変部の形状が限定されているが、実際には様々な形状である。従って、検出できるパターンが決まっており、パターンが多少異なるだけでも検出精度が低下してしまう問題がある。
【０００７】
そこで本発明は、入力した画像において２値化や３次元表示だけでは抽出しにくい部分をも適確に分類し、視覚的に分かり易く指示することを可能とした画像分類装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は上記目的を達成するために、分類を行うための情報を入力するための情報入力手段と、前記情報入力手段により入力された情報から特徴情報を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴情報及び前記情報入力手段から入力された情報のうちの少なくとも一つの情報に基づき情報の種別を判定し、この種別毎に分類わけする分類判定手段と、を具備し、前記分類判定手段は、前記分類を行うための情報が正常部か或いは１つ以上の異常部の種類の何れかを示す種別をデジタル的に判定するための論理判定手段と、この論理判定手段からの出力に基づいて、当該論理判定手段より前段の前記特徴抽出手段で用いる分類ベクトルの再選択を行うようにしたフィードバック手段とを有する画像分類装置を提供する。
【００１６】
【作用】
以上のような構成の画像分類装置において、入力された情報から抽出された特徴情報及び特徴情報を抽出し、これらの抽出された情報に基づき、入力された情報の種別を判定し、種別毎に分類わけを行う。この分類は、分類を行うための情報が正常部か或いは１つ以上の異常部の種類の何れかを示す種別をデジタル的に判定するための論理判定を行い、この論理判定の結果出力に基づいて、前段の前記特徴抽出で用いる分類ベクトルの再選択を行う。
【００２４】
【実施例】
以下、図面を参照して本発明の実施例を詳細に説明する。
まず、本発明の画像分類装置において、目で見て差が分かりにくい腫瘍の病変部に対して診断支援を行う画像分類装置を例にして、概要について説明する。
【００２５】
この画像分類装置は、病変部のテクスチャーパターンを統計的な手法を用いた学習により分析し、分類に有効な特徴量を抽出することを特徴とする。
そして、画像入力時の諸条件が違うと同じ病変部でも異なる画像となってしまうので、画像入力時の諸条件や画像入力装置のばらつきを補正する（正規化）ことも、その形態とする。
【００２６】
特に、入力画像が超音波画像の場合に、正規化には、周波数、波形、ＴＧＣ(Time Gain Control) 、ＤＲ（ダイナミックレンジ）、ゲイン、画素位置による判定領域の切り出し方等がある。
【００２７】
また、単なる２値化や３次元表示だけでは病変部の特徴を捕らえにくいので、多くの特徴量を多変量解析して、病変部の判断に有効な特徴量または処理法を選定する例も含まれる。この選定のために本装置は学習モードと、実行モードの２モードを具備する形態がある。
【００２８】
前記学習モードでは、経験の積んだ医師等が正常部と病変部を画像上で指定し、学習データを作成し、この学習データに種々の前処理を施し、統計量を多変量解析することにより、病変部の判断に有効な特徴量を抽出する。
【００２９】
そして、実行モード時には学習モードで決定された特徴量を抽出して、病変部の判断を行なうが、必要な場合には判定結果に応じて、特徴抽出部や分類判定部へフィードバックを行ない判定の精度を高める。学習モードも実行モードも前述した正規化を行なうことを可とする。
【００３０】
そして、判定結果を原画像と合成して表示する例を含む。例えば、超音波画像やＸ線画像では原画像はモノクロであり、病変部と判定された領域に色を付けて表示する。
【００３１】
図１には、本発明の画像分類装置の一例を示す。図１（ａ）は、画像分類装置における分類実行時の構成を示し、図１（ｂ）は、分類を実行するために先立って行う分類学習の構成を示す図である。
【００３２】
図１（ａ）に示す画像分類装置の構成は、超音波画像入力装置、Ｘ線画像入力装置等による画像データやＣＴ画像データを取込む画像入力装置１と、該画像入力装置１から入力された画像データを保存し、所定の操作により読み出し、検索、編集を行なうファイリング装置２と、画像入力時の諸条件や前記画像入力装置によるばらつきを補正し、実行時と学習時の入力条件を一致させる正規化処理をするノーマライズ部３と、分類に有効な特徴量を抽出する特徴抽出部４と、特徴抽出部４より得られた特徴量から後述する分類判定を行なう分類判定部５と、入力画像に分類判定の結果を合成して表示する表示部６とからなり、図１（ｂ）においては、さらに、予め定めた学習データに基づき、前記特徴抽出部４及び分類判定部５をそれぞれ制御する学習制御部７とで構成される。
【００３３】
また、前記特徴抽出部４は、入力画像から診断に有効な特徴量、例えば、第１次統計量等を前段階として抽出する前処理部８と、前処理部８により得られた特徴量を統計的に解析し、特徴量を変換または、減少させる（次元数の減少）多変量解析部９とで構成される。
【００３４】
このように構成された画像分類装置において、画像入力装置１から入力された画像データは、必要に応じて、ファイリング装置２に保存した後に学習や分類判定が行なわれる。そして、ノーマライズ部３により、実行時の分類判定精度が向上する。
【００３５】
前記ファイリング装置２及びノーマライズ部３で所定の処理された画像データから、前処理部８により入力画像から診断に有効な複数の特徴量が抽出され、多変量解析部９により、これらの特徴量から、分類に有効な特徴量を選択し、分類精度を向上させると共に、次元数の減少により分類判定が高速に行なわれる。また前処理部８は、多変量解析部９との併用により、対象物に応じて最適な分類特徴量が選択できる。
【００３６】
このような特徴抽出部４により、画像データの分類を自動的に行なうための特徴量が抽出され、分類判定部５で、その特徴量に基づき判定を行う。このようにして判定された分類判定結果は、表示部６で視覚的に異ならせてわかり易く表示される。
【００３７】
また学習制御部７により、経験による信頼性の高い分類判定データが前記ノーマライズ部３、特徴抽出部４及び分類判定部５にそれぞれ組み込まれ、初心者でもレベルの高い分類判定を行なうことができる。
【００３８】
このように構成された画像分類装置において、図１（ａ）の実行モード、図１（ｂ）の学習モードが選択されない場合には、画像入力装置から入力された画像はそのまま表示部６に表示される。
【００３９】
図１（ａ）を参照して、実行モードについて説明する。
まず、画像入力装置１によりＤＲ，Ｇａｉｎ，倍率等がノーマライズされた画像を入力する。図示しないコントロール部より順次座標情報が与えられ、その領域の切り出し方向等のノーマライズが行われ、特徴抽出部４にて、前処理および多変量解析を行ない、分類判定が行なわれる。必要に応じて、フィードバック演算が行なわれ、結果が原画像と合成され表示部６にて表示される。コントロール部からは指定された範囲内の座標情報が順次与えられ、この一連の処理が行なわれ、この指定範囲が例えばカラー表示される。
【００４０】
次に図２，図３には、本発明による第１実施例としての画像分類装置の画像入力装置に、コンベックス型超音波装置を用いた例を示す。
このコンベックス型超音波装置１０においては、８つのグループに分割され、超音波の送信、受信を順次選択して行う１２８個の振動子１１と、該振動子１１からの送信、受信を切り替え、所定数（該所定数はアパーチャーと称され、本実施例では８つ）ずつ同時にＯＮ，ＯＦＦを行なう素子選択スイッチ１２と、該素子選択スイッチ１２の切り替え端子の一方に接続され、８個の振動子から所定のフォーカスポイントに収束するような波形が作られるようなパルスを送信する送信回路１３と、前記素子選択スイッチ１２の切り替え端子の他端に接続され、受信している８つの信号を所定のデレイライン１５に送るロータリースイッチ１４と、受信波が球面波であるため、各振動子の位置に応じて信号を受信する時間が異なり、この受信信号を時間的に補正するデレイライン１５と、該デレイライン１５からの出力信号を加算する加算器１６と、この実施例では距離が時間に一致するためＴＧＣ（Ｔｉｍｅ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）と称され、距離に応じて減衰した振幅を増幅するアンプ１７とで構成される。
【００４１】
このＴＧＣは、後述するノーマライズ制御部４３によりスイッチングが切り替えられる切り替えスイッチ１３０の働きにより、所定の増幅を行うＴＧＣ固定波形発生回路１３２、または、外部設定信号に基づいて増幅を行うＴＧＣ波形発生回路１３１に接続されている。学習モード、実行モード時には、ＴＧＣ固定波形発生回路１３２にスイッチングされ、所定の増幅値に正規化される。
【００４２】
さらに、前記アンプ１７からの出力信号（振動子１１が受信した信号）を一度高い周波数（ｆ0 ＋ｆH ）にシフトさせる乗算器１８、所定帯域の信号を抽出するＢＰＦ１９、ゼロ周波数へシフトさせる乗算器２０，２１及び、ＬＰＦ２２，２３とからなるダブルコンバージョン回路２４と、前記ＬＰＦ２２，２３からの出力信号を、それぞれＡ／Ｄ変換するＡ／Ｄ変換器２５，２６と、Ａ／Ｄ変換された出力信号（超音波）の波形である図７（ａ）に示す超音波の波形を、図７（ｃ）に示す波形に補正する２つのデジタルフィルタ２７，２８からなる波形補正回路（ノーマライズ部）２９と、デジタルフィルタ２７，２８の出力から出力値を算出する２乗回路３０，３１と加算器３２からなる検波回路３３と、検波出力に対してダイナミックレンジの圧縮を行う対数アンプ３４と、図示しない画像の表示部に合わせた走査線変換を行ない、該表示部への表示倍率も制御可能なスキャンコンバータ３５と、学習、または実行モード時、ＤＲ（ダイナミックレンジ），ゲイン（Gain），倍率を各々所定値Ｖref1、Ｖref2、Ｖref3に設定するノーマライズ部３６と、送信回路１３を制御するとともに、ＤＲ、ゲイン、倍率をユーザの希望値に設定するための制御部３７とで構成される。
【００４３】
この様に構成されたコンベックス型超音波装置においては、前記振動子１１の周波数をｆ0 とすれば、図７（ａ）のような波形の送受信信号が入力される。
そして、これらの信号は、素子選択スイッチ１２及びロータリースイッチ１４の切り替えにより選択され、デレイライン１５で各信号を時間的に補正して揃える。補正された信号は、ダブルコンバージョン回路２４により、図７（ｂ）に示すように、一度高い周波数（ｆ0 ＋ｆH ）にシフトさせ、信号帯域だけを効率良く抽出し、次に低周波にシフトされる。この処理により回路の負担が軽減する。
【００４４】
さらに、波形補正回路（ノーマライズ部）２９により、学習した振動子と特性が異なる場合、フィルタにより補正が行なわれる。また、学習した振動子が経年変化した場合にも補正される。また距離（時間）に対する周波数減衰の補正も行なうことができる。
【００４５】
この波形補正回路２９からの２つの出力信号は、検波回路３３により所定の検波が行われる。次に、この検波信号は、ノーマライズ部３６により、学習モード時と、実行モード時にだけノーマライズが行なわれ、学習モード時と実行モード時のＤＲ、ゲイン、倍率が所定の値に正規化される。さらにスキャンコンバータ３５は、図示しない表示部に合わせた走査線変換を行ない、表示部への表示倍率も制御する。
【００４６】
図４には、前述したコンベックス型超音波装置を組み入れた第１実施例の画像分類装置の構成を示す。図４に示す画像分類装置は、分類判定実行時（実行モード）の構成を示し、構成する部材は、図１に示した部材と同等の部材には同じ参照符号を付し、その説明は省略する。本実施例では、画像分類装置が人体に生じる腫瘍等の病理的な形態を画像として分類する例とする。
【００４７】
この画像分類装置において、大きくは、コンベックス型の超音波装置１０と、画像中から分類判定を行なう範囲、及び、分類判定に用いる抽出領域の大きさを指定し、座標情報を順次出力する範囲指定部４１と、超音波装置１０内のノーマライズ部２９，３６、切り替えスイッチ１３０とノーマライズ部４２とを制御し、通常の診断と判定分類処理（学習モード、実行モード）の切替を行うノーマライズ制御部４３と、超音波装置１０からの画像信号をフレーム単位で一時的に記憶するフレームモリ４４と、ファイリング装置２と、特徴抽出部４と、分類判定部５と、表示部６とで構成される。
【００４８】
なお、例えば、ノーマライズ部３６における所定値Ｖref1、Ｖref2、Ｖref3、及び、ＴＧＣ固定波形発生回路１３２の増幅値は、図示しない条件設定手段により、所望の値に設定される。
前記ノーマライズ部４２は、指定された座標値Ｐから、その位置の傾き角θと、距離ｄを式（１）で算出する。
【００４９】
【数１】
0003974946.tif 000002
【００５０】
その結果により、コンベックス型画像の周辺部の４点の座標より簡易的にθ，ｄが求められるθ，ｄ算出器４５ａと、該θ，ｄ算出器４５ａからのθ，ｄに応じて抽出領域を変形させる。矩形で回転させたり（図９（ａ））、台形で切り出し（図９（ｂ））を行なうことにより、画像位置に応じて、撮像特性（周波数特性）が異なるコンベックス型の超音波画像の特性の相違を補正する領域抽出部４５ｂとからなる。
【００５１】
また、前記範囲指定部４１は、利用者が画像中に分類判定したいエリアを容易に指示できるもので、分類判定を行なう範囲、分類判定に用いる抽出領域の大きさを指定し、座標情報を指定する。
【００５２】
次に前記特徴抽出部４は、前処理部４６と多変量解析部４７とからなる。この前処理部４６では、ハミング，ハニング等のウィンドウ関数を乗じて、後述する画像の分類に有効な情報を多く持つパワースペクトルＰ（ｕ）の検出にあたり、画像周辺部のエッジの影響を除去するウィンドウ回路４８と、図１０に示すように、フーリエ変換を利用したパワースペクトルＰ（ｕ）を検出するパワースペクトル検出器４９とからなる。ここで、ＦＦＴは、高速フーリエ変換を意味し、出力される実数項と虚数項が、２乗され加算される。パワー正規化部では、ゼロ周波数が一定値になるように処理され、画像輝度の違いをノーマライズする。また、パワー処理部は同図（ｂ）〜（ｅ）のように値を変換する。
【００５３】
前記多変量解析部４７は、前記パワースペクトル検出器４９により検出されたパワースペクトルＰ（ｕ）を記憶しておくことにより、フィードバック制御で何度も利用する分類データメモリ５０と、次元変換部５１からなる。この次元変換部５１は、学習時に算出された分類ベクトルを記憶し、且つθ，ｄ算出器４５ａで計算されたｄの値、分類番号により分類ベクトルの値が選択される分類ベクトルメモリ５２と、分類データメモリ５０から読出されたパワースペクトルＰ（ｕ）と、選択された分類ベクトルＣ１（ｕ），Ｃ２（ｕ）との内積演算を行ない、結果ｔ１，ｔ２を出力することにより、分類に有効な特徴空間へ変換し、分類性能を落さずに次元数を削減して、分類判定部への入力を少なくする投影演算器５３とで構成される。この投影演算器５３は図１１に示すように、並列する乗算器と累積加算器からなり、それぞれの乗算器に選択された分類ベクトルＣ１（ｕ），Ｃ２（ｕ）が入力され、内積演算を行ない、結果ｔ１，ｔ２が出力するように構成される。この次元変換部により、分類判定部５の入力部を少なくでき、分類判定部５を小規模、即ち高速処理化できる。
【００５４】
次に前記分類判定部５は、入力される信号を論理的判定に適する形に変換するための曖昧判定部５４とＡＩ等の論理的な判断回路である論理判定部５５と、該論理判定部５５の出力に基づき分類番号を重みメモリ５７及び分類ベクトルメモリ５２に指示するコントロール部５８とで構成される。
【００５５】
また、ニューラルネットワークを用いることにより、分類の境界が複雑な場合でも、その分類境界を容易に構築できる利点を有する。
この曖昧判定部５４においては、前記投影演算器５３からのｔ１，ｔ２から判定値Ｊ１，Ｊ２，Ｊ３を出力することにより、正常部か、異常部か判定の微妙なものも、学習データをもとに正しい評価値（Ｊ１，Ｊ２，Ｊ３）を出力でき、人が行なうようなアナログ的（直感的）評価ができる３階層のニューラルネットワーク５６と、このニューラルネットワーク５６の重み係数を記憶する重みメモリ５７とで構成される。
【００５６】
前記重みメモリ５７は、コントロール部５８が指示した分類番号と距離ｄの値により重み係数を選択し、ニューラルネットワーク５６の重み係数として設定することにより、分類目的に適した重みメモリ値を選択できると共に、距離により異なる撮像特性を補正でき、分類精度を向上できる。但し、前記ニューラルネットワーク５６の出力においては、Ｊ１は正常部、Ｊ２は異常部（悪性）、Ｊ３は異常（良性）の度合を示し、各々０〜１．０の値を出力とする。また、論理判定部５５は、Ｊ１，Ｊ２，Ｊ３の値に応じて、後述する［判断表１］のように処理を選択する。ケース４の場合は異常であるが悪性か良性かがわからない場合で、悪性か良性かだけを分類するように学習された分類べクトル、重みを選択し、再実行する。
【００５７】
このように論理判定部５５の判定が曖昧な時は、分類判定部５または、その前段部へフィードバック処理し、判定を行なうことにより分類判定の精度を向上させる。ニューラルネットワーク５６がアナログ的（直感的）評価をするのに対して、論理判定部５５はデジタル的（論理的）評価を行なうことができ、より複雑な分類判定をも行うことができる。なお、フィードバックの回数が所定回数以上になる場合には、判定値５（分類不明を意味する）を出力する。
【００５８】
この論理判定部５５が出力する判定値は、表示部６に送出される。この表示部６は、表示画像生成部５９とＣＲＴやフラットパネル等のデイスプレイからなるモニタ６０とで構成され、例えば、入力画像に判定値に応じて色を変えて表示する。例えば、判定値１（正常）では緑色、判定値２（悪性）では赤色、判定値３（良性）では青色、判定値５（不明）では黄色に領域を着色することにより、分類判定結果が視覚的にわかり易く表示でき、有用な診断支援ができる。
【００５９】
なお、分類ベクトルの値と重みメモリの値は、ノーマライズ部４２から出力される制御情報（ここでは距離ｄ）及び、または、分類番号により選択されることにより、分類精度を向上させることができる。
【００６０】
次に図１（ｂ）を参照して学習モードについて説明する。
まず、画像入力装置１により、ＴＧＣ、波形、ＤＲ，Ｇａｉｎ，倍率がノーマライズされた画像を入力し、適当にフリーズしてファイリング装置２に保存する。そして、学習制御部７の制御により、ファイリングする画像の中から指定された画像を読み出し、表示部６に表示し、オペレータ（経験者）が表示内の所望の領域を指定し、教師情報を与える。
このように指定された領域は、切り出し方向等のノーマライズが行なわれ、特徴抽出部にて前処理および多変量解析を行ない、学習データが作成され、分類判定部で学習が行なわれる。
【００６１】
そして、図５には、図４に示した画像分類装置における分類判定学習時（学習モード）の構成を示す。ここで構成する部材で図４に示した部材と同等の部材には同じ参照符号を付し、その説明は省略する。
【００６２】
この分類判定学習時の画像分類装置には、ノーマライズ制御器４３及び表示画像生成部５９に座標情報Ｐを出力し、多変量解析部４７及び曖昧判定部５４にそれぞれ所定の分類番号を学習させるための学習制御部６１が設けられる。
【００６３】
この学習制御部６１は、医師等の経験者により症例等のデータを入力するための教師データ入力部６２と、投影演算器５３からの結果ｔ１，ｔ２を記録する学習データメモリ６３と、学習データメモリ６３からのデータと前記教師データから重みメモリの値を生成する学習器６４と、分類データメモリ５０からの分類データから分類ベクトルを演算する分類ベクトル演算部６５と、学習全体を制御する学習制御器６６とで構成される。この演算された分類ベクトルにより、特徴抽出部４の処理条件が設定されることになる。
【００６４】
前記教師データ入力部６２は、医師等の経験者とのユーザインターフェイスであり、経験者がモニタ６０に表示される画面を見ながら、図示しないマウス、キーボード等により、モニタ６０内に表示されるウィンドウを移動させて、正常部、異常部（悪性）、異常部（良性）の位置等の教師データを入力する。また、指示した位置の画像領域の色を変えて表示することにより、教師データとして入力された領域を視覚的に認知し易くできる。また、この指示した位置の座標情報によりθ，ｄが算出される。この様にして、経験者の有益な情報を容易に入力できることから、常に新たな症例等のデータを後から簡単に入力でき、学習し直すことができる。また、教師データとしては、正常部、異常部（悪性）、異常部（良性）の情報だけでなく、異常部の名称等を入力してもよい。
【００６５】
前記学習制御器６６は、教師データ入力部６２の指示に従い学習全体を制御することにより、距離ｄ、分類番号に応じ、分類ベクトルメモリ５２、重みメモリ５７の値を算出するような制御情報を出力する。このｄは、例えば距離の範囲により図８に示すように、ｄ１，ｄ２，ｄ３，ｄ４の４段階等の複数に場合分けする。分類番号は後述するように分類番号１番と２番の２段階等の複数に設定する。この結果、分類判定の精度向上を図ることができる。
【００６６】
また、前記学習器６４は、ニューラルネットワーク５６を学習させるための学習器であり、前記学習データメモリ６３は、ニューラルネットワーク５６に入力される学習データを記憶するためのメモリである。
【００６７】
前記分類データメモリ５０は、パワースペクトル検出器４９で算出されたパワースペクトルＰ（ｕ）を記憶する。教師データ毎（正常か異常（悪性）か異常（良性）か）、画像の距離ｄ毎（ｄ１，ｄ２，ｄ３，ｄ４）に記憶される。
【００６８】
前記分類ベクトル演算部６５は、分類データメモリ５０に記憶されたパワースペクトルＰ（ｕ）から、分類ベクトルを演算する。この演算の詳細は、本出願人が提案した特願平５−２６４７８１号に記載するように、ＦＳ変換等を利用した統計的手法により、２クラスを分類するためのべクトルを算出する。正常と異常（悪性）、異常（良性）を混合した２クラスを分類するための分類べクトル１（分類番号１番）と、フィードバック時に用いる異常（悪性）と異常（良性）の２クラスを分類するための分類ベクトル２を算出する（分類番号２番）。この分類ベクトル１，２は、距離ｄ１，ｄ２，ｄ３，ｄ４の各距離に対しても算出され、分類ベクトルメモリ５２の所定のアドレスに書き込まれる。また、同様に、重みメモリ５７の値も各分類番号、各距離に応じて算出され、所定のアドレスに書き込まれる。
【００６９】
この様に、構成された画像分類装置の動作について説明する。
この画像分類装置において、学習モード、実行モードが選択されない場合は、入力装置となる超音波装置の切り替えスイッチ１３０及びノーマライズ部３６のスイッチＡ側（図３）が選択されユーザの指定した、ＴＧＣ増幅値、ＤＲ，Ｇａｉｎ，倍率が選択されて、入力が行なわれ、表示される。学習モード、実行モードが選択された場合にはスイッチＢが選択され、ＴＧＣ増幅値、ＤＲ，Ｇａｉｎ，倍率は所定の値に正規化され入力が行なわれ、特徴抽出および分類判定が行なわれる。
【００７０】
この実施例では正常部と異常部（悪性）、異常部（良性）の３種類を分類する。つまり、学習モードではこの３種類の領域を指定する。
また、分類番号として、１番と２番があり、分類の目的により切り変える。正常部と異常部（悪性と良性双方）を分類する目的が分類番号１で、異常部（悪性）と異常部（良性）を分類するのが分類番号２である。学習は分類番号毎に行なう。また、実行では分類番号１番を実行し、判定が微妙な場合に分類番号２を選択したフィードバック制御を行なう。
【００７１】
図５を参照して、学習モードについて説明する。
ＴＧＣ増幅値、波形、ＤＲ，Ｇａｉｎ，倍率がノーマライズされた画像は、適当にフリーズしてファイリング装置２に保存される。学習制御部６１の制御により指定された画像がファイリング装置２から読みだされ、フレームメモリ４４に記憶され、表示部６のモニタ６０に表示される。
【００７２】
そして、医者等の経験者が図示しないマウス等で病変部等の領域を指定し、病気の種類等の教師情報を与える。指定された領域は、切り出し方向等のノーマライズが行なわれ、特徴抽出部４にてパワースペクトルＰ（ｕ）がまず求められ、分類データメモリ５０に記憶される。学習制御部６１では分類番号に応じて分類データメモリ５０からデータを選択利用して、分類べクトル、ニューラルネットワーク５６の重みを計算する。この計算は分類番号毎だけでなく、距離ｄ毎にも行なわれる。
【００７３】
なお、ファイリング装置２へ一時的に記録せずに、超音波装置１０からの画像にて直接領域を指定し、教師情報を与えるようにしてもよい。
また、倍率の補正は領域の切り出し（領域抽出部４５ｂ）を行なう時に兼ねておこなってもよい。また、この学習制御部は、着脱自在としてもよいし、オフライン処理として、別の計算機にて、重みメモリ、分類ベクトルメモリの値を計算するようにしてもよい。さらに本実施例では、分類ベクトルを求める統計的手法としてＦＳ変換を利用したが、多クラスを分類するための手法として知られるＨＴＣ(Hotelling Trace Criterion) を利用してもよい。
【００７４】
次に図４を参照して、実行モードについて説明する。
画像入力装置となる超音波装置１０により、ＴＧＣ増幅値、波形、ＤＲ，Ｇａｉｎ，倍率がノーマライズされた画像を入力する。範囲指定部４１より順次座標情報が与えられ、その領域の切り出し方向等のノーマライズが行なわれ、特徴抽出部４にて前処理（パワースペクトル算出）および多変量解析が行なわれ、値ｔ１，ｔ２が分類判定部５へ入力される。この分類判定部５では、ニューラルネットワーク５６からＪ１，Ｊ２，Ｊ３が出力され、この値に応じた判定が論理判定部５５で行なわれ、必要に応じてフィードバック演算が行なわれ、結果が原画像と合成され表示部６にて表示される。以上ような処理が範囲指定部４１での対応領域全てに渡り行なわれる。
【００７５】
また、入力は画像入力装置（超音波装置１０）から直接入力してもよいし、若しくはフリーズした画像でも順次送られてくる動画像でもよい。さらには、ファイリング装置２に記録された画像を読み出してもよい。
【００７６】
なお、本実施例においては、ニューラルネットワークに３層の階層型を用いたが、これに限定されるものではなく、勿論、２層や多層を用いてもよいし、フィードバック型（全結合型）を用いてもよい。また本実施例では、フーリエ変換を用いて、そのパワーを利用したが、他の直交変換、例えばコサイン変換やウェーブレット変換を用いてもよい。
【００７７】
0003974946.tif 000003
【００７８】
0003974946.tif 000004
【００７９】
次に図６には、本発明による第２実施例として、前述した第１実施例の分類判定部にニューラルネットワークを用いない画像分類装置の構成例について説明する。ここで、第２実施例では、特徴部分のみを説明し、以外は図４，５に示す第１実施例と同等である。
【００８０】
図６（ａ）に示すように、分類判定部５ａは論理判定部５５と、判定テーブル７１により構成される。この判定テーブル７１は、投影演算器５３から得られる特徴量ｔ１，ｔ２の値から判定値をダイレクトに結び付けたもので、図４に示した重みメモリ５７と同様に、距離ｄや分類番号に応じて、予め決められている。例えば、分類番号１が選択された時は図１２（ａ）に示すように、
領域Ａの場合は判定値１を、
領域Ｂの場合は判定値２を、
領域Ｃの場合は判定値３を、
領域Ｄの場合は判定値４を
それ以外の場合は判定値５として出力する。
【００８１】
また、分類番号２が選択された時は、図１２（ｂ）に示すように、
領域Ａの場合は判定値２を、
領域Ｂの場合は判定値３を、
それ以外の場合は判定値５として出力する。
【００８２】
なお、このテーブルの境界値は、「画像解析ハンドブック」（東京大学出版会）のＰ．６５６に記述されているようなクラス間距離を用いてもよいし、予め別のニューラルネットワークにより学習し、決めておいてもよい。
【００８３】
このような構成の分類判定部５ａを画像分類装置に用いることによって、演算処理がテーブル演算のため、ニューラルネットワークを使う場合に比べ、演算速度が高速化され、計算時間が短縮される。
【００８４】
次に図６（ｂ）には本発明の第３実施例として、前述した第１実施例の表示部６を変形した構成例を示し説明する。ここで、第３実施例では、特徴部分のみを説明し、以外は図４，５に示す第１実施例と同等である。
【００８５】
前述した第１実施例では、表示画像生成部５９において、論理判定部５５からの判定値に応じて色を付けるようにした。
しかし、例えば異常部（悪性）と判断された場合においても、かなり進行して悪化が激しい場合や、まだ正常部に近い場合等その状態は様々であり、これらの情報は反映されていない。そこで第３実施例では、ニューラルネットワーク５６からの出力、そのものを着色に利用する。図６（ｂ）のようにＪ１，Ｊ２，Ｊ３の値に画像情報を加算し、各々をＧＲＢ値として入力し、ＮＴＳＣ信号を生成する。ここで定数Ｃは画像情報をどの程度の重みで加算するかのパラメータであり、この値が大きい程色が薄くまた、小さい程色が濃くなる。
【００８６】
この第３実施例によれば、Ｊ１，Ｊ２，Ｊ３の値の大小がはっきりしている（分類結果が明瞭な時）領域には、色の彩度が高く視覚的にも印象深く表示される。また、Ｊ１，Ｊ２，Ｊ３の値の大小がはっきりしていない場合でも、その情報を色の微妙な違いとして表示し、診断支援に有効に働く。例えば、正常から、徐々に悪性異常部に変化しつつある領域は、緑と赤の中間的な色として表示される。また、第２実施例の出力をこの第３実施例の入力として、用いてもよいのは当然である。また、ｔ１，ｔ２の出力に応じて色をつけるようにしてもよい。つまり、図６（ｃ）に示すように、悪性異常部を“赤”、良性異常部を“青”、その他を“緑”で現す。さらに各異常部とも、その中心ほど色を濃くし、境界線に近付くほど色を薄くすると、より視覚的にわかりやすくなる。
【００８７】
次に図１６には、本発明による第４実施例としての画像分類装置の構成を示し説明する。ここで、第４実施例の構成部材で図４，５に示した第１実施例の構成部材と同等の部材には同じ参照符号を付して、その説明を省略する。
【００８８】
この第４実施例は、前述した第１実施例とは分類方法が異なり、図１３に示すような正常部と４つの異常部（病変部α，β，γ，δ，ε）に分類する。ｔ１，ｔ２の値で各領域は分離されるが、境界に近い場合にフィードバックにより再分類を行ない、精度の向上を図る。
【００８９】
第４実施例の特徴抽出部４の前処理部４６ａが第１実施例の前処理部４６と構成が異なっている。
この前処理部４６ａは、ヒストグラム検出器８１と、該ヒストグラム検出器８１の出力側にそれぞれ接続するヒストグラムの歪度を検出する歪度検出器８２及びヒストグラムの尖度を検出する尖度検出器８３と、同時生起行列検出部８４と、該同時生起行列検出部８４の出力側に接続する特徴量計算器８５と、フラクタル次元検出部８６とで構成される。
【００９０】
この第４実施例では、第１実施例で用いたパワースペクトルの代りに、ヒストグラム、同時生起行列、フラクタル次元の情報を利用する。そして、これらから抽出した特徴量を１つの多次元データとみなし、分類ベクトルを求める。
また、ニューラルネットワーク５６ａの出力層は、分類したい対象別に５ユニット設けられている。
【００９１】
ここで、ヒストグラムの歪度，尖度、同時生起行列、フラクタル次元のそれぞれの特徴量の算出について概略を説明する。
まず、ヒストグラムとは、画像濃度のレベルに応じた累積数であり、例えば、図２６に示すような８ｂｉｔのモノクロ画像の場合には、濃度レベルは、０〜２５５の２５６階調であり、各階調の画素が画像中に何画素あるかを示している。
【００９２】
またヒストグラムの歪度（歪度Ｓ：ｓｋｅｗｎｅｓｓ）とは、ヒストグラムの形状が対称な形からどれだけ歪んでいるかの程度を表すものである。このヒストグラムの歪度からパターンの一様性を知ることができる。
【００９３】
ヒストグラムの尖度（尖度Ｋ：ｋｕｒｔｏｓｉｓ）とは、ヒストグラムの分布が平均値（μ）のまわりに集中しているか、端の方へ広がっているかを表すものである。このヒストグラムの尖度は、画像が細かなパターンであるか、粗いパターンであるかがわかる。
【００９４】
【数２】
0003974946.tif 000005
【００９５】
次に同時生起（ｃｏ−ｏｃｃｕｒｒｅｎｃｅ）行列とは、画像の濃度ｉの点から一定の変位δ＝（ｒ，θ）だけ、離れた点の濃度がｊである確率Ｐδ（ｉ，ｊ）（ｉ，ｊ＝０，１，２，…，ｎ−１）を要素とする行列である。但しｎは階調数である。この行列から１４種類の特徴量を計算し、これらの値によってテクスチャを特徴づける。この同時生起行列により、フーリエ変換等に比較し、画像の細かな特徴を抽出できる。超音波画像に生じるスペックルパターン等を数値として表現できる。
【００９６】
そして、フラクタル次元とは、非整数値をとる次元のことであり、図形の複雑さを表現する指標に利用される。このフラクタル次元により、自然界に存在するような自己相似形状の特徴を表す数値として簡単に表現できる。詳しくは、「画像解析ハンドブック」東京大学出版会のＰ５１８にヒストグラムの歪度，尖度、Ｐ５１８〜Ｐ５２１に同時生起行列、Ｐ５２８〜Ｐ５３８にフラクタル次元について記載されている。
【００９７】
この第４実施例による各分類番号としては、以下の分類ベクトルが対応する。
分類番号１：正常部４つの異常部（病変部α、β、γ、δ）を分類する。
分類番号２：正常部と病変部αを分類する。
分類番号３：病変部αと病変部βを分類する。
分類番号４：病変部βと病変部γを分類する。
分類番号５：病変部αと病変部γを分類する。
分類番号６：病変部γと病変部δを分類する。
判定部の処理においては、
0003974946.tif 000006
【００９８】
また、判定値に応じて色を付ける。例えば、
判定値１      緑
判定値２      赤
判定値３      青
判定値４      紫
判定値５      橙
判定値１１    黄
とする。
【００９９】
本実施例は、学習の手法については、第１実施例と同様に行うものとする。各特徴量（ヒストグラムの歪度，尖度、同時生起行列、フラクタル次元）の算出は、前述と同様である。
【０１００】
このような第４実施例により、計算上全く無関係な特徴量（ヒストグラム、同時生起行列、フラクタル次元の情報等）を１つの多次元データとみなして解析することにより、相乗効果が得られる。また、多くの領域を分類し、かつ色により分かり易く表示でき、容易に前処理部で用いる特徴量を増やすことができる。
【０１０１】
また、曖昧判定部にニューラルネットワークを用いていることから、正常と４つの異常部（α、β、γ、δ）の分類境界を容易に検出できる。
次に図２７には、前述した第４実施例の変形例としての画像分類装置の構成を示し説明する。本実施例は前述した第４実施例とは、前処理部の構成が異なり、さらに、前処理演算制御部１４１と選択部１４２を有する。前処理演算制御部１４１は、ヒストグラム検出器８１、同時生起行列検出器８４、フラクタル次元検出器８６の演算パラメータ等を制御する。この演算パラメータとは、例えば、ヒストグラム検出器８１に対してはヒストグラムの階調数、同時生起行列検出器８４に対しては同時生起行列を算出する２点間の位置関係量、フラクタル次元検出器８６に対してはフラクタル次元の演算手法等のパラメータである。
【０１０２】
また、前処理演算制御部１４１は、さらに選択部１４２も制御し、抽出された特徴量の中から分類データメモリ等へ出力する特徴量の選択を行なう。
この前処理演算制御部１４１の働きにより分類対象に応じて特徴量の演算方法、及び、分類に用いる特徴量の選択を行なうことができ、分類精度をさらに向上させることができる。また、この前処理演算制御部１４１は、コントロール部５８からの信号（分類番号）により制御される。つまり、フィードバック制御時に、分類ベクトルメモリ５２や重みメモリ５７の選択だけではなく、特徴量の演算方法、及び、分類に用いる特徴量の選択も変えることにより、さらに分類性能を向上させることができる。
【０１０３】
なお、本実施例において、選択部１４２からの出力はすべて多変量解析部へ入力したが、曖昧判定部５４、論理判定部５５へ直接入力してもよい。
次に図１７には、本発明による第５実施例としての画像分類装置の構成を示し説明する。本実施例は、前述した第４実施例とは、前処理を施したデータの全てを多変量解析せずに、分類判定部へ直接入力するデータがあることが異なっている。
【０１０４】
つまり、歪度検出器８２と尖度検出器８３からの歪度Ｓ，尖度Ｋ、及びフラクタル次元検出器８６からのフラクタル次元Ｆは、分類データメモリ５０ａに入力しても、投影演算器５３ａを介さずに、直接ニューラルネットワーク５６ｂの入力層に入力され、また、特徴量計算器８５の出力ｃ１〜ｃ１４が投影演算器５３ａで多変量解析されて、結果ｔ１，ｔ２としてニューラルネットワーク５６ｂの入力層に入力される。そのため、ニューラルネットワーク５６ｂの入力層は、入力されるデータ数に対応できるように多数入力ユニットであり、本実施例では、５ユニットとしている。この多変量解析部以外は、第４実施例の構成部材と同等であり、同じ参照符号を付してその説明を省略する。
【０１０５】
この第５実施例の画像分類装置は、投影演算器で用いる次元を減らすことができ計算を高速化できる。さらに、それが分類に有効が特徴量であると分かっている場合には、直接分類判定部へ入力する方が精度が高い。この実施例では、同時生起行列から得られた特徴量に対して、多変量解析を行ったが、他の特徴量でもよいことは、当然である。
【０１０６】
次に図１８，図１９には、本発明による第６実施例としての画像分類装置の構成を示し説明する。ここで、第６実施例の構成部材で図４に示す第１実施例の構成部材と同等の部材には同じ参照符号を付してその説明を省略する。この実施例では、第１実施例に示したパワースペクトルを検出する細パターン検出部４６ａと、より粗いパターンの特徴を検出する粗パターン検出部９７から構成される。前記粗いパターン検出部９７は、フレームメモリ４４から読出された画像データが入力し、画像の輪郭線を抽出する輪郭線抽出部９１と、指示している領域（座標情報Ｐ）が輪郭線で囲まれている領域内か否かを判定する包含関係算出器９２と、抽出された輪郭線の輪郭線長を抽出する輪郭線長抽出部９３と、抽出された輪郭線内の面積を抽出する面積抽出部９４と、輪郭線及び輪郭線内の面積から円形度を算出する円形度算出部９５と、輪郭線と面積の比から所定の特徴量の算出を行なう輪郭線／面積比算出器９６とで構成される。
【０１０７】
また、曖昧判定部５４のニューラルネットワークの入力層は、第５実施例の入力ユニットと同様に複数の入力データ数に対応できるように多数のユニットで構成されている。本実施例の画像分類装置のニューラルネットワークの出力層以降は、第１実施例と同様である。
【０１０８】
前記輪郭線抽出部９１の具体的な構成を図２０に示す。
この輪郭線抽出部９１は、画像中のノイズを除去し、不要な輪郭線の抽出を防止する平滑化器１０１と、ラプラシアンフィルタ等のエッジ検出フィルタからなる先鋭化器１０２と、２値化処理により輪郭線を抽出する２値化器１０３と、メジィアンフィルタやイロージョン、ダイレーション等により孤立点の除去を行ない、不要な輪郭線を消去する孤立点除去器１０４とで構成される。また、これらの演算の前に線細化処理を行なってもよいし、孤立点除去処理の後に、輪郭追跡処理を行ってもよい。
【０１０９】
前記包含関係算出器９２で指示領域が輪郭線で囲まれている場合には異常部である可能性が高い。また前記包含関係算出器９２により、テクスチャー情報だけでなく、構造的な情報からも判定を行なえ精度が向上する。
【０１１０】
前記輪郭線／面積比算出器９６においては、指示された領域が属する腫瘍が悪性の場合には、図１４（ａ）に示すように、周囲での凹凸が激しい。逆に良性腫瘍の場合は図１４（ｂ）に示すように周囲は滑らかである。そのため、同じ面積の場合その輪郭線の長さは悪性腫瘍の方が良性腫瘍よりも長い。これを利用した特徴量の算出を行なう。なお、以上は、一画面での処理であったが、複数画面の入力が行われ、３次元的な画像データが入力できた場合には、体積と表面積を比較することでも同様な判定が行なえる。
【０１１１】
この輪郭線／面積比算出器９６により、悪性，良性の判定をその輪郭線の形状からも行なうことができ、判定の精度が向上する。
また前記円形度算出部９５は、輪郭線抽出では腫瘍以外に体内の臓器の一部や血管が間違えて検出されることがある。これを除去するために腫瘍が大まかに円形に近いことを利用する。つまり、図１５に示すように、検出した輪郭線で囲まれる面積と同一の面積を有する円を、その重心位置が一致するように重ね、その重複領域の面積（図斜線部）を検出する。この重複領域の面積の円の面積に対する割合が大きければ大きい程円形をしており、腫瘍である可能性が高い。
【０１１２】
このように前記円形度算出部９５によれば、腫瘍検出の精度を高めることができる。
また本実施例では、ニューラルネットワーク５６ｃに入力させる、画像以外からの情報、例えば年令、性別、体温、他検査結果（血液検査、ＣＴ検査、レントゲン検査、内視鏡検査等）のような医師が実際の診断に用いている情報を分類判定部に入力させる。なお、これ以外に、前回の検診結果や痛み等の病気の程度、脈拍等を利用してもよい。
【０１１３】
このような医師が実際の診断に用いている画像以外の情報を用いることにより、より高精度な判定をおこなうことができる。
この画像分類装置の特徴抽出部４では輪郭線の情報も検出し、得られた特徴量を分類判定部へ入力する。また、画像以外から得られた情報（年齢、性別、体温、他検査結果等）も分類判定部５のニューラルネットワーク５６ｃに入力される。このような構成により、細パターン検出部で得られるテクスチャー情報だけでなく、粗パターン検出部で得られる構造的な情報や、患者の情報からの総合的な判定を行なうことができ、診断精度の向上が図れる。
【０１１４】
次に図２１には、第７実施例として、分類判定部内の曖昧判定部にファジイ推論を用いる。即ち、前述した各実施例では、曖昧判定部にニューラルネットワークを用いて、判定に利用していたが、本実施例では、ニューラルネットワーク５６の代わりに、ファジイ推論回路１０５を、また重みメモリ５７の代わりにメンバーシップ関数メモリを用いる。これ以外の構成は第１実施例と同等である。
【０１１５】
本実施例の画像分類装置は、ニューラルネットワークに比べ、回路規模が小さく計算の高速化が図れる利点がある。
次に図２３には、本発明による第８実施例としての画像分類装置の構成を示し説明する。ここで、第８実施例の構成部材で図４に示す第１実施例の構成部材と同等の部材には同じ参照符号を付してその説明を省略する。
【０１１６】
この画像分類装置は、画像の入力装置となるＣＴスキャナ１１１と、ＣＴスキャナで取り入れられた画像信号を画像（画像データ）として再構成する再構成演算部１１２と、さらにフレームメモリ４４を介して、範囲指定部４１からの座標情報により所定領域を抽出する領域抽出部１１３と、前記ＣＴスキャナ１１１に投影方向数を与え、再構成演算部１１２に再構成法を指示するノーマライズ制御器１１４と、表示画像生成部５９の画像内で位置を指定するためのマウス等のカーソル位置指定部１１５とを含み構成される。また、投影演算器５３からの結果ｔ１，ｔ２が、表示画像生成部５９に出力されるように接続される。これ以外の構成は、第１実施例の構成と同等である。
【０１１７】
本実施例におけるノーマライズ手段としては、ＣＴスキャナの投影方向数、再構成演算部での再構成法、パワースペクトル（第１実施例と同様）がある。
このように構成された画像分類装置の動作について、図２２を参照して説明する。
【０１１８】
図２２は、モニタ６０に表示される映像例（画面）を示す。画面の右下には、２次元平面へのプロット図が表示され、カーソル位置指定部１１５で画面内の位置が制御されるカーソル“×”が表示される。そのカーソルの位置の投影演算値ｔ１，ｔ２が右下のグラフ上に点滅する点としてプロットされる。このグラフには、学習したデータ（正常部、異常部（悪性）、異常部（良性））もプロットされており、この図からもどの領域に近いかを視覚的に判断できる。
【０１１９】
また、左側に表示されるのは、判定結果をカラー表示した例である。範囲指定部で指定された範囲について、分類判定が行われ、結果に応じて色が付けられている。なお、グラフ表示は、ｔ１，ｔ２の代わりに、Ｊ１，Ｊ２，Ｊ３の値に応じて行なうようにしてもよい。
【０１２０】
次に図２４（ａ）には、本発明による第９実施例としての画像分類装置の構成を示し、同図（ｂ）には、該画像分類装置内の特徴画像生成部の構成を示し説明する。ここで、第９実施例の構成部材で図４に示す第１実施例の構成部材と同等の部材には同じ参照符号を付してその説明を省略する。
【０１２１】
前記特徴画像生成部は、次元変換部の投影演算器にて抽出される特徴量に関与する画像を生成するものであり、特に特徴画像と呼ぶ。
この特徴画像は図２４（ｂ）に示すように、フーリエ変換された信号の実数項、虚数項に分類べクトルを乗じ、逆フーリエ変換することにより求められる。
【０１２２】
さらに、前記特徴画像は、表示画像生成部５９で表示される。この場合、特徴画像だけをモニタ６０に表示させるようにしてもよいし、判定値により色付けされた原画像に更に、異なる色で表示するようにしてもよい。
【０１２３】
この様に構成された画像分類装置によれば、画像の分類に寄与する特徴（濃淡パターン）を視覚的にわかりやすく表示でき、診断の支援に役立つ。
またパワースペクトル検出器４９は、フーリエ変換器（ＦＦＴ）１２１と、変換された虚数項と実数項を２乗処理する２乗回路１２２，１２３と、２乗処理された虚数項と実数項を加算する加算器１２４と、パワー正規化部１２５で構成され、図１０に示すように、すべての成分を用いてＰ（ｕ）を生成する。
【０１２４】
次に図２５には、本発明による第１０実施例としての画像分類装置の構成を示し説明する。ここで、第１０実施例の構成部材で図４に示す第１実施例の構成部材と同等の部材には同じ参照符号を付してその説明を省略する。
【０１２５】
この画像分類装置は、第１実施例で示した画像分類装置に画像情報以外の一般情報を入力するための一般情報入力部１３１を設ける。
この一般情報入力部１３１において、一般情報とは、各種の検査情報であり、例えば、血液検査による血糖値、γ−ＧＴＰ値、尿検査による尿糖値、尿蛋白値、Ｘ線検査結果等である。そして、これらの情報は、特徴抽出部４の多変量解析部４７や分類判定部５の曖昧判定部５４か論理判定部５５に入力される。また、情報の信頼度が高いものは、論理判定部５５へ、信頼度が低いものは多変量解析部４７へ、中間的なものは曖昧判定部５４へ入力することにより、より効率的で精度の高い判定を行うことができる。また、画像以外の情報も用いることから、画像にノイズ等がある場合においても、正確な判定を行うことができる。
【０１２６】
次に図２８には、本発明による第１１実施例としての画像分類装置の構成を示し説明する。この実施例は特徴抽出部、及び、曖昧判定部を複数有することを特徴とする。情報入力部としては、超音波装置等の画像入力装置１ａ〜１ｄ、第１０実施例と同様の一般情報入力部１５０ａ〜１５０ｄから成り、各々が特徴抽出部１５５，１５６，１５７，１５８に入力される。
【０１２７】
特徴抽出部１５５〜１５８は、同様な構成であり、前段から入力された信号は、前処理部１５１及び多変量解析部１５３を経由して後段へ出力される構成と、前処理部１５２のみを経由して後段へ出力される構成と、多変量解析部１５４のみを経由して後段へ出力される構成を各々有する。
【０１２８】
画像入力装置１ａ及び一般情報入力部１５０ａから入力される信号は各々特徴抽出部１５５へ入力され、その出力が曖昧判定部１５７に入力されるとともに、直接曖昧判定部１５７にも入力される。画像入力装置１ｂ、一般情報入力部１５０ｂから入力される信号も同様にして、曖昧判定部１５７に入力される。つまり、この曖昧判定部１５７には複数の特徴抽出部、複数の画像入力装置及び一般情報入力部からの入力がなされる。これに対し、曖昧判定部１５８へは、画像入力装置１ｃ及び一般情報入力部１５０ｃからの直接入力と、特徴抽出部１５７からの入力がなされる。曖昧判定部１５７，１５８の出力は、論理判定部１５９へ出力される。また、画像入力装置１ｄと一般情報入力部１５０ｄから入力される信号は直接論理判定部１５９へ入力されるとともに、特徴抽出部１５８を経由して論理判定部１５７にも入力される。
【０１２９】
このように、本実施例では全ての入力は最終的には論理判定部１５９へ入力されるものの、特徴抽出部、曖昧判定部は経由する場合としない場合があり、これらが組み合わされた構成となっている。
【０１３０】
このような構成とすることにより、入力される情報毎に最適な演算経路を経て、最終段の論理判定部へ入力されることになり、分類の精度が向上する。前述したように、情報の信頼度が高いものは直接、論理判定部へ、信頼度が低いものは特徴抽出部の前処理部や多変量解析部へ中間的なものは曖昧判定部へ入力することにより、より効率的で精度の高い判定を行なうことができる。また、特徴抽出部においても、前処理部にて有効な特徴量が抽出された場合は多変量解析部を経由せずに後段の処理をしたほうが、演算規模を小さくできる。また、入力される信号を直接多変量解析してもよい。
【０１３１】
この実施例では、曖昧判定部としては２つあるが、各々処理する内容を異なるものとすることにより、一つの曖昧判定部でまとめて処理する場合に比べ、論理的判定に適する形へ情報を変換しやすくなり、学習時間を短縮することができる。  なお、本実施例では、論理的判定部の出力に応じたフィードバック制御及びノーマライズ部、表示部等の構成を図示していないが、前述の実施例と同様なフィードバック制御及びノーマライズ処理、表示処理等を行なってよいのはもちろんである。
【０１３２】
以上、詳述した如く、上記実施形態をとる本発明は、以下の様に構成でき、種々の効果が得られる。
即ち、
（１）本発明は、分類のための情報を入力するための情報入力手段と、前記情報入力手段により入力された情報から特徴情報を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴情報及びまたは前記情報入力手段から入力された情報に基づき情報の種別を判定し、この種別毎に分類わけする分類判定手段とを具備することを特徴とする画像分類装置を提供する。
【０１３３】
これにより、従来の技術のように、単に画像の表示方法を変えるのではなく、特徴情報に基づいて情報の種別を判定するため、特徴の違いに応じて、情報を適確に分類することができる。
【０１３４】
（２）本発明は、分類のための情報を入力するための情報入力手段と、前記情報入力手段により入力された情報を正規化するためのノーマライズ手段と、前記ノーマライズ手段により正規化された情報から特徴情報を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴情報及びまたは前記情報入力手段から入力された情報に基づき情報の種別を判定し、この種別毎に分類わけする分類判定手段とを具備することを特徴とする画像分類装置を提供する。
【０１３５】
これにより、入力された情報をノーマライズ手段で正規化するため、情報入力手段の入力条件の相違を解消することができ、分類の精度を向上させることができる。
【０１３６】
（３）本発明は、分類のための情報を入力するための情報入力手段と、前記情報入力手段により入力された情報から特徴情報を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴情報及びまたは前記情報入力手段から入力された情報に基づき情報の種別を判定し、この種別毎に分類わけする分類判定手段と、前記分類判定手段による分類判定結果を表示する表示手段とを具備することを特徴とする画像分類装置を提供する。
【０１３７】
これにより、分類判定結果の表示手段を有するため、分類判定結果を容易に認知できる。
（４）本発明は、分類のための情報を入力するための情報入力手段と、前記情報入力手段により入力された情報から特徴情報を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴情報及びまたは前記情報入力手段から入力された情報に基づき情報の種別を判定し、この種別毎に分類わけする分類判定手段と、前記特徴抽出手段及び、または前記分類判定手段を構築する学習手段とを具備することを特徴とする画像分類装置を提供する。
【０１３８】
これにより、学習手段を有するため、分類したい対象に応じて特徴抽出手段、分類判定手段を構築でき、種々な対象の分類が容易に行うことができる。
（５）本発明は、分類のための情報を入力するための情報入力手段と、前記情報入力手段により入力された情報を正規化するためのノーマライズ手段と、前記ノーマライズ手段により正規化された情報から特徴情報を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴情報及びまたは前記情報入力手段から入力された情報に基づき情報の種別を判定し、この種別毎に分類わけする分類判定手段と、前記分類判定手段による分類判定結果を表示する表示手段とを具備することを特徴とする画像分類装置を提供する。
【０１３９】
このように、ノーマライズ手段と表示手段の双方を有することにより、ノーマライズした画像を表示手段に表示できる。つまり、表示の際に画像が所定の条件の画像に正規化されており、分類される領域間の違いがよりよく認識できる。
【０１４０】
（６）本発明は、分類のための情報を入力するための情報入力手段と、前記情報入力手段により入力された情報を正規化するためのノーマライズ手段と、前記ノーマライズ手段により正規化された情報から特徴情報を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴情報及びまたは前記情報入力手段から入力された情報に基づき情報の種別を判定し、この種別毎に分類わけする分類判定手段と、前記特徴抽出手段及びまたは、前記分類判定手段を構築する学習手段とを具備することを特徴とする画像分類装置を提供する。
【０１４１】
このように、ノーマライズ手段と学習手段を有することにより、学習時と分類判定時の入力条件が一定化され、分類精度を大幅に向上させることができる。
（７）本発明は、分類のための情報を入力するための情報入力手段と、前記情報入力手段により入力された情報から特徴情報を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴情報及びまたは前記情報入力手段から入力された情報に基づき情報の種別を判定し、この種別毎に分類わけする分類判定手段と、前記分類判定手段による分類判定結果を表示する表示手段と、前記特徴抽出手段及びまたは、前記分類判定手段を構築する学習手段とを具備することを特徴とする画像分類装置を提供する。
【０１４２】
このように、表示手段と学習手段を有することにより、学習している情報を表示手段に表示することができ、より効果的に且つ、正確な学習情報にて学習を行うことができる。
【０１４３】
（８）本発明は、分類のための情報を入力するための情報入力手段と、前記情報入力手段により入力された情報を正規化するためのノーマライズ手段と、前記ノーマライズ手段により正規化された情報から特徴情報を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴情報及びまたは前記情報入力手段から入力された情報に基づき情報の種別を判定し、この種別毎に分類わけする分類判定手段と、前記分類判定手段による分類判定結果を表示する表示手段と、前記特徴抽出手段及びまたは、前記分類判定手段を構築する学習手段とを具備することを特徴とする画像分類装置を提供する。
【０１４４】
このように、ノーマライズ手段と、表示手段と、学習手段とを有することにより、正規化された情報にて学習を行うため、学習している情報の領域間の相違を容易に表示手段で認知できる。
【０１４５】
（９）本発明は、前記情報入力手段は、画像入力装置，ファイリング装置，一般情報入力装置の中から選ばれる少なくとも１つ以上のものからなることを特徴とする（１）乃至（８）記載の画像分類装置を提供する。
【０１４６】
これにより、前記情報入力手段が画像入力装置であることから、様々な対象物のイメージ情報を入力することができる。また、情報入力手段がファイリング装置であることからデジタル化された情報やデータベース情報を入力することができる。また、前記情報入力手段が一般情報入力装置であることから、分類判定に有効な情報を入力することができる。
【０１４７】
（１０）本発明は、前記ノーマライズ手段は、所定の設定条件に応じて、正規化を行うための１乃至複数個のノーマライズ器と、前記ノーマライズ器を制御するためのノーマライズ制御手段を有することを特徴とする（２），（５），（６）または（８）記載の画像分類装置を提供する。
【０１４８】
このように、ノーマライズ手段（ノーマライズ器）により、所定の設定条件に応じた正規化を行うことができ、分類精度を向上させることができる。また、ノーマライズ制御手段により、これらのノーマライズ器の動作のタイミング等を制御でき、各々のノーマライズ器をより有機的に活用することができ、さらに分類判定精度を向上させることができる。
【０１４９】
（１１）本発明は、前記ノーマライズ手段は、正規化を行うための所望の条件を設定するための条件設定手段を含むことを特徴とする（２），（５），（６）または（８）記載の画像分類装置を提供する。
【０１５０】
これにより、分類対象に応じて最適な正規化の条件が異なる場合に、この条件設定手段により所望の最適な正規化を行うことができ、分類判定精度を向上させることができる。
【０１５１】
（１２）本発明は、前記ノーマライズ手段は、前記特徴抽出手段及び、または前記分類判定手段の処理を選択するための制御情報を出力することを特徴とする（２），（５），（６）または（８）記載の画像分類装置を提供する。
【０１５２】
これにより、正規化の条件毎に特徴抽出手段や分類判定手段の最適条件が異なるため、ノーマライズ手段から、この特徴抽出手段や分類判定手段に制御信号を出力し、最適手段を選択するよう制御することにより、分類判定精度を向上させることができる。
【０１５３】
（１３）本発明は、前記特徴抽出手段は、前記分類判定抽出手段での分類に適した情報に変換するための多変量解析手段と、この多変量解析手段に対して入力するために前段階として、特徴量を算出するための前処理手段を有することを特徴とする（１）乃至（８）記載の画像分類装置を提供する。
【０１５４】
従って、前処理手段により情報の分類に有効な特徴量を算出できる。前記多変量解析手段は、これらの算出された特徴量の中から分類に有効に働く特徴量への変換を行い、分類判定精度を向上させることができる。
【０１５５】
（１４）本発明は、前記特徴抽出手段は、前記分類判定抽出手段に対して直接入力するために前段階として、特徴量を算出するための前処理手段を有することを特徴とする（１）乃至（８）記載の画像分類装置を提供する。
【０１５６】
従って、前処理手段にて既に分類に有効に働く特徴量が算出されている場合には、多変量解析手段を介さず、直接、分類判定手段へ入力した方が回路規模が小さくできると共に、より短時間で処理を行うことができる。
【０１５７】
（１５）本発明は、前処理手段は、入力された画像情報の一画面領域または複数画面領域において、比較的広い領域の特徴量を抽出するための粗パターン検出手段と、前記領域のうち比較的狭い領域の特徴量を抽出するための細パターン検出手段とを有することを特徴とする（１３）及び（１４）記載の画像分類装置を提供する。
【０１５８】
これにより、分類のための特徴量である画像のテクスチャー等の情報は画像の比較的狭い領域から得られ、また、画像の輪郭線等の情報は画像の比較的広い領域から得られる。各々領域から検出される特徴量を用いることにより、分類判定精度を向上させることができる。
【０１５９】
（１６）本発明は、前記分類判定手段は、分類判定の対象となる情報を論理的判定に適する形に変換するための曖昧判定手段と、この曖昧判定手段からの出力及びまたは分類判定の対象となる情報を論理判定するための論理判定手段と、この論理判定手段からの出力に基づいて自己ないしは当該論理判定手段より前段の処理の選択を行うようになしたフィードバック手段とを有することを特徴とする（１）乃至（８）記載の画像分類装置を提供する。
【０１６０】
これにより、曖昧判定手段は、人間の右脳で行っているような直観的な判定を行うことができると共に、論理判定手段では、人間の左脳で行っているような論理的な判定を行うことができる。また、フィードバック手段では、人間の繰り返し思考のように繰り返し処理を行うことができ、この３つの作用により人間の判定と同様な処理を行うことができ、より高精度の分類判定を行うことができる。
【０１６１】
（１７）本発明は、前記分類判定手段は、分類判定の対象となる情報を論理的に判定するための論理判定手段と、この論理判定手段からの出力に基づいて自己ないしは当該論理判定手段より前段の処理の選択を行うようになしたフィードバック手段とを有することを特徴とする（１）乃至（８）記載の画像分類装置を提供する。
【０１６２】
これにより入力された情報が分類目的に対し、より明確なものになっている場合は、（１６）での曖昧判定手段は省ける。よって回路規模が小さくでき、より短時間で処理できる。
【０１６３】
（１８）本発明は、前記分類判定手段は、分類判定の対象となる情報を論理的判定に適する形に変換するための曖昧判定手段と、
この曖昧判定手段からの出力及びまたは分類判定の対象となる情報を論理判定するための論理判定手段とを有することを特徴とする（１）乃至（８）記載の画像分類装置を提供する。
【０１６４】
これにより、曖昧判定手段と論理判定手段にて分類が良好な場合には、フィードバック手段を省くことができ、よって回路規模が小さくでき、より短時間で処理できる。
【０１６５】
（１９）本発明は、前記分類判定手段は、分類判定の対象となる情報を論理的判定に適する形に変換するための曖昧判定手段を有することを特徴とする（１）乃至（８）記載の画像分類装置を提供する。
【０１６６】
これにより、曖昧判定手段だけで分類が良好な場合には、論理判定手段とフィードバック手段を省くことができ、回路規模が小さくでき、より短時間で処理できる。
【０１６７】
（２０）本発明は、前記分類判定手段は、分類判定の対象となる情報を論理判定するための論理判定手段を有することを特徴とする（１）乃至（８）記載の画像分類装置を提供する。
【０１６８】
これにより、論理判定手段だけで分類が良好な場合には、曖昧判定手段とフィードバック手段を省くことができ、回路規模が小さくでき、より短時間で処理できる。
【０１６９】
（２１）本発明は、前記表示手段は、前記情報入力手段からの画像情報と、前記特徴抽出手段で抽出された特徴量及び又は前記分類判定手段での判定結果に係る情報と、を表示するための表示画像生成手段を有することを特徴とする（３）、（５）、（７）及び（８）記載の画像分類装置を提供する。
【０１７０】
このように、画像情報と、特徴量又は分類判定結果を表示することにより、判定結果をより認知しやすくできる。
（２２）本発明は、前記表示画像生成手段は、前記特徴抽出手段で抽出された特徴量または前記分類判定手段での判定結果に応じて画像を視覚的に異ならせて表示することを特徴とする（２１）記載の画像分類装置を提供する。
【０１７１】
このように、判定結果に応じて画像を視覚的に異ならせて表示することにより、判定結果を目視により正確に、迅速及び容易に認知できる。
（２３）本発明は、前記画像を視覚的に異ならせて表示するに際して前記特徴量または判定結果に応じて色を変えて表示することを特徴とする（２２）記載の画像分類装置を提供する。
【０１７２】
このように、判定結果により色を変えて表示することにより、さらに正確に、迅速且つ容易に判定結果を認知できる。
（２４）本発明は、前記画像を視覚的に異ならせて表示するに際して前記特徴量または判定結果に応じてグラフ表示することを特徴とする（２２）記載の画像分類装置を提供する。
【０１７３】
このように、判定結果に応じて、グラフ表示することにより、判定結果をさらに正確に、迅速且つ容易に判定結果を認知できる。
（２５）本発明は、前記学習手段は、学習を行うために必要なデータを入力するための教師データ入力手段と、この教師データ入力手段からの情報に基づいて、前記特徴量抽出手段における各種条件設定を行うための演算を行う分類ベクトル演算手段と、前記教師データ入力手段及び、前記分類ベクトル演算手段を制御するための学習制御手段とからなることを特徴とする（４，６，７又は８）記載の画像分類装置を提供する。
【０１７４】
このように、教師データ入力手段を有することにより、教師情報を早く、正確に入力することができる。また、学習手段内に分類ベクトル演算手段を有することにより、時間のかかる演算を学習時だけに行うことができ、分類判定の高速化を図ることができる。また、両手段を制御する学習制御手段により効率的な学習を行うことができる。
【０１７５】
（２６）本発明は、前記学習制御手段は、画像情報表示のための表示用モニタに前記教師データを表示するための制御を行うことを特徴とする（２５）記載の画像分類装置を提供する。
【０１７６】
教師情報を表示手段で表示することにより、より早く、正確に教師情報を入力することができる。
（２７）本発明は、前記分類ベクトル演算手段では統計的手法により分類ベクトルを算出することを特徴とする（２５）記載の画像分類装置を提供する。
【０１７７】
従って、統計的手法により高精度でノイズに頑健な分類ベクトルを算出することができる。
（２８）本発明は、前記学習制御手段は、前記特徴抽出手段及び又は、前記分類判定手段の処理を選択するための制御情報を出力することを特徴とする（２１）記載の画像分類装置を提供する。
【０１７８】
従って、学習条件毎に特徴抽出手段及び分類判定手段の処理を選択でき、より高度な分類判定を行うことができる。
（２９）前記分類判定手段に設けられた曖昧判定手段は、所定学習を施したデータを記憶した重みメモリと、この重みメモリに記憶されたデータに基づき重み付けられたニューラルネットワークからなり、ニューラルネットワークは容易に学習でき、様々な教師情報を分類装置に組み込むことができ、分類判定の精度向上を図ることができる。
【０１７９】
（３０）前記特徴抽出手段は前処理部と多変量解析部とで構成され、前処理部は、入力した画像の輪郭線情報を抽出する輪郭線抽出手段を有し、分類判定に構造的特徴も利用できる。
【０１８０】
（３１）前記多変量解析部は、特徴情報を分類するために必要なデータを記憶した分類ベクトルメモリを有し、フィードバック制御により何度でも抽出した情報を利用することができる。
【０１８１】
（３２）前記分類判定手段に設けられた論理判定部からの情報に基づき、前記重みメモリに記憶された情報及び、前記分類ベクトルメモリに記憶された情報を選択的に読出すことによって、より効果的な情報を利用でき、分類判定の精度が向上する。
【０１８２】
（３３）前記特徴抽出手段に抽出される特徴情報は、パワースペクトル、ヒストグラム、同時生起行列、フラクタル次元及び、輪郭線のうち少なくとも１つの情報であり、この情報を利用することにより、複雑に判定を容易に且つ、高精度に判定することができる。
【０１８３】
（３４）本発明の画像分類装置は、画像信号を入力する画像入力装置に、Ｘ線画像入力装置、ＣＴ（Ｘ線、ＮＭＲ）や、超音波装置を用いることができ、該超音波装置を用いた場合に、超音波振動子の特性に応じて、受信した超音波信号の波形を補正する補正手段を設けることにより、各超音波振動子の性能上のばらつきを補正し、分類判定の精度の向上を図ることができる。
【０１８４】
（３５）本発明の画像分類装置は、入力された画像信号の特徴を抽出する特徴抽出手段と、抽出された特徴情報に基づき画像信号の種別を判定し、この種別毎に分類する分類判別手段と、前記特徴抽出手段と前記分類判別手段の構築を行う学習制御手段とを設けており、前記分類判定手段は曖昧判定手段と、該曖昧判定手段の出力に基づき、前記特徴情報の分類を判定する論理判定手段と、前記特徴抽出手段と前記分類判別手段の構築を行う学習手段とからなり、所定領域毎の特徴を抽出することから分類判定領域を任意に選択できる。また、分類判定を２段階で行うことにより、より複雑な分類判定を行うことが容易にできる。
【０１８５】
（３６）前記特徴抽出手段は、画像抽出位置に応じて領域抽出ウィンドウを設定することにより、コンベックス型超音波装置特有の位置により異なる（超音波振動子の配置により受信した信号に時間差が生じる）撮影特性を補正することができる。
【０１８６】
（３７）前記特徴抽出の分類ベクトルメモリと、前記分類判定手段の重みメモリの値の書き込み、読出しアドレスを画像抽出位置に応じて設定することにより、すなわち、測定する距離に応じて撮像する帯域が異なる超音波装置の前記距離を数段階の分け、各段階毎に分類ベクトル重みメモリの値を設定し、分類判定の精度の向上を図ることができる。
【０１８７】
（３８）前記表示手段は、前記分類判定手段により判定されれた分類毎に色の種類と濃さを変えて表示することにより、輝度情報は保存しておき、写し出した画像に所定の着色を行うことにより、どの構造のものがどの分類であるかが容易に理解させることができる。
【０１８８】
また本発明は、腫瘍の病変部に対して診断支援を行う画像分類装置を実施例として説明したが、これに限定されるものではなく、実施例に記載される画像入力装置で取り込めることができる画像データであれば、同様に画像分類を行うことができ、他にも発明の要旨を逸脱しない範囲で種々の変形や応用が可能であることは勿論である。
【０１８９】
【発明の効果】
以上詳述したように本発明によれば、入力した画像において２値化や３次元表示だけでは抽出しにくい部分をも適確に分類し、視覚的に分かり易く指示することが可能な画像分類装置を提供することができる。
【図面の簡単な説明】
【図１】図１（ａ）は、本発明による画像分類装置における分類実行時の構成を示し、図１（ｂ）は、分類を実行するために先立って行う分類学習の構成を示す図である。
【図２】本発明による第１実施例としての画像分類装置の画像入力装置に用いたコンベックス型超音波装置の前半部の構成を示す図である。
【図３】本発明による第１実施例としての画像分類装置の画像入力装置に用いたコンベックス型超音波装置の後半部の構成を示す図である。
【図４】図１に示したコンベックス型超音波装置を組み入れた本発明による第１実施例の画像分類装置の構成例（分類判定実行時）を示す図である。
【図５】図４に示した画像分類装置における分類判定学習時（学習モード）の構成を示す図である。
【図６】図６（ａ）は、本発明による第２実施例としての画像分類装置の分類判定部の構成を示す図であり、図６（ｂ）は、本発明による第３実施例としての画像分類装置の表示部の構成を示す図であり、図６（ｃ）は、画像分類装置の表示部に表示される異常部の表示例を示す図である。
【図７】超音波の波形の補正を説明するための図である。
【図８】コンベックス型超音波装置の超音波画像の形態を示す図である。
【図９】超音波画像の抽出領域の形状を示す図である。
【図１０】パワースペクトルＰ（ｕ）を検出するパワースペクトル検出器の構成例と、分類方式を示す図である。
【図１１】投影演算器の構成例を示す図である。
【図１２】投影演算器からの結果ｔ１，ｔ２による正常・異常の領域の位置例を示す図である。
【図１３】正常部と４つの異常部（病変部α，β，γ，δ，ε）に分類する状態を示す図である。
【図１４】図１４（ａ）は悪性腫瘍の形状例（輪郭）を示し、図１４（ｂ）は良性腫瘍の形状例（輪郭）を示す図である。
【図１５】腫瘍検出の一例を示す図である。
【図１６】本発明による第４実施例としての画像分類装置の構成を示す図である。
【図１７】本発明による第５実施例としての画像分類装置の構成を示す図である。
【図１８】本発明による第６実施例としての画像分類装置の後半部の構成を示す図である。
【図１９】本発明による第６実施例としての画像分類装置の前半部の構成を示す図である。
【図２０】輪郭線抽出部の具体的な構成を示す図である。
【図２１】本発明による第７実施例としてのファジイ推論を用いた画像分類装置の構成を示す図である。
【図２２】モニタに表示される映像例（画面）を示す図である。
【図２３】本発明による第８実施例としての画像分類装置の構成を示す図である。
【図２４】図２４（ａ）は、本発明による第９実施例としての画像分類装置の構成を示し、図２４（ｂ）は、該画像分類装置内の特徴画像生成部の構成を示す図である。
【図２５】本発明による第１０実施例としての画像分類装置の構成を示す図である。
【図２６】ヒストグラムと画像濃度のレベルの関係を示す図である。
【図２７】第４実施例の変形例としての画像分類装置の構成を示す図である。
【図２８】本発明による第１１実施例としての画像分類装置の構成を示す図である。
【符号の説明】
１…画像入力装置、２…ファイリング装置、３…ノーマライズ部、４…特徴抽出部、５…分類判定部、６…表示部、７…学習制御部、８…前処理部、９…多変量解析部。
【図１】
0003974946.tif 000007
【図２】
0003974946.tif 000008
【図３】
0003974946.tif 000009
【図４】
0003974946.tif 000010
【図５】
0003974946.tif 000011
【図６】
0003974946.tif 000012
【図７】
0003974946.tif 000013
【図８】
0003974946.tif 000014
【図９】
0003974946.tif 000015
【図１０】
0003974946.tif 000016
【図１１】
0003974946.tif 000017
【図１２】
0003974946.tif 000018
【図１３】
0003974946.tif 000019
【図１４】
0003974946.tif 000020
【図１５】
0003974946.tif 000021
【図１６】
0003974946.tif 000022
【図１７】
0003974946.tif 000023
【図１８】
0003974946.tif 000024
【図１９】
0003974946.tif 000025
【図２０】
0003974946.tif 000026
【図２１】
0003974946.tif 000027
【図２２】
0003974946.tif 000028
【図２３】
0003974946.tif 000029
【図２４】
0003974946.tif 000030
【図２５】
0003974946.tif 000031
【図２６】
0003974946.tif 000032
【図２７】
0003974946.tif 000033
【図２８】
0003974946.tif 000034