(57)【特許請求の範囲】
【請求項１】
時系列で撮像された複数の画像で構成される時系列画像を処理する画像処理装置であって、
前記時系列画像を構成する画像間の変化量をもとに時系列区間を設定する区間設定手段と、
前記区間設定手段によって設定される時系列区間毎に、当該時系列区間に含まれる複数の画像に基づいて当該時系列区間に共通の分類基準を設定し、該分類基準を用いて当該時系列区間に含まれる画像内を複数のカテゴリ領域に分類する領域分類手段と、
を備え、
前記領域分類手段は、
前記時系列区間に含まれる前記複数の画像の特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出された前記複数の画像の特徴量の分布である特徴量分布をもとに、前記時系列区間に含まれる画像内に存在する前記各カテゴリ領域の特徴量分布を推定する分布推定手段と、
を有し、
前記分布推定手段によって推定された前記各カテゴリ領域の特徴量分布をもとに当該時系列区間に共通の分類基準を設定し、前記時系列区間に含まれる画像内を前記各カテゴリ領域に分類することを特徴とする画像処理装置。
【請求項２】
前記時系列画像を構成する画像に対して時系列近傍となる他の画像との変化量を算出する変化量算出手段をさらに備え、
前記区間設定手段は、前記変化量算出手段で算出した変化量をもとに前記時系列区間を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変化量算出手段は、画像間で位置的に対応する画素または領域を比較することによって変化量を算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記変化量算出手段は、画素値の統計量を比較することによって変化量を算出することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記領域分類手段は、前記時系列区間から画像を選択する画像選択手段を有し、
前記分布推定手段は、前記画像選択手段で選択した画像の特徴量分布をもとに、前記時系列区間の画像内に存在する前記各カテゴリ領域の特徴量分布を推定することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像選択手段は、前記画像間の変化量をもとに画像を選択することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画像選択手段は、前記画像間の変化量を時系列順に累積した累積変化量をもとに画像を選択することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記画像選択手段は、前記時系列区間を同一の累積変化量を有する所定数の区間に分割し、各分割位置に相当する累積変化量に最も近い累積変化量に相当する画像と、区間開始画像および区間終了画像とを選択することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記画像選択手段は、前記画像間の変化量が所定の閾値以上となる画像を選択することを特徴とする請求項６に記載の画像処理装置。
【請求項１０】
前記分布推定手段は、
前記特徴量算出手段によって算出された特徴量の分布である特徴量分布をクラスタリングするクラスタリング手段と、
前記クラスタリング手段によって得られた各クラスタのカテゴリを判別するカテゴリ判別手段と、
を有し、前記カテゴリ判別手段によってカテゴリが判別された前記各クラスタ内の特徴量データをもとに、前記各カテゴリ領域の特徴量分布を推定することを特徴とする請求項１及び５〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記カテゴリ判別手段は、前記時系列区間毎にカテゴリの分類基準を変更することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記区間設定手段は、前記画像間の変化量を時系列順に累積した累積値をもとに前記時系列区間を設定することを特徴とする請求項１〜１１のいずれか１つに記載の画像処理装置。
【請求項１３】
前記区間設定手段は、一部が時系列的に重なり合うように前記時系列区間を設定し、
前記領域分類手段は、前記時系列区間それぞれについての分類結果を統合して、重なり合った区間に含まれる画像内を前記各カテゴリ領域に分類することを特徴とする請求項１〜１２のいずれか１つに記載の画像処理装置。
【請求項１４】
前記特徴量算出手段は、前記時系列区間に含まれる画像を複数の領域に分割し、分割領域毎に特徴量を算出することを特徴とする請求項１〜１３のいずれか１つに記載の画像処理装置。
【請求項１５】
前記領域分類手段は、前記時系列区間に含まれる画像を複数の領域に分割し、分割領域毎にカテゴリを分類することを特徴とする請求項１〜１４のいずれか１つに記載の画像処理装置。
【請求項１６】
前記時系列画像は、体内管空内の画像であることを特徴とする請求項１〜１５のいずれか１つに記載の画像処理装置。
【請求項１７】
前記カテゴリ領域は、粘膜、内容物、泡、病変のいずれか一つを含むことを特徴とする請求項１〜１６のいずれか１つに記載の画像処理装置。
【請求項１８】
時系列で撮像された複数の画像で構成される時系列画像を処理するコンピュータに、
前記時系列画像を構成する画像間の変化量をもとに時系列区間を設定する区間設定ステップと、
前記区間設定ステップにおいて設定される時系列区間毎に、当該時系列区間に含まれる複数の画像に基づいて当該時系列区間に共通の分類基準を設定し、該分類基準を用いて当該時系列区間に含まれる画像内を複数のカテゴリ領域に分類する領域分類ステップと、
を実行させ、
前記領域分類ステップは、
前記時系列区間に含まれる前記複数の画像の特徴量を算出する特徴量算出ステップと、
前記特徴量算出ステップにおいて算出された前記複数の画像の特徴量の分布である特徴量分布をもとに、前記時系列区間に含まれる画像内に存在する前記各カテゴリ領域の特徴量分布を推定する分布推定ステップと、
を含み、
前記分布推定ステップにおいて推定された前記各カテゴリ領域の特徴量分布をもとに当該時系列区間に共通の分類基準を設定し、前記時系列区間に含まれる画像内を前記各カテゴリ領域に分類することを特徴とする画像処理プログラム。
【請求項１９】
時系列で撮像された複数の画像で構成される時系列画像を処理する画像処理装置が実行する画像処理方法であって、
前記時系列画像を構成する画像間の変化量をもとに時系列区間を設定する区間設定ステップと、
前記区間設定ステップにおいて設定される時系列区間毎に、当該時系列区間に含まれる複数の画像に基づいて当該時系列区間に共通の分類基準を設定し、該分類基準を用いて当該時系列区間に含まれる画像内を複数のカテゴリ領域に分類する領域分類ステップと、
を含み、
前記領域分類ステップは、
前記時系列区間に含まれる前記複数の画像の特徴量を算出する特徴量算出ステップと、
前記特徴量算出ステップにおいて算出された前記複数の画像の特徴量の分布である特徴量分布をもとに、前記時系列区間に含まれる画像内に存在する前記各カテゴリ領域の特徴量分布を推定する分布推定ステップと、
を含み、
前記分布推定ステップにおいて推定された前記各カテゴリ領域の特徴量分布をもとに当該時系列区間に共通の分類基準を設定し、前記時系列区間に含まれる画像内を前記各カテゴリ領域に分類することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列で撮像された複数の画像で構成される時系列画像を処理する画像処理装置および画像処理プログラムに関するものである。
【背景技術】
【０００２】
近年、カプセル内視鏡に代表されるように、消化管等の体内の管空内を移動しながら管空内の画像を順次撮像する医用機器が開発されている。カプセル内視鏡は、口から飲み込まれた後、管空内を蠕動運動等により運ばれ、所定の撮像レートで順次画像を撮像して体外受信機に送信し、最終的に体外に排出される。撮像される時系列画像の枚数は、撮像レート（約２〜４frame/sec）×カプセル内視鏡の体内滞在時間（約８hours＝８×６０×６０sec）で概ね示され、数万枚以上になる。医師は、これら体外受信機に送信された大量の時系列画像を診断用のワークステーション等で確認し、病変部を特定するために多くの時間を費やしている。このため、医師による画像の確認作業を効率化する技術が強く望まれている。
【０００３】
例えば、特許文献１には、カプセル内視鏡によって撮像された時系列画像内を粘膜、便、泡、不明等の領域に分割し、観察に不要な画像や病変部位が含まれる画像を判別する方法が示されている。具体的には、時系列画像を所定間隔でサンプリングした複数の画像をそれぞれ小区画に分割し、これら小区画を平均色比空間等の所定の特徴空間に写像した後、クラスタリングする。そして、得られたクラスタを予め教師データをもとに作成した分類器を用いて粘膜、便、泡等のクラス（カテゴリ）に分類する。続いて、サンプリングした画像を所定の時系列間隔のサブセットに区切り、先のクラス分類結果をもとにサブセット内における各クラスの発生頻度や分布情報を計算する。そして、これらの情報をもとに、各サブセットが示す時系列区間の画像内を各クラス領域に分類し、病変部を検出している。
【０００４】
【特許文献１】特開２００７−１７５４３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１では、サブセットとなる所定幅の時系列区間内において、所定間隔でサンプリングした画像を用いながら粘膜、便、泡等の各クラスのクラス分布情報を求め、画像内を領域分類している。しかしながら、カプセル内視鏡は蠕動運動等により消化管等の管空内を通過していくため、その通過速度は一定ではなく、撮像される時系列画像も大きく変化する画像が続いたり類似する画像が続いたりと様々である。このため、サブセット内の時系列区間において画像が大きく変化する場合には、カプセルが大きく移動して周囲の状況が変わることから各クラスのデータが大きく変動してしまう。この結果、クラス分布情報を正確に求めることが難しくなり、分類精度が低下して病変部を精度よく検出できないという問題がある。一方で、時系列区間において画像が全く変化しない場合には、同程度のクラス分布情報を得るための処理を繰り返し行うことになり、計算時間を浪費するという問題がある。
【０００６】
本発明は、上記に鑑み為されたものであって、時系列画像を構成する画像内を精度よく且つ効率よく分類することができる画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記した課題を解決し、目的を達成するため、本発明にかかる画像処理装置は、時系列で撮像された複数の画像で構成される時系列画像を処理する画像処理装置であって、前記時系列画像を構成する画像間の変化量をもとに所定の時系列区間を設定する区間設定手段と、前記区間設定手段によって設定される時系列区間毎の分類基準を用いて前記時系列区間に含まれる画像内を複数のカテゴリ領域に分類する領域分類手段と、を備えることを特徴とする。
【０００８】
また、本発明にかかる画像処理プログラムは、時系列で撮像された複数の画像で構成される時系列画像を処理するコンピュータに、前記時系列画像を構成する画像間の変化量をもとに所定の時系列区間を設定する区間設定ステップと、前記区間設定ステップによって設定される時系列区間毎の分類基準を用いて前記時系列区間に含まれる画像内を複数のカテゴリ領域に分類する領域分類ステップと、を実行させることを特徴とする。
【発明の効果】
【０００９】
本発明に係る画像表示装置によれば、時系列画像を構成する画像間の変化量をもとに時系列区間を設定することができる。そして、設定した時系列区間に含まれる画像内を時系列区間毎の分類基準を用いてカテゴリ領域に分類できるので、カテゴリ領域の分類精度を向上させることができる。したがって、時系列画像を構成する画像内を精度よく且つ効率よく分類することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。なお、以下説明する実施の形態では、カプセル内視鏡が時系列に沿って撮像した体内管空内の時系列画像を処理する画像処理装置について説明するが、本発明の画像処理装置が処理可能な時系列画像は体内管空内を撮像して得た時系列画像に限定されるものではない。
【００１１】
（実施の形態）
図１は、実施の形態の画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。図１に示すように、画像処理システムは、被検体１内部の画像（以下、「管空内画像」と呼ぶ。）を撮像するカプセル内視鏡１０、カプセル内視鏡１０から無線送信される管空内画像を受信する受信装置３０、受信装置３０によって受信された管空内画像をもとに、カプセル内視鏡１０によって撮像された管空内画像を処理して表示する画像処理装置７０等で構成される。受信装置３０と画像処理装置７０との間の画像データの受け渡しには、例えば可搬型の記録媒体（可搬型記録媒体）５０が使用される。
【００１２】
カプセル内視鏡１０は、撮像機能や無線機能等を具備するものであって、被検体１の口から飲み込まれて被検体１内部に導入され、体腔内を移動しながら逐次管空内画像を撮像する。そして、撮像した管空内画像を体外に無線送信する。
【００１３】
受信装置３０は、複数の受信用アンテナＡ１〜Ａｎを備え、各受信用アンテナＡ１〜Ａｎを介してカプセル内視鏡１０から無線送信される管空内画像を受信する。受信装置３０は、可搬型記録媒体５０の着脱が自在に構成されており、受信した管空内画像の画像データを可搬型記録媒体５０に逐次保存する。このようにして、カプセル内視鏡１０が撮像した被検体１内部の管空内画像は、受信装置３０によって時系列順に可搬型記録媒体５０に蓄積され、時系列画像として保存される。
【００１４】
受信用アンテナＡ１〜Ａｎは、例えばループアンテナで構成され、被検体１の体外表面に貼付される。具体的には、被検体１内におけるカプセル内視鏡１０の通過経路に対応する位置に分散配置される。なお、受信用アンテナＡ１〜Ａｎは、被検体１に着用させるジャケットに分散配置されるものであってもよい。この場合には、受信用アンテナＡ１〜Ａｎは、被検体１がこのジャケットを着用することによって、被検体１内におけるカプセル内視鏡１０の通過経路に対応する被検体１の体表上の所定位置に配置される。なお、受信用アンテナは、被検体１に対して１つ以上配置されればよく、その数は限定されない。
【００１５】
画像処理装置７０は、カプセル内視鏡１０によって撮像された管空内画像を医師等が観察・診断するためのものであり、ワークステーションやパソコン等の汎用コンピュータで実現される。この画像処理装置７０は、可搬型記録媒体５０の着脱が自在に構成されており、可搬型記録媒体５０に保存された時系列画像を構成する各管空内画像を処理し、ＬＣＤやＥＬＤ等のディスプレイに時系列順に順次表示する。図２は、カプセル内視鏡１０によって撮像され、画像処理装置７０によって処理される管空内画像の一例を示す図である。管空内画像には、粘膜１１や、体腔内を浮遊する内容物１３、泡１５等が映るとともに、時として病変等の重要箇所が映る。なお、カプセル内視鏡１０によって撮像される管空内画像は、各画素位置においてＲ（赤），Ｇ（緑），Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。
【００１６】
図３は、画像処理装置７０の機能構成を説明するブロック図である。本実施の形態では、画像処理装置７０は、画像取得部７１０と、入力部７２０と、表示部７３０と、記憶部７４０と、演算部７５０と、装置各部を制御する制御部７６０とを備える。
【００１７】
画像取得部７１０は、カプセル内視鏡１０によって撮像されて受信装置３０によって可搬型記録媒体５０に保存された時系列画像を構成する管空内画像を取得するものであり、例えば、可搬型記録媒体５０を着脱自在に装着し、装着した可搬型記録媒体５０に蓄積された管空内画像の画像データを読み出して取得する。この画像取得部７１０は、例えば、可搬型記録媒体５０の種類に応じた読み書き装置によって実現される。なお、カプセル内視鏡１０によって撮像された時系列の管空内画像の取得は、可搬型記録媒体５０を用いた構成に限定されるものではなく、例えば、画像取得部７１０の代わりにハードディスクを備える構成とし、ハードディスク内にカプセル内視鏡１０によって撮像された時系列の管空内画像を予め保存しておく構成としてもよい。あるいは、可搬型記録媒体５０の代わりに別途サーバーを設置し、このサーバーに時系列の管空内画像を予め保存しておく構成としてもよい。この場合には、画像取得部を、サーバーと接続するための通信装置等で構成し、この画像取得部を介してサーバーに接続して、サーバーから時系列の管空内画像を取得する。
【００１８】
入力部７２０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を制御部７６０に出力する。表示部７３０は、ＬＣＤやＥＬＤ等の表示装置によって実現されるものであり、制御部７６０の制御によって、時系列の管空内画像の表示画面を含む各種画面を表示する。
【００１９】
記憶部７４０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記録媒体およびその読取装置等によって実現されるものであり、画像処理装置７０の動作に係るプログラムや、画像処理装置７０の備える種々の機能を実現するためのプログラム、これらプログラムの実行に係るデータ等が格納される。また、時系列画像を構成する各管空内画像をカテゴリ領域に分類するための画像処理プログラム７４１が格納される。
【００２０】
演算部７５０は、ＣＰＵ等のハードウェアによって実現され、画像取得部７１０によって取得される時系列の管空内画像を順次処理し、各管空内画像をカテゴリ領域に分類するための種々の演算処理を行う。この演算部７５０は、管空内を移動するカプセル内視鏡１０によって撮像された時系列の管空内画像に対して時系列近傍となる他の画像との変化量を算出する変化量算出手段としての変化量算出部７５１と、画像間の変化量をもとに所定の時系列区間を設定する区間設定手段としての区間設定部７５２と、時系列区間毎の分類基準を用いて時系列区間に含まれる画像内を「粘膜」「内容物」「泡」「病変」等の複数のカテゴリ領域に分類する領域分類手段としての領域分類部７５３とを含む。また、領域分類部７５３は、時系列区間から画像を選択する画像選択手段としての画像選択部７５４と、時系列区間の各画像より特徴量を算出する特徴量算出手段としての特徴量算出部７５５と、時系列区間に含まれる画像内に存在する各カテゴリ領域の特徴量分布を推定する分布推定手段としての分布推定部７５６を備え、分布推定部７５６は、画像選択部７５４で選択された画像である選択画像の特徴量分布をクラスタリングするクラスタリング手段としてのクラスタリング部７５７と、各クラスタの情報をもとに各クラスタのカテゴリを判別するカテゴリ判別手段としてのカテゴリ判別部７５８とを備える。
【００２１】
制御部７６０は、ＣＰＵ等のハードウェアによって実現される。この制御部７６０は、画像取得部７１０から入力される画像データや入力部７２０から入力される操作信号、記憶部７４０に格納されるプログラムやデータ等に基づいて画像処理装置７０を構成する各部への指示やデータの転送等を行い、画像処理装置７０全体の動作を統括的に制御する。
【００２２】
図４は、画像処理装置７０が行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部７５０が記憶部７４０に格納された画像処理プログラム７４１を実行することにより実現される。なお、図４では、時系列順序０からＴまでの時系列画像Ｉ（０）からＩ（Ｔ）を処理する際の流れを示している。
【００２３】
図４に示すように、演算部７５０は、まず、処理対象の管空内画像の時系列順序を示す符号ｉを０に設定するとともに、時系列区間の開始画像の時系列順序を示す符号ｓを０に設定する（ステップＳ１０）。続いて、演算部７５０は、時系列順序ｉの管空内画像である画像Ｉ（ｉ）を取得する（ステップＳ１１）。そして、画像Ｉ（ｉ）に対して時系列的に連続する時刻順序ｉ＋１の管空内画像である画像Ｉ(ｉ＋１）を取得する（ステップＳ１３）。
【００２４】
次に、変化量算出部７５１が、画像Ｉ（ｉ）と画像Ｉ(ｉ＋１）の変化量を算出する（ステップＳ１５）。変化量の算出方法には様々な方法があるが、例として画像間で位置的に対応する領域を比較する方法の手順を以下に示す。まず、画像Ｉ（ｉ）、Ｉ（ｉ＋１）のＧ成分からなる画像を取得する。ここでＧ成分を用いるのは、血液中のヘモグロビンの吸収波長帯域に近く、また感度や解像度が高いことから、管空内画像の明暗情報をよく表すためである。もちろん他の画素値、あるいは既に公知の変換によって２次的に算出される明暗情報を示す値、輝度（ＹＣｂＣｒ変換）、明度（ＨＳＩ変換）等を用いてもよい。次に、各々のＧ成分画像内を所定サイズの小区画に分割する。例えば、画像内をｍ行ｎ列に分割する。続いて、分割した小区画毎に平均Ｇ成分値を求める。そして、次式（１）に従って、位置的に対応する小区画の平均Ｇ成分値の差の絶対値を求め、画像内全区画の和を変化量ｖ(ｉ＋１）とする。
【数１】
0005312807.tif 000002
【００２５】
この変化量は、カプセル内視鏡１０の動きを反映したものであり、値が大きくなるほど周囲環境が異なると考えられる。なお、上記の手法では、変化量として差の絶対値和を示したが、差の二乗和を用いてもよい。また小区画に分割せず位置的に対応する画素の画素値を比較して求めてもよい。また、ＪＰＥＧ等のように撮像データを区画単位で離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）し、圧縮符号化された画像データを用いる場合には、圧縮伸張時に単位区画毎に求められるＤＣＴ係数や、ＤＣＴ係数から２次的に計算される値を比較して求めてもよい。また、画像内の画素値の統計量を比較して求めてもよい。例えば、Ｒ，Ｇ，Ｂ成分の画像内平均値や画像内標準偏差値、ヒストグラム、またはＲ，Ｇ，Ｂ成分値より２次的に計算される色比、色差、色相、彩度等の平均値やヒストグラムを比較して求めてもよい。あるいは、ＭＰＥＧ等の動画像圧縮データを用いる場合であれば、画像間の変化量を圧縮符号化時に算出して記録しているため、画像間の変化量算出を行わずに、これらの値を利用してもよい。この場合には、変化量算出部７５１は必要ない。
【００２６】
次に、区間設定部７５２が、区間開始画像Ｉ（ｓ）からの変化量を時系列順に累積した累積値である累積変化量ｓｖを、次式（２）に従って算出する（ステップＳ１７）。そして、区間設定部７５２は、算出された累積変化量ｓｖが予め設定される所定の閾値を超えたか否か、または処理した画像Ｉ（ｉ＋１）が時系列最後の画像Ｉ（Ｔ）であるか否かを判定する（ステップＳ１９）。
【数２】
0005312807.tif 000003
【００２７】
ステップＳ１９の判定がＮｏである場合には、演算部７５０が、時系列順序を示す符号ｉをインクリメントしてｉ＝ｉ＋１とし（ステップＳ２１）、ステップＳ１３に戻る。一方、判定がＹｅｓである場合には、区間設定部７５２は、区間終了画像Ｉ（ｅ）＝Ｉ（ｉ＋１）とし、時系列区間ｓ〜ｅを設定する（ステップＳ２３）。
【００２８】
図５は、時系列区間設定の様子を示す模式図である。図５では、横軸を時系列順序、縦軸を累積変化量ｓｖとして示した累積変化量ｓｖの推移とともに、時系列順序ｉ＝０の管空内画像が区間開始画像Ｉ（ｓ）として設定された時系列区間Ｌ−１と、処理が進み別の時系列順序ｉの管空内画像が区間開始画像Ｉ（ｓ）として設定された時系列区間Ｌ−２とを示している。図５に示すように、累積変化量ｓｖが閾値を超えたか否かによって時系列区間が設定されるため、画像間の変化量が少ないと時系列区間Ｌ−１のように長めの時系列区間が設定され、変化量が大きい場合には時系列区間Ｌ−２のように短めの時系列区間が設定される。なお、図示していないが、時系列区間Ｌ−１の区間終了画像Ｉ（ｅ）と時系列区間Ｌ−２の区間開始画像Ｉ（ｓ）との間においても、所定の閾値に従って時系列区間が設定される。
【００２９】
そして、図４のステップＳ２３において時系列区間ｓ〜ｅを設定した後、続いて、領域分類部７５３が領域仮分類処理を行い、時系列区間ｓ〜ｅの各画像Ｉ（ｊ）（ｓ≦ｊ≦ｅ）内を、カテゴリ領域に仮分類する（ステップＳ２５）。図６は、領域仮分類処理の詳細な手順を示すフローチャートである。
【００３０】
領域仮分類処理では、まず、特徴量算出部７５５が、時系列区間ｓ〜ｅ内の各画像を小区画に分割し、区画毎に特徴量を算出する（ステップＳ２５１）。例えば、画像内をｍ行ｎ列に分割し、区画毎にＲ，Ｇ，Ｂ成分の平均値や標準偏差値、ヒストグラム、またはＲ，Ｇ，Ｂ成分値より２次的に計算される色比、色差、色相、彩度等の平均値やヒストグラムを求める。画素単体でなく、画素の集合である区画として纏めることによって、周囲画素との関係を含む特徴を得ることが可能となる。また、ＪＰＥＧ等のように撮像データを区画単位で離散コサイン変換（ＤＣＴ）し、圧縮符号化された画像データを用いる場合には、圧縮伸張時に単位区画毎に求められるＤＣＴ係数や、ＤＣＴ係数から２次的に計算される値を特徴量として求めてもよい。
【００３１】
次に、画像選択部７５４が、時系列区間ｓ〜ｅ内の変化量推移をもとに画像を選択する（ステップＳ２５３）。選択方法としては、まず、時系列区間ｓ〜ｅにおける累積変化量を所定数に分割する。そして、各分割位置に相当する累積変化量に最も近い画像と、区間開始画像および区間終了画像とを選択する方法が挙げられる。図７は、画像選択の様子を示す模式図であり、横軸を時系列順序、縦軸を累積変化量ｓｖとして示した累積変化量ｓｖの推移とともに、時系列順序ｉ＝０の管空内画像が区間開始画像Ｉ（ｓ）として設定された時系列区間ｓ〜ｅを示している。図７では、時系列区間ｓ〜ｅにおける累積変化量を４分割しており、分割位置に最も近い画像と、区間開始画像および区間終了画像として、時系列順序ａ１〜ａ５の各画像が選択される様子を示している。このように、画像間の変化量が同程度となるように時系列区間ｓ〜ｅ内から画像を選択することによって、以後の各カテゴリの分布推定におけるデータの偏りを軽減することができる。なお、累積変化量を用いずに変化量の値が所定の閾値以上の画像を選択する方法で画像を選択してもよい。
【００３２】
画像選択部７５４が時系列区間ｓ〜ｅ内の画像を選択（以下、選択された画像を適宜「選択画像」と呼ぶ。）した後、図６に示すように、クラスタリング部７５７が、選択画像の特徴量データを特徴空間においてクラスタリングする（ステップＳ２５５）。クラスタリングは、特徴空間内のデータ分布を塊分けする手法であり、例えば階層法、ｋ−ｍｅａｎｓ法、自己組織化マップ等の既に公知の様々な手法や、背景技術で示した特許文献１に開示される手法を用いることができる。ここで、クラスタリングを行う効果に関して、図８を参照して説明する。図８は、クラスタリングを利用した分類の効果を示す模式図である。管空内画像では、粘膜や病変等は主に色調が異なる。このため、図８に示すような色情報を示す特徴空間においては、これらの領域はそれぞれ互いに異なる分布の塊（クラスタ）を形成する。ただし、被験者や臓器、管空内の区間の差等によってその分布は変動する。図８では、図５に示した時系列区間Ｌ−１内の画像に対して行った「粘膜」と「病変」の分布の一例を実線で示し、時系列区間Ｌ−２内の画像に対して行った粘膜と病変の分布の一例を破線で示している。ここで、例えば図８中に一点鎖線で示される分類基準Ｔｈ＿ａｌｌによって「粘膜」および「病変」双方の分布を分類しようとした場合、時系列区間Ｌ−１およびＬ−２の両方に誤分類が生じてしまう。本実施の形態では、この問題を解決するため、まず、選択画像の特徴量データを一旦クラスタリングして塊分けして各クラスタを得る。そして、各クラスタの中心を判別基準Ｔｈ＿ａｌｌに従って判別した上で、各クラスタの境界を分類基準に設定することによって、各時系列区間Ｌ−１およびＬ−２の両方について良好な分類を可能にしている。すなわち、例えば図８に実線で示す時系列区間Ｌ−１内の画像をクラスタリングして得たクラスタ２１，２３に着目して説明すると、まず、各クラスタ２１，２３の中心２１１，２３１を判別基準Ｔｈ＿ａｌｌに従って判別する。これによって、中心２３１が粘膜に判別され、中心２１１が病変に判別される。そして、このクラスタ２１，２３の境界Ｔｈ＿Ｌ−１を時系列区間Ｌ−１における分類基準とする。同様にして、図８中に破線で示す時系列区間Ｌ−２内の画像をクラスタリングして得たクラスタ３１，３３については、判別基準Ｔｈ＿ａｌｌによって中心３３１が粘膜に判別され、中心３１１が病変に判別される。そして、このクラスタ３１，３３の境界Ｔｈ＿Ｌ−２を時系列区間Ｌ−２における分類基準とする。
【００３３】
選択画像の特徴量データをクラスタリングした後、図６に示すように、カテゴリ判別部７５８が、クラスタの判別基準を、既にカテゴリ判別した特徴量データをもとに設定する（ステップＳ２５７）。時系列における特徴量分布の移り変りに合せて、判別基準を更新することで、精度の高い判別を行う。図９は、カテゴリの判別基準の更新を示す模式図である。最初の時系列区間（Ｌ−１）を処理する際の破線で示す判別基準Ｔｈ１は、破線４１，４３で示す事前にカテゴリ判別しておいた教師データをもとに予め決定して記憶部７４０に保存しておく。その後、後述の各処理ステップを経て時系列区間が変更されることとなるが、変更後の時系列区間では、適用する判別基準を変更する。具体的には、判別基準Ｔｈ１が適用された実線で示す前回の時系列区間である最初の時系列区間の特徴量分布を良好に分類できる判別基準Ｔｈ２へと変更する。なお、基準Ｔｈ１とＴｈ２の間となる図９中に一点鎖線で示すＴｈ２´へと判別基準を変更してもよい。図９では、判別基準を、２つのカテゴリを判別する超平面（特徴空間の次元数−１の線形式で示される平面のことであり、図９のように２次元特徴空間では直線となる）を示しているが、判別面は超平面でなくともよい。例えば教師データの各カテゴリ分布に含まれる特徴量データの特徴ベクトルＦｎ＝(ｆｎ＿１，ｆｎ＿２，…，ｆｎ＿ｋ）ｔを算出する。ここで、ｆｎ＿ｉはｎ番目のデータのｉ番目の特徴量値であり、ｋは特徴量の次元数である。そして、求めた特徴ベクトルＦｎをもとに、次式（３）に従って平均ベクトルμ、分散共分散行列Ｚを求める。
【数３】
0005312807.tif 000004
【００３４】
続いて、求めた平均ベクトルμ、分散共分散行列Ｚの値から推定できる多次元正規分布に対する確率密度関数Ｐを、次式（４）に従ってカテゴリ毎に設定することで、カテゴリの分布を考慮した判別基準を設定することができる。
【数４】
0005312807.tif 000005
【００３５】
そして、時系列区間を変更したならば、前回の時系列区間においてカテゴリ判別したデータの特徴量を加えて、式（３）および式（４）に従った計算を行うことで判別基準を更新する。各カテゴリの発生確率は、各カテゴリの領域数／全領域数によって、カテゴリ毎に求めることができる。
【００３６】
判別基準を設定した後、図６に示すように、カテゴリ判別部７５８は、各クラスタのカテゴリを判別する（ステップＳ２５９）。具体的には、カテゴリ判別部７５８は、クラスタリングによって得られた各クラスタの平均ベクトルを求める。続いて、カテゴリ判別部７５８は、求めた平均ベクトルの値を式（４）に示す判別対象の特徴ベクトルｘとして確率Ｐ(ｘ）を算出する。そして、カテゴリ判別部７５８は、各カテゴリの発生確率を乗算した各カテゴリへの帰属確率を求め、最も大きな確率となるカテゴリを各クラスタのカテゴリであるとして判別する。
【００３７】
続いて、分布推定部７５６が、カテゴリ判別後のクラスタ内の特徴量データをもとに各カテゴリの分布を推定し、分布推定情報を求める（ステップＳ２６１）。これは、図８におけるＴｈ＿Ｌ１やＴｈ＿Ｌ２を設定する部分に相当する処理であり、各クラスタ内のデータをもとに式（３）および式（４）に従った計算を行うことで実現できる。各カテゴリの発生確率は、各カテゴリの領域数／全領域数によって、カテゴリ毎に求めることができる。
【００３８】
続いて、領域分類部７５３が、領域仮分類処理のステップＳ２５１で各画像の小区画毎に求めた特徴量と、ステップＳ２６１で求めた各カテゴリの分布推定情報をもとに、対象となる小区画を仮分類する（ステップＳ２６３）。具体的には、領域分類部７５３は、小区画毎に求めた特徴量ベクトルを式（４）に示す判別対象の特徴ベクトルｘとして確率Ｐ（ｘ）を算出し、これに各カテゴリの発生確率を乗算した各カテゴリへの帰属確率を求め、最も大きな確率となるカテゴリに仮分類する。なお、この際に帰属確率も記憶しておく。そして、図４のステップＳ２５にリターンし、その後ステップＳ２７に移行する。
【００３９】
時系列区間ｓ〜ｅの各画像Ｉ（ｊ）（ｓ≦ｊ≦ｅ）内をカテゴリ領域に仮分類する領域仮分類処理を終えると、区間設定部７５２が、時系列区間の終了画像Ｉ（ｅ）が、時系列画像最終の画像Ｉ（Ｔ）であるか判定する（ステップＳ２７）。判定がＮｏである場合には時系列区間の開始画像順序ｓをｓ´として記憶し、その後、所定の時系列幅ｄｓだけ時系列後方に変更した新たな開始画像順序ｓ＝ｓ＋ｄｓを設定する（ステップＳ２９）。ここで、時系列区間内の画像をもとに特徴量分布を推定し、この推定結果をもとにカテゴリ分類を行う場合、時系列区間の端となる区間開始画像や区間終了画像に関しては、時系列的に連続する画像との分類基準が急に変化することになる。そこで、例えば次式（５）に従って時系列幅を算出することによって時系列区間が必ず重なり合うように新たな区間開始画像を設定する。そして、重なり合った複数の時系列区間については、その時系列区間毎の分類基準で仮分類した結果を最終的に統合し、分類結果を求めるようにする。
ｄｓ＝０．５＊(ｅ−ｓ＋１）・・・（５）
なお、処理速度等の観点から、全く区間に重なりが生じないようにｄｓ＝ｅ−ｓ＋１としてもよい。
【００４０】
次に、領域分類部７５３は、画像Ｉ（ｓ´）〜Ｉ（ｓ−１）の各画像内をカテゴリ領域に分類する（ステップＳ３１）。先に述べたように、分類基準の不連続性を解決するため、時系列区間を重ねた場合、Ｉ（ｓ´）〜Ｉ（ｓ−１）の画像に対しては、重複する各時系列区間についての仮分類結果が得られている状態にある。そこでこれらの画像に対しては、仮分類結果をもとに最終的な分類結果を求める。区間の重なり幅が大きく、一つの小区画を多数の時系列区間で処理し、多数の仮分類結果が得られている場合には、最も回数の多いカテゴリに分類すればよい。また仮分類結果が２個等の場合には、分類の確信度に相当する値、例えばカテゴリ分布への帰属確率などが大きな方のカテゴリを最終的なカテゴリにする方法でもよい。そして、演算部７５０が、処理対象となる管空内画像の時系列順序を示す符号ｉ＝ｉ＋１とした後（ステップＳ３３）、処理ステップＳ１３に戻って上記の処理を繰り返し実行する。
【００４１】
一方、処理ステップＳ２７での判定がＹｅｓである場合、すなわち時系列区間ｓ〜ｅの区間終了画像が時系列画像の最後の画像である場合には、領域分類部７５３は、画像Ｉ（ｓ）〜Ｉ（Ｔ）の各画像内をカテゴリ領域に分類する（ステップＳ３５）。これは、処理対象の画像が異なる以外は、ステップＳ３１と同様の処理である。そして、演算部７５０は、時系列画像を構成する各画像に対するカテゴリ分類結果を出力して（ステップＳ３７）、画像処理装置７０での処理を終了する。例えば、演算部７５０は、制御部７６０を介してカテゴリ分類結果を表示部７３０に表示出力させる。
【００４２】
以上説明したように、本実施の形態によれば、時系列区間に含まれる画像間の変化量の累積値が所定値となるように時系列区間を設定することができる。そして、設定した時系列区間毎の分類基準を用いて、この時系列区間に含まれる画像内をカテゴリ分類することができる。これによれば、各時系列区間に含まれる画像内を、適正な分類基準を用いて各カテゴリ領域に分類することができ、分類精度を向上させることができる。したがって、時系列画像を構成する各画像を効率よく処理できるとともに、各画像から病変部を精度よく検出することができるという効果を奏する。
【図面の簡単な説明】
【００４３】
【図１】画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。
【図２】管空内画像の一例を示す図である。
【図３】画像処理装置の機能構成を説明するブロック図である。
【図４】画像処理装置が行う処理手順を示す全体フローチャートである。
【図５】時系列区間設定の様子を示す模式図である。
【図６】領域仮分類処理の詳細な手順を示すフローチャートである。
【図７】画像選択の様子を示す模式図である。
【図８】クラスタリングを利用した分類の効果を示す模式図である。
【図９】カテゴリの分類基準の更新を示す模式図である。
【符号の説明】
【００４４】
１０      カプセル内視鏡
３０      受信装置
Ａ１〜Ａｎ      受信用アンテナ
５０      可搬型記録媒体
７０      画像処理装置
７１０      画像取得部
７２０      入力部
７３０      表示部
７４０      記憶部
７４１      画像処理プログラム
７５０      演算部
７５１      変化量算出部
７５２      区間設定部
７５３      領域分類部
７５４      画像選択部
７５５      特徴量算出部
７５６      分布推定部
７５７      クラスタリング部
７５８      カテゴリ判別部
７６０      制御部
１      被検体
【図１】
0005312807.tif 000006
【図２】
0005312807.tif 000007
【図３】
0005312807.tif 000008
【図４】
0005312807.tif 000009
【図５】
0005312807.tif 000010
【図６】
0005312807.tif 000011
【図７】
0005312807.tif 000012
【図８】
0005312807.tif 000013
【図９】
0005312807.tif 000014