(57)【要約】【課題】時系列的に撮像された複数枚の時系列画像の観察のための視認性を向上させる。【解決手段】撮像装置が被写体を時系列に撮像した複数枚の時系列画像の被写体に対する各々の撮像位置を、被写体に応じて予め設定された被写体モデルに対して各時系列画像の被写体形状が適合する被写体モデルの座標上の位置で特定することにより規格化する規格化部５１と、この規格化部５１により各々の撮像位置が規格化された各時系列画像を、被写体モデルの座標系に従い、規格化された各撮像位置に配置させて表示部２０に表示させる表示制御部４１と、を備える。【選択図】        図２
2010069208.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置が被写体を時系列に撮像した複数枚の時系列画像の前記被写体に対する各々の撮像位置を、前記被写体に応じて予め設定された被写体モデルに対して前記各時系列画像の被写体形状が適合する該被写体モデルの座標上の位置で特定することにより規格化する規格化部と、
該規格化部により各々の撮像位置が規格化された前記各時系列画像を、前記被写体モデルの座標系に従い、規格化された各撮像位置に配置させて表示部に表示させる表示制御部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記被写体に応じて予め設定された前記被写体モデルは、円形被写体を含み前記座標系に従う数式で表現された円形モデルであり、
前記規格化部は、前記各時系列画像内の複数点の画素情報を用いて前記円形モデルを表現する前記数式のパラメータを算出し、算出された該パラメータに従い前記各時系列画像の被写体形状が前記座標系上で前記円形モデルに適合する位置を特定することで撮像位置の規格化を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記規格化部により各々の撮像位置が規格化された前記各時系列画像について、前記被写体モデルの座標系に対応させた座標系の階層構造のレイヤーとして重ね合わせ表示させるためのレイヤーデータを作成するレイヤー作成部をさらに備え、
前記表示制御部は、作成された前記各レイヤーデータに従い前記各時系列画像を階層構造の前記レイヤーとして前記表示部で重ね合わせて表示させることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記表示制御部は、重ね合わせ表示の最前面に位置する前記レイヤーの表示を順次消去しまたは出現させることで複数枚の前記時系列画像を時系列的に重ね合わせ表示させることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記表示制御部は、重ね合わせ表示の最前面に位置する前記レイヤーに表示されたまたは表示される前記時系列画像の透過率を順次連続的に変化させることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
階層構造における近隣の前記レイヤー間での前記時系列画像同士の類似度を算出する類似度算出部と、
該類似度算出部により算出された類似度に基づき、階層構造における前記時系列画像のレイヤー順序を並び替える並び替え部と、
をさらに備えることを特徴とする請求項３〜５のいずれか一つに記載の画像処理装置。
【請求項７】
前記類似度算出部は、前記時系列画像間の撮像時の時間的距離に応じた重み付けを行って類似度を算出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記円形モデルを用いて各々の撮像位置が規格化された前記各時系列画像を、階層構造における近隣の前記レイヤーの他の前記時系列画像との間で位置合わせする位置合わせ部をさらに備えることを特徴とする請求項３〜７のいずれか一つに記載の画像処理装置。
【請求項９】
前記位置合わせ部は、前記各時系列画像を、前記円形モデルの座標系に従い円の円周方向に回転させながら近隣の他の前記レイヤーの前記時系列画像との間で位置合わせすることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記位置合わせ部は、前記各時系列画像を、前記円形モデルの座標系に従い円の径方向に拡大または縮小させながら近隣の他の前記レイヤーの前記時系列画像との間で位置合わせすることを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
階層構造における近隣の前記レイヤー間で前記時系列画像同士の画質を調整する画質調整部をさらに備えることを特徴とする請求項３〜１０のいずれか一つに記載の画像処理装置。
【請求項１２】
前記複数枚の時系列画像は、被検体内に導入された前記撮像装置が体内管腔器官を前記被写体として撮像した時系列画像であることを特徴とする請求項１〜１１のいずれか一つに記載の画像処理装置。
【請求項１３】
撮像装置が被写体を時系列に撮像した複数枚の時系列画像の前記被写体に対する各々の撮像位置を、前記被写体に応じて予め設定された被写体モデルに対して前記各時系列画像の被写体形状が適合する該被写体モデルの座標上の位置で特定することにより規格化する規格化ステップと、
該規格化ステップにより各々の撮像位置が規格化された前記各時系列画像を、前記被写体モデルの座標系に従い、規格化された各撮像位置に配置させて表示部に表示させる表示制御ステップと、
を備えることを特徴とする画像処理方法。
【請求項１４】
画像処理装置が備えるコンピュータに、
撮像装置が被写体を時系列に撮像した複数枚の時系列画像の前記被写体に対する各々の撮像位置を、前記被写体に応じて予め設定された被写体モデルに対して前記各時系列画像の被写体形状が適合する該被写体モデルの座標上の位置で特定することにより規格化する規格化手順と、
該規格化手順により各々の撮像位置が規格化された前記各時系列画像を、前記被写体モデルの座標系に従い、規格化された各撮像位置に配置させて表示部に表示させる表示制御手順と、
を実行させることを特徴とする画像処理用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カプセル型内視鏡等の撮像装置が消化器官等の被写体を時系列に撮像した複数枚の時系列画像を観察するための画像処理装置、画像処理方法および画像処理用プログラムに関するものである。
【背景技術】
【０００２】
近年は、カプセル型内視鏡のように口から飲み込むことにより体内消化器管を撮像し内視鏡検査を行うことができる医療装置が実現されている。カプセル型内視鏡は、体内に導入された後、消化器管の蠕動運動等により移動しながら順次画像を撮像し、撮像した画像データを体外の受信装置に送信する。医師は、受信装置に蓄積された画像を診断用のワークステーション等に移し、観察する。観察により患部が見つかった場合、必要に応じ患者の体内に医療処置具の挿入をしたり、患者の体を切開したりするなどして組織採取や止血、患部切除といった医療処置が行われる。
【０００３】
このような医療処置を効率よく行うためには、カプセル型内視鏡において撮像された画像データを観察する際に、その画像の視認性を向上させることが有用となる。一般に、カプセル型内視鏡の体内消化器官内での動きは不安定であり、消化器官で生ずる蠕動運動等の影響により、カプセル型内視鏡が体内で前後し同一部位付近を繰り返し撮像することが度々起こる。また、カプセル型内視鏡が一箇所に長く留まっているなどの挙動を示すこともある。このようなカプセル型内視鏡の挙動により、例えば同一部位付近の画像が周期性をもって繰り返し表示される等、画像の視認性が低下し、結果として医師等による観察者の画像観察の効率が低下することとなる。
【０００４】
医師による診断のための画像観察の視認性を向上させる手法として、特許文献１においては、カプセル型内視鏡により撮像された複数の画像間で類似点を比較し、比較の結果、類似点を持つと判断された画像同士を統合するという方法を用いている。
【０００５】
また、非特許文献１では、被写体のモデルとして小腸の収縮位置を想定し、その位置をエッジ解析などにより求め、画像の中心とすることで画像の視認性を向上させる方法が提案されている。
【０００６】
【特許文献１】特許第３６３９８２５号公報
【非特許文献１】“カプセル内視鏡を用いた小腸収縮位置の検出”，電子情報通信学会技術研究報告，電子通信情報学会，no.MI2005-110，pp．9-12，沖縄，1月，2006
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１では、撮像された複数の画像間において類似点を比較しているだけであり、撮像されている被写体についての知識は、画像の統合処理において何ら用いられていない。よって、特許文献１のように撮像された複数の画像間において類似点のみの比較を行う手法では、画像間での類似点を発見することが困難となってしまうことが度々起こる。この結果、複数の画像の統合処理も困難となり、結局、画像観察に際して視認性の向上が不十分となってしまう。
【０００８】
また、非特許文献１では、画像に被写体モデルとして小腸の収縮位置を当てはめ、画像の規格化を行っているが、被写体モデルが小腸に限定されているため、他の体内器官に対応しづらいという欠点がある。これにより、医師等による診断のための時系列的に撮像された複数枚の画像観察に際して視認性の向上が不十分となる。
【０００９】
本発明は、上記に鑑みてなされたものであって、撮像装置が被写体を時系列に撮像した複数枚の時系列画像の観察のための視認性を向上させ得る画像処理装置、画像処理方法および画像処理用プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明のある態様にかかる画像処理装置は、撮像装置が被写体を時系列に撮像した複数枚の時系列画像の前記被写体に対する各々の撮像位置を、前記被写体に応じて予め設定された被写体モデルに対して前記各時系列画像の被写体形状が適合する該被写体モデルの座標上の位置で特定することにより規格化する規格化部と、該規格化部により各々の撮像位置が規格化された前記各時系列画像を、前記被写体モデルの座標系に従い、規格化された各撮像位置に配置させて表示部に表示させる表示制御部と、を備えるものである。
【００１１】
この態様にかかる画像処理装置によれば、撮像装置が撮像した複数枚の時系列画像の被写体に対する各々の撮像位置を、撮像装置が撮像する被写体に応じて予め設定された共通の被写体モデルの座標上の位置で規格化し、各々の撮像位置が規格化された各時系列画像を、被写体モデルの座標系に従い、規格化された各撮像位置に配置させて表示部に表示させるので、共通の被写体モデルを通じて各時系列画像間の実質的な位置合わせがなされた表示が可能となり、複数枚の時系列画像の視認性が向上し、この際、被写体に応じて予め設定された被写体モデルを用いることで、特定の被写体モデルに限られることなく撮像する被写体に応じた対応が可能となる。
【００１２】
また、本発明の別の態様にかかる画像処理方法は、撮像装置が被写体を時系列に撮像した複数枚の時系列画像の前記被写体に対する各々の撮像位置を、前記被写体に応じて予め設定された被写体モデルに対して前記各時系列画像の被写体形状が適合する該被写体モデルの座標上の位置で特定することにより規格化する規格化ステップと、該規格化ステップにより各々の撮像位置が規格化された前記各時系列画像を、前記被写体モデルの座標系に従い、規格化された各撮像位置に配置させて表示部に表示させる表示制御ステップと、を備えるものである。
【００１３】
また、本発明の別の態様にかかる画像処理プログラムは、画像処理装置が備えるコンピュータに、撮像装置が被写体を時系列に撮像した複数枚の時系列画像の前記被写体に対する各々の撮像位置を、前記被写体に応じて予め設定された被写体モデルに対して前記各時系列画像の被写体形状が適合する該被写体モデルの座標上の位置で特定することにより規格化する規格化手順と、該規格化手順により各々の撮像位置が規格化された前記各時系列画像を、前記被写体モデルの座標系に従い、規格化された各撮像位置に配置させて表示部に表示させる表示制御手順と、を実行させるものである。
【発明の効果】
【００１４】
本発明によれば、撮像装置が被写体を時系列に撮像した複数枚の時系列画像の観察のための視認性を向上させることができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照しつつ本発明にかかる画像処理装置、画像処理方法および画像処理用プログラムの好適な実施の形態について説明する。本実施の形態では、被検体内に導入された撮像装置であるカプセル型内視鏡が体内管腔器官を被写体として時系列的に撮像した約６万枚に及ぶ一連の時系列画像に所定の処理を施して、表示部に表示させる画像処理装置を例に説明する。なお、図面の記載において同一部分または相当する部分には同一の符号を付して示す。
【００１６】
図１は、本発明の実施の形態にかかる画像処理装置を含む被検体内画像情報取得システムの構成例を示す概略図である。本実施の形態では、被検体内に導入されて体内管腔器官を被写体として画像を撮像する撮像装置として、カプセル型内視鏡を例示している。カプセル型内視鏡は、撮像機能や無線機能、撮像部位を照明する照明機能等を具備しており、検査のために被検体の口から飲み込まれた後、自然排出されるまたはバッテリーが切れるまでの間、食道、胃、小腸、大腸という体内消化器管（体内管腔器官）の管腔内画像を順次撮像し、体外に無線送信する。
【００１７】
図１に示すように、本実施の形態の被検体内画像情報取得システムは、被検体１内に導入されて体内消化器官の時系列画像を撮像する撮像装置であるカプセル型内視鏡３、このカプセル型内視鏡３から無線送信された時系列画像の画像データを受信する受信アンテナ群Ａ１〜Ａｎ、これら受信アンテナ群Ａ１〜Ａｎで受信した画像データを処理し、画像データを蓄積する受信装置４、および、この受信装置４に蓄積された画像データを処理し本実施の形態の画像処理装置を実現するワークステーション１００を備える。受信装置４とワークステーション１００との間の画像データの受け渡しには、例えば着脱可能な携帯型記録媒体５が使用される。
【００１８】
図２は、本実施の形態にかかる画像処理装置を実現するワークステーション１００の概略構成を示すブロック図である。ワークステーション１００は、例えば汎用コンピュータによって構成されたものであり、各種情報の入力を受け付ける入力部１０、処理結果など各種情報を表示出力する表示部２０、時系列画像の画像データなどの各種情報を記憶する記憶部３０およびワークステーション１００の各部の処理および動作を制御する制御部４０を備える。さらにワークステーション１００は、カプセル型内視鏡３が体内消化器官を時系列的に撮像した複数枚の時系列画像を処理する画像処理部５０を備える。
【００１９】
入力部１０は、キーボード、マウスおよびデータ通信インターフェイスなどによって実現され、医師等の観察者から直接に各種情報の入力を受け付けるとともに、各種メモリカード、ＣＤ、ＤＶＤなどの携帯型記録媒体５から体内消化器官を撮像した時系列画像の画像データの入力を受け付ける。この入力部１０は、表示部２０に表示された画像などを選択する操作を受け付ける操作受付部１１を備える。
【００２０】
表示部２０は、ＬＣＤ，ＥＬＤなどの表示デバイスによって実現され、画像処理部５０で画像処理された画像などを表示する。また、表示部２０は、観察者に対して各種処理情報の入力を依頼するＧＵＩ（Graphical User Interface）画面を表示する。記憶部３０は、ハードディスク、ＲＯＭおよびＲＡＭなどによって実現され、制御部４０に実行させる画像処理用プログラム等の各種処理プログラム、処理結果などの各種情報を記憶する。
【００２１】
制御部４０は、ＣＰＵによって実現され、記憶部３０に記憶された各種処理プログラムを実行することで、ワークステーション１００が備える各部の処理および動作を制御する。特に、制御部４０は、画像処理用プログラムを実行することで、画像処理部５０の各部に本実施の形態にかかる画像処理手順を行わせる。また、制御部４０は、画像処理部５０で所定の画像処理が施された時系列画像を表示部２０に表示させるための制御などを行う表示制御部４１を備える。特に、本実施の形態の表示制御部４１は、後述する規格化部の処理により体内消化器官（被写体）に対する撮像位置が予め設定された所定の被写体モデルを用いて規格化された時系列画像を、被写体モデルの座標系上の撮像位置に配置させて表示部２０に表示させるよう制御する。
【００２２】
画像処理部５０は、規格化部５１、レイヤー作成部５２、類似度算出部５３、並び替え部５４、位置合わせ部５５および画質調整部５６を備え、カプセル型内視鏡３が体内消化器官を時系列的に撮像した複数枚の時系列画像に対して、以下に説明するような所定の画像処理を施す。
【００２３】
まず、画像処理部５０の各部の処理内容の概要について説明する。規格化部５１は、カプセル型内視鏡３により時系列的に撮像されて記憶部３０に格納された複数枚の時系列画像に関して、体内消化器官（被写体）に対する各々の撮像位置を、撮像する体内消化器官に応じて予め設定された被写体モデルに対して各時系列画像の被写体形状が適合するこの被写体モデルの座標上の位置で特定することにより規格化する処理を実行する。これにより、基本的に、表示制御部４１が、この規格化部５１により各々の撮像位置が規格化された各時系列画像を、被写体モデルの座標系に従い、規格化された各撮像位置に配置させて表示部２０に表示させることを可能とする。
【００２４】
また、レイヤー作成部５２は、表示制御部４１によって各時系列画像を階層構造のレイヤーとして表示部２０で重ね合わせて表示させるために、規格化部５１により各々の撮像位置が規格化された各時系列画像について、被写体モデルの座標系に対応させた座標系の階層構造のレイヤーとして重ね合わせ表示させるためのレイヤーデータを作成するためのものである。このため、レイヤー作成部５２は、規格化部５１から規格化された各時系列画像の撮像位置に関する規格化情報および時系列画像のデータを取得し、階層構造のレイヤー毎に、被写体モデルの座標系に対応させた座標系上で規格化情報に従う位置に各時系列画像を配置させたレイヤーデータを作成する処理を実行する。作成されるレイヤーデータには、重ね合わせるレイヤー順序を示すレイヤー番号も含まれ、基本的には、時系列画像の時系列順（撮像順）に設定される。
【００２５】
さらに、類似度算出部５３は、レイヤー作成部５２によって作成されたレイヤー毎のレイヤーデータを取得し、階層構造における近隣のレイヤー間での時系列画像同士の類似度を算出する処理を実行する。また、並び替え部５４は、類似度算出部５３によって算出された類似度の情報および時系列画像のレイヤーデータを取得し、取得した類似度に基づき、類似度が大きい順に時系列画像が並ぶように、階層構造における時系列画像のレイヤー順序を並び替える処理を実行する。
【００２６】
また、位置合わせ部５５は、並び替え部５４によってレイヤー順序の並び替えが行われた時系列画像のレイヤーデータを取得し、処理のターゲットとなる各時系列画像を、階層構造における近隣のレイヤーの他の時系列画像との間で、これら時系列画像同士の類似度が最大となるように位置合わせする処理を実行する。
【００２７】
さらに、画質調整部５６は、位置合わせ部５５によって位置合わせ処理が行われた時系列画像のレイヤーデータを取得し、階層構造に従い重ね合わせ表示される近隣のレイヤーの時系列画像間で繋ぎ目の違和感をなくすために画質を調整する処理を実行する。
【００２８】
画質調整部５６によって画質調整された複数枚の時系列画像のレイヤーデータは、表示制御部４１によって表示部２０に出力され、複数枚の時系列画像は、被写体モデルの座標系に対応させた座標系の階層構造のレイヤーとして重ね合わせ表示される。この時、医師等の観察者は画像処理部５０による画像処理で、表示上の配置等が整形された時系列画像を表示部２０による表示を通じて観察可能である。そして、操作受付部１１を介したＧＵＩ画面の操作により、表示部２０上での表示状態を自由に変更することが可能となる。また、画質調整部５６から出力される時系列画像のレイヤーデータは、記憶部３０に記憶させることも可能である。この記憶部３０に記憶させた時系列画像のレイヤーデータは、表示部２０に表示可能である。よって、画像処理後の整形された時系列画像は、処理時に限らず、その後の任意の時点で観察可能となる。
【００２９】
次に、画像処理部５０の各部によって実行される処理の詳細について説明する。まず、規格化部５１による時系列画像の被写体に対する撮像位置の規格化について説明する。規格化部５１は、各時系列画像の被写体に対する撮像位置を規格化するために、撮像対象となる被写体に応じて予め設定された共通の被写体モデルを用いる。本実施の形態では、被写体モデルとして、中心が暗く、中心から離れるに従い明るくなっていく円形被写体を含みその中心をｘｙ座標系の原点とする所定の数式で表現される円形モデルが予め設定されている（図３−３参照）。これは、本実施の形態の適用分野がカプセル型内視鏡３であり、カプセル型内視鏡３で撮像される被写体としての体内器官の形状が概ね円管状を持つためである。すなわち、円形形状の中心は、体内器官の円管の深部を想定し、円形形状の外側の部分は、体内器官の円管の撮像位置から近い側壁部を表現している。
【００３０】
規格化部５１は、カプセル型内視鏡３で撮像された各時系列画像が体内器官の円管のどの位置（撮像位置）を撮像したのかを、各時系列画像に円形モデル（被写体モデル）を適用することで特定するものである。すなわち、各時系列画像の撮像位置を共通の円形モデル上の位置で特定することにより、各時系列画像の撮像位置は規格化されることとなる。なお、本実施の形態において、カプセル型内視鏡３が時系列的に撮像した被検体１内部の時系列画像の枠は、ｘ，ｙ座標軸に対して概ね水平、垂直に近い状態に維持されているものとする。
【００３１】
ここで、円形形状の円形モデル（被写体モデル）を数式により表現すると、（１）式のようになる。
【００３２】
（数１）
Ｆ(ｘ，ｙ)＝ｄ｛（ｘ−ａ）２＋（ｙ−ｂ）２｝＋ｃ２
【００３３】
（１）式のＦ(ｘ，ｙ)は、被写体のｘｙ座標系における画像の画素位置を示す座標（ｘ，ｙ）における輝度情報のモデルを表しており、円形モデル（被写体モデル）のパラメータはａ，ｂ，ｃ，ｄである。これらパラメータａ，ｂ，ｃ，ｄを解くために、実際に撮像された画像において、複数、例えば４つの画素から輝度情報と画素位置との組（Ｆ１，ｘ１，ｙ１），（Ｆ２，ｘ２，ｙ２），（Ｆ３，ｘ３，ｙ３），（Ｆ４，ｘ４，ｙ４）の情報を画素情報として取得し、（１）式に当てはめることで、以下に示す４つの関係式を取得し、これら４つの式により円形モデル（被写体モデル）のパラメータａ，ｂ，ｃ，ｄを求めることが可能となる。
【００３４】
（数２）
Ｆ１(ｘ１，ｙ１)＝ｄ｛（ｘ１−ａ）２＋（ｙ１−ｂ）２｝＋ｃ２ 
Ｆ２(ｘ２，ｙ２)＝ｄ｛（ｘ２−ａ）２＋（ｙ２−ｂ）２｝＋ｃ２ 
Ｆ３(ｘ３，ｙ３)＝ｄ｛（ｘ３−ａ）２＋（ｙ３−ｂ）２｝＋ｃ２ 
Ｆ４(ｘ４，ｙ４)＝ｄ｛（ｘ４−ａ）２＋（ｙ４−ｂ）２｝＋ｃ２
【００３５】
ただし、実際は４つの画素情報だけでは、ノイズの影響等のため推定が安定的に行えないことがあるため、より多くの点についての画素情報を用いて式を作成し、最小二乗基準を用いてパラメータａ，ｂ，ｃ，ｄを求めることが望ましい。あるいは、画素情報に代えて、注目画素の近隣のピクセルの平滑化により、該当位置の輝度情報を上げるなどの処理を行い、よりロバストにパラメータａ，ｂ，ｃ，ｄを推定するようにしてもよい。
【００３６】
また、本実施の形態では、被写体モデルとして、中心が暗く、中心から離れるに従い明るくなっていく円形モデルを用いるようにしたが、実際は、撮像対象となる被写体に特有なモデルを用いるのであれば、どのような被写体モデルを用いても構わない。例えば、本実施の形態では、一つの円形形状による円形モデルとしたが、より詳細な被写体モデルとして、複数の円形形状を組合せた円形モデルを用いても構わない。また、例えば、円形形状をより正確に表現するために被写体モデルを楕円形形状へと変化させても構わない。
【００３７】
このようにして円形モデルのパラメータａ，ｂ，ｃ，ｄを算出することにより、実際に撮像された時系列画像が円形モデルの座標系上のどの位置（撮像位置）で撮像されたかが分かる。例えば、円形モデルのパラメータａ，ｂ，ｃ，ｄが（Ａ，Ｂ，Ｃ，Ｄ）であった場合、時系列画像は、円形モデルのｘｙ座標系において中心（原点）から（Ａ，Ｂ）の位置の輝度がＣ２であり、（Ａ，Ｂ）の位置から距離ｒだけ離れるに従い、輝度値がＤｒ２の割合で増えていくような撮像位置で撮像されたことが分かる。すなわち、規格化部５１は、各時系列画像内の複数点の画素情報を用いてこれらパラメータａ，ｂ，ｃ，ｄを算出することで、その時系列画像の被写体形状がｘｙ座標系上で円形モデルに適合する座標位置を特定することができ、特定された座標位置をその時系列画像の撮像位置として規格化する。
【００３８】
レイヤー作成部５２は、円形モデル（被写体モデル）上の座標位置によって撮像位置が規格化された時系列画像について、階層構造のレイヤーとして重ね合わせ表示させるためのレイヤーデータを作成する。ここで、レイヤーデータを作成する階層構造の各レイヤーは、円形モデルのｘｙ座標系に対応させた座標系とする。すなわち、（１）式で示される円形モデルのｘｙ座標系の原点（円の中心）を各レイヤーの中心位置とし、その中心位置の輝度値を０とし、その中心位置から距離ｒだけ離れるに従い、輝度値がｒ２の割合で増えていくような座標系である。そして、レイヤー作成部５２は、このような座標系上で規格化部５１から得られた規格化情報に従う座標位置に各時系列画像を配置させることでレイヤー毎のレイヤーデータを作成する。
【００３９】
例えば、上例では、円形モデルに従い（Ａ，Ｂ，Ｃ，Ｄ）のパラメータが求められた時系列画像は、その時系列画像の（Ａ，Ｂ）の座標位置を該当レイヤー上の中心位置に配置し、その時系列画像全体に−Ｃ２のオフセットを加え、レイヤー上で距離ｒだけ離れるに従い輝度値がｒ２の割合で増えていくように、１／Ｄにより輝度変化に調整をかける。このようにして該当レイヤー上の所定位置に、該当する時系列画像を配置させることで、各々の時系列画像を重ね合わせ表示のために階層構造にレイヤー化する。
【００４０】
図３−１〜図３−４は、時系列画像の規格化処理、レイヤー化処理例を示す説明図である。図３−１に示す１〜５の５枚の画像は、カプセル型内視鏡３により実際に撮像された時系列画像の一例を時系列順に示したものである。また、図３−２に示す１〜５の５枚の画像は、図３−１に示した１〜５の５枚の時系列画像について算出されたパラメータに従い円形モデルで表現したものである。さらに、図３−３は、図３−２に示す結果を、円形モデルのｘｙ座標系に対応させた座標系上で規格化情報に従い５枚の各レイヤーに配置させた様子を表している。図３−３中の、中心が黒く、中心から離れるに従い徐々に白くなっている部分が、被写体モデルとしての円形モデルを示している。また、図３−４は、円形モデルのｘｙ座標系に対応させた座標系上で規格化情報に従い５枚の各レイヤーに実際に撮像された図３−１に示す５枚の時系列画像を配置させて表示部２０に重ね合わせ表示させた結果を示している。
【００４１】
例えば、図３−１中の１に示す時系列画像は、（１）式の円形モデルで表現すると、図３−２中の１に示すモデル化画像のようになる。この図３−２中の１に示すようなモデル化画像は、（１）式から算出したパラメータに従えば、図３−３中に示す円形モデルの座標系上の１で示すような位置がその被写体形状が適合する位置として特定される。規格化部５１は、このようにして、図３−１中の１に示す時系列画像の撮像位置を、円形モデルを用いて表現すれば図３−３中の１に示す位置であるとして特定することで規格化する。他の時系列画像についても同様である。すなわち、共通の円形モデルを利用することで、各時系列画像の円形モデルに対する位置合わせがなされる。
【００４２】
この際、一つの時系列画像のみの表示では、被写体の一部のみの画像表示となるため、レイヤー作成部５２による処理を経て、図３−４に示すように、各時系列画像を階層構造の各レイヤー上に撮像位置に従い配置させて重ね合わせ表示させることで、被写体の全体像を観察できるようにしている。
【００４３】
なお、図３では、各レイヤー上に配置された各時系列画像の重ね合わせ状態を分りやすくするため、用いている時系列画像の枚数が少ないことから、図３−４に示す表示部２０の表示例において被写体モデルの形状の一部が背景として見える状態となっている。しかし、実際は、より多くの枚数の時系列画像を用いて処理され、これら多数枚分のレイヤー上の時系列画像が被写体モデル上で全域を覆うように重ね合わせ表示されるため、背景の被写体モデルの形状は殆ど見えない状態となる。もっとも、被写体モデルが見える表示状態の場合には、被写体モデルのＣＧ（コンピュータ・グラフィック）をそのまま表示させてもよく、あるいは、灰色表示させるようにしてもよい。
【００４４】
このようにレイヤー作成部５２で複数枚の時系列画像をレイヤー上に配置させるレイヤーデータを作成し、表示部２０における表示に際しては、複数枚の時系列画像を階層構造のレイヤーとして重ね合わせて表示させるので、個々の時系列画像のみでは被写体についての一部の撮像部位のみの表示となってしまうのに対して、階層構造のレイヤーに従い複数枚の時系列画像が同時に表示される重ね合わせ表示により１枚の時系列画像の周囲まで実質的に拡張されることで被写体全体に亘る表示状態となり、１枚の時系列画像のみでは表示しきれない情報不足分が補われ、視認性が格段に向上することとなる。
【００４５】
次に、類似度算出部５３による類似度算出処理および並び替え部５４による並び替え処理について説明する。まず、所定範囲のレイヤーＩを重ねられた順番にＮ枚取得する（Ｉ１，Ｉ２，…，ＩＮ）。そして、類似度算出部５３が、先頭に位置しターゲットとなるレイヤーＩ１と残りの（Ｎ−１）枚のレイヤーとの間で、各々時系列画像同士の類似度を算出し、算出された類似度の情報に基づき、並び替え部５４が、ターゲットとなるレイヤーＩ１に対して最も類似度の高いレイヤーをターゲットレイヤーＩ１の次に持ってくる処理を行う。例えば、ターゲットレイヤーＩ１に対して最も類似度の高いレイヤーがＩｋであった場合、Ｎ枚のレイヤーは、（Ｉ１，Ｉｋ，Ｉ２，…，ＩＮ）という並びにレイヤー順序が並び替えられる。ただし、ここでの処理において、ターゲットレイヤーＩ１に対する類似度が所定の閾値よりも小さい場合には類似する対象が存在しなかったものとみなし、レイヤー順序の並び替え処理を行わない、というようにしてもよい。
【００４６】
例えば、図４に示すように、ターゲットレイヤーＩｋよりも前面側に存在し、レイヤーの階層構造においてターゲットレイヤーＩｋと各々共有する領域Ｌ´，Ｍ´，Ｎ´を有するレイヤーＩｌ，Ｉｍ，Ｉｎが３枚あるとする。そこで、類似度算出部５３は、ターゲットレイヤーＩｋとレイヤーＩｌとの間で共有する領域Ｌ´について各々の時系列画像同士の類似度を算出し、また、ターゲットレイヤーＩｋとレイヤーＩｍとの間で共有する領域Ｍ´について各々の時系列画像同士の類似度、ターゲットレイヤーＩｋとレイヤーＩｎとの間で共有する領域Ｎ´について各々の時系列画像同士の類似度についても算出する。このような類似度の算出の結果、類似度がレイヤーＩｌ，Ｉｍ，Ｉｎの順に大きければ、並び替え部５４は、ターゲットレイヤーＩｋに対するレイヤーＩｌ，Ｉｍ，Ｉｎの並び替えは行なわず、レイヤー順序は、Ｉｋ，Ｉｌ，Ｉｍ，Ｉｎのままとする。一方、算出された類似度がレイヤーＩｍ，Ｉｌ，Ｉｎの順に大きければ、並び替え部５４は、ターゲットレイヤーＩｋの次にレイヤーＩｍがくるように、ターゲットレイヤーＩｋに対するレイヤーＩｌ，Ｉｍ，Ｉｎの並び替えを行い、レイヤー順序がＩｋ，Ｉｍ，Ｉｌ，Ｉｎとなるようにする。
【００４７】
類似度の評価方法としては、レイヤー画像間の差分エラー値を評価指標としてもよい。差分エラー値の代表的な指標としてはＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference)、正規化相互相関等がある。ＳＳＤを例に示すと
【００４８】
【数３】
2010069208.tif 000003
【００４９】
となる。ここで、Ωｋは、ターゲットレイヤーＩ１およびレイヤーＩｋの画素値が共に存在している共通存在領域である。この式により、ＳＳＤを評価し、ＳＳＤが最も低いレイヤーをターゲットレイヤーＩ１の直後のレイヤー位置に並び替える。このとき、共通存在領域Ωｋが小さく、ＳＳＤ等の類似度値を正当に評価できない場合が起こり得る。このような場合を考慮し、例えばターゲットレイヤーに対する共通存在領域Ωｋが所定の閾値よりも小さい場合は、類似度評価の対象より外す、等の措置をとるようにしてもよい。
【００５０】
その他の類似度の評価方法として、上記レイヤー間の共通存在領域Ωｋを評価指標としてもよい。なぜなら、共通存在領域Ωｋが大きく評価されたレイヤー間は、撮像位置が殆ど同一であることが多く、結果として、極めて似た時系列画像が撮像されている可能性が高いからである。
【００５１】
なお、実際は、上述したような２つの類似度評価指標を組合せて最終的な類似度値を求めるようにしてもよい。また、類似度評価指標は、上述したような２つの類似度評価指標に限定されず、画像間の“見え”がより近いことを指標として表すものであれば、どのような類似度評価基準を用いてもよい。
【００５２】
また、類似度評価指標に、重み付け処理を行った後に、類似度の評価を行うようにしてもよい。例えば、ターゲットレイヤーＩ１から時間的に離れたレイヤー程、ターゲットレイヤーＩ１とは“見え”の異なるレイヤーとなり得る。そこで、ターゲットレイヤーＩ１から時間的に離れたレイヤー程、類似度が小さくなるように時間的距離に応じた重み付け係数により類似度を低減させる等の措置をとるようにしてもよい。
【００５３】
本実施の形態においては、このように被写体モデルにより時系列画像の撮像位置が規格化されることで、共通の被写体モデルを通じて概ね位置関係が特定された時系列画像を用いて時系列画像間（レイヤー間）の類似度を算出するようにしているので、撮像する被写体についての知識を用いることなく単純に複数の画像間同士の類似度を算出する場合に比して、類似領域の抽出が容易で、効率的かつ高精度に類似度を算出することが可能となり、視認性のよい表示画像の提供に効果的となる。
【００５４】
ターゲットレイヤーＩ１について上述したような方法で、最も類似するレイヤーを次レイヤーと入れ替えた後、再び次レイヤーをターゲットとなる先頭レイヤーとして次々にレイヤーを並び替える処理を行う。この処理を全てのレイヤーについて順次行っていく。ただし、実際のレイヤー順序の並び替えの手順は上記方法によらず、より“見え”の近い時系列画像の配置が同様の再生表示位置となるようにレイヤー順序を並び替える処理であれば、どのような手法であっても構わない。
【００５５】
このようにして類似度算出部５３で算出された階層構造における近隣のレイヤー間での時系列画像同士の類似度の大小等の情報に基づき、並び替え部５４でレイヤー順序の並び替えを行うことで、見た目のより近い時系列画像同士が、規格化された撮像位置に従い、同様の再生表示位置で近接配置されて重ね合わせ表示されるようになり、より視認性の高い画像表示が行えることとなる。特に、被検体１内においてカプセル型内視鏡３が蠕動運動により前後して同一部位付近を繰り返し撮像するようなことがあるが、その前後の動きを含む撮像順（時系列順）ではなく類似度順となるようにレイヤー順序が並び替えられることでカプセル型内視鏡３の前後に伴う画像間の動きが抑制されることとなる。よって、表示部２０における時系列画像の表示に際して、同一部位付近の画像が周期性をもって繰り返し表示されるようなことがなく、同一部位付近の画像が連続するように整形された動画的表示となるので、画像の視認性が格段に向上する。
【００５６】
並び替え部５４においてレイヤー順序の並び替えが行われた時系列画像は、位置合わせ部５５へ送られ、階層構造において近隣の他のレイヤーの時系列画像との間での位置合わせ処理が行われる。規格化部５１による時系列画像の撮像位置の被写体モデルに対する規格化処理により、基本的には、共通の被写体モデルに対する各時系列画像の位置合わせは既に概ねなされているが、厳密には、各時系列画像間の位置合わせはなされていないので、このような時系列画像間の位置合わせを位置合わせ部５５によって補足的に行う。
【００５７】
以下、位置合わせ部５５における位置合わせ処理について図５を参照して説明する。いま、ターゲットとなるあるレイヤーＩｋについてレイヤーの位置合わせ処理を行う場合を考える。ターゲットレイヤーＩｋについて、このレイヤーＩｋよりも前面に位置するレイヤーとの間で位置合わせ処理を行う。
【００５８】
例えば、並び替え部５４によりレイヤー順序の並び替えがなされた後の状態において、図５に示すように、ターゲットレイヤーＩｋよりも前面側に存在し、レイヤーの階層構造の重なり順においてターゲットレイヤーＩｋと領域Ｌ，Ｍ，Ｎを各々共有するレイヤーＩｌ，Ｉｍ，Ｉｎが３枚あるとする。つまり、これら領域Ｌ，Ｍ，Ｎは、レイヤー（画像）間で共通な類似領域である。そこで、これら領域Ｌ，Ｍ，Ｎを統合した画像（仮にＩｌｍｎとする）と、ターゲットレイヤーＩｋの画像（仮にＩｋとする）との間において位置合わせ処理を行う。位置合わせ処理は、画像Ｉｋまたは画像Ｉｌｍｎを変形させて位置を合わせ、両画像間の類似度評価値をＳＳＤやＳＡＤや正規化相互相関等により算出し、その類似度評価値が最も高い変形量を位置合わせのための変形量とみなし、その位置合わせのための変形量によって画像Ｉｋを変形させ位置合わせを完了させる。
【００５９】
位置合わせのための変形は、円形モデルのｘｙ座標系に従うレイヤー上での画像変形であればどのようなものであっても構わないが、ここでは、２つの変形方法を例示する。一つは、図６−１に示すように、円形モデルのｘｙ座標系において円形モデルの中心（原点）を中心として、その円周方向に沿ってレイヤーＩｋを回転させながら変形させる方法である。他の一つは、図６−２に示すように、円形モデルのｘｙ座標系において円形モデルの径方向に沿ってレイヤーＩｋを拡大または縮小させながら変形させる方法である。
【００６０】
このように円形モデルのｘｙ座標系において円形モデルに特有な画像変形を行うことにより、効率的に画像の位置合わせ処理を実現することが可能となる。以上のようにして、ターゲットとなるレイヤーＩｋの位置合わせ処理を行った後に、次のレイヤーＩｋ＋１の位置合わせを行う、というように順次位置合わせ処理を行っていくことにより、全てのレイヤーに対して位置合わせ処理が行われる。ここで、レイヤー上の時系列画像は、規格化部５１による被写体モデル上での撮像位置の規格化段階で、被写体モデルを基準として概ね位置合わせがされているが、実際に撮像された時系列画像間の位置合わせを位置合わせ部５５によって行うことで、表示部２０における表示に際して、重ね合わせ表示される画像間のずれが少なく、より精度が高く視認性の向上する重ね合わせ表示が可能となる。
【００６１】
位置合わせ部５５において画像間の位置合わせ処理が行われたレイヤーの時系列画像は、画質調整部５６へ送られ、階層構造における近隣のレイヤー間の画像情報を元に、画像表示時の視認性を良くするために画質の調整が行われる。画質調整部５６は、例えば、ターゲットレイヤーＩｋについて、ターゲットレイヤーＩｋ近隣の他のレイヤーとの間の画質調整処理を行うものである。ターゲットレイヤーＩｋの近隣に存在する他のレイヤーの取得方法は任意であって構わないが、ここでは２つの近隣のレイヤーの取得方法を例示する。
【００６２】
一つは、ターゲットレイヤーＩｋから所定の枚数よりも近いレイヤーに属するレイヤーを取得する方法である。例えば、ターゲットレイヤーＩｋから±５枚のレイヤーを取得する場合、ターゲットレイヤーＩｋの近隣レイヤーとして１０枚のレイヤーが取得される。
【００６３】
他の一つは、階層構造においてターゲットレイヤーＩｋと画素情報の存在する領域を共有する、最もターゲットレイヤーＩｋに近いレイヤーを取得する方法である。例えば、ターゲットレイヤーＩｋの前方のレイヤーにおいて、レイヤーＩｌ，Ｉｍ，Ｉｎは領域Ｌ，Ｍ，Ｎにおいて各々最も近くでターゲットレイヤーＩｋと同一領域に画素情報を保持しているとする。また、ターゲットレイヤーＩｋの後方のレイヤーにおいて、レイヤーＩｏ，Ｉｐ，Ｉｑ，Ｉｒは領域Ｏ，Ｐ，Ｑ，Ｒにおいて各々最も近くでターゲットレイヤーＩｋと同一領域に画素情報を保持しているとする。このような場合、これら７つのレイヤーＩｌ，Ｉｍ，Ｉｎ，Ｉｏ，Ｉｐ，Ｉｑ，ＩｒをターゲットレイヤーＩｋの近隣レイヤーとして取得するという方法である。
【００６４】
このようにして得られた近隣レイヤーとターゲットレイヤーとの間で、時系列画像同士の画質調整を行う。この場合の画質調整は、例えば時系列画像の階調補正処理や色変換処理、ノイズ除去処理等である。ターゲットレイヤーＩｋの時系列画像の画質調整処理を行った後に、次のターゲットレイヤーの時系列画像の画質調整処理を行う、というように順次画質調整処理を行っていくことにより、全てのレイヤーの時系列画像に対して画質調整処理が行われる。このとき、逐次、次のレイヤーについて画質調整処理を行うようにしても構わないが、現実的には、飛び飛びのレイヤーについて画質調整処理を施すようにしてもよい。
【００６５】
このように、画質調整部５６によって近隣のレイヤー間で時系列画像の画質を調整することで、より視認性の高い画像表示が可能となる。特に、重ね合わせ表示により同時に表示される近隣のレイヤーの時系列画像間の画質の差異が目立たなくなり、視認性が向上するものとなる。
【００６６】
上述したように、規格化部５１、レイヤー作成部５２、類似度算出部５３、並び替え部５４、位置合わせ部５５および画質調整部５６による画像処理を経て整形された各時系列画像は、表示制御部４１による制御の下に、階層構造のレイヤーとしてレイヤーデータに従い表示部２０において重ね合わせ表示される。なお、画像表示を行うことなしに記憶部３０に整形された画像データをレイヤーデータとして一旦記憶保持させ、所望の時点で、記憶部３０から読み出して表示部２０に表示させるようにしてもよい。
【００６７】
ここで、表示部２０による画像の表示方法について説明する。カプセル型内視鏡３で撮像され、画像処理部５０で画像処理された複数枚の時系列画像は、階層構造のレイヤーとして重ね合わせ表示させるためのレイヤーデータに変換され、表示部２０において階層構造のレイヤーによって重ね合わせ表示される。その表示の様子の一例を示したのが、前述の図３−４である。カプセル型内視鏡３により撮像され画像処理部５０で処理された時系列画像は、概ね撮像された順番（時系列）にレイヤーが並んでいるが、一部のレイヤーは並び替え部５４によるレイヤー順序の並び替え処理により、レイヤー表示の順番が類似度順に変わっているところがある。
【００６８】
観察者は、手動または自動処理により、各レイヤーの表示／非表示を制御することができる。手動の場合は、例えばワークステーション１００における入力部１０中のキーボードの右キー（図示せず）により最前面のレイヤーを非表示にし、左キー（図示せず）により現在表示されている最前面のレイヤーの一つ前面に存在する非表示中のレイヤーを表示させるという構成をとることができる。このような操作法をワークステーション１００に付与し、右キーを連続的に押下することでレイヤーが前面から順次非表示（最前面に位置するレイヤーを順次消去）とさせることで、重ね合わせ表示される複数枚の時系列画像を安定して観察することが可能となる。また、左キーを連続的に押下することでレイヤーを背面側から順次表示（最前面に位置するレイヤーを順次出現）させることで、時系列画像を逆再生する感覚で画像を観察することが可能となる。
【００６９】
自動の場合は、画像の順再生モードと逆再生モードを各々用意し、各々自動で手動処理における右キーを押下した状態の処理／左キーを押下した状態の処理を自動的に行うような処理形態をとればよい。
【００７０】
なお、最前面に位置する操作対象の各レイヤーを上記のように瞬間的に表示／非表示としてもよいが、各レイヤーに透過率を付与し、透過率の連続的な可変により最前面の画像の表示状態が徐々に変化するように表示／非表示を切換えるようにしてもよい。すなわち、各レイヤーに透過率を付与し、透過率を０パーセントから１００パーセントへ、または１００パーセントから０パーセントへ順次連続的に変化させながら画像を表示／非表示とするような構成をとることで、より自然で視認性のよい画像観察を行える構成としてもよい。また、表示の途中で自動／手動の切換えを可能とし、よりじっくり見たい場合には手動によりレイヤーの表示／非表示を制御する等の対応を可能としてもよい。
【００７１】
図７は、制御部４０による制御のもとに実行される上述の画像処理手順を示す概略フローチャートである。制御部４０は、まず、カプセル型内視鏡３によって撮像され携帯型記録媒体５を通じて記憶部３０に格納された時系列画像信号のデータおよびヘッダ情報の読み込み処理を行わせる（ステップＳ１）。次いで、制御部４０は、規格化部５１を制御することで、読み込まれた各時系列画像内の複数点の画素情報を用いて円形モデル（被写体モデル）を表現する数式のパラメータを算出する（ステップＳ２）。規格化部５１は、このように算出されたパラメータに従い、各時系列画像の被写体形状が被写体モデルに適合する位置を特定することで、各時系列画像の撮像位置を規格化する。
【００７２】
そして、制御部４０は、レイヤー作成部５２を制御することで、撮像位置が規格化された各時系列画像を、被写体モデルの座標系に対応させた座標系の階層構造の各レイヤーに撮像位置に従い配置させてレイヤーデータを作成する（ステップＳ３）。
【００７３】
その後、ターゲットを指定するための変数ｉをｉ＝１にセットする（ステップＳ４）。そして、制御部４０は、階層構造におけるｉ番目のレイヤーをターゲットレイヤーとし（ステップＳ５）、類似度算出部５３を制御することで、ターゲットレイヤーの時系列画像を基準のデータとした類似度の算出を行う（ステップＳ６）。類似度の算出は、ターゲットレイヤー（ｉ番目のレイヤー）の時系列画像とその前面側の（ｉ＋１）番目から（ｉ＋Ｎ）番目の近隣のレイヤーの各時系列画像との間で類似度の算出処理を行う。類似度の指標としては、例えば、ＳＳＤやＳＡＤ、正規化相互相関等を用いてもよい。なお、レイヤー数Ｎは２以上の自然数を設定してもよい。ただし、（ｉ＋Ｎ）は取得した時系列画像の枚数を越えないものとする。
【００７４】
引き続き、制御部４０は、並び替え部５４を制御することで、求められた上述のＮ個の類似度（ターゲットレイヤー（ｉ番目のレイヤー）の時系列画像とその前面側の（ｉ＋１）番目から（ｉ＋Ｎ）番目の近隣のレイヤーの各時系列画像との間の類似度）を用いて、（ｉ＋１）番目から（ｉ＋Ｍ）番目のレイヤー順序が類似度順となるように並び替える（ステップＳ７）。ここで、Ｍは、Ｍ≦Ｎを満たす自然数である。より具体的には、上述のＮ個の類似度からＮ個のレイヤーを並び替え可能なところを、ｉ番目に近いＭ個のレイヤー分だけ並び替えるという処理を行う。
【００７５】
また、制御部４０は、位置合わせ部５５を制御することで、レイヤー順序が並び替えられたレイヤーの時系列画像について位置合わせ処理を行う（ステップＳ８）。位置合わせ処理は、（ｉ＋１）番目のレイヤーを基準に（ｉ＋２）番目のレイヤーの位置合わせを行い、次に（ｉ＋２）番目のレイヤーを基準に（ｉ＋３）番目のレイヤーの位置合わせを行う、というように順々にターゲットレイヤーの時系列画像の位置合わせを行っていく。なお、位置合わせ処理は、例えば被写体モデル特有の画像変形において位置合わせ処理を行えばよい。例えば、被写体が体内管腔器官である場合、被写体モデルを円形モデルとし、円形モデルの座標系に従い円の円周方向に時系列画像の回転を行う画像変形を行ったり、または、円形モデルの座標系に従い円の径方向に時系列画像の拡大または縮小処理を行うようにしても構わない。
【００７６】
引き続き、制御部４０は、ターゲットとして全レイヤーで指定したか確認する（ステップＳ９）。ただし、最終レイヤーにおいては、位置合わせ処理、並び替え処理が不可能であるので、全レイヤーとは最終レイヤーを除いたレイヤーを示す。全レイヤーが終了していない場合には（ステップＳ９：Ｎｏ）、変数ｉを＋１インクリメントし（ステップＳ１０）、ステップＳ５へ進む。全レイヤーが終了した場合は（ステップＳ９：Ｙｅｓ）、制御部４０は画質調整部５６を制御することで、各々類似度算出、並び替え処理、位置合わせ処理が行われたレイヤーの時系列画像について、階層構造における近隣のレイヤーの時系列画像との間で画質調整する（ステップＳ１１）。画質調整の主な内容は、階調補正処理や色変換処理、ノイズ除去処理等であるが、実際はこれらの手法によらず画質をレイヤー間で調整する手法であればどのような手法であっても構わない。画質調整処理は、１番目のレイヤーデータから、最終レイヤーデータまで、順次近隣のレイヤーの時系列画像との間で画質調整を行っていくものとする。
【００７７】
そして、制御部４０は、画質調整処理が行われた時系列画像を含むレイヤーデータの信号出力を行う（ステップＳ１２）。出力された信号は、表示制御部４１による制御の下、例えば表示部２０へ送られ、レイヤーデータに従い階層構造のレイヤーとして各時系列画像の重ね合わせ表示が行われ、観察者の観察対象となる。
【００７８】
本発明は、上述した実施の形態に限らず、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能である。本実施の形態では、本発明の代表的な処理実行のシーケンスの概要を説明したが、本発明の処理実行のシーケンスはこの限りではなく、例えば、類似度算出部５３および並び替え部５４によるレイヤー順序の並び替え処理、位置合わせ部５５による位置合わせ処理、画質調整部５６による画質調整処理は省略するようにしてもよい。この場合の複数枚の時系列画像の表示部２０における表示形態は、規格化部５１により撮像位置が規格化された被写体モデル上の配置に従い表示させるので、表示部上の固定位置に時系列画像を順次表示させる場合に比して、共通の被写体モデルを通じて各時系列画像間の実質的な位置合わせがなされた表示が可能となり、複数枚の時系列画像の視認性が向上する。特に、被写体モデルを用いた撮像位置の規格化により、各画像の大まかな位置合わせが可能であるので、複数の時系列画像を階層構造のレイヤーによる重ね合わせ表示として同時に表示させることで、単なる時系列画像の１枚ずつの順次表示に比して、十分に視認性のよい画像表示となる。この際、対象となる被写体に応じて予め設定された被写体モデルが用いられるので、特定の被写体モデルに限られることなく撮像する被写体に応じた対応が可能となる。
【００７９】
また、類似度算出部５３および並び替え部５４によるレイヤー順序の並び替え処理、位置合わせ部５５による位置合わせ処理、画質調整部５６による画質調整処理は、その処理の順番を入れ替えたモードで実行するようにしてもよく、例えばこのようなモードを操作受付部１１から選択するという形式をとるようにしてもよい。また、類似度算出部５３および並び替え部５４によるレイヤー順序の並び替え処理、位置合わせ部５５による位置合わせ処理、画質調整部５６による画質調整処理を順次繰り返しながら複数回行うというモードを実施可能としてもよく、例えばこのようなモードを操作受付部１１から選択するという形式をとるようにしてもよい。
【図面の簡単な説明】
【００８０】
【図１】本発明の実施の形態にかかる画像処理装置を含む被検体内画像情報取得システムの構成例を示す概略図である。
【図２】本実施の形態にかかる画像処理装置を実現するワークステーションの概略構成を示すブロック図である。
【図３−１】カプセル型内視鏡により実際に撮像された時系列画像の一例を示す説明図である。
【図３−２】図３−１に示した時系列画像を円形モデルで表現した様子を示す説明図である。
【図３−３】図３−２に示す結果を、被写体モデルの座標系に従いレイヤーに配置させた様子を示す説明図である。
【図３−４】実際の時系列画像を被写体モデルの座標系上でレイヤーに配置させて表示部に表示させる様子を示す説明図である。
【図４】類似度算出及び並び替え処理例を説明するための斜視図である。
【図５】位置合わせ処理例を示す斜視図である。
【図６−１】位置合わせのための変形の一例を示す説明図である。
【図６−２】位置合わせのための変形の他例を示す説明図である。
【図７】制御部による制御のもとに実行される画像処理手順を示す概略フローチャートである。
【符号の説明】
【００８１】
１  被検体
３  カプセル型内視鏡
１００  ワークステーション
２０  表示部
４１  表示制御部
５１  規格化部
５２  レイヤー作成部
５３  類似度算出部
５４  並び替え部
５５  位置合わせ部
５６  画質調整部
【図１】
2010069208.tif 000004
【図２】
2010069208.tif 000005
【図４】
2010069208.tif 000006
【図７】
2010069208.tif 000007
【図３−１】
2010069208.tif 000008
【図３−２】
2010069208.tif 000009
【図３−３】
2010069208.tif 000010
【図３−４】
2010069208.tif 000011
【図５】
2010069208.tif 000012
【図６−１】
2010069208.tif 000013
【図６−２】
2010069208.tif 000014