(57)【要約】【課題】一連の生体内画像のうち、所望の画像以外の画像の表示をスキップしつつ、所望の特徴情報に対応する画像を、効率よく表示することができる画像処理装置を提供すること。【解決手段】生体内を撮影した生体内画像を記憶する画像情報記憶部１２１と、各生体内画像を順次表示する画像表示部１３１と、各生体内画像の特徴情報を記憶する特徴情報記憶部１２２と、特徴情報を表示する特徴情報表示部１３２と、生体内画像のうち、画像表示部１３１での表示をスキップする指標であるスキップ指標を受け付けるスキップ指標受付部１４１と、画像表示部１３１で画像の表示をスキップする指示を受け付けるスキップ指示受付部１４１と、スキップする指示を受け付けた場合に、スキップ指標をもとに、画像表示部１３１に表示する画像を特徴情報に応じてスキップさせる制御を行う画像表示制御部１１２とを備える。【選択図】        図２
2009050321.tif 000002
【特許請求の範囲】
【請求項１】
生体内を撮影した生体内画像を記憶する画像記憶手段と、
各生体内画像を順次表示する画像表示手段と、
各生体内画像の特徴情報を記憶する特徴情報記憶手段と、
前記特徴情報を表示する特徴情報表示手段と、
前記生体内画像のうち、前記特徴情報との関係で定められ、前記画像表示手段での表示をスキップする指標であるスキップ指標を受け付けるスキップ指標受付手段と、
前記画像表示手段に表示する画像をスキップする指示を受付けるスキップ指示受付手段と、
前記スキップ指示受付手段で画像をスキップする指示を受付けた場合に、前記スキップ指標をもとに、前記画像表示手段に表示する画像を前記特徴情報に応じてスキップさせる制御を行う画像表示制御手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記スキップ指標受付手段は、前記スキップ指標として、前記特徴情報の閾値を受け付け、
前記特徴情報表示手段は、前記スキップ指標を表示することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴情報表示手段は、一連の前記生体内画像全体に対する、前記スキップ指標をもとに定められるスキップ先の画像の時系列上の位置を示す指標を表示することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像表示制御手段は、画像の表示をスキップする指示を受けた場合、前記スキップ先の画像より時系列的に所定枚数前の画像より、順次前記画像表示手段に表示させる制御を行うことを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項５】
前記画像表示制御手段は、画像の表示をスキップする指示を受けた場合、該指示を受けた時点で前記画像表示手段に表示されている画像からスキップ先の画像までの一連の前記生体内画像を、順次前記画像表示手段に高速で表示させる制御を行うことを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
【請求項６】
前記特徴情報表示手段は、前記特徴情報として、前記生体内画像のうち時系列的に略連続する画像の類似度、各生体内画像に病変領域が撮影されている確率、または各生体内画像において観察対象外の物体が占める割合のうち、少なくとも１つを表示することを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
【請求項７】
前記特徴情報表示手段は、一連の前記生体内画像を順次表示する際の時間である再生時間、各画像を撮像した際の時間である撮像時間、または各画像に対して撮像順に付される番号である画像番号の少なくともいずれか一つに対応付けて、前記特徴情報を表示することを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
【請求項８】
前記特徴情報表示手段は、一連の前記生体内画像全体に対する、前記画像表示手段に現に表示している画像の時系列上の位置を示す指標を表示することを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体内を撮影した生体内画像を表示する画像処理装置に関するものである。
【背景技術】
【０００２】
近年、生体内を撮影する手段として、被検体である患者の口から飲込まれて被検体内部に導入される飲込み型のカプセル型内視鏡が提案されている。カプセル型内視鏡は、患者の口から飲み込まれて自然排出されるまでの間に、例えば食道や胃、小腸、大腸等の生体内画像を数万枚撮像する。医師または看護師等の画像を観察し、診断を行う者（以下、診察者）は、撮像された生体内画像を、画像表示機能を備えた画像処理装置に取り込ませ、生体内画像の観察を行う。
【０００３】
例えば従来から、オペレータ等の指示に応じて、生体内画像を時系列順に順次表示する画像処理装置が知られている（特許文献１参照）。診察者は、この画像処理装置に順次表示される生体内画像を観察し、被検体の診察に必要な画像が出現した場合、オペレータに指示して、オペレータは、診察者に指示された際の画像の再生時間に注目しておき、着目した再生時間に対応する画像を停止表示させる。そして、診察者は、停止表示された画像を注視して観察していた。
【０００４】
【特許文献１】特開２００６−３３０３７６号公報
【特許文献２】特開２００６−２８０７９２号公報
【特許文献３】特開２００６−２８８８７９号公報
【非特許文献１】ＣＧ―ＡＲＴＳ協会、ディジタル画像処理、Ｐ２０２、２００４年７月２２日
【非特許文献２】ＣＧ―ＡＲＴＳ協会、ディジタル画像処理、Ｐ１８１、２００４年７月２２日
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の画像処理装置では、診察者が、注視したい画像、すなわち所望の特徴情報に対応する画像を視認しオペレータに指示して、オペレータが再生時間を確認して画像を停止させるまでに時間差が生じてしまい、所望の特徴情報に対応する画像を再度表示させるために画像を巻き戻すなどの操作が必要であった。また、従来の画像処理装置は、オペレータがいる場合には有効であるが、診察者が一人で操作を行う場合、所望の特徴情報に対応する画像を視認することと同時に、その画像に対応する再生時間を確認することは困難であった。
【０００６】
さらに、従来の画像処理装置では、診察者は、順次表示される生体内画像を実際に視認して、各画像が所望の特徴情報を有する画像か否かを判断しており、各画像が所望の特徴情報に対応する画像であるか否かの判断を支援し、効率よく所望の特徴情報に対応する画像を表示する画像処理装置は提案されていなかった。
【０００７】
本発明は、上記に鑑みてなされたものであって、診察者の指示の下、一連の生体内画像のうち、所望の特徴情報に対応する画像以外の画像の表示をスキップしつつ、所望の特徴情報に対応する画像を、効率よく表示することができる画像処理装置を提供することをも目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、生体内を撮影した生体内画像を記憶する画像記憶手段と、各生体内画像を順次表示する画像表示手段と、各生体内画像の特徴情報を記憶する特徴情報記憶手段と、前記特徴情報を表示する特徴情報表示手段と、前記生体内画像のうち、前記特徴情報との関係で定められ、前記画像表示手段での表示をスキップする画像を決定する指標であるスキップ指標を受け付けるスキップ指標受付手段と、前記画像表示手段に表示する画像をスキップする指示を受付けるスキップ指示受付手段と、前記スキップ指示受付手段で画像をスキップする指示を受付けた場合に、前記スキップ指標をもとに、前記画像表示手段に表示する画像を前記特徴情報に応じてスキップさせる制御を行う画像表示制御手段と、を備えたことを特徴とする。
【発明の効果】
【０００９】
本発明にかかる画像処理装置によれば、生体内画像の特徴情報との関係で定められるスキップ指標をもとに、診察者によるスキップ指示を受け取った際に、生体内画像の特徴情報に応じて画像の表示がスキップされるので、一連の生体内画像のうち、画像及び特徴情報から診察者が観察の必要がないと判断した画像区間に対して、所望の特徴情報に対応する画像以外の画像の表示をスキップしつつ、所望の特徴情報に対応する画像を確実に観察することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して、本発明にかかる画像処理装置の好適な実施の形態を説明する。なお、この実施の形態によってこの発明が限定されるものではない。
【００１１】
（実施の形態１）
図１は、本発明の実施の形態１にかかる画像処理装置を有する被検体内情報取得システムの構成を例示する模式図である。図１に示すように、本被検体内情報取得システムは、被検体１内部の生体内画像を撮像するカプセル型内視鏡２、カプセル型内視鏡２から無線送信される生体内画像の画像情報を受信する受信装置３、受信装置３によって受信された画像情報をもとに、カプセル型内視鏡２によって撮像された生体内画像を処理する画像処理装置５等で構成される。受信装置３と画像処理装置５との間の画像情報の受け渡しには、記録媒体４が使用される。
【００１２】
カプセル型内視鏡２は、被検体１の内部に導入され、被検体１内の画像を時系列に沿って順次撮像する撮像機能と、撮像した画像を含む無線信号を外部に送信する無線通信機能とを有する。カプセル型内視鏡２は、被検体１に飲込まれ、胃腸管の蠕動によって生体内を進行しながら、所定間隔たとえば０．５秒間隔で被検体１内の画像を逐次撮像し、所定の電波を介して、かかる被検体１内の画像を受信装置３に逐次送信する。
【００１３】
受信装置３は、受信した画像、およびカプセル型内視鏡２が被検体１内に導入されてから各画像が撮像されるまでの時間を示す撮像時間等の情報を画像情報として記録媒体４に逐次記録する。記録媒体４は、コンパクトフラッシュ（登録商標）等の携帯可能な記録メディアによって実現される。記録媒体４は、受信装置３および画像処理装置５に対して着脱可能であって、両者に対する挿着時に情報の出力および情報の記録が可能な構造を有する。
【００１４】
画像処理装置５は、受信装置３によって記録媒体４に記録された画像情報を取り込み、被検体１の生体内画像を、所定の表示時間ずつ順次表示（以下「再生」と表記）する画像表示機能を有する。診察者は、画像処理装置５に生体内画像を再生表示させて被検体１内の生体内、例えば食道、胃、小腸、および大腸等を観察（検査）する。画像処理装置５は、ワークステーションのような構成を有し、具体的には、図２に示すように、制御部１０と、カードインターフェイス（Ｉ／Ｆ）１１と、記憶部１２と、表示部１３と、入力部１４を備える。
【００１５】
制御部１０は、ＣＰＵ等によって実現され、画像処理装置５の各構成部にて行う各種処理を制御するとともに、各構成部間の情報の入出力を制御する。制御部１０は、画像情報を処理して各画像の特徴情報を算出する特徴情報算出部１０１および表示部１３における表示処理を制御する表示制御部１１１を備える。
【００１６】
特徴情報算出部１０１は、画像類似度算出部１０２および対象外組織存在割合算出部１０３を備え、特徴情報として各画像の画像類似度および対象外組織存在割合を算出する。画像類似度算出部１０２は、一連の生体内画像のうち所定の画像間、例えば時系列的に連続する画像間における画像の類似度を示す画像類似度を算出する。また、対象外組織存在割合算出部１０３は、診察者が観察対象とする器官組織である粘膜表面や絨毛以外の組織、例えば便や泡等が、画像領域上で占める割合を示す対象外組織存在割合を算出する。なお、制御部１０は、診察者または別の画像処理装置によって算出された特徴情報を、カードＩ／Ｆ１１または入力部１４を介して取得してもよい。この場合、特徴情報算出部１０１は、不要である。
【００１７】
表示制御部１１１は、各種情報の表示制御を行うとともに、スキップ指標に基づいて、表示をスキップする画像、すなわちスキップ対象の画像を決定する。なお、画像の表示をスキップするとは、一連の生体内画像を時系列の順または時系列の逆の順に表示する途中で、所定の画像を表示しないで、或いは高速で表示することで、所定の画像を飛ばして表示することを意味する。また、表示制御部１１１は、画像表示制御部１１２および特徴情報表示制御部１１３を備える。画像表示制御部１１２は、再生指示の入力がある場合、一連の生体内画像を表示部１３に再生表示させ、また画像の表示をスキップする指示、すなわちスキップ指示の入力がある場合、表示制御部１１１がスキップ指標をもとに決定したスキップ対象の画像の表示をスキップする制御を行う。また、特徴情報表示制御部１１３は、特徴情報を表示部１３に表示する制御を行う。
【００１８】
カードＩ／Ｆ１１は、記録媒体４が着脱可能に挿着され、記録媒体４に蓄積された画像情報および画像ＩＤ情報を読み出すとともに、これらの情報を制御部１０に転送する。また、カードＩ／Ｆ１１は、記録媒体４に対し、制御部１０によって書き込みを指示された情報、例えば画像ＩＤ情報等を書き込む。なお、画像ＩＤ情報としては、例えば被検体１の氏名、性別、生年月日、および画像ＩＤ等があげられる。
【００１９】
記憶部１２は、ＲＡＭ、ＥＥＰＲＯＭ、またはハードディスク等の情報の蓄積および読み出しが可能な情報記録媒体によって実現され、制御部１０によって書き込みを指示された情報を保存し、制御部１０によって読み出しを指示された情報を制御部１０に入力する。記憶部１２は、一連の生体内画像に対応した画像ＩＤ情報とともに、一連の生体内画像の画像情報を記憶する画像情報記憶部１２１と、画像情報記憶部１２１に記憶された各画像の特徴情報を記憶する特徴情報記憶部１２２を備える。なお、特徴情報記憶部１２２は、各画像の画像類似度を記憶する画像類似度記憶部１２３および各画像の対象外組織存在割合を記憶する対象外組織存在割合記憶部１２４を備える。
【００２０】
表示部１３は、ＣＲＴディスプレイまたは液晶ディスプレイ等の各種ディスプレイによって実現され、表示制御部１１１によって表示指示された各種情報を表示する。表示部１３は、特に、生体内画像を表示する画像表示部１３１および特徴情報を表示する特徴情報表示部１３２を備え、被検体１の生体内の観察・診断に必要な各種情報を表示する。
【００２１】
入力部１４は、キーボードおよびマウス等によって実現され、診察者による入力操作によって、各種情報を制御部１０に入力する。また、入力部１４は、表示部１３に表示されたＧＵＩ（Graphical User Interface）を介して各種情報の入力を行う。なお、入力部１４は、スキップ画像を決定する指標であるスキップ指標の入力を受け付けるスキップ指標受付部１４１と、画像表示制御部１１２に対するスキップ指示の入力を受け付けるスキップ指示受付部１４２とを備える。
【００２２】
次に、表示部１３の表示画面の具体例について、図３を参照しつつ説明する。図３は、表示画面の一例である診断ウィンドＷ１を示す図である。診断ウィンドＷ１は、生体内画像を再生表示する画像表示部Ｆ１、画像ＩＤ情報を表示する画像ＩＤ情報表示部Ｆ２、順送りボタンＦ３および逆送りボタンＦ４、順スキップボタンＦ５および逆スキップボタンＦ６、特徴情報グラフ表示部Ｆ７を備える。なお、画像表示部Ｆ１が、画像表示部１３１の具体的態様を表しており、特徴情報グラフ表示部Ｆ７が、特徴情報表示部１３２の具体的態様を表している。
【００２３】
診断ウィンドＷ１は、ＧＵＩ画面であり、診察者は、入力部１４の不図示のマウスを用いて順送りボタンＦ３または逆送りボタンＦ４をクリックして選択することによって、一連の生体内画像の再生指示を表示制御部１１１に入力する。なお、画像表示制御部１１２は、順送りボタンＦ３が選択された場合、各画像が撮像された時系列の順に所定の表示時間ずつ各画像を表示し、逆送りボタンＦ４が選択された場合、各画像が撮像された時系列の逆の順に各画像を再生表示する。また、画像が再生表示されている間、選択されたボタンは、図示しない再生停止ボタンに変化する。診察者は、この再生停止ボタンを選択することによって再生の停止指示を表示制御部１１１に入力する。
【００２４】
さらに、診察者は、順スキップボタンＦ５または逆スキップボタンＦ６を選択することによって、所定の画像の表示をスキップさせることができる。順スキップボタンＦ５または逆スキップボタンＦ６および不図示のマウスが、スキップ指示受付部１４２の具体的態様を示している。なお、画像表示制御部１１２は、順スキップボタンＦ５が選択された場合、スキップ指標をもとに、撮像の時系列方向で、画像表示部Ｆ１に表示されている画像からスキップ対象よりはずれる画像までの画像の表示をスキップする。また、画像表示制御部１１２は、逆スキップボタンＦ６が選択された場合、撮像の時系列の逆方向で、画像表示部Ｆ１に表示されている画像からスキップ対象よりはずれる画像までの画像の表示をスキップする。
【００２５】
特徴情報グラフ表示部Ｆ７には、特徴情報表示制御部１１３の制御のもと、一連の生体内画像全体から時系列的に各画像を特定する情報と各画像の特徴情報との関係を示すグラフが表示される。例えば、特徴情報グラフ表示部Ｆ７には、図４に示すように、撮像時間を横軸にとり、各画像の画像類似度および対象外組織存在割合を縦軸にとり、撮像時間と画像類似度との関係を示す画像類似度推移線Ｆ８および撮像時間と対象外組織存在割合との関係を示す対象外組織存在割合推移線Ｆ９が、表示される。
【００２６】
なお、時系列的に各画像を特定する情報は、撮像時間に限定されず、例えば、一連の生体内画像を再生表示する際に、再生開始から各画像が表示されるまでの時間を示す再生時間、または撮像された順に各画像に付される番号である画像番号などであってもよい。
【００２７】
また、特徴情報グラフ表示部Ｆ７にはスキップ指標として、画像類似度スキップ指標Ｆ１０が横軸に平行な軸として表示される。表示制御部１１１は、画像類似度スキップ指標Ｆ１０よりも画像類似度が高い画像をスキップ対象の画像と決定する。例えば、画像類似度が時系列的に連続して高い箇所では、画像内容の類似した画像が、連続して表示されることとなる。この場合、診察者は、画像類似度の高い画像のうち一部を観察すれば、これらの画像に撮影されている生体内の状態を把握できるので、画像類似度が高い他の画像の表示をスキップできる。
【００２８】
ただし、画像類似度が変化する要因は、撮影されている生体内位置の変化や病変組織の出現のみでなく、観察の対象ではない組織の出現またはカプセル型内視鏡２の微妙な位置の変化もしくは器官組織の変形などがあげられる。例えば、撮影時刻ｔ1では、画像類似度が急落しているが、同時に対象外組織存在割合は上昇している。そのため、診察者は、画像類似度の急落の要因は対象外組織が撮影されたことであり、撮影されている生体内位置の変化等ではないと判断できる。したがって、診察者は、撮像時間ｔ1に対応する画像を観察不要と判断した場合、画像類似度スキップ指標Ｆ１０を撮像時間ｔ1に対応する画像類似度よりも低く設定することによって、この画像の表示をスキップさせることができる。
【００２９】
具体的な操作としては、診察者は、不図示のマウス等を用いて、例えば画像類似度スキップ指標Ｆ１４を縦軸方向下にドラッグし、画像類似度スキップ指標Ｆ１０の位置でドロップすることによって、画像類似度スキップ指標を撮像時間ｔ1に対応する画像の画像類似度よりも低く設定する。画像類似度スキップ指標Ｆ１０および不図示のマウス等が、スキップ指標受付部１４１の具体的態様を示している。このように、診察者は、現に画像表示部Ｆ１に表示されている画像と各画像の特徴情報とを比較して、スキップ対象とする画像の画像類似度の閾値である画像類似度スキップ指標を設定し、表示をスキップする画像を決定する。
【００３０】
なお、特徴情報グラフ表示部Ｆ７上の再生位置Ｆ１１は、縦軸に平行な軸であり、横軸である撮像時間軸上を移動して、現に画像表示部Ｆ１に表示されている画像に対応する撮像時間を示す指標である。特徴情報表示制御部１１３は、現に画像表示部Ｆ１に表示されている画像に応じて、再生位置Ｆ１１を移動させる制御を行う。
【００３１】
また、順スキップ位置Ｆ１２は、現時点で順スキップボタンＦ５が選択された場合、現に表示されている画像の次に画像表示部Ｆ１に表示される画像、すなわちスキップ先の画像に対応する撮像時間を示す指標である。図４に示すように、再生位置Ｆ１１より撮像の時系列の順方向において、最初に画像類似度が画像類似度スキップ指標Ｆ１０以下となる画像が、順スキップ位置Ｆ１２に対応する画像である。一方、逆スキップ位置Ｆ１３は、現時点で逆スキップボタンＦ６が選択された場合のスキップ先の画像に対応する撮像時間を示す指標である。図４に示すように、再生位置Ｆ１１より撮像の時系列の逆方向において、最初に画像類似度が画像類似度スキップ指標Ｆ１０以下となる画像が、逆スキップ位置Ｆ１３に対応する画像である。順スキップ位置Ｆ１２および逆スキップ位置Ｆ１３は、再生位置Ｆ１１と同様に縦軸に平行な軸であり、特徴情報表示制御部１１３の制御のもと、撮像時間軸方向を移動する。
【００３２】
次に、図５を参照して、カプセル型内視鏡２によって撮像された一連の生体内画像を表示する際に、制御部１０の各部が行う処理手順を説明する。まず、制御部１０が、一連の生体内画像の画像情報を取得し、画像情報記憶部１２１に記憶する（ステップＳ１０１）。次いで、画像類似度算出部１０２が、各画像の画像類似度を算出するとともに、対象外組織存在割合算出部１０３が、各画像の対象外組織存在割合を算出し、特徴情報記憶部１２２の各部に記憶する（ステップＳ１０２）。その後、表示制御部１１１は、一連の生体内画像の画像情報、画像類似度および対象外組織存在割合等を取得して、これらを表示部１３の各部に表示する（ステップＳ１０３）。この際、画像表示制御部１１２は、一連の生体内画像のうち、例えば最初に撮像された画像を画像表示部Ｆ１に表示し、特徴情報表示制御部１１３は、画像表示部Ｆ１に表示された画像に対応する再生位置Ｆ１１を表示する。また、表示制御部１１１は、画像等とともに、画像ＩＤ情報を表示部１３に表示する。なお、この時点で診察者は、一連の生体内画像の特徴情報の変化の推移を把握できる。
【００３３】
その後、表示制御部１１１は、時系列的に、現に表示されている画像の次に画像類似度が画像類似度スキップ指標以下となる画像をスキップ先の画像として決定する（ステップＳ１０４）。なお、表示制御部１１１は、診察者が設定した画像類似度スキップ指標、または表示制御手段が自動的に設定した画像類似度スキップ指標を用いてスキップ先の画像を決定する。次いで、特徴情報表示制御部１１３は、スキップ先の画像に対応した順スキップ位置Ｆ１２および逆スキップ位置Ｆ１３を表示する（ステップＳ１０５）。
【００３４】
その後、表示制御部１１１は、スキップ指示の入力があるか否かを判断する（ステップＳ１０６）。スキップ指示の入力があった場合（ステップＳ１０６：Ｙｅｓ）、画像表示制御部１１２は、スキップ先の画像を画像表示部Ｆ１に表示し、ステップＳ１１０の処理に進む（ステップＳ１０７）。一方、スキップ指示の入力がない場合（ステップＳ１０６：Ｎｏ）、表示制御部１１１は、一連の生体内画像の再生指示の入力があるか否かを判断する（ステップＳ１０８）。再生指示の入力がある場合（ステップＳ１０８：Ｙｅｓ）、画像表示制御部１１２は、現に画像表示部Ｆ１に表示されている画像の、時系列的に次の画像を画像表示部Ｆ１に表示する（ステップＳ１０９）。その後、特徴情報表示制御部１１３は、画像表示部Ｆ１に表示されている画像に対応する再生位置Ｆ１１を表示する（ステップＳ１１０）。なお、再生指示の入力がない場合（ステップＳ１０８：Ｎｏ）、表示制御部１１１は、画像および再生位置の更新を行わずに、ステップＳ１１１の処理に進む。
【００３５】
表示制御部１１１は、画像の表示終了の指示を受けた場合、または再生位置Ｆ１１が再生の時系列方向の端に達した場合のように、画像表示停止の条件を充足するか否かを判断する（ステップＳ１１１）。表示停止条件を充足していない間、表示制御部１１１は、ステップＳ１０４〜Ｓ１１０の処理を繰り返す（ステップＳ１１１：Ｎｏ）。一方、表示停止条件を充足したと判断された場合、表示制御部１１１は、画像の表示を停止する（ステップＳ１１１：Ｙｅｓ）。
【００３６】
なお、ステップＳ１０２の処理において、画像類似度算出部１０２は、例えば非特許文献１に記載されている正規化相互相関を用いて、連続して撮像された２画像間の画像類似度を算出する。画像類似度は、−１以上１以下の範囲において算出され、２画像が完全に一致した場合の画像類似度を最大値の１とする。なお、画像類似度の算出方法は、正規化相互相関に限らず、例えば特許文献２に記載されている動きベクトルを用いた算出方法等であってもよい。
【００３７】
さらに、ステップＳ１０２の処理において、対象外組織存在割合算出部１０３は、例えば特許文献３に記載されているように、各画像の画像領域を所定数に分割し、領域ごとに色調情報およびテクスチャ情報よりなる複数の特徴量を算出し、この特徴量を用いて各領域に撮像されている組織を特定して、各画像の対象外画像組織存在割合を算出する。
【００３８】
また、ステップＳ１０３〜Ｓ１１１の処理中においては、表示制御部１１１は、画像を再生表示中であっても停止表示中であっても随時、順送りボタンＦ３および逆送りボタンＦ４、順スキップボタンＦ５および逆スキップボタンＦ６より入力部１４を介して、各々の指示を受け付けるものとする。また、表示制御部１１１は、ステップＳ１０３〜Ｓ１１１の処理中においては随時、画像類似度スキップ指標Ｆ１０の変更も受け付ける。
【００３９】
このように、本実施の形態１では、診察者は、現に表示されている画像と各画像の画像類似度および対象外組織存在割合とを把握しながら、スキップ指標を随時設定し、現時点でスキップ指示を入力した場合のスキップ先の画像およびスキップ対象となる画像を把握した上で、スキップ指示を入力する。したがって、画像処理装置５によれば、診察者は、画像と特徴情報の対応を確認して、所望の特徴情報に対応する画像以外の画像の表示をスキップしつつ、所望の特徴情報に対応する画像を表示させることができる。また、画像処理装置５によれば、所望の特徴情報に対応する画像以外の画像の表示をスキップするので、一連の生体内画像の観察時間を短縮できるとともに、所望の特徴情報に対応する画像を確実に表示するので、画像の巻き戻しおよび見直し等の作業負担を軽減できる。
【００４０】
なお、本実施の形態１では、スキップ指示の入力があった場合、スキップ対象の画像を飛ばして、スキップ先の画像を表示することとしたが、再生の時系列においてスキップ先の画像の所定枚数前の画像より、画像を再生表示するようにしてもよい。この場合、スキップ指示後、突然スキップ先の画像が表示されるということがないので、所望の特徴情報に対応する画像の見落としを防止できる。
【００４１】
また、本実施の形態１では、スキップ指示の入力があった場合、スキップ指示の入力があった時点で現に表示されている画像からスキップ先の画像まで一連の画像、すなわちスキップ対象の画像を、順次画像表示部１３１に高速で表示させてもよい。この場合、診察者は、スキップ対象の画像の中に所望の特徴情報に対応する画像がないかを確認できるので、生体内画像の観察時間を短縮しつつ、診察に必要な画像の見落としを防止できる。
【００４２】
また、特徴情報は、画像類似度および対象外組織存在割合に限定されず、また、画像類似度または対象外組織存在割合のいずれか一方のみであってもよい。特徴情報として対象外組織存在割合のみを用いる場合、スキップ指標として、スキップ対象となる画像の対象外組織存在割合の閾値を設定する。この場合、対象外組織存在割合がこの閾値より高くなる画像が、スキップ対象の画像となる。これは、対象外組織存在割合が高い画像は、観察対象でない組織が画像領域上を占める割合が大きく、観察対象の組織が観察しにくい画像であるためである。診察者は、現に表示されている画像と各画像の対象外組織存在割合を比較し、どの程度、対象外組織が写っている画像をスキップ対象の画像とするかを判断し、スキップ指標を設定する。
【００４３】
（実施の形態２）
ところで、実施の形態１では、一連の生体内画像の特徴情報として画像類似度および対象外組織存在割合を表示し、画像類似度スキップ指標に基づいて、スキップ対象となる画像を決定したが、本実施の形態２では、特徴情報として画像類似度および病変存在確率を表示し、画像類似度スキップ指標に加えて、病変存在確率をもとにスキップ対象の画像を決定する指標である病変存在確率スキップ指標を用いて、スキップ対象となる画像を決定する。
【００４４】
実施の形態２では、実施の形態１に示した被検体内情報取得システムにおいて画像処理装置５に替えて画像処理装置６を備える（図示せず）。図６は、画像処理装置６の構成を示すブロック図である。図６に示すように、画像処理装置６は、画像処理装置５が備えた制御部１０、記憶部１２、表示部１３および入力部１４に替えて、制御部２０、記憶部２２、表示部２３および入力部２４を備える。なお、画像処理装置６のその他の構成は、画像処理装置５と同じであり、同一構成部分には同一の符号を付している。
【００４５】
制御部２０は、特徴情報算出部２０１および表示制御部２１１を備える。特徴情報算出部２０１は、画像類似度算出部１０２に加えて、病変存在確率算出部２０３を備える。病変存在確率算出部２０３は、各画像中に病変領域が存在している確率である病変存在確率を算出する。また、表示制御部２１１は、各種情報の表示制御を行うとともに、スキップ指標をもとに、スキップ対象の画像を決定する。なお、表示制御部２１１は、画像表示制御部２１２および特徴情報表示制御部２１３を備える。画像表示制御部２１２は、画像の再生指示の入力がある場合、一連の生体内画像を再生表示する制御を行い、またスキップ指示の入力がある場合、スキップ対象の画像の表示をスキップする制御を行う。特徴情報表示制御部２１３は、特徴情報である画像類似度および病変存在確率等を表示する制御を行う。
【００４６】
記憶部２２は、画像情報記憶部１２１に加えて、画像類似度記憶部１２３と、各画像の病変存在確率を記憶する病変存在確率記憶部２２４を有する特徴情報記憶部２２２を備える。表示部２３は、画像表示部１３１に加えて、画像類似度および病変存在確率などを表示する特徴情報表示部２３２を備える。さらに、入力部２４は、スキップ指示受付部１４２に加えて、画像類似度スキップ指標および病変存在確率スキップ指標を受け付けるスキップ指標受付部２４１を備える。
【００４７】
図７は、表示部２３の表示画面の一例を示す図である。図７に示すように、診断ウィンドＷ２は、診断ウィンドＷ１に表示されていた特徴情報グラフ表示部Ｆ７に替えて、特徴情報グラフ表示部Ｆ１５を表示する。特徴情報グラフ表示部Ｆ１５が、特徴情報表示部２３２の具体的態様を示している。なお、診断ウィンドＷ２に表示されているその他の構成は、診断ウィンドＷ１と同じであり、同一の構成には同一の符号を付している。
【００４８】
特徴情報グラフ表示部Ｆ１５には、図８に示すように、対象外組織存在割合推移線Ｆ９に替えて、病変存在確率推移線Ｆ１６が表示されるとともに、病変存在確率スキップ指標Ｆ１７が表示される。その他の構成は、特徴情報グラフ表示部Ｆ７と同じであり、同一の構成には同一の符号を付している。
【００４９】
画像類似度の大小にかかわらず、病変領域が撮影されている確率が高い画像は、診察者が観察を所望する画像である。したがって、診察者は、病変存在確率推移線Ｆ１６を参照して、一連の生体内画像の各画像の病変存在確率を把握した上で、どの程度、病変存在確率が高い画像をスキップ対象より外すかを判断する。すなわち、診察者は、スキップ対象とする画像の病変存在確率の閾値として、病変存在確率スキップ指標を設定する。
【００５０】
具体的な操作としては、画像類似度スキップ指標の入力と同様に、診察者は、入力部２４のマウス（図示せず）を用いて、横軸に平行な軸として表示される病変存在確率スキップ指標Ｆ１７を縦軸方向にドラッグし、所望の病変存在確率を示す位置で病変存在確率スキップ指標Ｆ１７をドロップすることによって、表示制御部２１１に病変存在確率スキップ指標を入力する。なお、画像類似度スキップ指標Ｆ１０と病変存在確率スキップ指標Ｆ１７と不図示のマウスとが、スキップ指標受付部２４１の具体的態様を示している。
【００５１】
表示制御部２１１は、画像類似度が画像類似度スキップ指標Ｆ１０よりも高く、かつ病変存在確率が病変存在確率スキップ指標Ｆ１７よりも低い画像を、スキップ対象の画像とする。換言すれば、表示制御部２１１は、画像類似度または病変存在確率のいずれかによって、スキップ対象より外された画像をスキップ先の画像とする。
【００５２】
例えば、図８に示すように、順スキップ位置Ｆ１２に対応する画像は、再生位置Ｆ１１より撮像の時系列の順方向において、最初に病変存在確率が病変存在確率ステップ指標Ｆ１７以上となったために、スキップ先の画像となった画像である。この場合、再生位置Ｆ１１と順スキップ位置Ｆ１２との間で、画像類似度が画像類似度スキップ指標Ｆ１０以下となる画像はない。一方、逆スキップ位置Ｆ１３に対応する画像は、再生位置Ｆ１１より撮像の時系列の逆方向において、最初に画像類似度が画像類似度スキップ指標Ｆ１０以下なったために、スキップ先の画像となった画像である。この場合、再生位置Ｆ１１と逆スキップ位置Ｆ１３との間で、病変存在確率が病変存在確率スキップ指標Ｆ１７以上となる画像はない。
【００５３】
次に、図９を参照して、カプセル型内視鏡２によって撮像された一連の生体内画像を表示する際に、制御部２０の各部が行う処理手順を説明する。まず、制御部２０は、実施の形態１と同様に、一連の生体内画像を取得し、画像情報記憶部１２１に記憶する（ステップＳ２０１）。次いで、画像類似度算出部１０２が、各画像の画像類似度を算出するとともに、病変存在確率算出部２０３が、各画像の病変存在確率を算出し、特徴情報記憶部２２２の各部に記憶する（ステップＳ２０２）。その後、表示制御部２１１は、一連の生体内画像の画像情報、画像類似度および病変存在確率等を取得してこれらを表示部２３の各部に表示する（ステップＳ２０３）。この際、画像表示制御部２１２は、一連の生体内画像のうち、例えば最初に撮像された画像を画像表示部Ｆ１に表示し、特徴情報表示制御部２１３は、画像表示部Ｆ１に表示されている画像に対応する再生位置Ｆ１１を表示する。また、表示制御部２１１は、画像等とともに、画像ＩＤ情報を表示部２３に表示する。なお、この時点で診察者は、一連の生体内画像の特徴情報の変化の推移を把握できる。
【００５４】
その後、表示制御部２１１は、時系列的に、現に表示されている画像の次に画像類似度が画像類似度スキップ指標以下となる画像をスキップ先の画像候補と決定する（ステップＳ２０４）。次いで、表示制御部２１１は、時系列的に、現に表示されている画像の次に病変存在確率が病変存在確率スキップ指標以上となる画像をスキップ先の画像候補と決定する（スキップＳ２０５）。その後、表示制御部２１１は、スキップ先の画像候補のうち、撮像の時系列の順方向または逆方向の各々において、現に表示されている画像に時系列的により近い画像をスキップ先の画像と決定する（ステップＳ２０６）。特徴情報表示制御部２１３は、スキップ先の画像に対応した順スキップ位置Ｆ１２および逆スキップ位置Ｆ１３を表示する（スキップＳ２０７）。
【００５５】
その後、一連の生体内画像を表示する処理手順は、実施の形態１の処理手順のステップＳ１０６〜Ｓ１１１と同様である（ステップＳ２０８〜Ｓ２１３）。すなわち、スキップ指示の入力があった場合（ステップＳ２０８：Ｙｅｓ）、画像表示制御部２１２は、スキップ先の画像を画像表示部Ｆ１に表示する（ステップＳ２０９）。また、スキップ指示の入力がなく（ステップＳ２０８：Ｎｏ）、再生指示の入力がある場合（ステップＳ２１０：Ｙｅｓ）、画像表示制御部２１２は、現に画像表示部Ｆ１に表示されている画像の時系列的に次の画像を画像表示部Ｆ１に表示する（ステップＳ２１１）。次いで、特徴情報表示制御部２１３は、画像表示部Ｆ１に表示されている画像に対応する再生位置Ｆ１１を表示する（ステップＳ２１２）。その後、または、ステップＳ２１０において再生指示の入力がなかった場合（ステップＳ２１０：Ｎｏ）、表示制御部２１１は、画像の表示停止条件を充足するまで、ステップＳ２０４〜Ｓ２１２の処理を繰り返す（ステップＳ２１３）。表示制御部２１１は、表示制御部１１１と同様に、ステップＳ２０３〜Ｓ２１３の処理中においては随時、再生指示、スキップ指示およびスキップ指標の変更を受ける。
【００５６】
なお、ステップＳ２０２において、病変存在確率算出部２０３は、以下の処理によって各画像の病変存在確率を算出する。まず、病変存在確率算出部２０３は、ステップＳ２０２の処理を行う前に予め、病変および正常な体内器官組織が撮影された画像の特徴量を取得しておく。具体的には、病変存在確率算出部２０３は、病変領域の教師データとして、出血や粘膜の褪色などの病変の種類ごとに、複数のサンプル画像より抽出した病変領域の特徴量を取得しておく。また、病変存在確率算出部２０３は、正常な体内器官組織の領域（以下、正常領域と表記）の教師データとして、複数のサンプル画像より抽出した正常領域の特徴量を取得しておく。ここで、特徴量は、各画像領域内の画素のＲ・Ｇ・Ｂ値（以下、Ｒ・Ｇ・Ｂ値をまとめて画素値と表記）とする。さらに、病変存在確率算出部２０３は、病変領域の場合は病変の種類ごとに１グループとし、また正常領域の場合は画素値の分布が近い領域を同一グループとして、グループごとの画素値平均および画素値共分散を取得しておく。
【００５７】
その後、ステップＳ２０２の処理として、病変存在確率算出部２０３は、教師データの各グループの特徴量の分布を正規分布として、一連の生体内画像の各画像の各画素について、各々のグループに属する確率を、各グループの画素値平均、画素値共分散および次式（１）を用いて算出する。
【数１】
2009050321.tif 000003
【００５８】
病変存在確率算出部２０３は、各画素について、各々のグループに属する確率ｐ（ｋ｜ｘ）のうち、最も高確率のグループに属するものと判断する。病変存在確率算出部２０３は、各画像において、病変のグループに属するとした画素について非特許文献２に示すラベリング処理を行い、同一の病変グループに属する画素ごとに領域分けして、病変領域を作成する。病変存在確率算出部２０３は、各画像において、病変領域ごとに、各画素が該当病変グループに属する確率の平均値(以下、病変領域確率)を算出する。その後、病変存在確率算出部２０３は、各画像において存在する病変領域のうちで最も高い病変領域確率について、その画像の病変存在確率とする。なお、特徴量は、Ｒ・Ｇ・Ｂ値に限られず、色比、形状特徴量、またはこれらを組み合わせて用いてもよい。
【００５９】
このように、本実施の形態２では、診察者は、画像類似度に加えて、病変存在確率を把握できるとともに、画像類似度および病変存在確率のスキップ指標を設定できる。したがって、画像処理装置６によれば、診察者は、画像類似度および病変存在確率の両面より、スキップ対象の画像を決定できるので、所望の画像以外の画像の表示をスキップしつつ、所望の画像をより確実に表示させて観察できる。
【００６０】
なお、本実施の形態２においても、実施の形態１と同様に、スキップ指示の入力があった場合、再生の時系列においてスキップ先の画像の所定枚数前の画像より画像を再生表示するようにしてもよく、またはスキップ対象の画像を高速で表示した後、スキップ先の画像を表示するようにしてもよい。
【００６１】
また、本実施の形態２では、画像の特徴情報として、画像類似度および病変存在確率を表示して各々についてスキップ指標を設定することとしたが、画像の特徴情報として、いずれか一方のみを表示して、表示した特徴情報に対応するスキップ指標のみを設定し、スキップ対象の画像を決定してもよい。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施の形態１にかかる被検体内情報取得システムの概略構成を示す図である。
【図２】本発明の実施の形態１にかかる画像処理装置の構成を示すブロック図である。
【図３】図２に示す表示部の表示画面の一例を示す図である。
【図４】図３に示す特徴情報グラフ表示部の拡大図である。
【図５】図２に示す画像処理装置が行う一連の生体内画像の表示処理の手順を示すフローチャートである。
【図６】本発明の実施の形態２にかかる画像処理装置の構成を示すブロック図である。
【図７】図６に示す表示部の表示画面の一例を示す図である。
【図８】図７に示す特徴情報グラフ表示部の拡大図である。
【図９】図６に示す画像処理装置が行う一連の生体内画像の表示処理の手順を示すフローチャートである。
【符号の説明】
【００６３】
１  被検体
２  カプセル型内視鏡
３  受信装置
４  記録媒体
５，６  画像処理装置
１０，２０  制御部
１１  カードインターフェイス（Ｉ／Ｆ）
１２，２２  記憶部
１３，２３  表示部
１４，２４  入力部
１０１，２０１  特徴情報算出部
１０２  画像類似度算出部
１０３  対象外組織存在割合算出部
１１１，２１１  表示制御部
１１２，２１２  画像表示制御部
１１３，２１３  特徴情報表示制御部
１２１  画像情報記憶部
１２２，２２２  特徴情報記憶部
１２３  画像類似度記憶部
１２４  対象外組織存在割合記憶部
１３１  画像表示部
１３２，２３２  特徴情報表示部
１４１，２４１  スキップ指標受付部
１４２  スキップ指示受付部
２０３  病変存在確率算出部
２２４  病変存在確率記憶部
Ｗ１，Ｗ２  診断ウィンド
Ｆ１  画像表示部
Ｆ２  画像ＩＤ情報表示部
Ｆ３  順送りボタン
Ｆ４  逆送りボタン
Ｆ５  順スキップボタン
Ｆ６  逆スキップボタン
Ｆ７，Ｆ１５  特徴情報グラフ表示部
Ｆ８  画像類似度推移線
Ｆ９  対象外組織存在割合推移線
Ｆ１０  画像類似度スキップ指標
Ｆ１１  再生位置
Ｆ１２  順スキップ位置
Ｆ１３  逆スキップ位置
Ｆ１４  画像類似度スキップ指標（変更前）
Ｆ１６  病変存在確率推移線
Ｆ１７  病変存在確率スキップ指標
【図１】
2009050321.tif 000004
【図２】
2009050321.tif 000005
【図４】
2009050321.tif 000006
【図５】
2009050321.tif 000007
【図６】
2009050321.tif 000008
【図８】
2009050321.tif 000009
【図９】
2009050321.tif 000010
【図３】
2009050321.tif 000011
【図７】
2009050321.tif 000012