(57)【特許請求の範囲】
【請求項１】
消化器管内を移動するカプセル内視鏡で撮像された複数の画像より構成される画像列の表示を制御するカプセル内視鏡画像表示制御装置であって、
前記画像列に含まれる各画像について、当該画像と時間的に連続する画像との間で類似度を算出する画像間類似度算出手段と、
前記画像列に含まれる各画像について、当該画像に含まれる特徴領域の移動量を算出する移動量算出手段と、
前記画像列に含まれる各画像について、当該画像に対する前記類似度および前記移動量に基づいて、当該画像の映像状態を、少なくとも（ａ）前記カプセル内視鏡が静止していることを示す「静止状態」、（ｂ）消化器管が変形していることを示す「消化器管変形状態」および（ｃ）前記カプセル内視鏡が移動していることを示す「カプセル移動状態」のいずれかに分類する映像状態分類手段と、
前記画像列に含まれる各画像について、当該画像に対する前記映像状態、前記類似度および前記移動量に基づいて、当該画像と当該画像と時間的に連続する画像との間の描画間隔を決定する描画間隔決定手段と、
決定された描画間隔で前記画像列に含まれる各画像を順次画面上に表示させる表示制御手段とを備え、
前記画像間類似度算出手段は、
画像列に含まれる各画像について、当該画像と時間的に連続する画像との間で画像の全領域同士の類似度である全体画像類似度を算出する全体画像類似度算出部と、
画像列に含まれる各画像について、当該画像を複数のブロックに分割した場合の各ブロックについて、当該画像と時間的に連続する画像の対応するブロックとの間でブロック同士の類似度である部分画像類似度を算出する部分画像類似度算出部とを有し、
前記描画間隔決定手段は、前記画像列に含まれる各画像について、当該画像に対する前記映像状態、前記全体画像類似度、前記部分画像類似度および前記移動量に基づいて、当該画像と当該画像と時間的に連続する画像との間の描画間隔を決定する
ことを特徴とするカプセル内視鏡画像表示制御装置。
【請求項２】
前記部分画像類似度算出部は、画像列に含まれる各画像について、当該画像を複数のブロックに分割した場合の各ブロックについて、当該画像と時間的に連続する画像の対応するブロックとの間で各画素値の差の絶対値の和であるヒストグラム間距離を算出し、当該ヒストグラム間距離に基づいてブロック同士の類似度である部分画像類似度を算出し、
前記映像状態分類手段は、前記画像列に含まれる各画像について、以下の条件（ｉ）または条件（ｉｉ）を満たす場合には、当該画像を「静止状態」に分類する
（ｉ）当該画像に対する前記全体画像類似度が第１の閾値よりも大きく、かつ当該画像に含まれる複数のブロックに対応する複数のヒストグラム間距離の最大値が第２の閾値以下である
（ｉｉ）当該画像に対する前記全体画像類似度が第１の閾値よりも大きく、当該画像に含まれる複数のブロックに対応する複数のヒストグラム間距離の最大値が第２の閾値よりも大きく、かつ当該画像に含まれる前記特徴領域の移動量の最大値である最大移動量が第３の閾値以下である
ことを特徴とする請求項１に記載のカプセル内視鏡画像表示制御装置。
【請求項３】
前記部分画像類似度算出部は、画像列に含まれる各画像について、当該画像を複数のブロックに分割した場合の各ブロックについて、当該画像と時間的に連続する画像の対応するブロックとの間で各画素値の差の絶対値の和であるヒストグラム間距離を算出し、当該ヒストグラム間距離に基づいてブロック同士の類似度である部分画像類似度を算出し、
前記映像状態分類手段は、前記画像列に含まれる各画像について、以下の条件（ｉｉｉ）または（ｉｖ）を満たす場合には、当該画像を「消化器管変形状態」に分類する
（ｉｉｉ）当該画像に対する前記全体画像類似度が第１の閾値よりも大きく、当該画像に含まれる複数のブロックに対応する複数のヒストグラム間距離の最大値が第２の閾値よりも大きく、かつ当該画像に含まれる前記特徴領域の移動量の最大値である最大移動量が第３の閾値よりも大きい
（ｉｖ）当該画像に対する前記全体画像類似度が第１の閾値以下であり、当該画像に含まれる複数のブロックに対応する複数のヒストグラム間距離の最小値が第４の閾値未満であり、かつ当該画像に含まれる前記特徴領域の移動量の最大値である最大移動量が第５の閾値未満である
ことを特徴とする請求項１に記載のカプセル内視鏡画像表示制御装置。
【請求項４】
前記部分画像類似度算出部は、画像列に含まれる各画像について、当該画像を複数のブロックに分割した場合の各ブロックについて、当該画像と時間的に連続する画像の対応するブロックとの間で各画素値の差の絶対値の和であるヒストグラム間距離を算出し、当該ヒストグラム間距離に基づいてブロック同士の類似度である部分画像類似度を算出し、
前記映像状態分類手段は、前記画像列に含まれる各画像について、以下の条件（ｖ）または（ｖｉ）を満たす場合には、当該画像を「カプセル移動状態」に分類する
（ｖ）当該画像に対する前記全体画像類似度が第１の閾値以下であり、かつ当該画像に含まれる複数のブロックに対応する複数のヒストグラム間距離の最小値が第４の閾値以上である
（ｖｉ）当該画像に対する前記全体画像類似度が第１の閾値以下であり、当該画像に含まれる複数のブロックに対応する複数のヒストグラム間距離の最小値が第４の閾値未満であり、かつ当該画像に含まれる前記特徴領域の移動量の最大値である最大移動量が第５の以上である
ことを特徴とする請求項１に記載のカプセル内視鏡画像表示制御装置。
【請求項５】
前記移動量算出手段は、
前記画像列に含まれる各画像について、当該画像中に含まれるエッジの方向成分とエッジ強度とを算出するエッジ算出部と、
前記各画像について、前記エッジの方向成分およびエッジ強度に基づいて、特徴領域を抽出する特徴領域抽出部と、
前記特徴領域に対応する領域を前記各画像と時間的に連続する画像から抽出し、前記特徴領域の移動量を算出する特徴領域移動量算出部と、
前記特徴領域の移動量の最大値である最大移動量を算出する最大移動量算出部とを有し、
前記描画間隔決定手段は、前記画像列に含まれる各画像について、当該画像に対する前記映像状態、前記全体画像類似度、前記部分画像類似度および前記最大移動量に基づいて、当該画像と当該画像と時間的に連続する画像との間の描画間隔を決定する
ことを特徴とする請求項１に記載のカプセル内視鏡画像表示制御装置。
【請求項６】
前記カプセル内視鏡画像表示制御装置は、さらに、前記画像列に含まれる各画像から所定の特徴量を抽出する注視特徴量抽出手段を備え、
前記描画間隔決定手段は、前記画像列に含まれる各画像について、当該画像に対する前記映像状態、前記全体画像類似度、前記部分画像類似度、前記移動量および前記所定の特徴量に基づいて、当該画像と当該画像と時間的に連続する画像との間の描画間隔を決定する
ことを特徴とする請求項１に記載のカプセル内視鏡画像表示制御装置。
【請求項７】
前記所定の特徴量は、前記画像の全領域に占める赤色領域の割合である
ことを特徴とする請求項６に記載のカプセル内視鏡画像表示制御装置。
【請求項８】
前記描画間隔決定手段は、さらに、画面上に表示させる画像列を監視し、内視鏡検査を行なうユーザの熟練度に基づいて、前記描画間隔を決定する
ことを特徴とする請求項１に記載のカプセル内視鏡画像表示制御装置。
【請求項９】
前記描画間隔決定手段は、さらに、求められた前記画像列にそれぞれ対応する複数の描画間隔を平滑化する
ことを特徴とする請求項１に記載のカプセル内視鏡画像表示制御装置。
【請求項１０】
消化器管内を移動するカプセル内視鏡で撮像された複数の画像より構成される画像列の表示を制御するカプセル内視鏡画像表示制御方法であって、
前記画像列に含まれる各画像について、当該画像と時間的に連続する画像との間で類似度を算出するステップと、
前記画像列に含まれる各画像について、当該画像に含まれる特徴領域の移動量を算出するステップと、
前記画像列に含まれる各画像について、当該画像に対する前記類似度および前記移動量に基づいて、当該画像の映像状態を、少なくとも（ａ）前記カプセル内視鏡が静止していることを示す「静止状態」、（ｂ）消化器管が変形していることを示す「消化器管変形状態」および（ｃ）前記カプセル内視鏡が移動していることを示す「カプセル移動状態」のいずれかに分類するステップと、
前記画像列に含まれる各画像について、当該画像に対する前記映像状態、前記類似度および前記移動量に基づいて、当該画像と当該画像と時間的に連続する画像との間の描画間隔を決定するステップと、
決定された描画間隔で前記画像列に含まれる各画像を順次画面上に表示させるステップとを含み、
前記類似度を算出するステップは、
画像列に含まれる各画像について、当該画像と時間的に連続する画像との間で画像の全領域同士の類似度である全体画像類似度を算出するステップと、
画像列に含まれる各画像について、当該画像を複数のブロックに分割した場合の各ブロックについて、当該画像と時間的に連続する画像の対応するブロックとの間でブロック同士の類似度である部分画像類似度を算出するステップとを含み、
前記描画間隔を決定するステップでは、前記画像列に含まれる各画像について、当該画像に対する前記映像状態、前記全体画像類似度、前記部分画像類似度および前記移動量に基づいて、当該画像と当該画像と時間的に連続する画像との間の描画間隔を決定する
ことを特徴とするカプセル内視鏡画像表示制御方法。
【請求項１１】
消化器管内を移動するカプセル内視鏡で撮像された複数の画像より構成される画像列の表示を制御するプログラムであって、
前記画像列に含まれる各画像について、当該画像と時間的に連続する画像との間で類似度を算出するステップと、
前記画像列に含まれる各画像について、当該画像に含まれる特徴領域の移動量を算出するステップと、
前記画像列に含まれる各画像について、当該画像に対する前記類似度および前記移動量に基づいて、当該画像の映像状態を、少なくとも（ａ）前記カプセル内視鏡が静止していることを示す「静止状態」、（ｂ）消化器管が変形していることを示す「消化器管変形状態」および（ｃ）前記カプセル内視鏡が移動していることを示す「カプセル移動状態」のいずれかに分類するステップと、
前記画像列に含まれる各画像について、当該画像に対する前記映像状態、前記類似度および前記移動量に基づいて、当該画像と当該画像と時間的に連続する画像との間の描画間隔を決定するステップと、
決定された描画間隔で前記画像列に含まれる各画像を順次画面上に表示させるステップとをコンピュータに実行させ、
前記類似度を算出するステップは、
画像列に含まれる各画像について、当該画像と時間的に連続する画像との間で画像の全領域同士の類似度である全体画像類似度を算出するステップと、
画像列に含まれる各画像について、当該画像を複数のブロックに分割した場合の各ブロックについて、当該画像と時間的に連続する画像の対応するブロックとの間でブロック同士の類似度である部分画像類似度を算出するステップとを含み、
前記描画間隔を決定するステップでは、前記画像列に含まれる各画像について、当該画像に対する前記映像状態、前記全体画像類似度、前記部分画像類似度および前記移動量に基づいて、当該画像と当該画像と時間的に連続する画像との間の描画間隔を決定する
ことを特徴とするプログラム。
【請求項１２】
消化器管内を移動するカプセル内視鏡で撮像された複数の画像より構成される画像列の表示を制御するプログラムを記録したコンピュータ読取可能な記録媒体であって、
前記プログラムは、
前記画像列に含まれる各画像について、当該画像と時間的に連続する画像との間で類似度を算出するステップと、
前記画像列に含まれる各画像について、当該画像に含まれる特徴領域の移動量を算出するステップと、
前記画像列に含まれる各画像について、当該画像に対する前記類似度および前記移動量に基づいて、当該画像の映像状態を、少なくとも（ａ）前記カプセル内視鏡が静止していることを示す「静止状態」、（ｂ）消化器管が変形していることを示す「消化器管変形状態」および（ｃ）前記カプセル内視鏡が移動していることを示す「カプセル移動状態」のいずれかに分類するステップと、
前記画像列に含まれる各画像について、当該画像に対する前記映像状態、前記類似度および前記移動量に基づいて、当該画像と当該画像と時間的に連続する画像との間の描画間隔を決定するステップと、
決定された描画間隔で前記画像列に含まれる各画像を順次画面上に表示させるステップとをコンピュータに実行させ、
前記類似度を算出するステップは、
画像列に含まれる各画像について、当該画像と時間的に連続する画像との間で画像の全領域同士の類似度である全体画像類似度を算出するステップと、
画像列に含まれる各画像について、当該画像を複数のブロックに分割した場合の各ブロックについて、当該画像と時間的に連続する画像の対応するブロックとの間でブロック同士の類似度である部分画像類似度を算出するステップとを含み、
前記描画間隔を決定するステップでは、前記画像列に含まれる各画像について、当該画像に対する前記映像状態、前記全体画像類似度、前記部分画像類似度および前記移動量に基づいて、当該画像と当該画像と時間的に連続する画像との間の描画間隔を決定する
ことを特徴とするコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、画像表示制御装置に関し、特に、カプセル内視鏡で撮像された画像列の表示制御を行なうカプセル内視鏡画像表示制御装置に関する。
【背景技術】
【０００２】  近年、医療の分野において、消化器官を画像検査するためにカプセル内視鏡（例えば、非特許文献１参照）が使用され始めている。カプセル内視鏡が有効なのは、従来のプローブ型内視鏡では映像の取得が困難であった小腸における検査であると現状では考えられている。【０００３】  しかしながら、カプセル内視鏡が伸ばすと約５〜６ｍの小腸を通過するためには約８時間程度を要する。よって、カプセル内視鏡が取得する８時間の映像全てが検査対象になり、検査する医師の負担となっている。このため、現状では、検査医師は映像を観察しながら手動で高速・低速再生のための操作を行ない、予測できない急な変動、すなわち病巣の出現を見落とすことの無いように映像を凝視している。そこで、検査医師の負担を軽減し、見落としをなくすための集中力を維持可能にする短時間映像表示が求められている。【０００４】  このように、現状のプローブ型内視鏡がプローブを挿入して消化器官を観察するのに対し、カプセル内視鏡は食物の通過と同じように、消化器官の蠕動運動を利用して被験者が飲むカプセルを進ませ、バッテリーの続く限り映像を撮影し続ける。カプセルの動きは食物と同じく、被験者の体調に応じて進行するため被験者にとっては負担のない検査となるが、撮影が長時間におよぶため、検査医師は長時間映像を検査しなければならない。しかし実際には、カプセルの動きが遅いため、非常に類似した画像が長く連続することが多い。【０００５】  そのような画像列の表示において通常の速度より早くフレームを送っても検査に支障はなく、現状でも検査医師はインタラクティブな操作で早送りを実現している。現状の操作は一定速度のフレームレートに対し、医師が判断して早送りしているため、急なカプセルの動きまたは小腸の動きが生じたとき、医師が病巣を見落すことが無いように早送りには限界があり、限界を超えたときには巻き戻して速度を緩め検査しなおす煩雑さがある。また、早送り時に部分領域の大きな変化を見逃さないように、医師に過度な集中度を要求するため、医師の大きな負担となっている。そのため、検査初心者では８時間映像の検査に３時間程度を要し、熟練者でも１時間程度の検査を必要とし、短時間で検査が可能な支援技術が望まれている。【０００６】  一方、映像処理において、その状態を自動検出することは可能である。その技術は映像におけるカット点検出の手法として用いられている。従来のカット点検出では、隣接画像間における小ブロックの輝度値の差の自乗和（例えば、非特許文献２参照）や、ブロックのヒストグラムの類似度（例えば、非特許文献３参照）などから、画像全体でいくつのブロックが類似していたかを判定し、ショットの切れ目を検出している。しかしながら、この手法はカットの有無を判定するのが目的であり、連続する隣接画像間の類似度を数値化して表示速度を変更するものではない。また、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）の動き補償情報からフレーム間速度を変更する方法（例えば、特許文献１参照）も提案されているが、この方法では、音声と映像とを同期させながら映像音響コンテンツをユーザに視認できるように再生させることを目的としている。このため��医師が病巣を見落とさないようにするための短時間映像表示に適用させることが困難である。
【非特許文献１】“Ｍ２Ａカプセル内視鏡検査ギブン診断システム（Ｍ２Ａ（Ｒ）Ｃａｐｓｕｌｅ  Ｅｎｄｏｓｃｏｐｙ  Ｇｉｖｅｎ（Ｒ）Ｄｉａｇｎｏｓｔｉｃ  Ｓｙｓｔｅｍ）”、［ｏｎｌｉｎｅ］、ギブンイメージング社（Ｇｉｖｅｎ  Ｉｍａｇｉｎｇ  Ｌｔｄ．）、［２００５年３月９日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｇｉｖｅｎｉｍａｇｉｎｇ．ｃｏｍ／ＮＲ／ｒｄｏｎｌｙｒｅｓ／７６Ｃ２０６４４−４Ｂ５Ｂ−４９６４−８１１Ａ−０７１Ｅ８１３３Ｆ８３Ａ／０／ＧＩ＿Ｍａｒｋｅｔｉｎｇ＿Ｂｒｏｃｈｕｒｅ＿２００３．ｐｄｆ＞
【非特許文献２】Ｂ．Ｓｈａｈｒａｒａｙ，″Ｓｃｅｎｅ  ｃｈａｎｇｅ  ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ｃｏｎｔｅｎｔ−ｂａｓｅｄ  ｓａｍｐｌｉｎｇ  ｏｆ  ｖｉｄｅｏ  ｓｅｑｕｅｎｃｅｓ，″Ｐｒｏｃ．ＩＳ＆Ｔ／ＳＰＩＥ  ２４１９，ｐｐ．２−１３，１９９５．
【非特許文献３】Ｄ．Ｓｗａｎｂｅｒｇ，Ｃ．−Ｆ．Ｓｈｕ，Ｒ．Ｊａｉｎ，″Ｋｎｏｗｌｅｄｇｅ  ｇｕｉｄｅｄ  ｐａｒｓｉｎｇ  ｉｎ  ｖｉｄｅｏ  ｄａｔａｂａｓｅｓ，″Ｐｒｏｃ．ＳＰＩＥ  Ｃｏｎｆ．１９０８，１９９３，ｐｐ．１３−２４．
【特許文献１】特開平１０−２４３３５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】  本発明は、上述の課題を解決するためになされたものであり、医師に過度な負担をかけることなく、かつ医師による病巣の見落としを防止するカプセル内視鏡画像表示制御装置等を提供することを目的とする。
【課題を解決するための手段】
【０００８】  上記目的を達成するために、本発明に係るカプセル内視鏡画像表示制御装置は、消化器管内を移動するカプセル内視鏡で撮像された複数の画像より構成される画像列の表示を制御するカプセル内視鏡画像表示制御装置であって、前記画像列に含まれる各画像について、当該画像と時間的に連続する画像との間で類似度を算出する画像間類似度算出手段と、前記画像列に含まれる各画像について、当該画像に含まれる特徴領域の移動量を算出する移動量算出手段と、前記画像列に含まれる各画像について、当該画像に対する前記類似度および前記移動量に基づいて、当該画像の映像状態を、（ａ）前記カプセル内視鏡が静止していることを示す「静止状態」、（ｂ）消化器管が変形していることを示す「消化器管変形状態」および（ｃ）前記カプセル内視鏡が移動していることを示す「カプセル移動状態」のいずれかに分類する映像状態分類手段と、前記画像列に含まれる各画像について、当該画像に対する前記映像状態、前記類似度および前記移動量に基づいて、当該画像と当該画像と時間的に連続する画像との間の描画間隔を決定する描画間隔決定手段と、決定された描画間隔で前記画像列に含まれる各画像を順次画面上に表示させる表示制御手段とを備えることを特徴とする。【０００９】  このように、本カプセル内視鏡画像表示制御装置は、画像に対する映像状態、画像間の類似度および移動量に基づいて、描画間隔を決定している。このため、例えば、類似度が大きく、かつ移動量が大きいような場合には、消化器管内に移動する部分領域の存在が考えられ、そこに存在するかもしれない病巣の存在を見落とさないことが必要である。このような場合には、描画間隔を大きくすることにより、検査医師が病巣を見落とさないような画像列の表示が可能となる。また、類似度および移動量がともに小さいような場合には、画像間の変化が小さいため描画間隔を小さくすることにより、画像列の高速再生を行うことができる。このため、検査医師は、短時間でかつ病巣を見落とすことなく内視鏡検査を行なうことができる。【００１０】  また、映像状態を予め分類しておくことにより、映像状態に応じた描画間隔を適切に決定することができる。例えば、映像状態が「静止状態」と分類された場合には、描画間隔を短くして、画像列を高速表示させるようにすることができる。【００１１】  また、上述のカプセル内視鏡画像表示制御装置は、さらに、前記画像列に含まれる各画像から所定の特徴量を抽出する注視特徴量抽出手段を備え、前記描画間隔決定手段は、前記画像列に含まれる各画像について、当該画像に対する前記類似度、前記移動量および前記所定の特徴量に基づいて、当該画像と当該画像と時間的に連続する画像との間の描画間隔を決定することを特徴としてもよい。例えば、前記所定の特徴量は、前記画像の全領域に占める赤色領域の割合である。【００１２】  消化器管内で出血が起こっている場合などは、病巣が存在する可能性が高い。このため、このような場合には、描画間隔を長くすることにより、検査医師が病巣を見落とさないような画像列の表示が可能となる。【００１３】  また、前記描画間隔決定手段は、さらに、画面上に表示させる画像列を監視し、内視鏡検査を行なうユーザの熟練度に基づいて、前記描画間隔を決定することを特徴としてもよい。【００１４】  検査医師の熟練度を加味して描画間隔を決定することにより、熟練した検査医師の場合には、短い時間で内視鏡検査を行なうようにすることができる。【００１５】  また、前記描画間隔決定手段は、さらに、求められた前記画像列にそれぞれ対応する複数の描画間隔を平滑化するようにしてもよい。【００１６】  時系列に並べられた複数の描画間隔にガウスフィルターなどの平滑化フィルターを用いて平滑化を施すことにより、描画間隔の変化を鈍らせることができる。このため、止まっている画像中の領域が急に移動したような場合であっても、検査医師の眼を画像変化に追従させることができる。【００１７】  なお、本発明は、このような特徴的な手段を備えるカプセル内視鏡画像表示制御装置として実現することができるだけでなく、カプセル内視鏡画像表示制御装置に含まれる特徴的な手段をステップとする画像処理方法として実現したり、画像処理方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
【発明の効果】
【００１８】  本発明によると、医師に過度な負担をかけることなく、かつ医師による病巣の見落としを防止するカプセル内視鏡画像表示制御装置等を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】図１は、内視鏡システムの構成を示す外観図である。
【図２】図２は、小腸内をカプセル内視鏡が移動する様子を示した図である。
【図３】図３は、カプセル内視鏡画像表示制御装置の構成を示すブロック図である。
【図４】図４は、映像表示システムが実行する映像表示処理を示したフローチャートである。
【図５】図５は、部分画像類似度算出処理（図４のＳ１）の詳細なフローチャートである。
【図６】図６は、最大移動量算出処理（図４のＳ３）の詳細なフローチャートである。
【図７】図７は、映像状態分類処理（図４のＳ４）の詳細なフローチャートである。
【符号の説明】
【００２０】  １０  カプセル内視鏡
１２  照明
１４  撮像部
１６  レシーバー
２０  映像表示システム
２２  アンテナ
２４  ディスプレイ
２６  カプセル内視鏡画像表示制御装置
３２  画像受信部
３４  画像蓄積部
３５  全体画像類似度算出部
３６  画像類似度算出部
３７  部分画像類似度算出部
３８  最大移動量算出部
３９  エッジ算出部
４０  注視特徴量算出部
４１  映像状態分類部
４２  描画間隔決定部
４３  特徴領域抽出部
４４  表示制御部
４５  特徴領域移動量算出部
４７  移動量算出部
１００  内視鏡システム
【発明を実施するための最良の形態】
【００２１】  以下、本発明の実施の形態に係る内視鏡システムについて図面を参照しながら説明する。【００２２】  図１は、内視鏡システムの構成を示す外観図である。【００２３】  内視鏡システム１００は、カプセル内視鏡１０と、カプセル内視鏡１０で撮像された映像を表示する映像表示システム２０とを備えている。【００２４】  カプセル内視鏡１０は、消化器内の映像を撮像するための装置であり、前方および側方の対象物を撮像する撮像部１４と、照明１２と、レシーバー１６とを備えている。撮像部１４で撮像された映像（画像列）は、外部に設けられた映像表示システム２０に配信され、映像表示システム２０において画像処理および映像表示が行なわれる。例えば、カプセル内視鏡１０としては、上述の非特許文献１に示したカプセル内視鏡などが用いられる。このカプセル内視鏡１０では、消費電力の少ないＣＭＯＳなどが撮像部１４に用いられ、１秒間に２フレームの画像を撮像する。このため、約８時間の間に、合計約６万枚の画像を撮像することができる。【００２５】  映像表示システム２０は、アンテナ２２と、カプセル内視鏡画像表示制御装置２６と、ディスプレイ２４とを備えている。アンテナ２２は、カプセル内視鏡１０より配信される映像を受信する。カプセル内視鏡画像表示制御装置２６は、アンテナ２２で受信された映像に基づいて、当該映像の描画間隔を決定し、決定された描画間隔で当該映像をディスプレイ２４に表示させる装置である。【００２６】  図２は、小腸内をカプセル内視鏡１０が移動する様子を示した図である。カプセル内視鏡１０は、図中矢印で示すように、小腸６０の分節運動および蠕動運動に従い、小腸６０内を口腔側から肛門側へ進行する。分節運動とは、小腸６０内に隣接する輪走筋が同時に間欠的に収縮することによって発生する運動のことである。また、蠕動運動とは、輪走筋と縦走筋の組合せによって生じる運動で、食物を前方に送るための運動のことである。【００２７】  図３は、カプセル内視鏡画像表示制御装置２６の構成を示すブロック図である。【００２８】  カプセル内視鏡画像表示制御装置２６は、画像受信部３２と、画像蓄積部３４と、画像類似度算出部３６と、移動量算出部４７と、注視特徴量算出部４０と、映像状態分類部４１と、描画間隔決定部４２と、表示制御部４４とを備えている。【００２９】  画像受信部３２は、アンテナ２２を介して受信したカプセル内視鏡１０より送信される画像列を画像蓄積部３４に蓄積する処理部である。画像蓄積部３４は、カプセル内視鏡１０で撮像された画像列を蓄積する記憶装置である。【００３０】  画像類似度算出部３６は、画像列に含まれる各画像について、当該画像と時間的に連続する画像との間で類似度を算出する画像間類似度算出手段の一例であり、全体画像類似度算出部３５と、部分画像類似度算出部３７とを備えている。【００３１】  部分画像類似度算出部３７は、時間的に連続する画像間において、画像同士が部分的にどのくらい類似するかを示す部分画像類似度を算出する処理部である。すなわち、後述するように、部分画像類似度算出部３７は、画像列に含まれる各画像について、当該画像を複数のブロックに分割した場合の各ブロックについて、当該画像��時間的に連続する画像の対応するブロックとの間でブロック同士の類似度である部分画像類似度を算出する。【００３２】  全体画像類似度算出部３５は、画像列に含まれる各画像について、当該画像と時間的に連続する画像との間で画像の全領域同士の類似度である全体画像類似度を算出する処理部であり、部分画像類似度算出部３７で算出された部分画像類似度に基づいて、時間的に連続する画像間において、画像同士が全体的にどれくらい類似するかを示す全体画像類似度を算出する。【００３３】  移動量算出部４７は、画像列に含まれる各画像について、当該画像に含まれる特徴領域の移動量を算出する移動量算出手段の一例であり、エッジ算出部３９と、特徴領域抽出部４３と、特徴領域移動量算出部４５と、最大移動量算出部３８とを備えている。【００３４】  エッジ算出部３９は、画像列に含まれる各画像について、当該画像中に含まれるエッジの方向成分とエッジ強度とを算出する処理部である。【００３５】  特徴領域抽出部４３は、各画像について、エッジの方向成分およびエッジ強度に基づいて、特徴領域を抽出する処理部である。【００３６】  特徴領域移動量算出部４５は、特徴領域に対応する領域を各画像と時間的に連続する画像から抽出し、特徴領域の移動量を算出する処理部である。【００３７】  最大移動量算出部３８は、時間的に連続する画像間において、特徴のある領域の移動量のうちの最大値（以下、「最大移動量」という。）、すなわち特徴領域移動量算出部４５で算出された特徴領域の移動量のうちの最大値である最大移動量を算出する処理部である。【００３８】  注視特徴量算出部４０は、画像列に含まれる各画像から所定の特徴量を抽出する注視特徴量抽出手段の一例であり、医師が着目する特徴（例えば、病巣や出血）などを特徴量（以下「注視特徴量」という。）としてとらえ、その値を算出する処理部である。【００３９】  映像状態分類部４１は、画像列に含まれる各画像について、当該画像に対する類似度および移動量に基づいて、当該画像の映像状態を、（ａ）カプセル内視鏡が静止していることを示す「静止状態」、（ｂ）消化器管が変形していることを示す「消化器管変形状態」および（ｃ）カプセル内視鏡が移動していることを示す「カプセル移動状態」のいずれかに分類する映像状態分類手段の一例である。具体的には、映像状態分類部４１は、全体画像類似度、部分画像類似度および最大移動量に基づいて、着目する画像を複数の映像状態のいずれかに分類する処理部である。【００４０】  描画間隔決定部４２は、画像列に含まれる各画像について、当該画像に対する映像状態、類似度および移動量に基づいて、当該画像と当該画像と時間的に連続する画像との間の描画間隔を決定する描画間隔決定手段の一例であり、具体的には、描画間隔決定部４２は、画像の映像状態、全体画像類似度、最大移動量および注視特徴量に基づいて、着目している画像の描画間隔を決定する処理部である。【００４１】  表示制御部４４は、決定された描画間隔で前記画像列に含まれる各画像を順次画面上に表示させる表示制御手段の一例であり、決定された描画間隔に基づいて、画像蓄積部３４に蓄積された画像列をディスプレイ２４に表示させるための制御を行なう処理部である。【００４２】  なお、カプセル内視鏡画像表示制御装置２６は、パーソナルコンピュータ等により実現され、カプセル内視鏡画像表示制御装置２６を構成する各処理部は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）上で実行されるプログラムとして実現され、画像蓄積部３４は、ハードディスク等の記憶装置により実現される。【００４３】  図４は、映像表示システム２０が実行する映像表示処理を示したフローチャートである。ここでは、カプセル内視鏡１０で約８時間にわたって撮像されたＮ枚（Ｎは自然数）の小腸内の画像が画像蓄積部３４にすでに蓄積されているものとする。【００４４】  カプセル内視鏡画像表示制御装置２６の各部は、Ｎフレームの画像の各々について、以下の処理を行なう（ループＡ）。まず、部分画像類似度算出部３７は、着目しているｎフレーム目の画像について、部分画像類似度を算出する（Ｓ１）。本実施の形態における部分画像類似度とは、１枚の画像を縦に８分割および横に８分割し、６４のブロックに分割した場合に、ｎフレーム目の画像と（ｎ＋１）フレーム目の画像との間での各ブロック間の類似度を示す。すなわち、ブロック番号をｉとした場合には、部分画像類似度ｓｉｍ（ｉ）（ｉ＝１〜６４）として６４の値が求められることになる。部分画像類似度ｓｉｍ（ｉ）は、両ブロックが類似しているほど１に小さな値を示すものとする。【００４５】  図５は、部分画像類似度算出処理（Ｓ１）の詳細なフローチャートである。部分画像類似度算出処理（Ｓ１）では、画像の色情報を用いて類似度の算出を行なう。なお、１フレームの画像は、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）およびＢ（Ｂｌｕｅ）の３枚の画像からなる。色評価には、複数の色空間（ＹＩＱ，ＨＳＶ，Ｌ＊ａ＊ｂ＊等）が知られているが、ここでは、処理の簡単化のためにＲＧＢ空間を用いるものとする。【００４６】  部分画像類似度算出部３７は、着目しているｎフレーム目の画像に含まれる６４個のブロックのうち、各ブロックについて以下の処理を繰り返す（ループＢ）。すなわち、部分画像類似度算出部３７は、着目しているｉ番目のブロックについて、次式（１）に基づいて、ヒストグラム間距離ｄｉｓｓｉｍ＿ｒｅｇ（ｉ）を算出する（Ｓ１１）。【００４７】
【数１】
0004512834.tif 000002
なお、各ブロックは、Ｒ、ＧおよびＢの色プレーンごとに画素値が１６段階のヒストグラムで表されており、例えば、ＨＲ，ｋ（ｎ）は、ｎフレームのｉ番目のブロックにおけるＲプレーンのヒストグラムのｋ段目の値を示している。ここでは、ヒストグラムを１６段階としているため、例えば、画素値が２５６階調の場合には、ヒストグラムの各段は、１６（＝２５６／１６）階調の画素値に対応することになる。【００４８】  部分画像類似度算出部３７は、ｉ番目のブロックにおけるヒストグラム間距離ｄｉｓｓｉｍ＿ｒｅｇ（ｉ）が所定の閾値Ｔｈｒｅｓｈ＿Ｂｌｏｃｋ１未満か否かを判断する（Ｓ１２）。判断の結果、ヒストグラム間距離ｄｉｓｓｉｍ＿ｒｅｇ（ｉ）が閾値Ｔｈｒｅｓｈ＿Ｂｌｏｃｋ１未満の場合には（Ｓ１２でＹＥＳ）、部分画像類似度ｓｉｍ（ｉ）に１を代入する（Ｓ１３）。ヒストグラム間距離ｄｉｓｓｉｍ＿ｒｅｇ（ｉ）が閾値Ｔｈｒｅｓｈ＿Ｂｌｏｃｋ１以上の場合には（Ｓ１２でＮＯ）、部分画像類似度ｓｉｍ（ｉ）に０を代入する（Ｓ１４）。【００４９】  以上の処理を上述したように、部分画像類似度算出部３７は、着目しているｎフレーム目の画像に含まれる６４個のブロックの全てについて行なう（ループＢ）。【００５０】  再度図４を参照して、全体画像類似度算出部３５は、部分画像類似度算出処理（図４のＳ１、図５）で求められた６４個の部分画像類似度ｓｉｍ（ｉ）（ｉ＝１〜６４）に基づいて、ｎフレーム目の画像と（ｎ＋１）フレーム目の画像との間の全体画像類似度ｓｉｍｉｌａｒｉｔｙ（ｎ）を算出する（Ｓ２）。全体画像類似度算出部３５は、次式（２）に従いｎフレーム目とｎ＋１フレーム目の画像間の全体画像類似度Ｓｉｍｉｌａｒｉｔｙ（ｎ）を算出する。【００５１】
【数２】
0004512834.tif 000003
すなわち、全体画像類似度Ｓｉｍｉｌａｒｉｔｙ（ｎ）は０〜１までの間の数値を取り、１に近いほどｎフレーム目の画像と（ｎ＋１）フレーム目の画像とが類似していることを示し、０に近いほど類似していないことを示す。【００５２】  次に、移動量算出部４７は、ｎフレーム目における最大移動量ｍｏｔｉｏｎ（ｎ）を算出する（Ｓ３）。最大移動量ｍｏｔｉｏｎ（ｎ）の算出方法については、後に詳述するが、最大移動量ｍｏｔｉｏｎ（ｎ）は、０〜１までの間の値を取り、１に近いほど、動きの大きい特徴領域が画像内にあることを示す。【００５３】  図６は、最大移動量算出処理（図４のＳ３）の詳細なフローチャートである。【００５４】  エッジ算出部３９は、着目しているｎフレーム目の画像１に対して、ｘ方向の微分フィルターとｙ方向の微分フィルターとを施すことにより、それぞれｘ方向の微分値Ｉｘ（ｘ，ｙ）とｙ方向の微分値Ｉｙ（ｘ，ｙ）とを求め、ｘ方向の空間微分画像Ｉｘとｙ方向の空間微分画像Ｉｙとを作成する（Ｓ３１）。微分フィルターとしては、ＳｏｂｅｌフィルターやＲｏｂｅｒｔｓフィルターなどの一般的な空間微分フィルターを用いることができる。【００５５】  次に、特徴領域抽出部４３は、ｎフレーム目の画像Ｉに含まれる各ブロックについて以下の処理を繰り返す（ループＣ）。なお、ブロックの大きさは、例えば１６×１６画素であるものとする。ただし、これは例示に過ぎずそれ以外の大きさであってもよい。【００５６】  まず、特徴領域抽出部４３は、次式（３）に従い、着目しているｎフレーム目の画像Ｉ上の各画素（ｘ，ｙ）について、微分値の自乗和Ｓ（ｘ，ｙ）２を求める（Ｓ３２）。【００５７】  Ｓ（ｘ，ｙ）２＝Ｉｘ（ｘ，ｙ）２＋Ｉｙ（ｘ，ｙ）２        …（３）
また、特徴領域抽出部４３は、微分値Ｉｘ（ｘ，ｙ）およびＩｙ（ｘ，ｙ）から、次式（４）に従い、各画素（ｘ，ｙ）の方向α（ｘ，ｙ）を算出する（Ｓ３３）。【００５８】
【数３】
0004512834.tif 000004
次に、特徴領域抽出部４３は、６個の方向セルＣ（ｉ）（ｉ＝０〜５）に、次式（５）で示される値を加算する（Ｓ３４）。【００５９】
【数４】
0004512834.tif 000005
ここで、各方向セルＣ（ｉ）（ｉ＝０〜５）は、０（ｒａｄ）（０°）からπ（ｒａｄ）
（１８０°）を６分割したものに対応し、例えば、Ｃ（０）に値を加算された値は、０°から３０°の間に存在する方向成分の強度（方向成分の信頼度）を示している。【００６０】  次に、特徴領域抽出部４３は、６つの方向セルのうちの最小値が所定の閾値Ｔｈｒｅｓｈ＿Ｂｌｏｃｋ２よりも大きいか否かを調べる（Ｓ３５）。方向セルのうちの最小値が所定の閾値Ｔｈｒｅｓｈ＿Ｂｌｏｃｋ２よりも大きいということは、ブロック内に複数の方向のエッジ成分を有し、そのブロックがテクスチャのような特徴的なパターンを有するブロックであることを示している。したがって、上記条件を満たす場合には（Ｓ３５でＹＥＳ）、特徴領域抽出部４３は、そのブロックを追跡可能ブロックと判断する（Ｓ３６）。一方、上記条件を満たさない場合には、ブロック内のパターンが特徴的なパターンではないと判断し、特徴領域抽出部４３は、そのブロックを追跡可能ブロックとは判断しない（Ｓ３７）。【００６１】  次に、特徴領域移動量算出部４５は、追跡可能ブロックと判断された各ブロックについて、以下に説明する移動量算出処理（Ｓ３８）を繰り返す。特徴領域移動量算出部４５は、ｎフレーム目の画像から得られた追跡可能ブロックに対応する位置を（ｎ＋１）フレーム目の画像中から探索する（Ｓ３８）。すなわち、特徴領域移動量算出部４５は、ｎフレーム目の画像Ｉ（ｎ）における追跡可能ブロックの位置（ｘ，ｙ）の近傍の探索領域で、次式（６）の値を求め、その値が最小となる位置（ｘ＋ａ，ｙ＋ｂ）を求める。【００６２】
【数５】
0004512834.tif 000006
ここで、Ｉ（ｎ）（ｘ，ｙ）はｎフレーム目の画像の座標（ｘ，ｙ）における画素値を示す。【００６３】  したがって、式（６）の値が最小となる位置（ｘ＋ａ，ｙ＋ｂ）よりｉ番目の追跡可能ブロックの移動量ＢｌｏｃｋＭｏｔｉｏｎ（ｉ）は、次式（７）に従い求められる。【００６４】
【数６】
0004512834.tif 000007
次に、最大移動量算出部３８は、次式（８）に従い、求められた全ての追跡可能ブロックの移動量の最大値を正規化し、ｎフレーム目の画像の最大移動量ｍｏｔｉｏｎ（ｎ）を算出する（Ｓ３９）。【００６５】
【数７】
0004512834.tif 000008
ここで、ＭａｘＳｅａｒｃｈは、追跡可能ブロックを探索領域内で探索した場合に、とり得る最大移動量である。【００６６】  再度図４を参照して、映像状態分類部４１は、ｎフレーム目における、ヒストグラム間距離ｄｉｓｓｉｍ＿ｒｅｇ（ｉ）、全体画像類似度Ｓｉｍｉｌａｒｉｔｙ（ｎ）および最大移動量ｍｏｔｉｏｎ（ｎ）に基づいて、ｎフレーム目の画像がどのような状態にあるかを調べ、映像状態の分類を行なう（Ｓ４）。映像状態の分類処理については後述するが、映像状態分類部４１は、ｎフレーム目の画像を、カプセル内視鏡１０が静止していることを示す「静止状態」、画像中で微小な領域が変形していることを示す「微小領域変形状態」、小腸が変形していることを示す「小腸変形状態」およびカプセル内視鏡１０が移動していることを示す「カプセル移動状態」のいずれかに分類する。【００６７】  図７は、映像状態分類処理（図４のＳ４）の詳細なフローチャートである。【００６８】  映像状態分類部４１は、ｎフレーム目における全体画像類似度Ｓｉｍｉｌａｒｉｔｙ（ｎ）が閾値Ｔｈｒｅｓｈ１よりも大きいか否かを判断する（Ｓ４１）。全体画像類似度Ｓｉｍｉｌａｒｉｔｙ（ｎ）が閾値Ｔｈｒｅｓｈ１よりも大きい場合には（Ｓ４１でＹＥＳ）、映像状態分類部４１は、部分画像類似度算出部３７で求められたヒストグラム間距離ｄｉｓｓｉｍ＿ｒｅｇ（ｉ）の最大値ｍａｘ｛ｄｉｓｓｉｍ＿ｒｅｇ（ｉ）｝が閾値Ｔｈｒｅｓｈ２以下か否かを調べる（Ｓ４２）。【００６９】  Ｓ４１の条件およびＳ４２の条件を両方とも満たす場合には（Ｓ４１でＹＥＳ、Ｓ４２でＹＥＳ）、連続するフレーム間全体として見た場合にも画像が類似するし、ブロックごとに見た場合であっても類似するブロックがないことを示している。したがって、このような場合には、映像状態分類部４１は、最大移動量ｍｏｔｉｏｎ（ｎ）に強制的に０を設定するとともに（Ｓ４３）、当該フレームを「静止状態」に分類する。【００７０】  ヒストグラム間距離ｄｉｓｓｉｍ＿ｒｅｇ（ｉ）の最大値ｍａｘ｛ｄｉｓｓｉｍ＿ｒｅｇ（ｉ）｝が閾値Ｔｈｒｅｓｈ２よりも大きい場合には（Ｓ４２でＮＯ）、映像状態分類部４１は、最大移動量ｍｏｔｉｏｎ（ｎ）が閾値Ｔｈｒｅｓｈ３以下か否かを調べる（Ｓ４５）。Ｓ４５の条件を満たす場合には（Ｓ４５でＹＥＳ）、ブロック単位で見た場合に、フレーム間で違いはあるものの（Ｓ４２でＮＯ）、最大移動量ｍｏｔｉｏｎ（ｎ）が小さいため（Ｓ４５でＹＥＳ）、映像状態分類部４１は、当該フレームを「静止状態」に分類する（Ｓ４４）。【００７１】  Ｓ４５の条件を満たさない場合には（Ｓ４５でＮＯ）、画像全体として見た場合には連続するフレームの画像同士は類似しているが（Ｓ４１でＹＥＳ）、ブロック単位で見た場合にフレーム間で違いがあり（Ｓ４２でＮＯ）、かつ最大移動量ｍｏｔｉｏｎ（ｎ）が大きな値を示すため、映像状態分類部４１は、画像内で病巣などの微小な領域が大きく動いたと判断し、当該フレームを「微小領域変形状態」に分類する（Ｓ４６）。【００７２】  ｎフレーム目における全体画像類似度Ｓｉｍｉｌａｒｉｔｙ（ｎ）が閾値Ｔｈｒｅｓｈ１以下の場合には（Ｓ４１でＮＯ）、映像状態分類部４１は、ヒストグラム間���離ｄｉｓｓｉｍ＿ｒｅｇ（ｉ）の最小値ｍｉｎ｛ｄｉｓｓｉｍ＿ｒｅｇ（ｉ）｝が所定の閾値Ｔｈｒｅｓｈ４以上であるか否かを判断する（Ｓ４７）。【００７３】  Ｓ４７の条件を満たす場合には（Ｓ４７でＹＥＳ）、連続するフレーム間の全体の画像同士が非類似であり（Ｓ４１でＮＯ）、かつ画像内のどのブロックをとっても移動量が大きいことを示している（Ｓ４７でＹＥＳ）。このため、映像状態分類部４１は、最大移動量ｍｏｔｉｏｎ（ｎ）に強制的に１を設定するとともに（Ｓ５０）、当該フレームを「カプセル移動状態」に分類する（Ｓ５１）。【００７４】  Ｓ４７の条件を満たさない場合には（Ｓ４７でＮＯ）、映像状態分類部４１は、最大移動量ｍｏｔｉｏｎ（ｎ）が閾値Ｔｈｒｅｓｈ５以上か否かを調べる（Ｓ４８）。Ｓ４８の条件を満たす場合には（Ｓ４８でＹＥＳ）、映像状態分類部４１は、当該フレームを「カプセル移動状態」に分類する（Ｓ５１）。【００７５】  Ｓ４８の条件を満たさない場合には（Ｓ４８でＮＯ）、映像状態分類部４１は、当該フレームを「小腸変形状態」に分類する（Ｓ４９）。【００７６】  以上の映像状態分類処理において、Ｓ４１の条件を満たす場合には（Ｓ４１でＹＥＳ、Ｓ４２〜Ｓ４６）、画像間での全体的な変化が小さいことになる。そのため、当該画像間で求められた最大移動量ｍｏｔｉｏｎ（ｎ）は、信頼性が高いことになる。一方、Ｓ４１の条件を満たさない場合には（Ｓ４１でＮＯ、Ｓ４７〜Ｓ５１）、画像間での全体的な変化が激しいことになる。そのため、当該画像間で求められた最大移動量ｍｏｔｉｏｎ（ｎ）は、信頼性が低いことになる。このため、「微小領域変形状態」は、最大移動量ｍｏｔｉｏｎ（ｎ）の信頼性が高い場合の小腸の変形と考えることもでき、「小腸変形状態」は、最大移動量ｍｏｔｉｏｎ（ｎ）の信頼性が低い場合の小腸の変形と考えることもできる。このため、請求の範囲においては「微小領域変形状態」および「小腸変形状態」をまとめて「消化器管変形状態」と表現している。【００７７】  また、上述の映像状態分類処理において「静止状態」に分類されたとしても、必ずしもカプセル内視鏡１０が静止しているとは限らない。すなわち、カプセル内視鏡１０は移動しているものの、見かけ上静止しているように見える場合も静止状態に分類される。【００７８】  再度図４を参照して、注視特徴量算出部４０は、ｎフレームの画像における注視特徴量Ａｂｎ（ｎ）を算出する（Ｓ５）。本実施の形態では、小腸内で出血している場合をとらえるため、赤い色成分を持つ領域が所定の閾値ある場合には、Ａｂｎ（ｎ）を１とし、ない場合にはＡｂｎ（ｎ）を０とする。なお、赤い色成分を有するか否かの判断は、例えば、Ｒプレーンの画素値が所定の閾値以上であり、ＧプレーンおよびＢプレーンの画素値が所定の閾値以下である場合に赤い成分を有すると判断する。ただし、それ以外の判断方法であってもよい。また、注視特徴量は上述した出血状態の有無を示す特徴量でなくてもよく、病巣の有無を示す特徴量のようなものであってもよい。【００７９】  次に、描画間隔決定部４２は、映像状態の分類結果に従い、ｎフレーム目の画像と（ｎ＋１）フレーム目の画像との間の描画間隔ＴｉｍｅＤｕｒａｔｉｏ��（ｎ）を求める（Ｓ６）。描画間隔を変更することにより、映像の再生速度を変更することができる。描画間隔はシステムに依存し、上限が決まっている。映像状態が「静止状態」にあるときは、システムの最高性能となる描画速度に設定するため、描画間隔決定部４２は、システム依存の定数ｃｏｎｓｔ（Ｓｙｓｔｅｍ）を用いて描画間隔ＴｉｍｅＤｕｒａｔｉｏｎ（ｎ）を次式（９）に基づいて算出する。【００８０】  映像状態が「カプセル移動状態」の場合には、描画間隔を最も長くする必要があり、検査医師の熟練度ｓｋｉｌｌ（ｈｕｍａｎ）に依存する。そこで、描画間隔決定部４２は、次式（１０）を用いて描画間隔ＴｉｍｅＤｕｒａｔｉｏｎ（ｎ）を算出する。【００８１】  映像状態が「微小領域変形状態」または「小腸変形状態」の場合には、画像間もしくはブロック間の類似度、またはブロック間の移動量が適度に存在する。このため、それぞれの合成により描画間隔を決定する。この場合にも検査医師の熟練度ｓｋｉｌｌ（ｈｕｍａｎ）に基づいて変化を与え、描画間隔決定部４２は、次式（１１）を用いて描画間隔ＴｉｍｅＤｕｒａｔｉｏｎ（ｎ）を算出する。【００８２】
【数８】
0004512834.tif 000009
一方、検査医師が観察する画像に病巣が撮影されている可能性がある場合には、注意した観察が必要になる。このため、その間の描画間隔は長くする必要がある。このため、その間の画像の描画間隔は長くする必要がある。したがって、上述した注視特徴量Ａｂｎ（ｎ）を用いて、次式（１２）に従い、最終的な描画間隔を決定する。【００８３】  ＴｉｍｅＤｕｒａｔｉｏｎ（ｎ）＝ＴｉｍｅＤｕｒａｔｉｏｎ（ｎ）＋β＊Ａｂｎ（ｎ）      …（１２）
ここで、βは所定の定数である。【００８４】  上述の方法によると、描画間隔決定部４２は、検査医師が画面上で大きく視線を移動しなければならない場合には、描画間隔を長くするような決定を行なっている。なお、「検査医師が画面上で大きく視線を移動しなければならない場合」とは、病巣等の検査医師が着目しなければならない特徴領域（以下「着目領域」という。）の個数が多い場合や、着目領域の移動量が大きい場合を指す。また、このような着目領域の個数は、ヒストグラム間距離に基づいて求めることができ、着目領域の移動量は、最大移動量に基づいて求めることができる。【００８５】  以上説明したＳ１からＳ６までの処理を全てのフレームについて行い、各フレームの描画間隔を算出する（図４のループＡ）。以上のようにして映像特徴量に基づいて映像状態を分類し、描画間隔を変更することにより映像の表示速度を変更することができる。しかし、映像状態が遷移したことによって、急激な表示速度の変化が映像に現れる場合がある。例えば、止まっている画像中の領域が急に移動したような場合である。このような場合に、医師の眼が画像変化に追従できるように表示速度の変化を鈍らせる必要がある。そこで、描画間隔決定部４２は、描画間隔を時間軸に並べた値に対し、ガウスフィルターを適用し、描画間隔の変化を鈍らせる（Ｓ７）。ガウスフィルターは周知の技術であるため、その詳細な説明はここでは繰り返さない。【００８６】  最終的に求められた描画間隔となるように、表示制御部４４は、画像蓄積部３４に蓄積された画像列をディスプレイ２４に表示させる制御を行なう（Ｓ８）。【００８７】  以上説明したように、カプセル内視鏡で撮影された映像は、撮影時と同じ速度で再生すると検査にも約８時間以上を要し、検査医師を長時間拘束するため、現実的でない。現状は熟練した検査医師でも約１時間程度の検査時間を要し、非熟練者では約３時間を必要とする。映像には約８時間のうち、部位が速く移動する時間区間とゆっくりした移動または移動の無い時間区間とが混在するため、その変化を見逃さないことが必要とされている。本発明で提案した技術を用いると部位が速く移動する時間区間では映像の描画を自動的に遅くし、ゆっくりした移動または移動の無い時間区間では描画を自動的に速くすることができる。また、カプセル内視鏡が小腸内を移動する際には、検査医師は映像を一定速度で観察することができる。このため、たとえば、平均１０倍速（５０分程度）にしても検査が可能になる。また、熟練者でも従来法では１４倍速を最高速度にしていたのが、平均で１４倍速にしても見落とす危険がなくなる。このため、約３５分で全ての映像が観察可能になる。これによって、従来ではほとんど検査されなかった小腸内視鏡検査の実施が可能となる。
【産業上の利用可能性】
【００８８】  本発明は、映像を高速に見ることができる画像処理装置等に適用でき、特に、カプセル内視鏡で撮像された映像を高速に見ることができるカプセル内視鏡画像表示制御装置等に適用できる。
【図１】
0004512834.tif 000010
【図２】
0004512834.tif 000011
【図３】
0004512834.tif 000012
【図４】
0004512834.tif 000013
【図５】
0004512834.tif 000014
【図６】
0004512834.tif 000015
【図７】
0004512834.tif 000016