(57)【要約】  画像処理装置（４）は、時系列で取得された画像群に含まれる画像毎に、当該画像内の観察に有用な有効領域以外の無効領域を検出する領域検出部（４５１）と、画像群に含まれる画像から類似度を算出する対象となる複数の対象画像を設定し、当該複数の対象画像毎に、当該対象画像と画像群に含まれる画像のうち当該対象画像に対して時系列的に隣接する隣接画像との類似度を算出する類似度算出部（４５２）と、複数の対象画像毎の類似度に基づいて、当該複数の対象画像から代表画像を選出する画像選出部（４５３）とを備える。類似度算出部（４５２）は、対象画像または隣接画像の一方の画像内における無効領域を除いた有効領域と、対象画像または隣接画像の他方の画像内における当該有効領域に相当する領域との間で類似度を算出する。
2016056408.tif 000002
【特許請求の範囲】
【請求項１】
時系列で取得された画像群に含まれる画像毎に、当該画像内の観察に有用な有効領域以外の無効領域を検出する領域検出部と、  前記画像群に含まれる画像から類似度を算出する対象となる複数の対象画像を設定し、当該複数の対象画像毎に、当該対象画像と前記画像群に含まれる画像のうち当該対象画像に対して時系列的に隣接する隣接画像との類似度を算出する類似度算出部と、  前記複数の対象画像毎の前記類似度に基づいて、当該複数の対象画像から代表画像を選出する画像選出部とを備え、  前記類似度算出部は、  前記対象画像または前記隣接画像のうちいずれか一方の画像内における前記無効領域を除いた前記有効領域と、前記対象画像または前記隣接画像のうちいずれか他方の画像内における当該有効領域に相当する領域との間で前記類似度を算出する  ことを特徴とする画像処理装置。
【請求項２】
時系列で取得された画像群に含まれる画像毎に、当該画像内の観察に有用な有効領域以外の無効領域を検出する領域検出部と、  前記画像群に含まれる画像から類似度を算出する対象となる複数の対象画像を設定し、当該複数の対象画像毎に、当該対象画像と前記画像群に含まれる画像のうち当該対象画像に対して時系列的に隣接する隣接画像との類似度を算出する類似度算出部と、  前記複数の対象画像毎の前記類似度に基づいて、当該複数の対象画像から代表画像を選出する画像選出部とを備え、  前記類似度算出部は、  前記対象画像及び前記隣接画像を重ね合わせた場合に、前記対象画像内における前記無効領域を除いた前記有効領域と前記隣接画像内における前記無効領域を除いた前記有効領域とが互いに重なり合う領域間で前記類似度を算出する  ことを特徴とする画像処理装置。
【請求項３】
前記類似度算出部は、  前記画像群に含まれる画像のうち、前記無効領域を除いた前記有効領域を含む画像を前記対象画像として設定する  ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像選出部は、  前記複数の対象画像から、前記類似度が低い順に、所定枚数の前記代表画像を選出する  ことを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
【請求項５】
画像処理装置が行う画像処理方法において、  時系列で取得された画像群に含まれる画像毎に、当該画像内の観察に有用な有効領域以外の無効領域を検出する領域検出ステップと、  前記画像群に含まれる画像から類似度を算出する対象となる複数の対象画像を設定し、当該複数の対象画像毎に、当該対象画像と前記画像群に含まれる画像のうち当該対象画像に対して時系列的に隣接する隣接画像との類似度を算出する類似度算出ステップと、  前記複数の対象画像毎の前記類似度に基づいて、当該複数の対象画像から代表画像を選出する画像選出ステップとを含み、  前記類似度算出ステップでは、  前記対象画像または前記隣接画像のうちいずれか一方の画像内における前記無効領域を除いた前記有効領域と、前記対象画像または前記隣接画像のうちいずれか他方の画像内における当該有効領域に相当する領域との間で前記類似度を算出する  ことを特徴とする画像処理方法。
【請求項６】
画像処理装置が行う画像処理方法において、  時系列で取得された画像群に含まれる画像毎に、当該画像内の観察に有用な有効領域以外の無効領域を検出する領域検出ステップと、  前記画像群に含まれる画像から類似度を算出する対象となる複数の対象画像を設定し、当該複数の対象画像毎に、当該対象画像と前記画像群に含まれる画像のうち当該対象画像に対して時系列的に隣接する隣接画像との類似度を算出する類似度算出ステップと、  前記複数の対象画像毎の前記類似度に基づいて、当該複数の対象画像から代表画像を選出する画像選出ステップとを含み、  前記類似度算出ステップでは、  前記対象画像及び前記隣接画像を重ね合わせた場合に、前記対象画像内における前記無効領域を除いた前記有効領域と前記隣接画像内における前記無効領域を除いた前記有効領域とが互いに重なり合う領域間で前記類似度を算出する  ことを特徴とする画像処理方法。
【請求項７】
請求項５または６に記載の画像処理方法を画像処理装置に実行させる  ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】  従来、時系列で取得された複数の画像を含む画像群を取得し、当該画像群から一部の画像を抽出して元の画像群よりも枚数の少ない画像群に要約する画像要約処理を実行する画像抽出装置（画像処理装置）が知られている（例えば、特許文献１参照）。  特許文献１に記載の画像処理装置では、画像群からシーンが変化する位置の画像を代表画像としてそれぞれ選出し、当該画像群を所定枚数の代表画像に要約する。  そして、ユーザは、画像要約処理後の画像群に含まれる所定枚数の代表画像を観察することで、短時間で元の画像群全体の内容を把握することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−５０２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】  しかしながら、特許文献１に記載の画像要約処理では、代表画像を選出する際の条件をシーンの変化としているため、選出された所定枚数の代表画像の中に、観察に有用な有効領域以外の無効領域を多く含む画像が含まれてしまう虞がある、という問題がある。  例えば、被検体内に導入され、当該被検体内を撮像するカプセル型内視鏡にて撮像された体内画像群に対して当該画像要約処理を実行した場合には、選出された所定枚数の代表画像の中に、当該被検体内の粘膜等の観察に有用な有効領域ではなく、泡や残渣等の観察に不要な無効領域を多く含む体内画像が含まれてしまう虞がある。【０００５】  本発明は、上記に鑑みてなされたものであって、観察に有用な有効領域を多く含む画像を代表画像としてより多く選出することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００６】  上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、時系列で取得された画像群に含まれる画像毎に、当該画像内の観察に有用な有効領域以外の無効領域を検出する領域検出部と、前記画像群に含まれる画像から類似度を算出する対象となる複数の対象画像を設定し、当該複数の対象画像毎に、当該対象画像と前記画像群に含まれる画像のうち当該対象画像に対して時系列的に隣接する隣接画像との類似度を算出する類似度算出部と、前記複数の対象画像毎の前記類似度に基づいて、当該複数の対象画像から代表画像を選出する画像選出部とを備え、前記類似度算出部は、前記対象画像または前記隣接画像のうちいずれか一方の画像内における前記無効領域を除いた前記有効領域と、前記対象画像または前記隣接画像のうちいずれか他方の画像内における当該有効領域に相当する領域との間で前記類似度を算出することを特徴とする。【０００７】  また、本発明に係る画像処理装置は、時系列で取得された画像群に含まれる画像毎に、当該画像内の観察に有用な有効領域以外の無効領域を検出する領域検出部と、前記画像群に含まれる画像から類似度を算出する対象となる複数の対象画像を設定し、当該複数の対象画像毎に、当該対象画像と前記画像群に含まれる画像のうち当該対象画像に対して時系列的に隣接する隣接画像との類似度を算出する類似度算出部と、前記複数の対象画像毎の前記類似度に基づいて、当該複数の対象画像から代表画像を選出する画像選出部とを備え、前記類似度算出部は、前記対象画像及び前記隣接画像を重ね合わせた場合に、前記対象画像内における前記無効領域を除いた前記有効領域と前記隣接画像内における前記無効領域を除いた前記有効領域とが互いに重なり合う領域間で前記類似度を算出することを特徴とする。【０００８】  また、本発明に係る画像処理装置は、上記発明において、前記類似度算出部は、前記画像群に含まれる画像のうち、前記無効領域を除いた前記有効領域を含む画像を前記対象画像として設定することを特徴とする。【０００９】  また、本発明に係る画像処理装置は、上記発明において、前記画像選出部は、前記複数の対象画像から、前記類似度が低い順に、所定枚数の前記代表画像を選出することを特徴とする。【００１０】  また、本発明に係る画像処理方法は、画像処理装置が行う画像処理方法において、時系列で取得された画像群に含まれる画像毎に、当該画像内の観察に有用な有効領域以外の無効領域を検出する領域検出ステップと、前記画像群に含まれる画像から類似度を算出する対象となる複数の対象画像を設定し、当該複数の対象画像毎に、当該対象画像と前記画像群に含まれる画像のうち当該対象画像に対して時系列的に隣接する隣接画像との類似度を算出する類似度算出ステップと、前記複数の対象画像毎の前記類似度に基づいて、当該複数の対象画像から代表画像を選出する画像選出ステップとを含み、前記類似度算出ステップでは、前記対象画像または前記隣接画像のうちいずれか一方の画像内における前記無効領域を除いた前記有効領域と、前記対象画像または前記隣接画像のうちいずれか他方の画像内における当該有効領域に相当する領域との間で前記類似度を算出することを特徴とする。【��０１１】  また、本発明に係る画像処理方法は、画像処理装置が行う画像処理方法において、時系列で取得された画像群に含まれる画像毎に、当該画像内の観察に有用な有効領域以外の無効領域を検出する領域検出ステップと、前記画像群に含まれる画像から類似度を算出する対象となる複数の対象画像を設定し、当該複数の対象画像毎に、当該対象画像と前記画像群に含まれる画像のうち当該対象画像に対して時系列的に隣接する隣接画像との類似度を算出する類似度算出ステップと、前記複数の対象画像毎の前記類似度に基づいて、当該複数の対象画像から代表画像を選出する画像選出ステップとを含み、前記類似度算出ステップでは、前記対象画像及び前記隣接画像を重ね合わせた場合に、前記対象画像内における前記無効領域を除いた前記有効領域と前記隣接画像内における前記無効領域を除いた前記有効領域とが互いに重なり合う領域間で前記類似度を算出することを特徴とする。【００１２】  また、本発明に係る画像処理プログラムは、上述した画像処理方法を画像処理装置に実行させることを特徴とする。
【発明の効果】
【００１３】  本発明の第１態様に係る画像処理装置は、時系列で取得された画像群に含まれる画像から類似度を算出する対象となる複数の対象画像を設定し、当該複数の対象画像毎に、当該対象画像または隣接画像のうちいずれか一方の画像内における無効領域を除いた有効領域と、当該対象画像または隣接画像のうちいずれか他方の画像内における当該いずれか一方の画像内の有効領域に相当する領域との間で類似度を算出する。言い換えれば、画像処理装置は、類似度を算出するための演算領域を対象画像または隣接画像における有効領域とし、当該対象画像及び隣接画像における同一の演算領域間で類似度を算出する。そして、画像処理装置は、複数の対象画像から、例えば、比較的に類似性の低い値の類似度となる対象画像を代表画像として選出する。  以上のように、本発明の第１態様に係る画像処理装置によれば、無効領域の類似度算出処理への寄与度を少なくすることで、観察に有用な有効領域を多く含む画像を代表画像としてより多く選出することができる、という効果を奏する。【００１４】  本発明の第２態様に係る画像処理装置は、時系列で取得された画像群に含まれる画像から類似度を算出する対象となる複数の対象画像を設定し、当該複数の対象画像毎に、当該対象画像及び隣接画像を重ね合わせた場合に互いの有効領域が重なり合う領域間で類似度を算出する。そして、画像処理装置は、複数の対象画像から、例えば、比較的に類似性の低い値の類似度となる対象画像を代表画像として選出する。  以上のように、本発明の第２態様に係る画像処理装置によれば、有効領域同士で類似度を算出するので、無効領域の類似度算出処理への寄与度を排除することができる。したがって、本発明の第２態様に係る画像処理装置によれば、上述した本発明の第１態様に係る画像処理装置と同様に、観察に有用な有効領域を多く含む画像を代表画像としてより多く選出することができる、という効果を奏する。【００１５】  本発明に係る画像処理方法は、上述した画像処理装置が行う方法であるため、上述した画像処理装置と同様の効果を奏する。  本発明に係る画像処理プログラムは、上述した画像処理装置にて実行されるプログラムであるため、上述した画像処理装置と同様の効果を奏する。
【図面の簡単な説明】
【００１６】
【図１】図１は、本発明の実施の形態１に係る内視鏡システムを示す模式図である。
【図２】図２は、図１に示した画像処理装置を示すブロック図である。
【図３】図３は、図２に示した画像処理装置の動作（画像処理方法）を示すフローチャートである。
【図４】図４は、図３に示した画像処理方法を説明するための図である。
【図５Ａ】図５Ａは、図３に示したステップＳ５を説明するための図である。
【図５Ｂ】図５Ｂは、図３に示したステップＳ５を説明するための図である。
【図６Ａ】図６Ａは、本発明の実施の形態２に係るステップＳ５を説明するための図である。
【図６Ｂ】図６Ｂは、本発明の実施の形態２に係るステップＳ５を説明するための図である。
【図７Ａ】図７Ａは、本発明の実施の形態３に係るステップＳ５を説明するための図である。
【図７Ｂ】図７Ｂは、本発明の実施の形態３に係るステップＳ５を説明するための図である。
【図８Ａ】図８Ａは、本発明の実施の形態４に係るステップＳ５を説明するための図である。
【図８Ｂ】図８Ｂは、本発明の実施の形態４に係るステップＳ５を説明するための図である。
【発明を実施するための形態】
【００１７】  以下、図面を参照して、本発明に係る画像処理装置、画像処理方法、及び画像処理プログラムの好適な実施の形態を詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。
【００１８】（実施の形態１）  〔内視鏡システムの概略構成〕  図１は、本発明の実施の形態１に係る内視鏡システムを示す模式図である。  内視鏡システム１は、飲み込み型のカプセル型内視鏡２を用いて、被検体１００内部の体内画像を取得し、当該体内画像を医師等に観察させるシステムである。  この内視鏡システム１は、図１に示すように、カプセル型内視鏡２の他、受信装置３と、画像処理装置４と、可搬型の記録媒体５とを備える。  記録媒体５は、受信装置３と画像処理装置４との間におけるデータの受け渡しを行うための可搬型の記録メディアであり、受信装置３及び画像処理装置４に対してそれぞれ着脱可能に構成されている。
【００１９】  カプセル型内視鏡２は、被検体１００の臓器内部に導入可能な大きさに形成されたカプセル型の内視鏡装置であり、経口摂取等によって被検体１００の臓器内部に導入され、蠕動運動等によって臓器内部を移動しつつ、体内画像を順次、撮像する。そして、カプセル型内視鏡２は、撮像することにより生成した画像データを順次、送信する。  受信装置３は、複数の受信アンテナ３ａ〜３ｈを備え、これら複数の受信アンテナ３ａ〜３ｈのうち少なくとも一つを介して被検体１００内部のカプセル型内視鏡２からの画像データを受信する。そして、受信装置３は、当該受信装置３に挿着された記録媒体５内に、受信した画像データを蓄積する。  なお、受信アンテナ３ａ〜３ｈは、図１に示したように被検体１００の体表上に配置されていてもよいし、被検体１００に着用させるジャケットに配置されていてもよい。また、受信装置３が備える受信アンテナ数は、１つ以上であればよく、特に８つに限定されない。
【００２０】  〔画像処理装置の構成〕  図２は、画像処理装置４を示すブロック図である。  画像処理装置４は、被検体１００内の画像データを取得し、取得した画像データに対応する画像を表示するワークステーションとして構成されている。  この画像処理装置４は、図２に示すように、リーダライタ４１と、メモリ部４２と、入力部４３と、表示部４４と、制御部４５とを備える。
【００２１】  リーダライタ４１は、外部から処理対象となる画像データを取得する画像取得部としての機能を有する。  具体的に、リーダライタ４１は、当該リーダライタ４１に記録媒体５が挿着された際に、制御部４５による制御の下、記録媒体５に保存された画像データ（カプセル型内視鏡２により時系列で撮像（取得）された複数の体内画像を含む体内画像群）を取り込む。また、リーダライタ４１は、取り込んだ体内画像群を制御部４５に転送する。そして、制御部４５に転送された体内画像群は、メモリ部４２に記憶される。
【００２２】  メモリ部４２は、制御部４５から転送された体内画像群を記憶する。また、メモリ部４２は、制御部４５が実行する各種プログラム（画像処理プログラムを含む）や制御部４５の処理に必要な情報等を記憶する。
【００２３】  入力部４３は、キーボード及びマウス等を用いて構成され、ユーザ操作を受け付ける。
【００２４】  表示部４４は、液晶ディスプレイ等を用いて構成され、制御部４５による制御の下、体内画像を含む表示画面（例えば、後述する画像要約処理により選出された所定枚数の代表画像を含む表示画面等）を表示する。
【００２５】  制御部４５は、ＣＰＵ（Central  Processing  Unit）等を用いて構成され、メモリ部４２に記憶されたプログラム（画像処理プログラムを含む）を読み出し、当該プログラムに従って画像処理装置４全体の動作を制御する。  なお、以下では、制御部４５の機能として、本発明の要部である「画像要約処理」を実行する機能を主に説明する。  この制御部４５は、図２に示すように、領域検出部４５１と、類似度算出部４５２と、画像選出部４５３とを備える。
【００２６】  領域検出部４５１は、メモリ部４２に記憶された体内画像群に含まれる体内画像毎に、当該体内画像内の観察に有用な有効領域以外の無効領域を検出する。  具体的に、領域検出部４５１は、体内画像から取得可能な色情報、周波数情報、形状情報等を示す特徴量と第２閾値とを比較し、当該比較結果に基づいて、当該体内画像内の観察に有用な有効領域以外の無効領域を検出する。  ここで、有効領域とは、生体表面の粘膜、血管、及び血液が映った領域を意味する。一方、無効領域とは、有効領域以外の領域であり、残渣や泡が映った領域、管腔の深部が映った領域（暗部）、被写体の表面から鏡面反射されたハレーション領域（明部）、カプセル型内視鏡２と受信装置３との間における通信状態の不良によりノイズとなった領域等を意味する。  なお、上記のような無効領域の検出方法としては、公知の種々の方法を採用することができる（例えば、特開２００７−３１３１１９号公報、特開２０１１−２３４９３１号公報、特開２０１０−１１５４１３号公報、特開２０１２−１６４５４号公報等）。
【００２７】  類似度算出部４５２は、メモリ部４２に記憶された体内画像群に含まれる体内画像から類似度を算出する対象となる複数の対象画像を設定し、当該複数の対象画像毎に、当該対象画像と当該対象画像に対して時系列的に直前の体内画像（以下、直前隣接画像と記載）との類似度を算出する。  ここで、類似度算出部４５２は、対象画像及び直前隣接画像間における類似度を算出する際、当該対象画像内における領域検出部４５１にて検出された無効領域を除いた有効領域と、当該直前隣接画像内における当該対象画像の有効領域に相当する（対象画像の有効領域と同一の位置関係となる）領域との間で類似度を算出する。言い換えれば、類似度算出部４５２は、類似度を算出するための演算領域を対象画像内における有効領域とし、当該対象画像及び直前隣接画像における同一の演算領域間で類似度を算出する。  本実施の形態１では、類似度算出部４５２は、対象画像及び直前隣接画像における演算領域間の類似度として、正規化相互相関値を算出する。当該正規化相互相関値の算出方法としては、公知の種々の方法を採用することができる（例えば、国際公開第２０１２／１１７８１６号等）。  なお、対象画像及び直前隣接画像における演算領域間の類似度としては、上述した正規化相互相関値に限られず、例えば、動きベクトル変化量や、画素値（輝度値またはＧ成分の値）の変化量等を当該類似度として採用しても構わない。
【００２８】  画像選出部４５３は、類似度算出部４５２にて算出された対象画像毎の類似度に基づいて、当該対象画像から所定枚数の代表画像を選出する。
【００２９】  〔画像処理装置の動作〕  次に、上述した画像処理装置４の動作（画像処理方法）について説明する。  図３は、画像処理装置４の動作（画像処理方法）を示すフローチャートである。図４は、図３に示した画像処理方法を説明するための図である。  具体的に、図４（ａ）は、処理対象とする体内画像群に含まれる体内画像（図４（ａ）では、体内画像Ｆ１〜Ｆ１４のみを図示）を時系列順に仮想的に並べた状態を示している。図４（ｂ）及び図４（ｃ）は、体内画像群に含まれる体内画像Ｆ１２（図４（ａ）では斜線で表現）内の無効領域の一例をそれぞれ示している。なお、図４（ｂ）及び図４（ｃ）では、無効領域を白塗りで表現している（図４（ｃ）では、有効領域がない状態を例示）。図４（ｄ）は、類似度を算出する対象となる対象画像として設定された体内画像が所定の条件を満足した場合に代表画像の候補となる候補画像に設定されることを模式的に示した図である。図４（ｅ）は、対象画像として設定された体内画像が所定の条件を満足しなかった場合、または対象画像として設定されなかった体内画像が、候補画像に設定されないことを模式的に示した図である。図４（ｆ）は、候補画像のうち所定の条件を満足した場合に代表画像として選出されることを模式的に示した図である。
【００３０】  なお、以下では、リーダライタ４１に記録媒体５が挿着され、記録媒体５に保存された体内画像群がリーダライタ４１を介して取り込まれ、当該体内画像群がメモリ部４２に既に記憶されているものとする。  先ず、制御部４５は、メモリ部４２に記憶された体内画像群に含まれる全ての体内画像を時系列順（フレーム番号順）に一枚ずつ読み出す（ステップＳ１）。  次に、領域検出部４５１は、ステップＳ１で読み出された体内画像内の無効領域を検出する（ステップＳ２：領域検出ステップ）。
【００３１】  次に、類似度算出部４５２は、ステップＳ２での検出結果を参照し、体内画像内に有効領域が含まれるか（ステップＳ２で画像全体が無効領域として検出されていないか）否かを判断する（ステップＳ３）。  体内画像内に有効領域が含まれると判断した場合（ステップＳ３：Ｙｅｓ）には、類似度算出部４５２は、当該体内画像を、類似度を算出する対象となる対象画像に設定する（ステップＳ４）。  例えば、ステップＳ１で読み出された体内画像が体内画像Ｆ１２（図４（ａ））であり、図４（ｂ）に示すように、体内画像Ｆ１２内に有効領域が含まれている場合には、体内画像Ｆ１２は、対象画像に設定される。
【００３２】  一方、体内画像内に有効領域が含まれていないと判断された場合（ステップＳ３：Ｎｏ）には、制御部４５は、ステップＳ１に戻る。そして、制御部４５は、次の体内画像（体内画像Ｆ１２についてステップＳ３を実行した場合には、体内画像Ｆ１３）について、改めて上述した処理を実行する。  例えば、ステップＳ１で読み出された体内画像が体内画像Ｆ１２（図４（ａ））であり、図４（ｃ）に示すように、体内画像Ｆ１２全体が無効領域として検出された場合には、体内画像Ｆ１２は、類似度を算出する対象とならない非対象画像となる。
【００３３】  ステップＳ４の後、類似度算出部４５２は、ステップＳ１で読み出された体内画像（対象画像）と、当該対象画像に対して時系列的に直前の直前隣接画像（対象画像が体内画像Ｆ１２である場合には、直前隣接画像は体内画像Ｆ１１）との類似度を算出する（ステップＳ５）。そして、類似度算出部４５２は、算出した類似度を当該対象画像に関連付けてメモリ部４２に記憶する。  具体的には、類似度算出部４５２は、ステップＳ５において、以下に示すように、対象画像及び直前隣接画像間の類似度を算出する。
【００３４】  図５Ａ及び図５Ｂは、ステップＳ５を説明するための図である。  具体的に、図５Ａは、対象画像において、ステップＳ２で検出された無効領域と、当該無効領域を除く有効領域とを模式的に示した図である。図５Ｂは、直前隣接画像において、ステップＳ２で検出された無効領域と、当該無効領域を除く有効領域とを模式的に示した図である。なお、図５Ａ及び図５Ｂでは、無効領域を白塗りで表現している。また、図５Ａ及び図５Ｂでは、類似度を算出するための演算領域を太枠で表現している。  先ず、類似度算出部４５２は、図５Ａに示すように、対象画像において、ステップＳ２で検出された無効領域を除く有効領域を演算領域とする。  そして、類似度算出部４５２は、図５Ａ及び図５Ｂに示すように、対象画像及び直前隣接画像における同一の演算領域間で類似度（正規化相互相関値）を算出する。  以上説明したステップＳ４及びＳ５は、本発明に係る類似度算出ステップに相当する。
【００３５】  ステップＳ５の後、画像選出部４５３は、ステップＳ５で算出された類似度（正規化相互相関値）が第１閾値未満であるか否かを判断する（ステップＳ６）。言い換えれば、画像選出部４５３は、ステップＳ６において、直前隣接画像から対象画像への遷移でシーンが切り替わったか否かを判断している。
【００３６】  対象画像及び直前隣接画像間の類似度が第１閾値未満であると判断した場合（ステップＳ６：Ｙｅｓ）には、画像選出部４５３は、代表画像の候補となる候補画像であることを示すフラグをメモリ部４２に記憶された当該対象画像に関連付けて記憶し、当該対象画像を候補画像に設定する（ステップＳ７）。  例えば、ステップＳ１で読み出された体内画像が体内画像Ｆ１２（図４（ａ））であり、当該体内画像（対象画像）Ｆ１２と体内画像（直前隣接画像）Ｆ１１との間の類似度が第１閾値未満である場合（類似性が低い場合）には、体内画像Ｆ１２は、図４（ｄ）に示すように、候補画像に設定される。
【００３７】  一方、対象画像及び直前隣接画像間の類似度が第１閾値以上であると判断された場合（ステップＳ６：Ｎｏ）には、制御部４５は、ステップＳ１に戻る。そして、制御部４５は、次の体内画像（体内画像Ｆ１２を対象画像としてステップＳ６を実行した場合には、体内画像Ｆ１３）について、改めて上述した処理を実行する。  例えば、ステップＳ１で読み出された体内画像が体内画像Ｆ１２（図４（ａ））であり、当該体内画像（対象画像）Ｆ１２と体内画像（直前隣接画像）Ｆ１１との間の類似度が第１閾値以上である場合（類似性が高い場合）には、体内画像Ｆ１２は、図４（ｅ）に示すように、代表画像の候補とならない非候補画像となる。なお、画像全体が無効領域として検出された体内画像（図４（ｃ））についても非候補画像となる。
【００３８】  ステップＳ７の後、制御部４５は、メモリ部４２に記憶された体内画像群に含まれる全ての体内画像について、ステップＳ１〜Ｓ７を実施したか否かを判断する（ステップＳ８）。  全ての体内画像で実施していないと判断した場合（ステップＳ８：Ｎｏ）には、制御部４５は、ステップＳ１に戻る。そして、制御部４５は、残りの体内画像について、上述した処理を実行する。  一方、全ての体内画像で実施したと判断された場合（ステップＳ８：Ｙｅｓ）には、画像選出部４５３は、メモリ部４２に記憶された体内画像群に含まれる候補画像から、当該候補画像に関連付けられた類似度が低い順に、所定枚数（例えば、２０００枚）の代表画像を選出する（ステップＳ９：画像選出ステップ）。  例えば、メモリ部４２に記憶された体内画像群に２０００枚以上の候補画像が存在していた場合には、図４（ｆ）に示すように、類似度の低い方から順に、候補画像が代表画像として選出される。
【００３９】  以上説明した本実施の形態１に係る画像処理装置４は、類似度を算出するための演算領域を対象画像における有効領域とし、当該対象画像及び直前隣接画像における同一の演算領域間で類似度を算出する。そして、画像処理装置４は、複数の対象画像から、比較的に類似性の低い値の類似度となる対象画像を代表画像として選出する。  以上のように、本実施の形態１に係る画像処理装置４によれば、無効領域の類似度算出処理への寄与度を少なくすることで、観察に有用な有効領域を多く含む画像を代表画像としてより多く選出することができる、という効果を奏する。
【００４０】  また、本実施の形態１に係る画像処理装置４は、画像全体が無効領域として検出された体内画像については、類似度を算出する対象となる対象画像に設定しない。  このため、予め上記のような画像全体が無効領域である体内画像を対象画像から外すことで、当該対象画像を代表画像として選出することがなく、さらには、類似度を算出する処理の負荷を低減することができる。
【００４１】  また、本実施の形態１に係る画像処理装置４は、類似度を第１閾値と比較することで複数の対象画像の数を絞る（候補画像に設定する）とともに、複数の候補画像から、類似度の低い順に、所定枚数の代表画像を選出する。  このため、簡単な処理により、予定した数だけ、代表画像を選出することができる。
【００４２】（実施の形態２）  次に、本発明の実施の形態２について説明する。  以下の説明では、上述した実施の形態１と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。  上述した実施の形態１では、類似度を算出するための演算領域を対象画像における有効領域としていた。  これに対して本実施の形態２では、類似度を算出するための演算領域を直前隣接画像における有効領域とする。  そして、本実施の形態２に係る画像処理装置の構成は、上述した実施の形態１で説明した画像処理装置４と同様の構成である。また、本実施の形態２に係る画像処理方法は、ステップＳ５を除き、上述した実施の形態１で説明した画像処理方法と同様の方法である。  以下では、本実施の形態２に係るステップＳ５のみを説明する。
【００４３】  〔ステップＳ５〕  図６Ａ及び図６Ｂは、本発明の実施の形態２に係るステップＳ５を説明するための図である。  具体的に、図６Ａは、図５Ａに対応し、対象画像における無効領域及び有効領域を模式的に示した図である。図６Ｂは、図５Ｂに対応し、直前隣接画像における無効領域及び有効領域を模式的に示した図である。  先ず、類似度算出部４５２は、図６Ｂに示すように、直前隣接画像において、ステップＳ２で検出された無効領域を除く有効領域を演算領域とする。  そして、類似度算出部４５２は、図６Ａ及び図６Ｂに示すように、対象画像及び直前隣接画像における同一の演算領域間で類似度（正規化相互相関値）を算出する。
【００４４】  以上説明した本実施の形態２のように直前隣接画像における有効領域を演算領域とするように構成した場合であっても、上述した実施の形態１と同様の効果を奏する。
【００４５】（実施の形態３）  次に、本発明の実施の形態３について説明する。  以下の説明では、上述した実施の形態１と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。  上述した実施の形態１では、対象画像と直前隣接画像との類似度を算出していた。  これに対して本実施の形態３では、対象画像と当該対象画像に対して時系列的に直後の体内画像（以下、直後隣接画像と記載）との類似度を算出する。  そして、本実施の形態３に係る画像処理装置の構成は、上述した実施の形態１で説明した画像処理装置４と同様の構成である。また、本実施の形態３に係る画像処理方法は、ステップＳ５を除き、上述した実施の形態１で説明した画像処理方法と同様の方法である。  以下では、本実施の形態３に係るステップＳ５のみを説明する。
【００４６】  〔ステップＳ５〕  図７Ａ及び図７Ｂは、本発明の実施の形態３に係るステップＳ５を説明するための図である。  具体的に、図７Ａは、図５Ａに対応し、対象画像における無効領域及び有効領域を模式的に示した図である。図７Ｂは、直後隣接画像において、ステップＳ２で検出された無効領域と、当該無効領域を除く有効領域とを模式的に示した図である。なお、図７Ｂでは、図７Ａと同様に、無効領域を白塗りで表現している。また、図７Ｂでは、図７Ａと同様に、類似度を算出するための演算領域を太枠で表現している。  先ず、類似度算出部４５２は、図７Ｂに示すように、直後隣接画像において、ステップＳ２で検出された無効領域を除く有効領域を演算領域とする。  そして、類似度算出部４５２は、図７Ａ及び図７Ｂに示すように、対象画像及び直後隣接画像における同一の演算領域間で類似度（正規化相互相関値）を算出する。
【００４７】  以上説明した本実施の形態３のように直後隣接画像における有効領域を演算領域とし当該直後隣接画像との間での対象画像の類似度を算出するように構成した場合であっても、上述した実施の形態１と同様の効果を奏する。
【００４８】（実施の形態３の変形例）  上述した実施の形態３では、直後隣接画像における有効領域を演算領域としていたが、これに限られず、上述した実施の形態１と同様に、対象画像における有効領域を演算領域としても構わない。
【００４９】（実施の形態４）  次に、本発明の実施の形態４について説明する。  以下の説明では、上述した実施の形態１と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。  上述した実施の形態１では、類似度を算出するための演算領域を対象画像における有効領域としていた。  これに対して本実施の形態４では、対象画像と直前隣接画像とを重ね合わせた場合に、対象画像の有効領域と直前隣接画像の有効領域とが重なり合う領域を、類似度を算出するための演算領域とする。  そして、本実施の形態４に係る画像処理装置の構成は、上述した実施の形態１で説明した画像処理装置４と同様の構成である。また、本実施の形態４に係る画像処理方法は、ステップＳ５を除き、上述した実施の形態１で説明した画像処理方法と同様の方法である。  以下では、本実施の形態４に係るステップＳ５のみを説明する。
【００５０】  〔ステップＳ５〕  図８Ａ及び図８Ｂは、本発明の実施の形態４に係るステップＳ５を説明するための図である。  具体的に、図８Ａは、図５Ａに対応し、対象画像における無効領域及び有効領域を模式的に示した図である。図８Ｂは、図５Ｂに対応し、直前隣接画像における無効領域及び有効領域を模式的に示した図である。  先ず、類似度算出部４５２は、図８Ａ及び図８Ｂに示すように、対象画像と直前隣接画像とを重ね合わせた場合に、対象画像におけるステップＳ２で検出された無効領域を除く有効領域と、直前隣接画像におけるステップＳ２で検出された無効領域を除く有効領域とが重なり合う領域を演算領域とする。言い換えれば、類似度算出部４５２は、対象画像の有効領域と直前隣接画像の有効領域との間で、対象画像及び直前隣接画像の各画像内での位置が同一の位置関係となる領域を演算領域とする。  そして、類似度算出部４５２は、図８Ａ及び図８Ｂに示すように、対象画像及び直前隣接画像における同一の演算領域間で類似度（正規化相互相関値）を算出する。
【００５１】  以上説明した本実施の形態４によれば、上述した実施の形態１と同様の効果の他、以下の効果がある。  本実施の形態４では、類似度を算出するための演算領域を、対象画像及び直前隣接画像を重ね合わせた場合に互いの有効領域が重なり合う領域を有効領域とし、当該対象画像及び直前隣接画像における同一の演算領域間で類似度を算出する。そして、複数の対象画像から、比較的に類似性の低い値の類似度となる対象画像を代表画像として選出する。  以上のように、本実施の形態４によれば、有効領域同士で類似度を算出するので、無効領域の類似度算出処理への寄与度を排除することができる。したがって、本実施の形態４によれば、上述した実施の形態と同様に、観察に有用な有効領域を多く含む画像を代表画像としてより多く選出することができる、という効果を奏する。
【００５２】（実施の形態４の変形例）  上述した実施の形態４では、対象画像及び直前隣接画像の間での類似度を算出していたが、これに限られず、上述した実施の形態３と同様に、対象画像及び直後隣接画像の間での類似度を算出しても構わない。
【００５３】（その他の実施形態）  ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１〜４によってのみ限定されるべきものではない。  上述した実施の形態１〜４では、カプセル型内視鏡２にて撮像された体内画像群に対して画像要約処理を実行していたが、これに限られず、時系列に取得された画像群であれば、その他の画像群に対して画像要約処理を実行するように構成しても構わない。
【００５４】  上述した実施の形態１〜４では、画像処理装置４は、カプセル型内視鏡２にて時系列で撮像された体内画像群を、記録媒体５及びリーダライタ４１を用いて取得していたが、これに限られない。  例えば、別途、設置したサーバに体内画像群を予め保存しておく。また、画像処理装置４にサーバと通信を行う通信部を設ける。そして、通信部によりサーバと通信を行うことで画像処理装置４が体内画像群を取得する構成としても構わない。  すなわち、当該通信部は、外部から処理対象とする画像データを取得する画像取得部としての機能を有する。
【００５５】  上述した実施の形態１〜４では、類似度を第１閾値と比較し、当該比較結果に基づいて、対象画像から候補画像を設定していたが、これに限られず、全ての対象画像から、類似度の低い順に、所定枚数の代表画像を選出しても構わない。すなわち、ステップＳ６，Ｓ７を省略しても構わない。
【００５６】  上述した実施の形態１〜４では、画像全体が無効領域として検出された体内画像については、類似度を算出する対象から外していたが、これに限られず、当該体内画像についても対象画像とし（全ての体内画像を対象画像とし）、当該体内画像の類似度として類似性の高い値（正規化相互相関値であれば「１」）を設定しても構わない。
【００５７】  また、処理フローは、上述した実施の形態１〜４で説明したフローチャートにおける処理の順序に限られず、矛盾のない範囲で変更しても構わない。  さらに、本明細書においてフローチャートを用いて説明した処理のアルゴリズムは、プログラムとして記述することが可能である。このようなプログラムは、コンピュータ内部の記録部に記録してもよいし、コンピュータ読み取り可能な記録媒体に記録してもよい。プログラムの記録部または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。
【符号の説明】
【００５８】  １  内視鏡システム  ２  カプセル型内視鏡  ３  受信装置  ３ａ〜３ｈ  受信アンテナ  ４  画像処理装置  ５  記録媒体  ４１  リーダライタ  ４２  メモリ部  ４３  入力部  ４４  表示部  ４５  制御部  １００  被検体  ４５１  領域検出部  ４５２  類似度算出部  ４５３  画像選出部  Ｆ１〜Ｆ１４  体内画像
【図１】
2016056408.tif 000003
【図２】
2016056408.tif 000004
【図３】
2016056408.tif 000005
【図４】
2016056408.tif 000006
【図５Ａ】
2016056408.tif 000007
【図５Ｂ】
2016056408.tif 000008
【図６Ａ】
2016056408.tif 000009
【図６Ｂ】
2016056408.tif 000010
【図７Ａ】
2016056408.tif 000011
【図７Ｂ】
2016056408.tif 000012
【図８Ａ】
2016056408.tif 000013
【図８Ｂ】
2016056408.tif 000014
【手続補正書】
【提出日】平成28年2月1日(2016.2.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
時系列で取得された画像群に含まれる画像毎に、当該画像内の観察に有用な有効領域以外の無効領域を検出する領域検出部と、
前記画像群に含まれる画像から類似度を算出する対象画像を選択し、前記対象画像または前記対象画像に対して時系列的に隣接する隣接画像のいずれか一方の画像の前記有効領域を第１の演算領域とし、前記対象画像または前記隣接画像のいずれか他方の画像における前記第１の演算領域と同一位置の領域を第２の演算領域とし、前記対象画像毎に、前記第１の演算領域及び前記第２の演算領域の間で前記類似度を算出する類似度算出部と、
前記対象画像毎の前記類似度に基づいて、前記対象画像から代表画像を選出する画像選出部とを備える
ことを特徴とする画像処理装置。
【請求項２】
時系列で取得された画像群に含まれる画像毎に、当該画像内の観察に有用な有効領域以外の無効領域を検出する領域検出部と、
前記画像群に含まれる画像から類似度を算出する対象画像を選択し、前記対象画像の前記有効領域を第１の演算領域とし、前記対象画像に対して時系列的に隣接する隣接画像の前記有効領域を第２の演算領域とし、前記対象画像毎に、前記対象画像及び前記隣接画像を重ね合わせた際に前記第１の演算領域及び前記第２の演算領域が重なり合う領域間で前記類似度を算出する類似度算出部と、
前記対象画像毎の前記類似度に基づいて、前記対象画像から代表画像を選出する画像選出部とを備える
ことを特徴とする画像処理装置。
【請求項３】
前記類似度算出部は、
前記画像群に含まれる画像のうち、前記有効領域を含む画像を前記対象画像として選択する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像選出部は、
前記対象画像から、前記類似度が低い順に、所定枚数の前記代表画像を選出する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記無効領域は、少なくとも残渣や泡が映った領域、管腔の深部が映った領域、ハレーション領域、ノイズとなった領域のいずれかである
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
画像処理装置が行う画像処理方法において、
時系列で取得された画像群に含まれる画像毎に、当該画像内の観察に有用な有効領域以外の無効領域を検出する領域検出ステップと、
前記画像群に含まれる画像から類似度を算出する対象画像を選択し、前記対象画像または前記対象画像に対して時系列的に隣接する隣接画像のいずれか一方の画像の前記有効領域を第１の演算領域とし、前記対象画像または前記隣接画像のいずれか他方の画像における前記第１の演算領域と同一位置の領域を第２の演算領域とし、前記対象画像毎に、前記第１の演算領域及び前記第２の演算領域の間で前記類似度を算出する類似度算出ステップと、
前記対象画像毎の前記類似度に基づいて、前記対象画像から代表画像を選出する画像選出ステップとを含む
ことを特徴とする画像処理方法。
【請求項７】
画像処理装置が行う画像処理方法において、
時系列で取得された画像群に含まれる画像毎に、当該画像内の観察に有用な有効領域以外の無効領域を検出する領域検出ステップと、
前記画像群に含まれる画像から類似度を算出する対象画像を選択し、前記対象画像の前記有効領域を第１の演算領域とし、前記対象画像に対して時系列的に隣接する隣接画像の前記有効領域を第２の演算領域とし、前記対象画像毎に、前記対象画像及び前記隣接画像を重ね合わせた際に前記第１の演算領域及び前記第２の演算領域が重なり合う領域間で前記類似度を算出する類似度算出ステップと、
前記対象画像毎の前記類似度に基づいて、前記対象画像から代表画像を選出する画像選出ステップとを含む
ことを特徴とする画像処理方法。
【請求項８】
請求項６または７に記載の画像処理方法を画像処理装置に実行させる
ことを特徴とする画像処理プログラム。
【国際調査報告】
2016056408.tif 000015
2016056408.tif 000016