(57)【要約】  本発明にかかる受信装置４は、撮像部を有するカプセル型内視鏡２から送信される情報を基にカプセル型内視鏡２の進行方向における移動量を取得する移動量取得部４３２と、少なくとも撮像部の進行方向における撮像距離と移動量取得部４３２によって取得されたカプセル型内視鏡２の移動量とを基に、撮像部が撮像した第１画像と、第１画像の撮像時における撮像部の有効撮像領域と連続性を有する有効撮像領域を撮像した第２画像と、を関連付ける関連付け部４３３と、を備える。これにより、空間的な連続性を有する領域を示す２枚の画像を簡易な処理で関連付けることができる画像処理装置、画像処理方法及び画像処理プログラムを提供する。
2017017996.tif 000002
【特許請求の範囲】
【請求項１】
撮像部を有するカプセル型内視鏡から送信される情報を基に前記カプセル型内視鏡の進行方向における移動量を取得する移動量取得部と、
少なくとも前記撮像部の前記進行方向における撮像距離と、前記移動量取得部によって取得された前記カプセル型内視鏡の移動量とを基に、前記撮像部が撮像した第１画像と、前記第１画像の撮像時における前記撮像部の有効撮像領域と連続性を有する有効撮像領域を撮像した第２画像と、を関連付ける関連付け部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記関連付け部は、前記第２画像の候補となる候補画像に対して、前記移動量取得部が取得した前記カプセル型内視鏡の前記進行方向における移動量を基に、前記第１画像の撮像時における前記撮像部の位置と前記候補画像の撮像時における前記撮像部の位置との間の前記進行方向に沿った第１距離を求め、該求めた第１距離と前記撮像距離とを比較することによって、前記候補画像を前記第２画像として前記第１画像に関連付けるか否かを判断することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記関連付け部は、前記第１距離が０よりも大きく前記撮像距離以下である第１条件を満たす前記候補画像を前記第２画像として前記第１画像に関連付けることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記撮像距離は、前記撮像部が撮像した画像に、所定の明るさが示され、かつ、所定の解像力が出る有効撮像領域における前記進行方向に沿った前記有効撮像領域の両端間の距離であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記カプセル型内視鏡の光軸と前記進行方向とがなす角度を取得する角度取得部をさらに備え、
前記関連付け部は、前記角度取得部が取得した前記角度に応じて補正した前記撮像距離を用いることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記撮像部は、互いに撮像方向が異なる第１撮像部及び第２撮像部を備え、
前記第１画像は、前記第１撮像部によって撮像された画像であり、
前記第２画像は、前記第２撮像部によって撮像された画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記撮像距離は、前記第１撮像部の前記有効撮像領域における前記進行方向に沿った前記有効撮像領域の両端間の距離である第１観察深度と、前記第２撮像部の前記有効撮像領域における前記進行方向に沿った前記有効撮像領域の両端間の距離である第２観察深度と、の和であり、
前記関連付け部は、前記第２画像の候補となる前記第２撮像部が撮像した候補画像に対して、前記移動量取得部が取得した前記カプセル型内視鏡の前記進行方向における移動量を基に、前記第１画像の撮像時における前記第１撮像部の位置と前記候補画像の撮像時における前記第２撮像部の位置との間の前記進行方向に沿った第１距離を求め、該求めた第１距離と前記撮像距離とを比較することによって、前記候補画像を前記第２画像として前記第１画像に関連付けるか否かを判断することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記関連付け部は、前記第１距離が０よりも大きく前記撮像距離以下である第１条件を満たす前記候補画像のうち、前記第１距離が０以上かつ前記第１観察深度以下である第２条件と、前記第１距離及び前記第２観察深度の和が０以上かつ前記第１観察深度以下である第３条件との少なくとも一方を満たさない前記候補画像を前記第２画像として前記第１画像に関連付けることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記関連付け部が関連付けた前記第１画像と前記第２画像とを合成した合成画像を生成する合成画像生成部と、
前記合成画像生成部が合成した前記合成画像を表示する表示部と、
をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記合成画像生成部は、前記第２画像を分割し、該分割された画像を前記第１画像の周縁に配置させた合成画像を生成することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
カプセル型内視鏡の撮像部で撮像した画像を処理する画像処理装置が行う画像処理方法であって、
前記カプセル型内視鏡の進行方向における移動量を取得する移動量取得処理と、
少なくとも前記撮像部の前記進行方向における撮像距離と、前記移動量取得処理において取得された前記カプセル型内視鏡の移動量とを基に、前記撮像部が撮像した第１画像と、前記第１画像の撮像時における前記撮像部の有効撮像領域と連続性を有する有効撮像領域を撮像した第２画像と、を関連付ける関連付け処理と、
を含むことを特徴とする画像処理方法。
【請求項１２】
カプセル型内視鏡の撮像部で撮像した画像を処理する画像処理装置に、
前記カプセル型内視鏡の進行方向における移動量を取得する移動量取得手順と、
少なくとも前記撮像部の前記進行方向における撮像距離と、前記移動量取得手順において取得された前記カプセル型内視鏡の移動量とを基に、前記撮像部が撮像した第１画像と、前記第１画像の撮像時における前記撮像部の有効撮像領域と連続性を有する有効撮像領域を撮像した第２画像と、を関連付ける関連付け手順と、
を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カプセル型内視鏡の撮像部で撮像した画像を処理する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
内視鏡の分野においては、患者等の被検体の消化管内に導入可能な大きさに形成されたカプセル型内視鏡の開発が進められている。カプセル型内視鏡は、カプセル型筐体の内部に撮像機能及び無線通信機能を備えた装置であり、被検体の口から飲み込まれた後、蠕動運動等によって消化管内を移動しながら被検体の臓器内部を順次撮像して画像を取得し、被検体外部の受信装置に無線送信する。受信装置は、カプセル型内視鏡から送信された画像を順次、受信するとともに、記録媒体に順次、記録させる。画像表示装置は、記録媒体に記録された画像を取り込み、所定の画像処理を施した後に、体内画像として１フレームずつ切り替えて再生（コマ再生）する。操作者である医師等は、画像表示装置によって再生された体内画像を確認することで、被検体を診断する。【０００３】
近年、異なる方向を撮像する複数の撮像ユニットを内蔵した、いわゆる複眼のカプセル型内視鏡が提案されている。この複眼のカプセル型内視鏡は、異なる方向を撮像することによって、被検体内部の多角的な撮像を可能としている。２眼のカプセル型内視鏡の場合、単眼のカプセル型内視鏡と比べて、被検体内を撮像した画像枚数が略２倍となる。このことから、読影による診断の効率を向上するために、空間的な連続性を有する領域を示す画像同士を同時に表示させたいという要望があった。【０００４】
この要望に応えるため、カプセル型内視鏡の第１撮像部が撮像した第１画像群の画像と、第２撮像部が撮像した第２画像群の画像とのうち、所定の時間差で撮像された画像同士を同期表示する技術（例えば、特許文献１参照）や、第１画像群の画像と第２画像群の画像とのうち前後する画像間の類似度を演算して、類似する画像同士を同期表示させる技術（例えば、特許文献２参照）が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４８９１６４６号公報
【特許文献２】特許第４８６５９１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１記載の技術では、同期表示される画像同士は、撮像時間に基づいて選択されるため、カプセル型内視鏡の進行状態によっては、必ずしも空間的な連続性を有しているとは限らないという問題があった。【０００７】
また、特許文献２記載の技術では、第１の画像群と第２の画像群とに属するそれぞれの画像間の類似度を取得するまでに複雑な演算処理を多数回実行するため、カプセル型内視鏡による撮像信号を受信してから類似する２枚の画像を抽出して表示するまでに長時間を要し、撮像信号の受信とほぼ同時に２枚の画像を表示することはできなかった。【０００８】
本発明は、上記に鑑みてなされたものであって、空間的な連続性を有する領域を示す２枚の画像を簡易な処理で関連付けることができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、撮像部を有するカプセル型内視鏡から送信される情報を基に前記カプセル型内視鏡の進行方向における移動量を取得する移動量取得部と、少なくとも前記撮像部の前記進行方向における撮像距離と、前記移動量取得部によって取得された前記カプセル型内視鏡の移動量とを基に、前記撮像部が撮像した第１画像と、前記第１画像の撮像時における前記撮像部の有効撮像領域と連続性を有する有効撮像領域を撮像した第２画像と、を関連付ける関連付け部と、を備えたことを特徴とする。【００１０】
また、本発明にかかる画像処理装置は、前記関連付け部は、前記第２画像の候補となる候補画像に対して、前記移動量取得部が取得した前記カプセル型内視鏡の前記進行方向における移動量を基に、前記第１画像の撮像時における前記撮像部の位置と前記候補画像の撮像時における前記撮像部の位置との間の前記進行方向に沿った第１距離を求め、該求めた第１距離と前記撮像距離とを比較することによって、前記候補画像を前記第２画像として前記第１画像に関連付けるか否かを判断することを特徴とする。【００１１】
また、本発明にかかる画像処理装置は、前記関連付け部は、前記第１距離が０よりも大きく前記撮像距離以下である第１条件を満たす前記候補画像を前記第２画像として前記第１画像に関連付けることを特徴とする。【００１２】
また、本発明にかかる画像処理装置は、前記撮像距離は、前記撮像部が撮像した画像に、所定の明るさが示され、かつ、所定の解像力が出る有効撮像領域における前記進行方向に沿った前記有効撮像領域の両端間の距離であることを特徴とする。【００１３】
また、本発明にかかる画像処理装置は、前記カプセル型内視鏡の光軸と前記進行方向とがなす角度を取得する角度取得部をさらに備え、前記関連付け部は、前記角度取得部が取得した前記角度に応じて補正した前記撮像距離を用いることを特徴とする。【００１４】
また、本発明にかかる画像処理装置は、前記撮像部は、互いに撮像方向が異なる第１撮像部及び第２撮像部を備え、前記第１画像は、前記第１撮像部によって撮像された画像であり、前記第２画像は、前記第２撮像部によって撮像された画像であることを特徴とする。【００１５】
また、本発明にかかる画像処理装置は、前記撮像距離は、前記第１撮像部の前記有効撮像領域における前記進行方向に沿った前記有効撮像領域の両端間の距離である第１観察深度と、前記第２撮像部の前記有効撮像領域における前記進行方向に沿った前記有効撮像領域の両端間の距離である第２観察深度と、の和であり、前記関連付け部は、前記第２画像の候補となる前記第２撮像部が撮像した候補画像に対して、前記移動量取得部が取得した前記カプセル型内視鏡の前記進行方向における移動量を基に、前記第１画像の撮像時における前記第１撮像部の位置と前記候補画像の撮像時における前記第２撮像部の位置との間の前記進行方向に沿った第１距離を求め、該求めた第１距離と前記撮像距離とを比較することによって、前記候補画像を前記第２画像として前記第１画像に関連付けるか否かを判断することを特徴とする。【００１６】
また、本発明にかかる画像処理装置は、前記関連付け部は、前記第１距離が０よりも大きく前記撮像距離以下である第１条件を満たす前記候補画像のうち、前記第１距離が０以上かつ前記第１観察深度以下である第２条件と、前記第１距離及び前記第２観察深度の和が０以上かつ前記第１観察深度以下である第３条件との少なくとも一方を満たさない前記候補画像を前記第２画像として前記第１画像に関連付けることを特徴とする。【００１７】
また、本発明にかかる画像処理装置は、前記関連付け部が関連付けた前記第１画像と前記第２画像とを合成した合成画像を生成する合成画像生成部と、前記合成画像生成部が合成した前記合成画像を表示する表示部と、をさらに備えたことを特徴とする。【００１８】
また、本発明にかかる画像処理装置は、前記合成画像生成部は、前記第２画像を分割し、該分割された画像を前記第１画像の周縁に配置させた合成画像を生成することを特徴とする。【００１９】
また、本発明にかかる画像処理方法は、カプセル型内視鏡の撮像部で撮像した画像を処理する画像処理装置が行う画像処理方法であって、前記カプセル型内視鏡の進行方向における移動量を取得する移動量取得処理と、少なくとも前記撮像部の前記進行方向における撮像距離と、前記移動量取得処理において取得された前記カプセル型内視鏡の移動量とを基に、前記撮像部が撮像した第１画像と、前記第１画像の撮像時における前記撮像部の有効撮像領域と連続性を有する有効撮像領域を撮像した第２画像と、を関連付ける関連付け処理と、を含むことを特徴とする。【００２０】
また、本発明にかかる画像処理プログラムは、カプセル型内視鏡の撮像部で撮像した画像を処理する画像処理装置に、前記カプセル型内視鏡の進行方向における移動量を取得する移動量取得手順と、少なくとも前記撮像部の前記進行方向における撮像距離と、前記移動量取得手順において取得された前記カプセル型内視鏡の移動量とを基に、前記撮像部が撮像した第１画像と、前記第１画像の撮像時における前記撮像部の有効撮像領域と連続性を有する有効撮像領域を撮像した第２画像と、を関連付ける関連付け手順と、を実行させることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、少なくともカプセル型内視鏡の撮像部の進行方向における撮像距離と、カプセル型内視鏡の移動量とに基づく簡易な処理を行うだけで、空間的な連続性を有する領域を示す２枚の画像を関連付けることができる。
【図面の簡単な説明】
【００２２】
【図１】図１は、本発明の実施の形態にかかる内視鏡システムの概略構成を示す模式図である。
【図２】図２は、図１に示すカプセル型内視鏡システムの構成を示すブロック図である。
【図３】図３は、図１に示すカプセル型内視鏡の一構成例を示す断面模式図である。
【図４】図４は、図２に示す第１撮像部及び第２撮像部の撮像処理の処理タイミングを説明する図である。
【図５】図５は、図２に示す表示用画像生成部による画像合成処理を説明する図である。
【図６】図６は、図２に示す受信装置が実行する画像表示処理の処理手順を示すフローチャートである。
【図７】図７は、図６に示す関連付け処理の処理手順を示すフローチャートである。
【図８】図８は、図２に示すカプセル型内視鏡の進行状態を説明する図である。
【図９】図９は、図２に示す関連付け部が判定する第１条件を説明するための図である。
【図１０】図１０は、図２に示す関連付け部が判定する第１条件を説明するための図である。
【図１１】図１１は、図７に示す関連付け処理を具体的に説明するための図である。
【図１２】図１２は、図７に示す関連付け処理を具体的に説明するための図である。
【図１３】図１３は、図７に示す関連付け処理を具体的に説明するための図である。
【図１４】図１４は、図７に示す関連付け処理を具体的に説明するための図である。
【図１５】図１５は、図６に示す表示用画像生成処理の処理手順を示すフローチャートである。
【図１６】図１６は、図２に示す表示用画像生成部が生成する合成画像の一例を説明する図である。
【図１７】図１７は、実施の形態の変形例１を説明するための図である。
【図１８】図１８は、図２に示す表示用画像生成部が生成する合成画像の一例を説明する図である。
【図１９】図１９は、実施の形態の変形例２に対応する例を説明する図である。
【図２０】図２０は、図２に示す表示用画像生成部が生成する合成画像の一例を説明する図である。
【図２１】図２１は、実施の形態の変形例２に対応する他の例を説明する図である。
【図２２】図２２は、図２に示す表示用画像生成部が生成する合成画像の一例を説明する図である。
【図２３】図２３は、実施の形態の変形例４にかかるカプセル型内視鏡システムの構成を示すブロック図である。
【図２４】図２４は、実施の形態の変形例４にかかるカプセル型内視鏡システムの他の構成を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下に、本発明にかかる実施の形態として、医療用のカプセル型内視鏡を使用する内視鏡システムについて説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。また、図面は模式的なものであり、各部材の厚みと幅との関係、各部材の比率などは、現実と異なることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている。
【００２４】
（実施の形態）
図１は、本発明の実施の形態にかかる内視鏡システムの概略構成を示す模式図である。図１に示すように、実施の形態にかかるカプセル型内視鏡システム１は、被検体Ｈ内に導入されて該被検体Ｈ内を撮像することにより撮像信号を取得し、無線信号に重畳して送信するカプセル型内視鏡２と、カプセル型内視鏡２から送信された無線信号を、被検体Ｈに装着された複数の受信アンテナ３ａ〜３ｈを備えた受信アンテナユニット３を介して受信する受信装置４と、カプセル型内視鏡２が撮像した撮像信号を、クレードル５ａを介して、受信装置４から取り込み、該撮像信号を処理して、被検体Ｈ内の画像を生成する処理装置５と、を備える。処理装置５によって生成された画像は、例えば、表示装置６から表示出力される。また、受信装置４は表示部を備え、カプセル型内視鏡２が撮像した撮像信号から被検体Ｈ内の画像を生成し、空間的な連続性を有する領域を示す２枚の画像を表示部に同期して表示する。
【００２５】
図２は、カプセル型内視鏡システム１の構成を示すブロック図である。図３は、図１に示すカプセル型内視鏡２の一構成例を示す断面模式図である。カプセル型内視鏡２は、第１撮像部２１Ａ、第２撮像部２１Ｂ、第１照明部２２Ａ、第２照明部２２Ｂ、制御部２３、無線通信部２４、アンテナ２５、メモリ２６、電源部２７及び動きセンサ２８を備える。カプセル型内視鏡２は、被検体Ｈが嚥下可能な大きさのカプセル形状の筐体２９（図３参照）に撮像素子等の各種部品を内蔵した装置である。
【００２６】
第１撮像部２１Ａ及び第２撮像部２１Ｂは、例えば、受光面に結像された光学像から被検体Ｈ内を表す撮像信号を生成して出力する撮像素子２１Ａ−１，２１Ｂ−１と、該撮像素子２１Ａ−１，２１Ｂ−１の受光面側にそれぞれ配設された対物レンズ等の光学系２１Ａ−２，２１Ｂ−２とをそれぞれ含む。撮像素子２１Ａ−１，２１Ｂ−１は、ＣＣＤ撮像素子或いはＣＭＯＳ撮像素子によって構成され、被検体Ｈからの光を受光する複数の画素がマトリックス状に配列され、画素が受光した光に対して光電変換を行うことにより、撮像信号を生成する。
【００２７】
第１撮像部２１Ａ及び第２撮像部２１Ｂは、互いに異なる撮像方向の画像を撮像する。カプセル型内視鏡２は、カプセル型内視鏡２の長軸方向の前方及び後方を撮像する２眼タイプのカプセル型医療装置であり、実施の形態では、第１撮像部２１Ａ及び第２撮像部２１Ｂの光軸Ａ１は、カプセル型内視鏡２の長手方向の中心軸と略平行あるいは略一致する構成を例に説明する。また、第１撮像部２１Ａ及び第２撮像部２１Ｂの各撮像方向は、互いに反対方向である。カプセル型内視鏡２の進行方向が光軸Ａ１と一致する場合には、図３に示すＦ１は、第１撮像部２１Ａの観察深度（第１観察深度）であり、第１撮像部２１Ａの有効撮像領域における光軸Ａ１に沿った有効撮像領域の両端間の距離である。有効撮像領域は、撮像部が撮像した画像に所定の明るさが示され、かつ、所定の解像力が出る領域である。図３に示すＦ２は、第２撮像部２１Ｂの観察深度（第２観察深度）であり、第２撮像部２１Ｂの有効撮像領域における光軸Ａ１に沿った有効撮像領域の両端間の距離である。図３に示すＣは、撮像素子２１Ａ−１の受光面と撮像素子２１Ｂ−１の受光面との間の距離である。Ｆ１，Ｆ２，Ｃは、いずれもカプセル型内視鏡２の種別等に対応した既知の値であり、後述する受信装置４及び処理装置５において保持される。
【００２８】
図４は、第１撮像部２１Ａ及び第２撮像部２１Ｂの撮像処理の処理タイミングを説明する図である。図４の（１）及び図４の（２）に示すように、第１撮像部２１Ａ及び第２撮像部２１Ｂは、交互に撮像処理を行う。例えば、第１撮像部２１Ａが撮像開始時間ｔ１で撮像処理を行い、第２撮像部２１Ｂが撮像開始時間ｔ２で撮像処理を行う。撮像開始時間ｔ１において第１撮像部２１Ａが撮像した撮像信号に基づく画像Ｇ１（１）と、撮像開始時間ｔ２において第２撮像部２１Ｂが撮像した撮像信号に基づく画像Ｇ２（１）とは、１組目の画像として対応付けられる。同様に、２組目の画像は、撮像開始時間ｔ３において第１撮像部２１Ａが撮像した撮像信号に基づく画像Ｇ１（２）及び撮像開始時間ｔ４において第２撮像部２１Ｂが撮像した撮像信号に基づく画像Ｇ２（２）であり、３組目の画像は、撮像開始時間ｔ５において第１撮像部２１Ａが撮像した撮像信号に基づく画像Ｇ１（３）及び撮像開始時間ｔ６において第２撮像部２１Ｂが撮像した撮像信号に基づく画像Ｇ２（３）である。４組目の画像Ｇ１（４）以降も同様の撮像が行われる。
【００２９】
第１照明部２２Ａ及び第２照明部２２Ｂは、照明光である白色光を発生する白色ＬＥＤ等によってそれぞれ構成される。
【００３０】
制御部２３は、カプセル型内視鏡２の各構成部位の動作処理の制御を行う。例えば、第１撮像部２１Ａ及び第２撮像部２１Ｂが交互に撮像処理を行う場合には、撮像素子２１Ａ−１，２１Ｂ−１に対する露光及び読み出し処理を、交互に実行するように第１撮像部２１Ａ及び第２撮像部２１Ｂを制御するとともに、第１照明部２２Ａ及び第２照明部２２Ｂに対し、それぞれ対応する撮像部の露光タイミングに応じて照明光を照射するように制御する。
【００３１】
無線通信部２４は、第１撮像部２１Ａ及び第２撮像部２１Ｂから出力された撮像信号をそれぞれ処理する。無線通信部２４は、第１撮像部２１Ａ及び第２撮像部２１Ｂから出力された撮像信号のそれぞれに対してＡ／Ｄ変換及び所定の信号処理を施し、デジタル形式の撮像信号を取得し、関連情報とともに無線信号に重畳して、アンテナ２５から外部に送信する。関連情報には、カプセル型内視鏡２の個体を識別するために割り当てられた識別情報（例えばシリアル番号）、第１撮像部２１Ａ及び第２撮像部２１Ｂのいずれによって撮像されたかを識別する識別情報、後述する動きセンサ２８が検出した検出信号等が含まれる。
【００３２】
メモリ２６は、制御部２３が各種動作を実行するための実行プログラム及び制御プログラムを記憶する。また、メモリ２６は、無線通信部２４において信号処理が施された撮像信号等を一時的に記憶してもよい。
【００３３】
電源部２７は、ボタン電池等からなるバッテリと、該バッテリから電力を昇圧等する電源回路と、当該電源部２７のオンオフ状態を切り替える電源スイッチとを含み、電源スイッチがオンとなった後、カプセル型内視鏡２内の各部に電力を供給する。なお、電源スイッチは、例えば外部の磁力によってオンオフ状態が切り替えられるリードスイッチからなり、カプセル型内視鏡２の使用前（被検体Ｈが嚥下する前）に、該カプセル型内視鏡２に外部から磁力を印加することによりオン状態に切り替えられる。
【００３４】
動きセンサ２８は、カプセル型内視鏡２の動き量を取得するためのセンサであり、例えば加速度センサである。動きセンサ２８は、カプセル型内視鏡２の中央部付近に配設され、筐体２９に与えられる３軸方向の加速度を検出して検出信号を出力する。また、動きセンサ２８と第１撮像部２１Ａ及び第２撮像部２１Ｂとの位置関係はあらかじめ設定及び記憶されている。それにより、動きセンサ２８からの検出信号に基づいてカプセル型内視鏡２の姿勢を判定し、第１撮像部２１Ａ及び第２撮像部２１Ｂの位置関係（上側／下側、奥側／手前側等）を特定することが可能となる。
【００３５】
筐体２９は、被検体Ｈの臓器内部に導入可能な大きさに形成された外装ケースであり、筒状筐体２９Ｃの両側開口端をドーム状筐体２９Ａ，２９Ｂによって塞ぐことによって実現される。ドーム状筐体２９Ａ，２９Ｂは、可視光等の所定波長帯域の光に対して透明なドーム形状の光学部材である。筒状筐体２９Ｃは、可視光に対して略不透明な有色の筐体である。かかる筒状筐体２９Ｃ及びドーム状筐体２９Ａ，２９Ｂによって形成される筐体２９は、図３に示すように、カプセル型内視鏡２の各構成部品を液密に内包する。
【００３６】
このようなカプセル型内視鏡２は、被検体Ｈに嚥下された後、臓器の蠕動運動等によって被検体Ｈの消化管内を移動しつつ、生体部位（食道、胃、小腸、及び大腸等）を所定の周期（例えば０．５秒周期）で順次撮像する。そして、この撮像動作により取得された撮像信号及び関連情報を受信装置４に順次無線送信する。
【００３７】
受信装置４は、受信部４１、受信信号処理部４２、画像処理部４３、制御部４４、操作部４５、表示部４６、メモリ４７、データ送受信部４８、及び、これらの各部に電力を供給する電源部４９を備える。
【００３８】
受信部４１は、カプセル型内視鏡２から無線送信された撮像信号及び関連情報を、複数（図１においては８個）の受信アンテナ３ａ〜３ｈを有する受信アンテナユニット３を介して受信する。各受信アンテナ３ａ〜３ｈは、例えばループアンテナ又はダイポールアンテナを用いて実現され、被検体Ｈの体外表面上の所定位置に配置される。
【００３９】
受信信号処理部４２は、受信部４１が受信した撮像信号に所定の信号処理を施す。受信信号処理部４２は、ＣＰＵ等のプロセッサによって構成される。受信信号処理部４２は、受信部４１が受信した信号に重畳されていた撮像信号、撮像信号が第１撮像部２１Ａ及び第２撮像部２１Ｂのいずれによって撮像されたかを識別する識別情報や動きセンサ２８が検出した加速度等の検出信号等を含む関連情報を取得する。受信信号処理部４２が取得した撮像信号、識別情報及び検出信号は、画像処理部４３に出力される。
【００４０】
画像処理部４３は、受信信号処理部４２から入力された撮像信号に対し、所定の画像処理を施し、表示部４６における表示用の画像を生成する。画像処理部４３は、ＣＰＵ等のプロセッサによって構成される。画像処理部４３は、画像生成部４３１、移動量取得部４３２、関連付け部４３３及び表示用画像生成部４３４を備える。
【００４１】
画像生成部４３１は、受信信号処理部４２から入力された撮像信号に基づいて画像を生成する。画像生成部４３１は、第１撮像部２１Ａの種別等に対応させて、入力された撮像信号に対し、オプティカルブラック減算（ＯＢ）処理、デモザイキング処理、濃度変換（ガンマ変換等）処理、平滑化（ノイズ除去等）処理、ホワイトバランス（ＷＢ）調整処理、同時化処理、電子ズーム処理、エッジ強調処理等を行うことによって生成した画像を出力する。画像生成部４３１は、生成した画像に、第１撮像部２１Ａ及び第２撮像部２１Ｂのいずれかによって撮像されたかを識別する情報を対応付ける。
【００４２】
移動量取得部４３２は、動きセンサ２８が検出した加速度等の検出信号を基にカプセル型内視鏡２の進行方向における移動量を取得する。移動量取得部４３２は、動きセンサ２８が、第１撮像部２１Ａが２枚の撮像信号を撮像したタイミングにおいて検出した加速度を基に、第１撮像部２１Ａがこの２枚の撮像信号を撮像した間に移動したカプセル型内視鏡２の進行方向における移動量を取得する。また、移動量取得部４３２は、画像処理を行ってカプセル型内視鏡２の進行方向における移動量を取得してもよい。この場合には、１つの撮像部の２枚の画像を用いて、動き量を算出する。例えば、第１撮像部２１Ａによる２枚の画像を処理して、第１撮像部２１Ａがこの２枚の画像に対応する撮像信号を撮像した間に移動したカプセル型内視鏡２の進行方向における移動量を取得する。もちろん、第２撮像部２１Ｂが撮像した撮像信号を用いてもよい。
【００４３】
関連付け部４３３は、少なくとも撮像部の進行方向における撮像距離と、移動量取得部４３２によって取得されたカプセル型内視鏡２の移動量とを基に、撮像部が撮像した第１画像と、第１画像の撮像時における撮像部の有効撮像領域と連続性を有する有効撮像領域を撮像した第２画像と、を関連付ける。関連付け部４３３は、第１撮像部２１Ａが撮像した撮像信号に基づく第１画像に対して、第２撮像部２１Ｂが撮像した撮像信号に基づく画像群のうち、この第１画像の撮像時における第１撮像部２１Ａの有効撮像領域と連続性を有する有効撮像領域を撮像した画像を、第２画像として関連付ける。関連付け部４３３は、第２画像の候補となる第２撮像部２１Ｂによる候補画像に対して、移動量取得部４３２が取得したカプセル型内視鏡２の進行方向における移動量を基に、第１画像の撮像時における第１撮像部２１Ａの位置と候補画像の撮像時における第２撮像部２１Ｂの位置との間の進行方向に沿った第１距離を求め、該求めた第１距離と撮像距離とを比較することによって、候補画像を第２画像として第１画像に関連付けるか否かを判断する。撮像距離は、撮像部が撮像した画像に、所定の明るさが示され、かつ、所定の解像力が出る有効撮像領域における進行方向に沿った有効撮像領域の両端間の距離である。カプセル型内視鏡２においては、第１撮像部２１Ａの観察深度Ｆ１と、第２撮像部２１Ｂの観察深度Ｆ２との和となる。
【００４４】
表示用画像生成部４３４は、ＯＳＤ処理等を行い、関連付け部４３３が関連付けた第１画像と第２画像とを合成した合成画像を表示用画像として生成する。表示用画像生成部４３４は、第２画像を分割し、該分割された画像を第１画像の周縁に配置させた合成画像を生成する。図５は、表示用画像生成部４３４による画像合成処理を説明する図である。表示用画像生成部４３４は、例えば図５の（１）に示すように、第２画像Ｇ２を、上下に分割した画像Ｇ２Ｔ，Ｇ２Ｂを生成するとともに、第２画像Ｇ２を左右に分割した画像Ｇ２Ｌ，Ｇ２Ｒを生成する。表示用画像生成部４３４は、図５の（２）に示すように、第１画像Ｇ１の上部に、画像Ｇ２Ｔを配置し、第１画像Ｇ１の下部に画像Ｇ２Ｂを配置し、第１画像Ｇ１の右部に画像Ｇ２Ｌを配置し、第１画像Ｇ１の左部に画像Ｇ２Ｒを配置した合成画像Ｑを生成する。また、表示用画像生成部４３４は、合成画像Ｑに体内画像に関する情報を重畳してもよい。ここでいう情報とは、例えば、患者情報、検査内容、メインとなる撮像部が第１撮像部２１Ａ、第２撮像部２１Ｂのいずれであるか等を示す情報である。
【００４５】
制御部４４は、受信装置４の各構成部を制御する。制御部４４は、ＣＰＵ等のプロセッサによって構成される。制御部４４は、表示制御部４４１を有する。表示制御部４４１は、画像処理部４３の表示用画像生成部４３４において生成された表示用画像を、表示部４６における画像の表示レンジに応じたデータの間引きや、階調処理などの所定の処理を施した後、表示部４６に表示出力させる。
【００４６】
操作部４５は、ユーザが当該受信装置４に対して各種設定情報や指示情報を入力する際に用いられる入力デバイスである。操作部４５は、例えば受信装置４の操作パネルに設けられたスイッチ、ボタン等である。操作部４５は、後述する表示部４６に表示させる画像のうちメイン画像となる画像を撮像した撮像部を第１撮像部２１Ａ、第２撮像部２１Ｂのいずれかに切り換えることができる切り替えボタンを備えてもよい。
【００４７】
表示部４６は、カプセル型内視鏡２から受信した画像に基づく体内画像等を表示する。表示部４６は、液晶ディスプレイ、有機ＥＬディスプレイ等によって構成される。表示部４６は、表示制御部４４１の制御に従って、表示用画像生成部４３４が生成した表示用の合成画像を表示する。表示部４６は、受信装置４の主面に設けられた液晶画面等によって構成される。
【００４８】
メモリ４７は、受信装置４を動作させて種々の機能を実行させるためのプログラム、受信信号処理部４２において処理が施された撮像信号、画像処理部４３において生成された画像、及び、関連情報に加え、関連付け部４３３が用いる各種パラメータの値及び関連付け部４３３が出力した関連付け情報等も記憶する。メモリ４７は、ＲＡＭ、ＲＯＭ等によって構成される。メモリ４７は、前述のＦ１，Ｆ２，Ｃの値もカプセル型内視鏡２の種別ごとに記憶する。
【００４９】
データ送受信部４８は、処理装置５と通信可能な状態で接続された際に、メモリ４７に記憶された撮像信号及び関連情報を処理装置５に送信する。データ送受信部４８は、ＬＡＮ等の通信Ｉ／Ｆで構成される。
【００５０】
このような受信装置４は、カプセル型内視鏡２により撮像が行われている間（例えば、カプセル型内視鏡２が被検体Ｈに嚥下された後、消化管内を通過して排出されるまでの間）、被検体Ｈに装着されて携帯される。受信装置４は、この間、受信アンテナユニット３を介して受信した撮像信号に、各受信アンテナ３ａ〜３ｈにおける受信強度情報や受信時刻情報等の関連情報をさらに付加し、これらの撮像信号及び関連情報をメモリ４７に記憶させる。また、受信装置４は、表示部４６に、第１画像及び第１画像に関連付けられた第２画像を同期表示させる。
【００５１】
カプセル型内視鏡２による撮像の終了後、受信装置４は被検体Ｈから取り外され、処理装置５と接続されたクレードル５ａ（図１参照）にセットされる。これにより、受信装置４は、処理装置５と通信可能な状態で接続され、メモリ４７に記憶された撮像信号及び関連情報を処理装置５に転送（ダウンロード）する。
【００５２】
処理装置５は、例えば、液晶ディスプレイ等の表示装置６を備えたワークステーションを用いて構成される。処理装置５は、データ送受信部５１、画像処理部５２、各部を統括して制御する制御部５３、表示制御部５４、入力部５５及び記憶部５６を備える。
【００５３】
データ送受信部５１は、ＵＳＢ、又は有線ＬＡＮや無線ＬＡＮ等の通信回線と接続可能なインタフェースであり、ＵＳＢポート及びＬＡＮポートを含んでいる。実施の形態において、データ送受信部５１は、ＵＳＢポートに接続されるクレードル５ａを介して受信装置４と接続され、受信装置４との間でデータの送受信を行う。
【００５４】
画像処理部５２は、ＣＰＵ等のハードウェアによって実現され、後述の記憶部５６に記憶された所定のプログラムを読み込むことにより、データ送受信部５１から入力された撮像信号や記憶部５６に記憶された撮像信号に対応する体内画像を作成するための所定の画像処理を施す。
【００５５】
制御部５３は、ＣＰＵ等のハードウェアによって実現され、記憶部５６に記憶された各種プログラムを読み込むことにより、入力部５５を介して入力された信号や、データ送受信部５１から入力された撮像信号等に基づいて、処理装置５を構成する各部への指示やデータの転送等を行い、処理装置５全体の動作を統括的に制御する。
【００５６】
表示制御部５４は、画像処理部５２において生成された画像を、表示装置６における画像の表示レンジに応じたデータの間引きや、階調処理などの所定の処理を施した後、表示装置６に表示出力させる。
【００５７】
入力部５５は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現される。入力部５５は、ユーザの操作に応じた情報や命令の入力を受け付ける。
【００５８】
記憶部５６は、フラッシュメモリ、ＲＡＭ、ＲＯＭ等の半導体メモリや、ＨＤＤ、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体及び該記録媒体を駆動する駆動装置等によって実現される。記憶部５６は、処理装置５を動作させて種々の機能を実行させるためのプログラム、該プログラムの実行中に使用される各種情報、並びに、受信装置４を介して取得した撮像信号及び関連情報等を記憶する。
【００５９】
続いて、受信装置４が実行する画像表示処理について説明する。図６は、受信装置４が実行する画像表示処理の処理手順の一例を示すフローチャートである。
【００６０】
図６に示すように、受信装置４では、移動量取得部４３２が、動きセンサ２８が検出した加速度等の検出信号を基にカプセル型内視鏡２の進行方向における移動量を取得する移動量取得処理を行う（ステップＳ１）。移動量取得部４３２は、表示対象の第１画像を第１撮像部２１Ａが撮像した時から、この第１画像の次の組における画像を第１撮像部２１Ａが撮像した時までのカプセル型内視鏡２の進行方向における移動量を取得する。
【００６１】
関連付け部４３３は、少なくともカプセル型内視鏡２の進行方向における撮像距離と、移動量取得部４３２によって取得されたカプセル型内視鏡２の移動量とを基に、第１撮像部２１Ａが撮像した第１画像と、第２撮像部２１Ｂが撮像した画像のうち第１画像の撮像時における第１撮像部２１Ａの有効撮像領域と連続性を有する有効撮像領域を撮像した第２画像と、を関連付ける関連付け処理を行う（ステップＳ２）。
【００６２】
表示用画像生成部４３４は、関連付け部４３３が関連付けた第１画像と第２画像とを合成した合成画像を表示用画像として生成する表示用画像生成処理を行う（ステップＳ３）。
【００６３】
表示制御部４４１は、表示用画像生成処理において生成された表示用画像を、表示部４６における画像の表示レンジに応じたデータの間引きや、階調処理などの所定の処理を施した後、表示部４６に表示出力させる画像表示制御処理を行う（ステップＳ４）。
【００６４】
図７は、図６に示す関連付け処理の処理手順（ステップＳ２）の一例を示すフローチャートである。説明のため、表示対象の第１画像、すなわち、関連付け対象の第１画像をｋ組目において第１撮像部２１Ａが撮像した画像Ｇ１（ｋ）とする。図８は、図２に示すカプセル型内視鏡の進行状態を説明する図である。図８の例では、ｘ軸と第１撮像部２１Ａの撮像方向とがほぼ一致した状態でカプセル型内視鏡２が矢印Ｙ０のように進行する。以降において、第１画像Ｇ１（ｋ）の撮像時における第１撮像部２１Ａの有効撮像領域をＲＧ１（ｋ）で示し、画像Ｇ１（ｋ＋１）の撮像時における第１撮像部２１Ａの有効撮像領域をＲＧ１（ｋ＋１）で示し、ｈ組目において第２撮像部２１Ｂが撮像した画像をＧ２（ｈ）とし、画像Ｇ２（ｈ）の撮像時における第２撮像部２１Ｂの有効撮像領域をＲＧ２（ｈ）で示す。
【００６５】
関連付け部４３３は、移動量取得部４３２から、この第１画像Ｇ１（ｋ）の第１撮像部２１Ａによる撮像開始時から、この第１画像Ｇ１（ｋ）の次の（ｋ＋１）組目の画像Ｇ１（ｋ＋１）の第１撮像部２１Ａによる撮像開始時までの間のカプセル型内視鏡２の移動量である距離Ｍｆ（図８参照）を受信する（ステップＳ１１）。
【００６６】
関連付け部４３３は、以降の演算において必要となる他のパラメータの値をメモリ４７から参照する（ステップＳ１２）。他のパラメータは、観察深度Ｆ１，Ｆ２、撮像素子２１Ａ−１の受光面と撮像素子２１Ｂ−１の受光面との間の距離Ｃである。
【００６７】
関連付け部４３３は、第１画像Ｇ１（ｋ）に関連付ける第２画像を判別するために、第２撮像部２１Ｂによる画像の中から、順次、第２画像の候補となる候補画像に対して、所定の条件を満たすか否かを判定する。候補画像は、ｈ組目で第２撮像部２１Ｂが撮像した画像Ｇ２（ｈ）とする。また、候補画像Ｇ２（ｈ）が属する組数ｈと、第１画像Ｇ１（ｋ）が属する組数ｋとの差分（ｈ−ｋ）をｎで示す。関連付け部４３３は、ｎを０にセットする（ステップＳ１３）。言い換えると、関連付け部４３３は、候補画像を、第１画像Ｇ１（ｋ）と同じｋ組目において第２撮像部２１Ｂが撮像した画像Ｇ２（ｋ）に設定する。
【００６８】
関連付け部４３３は、ステップＳ１１において受信したカプセル型内視鏡２の進行方向における移動量を基に、第１距離を演算する（ステップＳ１４）。具体的には、第１距離Ｍｓ（ｈ）は、第１画像Ｇ１（ｋ）の撮像開始時における第１撮像部２１Ａの位置におけるｘ座標（Ｌ１（ｋ））と、候補画像Ｇ２（ｈ）の撮像開始時における第２撮像部２１Ｂの位置におけるｘ座標（Ｌ２（ｈ））との間の距離である。すなわち、第１距離Ｍｓ（ｈ）は、式（１Ａ）で演算できる。
Ｍｓ（ｈ）＝Ｌ２（ｈ）―Ｌ１（ｋ）                          ・・・（１Ａ）
候補画像がＧ２（ｋ）である図８の場合には、第１距離Ｍｓ（ｋ）は、式（１Ｂ）で演算できる。
Ｍｓ（ｋ）＝Ｌ２（ｋ）―Ｌ１（ｋ）＝Ｍｆ／２−Ｃ            ・・・（１Ｂ）
また、カプセル型内視鏡２が等速で移動する場合、第１距離Ｍｓ（ｈ）は、式（１Ｂ）を基に、式（１Ｃ）となる。
Ｍｓ（ｈ）＝Ｍｓ（ｋ）＋Ｍｆ×ｎ                            ・・・（１Ｃ）
【００６９】
関連付け部４３３は、画像Ｇ２（ｈ）の第１距離Ｍｓ（ｈ）が、０よりも大きく２つの撮像部の撮像距離以下である第１条件を満たすか否かを判定する（ステップＳ１５）。第１条件は、第１距離Ｍｓ（ｈ），Ｆ１，Ｆ２を用いて、式（２Ａ）のように規定される。
０＜Ｍｓ（ｈ）≦Ｆ１＋Ｆ２                                  ・・・（２Ａ）
式（２Ａ）は、式（１Ｃ）を基に、以下の式（２Ｂ）となる。
０＜Ｍｓ（ｋ）＋Ｍｆ×ｎ≦Ｆ１＋Ｆ２                        ・・・（２Ｂ）
候補画像が第１画像Ｇ１（ｋ）と同組の画像Ｇ２（ｋ）である場合には、ｎ＝０がセットされているため、式（２Ｂ）は、式（２Ｃ）となる。
０＜Ｍｓ（ｋ）≦Ｆ１＋Ｆ２                                  ・・・（２Ｃ）
【００７０】
図９及び図１０は、第１条件を説明するための図である。図９及び図１０において、候補画像を第１画像Ｇ１（ｋ）と同じｋ組目の画像Ｇ２（ｋ）とした場合には、第１距離は、Ｍｓ（ｋ）となる。図９に示すように、第１距離Ｍｓ（ｋ）が、第１条件である式（２Ｃ）を満たす場合、第１画像Ｇ１（ｋ）の撮像時における第１撮像部２１Ａの有効撮像領域ＲＧ１（ｋ）と画像Ｇ２（ｋ）の撮像時における第２撮像部２１Ｂの有効撮像領域ＲＧ２（ｋ）とが重なるため、画像Ｇ２（ｋ）の撮像時における第２撮像部２１Ｂの有効撮像領域ＲＧ２（ｋ）は、第１画像Ｇ１（ｋ）の撮像時における第１撮像部２１Ａの有効撮像領域ＲＧ１（ｋ）と空間的な連続性を有する。一方、図１０に示すように、第１距離Ｍｓ（ｋ）が、観察深度Ｆ１及び観察深度Ｆ２の和よりも大きく第１条件を満たさない場合、第１画像Ｇ１（ｋ）の撮像時における第１撮像部２１Ａの有効撮像領域ＲＧ１（ｋ）と画像Ｇ２（ｋ）の撮像時における第２撮像部２１Ｂの有効撮像領域ＲＧ２（ｋ）との間に、観察に適さない隙間がある。このため、画像Ｇ２（ｋ）の撮像時における第２撮像部２１Ｂの有効撮像領域ＲＧ２（ｋ）は、第１画像Ｇ１（ｋ）の撮像時における第１撮像部２１Ａの有効撮像領域ＲＧ１（ｋ）と空間的な連続性を有していない。また、第１距離Ｍｓ（ｋ）が０以下で第１条件を満たさない場合も同様に、第１画像Ｇ１（ｋ）の撮像時における第１撮像部２１Ａの有効撮像領域ＲＧ１（ｋ）と画像Ｇ２（ｋ）の撮像時における第２撮像部２１Ｂの有効撮像領域ＲＧ２（ｋ）との間に、観察に適さない隙間があるため、画像Ｇ２（ｋ）の撮像時における第２撮像部２１Ｂの有効撮像領域ＲＧ２（ｋ）は、第１画像Ｇ１（ｋ）の撮像時における第１撮像部２１Ａの有効撮像領域ＲＧ１（ｋ）と空間的な連続性を有していない。
【００７１】
関連付け部４３３は、第１距離Ｍｓ（ｈ）が第１条件を満たすと判定した場合（ステップＳ１５：Ｙｅｓ）、さらに第１距離Ｍｓ（ｈ）と観察深度Ｆ１を用いて定められる第２条件を満たすか否かを判定する（ステップＳ１６）。第２条件は、以下の式（３Ａ）を用いて規定される。
０≦Ｍｓ（ｈ）≦Ｆ１                                    ・・・（３Ａ）
式（３Ａ）は、上記式（１Ｃ）を基に、以下の式（３Ｂ）となる。
０≦Ｍｓ（ｋ）＋Ｍｆ×ｎ≦Ｆ１                          ・・・（３Ｂ）
また、ｎ＝０がセットされている場合、式（３Ｂ）は式（３Ｃ）となる。
０≦Ｍｓ（ｋ）≦Ｆ１                                    ・・・（３Ｃ）
【００７２】
第１距離Ｍｓ（ｋ）が式（３Ｃ）を満たせば、第２撮像部２１Ｂは、第１撮像部２１Ａの観察深度Ｆ１内で画像Ｇ２（ｋ）を撮像したこととなり、第１画像Ｇ１（ｋ）の撮像時における第１撮像部２１Ａの有効撮像領域ＲＧ１（ｋ）と画像Ｇ２（ｋ）の撮像時における第２撮像部２１Ｂの有効撮像領域ＲＧ２（ｋ）とが完全に重複している可能性が否めない。一方、式（３Ｃ）を満たしていない場合には、第２撮像部２１Ｂは、観察深度Ｆ１外で画像Ｇ２（ｋ）を撮像したこととなり、画像Ｇ２（ｋ）は、第１画像Ｇ１（ｋ）の撮像時における第１撮像部２１Ａの有効撮像領域ＲＧ１（ｋ）と連続性を有する有効撮像領域を撮像しながらも、有効撮像領域ＲＧ１（ｋ）と有効撮像領域ＲＧ２（ｋ）とが重複しておらず、画像Ｇ２（ｋ）には、第１画像Ｇ１（ｋ）の撮像時における第１撮像部２１Ａの有効撮像領域ＲＧ１（ｋ）外の領域も含まれる。
【００７３】
関連付け部４３３は、第１距離Ｍｓ（ｈ）が第２条件を満たさないと判定した場合（ステップＳ１６：Ｎｏ）、判断対象の候補画像を第２画像として第１画像に関連付ける（ステップＳ１７）とした関連付け情報を出力して（ステップＳ１８）、関連付け処理を終了する。
【００７４】
関連付け部４３３は、第１距離Ｍｓ（ｈ）が第２条件を満たすと判定した場合（ステップＳ１６：Ｙｅｓ）、第１距離Ｍｓ（ｈ）が観察深度Ｆ１及び観察深度Ｆ２を用いて規定される第３条件を満たすか否かを判定する（ステップＳ１９）。第３条件は、以下の式（４Ａ）を用いて規定される。
０≦Ｍｓ（ｈ）＋Ｆ２≦Ｆ１                                  ・・・（４Ａ）
式（４Ａ）は、式（１Ｃ）を基に、以下の式（４Ｂ）となる。
０≦Ｍｓ（ｋ）＋Ｍｆ×ｎ＋Ｆ２≦Ｆ１                        ・・・（４Ｂ）
ｎ＝０がセットされている場合、式（４Ｂ）は、式（４Ｃ）となる。
０≦Ｍｓ（ｋ）＋Ｆ２≦Ｆ１                                  ・・・（４Ｃ）
【００７５】
第１画像Ｇ１（ｋ）と同組の画像Ｇ２（ｋ）とを例とすると、第１画像Ｇ１（ｋ）と画像Ｇ２（ｋ）とに対する第１距離Ｍｓ（ｋ）と観察深度Ｆ２との和が式（４Ｃ）を満たせば、画像Ｇ２（ｋ）の撮像時における第２撮像部２１Ｂの有効撮像領域ＲＧ２（ｋ）は、観察深度Ｆ１である第１画像Ｇ１（ｋ）の撮像時における第１撮像部２１Ａの有効撮像領域ＲＧ１（ｋ）に含まれることとなる。言い換えると、画像Ｇ２（ｋ）は、有効撮像領域ＲＧ１（ｋ）とは異なる領域を撮像しておらず、画像Ｇ２（ｋ）を第１画像Ｇ１（ｋ）と同期表示させる必要がない。
【００７６】
関連付け部４３３は、第３条件を満たさないと判定した場合（ステップＳ１９：Ｎｏ）、判断対象の候補画像を第２画像として第１画像に関連付ける（ステップＳ１７）とした関連付け情報を出力して（ステップＳ１８）、関連付け処理を終了する。
【００７７】
関連付け部４３３は、第３条件を満たすと判定した場合（ステップＳ１９：Ｙｅｓ）、又は、第１条件を満たさないと判定した場合（ステップＳ１５：Ｎｏ）、ｎの絶対値｜ｎ｜が最大値Ｎであるか否かを判断する（ステップＳ２０）。例えば、最大値Ｎが２の場合には、関連付け部４３３は、第１画像に対して、２組ずれた組の第２撮像部２１Ｂによる画像まで関連付けの判定を行う。なお、最大値Ｎは、ユーザによる操作部４５の操作等によって、任意の値に設定可能である。関連付け部４３３は、ｎの絶対値｜ｎ｜が最大値Ｎであると判断した場合には（ステップＳ２０：Ｙｅｓ）、第１画像に関連付ける画像はなしとした関連付け情報を出力して（ステップＳ１８）、関連付け処理を終了する。
【００７８】
一方、関連付け部４３３は、ｎの絶対値｜ｎ｜が最大値Ｎでないと判断した場合には（ステップＳ２０：Ｎｏ）、次に関連付けを判定する候補画像を選択するために、第１条件で演算した第１距離Ｍｓ（ｈ）は０以下であるか否かを判断する（ステップＳ２１）。
【００７９】
関連付け部４３３は、第１距離Ｍｓ（ｈ）は０以下であると判断した場合には（ステップＳ２１：Ｙｅｓ）、第１距離Ｍｓ（ｈ）を大きくするために、ｎ＝ｎ＋１とする処理を行う（ステップＳ２２）。すなわち、関連付け部４３３は、画像Ｇ２（ｈ）の次の組に第２撮像部２１Ｂが撮像した画像Ｇ２（ｈ＋１）を候補画像として、ステップＳ１４に戻る。
【００８０】
関連付け部４３３は、第１距離Ｍｓ（ｈ）は０以下でないと判断した場合には（ステップＳ２１：Ｎｏ）、第１距離Ｍｓ（ｈ）を小さくするために、ｎ＝ｎ−１とする処理を行う（ステップＳ２３）。すなわち、関連付け部４３３は、画像Ｇ２（ｈ）の前の組で第２撮像部２１Ｂが撮像した画像Ｇ２（ｈ−１）を候補画像として、ステップＳ１４に戻る。この処理を繰り返すことによって、第１距離が第１条件を満たすように調整する。
【００８１】
図１１〜図１４は、図７に示す関連処理を具体的に説明するための図である。図１１〜図１４では、観察深度Ｆ１，Ｆ２がともに２０ｍｍ、撮像素子２１Ａ−１の受光面と撮像素子２１Ｂ−１の受光面との間の距離Ｃが２０ｍｍとする。また、第１撮像部２１Ａ、第２撮像部２１Ｂの画角はいずれも１８０°とする。
【００８２】
図１１では、位置Ｌ１（１）において第１撮像部２１Ａが撮像した画像Ｇ１（１）が、第１画像である場合を示している。この場合には、矢印Ｙ１に示すように、カプセル型内視鏡２は、ｘ軸の正方向に進む。関連付け部４３３は、ｎの値を０にセットして第１画像Ｇ１（１）と同組で第２撮像部２１Ｂが撮像した画像Ｇ２（１）を候補画像とし、第１条件を判定する。この場合、第１画像Ｇ１（１）の第１撮像部２１Ａの撮像時の位置のｘ座標（Ｌ１（１））と、画像Ｇ１（２）の第１撮像部２１Ａの撮像時の位置のｘ座標（Ｌ１（２））との距離Ｍｆが１２０ｍｍである。第１距離Ｍｓ（１）は、式（１Ｂ）より４０ｍｍとなり、観察深度Ｆ１，Ｆ２の和である４０ｍｍと同値になるため、式（２Ｃ）で規定する第１条件を満たす。
【００８３】
関連付け部４３３は、画像Ｇ２（１）に対して第２条件について判定する。この場合には、第１距離Ｍｓ（１）の値は、観察深度Ｆ１以下の２０ｍｍとなり、式（３Ｃ）で規定する第２条件を満たすため、関連付け部４３３は、第３条件について判定する。画像Ｇ２（１）については、（Ｍｓ（１）＋Ｆ２）の値が６０ｍｍとなり、観察深度Ｆ１より大となるため、式（４Ｃ）で規定する第３条件を満たさない。したがって、関連付け部４３３は、図１１の例では、候補画像である画像Ｇ２（１）を第２画像として第１画像Ｇ１（１）に関連付ける。
【００８４】
図１２では、距離Ｍｆが６０ｍｍである。この場合も、矢印Ｙ２に示すように、カプセル型内視鏡２は、ｘ軸の正方向に進む。図１２の例では、第１距離Ｍｓ（１）は式（１Ｂ）より１０ｍｍとなり、観察深度Ｆ１，Ｆ２の和である４０ｍｍ以下となるため、式（２Ｃ）に規定する第１条件を満たす。関連付け部４３３は、画像Ｇ２（１）に対して、第２条件について判定する。この場合には、第１距離Ｍｓ（１）の値は観察深度Ｆ１以下となり、式（３Ｃ）に規定する第２条件を満たすため、関連付け部４３３は、第３条件について判定する。画像Ｇ２（１）については、（Ｍｓ（１）＋Ｆ２）の値が３０ｍｍとなり、観察深度Ｆ１より大となるため、式（４Ｃ）に規定する第３条件を満たさない。したがって、関連付け部４３３は、図１２の例でも、候補画像である画像Ｇ２（１）を第２画像として第１画像Ｇ１（１）に関連付ける。なお、図１２では、便宜上カプセル型内視鏡２の位置を上下にずらして示している。
【００８５】
図１３では、位置Ｌ１（４）において第１撮像部２１Ａが撮像した第１画像Ｇ１（４）が、関連付け対象である場合を示している。この場合には、矢印Ｙ３に示すように、カプセル型内視鏡２は、ｘ軸の負方向に進む。まず、関連付け部４３３は、第１画像Ｇ１（４）と同じ４組目で第２撮像部２１Ｂが撮像した画像Ｇ２（４）を候補画像とし、第１条件を判定する。第１画像Ｇ１（４）の第１撮像部２１Ａの撮像時の位置のｘ座標（Ｌ１（４））と、画像Ｇ１（５）の第１撮像部２１Ａの撮像時の位置のｘ座標（Ｌ１（５））との距離Ｍｆが（−６０）ｍｍである。この場合、第１距離Ｍｓ（４）は、式（１Ｂ）より（−５０）ｍｍとなり、０以下となるため、式（２Ｂ）で規定する第１条件を満たさない。
【００８６】
関連付け部４３３は、式（２Ｃ）における第１距離Ｍｓ（４）の値が０以下であるため、ｎ＝−１とし、第１画像Ｇ１（４）よりも１つ前の組で撮像された画像Ｇ２（３）を候補画像とする。この場合の第１距離Ｍｓ（３）である（Ｍｓ（４）＋Ｍｆ×ｎ）の値は、式（２Ｂ）を用いて（−５０＋（−６０）×（−１））＝１０ｍｍであることが求められ、式（２Ｂ）で規定する第１条件を満たす。
【００８７】
関連付け部４３３は、画像Ｇ２（３）に対して、第２条件について判定する。この場合には、（Ｍｓ（４）＋Ｍｆ×ｎ）の値は、前述したように１０ｍｍであり、観察深度Ｆ１以下となるため、式（３Ｂ）に規定する第２条件を満たす。このため、関連付け部４３３は、第３条件について判定する。この場合には、（Ｍｓ（４）＋Ｍｆ×ｎ＋Ｆ２）の値が３０ｍｍとなり、観察深度Ｆ１より大となるため、式（４Ｂ）に規定する第３条件を満たさない。したがって、関連付け部４３３は、図１３の例では、画像Ｇ２（３）を第１画像Ｇ１（４）に関連付ける。
【００８８】
図１４では、位置Ｌ１（５）において第１撮像部２１Ａが撮像した画像Ｇ１（５）が、第１画像である場合を示している。この場合には、矢印Ｙ４に示すように、カプセル型内視鏡２は、ｘ軸の負方向に進む。まず、関連付け部４３３は、第１画像Ｇ１（５）と同組で第２撮像部２１Ｂが撮像した画像Ｇ２（５）を候補画像とし、第１条件を判定する。第１画像Ｇ１（５）の第１撮像部２１Ａの撮像時の位置のｘ座標（Ｌ１（５））と、画像Ｇ１（６）の第１撮像部２１Ａの撮像時の位置のｘ座標（Ｌ１（６））との進行方向に沿った距離Ｍｆが（−４０）ｍｍである。この場合、第１距離Ｍｓ（５）は、式（１Ｂ）より（−４０）ｍｍとなり、０以下となるため、式（２Ｃ）で規定する第１条件を満たさない。
【００８９】
関連付け部４３３は、式（２Ｃ）における第１距離Ｍｓ（５）の値が０以下であるため、ｎ＝−１とし、第１画像Ｇ１（５）よりも１つ前の４組目で撮像された画像Ｇ２（４）を候補画像とする。この場合の第１距離Ｍｓ（４）である（Ｍｓ（５）＋Ｍｆ×ｎ）の値は、（−４０＋（−４０）×（−１））＝０ｍｍとなり、式（２Ｂ）に規定する第１条件を満たさない。
【００９０】
関連付け部４３３は、式（２Ｂ）における（Ｍｓ（５）＋Ｍｆ×ｎ）の値が０以下であるため、ｎ＝−２とし、第１画像Ｇ１（５）よりも２つ前の３組目で撮像された画像Ｇ２（３）を候補画像とする。この場合、（Ｍｓ（５）＋Ｍｆ×ｎ）の値は、（−４０＋（−４０）×（−２））＝４０ｍｍとなるため、式（２Ｂ）に規定する第１条件を満たす。関連付け部４３３は、画像Ｇ２（３）に対して、第２条件について判定する。この場合の（Ｍｓ（５）＋Ｍｆ×ｎ）の値は、前述したように４０ｍｍであり、観察深度Ｆ１より大となるため、式（３Ｂ）に規定する第２条件を満たさない。したがって、関連付け部４３３は、図１４の例では、画像Ｇ２（３）を第１画像Ｇ１（５）に関連付ける。なお、図１４では、便宜上カプセル型内視鏡２の位置を上下にずらして示している。
【００９１】
次に、図６に示す表示用画像生成処理（ステップＳ３）について説明する。図１５は、図６に示す表示用画像生成処理の処理手順を示すフローチャートである。表示用画像生成部４３４は、画像生成部４３１が生成した画像のうち、表示対象の第１画像を取得する（ステップＳ４１）。表示用画像生成部４３４は、関連付け部４３３から、表示対象の第１画像に対する関連付け情報を取得する（ステップＳ４２）。表示用画像生成部４３４は、取得した関連付け情報を基に、表示対象の第１画像に対して、第２画像の関連付けがあるか否かを判断する（ステップＳ４３）。表示用画像生成部４３４は、表示対象の第１画像に対して、第２画像の関連付けがあると判断した場合には（ステップＳ４３：Ｙｅｓ）、画像生成部４３１が生成した画像のうち、この第１画像に関連付けられた第２画像を取得する（ステップＳ４４）。第１画像と第２画像とを合成した合成画像を生成する合成画像生成処理を行い（ステップＳ４５）、生成した合成画像を表示用画像として、制御部４４に出力する（ステップＳ４６）。
【００９２】
図１６は、表示用画像生成部４３４が生成する合成画像の一例を説明する図である。関連付け部４３３が、図５で例示したように、表示対象の第１画像Ｇ１（１）に対して、第２画像として、第２撮像部２１Ｂが撮像した画像Ｇ２（１）を関連付けた場合には、表示用画像生成部４３４は、第２画像である画像Ｇ２（１）を、上下に分割した画像Ｇ２（１）Ｔ，Ｇ２（１）Ｂを生成するとともに、画像Ｇ２（１）を左右に分割して画像Ｇ２（１）Ｌ，Ｇ２（１）Ｒを生成する。表示用画像生成部４３４は、第１画像Ｇ１（１）の上部に、画像Ｇ２（１）Ｔを配置し、第１画像Ｇ１（１）の下部に画像Ｇ２（１）Ｂを配置し、第１画像Ｇ１（１）の右部に画像Ｇ２（１）Ｌを配置し、第１画像Ｇ１（１）の左部に画像Ｇ２（１）Ｒを配置した合成画像Ｑ１（１）を生成する。なお、左右に分割した画像Ｇ２（１）Ｌ，Ｇ２（１）Ｒを、第１画像Ｇ１（１）の左右いずれに配置するかは、カプセル型内視鏡２の実際の進行方向に対応して、変更する。図１６に示す例は、カプセル型内視鏡２がｘ軸の正方向に沿って移動した場合の例であり、カプセル型内視鏡２がｘ軸の負方向に沿って移動した場合には、画像Ｇ２（１）Ｌ，Ｇ２（１）Ｒの配置は図１６の配置と左右逆となる。
【００９３】
表示用画像生成部４３４は、表示対象の第１画像に対して、第２画像の関連付けがないと判断した場合には（ステップＳ４３：Ｎｏ）、表示対象の第１画像のみを表示用画像として、制御部４４に出力する（ステップＳ４６）。
【００９４】
このように、実施の形態では、上述した簡易な式で規定される第１条件から第３条件を判定するだけで、第１画像の撮像時における第１撮像部２１Ａの有効撮像領域と連続性を有する有効撮像領域を撮像した第２画像を、多数の画像の中から選択して第１画像に関連付けている。したがって、本実施の形態１によれば、空間的な連続性を有する領域を示す２枚の画像を簡易な処理で関連付けることができる。
【００９５】
（実施の形態の変形例１）
図１７は、実施の形態の変形例１を説明するための図である。図１７に示すように、実施の形態の変形例１では、カプセル型内視鏡２の光軸Ａ１とｘ軸とが交差していた場合、すなわち、直線状の進行方向に対して一定確度で傾斜したままカプセル型内視鏡２が移動した場合について説明する。なお、矢印Ｙ５に示すように、カプセル型内視鏡２は、ｘ軸の正方向に進む。関連付け部４３３は、カプセル型内視鏡２の動きセンサ２８の検出結果を基に、カプセル型内視鏡２の光軸Ａ１とカプセル型内視鏡２の進行方向に対応するｘ軸とがなす角度θを取得する。そして、関連付け部４３３は、取得した角度θに応じて補正した第１撮像部２１Ａ及び第２撮像部２１Ｂのｘ軸における撮像距離等を用いて、関連付け処理を行えばよい。すなわち、式（１Ｂ）〜（４Ｂ）に代えて、式（１Ｂ）〜（４Ｂ）を角度θで補正した式（１Ｂ−１）〜（４Ｂ−１）を用いて、第１条件〜第３条件を判定すればよい。
Ｍｓ（ｋ）＝（Ｍｆ／２）−Ｃｃｏｓθ                    ・・・（１Ｂ−１）
０＜Ｍｓ（ｈ）≦Ｆ１ｃｏｓθ＋Ｆ２ｃｏｓθ              ・・・（２Ａ−１）
０＜Ｍｓ（ｋ）＋Ｍｆ×ｎ≦Ｆ１ｃｏｓθ＋Ｆ２ｃｏｓθ    ・・・（２Ｂ−１）
０＜Ｍｓ（ｈ）≦Ｆ１ｃｏｓθ                            ・・・（３Ａ−１）
０≦Ｍｓ（ｋ）＋Ｍｆ×ｎ≦Ｆ１ｃｏｓθ                  ・・・（３Ｂ−１）
０≦Ｍｓ（ｈ）＋Ｆ２ｃｏｓθ≦Ｆ１ｃｏｓθ              ・・・（４Ａ−１）
０≦Ｍｓ（ｋ）＋Ｍｆ×ｎ＋Ｆ２ｃｏｓθ≦Ｆ１ｃｏｓθ    ・・・（４Ｂ−１）
なお、式（１Ｂ−１）〜（４Ｂ−１）を適用する角度θの範囲は、関連付け部４３３の演算性能等に合わせて、適宜設定すればよい。例えば、関連付け部４３３の演算性能に合わせて、角度θが、１０°を超えた場合に式（１Ｂ−１）〜（４Ｂ−１）を適用し、１０°未満の場合には、演算処理の簡易化のために、式（１Ｂ）〜（４Ｂ）を用いるように設定する。
【００９６】
図１８は、表示用画像生成部４３４が生成する合成画像の一例を説明する図である。角度θが０°より大きい所定の閾値を超えた場合、例えば、角度θが４５°の場合には、表示対象の第１画像Ｇ１（４）と、第１画像Ｇ１（４）に関連付けられた第２画像Ｇ２（４）とを、並列に並べて合成した画像Ｑ１（４）を生成してもよい。
【００９７】
（実施の形態の変形例２）
実施の形態の変形例２では、カプセル型内視鏡２の光軸Ａ１とカプセル型内視鏡２の進行方向に対応するｘ軸とがなす角度θが９０°である場合について説明する。
【００９８】
図１９は、実施の形態の変形例２に対応する例を説明する図である。なお、矢印Ｙ６に示すように、カプセル型内視鏡２は、ｘ軸の正方向に進む。図１９に示すように、角度θが９０°である場合には、第１撮像部２１Ａによる画像の有効撮像領域と、第２撮像部２１Ｂによる有効撮像領域とに連続性がないため、関連付け部４３３は、第１撮像部２１Ａが撮像する画像群の中から第２画像を選択する。この場合には、関連付け部４３３は、第１条件で使用する式（２Ｂ）に代えて、式（２Ｂ−２）で規定された第１条件を判定する。なお、関連付け部４３３は、第２撮像部２１Ｂが撮像する画像群の中からは第２画像を選択しないため、第２条件及び第３条件は判定せず、式（２Ｂ−２）で規定された第１条件を満たしたものを第２画像として第１画像に関連付ければよい。また、実施の形態において演算したＭｓ（ｈ）は使用しないため、演算する必要がない。
０＜Ｍｆ＋Ｍｆ×（ｎ−１）≦Ｅ１                      ・・・（２Ｂ−２）
【００９９】
式（２Ｂ−２）におけるＥ１は、図１９に示すように、ｘ軸に対して光軸Ａ１が垂直となる状態でカプセル型内視鏡２が移動した場合における、第１撮像部２１Ａのｘ軸における撮像距離であり、第１撮像部２１Ａの画角αに対応する視野範囲のうち、第１撮像部２１Ａの受光面から、受光面と平行な直線のうち光軸Ａ１に沿って観察深度Ｆ１分の距離を有する直線上の距離となる。
【０１００】
例えば、図１９に示す例では、Ｅ１は２０ｍｍであり、距離Ｍｆは１０ｍｍである。関連付け部４３３は、第１画像である１組目のＧ１（１）の次の組である２組目において第１撮像部２１Ａで撮像された画像Ｇ１（２）を候補画像として判定を行う。この場合には、ｎは１となる。式（２Ｂ−２）における（Ｍｆ＋Ｍｆ×（ｎ−１））の値は、１０ｍｍであり、Ｅ１未満となるため、図１９の例では、候補画像である画像Ｇ１（２）を第２画像として第１画像Ｇ１（１）に関連付ける。
【０１０１】
なお、図１９の例では、さらに、第１画像であるＧ１（１）の組から２組ずれた画像Ｇ１（３）についても候補画像として判定を行ってもよい。この場合、ｎは２となり、式（２Ｂ−２）における（Ｍｆ＋Ｍｆ×（ｎ−１））の値は、２０ｍｍであり、Ｅ１と同値になる。したがって、画像Ｇ１（３）も第１条件を満たすため、画像Ｇ１（３）も第２画像として第１画像Ｇ１（１）に関連付けることが可能である。第１画像Ｇ１（１）の撮像時における第１撮像部２１Ａの有効撮像領域ＲＧ１（１）と画像Ｇ１（３）の撮像時における第１撮像部２１Ａの有効撮像領域ＲＧ１（３）とが重複した領域は、第１画像Ｇ１（１）の撮像時における第１撮像部２１Ａの有効撮像領域ＲＧ１（１）と画像Ｇ１（２）の撮像時における第１撮像部２１Ａの有効撮像領域ＲＧ１（２）とが重複した領域よりも小さい。言い換えると、第１画像Ｇ１（１）と画像Ｇ１（３）とを合わせた場合の情報量は、第１画像Ｇ１（１）と画像Ｇ１（２）とを合わせた場合の情報量よりも多いといえる。このため、関連付け部４３３は、式（２Ｂ−２）を満たすとともに式（２Ｂ−２）における（Ｍｆ＋Ｍｆ×（ｎ−１））の値がＥ１により近い画像Ｇ１（３）を第２画像として第１画像Ｇ１（１）に関連付けてもよい。そして、この場合も、表示用画像生成部４３４は、第１画像Ｇ１（１）と画像Ｇ１（３）とを図２０のように並列に並べた合成画像を生成して、表示部４６に表示されるようにしてもよい。
【０１０２】
また、カプセル型内視鏡２が矢印Ｙ７のようにｘ軸の正方向に進む図２１の例のように、第１画像であるＧ１（２）の前の組の画像Ｇ１（１）と、後の組の画像Ｇ１（３）とのいずれも式（２Ｂ−２）を満たすとともに、式（２Ｂ−２）における（Ｍｆ＋Ｍｆ×（ｎ−１））の値が、画像Ｇ１（１）と画像Ｇ１（３）とのいずれにおいても同値である場合には、画像Ｇ１（１）と画像Ｇ１（３）との双方を第２画像として関連付けてもよい。この場合には、表示用画像生成部４３４は、第１画像Ｇ１（２）及び、画像Ｇ１（１）と画像Ｇ１（３）とを、図２２のように撮像順に並列に並べた合成画像を生成して、表示部４６に表示されるようにしてもよい。
【０１０３】
また、受信装置４は、第１撮像部２１Ａを画像表示におけるメインとなる撮像部として、第１撮像部２１Ａが撮像した画像のいずれかを第１画像として表示させる例について説明したが、もちろん、メインとなる撮像部は第２撮像部２１Ｂとして処理を進めることもできる。受信装置４に、表示する第１画像を、第１撮像部２１Ａによる画像或いは第２撮像部２１Ｂによる画像のいずれかに切り替え可能であるボタンを持たせてもよい。また、角度θの説明のため、本実施の形態では、カプセル型内視鏡２の光軸Ａ１とカプセル型内視鏡２の進行方向とを一致させたｘ軸を示して説明を行い、カプセル型内視鏡２の第１撮像部２１Ａの撮像方向に対応した右方向を正方向として説明したが、ｘ軸の左方向を正方向にしてもよい。また、受信装置４では、画像処理上のメインの撮像部を、カプセル型内視鏡２の進行方向に応じて入れ替えてもよい。例えば、受信装置４は、進行方向と撮像方向とが略一致している撮像部をメインの撮像部として処理を行ってもよい。受信装置４は、移動量取得部４３２が演算した移動量の値が負の値になった場合には、カプセル型内視鏡２の進行方向が逆転した場合に対応するため、メインの撮像部とサブの撮像部とを入れ替えて処理を行う。
【０１０４】
（実施の形態の変形例３）
カプセル型内視鏡が単眼の場合にも、本実施の形態は適用可能である。すなわち、カプセル型内視鏡の構成は、図２に示すカプセル型内視鏡２から、第２撮像部２１Ｂ、第２照明部２２Ｂを削除した構成となる。
【０１０５】
この場合には、画像生成部４３１は、第１撮像部２１Ａによる撮像信号の基に、画像を生成する。移動量取得部４３２は、図６のステップＳ１と同様に、表示対象の第１画像を第１撮像部２１Ａが撮像した時から、この第１画像の次の組における画像を第１撮像部２１Ａが撮像した時までのカプセル型内視鏡２の進行方向における移動量を取得する。関連付け部４３３は、カプセル型内視鏡２の動きセンサ２８の検出結果を基に、カプセル型内視鏡２の光軸Ａ１とカプセル型内視鏡２の進行方向に対応するｘ軸とがなす角度θを取得する。関連付け部４３３は、角度θが０°である場合、表示対象の第１画像に対して、第２画像として、いずれの画像も関連付けない。
【０１０６】
角度θが９０°の場合には、実施の形態の変形例２と同様に、式（２Ｂ−２）を用いた第１条件を満たしたものを第２画像として第１画像に関連付ければよい。なお、実施の形態の変形例２と同様に、関連付け部４３３は、第１画像Ｇ１（ｋ）の前後に撮像された複数の画像を候補画像とし、式（２Ｂ−２）を満たすとともに式（２Ｂ−２）における（Ｍｆ＋Ｍｆ×（ｎ−１））の値がＥ１により近い画像を第２画像として第１画像Ｇ１（ｋ）に関連付けてもよい。また、角度θとして、９０°近傍の所定範囲を適宜設定し、式（２Ｂ−２）を適用すればよい。
【０１０７】
（実施の形態の変形例４）
実施の形態及び実施の形態の変形例１〜３では、受信装置４が画像処理部４３を有し、関連付け処理を実行する例について、説明したが、もちろん、この構成に限ることはない。図２３は、本実施の形態の変形例４にかかるカプセル型内視鏡システムの構成を示すブロック図である。図２３に示すカプセル型内視鏡システム１−１に示すように、カプセル型内視鏡２−１の制御部２３−１に、移動量取得部４３２と同様の機能を有する移動量取得部４３２−１と、関連付け部４３３と同様の機能を有する関連付け部４３３−１を設けてもよい。移動量取得部４３２−１は、図６のステップＳ１の移動量取得処理と同様の処理を行い、関連付け部４３３−１は、図６のステップＳ２の関連付け処理と同様の処理を行う。制御部２３−１は、関連付け部４３３−１による関連付け情報を画像等とともに重畳させた無線信号をアンテナ２５から受信装置４−１に送信する。受信装置４−１では、画像処理部４３−１において、カプセル型内視鏡２−１から送信された関連付け情報を基に、表示用画像を生成する。
【０１０８】
図２４は、実施の形態の変形例４にかかるカプセル型内視鏡システムの他の構成を示すブロック図である。図２４に示すカプセル型内視鏡システム１−２のように、受信装置４−２ではなく、処理装置５−２の画像処理部５２−２に、画像生成部４３１と同様の機能を有する画像生成部４３１−２、移動量取得部４３２、関連付け部４３３及び表示用画像生成部４３４を設け、制御部４４−２の制御の基、表示制御部５４−２の表示制御によって、第１画像と第２画像とを合成した画像を表示装置６に表示させてもよい。
【０１０９】
本実施の形態では、説明の簡易化のために、第１撮像部２１Ａと第２撮像部２１Ｂが図４で説明したように交互に撮像し、かつ、カプセル型内視鏡２が等速で移動する場合を主に説明したが、もちろんこれに限らない。これ以外の場合には、関連付け部４３３は、候補画像である画像Ｇ２（ｈ）を撮像した時の第２撮像部２１Ｂの位置におけるｘ座標（Ｌ２（ｈ））から、第１画像Ｇ１（ｋ）を撮像した時の第１撮像部２１Ａの位置におけるｘ座標（Ｌ１（ｋ））を減算した値を適用した式（１Ａ）を用いて、Ｍｓ（ｈ）の値を求め、求めたＭｓ（ｈ）の値を、式（２Ａ）、式（３Ａ）及び式（４Ａ）に適用して、第１〜第３条件を判定すればよい。
【０１１０】
本実施の形態にかかるカプセル型内視鏡システム１，１−１，１−２のカプセル型内視鏡２，２−１、受信装置４，４−１，４−２、処理装置５，５−２の各構成部で実行される各処理に対する実行プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよく、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【符号の説明】
【０１１１】
１，１−１，１−２  カプセル型内視鏡システム
２，２−１  カプセル型内視鏡
３ａ〜３ｈ  受信アンテナ
３  受信アンテナユニット
４，４−１，４−２  受信装置
５ａ  クレードル
５，５−２  処理装置
６  表示装置
２１Ａ  第１撮像部
２１Ｂ  第２撮像部
２２Ａ  第１照明部
２２Ｂ  第２照明部
２３，２３−１，４４，４４−２，５３  制御部
２４  無線通信部
２５  アンテナ
２６，４７  メモリ
２７，４９  電源部
２８  動きセンサ
２９  筐体
４１  受信部
４２  受信信号処理部
４３，４３−１，５２，５２−２  画像処理部
４５  操作部
４６  表示部
４８，５１  データ送受信部
５４，５４−２，４４１  表示制御部
５５  入力部
５６  記憶部
４３１，４３１−２  画像生成部
４３２，４３２−１  移動量取得部
４３３，４３３−１  関連付け部
４３４  表示用画像生成部
【図１】
2017017996.tif 000003
【図２】
2017017996.tif 000004
【図３】
2017017996.tif 000005
【図４】
2017017996.tif 000006
【図５】
2017017996.tif 000007
【図６】
2017017996.tif 000008
【図７】
2017017996.tif 000009
【図８】
2017017996.tif 000010
【図９】
2017017996.tif 000011
【図１０】
2017017996.tif 000012
【図１１】
2017017996.tif 000013
【図１２】
2017017996.tif 000014
【図１３】
2017017996.tif 000015
【図１４】
2017017996.tif 000016
【図１５】
2017017996.tif 000017
【図１６】
2017017996.tif 000018
【図１７】
2017017996.tif 000019
【図１８】
2017017996.tif 000020
【図１９】
2017017996.tif 000021
【図２０】
2017017996.tif 000022
【図２１】
2017017996.tif 000023
【図２２】
2017017996.tif 000024
【図２３】
2017017996.tif 000025
【図２４】
2017017996.tif 000026
【手続補正書】
【提出日】平成28年10月31日(2016.10.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像部を有するカプセル型内視鏡から送信される情報を基に、前記カプセル型内視鏡の進行方向における移動量を取得する移動量取得部と、
前記進行方向における前記撮像部の撮像距離と、前記移動量とを基に、前記撮像部が撮像した第１画像と、前記第１画像とは異なるタイミングで前記撮像部が撮像した第２画像と、を関連付けるか否かを判断する関連付け部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記関連付け部は、前記移動量を基に、前記第１画像の撮像時における前記撮像部の位置と前記第２画像の撮像時における前記撮像部の位置との間の前記進行方向に沿った第１距離を求め、前記第１距離と前記撮像距離とを比較することによって、前記第１画像と前記第２画像とを関連付けるか否かを判断することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記関連付け部は、前記第１距離が０よりも大きく前記撮像距離以下である第１条件を満たす場合に、前記第１画像と前記第２画像とを関連付けることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記関連付け部は、前記撮像距離と前記移動量とを基に、前記第１画像の撮像時における前記撮像部の有効撮像領域と、前記第２画像の撮像時における前記撮像部の有効撮像領域とが、空間的な連続性を有する場合に、前記第１画像と前記第２画像とを関連付けることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記撮像距離は、前記撮像部が撮像した画像に、所定の明るさが示され、かつ、所定の解像力が出る有効撮像領域における前記進行方向に沿った前記有効撮像領域の両端間の距離であることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記カプセル型内視鏡の光軸と前記進行方向とがなす角度を取得する角度取得部をさらに備え、
前記関連付け部は、前記角度取得部が取得した前記角度に応じて補正した前記撮像距離を用いることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記撮像部は、互いに撮像方向が異なる第１撮像部及び第２撮像部を備え、
前記第１画像は、前記第１撮像部によって撮像された画像であり、
前記第２画像は、前記第２撮像部によって撮像された画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記撮像距離は、前記第１撮像部の第１有効撮像領域における前記進行方向に沿った前記第１有効撮像領域の両端間の距離である第１観察深度と、前記第２撮像部の第２有効撮像領域における前記進行方向に沿った前記第２有効撮像領域の両端間の距離である第２観察深度と、の和であり、
前記関連付け部は、前記移動量を基に、前記第１画像の撮像時における前記第１撮像部の位置と前記第２画像の撮像時における前記第２撮像部の位置との間の前記進行方向に沿った第１距離を求め、前記第１距離と前記撮像距離とを比較することによって、前記第１画像と前記第２画像とを関連付けるか否かを判断することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記関連付け部は、前記第１距離が０よりも大きくかつ前記撮像距離以下である第１条件を満たす前記第２画像のうち、前記第１距離が０以上かつ前記第１観察深度以下である第２条件と、前記第１距離及び前記第２観察深度の和が０以上かつ前記第１観察深度以下である第３条件との少なくとも一つを満たさない前記第２画像を前記第１画像に関連付けることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記関連付け部が関連付けた前記第１画像と前記第２画像とを合成した合成画像を生成する合成画像生成部と、
前記合成画像生成部が合成した前記合成画像を表示する表示部と、
をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記合成画像生成部は、前記第２画像を分割し、該分割された画像を前記第１画像の周縁に配置させた合成画像を生成することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
カプセル型内視鏡の撮像部で撮像した画像を処理する画像処理装置が行う画像処理方法であって、
前記カプセル型内視鏡の進行方向における移動量を取得する移動量取得ステップと、
前記進行方向における前記撮像部の撮像距離と、前記移動量とを基に、前記撮像部が撮像した第１画像と、前記第１画像とは異なるタイミングで前記撮像部が撮像した第２画像と、を関連付けるか否かを判断する関連付けステップと、
を含むことを特徴とする画像処理方法。
【請求項１３】
カプセル型内視鏡の撮像部で撮像した画像を処理する画像処理装置に、
前記カプセル型内視鏡の進行方向における移動量を取得する移動量取得手順と、
前記進行方向における前記撮像部の撮像距離と、前記移動量とを基に、前記撮像部が撮像した第１画像と、前記第１画像とは異なるタイミングで前記撮像部が撮像した第２画像と、を関連付けるか否かを判断する関連付け手順と、
を実行させることを特徴とする画像処理プログラム。
【国際調査報告】
2017017996.tif 000027
2017017996.tif 000028
2017017996.tif 000029
2017017996.tif 000030