(57)【要約】【課題】多数の撮像画像の閲覧に要する時間を短縮する。【解決手段】画像処理装置１００は、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮像後に変更可能な複数のライトフィールド画像と、複数のライトフィールド画像それぞれのフォーカス位置を設定可能なフォーカス可能範囲を示すフォーカス可能範囲データと、を取得する画像取得部１５１と、複数のライトフィールド画像に対応する複数のフォーカス可能範囲に重複して含まれる位置である重複位置においては、複数のライトフィールド画像のうちの１つのライトフィールド画像に基づいて再構築されたリフォーカス画像を生成する画像生成部１５４と、リフォーカス画像を表示手段に表示させる表示制御部１５５と、を有する。【選択図】図９
2017022464.tif 000002
【特許請求の範囲】
【請求項１】
フォーカスが合った奥行き方向の位置であるフォーカス位置を撮像後に変更可能な複数のライトフィールド画像と、前記複数のライトフィールド画像それぞれのフォーカス位置を設定可能なフォーカス可能範囲を示すフォーカス可能範囲データと、を取得する取得手段と、
前記複数のライトフィールド画像に対応する複数の前記フォーカス可能範囲に重複して含まれる位置である重複位置においては、前記複数のライトフィールド画像のうちの１つのライトフィールド画像に基づいて再構築されたリフォーカス画像を生成する画像生成手段と、
前記リフォーカス画像を表示手段に表示させる表示制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記取得手段は、前記ライトフィールド画像の撮像位置と、前記ライトフィールド画像のフォーカス位置の変更可能量と、を含む前記フォーカス可能範囲データを取得し、
前記複数のライトフィールド画像の前記撮像位置に前記変更可能量を加算することにより算出される前記複数のフォーカス可能範囲に基づいて、前記複数のライトフィールド画像それぞれに設定するフォーカス位置を決定する決定手段をさらに有し、
前記画像生成手段は、前記決定手段が決定した位置にフォーカス位置が設定された前記リフォーカス画像を生成することを特徴とする、
請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記複数のライトフィールド画像のうち、第１ライトフィールド画像で設定可能なフォーカス位置と、前記第１ライトフィールド画像の次に撮像された第２ライトフィールド画像で設定可能なフォーカス位置とが重複する前記重複位置に基づいて、前記第１ライトフィールド画像及び前記第２ライトフィールド画像に設定するフォーカス位置を決定することを特徴とする、
請求項２に記載の画像処理装置。
【請求項４】
前記決定手段は、前記第１ライトフィールド画像で設定可能な最も奥のフォーカス位置と、前記第２ライトフィールド画像で設定可能な最も手前のフォーカス位置とを比較することにより、前記第１ライトフィールド画像及び前記第２ライトフィールド画像に設定するフォーカス位置を決定することを特徴とする、
請求項３に記載の画像処理装置。
【請求項５】
前記画像生成手段は、前記第１ライトフィールド画像における最も手前のフォーカス位置から前記第２ライトフィールド画像における最も手前のフォーカス位置より手前の範囲のフォーカス位置に対応する前記リフォーカス画像を生成することを特徴とする、
請求項４に記載の画像処理装置。
【請求項６】
前記画像生成手段は、隣接するフォーカス位置の間隔よりも大きな間隔ごとに選択されたフォーカス位置に対応する前記リフォーカス画像を生成することを特徴とする、
請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記取得手段は、前記複数のライトフィールド画像それぞれの撮像方向をさらに取得し、
前記画像生成手段は、前記複数のライトフィールド画像に対応する複数の前記撮像方向間の関係に基づいて決定された前記重複位置に基づいて前記リフォーカス画像を生成することを特徴とする、
請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記画像生成手段が前記リフォーカス画像を生成することに決定したフォーカス位置を、決定済フォーカス位置として記憶する記憶手段をさらに有し、
前記画像生成手段は、前記取得手段が取得した新たな前記ライトフィールド画像で設定可能なフォーカス位置と、前記記憶手段が記憶している前記決定済フォーカス位置とを比較することにより特定された前記重複位置に基づいて前記リフォーカス画像を生成することを特徴とする、
請求項１又は２に記載の画像処理装置。
【請求項９】
前記表示制御手段は、前記リフォーカス画像とともに前記重複位置を示す画像を前記表示手段に表示させることを特徴とする、
請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
フォーカスが合った奥行き方向の位置であるフォーカス位置を撮像後に変更可能な複数のライトフィールド画像と、前記複数のライトフィールド画像それぞれのフォーカス位置を設定可能なフォーカス可能範囲を示すフォーカス可能範囲データと、を取得する取得ステップと、
前記複数のライトフィールド画像に対応する複数の前記フォーカス可能範囲に重複して含まれる位置である重複位置においては、前記複数のライトフィールド画像のうちの１つのライトフィールド画像に基づいて再構築されたリフォーカス画像を生成する画像生成ステップと、
前記リフォーカス画像を表示手段に表示させる表示ステップと、
を有することを特徴とする画像処理方法。
【請求項１１】
前記取得ステップにおいて、前記ライトフィールド画像の撮像位置と、前記ライトフィールド画像のフォーカス位置の変更可能量と、を含む前記フォーカス可能範囲データを取得し、
前記取得ステップの後に、前記複数のライトフィールド画像の前記撮像位置に前記変更可能量を加算することにより前記複数のフォーカス可能範囲を算出する算出ステップと、
算出した前記複数のフォーカス可能範囲に重複して含まれる前記重複位置を特定するステップと、
特定した前記重複位置に基づいて前記複数のライトフィールド画像それぞれに対して設定するフォーカス位置を決定する決定ステップをさらに有し、
前記画像生成ステップにおいて、前記決定ステップにおいて決定した位置にフォーカス位置が設定された前記リフォーカス画像を生成することを特徴とする、
請求項１０に記載の画像処理方法。
【請求項１２】
前記決定ステップにおいて、前記複数のライトフィールド画像のうち、第１ライトフィールド画像で設定可能なフォーカス位置と、前記第１ライトフィールド画像の次に撮像された第２ライトフィールド画像で設定可能なフォーカス位置とが重複する前記重複位置に基づいて、前記第１ライトフィールド画像及び前記第２ライトフィールド画像に設定するフォーカス位置を決定することを特徴とする、
請求項１１に記載の画像処理方法。
【請求項１３】
前記決定ステップにおいて、前記第１ライトフィールド画像で設定可能な最も奥のフォーカス位置と、前記第２ライトフィールド画像で設定可能な最も手前のフォーカス位置とを比較することにより、前記第１ライトフィールド画像及び前記第２ライトフィールド画像に設定するフォーカス位置を決定することを特徴とする、
請求項１２に記載の画像処理方法。
【請求項１４】
前記画像生成ステップにおいて、前記第１ライトフィールド画像における最も手前のフォーカス位置から前記第２ライトフィールド画像における最も手前のフォーカス位置より手前の範囲のフォーカス位置に対応する前記リフォーカス画像を生成することを特徴とする、
請求項１３に記載の画像処理方法。
【請求項１５】
前記画像生成ステップにおいて、隣接するフォーカス位置の間隔よりも大きな間隔ごとに選択されたフォーカス位置に対応する前記リフォーカス画像を生成することを特徴とする、
請求項１０から１４のいずれか１項に記載の画像処理方法。
【請求項１６】
前記取得ステップにおいて、前記複数のライトフィールド画像それぞれの撮像方向をさらに取得し、
前記画像生成ステップにおいて、前記複数のライトフィールド画像に対応する複数の前記撮像方向間の関係に基づいて決定された前記重複位置に基づいて前記リフォーカス画像を生成することを特徴とする、
請求項１０から１５のいずれか１項に記載の画像処理方法。
【請求項１７】
前記画像生成ステップにおいて前記リフォーカス画像を生成することに決定したフォーカス位置を、決定済フォーカス位置として記憶手段に記憶させる記憶ステップをさらに有し、
前記画像生成ステップにおいて、前記取得ステップにおいて取得した新たな前記ライトフィールド画像で設定可能なフォーカス位置と、前記記憶手段に記憶されている前記決定済フォーカス位置とを比較することにより特定された前記重複位置に基づいて前記リフォーカス画像を生成することを特徴とする、
請求項１０又は１１に記載の画像処理方法。
【請求項１８】
前記表示ステップにおいて、前記リフォーカス画像とともに前記重複位置を示す画像を前記表示手段に表示させることを特徴とする、
請求項１０から１７のいずれか１項に記載の画像処理方法。
【請求項１９】
コンピュータに、請求項１０から１８のいずれか１項に記載の画像処理方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォーカスが合った位置を撮像後に変更な画像データを処理するための画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
近年、ライトフィールド（以下、「ＬＦ」と略記する）カメラと呼ばれる撮像装置が実用化されている。この撮像装置は、イメージセンサ上にマイクロレンズアレイが配置され、マイクロレンズによって撮像装置に入射した光を分割することにより、複数の方向から到来する光線の強度を示す光線情報及び入射方向を示す方向情報を含むＬＦ画像データを生成する。
【０００３】
特許文献１には、光線情報及び方向情報に基づく演算処理をすることにより、フォーカスが合った奥行き方向の位置（以下、「フォーカス位置」という）が異なる複数のリフォーカス画像を順次表示することにより、ユーザが所望の画像を検索しやすくする画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２２０５９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ユーザが、従来の画像処理装置を用いて画像を閲覧する場合、同一のフォーカス位置に設定可能な多数のＬＦ画像データがある場合、多数のリフォーカス画像を閲覧するために長時間を要してしまうという問題があった。被写界深度を深く設定して画像を撮影し、近距離から遠距離までの広い範囲にフォーカスが合ったパンフォーカス画像を生成することで、リフォーカス画像の枚数を減らすことはできる。しかし、照明の光量が不十分な状況で撮影された画像の被写界深度を深く設定すると、リフォーカス画像の再構築に用いられる光線情報が少なくなるので、リフォーカス画像が暗い画像になってしまうという問題が生じてしまう。
【０００６】
そこで、本発明は上述した点に鑑みてなされたものであり、撮像後にフォーカス位置を変更可能な多数の撮像画像の閲覧に要する時間を短縮することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の画像処理装置は、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮像後に変更可能な複数のライトフィールド画像と、前記複数のライトフィールド画像それぞれのフォーカス位置を設定可能なフォーカス可能範囲を示すフォーカス可能範囲データと、を取得する取得手段と、前記複数のライトフィールド画像に対応する複数の前記フォーカス可能範囲に重複して含まれる位置である重複位置においては、前記複数のライトフィールド画像のうちの１つのライトフィールド画像に基づいて再構築されたリフォーカス画像を生成する画像生成手段と、前記リフォーカス画像を表示手段に表示させる表示制御手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮像後にフォーカス位置を変更可能な多数の撮像画像の閲覧に要する時間を短縮することができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】ＬＦカメラとしての撮像装置１０の構成の模式図である。
【図２】マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。
【図３】マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明するための模式図である。
【図４】イメージセンサ１３に入射する光線の情報について説明するための模式図である。
【図５】リフォーカス演算処理を説明するための模式図である。
【図６】マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図である。
【図７】被写界深度の調整処理を説明するための模式図である。
【図８】第１の実施形態に係る画像処理システムＳの構成を示す図である。
【図９】画像処理装置１００の構成を示す図である。
【図１０】重複位置について説明するための図である。
【図１１】決定部１５３がリフォーカス画像のフォーカス位置を決定する処理のフローチャートである。
【図１２】画像生成部１５４がリフォーカス画像を生成する処理のフローチャートである。
【図１３】リフォーカス画像と重複位置を示す画像とが表示された画面の例を示す図である。
【発明を実施するための形態】
【００１０】
［ＬＦカメラの概要］
本実施形態に係る画像処理装置の説明に先立ち、ＬＦカメラの概要について説明する。
図１は、ＬＦカメラとしての撮像装置１０の構成の模式図である。撮像装置１０は、撮像レンズ１１と、マイクロレンズアレイ１２と、イメージセンサ１３とを有する。被写体からの光は、撮像光学系を構成する撮像レンズ１１及びマイクロレンズアレイ１２を通過した後に、イメージセンサ１３に入射する。イメージセンサ１３は、入射した光を電気信号に変換して、変換後の電気信号を出力する。撮像装置１０は、イメージセンサ１３が出力する電気信号に基づいて、フォーカスが合った位置であるフォーカス位置を変更可能なＬＦ画像データを生成する。
【００１１】
撮像レンズ１１は、被写体からの光をマイクロレンズアレイ１２に投射する。撮像レンズ１１は、撮像装置１０の本体部に装着して使用される、交換可能なレンズである。撮像装置１０のユーザは、撮像レンズ１１のズーム操作により撮像倍率を変更することができる。
【００１２】
マイクロレンズアレイ１２は、格子状に配列された複数の微小レンズ（マイクロレンズ）を有しており、撮像レンズ１１とイメージセンサ１３の間に位置する。マイクロレンズアレイ１２が有する各マイクロレンズは、撮像レンズ１１からの入射光を分割し、分割後の複数の光をイメージセンサ１３の複数の画素に入射する。
【００１３】
イメージセンサ１３は、複数の画素を有する撮像素子であり、各画素において光の強度を検出する。被写体からの光を受光するイメージセンサ１３の各画素には、各画素に対応するマイクロレンズによって分割された、それぞれ異なる方向の光が入射する。
【００１４】
図２は、マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。マイクロレンズアレイ１２の各マイクロレンズは、イメージセンサ１３における複数の画素に対応するように配置される。イメージセンサ１３の各画素には、各画素に対応するマイクロレンズが分割した光が入射し、イメージセンサ１３は、画素ごとに異なる方向からの光の強度を検出する。撮像装置１０は、イメージセンサ１３の各画素において検出された光の強度を示す光線情報を生成する。
【００１５】
マイクロレンズを介してイメージセンサ１３の各画素に入射した光線の入射方向は、各マイクロレンズに対応する複数の画素の配置によって決まる。したがって、入射方向は、各マイクロレンズとイメージセンサ１３の各画素との位置関係に応じて特定され、撮像装置１０は、特定した入射方向を示す方向情報として、例えば、画素を特定するための座標情報を生成する。
【００１６】
被写体からの光は、被写体と撮像レンズ１１との間の距離に応じて定まる方向でマイクロレンズアレイ１２に入射する。そして、被写体からの光は、被写体と撮像レンズ１１との間の距離に応じて定まる複数のマイクロレンズを通過して、イメージセンサ１３に入射する。その結果、マイクロレンズアレイ１２のレンズ頂点面からの距離が異なる面にフォーカスが合った像は、各マイクロレンズの光軸からの偏心量に対応した位置にあるイメージセンサ１３の複数の画素の各出力を合成することで得られる。したがって、撮像装置１０は、光線情報と方向情報に基づいて光線の並べ替えと計算処理（以下、再構築という）を行うことにより、任意のフォーカス位置に対応する画像データを生成できる。ここで、フォーカス位置は、フォーカスが合った位置であり、ユーザは、撮影後に、ＬＦ画像データに基づいて、所望のフォーカス位置に対応するリフォーカス画像データを得ることができる。
【００１７】
図３は、マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明するための模式図である。
撮像レンズ１１による被写体の像は、マイクロレンズアレイ１２上に結像し、マイクロレンズアレイ１２への入射光線はマイクロレンズアレイ１２を介してイメージセンサ１３で受光される。このとき、図３に示すように、マイクロレンズアレイ１２への入射光線は、フォーカス位置ごとに定まる進行方向に応じてイメージセンサ１３上の異なる位置で受光され、被写体の像がマイクロレンズごとに結像する。
【００１８】
図４は、イメージセンサ１３に入射する光線の情報について説明するための模式図である。
イメージセンサ１３で受光される光線について図４を用いて説明する。ここで、撮像レンズ１１のレンズ面上における直交座標系を（ｕ，ｖ）とし、イメージセンサ１３の撮像面上における直交座標系（ｘ，ｙ）とする。さらに、撮像レンズ１１のレンズ面とイメージセンサ１３の撮像面との距離をＦとする。この場合、撮像レンズ１１およびイメージセンサ１３を通る光線の強度は、図中で示す４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表すことができる。各マイクロレンズに入射する光線は、進行方向に応じて異なる画素に入射されることから、イメージセンサ１３では、光線の位置情報に加えて、光線の進行方向を保持する上記の４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表される光線の強度に対応する情報が記録される。
【００１９】
次に、撮像後のリフォーカス演算処理について説明する。リフォーカス演算処理は、異なるフォーカス位置に対応する画素で受光した光の強度に基づいて、画像を再構築することによりリフォーカス画像データを生成する処理である。本明細書において、リフォーカス画像においてフォーカスが合っている位置の面を、リフォーカス面という。
【００２０】
図５は、リフォーカス演算処理を説明するための模式図である。
図５に示すように、撮像レンズ面、撮像面、リフォーカス面の位置関係を設定した場合、リフォーカス面上の直交座標系（ｓ，ｔ）における光線の強度Ｌ’（ｕ，ｖ，ｓ，ｔ）は、以下の（１）式のように表される。
【数１】
2017022464.tif 000003
また、リフォーカス面で得られるイメージＥ’（ｓ，ｔ）は、上記強度Ｌ’（ｕ，ｖ，ｓ，ｔ）をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。
【数２】
2017022464.tif 000004
したがって、この（２）式に基づいてリフォーカス演算処理を行うことで、任意のフォーカス位置におけるリフォーカス面に対応する画像データを再構築することができる。
【００２１】
続いて、撮像後の被写界深度の調整処理、すなわち奥行き方向のフォーカス位置の調整処理について説明する。被写界深度を調整する場合、上記のリフォーカス演算処理の前に、各マイクロレンズに割り当てられた画像領域を形成する画像データごとに重み係数を乗じて重み付けを行う。例えば、被写界深度の深い画像を生成する場合には、イメージセンサ１３の受光面に対して相対的に小さな角度で入射する光線の情報のみを用いて積分処理を行う。言い換えると、イメージセンサ１３への入射角が相対的に大きい光線に関しては、重み係数０（ゼロ）を乗じることにより積分処理に含めない。
【００２２】
図６は、マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図であり、図７は、被写界深度の調整処理を説明するための模式図である。
図６に示すように、イメージセンサ１３への入射角が相対的に小さい光線は、より中央の領域に位置することになる。したがって、被写界深度の深い画像を生成する場合には、図７に示すように、領域の中央部（図中の斜線部）で取得された画素データのみを用いて積分処理が行われる。
【００２３】
このような処理を行うことで、撮像装置１０は、一般的な撮像装置等に具備される開口絞りをあたかも絞ったかのように、被写界深度の深い画像を表現することができる。撮像装置１０は、使用する中央部の画素データを更に少なくすることで、被写界深度のより深いパンフォーカス画像データの生成も可能となる。また、撮像装置１０は、ＬＦ画像データの領域ごとに、使用する画素データの位置を変えることにより、領域ごとに異なる被写界深度に調整することもできる。以上のように、撮像装置１０は、ＬＦ画像データに含まれる各画素の重み係数を含むフォーカス情報、並びに光線情報及び方向情報に基づいて、撮影後に画像の被写界深度を調整し、所望のフォーカス位置に設定することができる。
以下、ＬＦ画像データをディスプレイに表示させる画像処理装置、画像処理方法及び画像処理方法をコンピュータに実行させるためのプログラムの実施形態について説明する。
なお、以下の実施形態において、ＬＦ画像データは、静止画像のデータであることを想定して説明するが、連続的に撮影される複数枚の静止画像からなる動画像のデータであってもよい。
【００２４】
＜第１の実施形態＞
［画像処理システムＳの構成］
図８は、第１の実施形態に係る画像処理システムＳの構成を示す図である。画像処理システムＳは、撮像装置１０と、画像処理装置１００と、受信機２０とを有する。撮像装置１０は、小型のＬＦカメラ、照明及び通信部を有する錠剤程度の大きさのカプセル内視鏡である。撮像装置１０は、診察を受ける被検者の体腔Ｔの中を移動しながら、体腔Ｔ内の各部を撮影して、ＬＦ画像データを生成する。
【００２５】
撮像装置１０は体腔Ｔを蠕動運動によって移動するため、撮像装置１０の移動速度は一定ではなく変化する。例えば、図８において、時刻Ｔ、時刻Ｔ＋１、時刻Ｔ＋２の間隔は同一であるが、それぞれの時刻における位置は、位置Ｘ、位置Ｘ＋２、位置Ｘ＋５となっており、時刻Ｔ＋１と時刻Ｔ＋２の間に、時刻Ｔと時刻Ｔ＋１よりも長い距離を進んでいる。なお、撮像装置１０の位置は、体腔Ｔ内の所定の基準位置からの距離により表される。
【００２６】
受信機２０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ−Ｆｉ（登録商標）等の無線通信回線Ｗを介して、撮像装置１０が生成したＬＦ画像データを受信する。また、受信機２０は、撮像装置１０から発信される無線信号を複数のアンテナ又はセンサで受信し、受信した複数の無線信号の受信強度に基づいて、例えばガウス・ニュートン法を用いて、撮像装置１０がＬＦ画像を撮像した時の撮像装置１０の位置（以下、「撮像位置」という）を算出する。受信機２０は、撮像装置１０から受信したＬＦ画像データと、撮像位置を示す撮像位置データとを関連付けて記憶する。受信機２０は、記憶したＬＦ画像データ及び撮像位置データを画像処理装置１００に送信する。
【００２７】
画像処理装置１００は、例えばコンピュータ又はスマートフォンである。画像処理装置１００は、有線通信回線、無線通信回線又は記憶媒体を介して、ＬＦ画像データ及び撮像位置データを受信機２０から取得し、ＬＦ画像データを再構築することにより生成したリフォーカス画像を表示する。画像処理装置１００は、複数のＬＦ画像データにおいて、フォーカス位置を設定可能なフォーカス可能範囲が重複している場合、重複している範囲に含まれる位置（重複位置）においては、複数のＬＦ画像データのうちの１つのＬＦ画像データに基づいて再構築されたリフォーカス画像をディスプレイに表示させる。このようにすることで、画像処理装置１００は、多数のＬＦ画像データが撮像された場合に、同等の画像を表示する必要がないので、ユーザがリフォーカス画像の閲覧に要する時間を短縮することができる。
【００２８】
［画像処理装置１００の構成］
図９は、画像処理装置１００の構成を示す図である。画像処理装置１００は、通信部１１０と、操作部１２０と、記憶部１３０と、表示部１４０と、制御部１５０とを有する。
【００２９】
通信部１１０は、受信機２０から、ＬＦ画像データ及び撮像位置データを受信するための通信インターフェイスであり、例えばＬＡＮコントローラを含んでいる。
操作部１２０は、ユーザが指示を入力するためのデバイスであり、例えば表示部１４０に重ねて設けられたタッチパネルである。操作部１２０は、ユーザが指先又はペン先等でタッチした位置の２次元座標を示す座標情報を出力する。
【００３０】
記憶部１３０は、ＲＯＭ、ＲＡＭ及びハードディスク等の記憶媒体である。記憶部１３０は、制御部１５０が実行する画像処理用プログラム、撮像装置１０が生成したＬＦ画像データ及び制御部１５０が生成する各種のデータを記憶する。
表示部１４０は、例えば液晶ディスプレイであり、ユーザの操作を受け付けるための操作画面、及び撮像装置１０が生成したＬＦ画像データに基づくリフォーカス画像を表示する。
【００３１】
制御部１５０は、例えばＣＰＵである。制御部１５０は、記憶部１３０に記憶された画像処理用プログラムを実行することにより、画像取得部１５１、画像管理部１５２、決定部１５３、画像生成部１５４及び表示制御部１５５として機能する。
【００３２】
画像取得部１５１は、通信部１１０を介して、ＬＦ画像データ及びフォーカス可能範囲データを含む複数のＬＦ画像ファイルを取得し、取得した複数のＬＦ画像ファイルを画像管理部１５２に入力する。フォーカス可能範囲データは、それぞれのＬＦ画像データのフォーカス位置を設定可能なフォーカス可能位置の範囲を示すデータである。フォーカス可能範囲は、撮像装置１０がフォーカスを合わせることができる光軸方向（すなわち、奥行き方向）における位置の範囲である。
【００３３】
フォーカス可能範囲データは、例えば、図８に示した位置Ｘ〜位置Ｘ＋２のような、フォーカス位置を設定可能な位置の範囲を示すデータである。フォーカス可能範囲データは、ＬＦ画像データの撮像位置（例えば、位置Ｘ）と、ＬＦ画像データのフォーカス位置の変更可能量（例えば、０〜２）とを含むデータであってもよい。なお、フォーカス位置の変更可能量は、撮像装置１０のレンズ及び撮像素子の特性に基づいて定まる。
【００３４】
画像管理部１５２は、画像取得部１５１から入力されたＬＦ画像ファイルを管理する。画像管理部１５２は、画像切替制御部１６１、比較画像記憶部１６２及び表示画像記憶部１６３を有しており、画像生成部１５４からの指示に基づいて、決定部１５３へと出力するＬＦ画像ファイルを決定する。
【００３５】
画像切替制御部１６１は、画像生成部１５４からの指示に基づいて、比較画像記憶部１６２及び表示画像記憶部１６３に格納されているＬＦ画像ファイルを切り替える。
比較画像記憶部１６２は、画像取得部１５１から入力されたＬＦ画像ファイルを記憶し、記憶したＬＦ画像ファイルを決定部１５３へと出力する。比較画像記憶部１６２は、画像切替制御部１６１から画像を切り替える指示を受けると、記憶しているＬＦ画像ファイル（例えば、時刻Ｔに撮像された第１ＬＦ画像データを含むファイル）を表示画像記憶部１６３に送信するとともに、画像取得部１５１から次のＬＦ画像ファイル（例えば、第１ＬＦ画像データの次に、時刻Ｔ＋１に撮像された第２ＬＦ画像データを含むファイル）の入力を受ける。
表示画像記憶部１６３は、比較画像記憶部１６２から入力されたＬＦ画像ファイルを記憶し、記憶したＬＦ画像ファイルを決定部１５３へと出力する。
【００３６】
決定部１５３は、複数のＬＦ画像データに対応する複数のフォーカス可能範囲に基づいて、複数のＬＦ画像データそれぞれに設定するフォーカス位置を決定する。例えば、決定部１５３は、複数のＬＦ画像データの撮像位置に変更可能量を加算することにより複数のフォーカス可能範囲を算出し、複数のフォーカス可能範囲において重複する位置においては、１つのＬＦ画像データに基づいてリフォーカス画像が生成されるように、各ＬＦ画像データのフォーカス位置を決定する。
【００３７】
決定部１５３は、比較画像記憶部１６２から第２ＬＦ画像ファイルを受信し、表示画像記憶部１６３から第１ＬＦ画像ファイルを受信した場合、第１ＬＦ画像データで設定可能なフォーカス位置と、第２ＬＦ画像データで設定可能なフォーカス位置との重複位置に基づいて、第１ＬＦ画像データ及び第２ＬＦ画像データに設定するフォーカス位置を決定する。
【００３８】
図１０は、重複位置について説明するための図である。図１０は、時刻Ｔ〜時刻Ｔ＋２の間に撮像装置１０が移動する様子を示す模式図である。図１０において、横軸は位置、縦軸は時刻を表しており、例えば、時刻Ｔにカプセル内視鏡が位置Ｘにあり、時刻Ｔ＋１には位置Ｘ＋２に移動し、時刻Ｔ＋２には位置Ｘ＋５に移動したことを表している。
【００３９】
図１０において斜線で示している領域は、それぞれの時刻において撮像されたＬＦ画像のフォーカス可能範囲を示している。図１０は、フォーカス位置の変更可能量が３の場合の例を示しており、時刻Ｔで撮像されたＬＦ画像データのフォーカス可能範囲はＸ〜Ｘ＋３であり、時刻Ｔ＋１及び時刻Ｔ＋２で撮像されたＬＦ画像データのフォーカス可能範囲は、それぞれＸ＋２〜Ｘ＋５、及びＸ＋５〜Ｘ＋８であることを表している。カプセル内視鏡は消化管の蠕動運動によって移動するため、ある画像を撮影してから次の画像を撮影するまでの移動距離にはばらつきが生じる。そのため、各ＬＦ画像データに対応するフォーカス可能範囲には、重複する位置が含まれる場合がある。
【００４０】
決定部１５３は、表示画像記憶部１６３から入力された第１ＬＦ画像データのフォーカス可能範囲と、比較画像記憶部１６２から入力された第２ＬＦ画像データのフォーカス可能範囲とを比較し、画像生成部１５４がリフォーカス画像の生成に用いるフォーカス位置を決定する。決定部１５３は、例えば、第１ＬＦ画像データで設定可能な最も奥のフォーカス位置と、第２ＬＦ画像データで設定可能な最も手前のフォーカス位置とを比較することにより、複数のＬＦ画像データそれぞれに設定するフォーカス位置を決定する。
【００４１】
具体的には、決定部１５３は、時刻Ｔに撮像された第１ＬＦ画像データに設定するフォーカス位置を決定するために、第１ＬＦ画像データのフォーカス可能範囲Ｘ〜Ｘ＋３と、時刻Ｔ＋１に撮像された第２ＬＦ画像データのフォーカス可能範囲Ｘ＋２〜Ｘ＋５とを比較する。決定部１５３は、第１ＬＦ画像データのフォーカス可能範囲Ｘ〜Ｘ＋３と、第２ＬＦ画像データのフォーカス可能範囲Ｘ＋２〜Ｘ＋５との間で、Ｘ＋２〜Ｘ＋３の範囲が重複しているので、第１ＬＦ画像データのフォーカス可能範囲Ｘ〜Ｘ＋３からＸ＋２〜Ｘ＋３の範囲を削除し、第１ＬＦ画像データのフォーカス位置に設定する位置の範囲をＸ〜Ｘ＋１に決定する。
【００４２】
同様に、決定部１５３は、時刻Ｔ＋１で撮像された第２ＬＦ画像データのフォーカス位置に設定する位置の範囲をＸ＋２〜Ｘ＋５に決定する。決定部１５３は、それぞれのＬＦ画像データのフォーカス位置として設定する位置を決定すると、決定したフォーカス位置を画像生成部１５４に通知する。
【００４３】
画像生成部１５４は、ＬＦ画像データに基づいて再構築されたリフォーカス画像を生成し、生成したリフォーカス画像を表示制御部１５５へと出力する。画像生成部１５４は、ユーザからの操作を受け付けるメニューを含む操作画面、及びユーザに情報を提示するためのバナー画像等のＯＳＤ（On Screen Display）画像をリフォーカス画像と合成した合成画像を表示制御部１５５へと出力してもよい。
【００４４】
画像生成部１５４は、複数のＬＦ画像データに対応する複数のフォーカス可能範囲に重複して含まれる重複位置においては、複数のＬＦ画像データのうちの１つのＬＦ画像データに基づいて再構築されたリフォーカス画像を生成する。画像生成部１５４は、例えば、決定部１５３から通知された位置に各ＬＦ画像データのフォーカス位置を設定することにより、重複位置においては、１つのＬＦ画像データに基づくリフォーカス画像を生成することができる。
【００４５】
画像生成部１５４は、上記の第１ＬＦ画像データ及び第２ＬＦ画像データに基づくリフォーカス画像を生成する場合、第１ＬＦ画像データのフォーカス位置をＸ〜Ｘ＋１に設定して、２つのリフォーカス画像を生成し、第２ＬＦ画像データのフォーカス位置をＸ＋２〜Ｘ＋５に設定して、３つのリフォーカス画像を生成する。このようにして、重複する位置Ｘ＋２及びＸ＋３においては、第２ＬＦ画像データに基づくリフォーカス画像のみを生成する。
【００４６】
なお、上記の説明において、画像生成部１５４が重複位置に対応するリフォーカス画像を第２ＬＦ画像データに基づいて生成する例について説明したが、これに限らない。画像生成部１５４は、重複位置に対応するリフォーカス画像を第１ＬＦ画像データに基づいて生成し、第２ＬＦ画像データに基づいて生成しないものとしてもよい。
【００４７】
表示制御部１５５は、画像生成部１５４が生成したリフォーカス画像を、順次表示部１４０に表示させる。表示制御部１５５は、例えば、ＬＦ画像データが撮像された時刻が早い順に、リフォーカス画像を表示部１４０に表示させる。例えば、表示制御部１５５は、時刻Ｔに撮像された第１ＬＦ画像データに基づく、位置Ｘにフォーカスが合ったリフォーカス画像、位置Ｘ＋１にフォーカスが合ったリフォーカス画像、時刻Ｔ＋１に撮像された第２ＬＦ画像データに基づく、位置Ｘ＋２にフォーカスが合ったリフォーカス画像、位置Ｘ＋３にフォーカスが合ったリフォーカス画像等の順に表示部１４０に表示させる。
【００４８】
なお、表示制御部１５５は、リフォーカス画像を順次表示部１４０に表示させないで、複数のＬＦ画像データに基づいて、複数の異なる位置にフォーカス位置が設定された複数のリフォーカス画像を同時に表示部１４０に表示させてもよい。この場合、画像生成部１５４は、生成したリフォーカス画像を、順次、記憶部１３０に記憶させる。表示制御部１５５は、表示部１４０の一画面に表示可能な数のリフォーカス画像が生成された時点で、表示する複数のリフォーカス画像を記憶部１３０から読み出して、複数のリフォーカス画像を表示部１４０に表示させる。
【００４９】
［決定部１５３におけるフォーカス位置の決定手順］
図１１は、決定部１５３がリフォーカス画像のフォーカス位置を決定する処理のフローチャートである。まず、決定部１５３は、表示画像記憶部１６３から受信した表示用の第１ＬＦ画像データを解析し、撮像位置とフォーカス位置の変更可能量とを特定する（Ｓ１１）。次に、決定部１５３は、特定した撮像位置及び変更可能量に基づいて、第１ＬＦ画像データにフォーカス位置を設定可能なフォーカス可能位置を算出する（Ｓ１２）。ここで、算出されるフォーカス可能位置のうち最も手前の位置をＳ（Ｔ）、最も奥の位置をＥ（Ｔ）と表す。図１０における時刻Ｔにおいて撮像されたＬＦ画像データの場合、Ｓ（Ｔ）＝Ｘ、Ｅ（Ｔ）＝Ｘ＋３である。
【００５０】
続いて、決定部１５３は、比較画像記憶部１６２から受信した比較用の第２ＬＦ画像データを解析し、撮像位置とフォーカス位置の変更可能量を特定する（Ｓ１３）。次に、決定部１５３は、特定した撮像位置及び変更可能量に基づいて、第２ＬＦ画像データにフォーカス位置を設定可能なフォーカス可能位置を算出する（Ｓ１４）。ここで、算出されるフォーカス可能位置のうち最も手前の位置をＳ（Ｔ＋１）、最も奥の位置をＥ（Ｔ＋１）と表す。図１０における時刻Ｔ＋１において撮像されたＬＦ画像データの場合、Ｓ（Ｔ＋１）＝Ｘ＋２、Ｅ（Ｔ＋１）＝Ｘ＋５である。
【００５１】
続いて、決定部１５３は、算出されたＥ（Ｔ）とＳ（Ｔ＋１）を比較する（Ｓ１５）。決定部１５３は、Ｓ１５において、Ｅ（Ｔ）がＳ（Ｔ＋１）以上であった場合（Ｓ１５においてＹＥＳ）、Ｅ’（Ｔ）にＳ（Ｔ＋１）−１を設定する（Ｓ１６）。ここで、Ｅ’（Ｔ）は、第１ＬＦ画像データに対してフォーカス位置として設定される最も奥の位置である。図１０に示す例の場合、Ｅ（Ｔ）＝Ｘ＋３であり、Ｓ（Ｔ＋１）＝Ｘ＋２なので、Ｅ（Ｔ）がＳ（Ｔ＋１）よりも大きい。したがって、決定部１５３は、Ｅ’（Ｔ）＝Ｘ＋２−１＝Ｘ＋１とする。
【００５２】
決定部１５３は、Ｓ１５において、Ｅ（Ｔ）がＳ（Ｔ＋１）より小さかった場合（Ｓ１５においてＮＯ）、Ｅ’（Ｔ）にＥ（Ｔ）を設定する（Ｓ１７）。続いて、決定部１５３は、Ｓ（Ｔ）及びＥ’（Ｔ）に基づいて、第１ＬＦ画像データに設定するフォーカス位置を決定して終了する（Ｓ１８）。決定部１５３は、Ｓ１１からＳ１８までの処理を、表示するリフォーカス画像を切り替えるたびに繰り返す。
【００５３】
［画像生成部１５４におけるリフォーカス画像の生成手順］
図１２は、画像生成部１５４がリフォーカス画像を生成する処理のフローチャートである。まず、画像生成部１５４は、決定部１５３からリフォーカス画像を生成する対象となるフォーカス位置の範囲Ｓ（Ｔ）〜Ｅ’（Ｔ）を取得する（Ｓ２１）。
【００５４】
画像生成部１５４は、フォーカス位置ＦをＳ（Ｔ）に初期化する（Ｓ２２）。続いて、画像生成部１５４は、ＦとＥ’（Ｔ）とを比較する（Ｓ２３）。画像生成部１５４は、ＦがＥ（Ｔ）以下であると判定した場合（Ｓ２３においてＹＥＳ）、フォーカス位置ＦでＬＦ画像データに基づくリフォーカス画像を生成する（Ｓ２４）。
【００５５】
続いて、画像生成部１５４は、予め定められたフォーカス位置の変更幅を最新のフォーカス位置Ｆに加算する（Ｓ２５）。変更幅は、例えば、隣接するフォーカス位置の間隔（図１０においては「１」）である。画像生成部１５４は、予め定められた変更幅をＦに加算した後にＳ２３に戻る。このようにして、画像生成部１５４は、第１ＬＦ画像データにおける最も手前のフォーカス位置Ｓ（Ｔ）＝Ｘから第２ＬＦ画像データにおける最も手前のフォーカス位置より手前の範囲のフォーカス位置Ｅ’（Ｔ）＝Ｘ＋１に対応するリフォーカス画像を順次生成する。
【００５６】
画像生成部１５４は、Ｓ２３においてＦがＥよりも大きいと判定した場合（Ｓ２３においてＮＯ）、画像管理部１５２に対して、比較画像記憶部１６２及び表示画像記憶部１６３に格納されたＬＦ画像データを更新するように指示する（Ｓ２６）。
【００５７】
なお、画像生成部１５４は、Ｓ２５において用いる変更幅をユーザが選択した結果に基づいて決定してもよい。画像生成部１５４は、例えば、隣接するフォーカス位置の間隔よりも大きな間隔としてもよい。例えば、変更幅を隣接するフォーカス位置の間隔の２倍の間隔とする場合、画像生成部１５４は、時刻Ｔに撮像された第１ＬＦ画像データに基づいて、位置Ｘに対応するリフォーカス画像を生成し、時刻Ｔ＋１に撮像された第２ＬＦ画像データに基づいて、位置Ｘ＋２及び位置Ｘ＋４に対応するリフォーカス画像を生成する。
【００５８】
また、画像生成部１５４は、表示制御部１５５を介して、重複位置においては１つのＬＦ画像データに基づくリフォーカス画像のみを表示させるか、重複位置においても全てのＬＦ画像データに基づくリフォーカス画像を表示させるかをユーザに選択させるための操作画面を表示部１４０に表示させてもよい。この場合、画像生成部１５４は、操作部１２０を介して入力されるユーザの指示に基づいて、重複位置において１つのＬＦ画像データに基づくリフォーカス画像を表示させるか、複数のＬＦ画像データに基づくリフォーカス画像を表示させるかを切り替えることができる。
【００５９】
［第１の実施形態における効果］
以上説明したように、第１の実施形態に係る画像処理装置１００においては、画像生成部１５４が、複数のＬＦ画像データに対応する複数のフォーカス可能範囲に重複して含まれる位置である重複位置においては、複数のＬＦ画像データのうちの１つのＬＦ画像データに基づいて再構築されたリフォーカス画像を生成する。このようにすることで、画像処理装置１００は、複数のＬＦ画像データに、同じ位置で撮像された同じ内容の画像が含まれている場合に、同一の画像を何度も表示しない。したがって、ユーザは、画像の閲覧に要する時間を短縮することができる。
【００６０】
＜第２の実施形態＞
第１の実施形態においては、撮像装置１０がＬＦ画像データを撮像した方向が考慮されていなかったが、第２の実施形態においては、撮像装置１０がＬＦ画像データを撮像した方向が考慮される点で異なる。撮像装置１０がカプセル内視鏡である場合、撮像装置１０は、例えば体腔Ｔを蠕動運動によって移動するため、撮像時の撮像装置１０の向きを制御することは困難である。そのため、画像の撮像方向は必ずしも一定とは限らない。
【００６１】
複数のＬＦ画像データの撮像方向が異なる場合、複数のＬＦ画像データにおけるフォーカス可能範囲が重複していたとしても、複数のＬＦ画像データが同じ位置を撮像した画像のデータであるとは限らない。また、複数のＬＦ画像データが同じ位置を撮像した画像のデータであっても、撮像方向が異なることによって、病変が写っていたり写っていなかったりすることが起こり得る。
【００６２】
そこで、第２の実施形態に係る画像処理装置１００は、同じ位置にフォーカスを合わせられるＬＦ画像データが複数ある場合であっても、撮像方向が異なっていれば、各ＬＦ画像データに基づくリフォーカス画像を表示する。撮像方向は、撮像装置１０が、内蔵する加速度センサを用いて測定することができる。撮像装置１０は、最初に撮像したＬＦ画像データを基準となる方向として、例えば、基準となる方向に対する角度により撮像方向を決定する。
【００６３】
なお、撮像方向は、受信機２０において決定してもよい。例えば、撮像装置１０の先頭部と尾部に信号送信機を設け、受信機２０が複数のセンサで受信したそれぞれの信号の強弱によって算出することも可能である。
以下、第２の実施形態に係る画像処理装置１００の動作について、第１の実施形態と異なる点を中心に説明する。
【００６４】
第２の実施形態に係る画像処理装置１００において、画像取得部１５１は、複数のＬＦ画像データそれぞれの撮像方向をさらに取得する。画像取得部１５１は、例えば、ＬＦ画像データの撮像位置と、ＬＦ画像データのフォーカス位置の変更可能量と、ＬＦ画像データの撮像方向とを含むフォーカス可能範囲データが含まれるＬＦ画像ファイルを取得する。
【００６５】
決定部１５３は、複数のＬＦ画像データに対応する複数の撮像方向間の関係に基づいて重複位置を決定する。そして、画像生成部１５４は、複数のＬＦ画像データに対応する複数の撮像方向間の関係を用いて決定された重複位置に基づいてリフォーカス画像を生成する。
【００６６】
具体的には、決定部１５３は、表示画像記憶部１６３から取得した表示用の第１ＬＦ画像データの撮像方向と、比較用の第２ＬＦ画像データの撮像方向との差分が閾値以上である場合には、第１ＬＦ画像データのフォーカス可能範囲と第２ＬＦ画像データのフォーカス可能範囲が重複している位置であっても重複位置とせず、画像生成部１５４に、それぞれのＬＦ画像データに基づくリフォーカス画像を生成させるように決定する。すなわち、図１１に示したフローチャートのＳ１５における判定結果によらず、決定部１５３は、Ｅ’（Ｔ）＝Ｅ（Ｔ）とする。
【００６７】
決定部１５３は、第１ＬＦ画像データの撮像方向と、第２ＬＦ画像データの撮像方向との差分が閾値より小さい場合には、第１の実施形態と同様に、フォーカス可能範囲が重複している位置を重複位置に決定する。なお、上記の閾値は、例えば、撮像装置１０の画角に基づいて決定された値である。閾値は、ユーザからの指示に応じて変更可能であってもよい。
【００６８】
［第２の実施形態における効果］
以上説明したように、第２の実施形態に係る撮像装置１０においては、決定部１５３が撮像方向を考慮して重複位置を決定する。したがって、連続して撮像された画像の撮像方向が異なり、異なる部位が撮像されているような場合に、ユーザがそれぞれの画像を閲覧することができる。
【００６９】
＜第３の実施形態＞
第１の実施形態及び第２の実施形態においては、撮像装置１０が同一の向きに進むことが想定されていたのに対して、第３の実施形態においては、撮像装置１０が後ろ向きにも進む場合が想定されている。第３の実施形態に係る画像処理装置１００は、撮像装置１０が後ろ向きに進んで撮像されたＬＦ画像データのフォーカス可能範囲に、既にリフォーカス画像を表示した位置が含まれる場合に、リフォーカス画像を表示させない。
【００７０】
上記の動作を実現するために、決定部１５３は、画像生成部１５４がリフォーカス画像を生成することに決定したフォーカス位置を、決定済フォーカス位置として記憶部１３０に記憶させる。決定部１５３は、表示画像記憶部１６３から新たな表示用のＬＦ画像データを取得すると、新たなＬＦ画像データで設定可能なフォーカス位置と、記憶部１３０が記憶している決定済フォーカス位置とを比較する。そして、決定部１５３は、新たなＬＦ画像データで設定可能なフォーカス位置のうち、過去にリフォーカス画像を表示させる位置に決定した位置を重複位置として特定する。画像生成部１５４は、特定された重複位置に基づいて、リフォーカス画像を生成する。
【００７１】
画像生成部１５４は、新たなＬＦ画像データのフォーカス可能範囲に含まれる全ての位置に対応するリフォーカス画像が既に表示済である場合、当該ＬＦ画像データに基づくリフォーカス画像を表示することなく、次のＬＦ画像データの表示処理に遷移する。
【００７２】
なお、決定部１５３は、リフォーカス画像を生成することに決定したフォーカス位置とともに、撮像方向を記憶部１３０に記憶させてもよい。この場合、決定部１５３は、表示画像記憶部１６３から新たなＬＦ画像データを取得すると、取得したＬＦ画像データの撮像方向から所定の範囲内の撮像方向で撮像され、かつ、取得したＬＦ画像データのフォーカス可能範囲に含まれる位置にフォーカスが合ったリフォーカス画像が表示済であるか否かを判定する。このようにすることで、画像処理装置１００は、撮像装置１０が後ろ向きに進みながら撮像したＬＦ画像データのうち、過去に表示した同一の位置で同一の撮像方向で撮像されたＬＦ画像に基づくリフォーカス画像を、再び表示しないようにできる。
【００７３】
［第３の実施形態における効果］
以上説明したように、第３の実施形態に係る画像処理装置１００は、撮像装置１０が後ろ向きに進みながら撮像したＬＦ画像データがある場合であっても、重複位置において撮像されたＬＦ画像データに基づくリフォーカス画像を繰り返し表示しないので、ユーザが不要なリフォーカス画像を閲覧しないで済む。
【００７４】
＜第４の実施形態＞
第４の実施形態に係る画像処理装置１００は、連続するＬＦ画像データのフォーカス可能範囲が重複している旨を視覚的にユーザに提示する。すなわち、表示制御部１５５は、リフォーカス画像とともに重複位置を示す画像を表示部１４０に表示させる。
【００７５】
図１３は、リフォーカス画像と重複位置を示す画像とが表示された画面の例を示す図である。図１３に示す画面には、リフォーカス画像を表示する領域１４１と、重複位置を示す画像を表示する領域１４２とが含まれている。
【００７６】
画像生成部１５４は、図１１に示したフローチャートのステップＳ１２、Ｓ１４、Ｓ１６又はＳ１７において算出されたＳ（Ｔ）、Ｅ（Ｔ）、Ｓ（Ｔ＋１）、Ｅ（Ｔ＋１）、Ｅ’（Ｔ）に基づいて、フォーカス可能範囲の重複状態を示す画像を生成する。図１３においては、表示中の画像のフォーカス可能範囲、及び次に表示する画像のフォーカス可能範囲が矢印で示されている。また、フォーカス可能範囲が重複する範囲は、斜線で示されている。表示中の画像のフォーカス可能範囲は、０〜４であり、次に表示する画像のフォーカス可能範囲は２〜６であり、２〜４の位置でフォーカス可能範囲が重複することが示されている。
【００７７】
［第４の実施形態における効果］
以上説明したように、第４の実施形態に係る画像処理装置１００は、重複位置をユーザに提示することができる。したがって、重複位置において、実際のＬＦ画像データよりも少ない数のリフォーカス画像しか表示されないことに対してユーザが不審に感じることを防止できる。
【００７８】
＜第５の実施形態＞
上記の実施形態においては、撮像装置１０がカプセル内視鏡であり、撮像装置１０が体腔Ｔ内で撮像画像を生成する例について説明したが、撮像装置１０は、他の種類の装置であってもよい。例えば、撮像装置１０が可搬式のビデオカメラであり、ＬＦ画像データは、ユーザが道路や建物で撮影することにより得られた画像データであってもよい。この場合、撮像装置１０は、ＧＰＳ（Global Positioning System）衛星から電波を受信することにより、撮像装置１０の位置を特定することができる。また、撮像装置１０は、方向検知センサを用いて撮像方向を特定することができる。
【００７９】
このような撮像装置１０で撮像された複数のＬＦ画像データに基づいて、画像処理装置１００がリフォーカス画像を表示させる対象とするＬＦ画像データのフォーカス位置を決定する手順は、撮像装置１０がカプセル内視鏡である場合と同様である。ユーザは、画像処理装置１００を用いることにより、例えば旅行中に撮影して得られた多数のＬＦ画像データを閲覧する際に、異なるＬＦ画像データに含まれている同じ位置の画像を何度も見る必要がないので、利便性が向上する。
【００８０】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００８１】
１００  画像処理装置
１５１  画像取得部
１５４  画像生成部
１５５  表示制御部
【図８】
2017022464.tif 000005
【図９】
2017022464.tif 000006
【図１０】
2017022464.tif 000007
【図１１】
2017022464.tif 000008
【図１２】
2017022464.tif 000009
【図１３】
2017022464.tif 000010
【図１】
2017022464.tif 000011
【図２】
2017022464.tif 000012
【図３】
2017022464.tif 000013
【図４】
2017022464.tif 000014
【図５】
2017022464.tif 000015
【図６】
2017022464.tif 000016
【図７】
2017022464.tif 000017