(57)【要約】      （修正有）【課題】所望の閲覧箇所にフォーカスが合うライトフィールド（ＬＦ）画像を検索しやすくする。【解決手段】画像処理装置１００は、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮像後に変更可能なＬＦ画像と、ＬＦ画像の撮像位置及び変更可能なフォーカス位置の範囲であるフォーカス範囲を含む撮像情報と、を取得する画像取得部１５２と、ＬＦ画像を撮像する撮像装置が撮像可能な撮像空間における複数の位置から一以上のサンプリング位置を選択する位置選択部１５３と、サンプリング位置と撮像情報とに基づいてサンプリング位置にフォーカス位置を設定可能な一以上のフォーカス可能画像をＬＦ画像から選択する画像選択部１５４と、フォーカス可能画像に対して、一以上のサンプリング位置にフォーカス位置が設定されたリフォーカス画像を生成する画像生成部１５５と、リフォーカス画像を表示部１３０に表示させる表示制御部１５６と、を有する。【選択図】図９
2016208104.tif 000002
【特許請求の範囲】
【請求項１】
フォーカスが合った奥行き方向の位置であるフォーカス位置を撮像後に変更可能な複数のライトフィールド画像と、前記複数のライトフィールド画像の撮像位置及び変更可能なフォーカス位置の範囲であるフォーカス範囲を含む撮像情報と、を取得する画像取得手段と、
前記複数のライトフィールド画像を撮像する撮像装置が撮像可能な撮像空間における複数の位置から一以上のサンプリング位置を選択する位置選択手段と、
前記サンプリング位置と前記撮像情報とに基づいて、前記複数のライトフィールド画像の中から前記サンプリング位置にフォーカス位置を設定可能な一以上のフォーカス可能画像を選択する画像選択手段と、
選択した前記一以上のフォーカス可能画像に対して、前記一以上のサンプリング位置に前記フォーカス位置が設定されたリフォーカス画像を生成する画像生成手段と、
生成した前記リフォーカス画像を表示手段に表示させる表示制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記画像選択手段は、前記ライトフィールド画像の前記撮像位置と前記一以上のサンプリング位置との間の距離が、前記フォーカス範囲内に含まれるか否かに基づいて、前記フォーカス可能画像を選択することを特徴とする、
請求項１に記載の画像処理装置。
【請求項３】
前記画像生成手段は、前記画像選択手段が選択した前記フォーカス可能画像の前記フォーカス位置が、前記撮像位置と前記一以上のサンプリング位置との間の距離に対応する位置に設定された前記リフォーカス画像を生成することを特徴とする、
請求項２に記載の画像処理装置。
【請求項４】
前記撮像情報は、対応する前記ライトフィールド画像の撮像方向を更に含み、
前記画像選択手段は、前記撮像方向と、前記撮像位置に対する前記一以上のサンプリング位置の方向との関係に基づいて、前記フォーカス可能画像を選択することを特徴とする、
請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記位置選択手段は、複数の前記サンプリング位置を選択し、
前記画像選択手段は、前記サンプリング位置ごとに前記フォーカス可能画像を選択することを特徴とする、
請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記表示制御手段は、複数の前記リフォーカス画像を配置したレイアウト画像を生成し、生成した前記レイアウト画像を前記表示手段に表示させることを特徴とする、
請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像取得手段は、前記複数のライトフィールド画像として、第１画像群に含まれる複数のライトフィールド画像と、第２画像群に含まれる複数のライトフィールド画像とを取得し、
前記表示制御手段は、前記第１画像群のライトフィールド画像に対応する第１リフォーカス画像と、前記第２画像群のライトフィールド画像に対応する第２リフォーカス画像とを配置したレイアウト画像を生成し、生成した前記レイアウト画像を前記表示手段に表示させることを特徴とする、
請求項６に記載の画像処理装置。
【請求項８】
フォーカスが合った奥行き方向の位置であるフォーカス位置を撮像後に変更可能な複数のライトフィールド画像と、前記複数のライトフィールド画像の撮像位置及び変更可能なフォーカス位置の範囲であるフォーカス範囲を含む撮像情報と、を取得するステップと、
前記複数のライトフィールド画像を撮像する撮像装置が撮像可能な撮像空間における複数の位置から一以上のサンプリング位置を選択するステップと、
前記サンプリング位置と前記撮像情報とに基づいて、前記複数のライトフィールド画像の中から前記サンプリング位置にフォーカス位置を設定可能な一以上のフォーカス可能画像を選択するステップと、
選択した前記一以上のフォーカス可能画像に対して、前記一以上のサンプリング位置に前記フォーカス位置が設定されたリフォーカス画像を生成するステップと、
生成した前記リフォーカス画像を表示手段に表示させるステップと、
を有することを特徴とする画像処理方法。
【請求項９】
前記フォーカス可能画像を選択するステップにおいて、前記ライトフィールド画像の前記撮像位置と前記サンプリング位置との間の距離が、前記フォーカス範囲内に含まれるか否かに基づいて、前記フォーカス可能画像を選択することを特徴とする、
請求項８に記載の画像処理方法。
【請求項１０】
前記リフォーカス画像を生成するステップは、
前記撮像位置と前記一以上のサンプリング位置との間の距離を算出するステップと、
算出した前記距離に対応する位置に前記フォーカス位置が設定された前記リフォーカス画像を生成するステップと、
を有することを特徴とする、
請求項９に記載の画像処理方法。
【請求項１１】
前記撮像情報は、対応する前記ライトフィールド画像の撮像方向を更に含み、
前記フォーカス可能画像を選択するステップは、
前記撮像方向が前記撮像位置と前記サンプリング位置とを結ぶ線分の方向から所定の範囲内であるか否かを判定するステップと、
前記撮像方向が前記所定の範囲内であると判定した前記フォーカス可能画像を選択するステップと、
を有することを特徴とする、
請求項８から１０のいずれか１項に記載の画像処理方法。
【請求項１２】
前記サンプリング位置を選択するステップにおいて、複数の前記サンプリング位置を選択し、
前記フォーカス可能画像を選択するステップにおいて、前記サンプリング位置ごとに前記フォーカス可能画像を選択することを特徴とする、
請求項８から１１のいずれか１項に記載の画像処理方法。
【請求項１３】
前記表示手段に表示させるステップは、
複数の前記リフォーカス画像を配置したレイアウト画像を生成するステップと、
生成した前記レイアウト画像を前記表示手段に表示させるステップと、
を有することを特徴とする、
請求項８から１２のいずれか１項に記載の画像処理方法。
【請求項１４】
前記ライトフィールド画像を取得するステップにおいて、前記複数のライトフィールド画像として、第１画像群に含まれる複数のライトフィールド画像と、第２画像群に含まれる複数のライトフィールド画像とを取得し、
前記表示手段に表示させるステップは、前記第１画像群のライトフィールド画像に対応する第１リフォーカス画像と、前記第２画像群のライトフィールド画像に対応する第２リフォーカス画像とを配置したレイアウト画像を生成するステップと、
生成した前記レイアウト画像を前記表示手段に表示させるステップと、
を有することを特徴とする、
請求項１３に記載の画像処理方法。
【請求項１５】
コンピュータに、
フォーカスが合った奥行き方向の位置であるフォーカス位置を撮像後に変更可能な複数のライトフィールド画像と、前記複数のライトフィールド画像の撮像位置及び変更可能なフォーカス位置の範囲であるフォーカス範囲を含む撮像情報と、を取得するステップと、
前記複数のライトフィールド画像を撮像する撮像装置が撮像可能な撮像空間における複数の位置から一以上のサンプリング位置を選択するステップと、
前記サンプリング位置と前記撮像情報とに基づいて、前記複数のライトフィールド画像の中から前記サンプリング位置にフォーカス位置を設定可能な一以上のフォーカス可能画像を選択するステップと、
選択した前記一以上のフォーカス可能画像に対して、前記一以上のサンプリング位置に前記フォーカス位置が設定されたリフォーカス画像を生成するステップと、
生成した前記リフォーカス画像を表示手段に表示させるステップと、
を実行させることを特徴とする画像処理用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォーカスが合った位置を撮像後に変更な画像データを処理するための画像処理装置、画像処理方法及び画像処理用プログラムに関するものである。
【背景技術】
【０００２】
近年、ライトフィールド（以下、「ＬＦ」と略記する）カメラと呼ばれる撮像装置が実用化されている。この撮像装置は、イメージセンサ上にマイクロレンズアレイが配置され、マイクロレンズによって撮像装置に入射した光を分割することにより、複数の方向から到来する光線の強度を示す光線情報及び入射方向を示す方向情報を含むＬＦ画像データを生成する。
【０００３】
特許文献１には、光線情報及び方向情報に基づく演算処理をすることにより、フォーカスが合った奥行き方向の位置（以下、「フォーカス位置」という）が異なる複数のリフォーカス画像を順次表示することにより、ユーザが所望の画像を検索しやすくする画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２２０５９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ユーザが、従来の画像処理装置を用いて画像を検索する場合、順次表示される大量のリフォーカス画像を確認しなければならず、所望のリフォーカス画像を見つけるまでに長時間を要する。特に、観察箇所を様々な位置や方向から観察するために多数の画像が撮像された場合には、リフォーカス画像も更に増えるため、所望のリフォーカス画像を検索することが一層困難となる。
【０００６】
例えば、撮像装置が器官等を観察するためのカプセル内視鏡である場合には、カプセル内視鏡を被検者に投与してから排出される迄に、通常多数の撮像画像（数万枚の画像）が撮像される。このため、従来の画像処理装置を用いた検索の場合には、医師が、所望の患部にフォーカスが合った画像を検索するまでに長時間を要することになる。
【０００７】
そこで、本発明は上述した点に鑑みてなされたものであり、撮像後にフォーカス位置を変更可能な多数の撮像画像の中から、所望の閲覧箇所にフォーカスが合う撮像画像を検索しやすくすることを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の画像処理装置は、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮像後に変更可能な複数のライトフィールド画像と、前記複数のライトフィールド画像の撮像位置及び変更可能なフォーカス位置の範囲であるフォーカス範囲を含む撮像情報とを取得する画像取得手段と、前記複数のライトフィールド画像を撮像する撮像装置が撮像可能な撮像空間における複数の位置から一以上のサンプリング位置を選択する位置選択手段と、前記サンプリング位置と前記撮像情報とに基づいて、前記複数のライトフィールド画像の中から前記サンプリング位置にフォーカス位置を設定可能な一以上のフォーカス可能画像を選択する画像選択手段と、選択した前記一以上のフォーカス可能画像に対して、前記一以上のサンプリング位置に前記フォーカス位置が設定されたリフォーカス画像を生成する画像生成手段と、生成した前記リフォーカス画像を表示手段に表示させる表示制御手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮像後にフォーカス位置を変更可能な多数の撮像画像の中から、所望の閲覧箇所にフォーカスが合う撮像画像を検索しやすくすることができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】ＬＦカメラとしての撮像装置１０の構成の模式図である。
【図２】マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。
【図３】マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明するための模式図である。
【図４】イメージセンサ１３に入射する光線の情報について説明するための模式図である。
【図５】リフォーカス演算処理を説明するための模式図である。
【図６】マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図である。
【図７】被写界深度の調整処理を説明するための模式図である。
【図８】第１の実施形態に係る画像処理システムＳの構成を示す図である。
【図９】画像処理装置１００の構成を示す図である。
【図１０】サンプリング位置テーブルの一例を示す図である。
【図１１】表示部１３０に表示される表示画面の一例を示す図である。
【図１２】レイアウト画像を表示するまでの手順を示すフローチャートである。
【図１３】ＬＦ画像データを選択する処理の手順を示すフローチャートである。
【図１４】選択処理の手順を示すフローチャートである。
【図１５】第２の実施形態に係るサンプリング位置テーブルの一例を示す図である。
【図１６】第２の実施形態に係るレイアウト画像の一例を示す図である。
【図１７】第２の実施形態に係るＬＦ画像データを選択する処理の手順を示すフローチャートである。
【図１８】第２の実施形態に係る選択処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
［ＬＦカメラの概要］
本実施形態に係る画像処理装置の説明に先立ち、ＬＦカメラの概要について説明する。
図１は、ＬＦカメラとしての撮像装置１０の構成の模式図である。撮像装置１０は、撮像レンズ１１と、マイクロレンズアレイ１２と、イメージセンサ１３とを有する。被写体からの光は、撮像光学系を構成する撮像レンズ１１及びマイクロレンズアレイ１２を通過した後に、イメージセンサ１３に入射する。イメージセンサ１３は、入射した光を電気信号に変換して、変換後の電気信号を出力する。撮像装置１０は、イメージセンサ１３が出力する電気信号に基づいて、フォーカスが合った位置であるフォーカス位置を変更可能なＬＦ画像データを生成する。
【００１２】
撮像レンズ１１は、被写体からの光をマイクロレンズアレイ１２に投射する。撮像レンズ１１は、撮像装置１０の本体部に装着して使用される、交換可能なレンズである。撮像装置１０のユーザは、撮像レンズ１１のズーム操作により撮像倍率を変更することができる。
【００１３】
マイクロレンズアレイ１２は、格子状に配列された複数の微小レンズ（マイクロレンズ）を有しており、撮像レンズ１１とイメージセンサ１３の間に位置する。マイクロレンズアレイ１２が有する各マイクロレンズは、撮像レンズ１１からの入射光を分割し、分割後の複数の光をイメージセンサ１３の複数の画素に入射する。
【００１４】
イメージセンサ１３は、複数の画素を有する撮像素子であり、各画素において光の強度を検出する。被写体からの光を受光するイメージセンサ１３の各画素には、各画素に対応するマイクロレンズによって分割された、夫々異なる方向の光が入射する。
【００１５】
図２は、マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。マイクロレンズアレイ１２の各マイクロレンズは、イメージセンサ１３における複数の画素に対応するように配置される。イメージセンサ１３の各画素には、各画素に対応するマイクロレンズが分割した光が入射し、イメージセンサ１３は、画素ごとに異なる方向からの光の強度を検出する。撮像装置１０は、イメージセンサ１３の各画素において検出された光の強度を示す光線情報を生成する。
【００１６】
マイクロレンズを介してイメージセンサ１３の各画素に入射した光線の入射方向は、各マイクロレンズに対応する複数の画素の配置によって決まる。したがって、入射方向は、各マイクロレンズとイメージセンサ１３の各画素との位置関係に応じて特定され、撮像装置１０は、特定した入射方向を示す方向情報として、例えば、画素を特定するための座標情報を生成する。
【００１７】
被写体からの光は、被写体と撮像レンズ１１との間の距離に応じて定まる方向でマイクロレンズアレイ１２に入射する。そして、被写体からの光は、被写体と撮像レンズ１１との間の距離に応じて定まる複数のマイクロレンズを通過して、イメージセンサ１３に入射する。その結果、マイクロレンズアレイ１２のレンズ頂点面からの距離が異なる面にフォーカスが合った像は、各マイクロレンズの光軸からの偏心量に対応した位置にあるイメージセンサ１３の複数の画素の各出力を合成することで得られる。したがって、撮像装置１０は、光線情報と方向情報に基づいて光線の並べ替えと計算処理（以下、再構築という）を行うことにより、任意のフォーカス位置に対応する画像データを生成できる。ここで、フォーカス位置は、フォーカスが合った位置であり、ユーザは、撮影後に、ＬＦ画像データに基づいて、所望のフォーカス位置に対応するリフォーカス画像データを得ることができる。
【００１８】
図３は、マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明するための模式図である。
撮像レンズ１１による被写体の像は、マイクロレンズアレイ１２上に結像し、マイクロレンズアレイ１２への入射光線はマイクロレンズアレイ１２を介してイメージセンサ１３で受光される。このとき、図３に示すように、マイクロレンズアレイ１２への入射光線は、フォーカス位置ごとに定まる進行方向に応じてイメージセンサ１３上の異なる位置で受光され、被写体の像がマイクロレンズごとに結像する。
【００１９】
図４は、イメージセンサ１３に入射する光線の情報について説明するための模式図である。
イメージセンサ１３で受光される光線について図４を用いて説明する。ここで、撮像レンズ１１のレンズ面上における直交座標系を（ｕ，ｖ）とし、イメージセンサ１３の撮像面上における直交座標系（ｘ，ｙ）とする。さらに、撮像レンズ１１のレンズ面とイメージセンサ１３の撮像面との距離をＦとする。この場合、撮像レンズ１１およびイメージセンサ１３を通る光線の強度は、図中で示す４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表すことができる。各マイクロレンズに入射する光線は、進行方向に応じて異なる画素に入射されることから、イメージセンサ１３では、光線の位置情報に加えて、光線の進行方向を保持する上記の４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表される光線の強度に対応する情報が記録される。
【００２０】
次に、撮像後のリフォーカス演算処理について説明する。リフォーカス演算処理は、異なるフォーカス位置に対応する画素で受光した光の強度に基づいて、画像を再構築することによりリフォーカス画像データを生成する処理である。本明細書において、リフォーカス画像においてフォーカスが合っている位置の面を、リフォーカス面という。
【００２１】
図５は、リフォーカス演算処理を説明するための模式図である。
図５に示すように、撮像レンズ面、撮像面、リフォーカス面の位置関係を設定した場合、リフォーカス面上の直交座標系（ｓ，ｔ）における光線の強度Ｌ’（ｕ，ｖ，ｓ，ｔ）は、以下の（１）式のように表される。
【数１】
2016208104.tif 000003
また、リフォーカス面で得られるイメージＥ’（ｓ，ｔ）は、上記強度Ｌ’（ｕ，ｖ，ｓ，ｔ）をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。
【数２】
2016208104.tif 000004
したがって、この（２）式に基づいてリフォーカス演算処理を行うことで、任意のフォーカス位置におけるリフォーカス面に対応する画像データを再構築することができる。
【００２２】
続いて、撮像後の被写界深度の調整処理、すなわち奥行き方向のフォーカス位置の調整処理について説明する。被写界深度を調整する場合、上記のリフォーカス演算処理の前に、各マイクロレンズに割り当てられた画像領域を形成する画像データごとに重み係数を乗じて重み付けを行う。例えば、被写界深度の深い画像を生成する場合には、イメージセンサ１３の受光面に対して相対的に小さな角度で入射する光線の情報のみを用いて積分処理を行う。言い換えると、イメージセンサ１３への入射角が相対的に大きい光線に関しては、重み係数０（ゼロ）を乗じることにより積分処理に含めない。
【００２３】
図６は、マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図であり、図７は、被写界深度の調整処理を説明するための模式図である。
図６に示すように、イメージセンサ１３への入射角が相対的に小さい光線は、より中央の領域に位置することになる。したがって、被写界深度の深い画像を生成する場合には、図７に示すように、領域の中央部（図中の斜線部）で取得された画素データのみを用いて積分処理が行われる。
【００２４】
このような処理を行うことで、撮像装置１０は、一般的な撮像装置等に具備される開口絞りをあたかも絞ったかのように、被写界深度の深い画像を表現することができる。撮像装置１０は、使用する中央部の画素データを更に少なくすることで、被写界深度のより深いパンフォーカス画像データの生成も可能となる。また、撮像装置１０は、ＬＦ画像データの領域ごとに、使用する画素データの位置を変えることにより、領域ごとに異なる被写界深度に調整することもできる。以上のように、撮像装置１０は、ＬＦ画像データに含まれる各画素の重み係数を含むフォーカス情報、並びに光線情報及び方向情報に基づいて、撮影後に画像の被写界深度を調整し、所望のフォーカス位置に設定することができる。
以下、ＬＦ画像データをディスプレイに表示させる画像処理装置、画像処理方法及び画像処理用プログラムの実施形態について説明する。
【００２５】
＜第１の実施形態＞
［画像処理システムＳの構成］
図８は、第１の実施形態に係る画像処理システムＳの構成を示す図である。画像処理システムＳは、撮像装置１０と、受信機２０と、画像処理装置１００とを有する。撮像装置１０は、小型のＬＦカメラ、照明及び通信部を有する錠剤程度の大きさのカプセル内視鏡である。撮像装置１０は、診察を受ける被検者の体腔Ｔの中を移動しながら、体腔Ｔ内の各部を撮影して、ＬＦ画像データを生成する。
【００２６】
受信機２０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ−Ｆｉ（登録商標）等の無線通信回線Ｗを介して、撮像装置１０が生成したＬＦ画像データを受信する。また、受信機２０は、撮像装置１０から発信される無線信号を複数のアンテナで受信し、受信した複数の無線信号の受信強度に基づいて、例えばガウス・ニュートン法を用いて、撮像装置１０がＬＦ画像を撮像した時の撮像装置１０の位置（以下、「撮像位置」という）、及びＬＦ画像の撮像時に撮像装置１０が向いている方向（以下、「撮像方向」という）を算出する。受信機２０は、撮像装置１０から受信したＬＦ画像データと、撮像位置を示す撮像位置データ及び撮像方向を示す撮像方向データを含む撮像情報とを関連付けて記憶する。受信機２０は、記憶したＬＦ画像データ及び撮像情報を画像処理装置１００に送信する。
【００２７】
画像処理装置１００は、例えばコンピュータ又はスマートフォンである。画像処理装置１００は、有線通信回線、無線通信回線又は記憶媒体を介して、ＬＦ画像データ及び撮像情報を受信機２０から取得し、ＬＦ画像データに基づくリフォーカス画像を表示する。画像処理装置１００は、多数のＬＦ画像データのうち、検査結果を診断する医師等のユーザが、体腔Ｔ内の観察したい位置として選択した位置（以下、「サンプリング位置」という）にフォーカスが合ったリフォーカス画像を選択的に確認できるように、サンプリング位置を選択するための画面を表示する。そして、画像処理装置１００は、ユーザにより選択されたサンプリング位置にフォーカスが合ったリフォーカス画像を表示する。
【００２８】
例えば、画像処理装置１００は、ユーザが、サンプリング位置を指定するためのサンプリング位置指定画面を表示する。ユーザは、サンプリング位置指定画面において、例えば、図８に示す複数のサンプリング位置２０１〜２０４を指定する。画像処理装置１００は、ユーザが、複数のサンプリング位置２０１〜２０４を指定すると、指定されたサンプリング位置にフォーカスを合わせることができるＬＦ画像データを選択する。そして、画像処理装置１００は、選択したＬＦ画像データのフォーカス位置を、サンプリング位置にフォーカスが合うように設定してリフォーカス画像を生成し、生成したリフォーカス画像を表示する。
【００２９】
このようにすることで、画像処理装置１００は、撮像装置１０が生成した多数のＬＦ画像データに基づいて生成可能な大量のリフォーカス画像のうち、体腔Ｔ内の病変箇所又は出血箇所等、ユーザが観察したい箇所の付近にフォーカスが合ったリフォーカス画像を選択的に表示できる。したがって、ユーザは、不要なリフォーカス画像を確認する必要がなくなるので、所望の箇所にフォーカスが合ったリフォーカス画像を検索し、閲覧しやすくなる。
【００３０】
［画像処理装置１００の構成］
図９は、画像処理装置１００の構成を示す図である。画像処理装置１００は、通信部１１０と、操作部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。
【００３１】
通信部１１０は、受信機２０から、ＬＦ画像データ及び撮像情報を受信するための通信インターフェイスであり、例えばＬＡＮコントローラを含んでいる。
操作部１２０は、ユーザが指示を入力するためのデバイスであり、例えば表示部１３０に重ねて設けられたタッチパネルである。操作部１２０は、ユーザが指先又はペン先等でタッチした位置の２次元座標を示す座標情報を出力する。
【００３２】
表示部１３０は、例えば液晶ディスプレイであり、ユーザの操作を受け付けるための操作画面、及び撮像装置１０が生成したＬＦ画像データに基づくリフォーカス画像を表示する。
記憶部１４０は、ＲＯＭ、ＲＡＭ及びハードディスク等の記憶媒体である。記憶部１４０は、制御部１５０が実行する画像処理用プログラム、撮像装置１０が生成したＬＦ画像データ及び制御部１５０が生成する各種のデータを記憶する。例えば、記憶部１４０は、ユーザにより指定されたサンプリング位置を示す位置情報を含むサンプリング位置テーブルを記憶する。
【００３３】
制御部１５０は、例えばＣＰＵである。制御部１５０は、記憶部１４０に記憶された画像処理用プログラムを実行することにより、操作受付部１５１、画像取得部１５２、位置選択部１５３、画像選択部１５４、画像生成部１５５及び表示制御部１５６として機能する。
【００３４】
操作受付部１５１は、操作部１２０を構成するタッチパネルがタッチされた位置に対応する座標情報を取得する。操作受付部１５１は、座標情報に基づいて、ユーザの操作内容を特定し、特定した操作内容を制御部１５０の各部に通知する。操作受付部１５１は、例えば、座標情報に基づいて、ユーザが選択したサンプリング位置を特定し、特定したサンプリング位置を位置選択部１５３に通知する。
【００３５】
画像取得部１５２は、通信部１１０を介して、ＬＦ画像データ及び撮像情報を取得し、取得したＬＦ画像データ及び撮像情報を記憶部１４０に記憶させる。撮像情報は、撮像位置データ、撮像方向データ及びフォーカス範囲データを含む。撮像位置データは、例えば、体腔Ｔ内の所定の基準位置からの距離により表されるデータである。撮像方向データは、例えば、基準方向に対する角度により表されるデータである。
【００３６】
フォーカス範囲データは、ＬＦ画像データのフォーカス位置を変更可能な範囲を示すデータである。フォーカス範囲は、撮像装置１０がフォーカスを合わせることができる光軸方向（すなわち、奥行き方向）における位置の範囲であり、撮像装置１０のレンズからの距離により表される。フォーカス範囲は、撮像装置１０のレンズ及びセンサの特性に基づいて定まり、受信機２０において、撮像装置１０から受信したＬＦ画像データに基づいて特定される。
【００３７】
位置選択部１５３は、撮像装置１０が撮像可能な撮像空間における複数の位置から一以上のサンプリング位置を選択する。撮像装置１０が撮像可能な撮像空間は、例えば、撮像装置１０が移動することができる体腔Ｔ内の空間である。具体的には、位置選択部１５３は、表示制御部１５６を介して、ユーザがサンプリング位置を指定するためのサンプリング位置指定画面を表示部１３０に表示させ、操作部１２０を介してユーザが指定したサンプリング位置を選択する。
【００３８】
位置選択部１５３は、例えば、ユーザが指定した間隔で設けられた複数のサンプリング位置の候補が含まれるサンプリング位置指定画面を表示部１３０に表示させる。位置選択部１５３は、図８に示すように等間隔に複数のサンプリング位置の候補を表示させてもよく、体腔Ｔ内の領域ごとに異なる間隔で複数のサンプリング位置の候補を表示させてもよい。位置選択部１５３は、ユーザの操作に応じて、サンプリング位置の表示位置を微調整してもよい。なお、図８においては、サンプリング位置２０１〜２０４が直線状に示されているが、サンプリング位置は点状又は面状に示されてもよい。
【００３９】
また、位置選択部１５３は、通信部１１０を介して、体腔Ｔ内の病変の位置を示す情報を外部装置（不図示）から取得し、病変の位置をサンプリング位置指定画面に表示させてもよい。このようにすることで、ユーザは、病変の位置を意識しながらサンプリング位置を指定することができる。
【００４０】
位置選択部１５３は、病変の位置に基づいて、サンプリング位置指定画面に表示させるサンプリング位置の候補を決定してもよい。例えば、位置選択部１５３は、病変の位置から所定の範囲内の位置では、第１の間隔で複数のサンプリング位置の候補を表示させ、病変の位置から所定の範囲より遠い位置では、第１間隔よりも大きい第２の間隔で複数のサンプリング位置の候補を表示させてもよい。このようにすることで、ユーザは、病変の位置の付近で最適なサンプリング位置を選択することができる。
【００４１】
位置選択部１５３は、ユーザによるサンプリング位置の指定が完了すると、選択したサンプリング位置を示す位置情報を含むサンプリング位置テーブルを生成して、記憶部１４０に記憶させる。
図１０は、サンプリング位置テーブルの一例を示す図である。サンプリング位置テーブルでは、図１０に示すように、サンプリングＩＤと、位置情報と、現像ＩＤとが関連付けられている。サンプリングＩＤは、サンプリング位置ごとに割り当てられる識別情報である。位置情報は、ＬＦ画像データに付帯される撮像情報に含まれる撮像位置データと同様に、体腔Ｔ内における所定の基準位置からの距離により示される情報である。現像ＩＤは、各サンプリング位置にフォーカスを合わせることができるＬＦ画像データに割り当てられる識別ＩＤであり、画像選択部１５４が生成して、サンプリング位置テーブルに追加する。
【００４２】
画像選択部１５４は、位置選択部１５３が選択したサンプリング位置と画像取得部１５２が取得した撮像情報とに基づいて、複数のＬＦ画像の中から、選択されたサンプリング位置にフォーカス位置を設定可能な一以上のＬＦ画像をフォーカス可能画像として選択する。具体的には、画像選択部１５４は、位置選択部１５３が生成したサンプリング位置テーブルに含まれる位置情報が示す各サンプリング位置に対してフォーカスが合ったリフォーカス画像を生成することが可能なＬＦ画像データを選択する。位置選択部１５３が複数のサンプリング位置を選択した場合、画像選択部１５４は、各サンプリング位置に関連付けて、一以上のＬＦ画像データを選択する。
【００４３】
画像選択部１５４は、撮像装置１０がＬＦ画像を撮像した位置と、位置選択部１５３が選択した一以上のサンプリング位置との間の距離が、ＬＦ画像データに対応するフォーカス範囲内に含まれるか否かに基づいてフォーカス可能画像を選択する。例えば、基準位置から５ｃｍの位置において撮像されたＬＦ画像に対応するＬＦ画像データのフォーカス範囲が０以上１０ｃｍ未満であるとする。このＬＦ画像データからは、基準位置から５ｃｍ以上１５ｃｍ未満の位置にフォーカスが合ったリフォーカス画像を生成することができる。そこで、画像選択部１５４は、サンプリング位置が基準位置から５ｃｍ以上１５ｃｍ未満の位置であれば、このＬＦ画像データを選択し、サンプリング位置が基準位置から５ｃｍ未満又は１５ｃｍ以上の位置であれば、このＬＦ画像データを選択しない。
【００４４】
また、画像選択部１５４は、撮像情報内の撮像方向データが示す撮像方向と、撮像位置に対するサンプリング位置の方向との関係に基づいて、フォーカス可能画像を選択してもよい。具体的には、画像選択部１５４は、撮像方向がサンプリング位置に向いているか否かに基づいてフォーカス可能画像を選択する。より具体的には、画像選択部１５４は、ＬＦ画像データに関連付けられた撮像方向が、当該ＬＦ画像が撮像された時の撮像装置１０の位置とサンプリング位置とを結ぶ線分に対して、所定の範囲内に入っている場合に、当該ＬＦ画像データをフォーカス可能画像データとして選択する。すなわち、撮像方向と上記の線分との角度が所定の範囲内である場合に、当該ＬＦ画像データをフォーカス可能画像データとして選択する。
【００４５】
画像選択部１５４は、上記のようにしてＬＦ画像データを選択すると、選択したＬＦ画像データに対して、現像ＩＤを割り当てる。図１０に示す例において、サンプリングＩＤが「１」のサンプリング位置にフォーカスを合わせることができるＬＦ画像データが３つ存在し、それぞれのＬＦ画像データに現像ＩＤ「０」、「１」、「２」が割り当てられている。
【００４６】
画像生成部１５５は、画像選択部１５４が選択した一以上のＬＦ画像に対して、位置選択部１５３が選択した一以上のサンプリング位置にフォーカス位置を設定することにより、一以上のリフォーカス画像を生成する。具体的には、画像生成部１５５は、画像選択部１５４が選択したＬＦ画像データに基づいて、ＬＦ画像が撮像された位置とサンプリング位置との間の距離に対応する位置にフォーカス位置が設定されたリフォーカス画像を生成する。例えば、画像生成部１５５は、ＬＦ画像が基準位置から５ｃｍの位置で撮像され、サンプリング位置が基準位置から１０ｃｍである場合、ＬＦ画像のフォーカス位置を１０ｃｍ−５ｃｍ＝５ｃｍに設定することによりリフォーカス画像を生成する。画像生成部１５５は、生成したリフォーカス画像を、サンプリング位置テーブルに含まれている現像ＩＤに関連付けて、記憶部１４０に記憶させる。
【００４７】
表示制御部１５６は、複数のリフォーカス画像を配置したレイアウト画像を生成し、生成したレイアウト画像を表示部１３０に表示させる。具体的には、表示制御部１５６は、サンプリング位置テーブルに含まれている現像ＩＤに対応する一以上のリフォーカス画像を記憶部１４０から取得する。表示制御部１５６は、一以上のリフォーカス画像を所定の間隔で配置することによりレイアウト画像を生成する。
【００４８】
図１１は、表示制御部１５６が表示部１３０に表示する表示画面１３１の一例を示す図である。表示画面１３１には、レイアウト画像表示領域１３２、操作ボタン表示領域１３３、サンプリング位置指定領域１３４が含まれている。表示制御部１５６は、レイアウト画像表示領域１３２に、サンプリング位置指定領域１３４において指定されたサンプリング位置に対応するリフォーカス画像を含むレイアウト画像を表示させる。図１１（Ａ）においては、サンプリング位置２０１に対応するリフォーカス画像を含むレイアウト画像が表示されている。表示制御部１５６は、１つのレイアウト画像に複数のリフォーカス画像が含まれる場合、例えば、リフォーカス画像に対応するＬＦ画像が撮像された順番にリフォーカス画像を並べたレイアウト画像を表示する。
【００４９】
操作ボタン表示領域１３３には、「再生」、「停止」、「一時停止」、「次の画像」、「前の画像」等の操作をするための操作画像が表示される。表示制御部１５６は、レイアウト画像表示領域１３２に表示されるレイアウト画像を、例えば一定の時間ごとに切り替える。表示制御部１５６は、操作ボタン表示領域１３３における操作画像がタッチされたことに応じてレイアウト画像を切り替えてもよい。例えば、表示制御部１５６は、操作ボタン表示領域１３３に表示された操作画像のうち、次のサンプリング位置２０２の画像を指定する操作画像がタッチされると、図１１（Ｂ）に示すように、サンプリング位置２０２に対応する現像ＩＤに関連付けて記憶部１４０に記憶されているリフォーカス画像を読み出して、レイアウト画像表示領域１３２に表示する。
【００５０】
［画像処理装置１００がレイアウト画像を表示させる処理］
図１２は、画像処理装置１００がレイアウト画像を表示するまでの手順を示すフローチャートである。以下、図１２を参照して、画像処理装置１００がＬＦ画像データを取得してからレイアウト画像を表示するまでの手順について説明する。
【００５１】
まず、画像取得部１５２は、ＬＦ画像データ及び撮像情報を取得する（Ｓ１１）。画像取得部１５２は、取得したＬＦ画像データを記憶部１４０に格納すると共に、位置選択部１５３に対して撮像情報を通知する。
【００５２】
続いて、位置選択部１５３は、操作受付部１５１から通知された操作情報に基づいて、複数のサンプリング位置から一以上のサンプリング位置を選択する（Ｓ１２）。位置選択部１５３は、サンプリング位置を含むサンプリング位置テーブルを生成し、サンプリング位置テーブルを記憶部１４０に記憶させる。
【００５３】
続いて、画像選択部１５４は、撮像情報及びサンプリング位置テーブル内の位置情報に基づいて、リフォーカス画像を生成する対象とするＬＦ画像データを選択する（Ｓ１３）。画像選択部１５４は、画像生成部１５５に対して、選択したＬＦ画像データに対応する現像ＩＤを決定し、ＬＦ画像データに現像ＩＤを関連付けて記憶部１４０に記憶させる。その後、画像選択部１５４は、リフォーカス画像を生成する対象となるＬＦ画像データに対応する現像ＩＤを含む現像要求を画像生成部１５５に通知する。
【００５４】
続いて、画像生成部１５５は、記憶部１４０が記憶している複数のＬＦ画像データのうち、現像要求に含まれる現像ＩＤに関連付けられているＬＦ画像データを読み出し、読み出したＬＦ画像データに基づいてリフォーカス画像を生成する（Ｓ１４）。画像生成部１５５は、生成したリフォーカス画像を記憶部１４０に格納する。また、画像生成部１５５は、現像ＩＤを含むリフォーカス画像の生成完了通知を表示制御部１５６に通知する。
【００５５】
表示制御部１５６は、画像生成部１５５から生成完了通知を受けると、生成完了通知に含まれる現像ＩＤに対応するリフォーカス画像を記憶部１４０から取得する。表示制御部１５６は、取得したリフォーカス画像を含むレイアウト画像を生成し、生成したレイアウト画像を表示部１３０に表示させる（Ｓ１５）。
【００５６】
続いて、図１２におけるステップＳ１３のＬＦ画像データを選択する処理について詳説する。図１３は、ＬＦ画像データを選択する処理の手順を示すフローチャートである。
【００５７】
まず、画像選択部１５４は、位置選択部１５３が生成したサンプリング位置テーブルを記憶部１４０から取得する（Ｓ２１）。続いて、画像選択部１５４は、変数Ｎを０に初期化する（Ｓ２２）。ここで、変数Ｎは、サンプリング位置ごとに割り当てられたサンプリングＩＤに対応する。次いで、画像選択部１５４は、変数Ｎに１を加算する（Ｓ２３）。ここで、加算後の変数Ｎは、ＬＦ画像データを選択する処理を実行する対象となるサンプリング位置のサンプリングＩＤに対応する。画像選択部１５４は、変数Ｎが、サンプリング位置テーブルに含まれているサンプリング位置の総数より小さいか否かを判定することにより、サンプリング位置に対応するＬＦ画像データを選択する処理が終了していない未処理のサンプリング位置が残っているか否かを判定する（Ｓ２４）。
【００５８】
画像選択部１５４は、変数Ｎが、決定されたサンプリング位置の総数より小さい場合（Ｓ２４におけるＹｅｓ）、未処理のサンプリング位置が残っていると判定し、変数Ｎに対応するサンプリング位置にフォーカスが合ったリフォーカス画像を生成可能なＬＦ画像データを選択する処理を実行する（Ｓ２５）。他方、変数Ｎが、決定されたサンプリング位置の総数に達している場合（Ｓ２４におけるＮｏ）、画像選択部１５４は、ＬＦ画像の選択処理が終了したことを画像生成部１５５に通知し、図１２におけるＳ１４に処理を移す（Ｓ２６）。
【００５９】
図１４は、図１３におけるステップＳ２５の選択処理の手順、すなわち、変数Ｎに対応するサンプリング位置にフォーカスが合ったリフォーカス画像を生成する対象となるＬＦ画像データを選択する処理の手順を示すフローチャートである。まず、画像選択部１５４は、変数Ｍの値を１に初期化する（Ｓ３１）。変数Ｍは、画像取得部１５２が取得したＬＦ画像データ群に含まれる複数のＬＦ画像データそれぞれに割り当てられる変数であり、例えば、ＬＦ画像が撮像された順番に対応する値である。ＬＦ画像データ群は、例えば、１回の体腔内撮影で撮像される複数のＬＦ画像データを含む画像セットである。
【００６０】
続いて、画像選択部１５４は、変数ＭがＬＦ画像データの総数以下であるか否かを判定することにより、変数Ｎに対応するサンプリング位置にフォーカスが合ったリフォーカス画像を生成する対象となるＬＦ画像データを選択する処理が、全てのＬＦ画像データに対して行われたかを判定する（Ｓ３２）。ここで、判定対象となるＬＦ画像データに対応する変数Ｍの値が、取得されたＬＦ画像データの総数より大きい値である場合（Ｓ３２におけるＮｏ）、画像選択部１５４は、図１３のＳ２３において加算された変数Ｎに対応するサンプリング位置にフォーカスを合ったリフォーカス画像を生成可能なＬＦ画像データの選択処理が終了したと判定し、Ｓ２３に処理を移す。
【００６１】
他方、変数Ｍの値が、取得されたＬＦ画像データの総数以下である場合（Ｓ３２におけるＹｅｓ）、画像選択部１５４は、変数Ｍに対応するＬＦ画像データ及び撮像情報を記憶部１４０から読み出す（Ｓ３３）。続いて、画像選択部１５４は、読み出したＬＦ画像データに対応する撮像情報に含まれる撮像方向データが示す撮像方向が、適切であるか否かを判定する（Ｓ３４）。例えば、画像選択部１５４は、記憶部１４０から読み出したＬＦ画像データに対応する撮像情報の撮像方向データに基づいて、撮像装置１０の撮像方向と、撮像装置１０とサンプリング位置とを結ぶ線分の方向との角度の差の大きさを算出する。画像選択部１５４は、差の大きさが所定値以下である場合に、撮像方向が適切であると判定する。
【００６２】
画像選択部１５４は、撮像方向が適切でないと判定した場合（Ｓ３４におけるＮｏ）、Ｓ３２へ戻る。他方、画像選択部１５４は、撮像方向が適切であると判定した場合（Ｓ３４におけるＹｅｓ）、撮像装置１０がＬＦ画像を撮像した時の位置とサンプリング位置との距離である撮像距離を算出する（Ｓ３５）。撮像距離は、例えば、撮像装置１０の撮像位置とサンプリング位置テーブルにおける位置情報の値との差分の絶対値により表される。
【００６３】
続いて、画像選択部１５４は、算出した撮像距離に基づいて、変数Ｍに対応するＬＦ画像データから、変数Ｎに対応するサンプリング位置にフォーカスが合ったリフォーカス画像を生成可能であるか否かを判定する。具体的には、画像選択部１５４は、変数Ｎのサンプリング位置に対応する撮像距離が、変数Ｍに対応するＬＦ画像データのフォーカス範囲内であるか否かを判定する（Ｓ３６）。撮像距離がフォーカス範囲外である場合（Ｓ３６におけるＮｏ）、画像選択部１５４は、Ｓ３２に処理を戻す。
【００６４】
他方、撮像距離がフォーカス範囲内である場合（Ｓ３６におけるＹｅｓ）、画像選択部１５４は、現像ＩＤを決定し、決定した現像ＩＤを含む、リフォーカス画像の生成を要求するための現像要求を画像生成部１５５へ送信する（Ｓ３７）。また、画像選択部１５４は、現像要求に含まれる現像ＩＤをサンプリング位置テーブルに追記する（Ｓ３８）。以上のＳ３２からＳ３８までの処理によって、変数Ｍに対応するＬＦ画像データを選択するか否かを判定する処理が終了するので、画像選択部１５４は変数Ｍに対して１加算し（Ｓ３９）、Ｓ３２に処理を戻す。
【００６５】
なお、本実施形態では、画像選択部１５４が、画像セットに含まれる全てのＬＦ画像データに対して選択処理を実行する場合について説明したが、画像選択部１５４は、推定アルゴリズム等を用いて、選択処理を実行する対象となるＬＦ画像データを限定してもよい。例えば、画像選択部１５４は、複数のサンプリング位置に対してＬＦ画像データを選択する処理において、第１サンプリング位置がフォーカス範囲に入っており、第１サンプリング位置の次の第２サンプリング位置がフォーカス範囲に入っていないＬＦ画像データは、さらに次の第３サンプリング位置もフォーカス範囲に入っていないと推定する。そして、画像選択部１５４は、第３サンプリング位置において選択するＬＦ画像データとして、当該ＬＦ画像データを選択しないようにする。このようにすることで、画像選択部１５４は、選択処理に要する時間を短縮することができる。
【００６６】
［第１の実施形態における効果］
以上説明したように、本実施形態に係る画像処理装置１００においては、画像取得部１５２が、ＬＦ画像データ及び撮像情報を取得し、位置選択部１５３は、ユーザからの操作入力に基づいてサンプリング位置を決定する。そして、画像選択部１５４は、取得されたＬＦ画像データから、サンプリング位置にフォーカス位置を設定可能なＬＦ画像データを選択し、画像生成部１５５がリフォーカス画像を生成し、表示制御部１５６がリフォーカス画像を表示部１３０に表示させる。
【００６７】
このようにすることで、画像処理装置１００は、様々な位置や方向で撮像された多数のＬＦ画像データから、体腔内のユーザが指定したサンプリング位置にフォーカスが合ったリフォーカス画像を表示することができる。このため、画像処理装置１００は、例えば病変が生じている箇所にフォーカスが合った、複数の異なる視点から撮影された複数のリフォーカス画像を一画面上に表示することができるので、医師等のユーザが、診察に有効な画像を効率的に読影することが可能となる。
【００６８】
＜第２の実施形態＞
第１の実施形態においては、レイアウト画像に含まれるリフォーカス画像が、単一の画像セットから選択されたＬＦ画像データに基づいて生成されたのに対して、第２の実施形態においては、レイアウト画像に含まれるリフォーカス画像が、複数の画像セットから選択されたＬＦ画像データに基づいて生成される点で、第１の実施形態と異なる。
【００６９】
複数の画像セットは、撮像装置１０によって、複数回の体腔内撮影で撮像される複数のＬＦ画像データ群である。画像取得部１５２は、第１画像セットに含まれる複数のＬＦ画像データと、第２画像セットに含まれる複数のＬＦ画像データとを取得する。そして、表示制御部１５６は、第１画像セットのＬＦ画像データに対応する第１リフォーカス画像と、第２画像セットのＬＦ画像データに対応する第２リフォーカス画像とを配置したレイアウト画像を生成し、生成したレイアウト画像を表示部１３０に表示させる。各画像セットには、画像セットを識別するための画像セットＩＤが割り当てられている。画像セットＩＤは、患者ごとに割り当てられてもよい。
【００７０】
図１５は、第２の実施形態に係る画像選択部１５４により作成されるサンプリング位置テーブルの一例を示す図である。画像選択部１５４は、位置選択部１５３が作成したサンプリング位置テーブルに対して、画像セットごとに、リフォーカス画像を生成する対象となるＬＦ画像データに対応する現像ＩＤを追加することにより、図１５に示すサンプリング位置テーブルを作成する。
【００７１】
図１６（Ａ）〜（Ｄ）は、本実施形態に係る表示制御部１５６が表示部１３０に表示させるレイアウト画像の一例を示す図である。表示制御部１５６は、各画像セットに対応するレイアウト画像を並べて表示部１３０に表示させる。図１６（Ａ）のレイアウト画像は、サンプリング位置２０１にフォーカスが合った４つのリフォーカス画像を含む。このうち、上段に表示された３つのリフォーカス画像は、第１画像セットから選択されたＬＦ画像データに基づき生成されたリフォーカス画像である。下段に表示された１つのリフォーカス画像は、第２画像セットから選択されたＬＦ画像データに基づき生成されたリフォーカス画像である。図１６（Ｂ）、図１６（Ｃ）及び図１６（Ｄ）のレイアウト画像には、それぞれサンプリング位置２０２、２０３及び２０４にフォーカスが合ったリフォーカス画像が含まれる。
【００７２】
図１７は、ＬＦ画像データを選択する処理の手順を示すフローチャートである。図１７に示すフローチャートにおけるＳ４１〜Ｓ４６は、図１３に示した第１の実施形態のフローチャートにおけるＳ２１〜Ｓ２６に対応しており、Ｓ４２において変数Ｌの値を０に初期化する点で図１３のフローチャートと異なり、他の点で同じである。変数Ｌは、体腔内を撮影した画像セットごとに割り当てられた画像セットＩＤに対応している。画像選択部１５４は、変数Ｌの値を用いて、全ての画像セットに対してＬＦ画像データを選択する処理が実行されたかを管理する。
【００７３】
図１８は、図１７におけるステップＳ４５の選択処理の手順を示すフローチャートである。図１８に示すフローチャートにおけるＳ５１は、図１４に示すフローチャートにおけるＳ３１に対応する。また、図１８に示すフローチャートにおけるＳ５４〜Ｓ６１は、図１４に示すフローチャートにおけるＳ３２〜Ｓ３９に対応する。図１８に示すフローチャートにおいては、Ｓ５１とＳ５４との間に、Ｓ５２及びＳ５３が実行される点で図１４に示すフローチャートと異なる。
【００７４】
画像選択部１５４は、Ｓ５１において変数Ｍを１に初期化した後に、変数Ｌが、画像セット数より小さいか否かを判定することにより、全ての画像セットに対して、ＬＦ画像を選択する処理が行われたかを判定する（Ｓ５２）。画像選択部１５４は、変数Ｌが画像セットの総数より少ないと判定した場合（Ｓ５２におけるＹｅｓ）、変数Ｌに１を加算してからＳ５４以降の処理を実行する（Ｓ５３）。他方、画像選択部１５４は、変数Ｌの値が画像セットの総数以上の値であると判定した場合（Ｓ５２におけるＮｏ）、図１７におけるＳ４６に移行してフォーカス可能画像の選択が終了したことを画像生成部１５５に通知し、図１２におけるＳ１４に移行する。
【００７５】
［第２の実施形態における効果］
以上説明したように、第２の実施形態に係る画像処理装置１００は、異なる複数の画像セットを取得した場合に、それぞれの画像セットに含まれている複数のＬＦ画像データから、サンプリング位置にフォーカスが合ったリフォーカス画像を表示させる。このようにすることで、例えば、ある被検者に対して、異なる時期に行われた体腔内撮影の画像セットがある場合に、体腔内の特定のサンプリング位置にフォーカスが合ったリフォーカス画像を、それぞれの画像セットに含まれるＬＦ画像データから生成し、一画面上に表示することができる。このため、医師等のユーザが、患者の経過観察等を目的として、定期的に撮影された画像を比較することが容易となり、効率的な読影が可能となる。
【００７６】
＜第３の実施形態＞
第１の実施形態及び第２の実施形態においては、撮像装置１０の撮像空間を体腔内とする例について説明したが、撮像空間は、これに限定されず、道路上又は建物内の空間であってもよい。この場合、画像処理装置１００の位置選択部１５３は、ユーザにより指定されたエリアの地図を含むサンプリング位置選択用の画面を表示部１３０に表示させ、ユーザの指示に基づいてサンプリング位置を選択する。
【００７７】
そして、画像選択部１５４は、ユーザが撮像装置１０を用いて街中の空間を撮影することにより生成された多数のＬＦ画像データのうち、選択されたサンプリング位置がフォーカス範囲に含まれるＬＦ画像データを選択し、画像生成部１５５は、選択されたＬＦ画像データに基づいてリフォーカス画像を生成する。このようにすることで、ユーザは、例えば旅行中に撮影した多数の画像から、閲覧したい場所にフォーカスが合っている画像のみを閲覧することができるので、特定の場所の画像を確認したいユーザにとって好適である。
【００７８】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上記の実施形態において、画像処理装置１００は、ＬＦ画像データ及び撮像情報を受信機２０から取得する例について説明したが、これに限らない。撮像装置１０が撮像情報を生成し、画像処理装置１００は、無線により撮像装置１０からＬＦ画像データ及び撮像情報を取得してもよい。
【符号の説明】
【００７９】
１００・・・画像処理装置
１５２・・・画像取得部
１５３・・・位置選択部
１５４・・・画像選択部
１５５・・・画像生成部
１５６・・・表示制御部
【図８】
2016208104.tif 000005
【図９】
2016208104.tif 000006
【図１０】
2016208104.tif 000007
【図１１】
2016208104.tif 000008
【図１２】
2016208104.tif 000009
【図１３】
2016208104.tif 000010
【図１４】
2016208104.tif 000011
【図１５】
2016208104.tif 000012
【図１６】
2016208104.tif 000013
【図１７】
2016208104.tif 000014
【図１８】
2016208104.tif 000015
【図１】
2016208104.tif 000016
【図２】
2016208104.tif 000017
【図３】
2016208104.tif 000018
【図４】
2016208104.tif 000019
【図５】
2016208104.tif 000020
【図６】
2016208104.tif 000021
【図７】
2016208104.tif 000022