(57)【要約】【課題】ユーザにとって関心がある画像を閲覧しやすくする。【解決手段】画像表示装置１００は、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能なＬＦ画像データと、奥行き方向の位置に関連付けられた複数の付加データと、を取得するデータ取得部６０１と、データ取得部６０１により取得された複数の付加データのうち少なくとも一の付加データが属するグループを特定するグループ特定部６０３と、グループ特定部６０３により特定されたグループに属する一以上の付加データが関連付けられた複数の画像データから、当該グループに属する一以上の付加データが関連付けられた位置にフォーカス位置が設定された複数のリフォーカス画像を生成する画像生成部６０５と、複数のリフォーカス画像を表示部４０に表示させる表示制御部６０６と、を有する。【選択図】図８
2017017537.tif 000002
【特許請求の範囲】
【請求項１】
フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な複数のライトフィールド画像データと、前記複数のライトフィールド画像データに付加された奥行き方向の位置に関連付けられた複数の付加データと、を取得するデータ取得手段と、
前記データ取得手段により取得された前記複数の付加データのうち少なくとも一の付加データが属するグループを特定するグループ特定手段と、
前記グループ特定手段により特定されたグループに属する一以上の付加データが関連付けられた複数のライトフィールド画像データから、当該グループに属する一以上の付加データが関連付けられた位置に前記フォーカス位置が設定された複数のリフォーカス画像を生成する画像生成手段と、
前記複数のリフォーカス画像を表示手段に表示させる表示制御手段と、
を有することを特徴とする電子機器。
【請求項２】
前記表示制御手段は、前記データ取得手段が取得した前記一以上の付加データを前記表示手段に一覧表示させ、
前記グループ特定手段は、一覧表示された前記一以上の付加データから選択された前記少なくとも一の付加データが属するグループを特定することを特徴とする、
請求項１に記載の電子機器。
【請求項３】
前記表示制御手段は、複数のグループに対応する複数のグループ名を前記表示手段に一覧表示させ、
前記グループ特定手段は、一覧表示された前記複数のグループ名から選択された一のグループ名に対応するグループを特定することを特徴とする、
請求項１に記載の電子機器。
【請求項４】
前記表示制御手段は、前記グループに属する前記一以上の付加データが含まれないライトフィールド画像データに対応する前記リフォーカス画像を前記表示手段に表示させないことを特徴とする、
請求項１から３のいずれか１項に記載の電子機器。
【請求項５】
前記データ取得手段は、前記複数のライトフィールド画像データの夫々に対応する複数の奥行き方向の位置のうち、デフォルトのフォーカス位置を示す複数のデフォルトフォーカス位置データを取得し、
前記画像生成手段は、前記グループに属する前記一以上の付加データが含まれない前記ライトフィールド画像データに対して、当該ライトフィールド画像データの前記デフォルトフォーカス位置データが示す位置をフォーカス位置とするリフォーカス画像を含む前記複数のリフォーカス画像を生成し、
前記表示制御手段は、前記画像生成手段が生成した前記複数のリフォーカス画像を前記表示手段に表示させることを特徴とする、
請求項１から３のいずれか１項に記載の電子機器。
【請求項６】
前記表示制御手段は、前記グループに属する前記一以上の付加データが含まれない前記ライトフィールド画像データに関連付けて、前記グループ特定手段が特定した前記グループに属する前記付加データが設定されていない旨を示す情報を前記表示手段に表示させることを特徴とする、
請求項５に記載の電子機器。
【請求項７】
前記データ取得手段は、所定のフォルダに格納された、前記ライトフィールド画像データ及び前記一以上の付加データを含む複数のライトフィールド画像ファイルを取得し、
前記画像生成手段は、前記複数のライトフィールド画像ファイルに含まれる前記複数のライトフィールド画像データに基づいて、前記グループに属する複数の前記付加データが関連付けられた位置に前記フォーカス位置が設定された前記複数のリフォーカス画像を生成することを特徴とする、
請求項１から６のいずれか１項に記載の電子機器。
【請求項８】
フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な複数のライトフィールド画像データと、前記複数のライトフィールド画像データに付加された奥行き方向の位置に関連付けられた複数の付加データと、を取得するデータ取得ステップと、
前記データ取得ステップにおいて取得された前記複数の付加データのうち少なくとも一の付加データが属するグループを特定するグループ特定ステップと、
特定した前記グループに属する一以上の付加データが関連付けられた複数のライトフィールド画像データから、当該グループに属する一以上の付加データが関連付けられた位置に前記フォーカス位置が設定された複数のリフォーカス画像を生成する画像生成ステップと、
前記複数のリフォーカス画像を表示手段に表示させる表示ステップと、
を有することを特徴とする表示制御方法。
【請求項９】
前記グループ特定ステップの前に、取得した前記一以上の付加データを前記表示手段に一覧表示させるステップをさらに有し、
前記グループ特定ステップにおいて、一覧表示された前記一以上の付加データから選択された前記少なくとも一の付加データが属するグループを特定することを特徴とする、
請求項８に記載の表示制御方法。
【請求項１０】
前記グループ特定ステップの前に、複数のグループに対応する複数のグループ名を前記表示手段に一覧表示させるステップをさらに有し、
前記グループ特定ステップにおいて、一覧表示された前記複数のグループ名から選択された一のグループ名に対応するグループを特定することを特徴とする、
請求項８に記載の表示制御方法。
【請求項１１】
前記表示ステップにおいて、前記画像生成ステップにおいて特定した前記一以上の付加データが含まれないライトフィールド画像データに対応する前記リフォーカス画像を前記表示手段に表示させないことを特徴とする、
請求項８から１０のいずれか１項に記載の表示制御方法。
【請求項１２】
前記データ取得ステップにおいて、前記複数のライトフィールド画像データの夫々に対応する複数の奥行き方向の位置のうち、デフォルトのフォーカス位置を示す複数のデフォルトフォーカス位置データを取得し、
前記画像生成ステップにおいて、前記画像生成ステップにおいて特定された前記一以上の付加データが含まれないライトフィールド画像データに対して、当該ライトフィールド画像データの前記デフォルトフォーカス位置データが示す位置をフォーカス位置とするリフォーカス画像を含む前記複数のリフォーカス画像を生成し、
前記表示ステップにおいて、前記画像生成ステップにおいて生成された前記リフォーカス画像を前記表示手段に表示させることを特徴とする、
請求項８から１１のいずれか１項に記載の表示制御方法。
【請求項１３】
前記表示ステップにおいて、前記画像生成ステップにおいて特定された前記一以上の付加データが含まれない前記ライトフィールド画像データに関連付けて、前記グループ特定ステップにおいて特定された前記グループに属する前記付加データが設定されていない旨を示す情報を前記表示手段に表示させることを特徴とする、
請求項１２に記載の表示制御方法。
【請求項１４】
前記データ取得ステップにおいて、所定のフォルダに格納された、前記ライトフィールド画像データ及び前記一以上の付加データを含む複数のライトフィールド画像ファイルを取得し、
前記画像生成ステップにおいて、前記複数のライトフィールド画像ファイルに含まれる前記複数のライトフィールド画像データに基づいて、前記画像生成ステップにおいて特定した複数の前記付加データが関連付けられた位置に前記フォーカス位置が設定された前記複数のリフォーカス画像を生成することを特徴とする、
請求項８から１３のいずれか１項に記載の表示制御方法。
【請求項１５】
コンピュータに、請求項８から１４のいずれか１項に記載の表示制御方法を実行させることを特徴とする、前記コンピュータが実行可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を表示するための電子機器及び表示制御方法に関するものである。
【背景技術】
【０００２】
近年、ライトフィールド（以下、「ＬＦ」と略記する場合がある）カメラと呼ばれる撮像装置が実用化されている。この撮像装置は、イメージセンサ上にマイクロレンズアレイが配置され、マイクロレンズによって撮像装置に入射した光を分割することにより、複数の方向から到来する光線の強度を示す光線情報及び入射方向を示す方向情報を含むＬＦ画像データを生成する。特許文献１には、光線情報及び方向情報に基づく演算処理をすることにより、フォーカスが合った奥行き方向の位置（以下、「フォーカス位置」という）が異なる複数のリフォーカス画像を順次表示し、ユーザが、所望の画像を検索しやすくする画像処理装置が開示されている。
【０００３】
また、画像に関する説明を含む付加データ（以下、「アノテーション」という）を、画像とともに表示する方法も知られている。特許文献２には、顕微鏡により撮像された画像とともに、アノテーションを表示する情報処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２２０５９８号公報
【特許文献２】特開２０１１−１３３８４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像を閲覧するユーザには、関心がある内容が記載されたアノテーションが付された画像を優先的に閲覧したいというニーズがある。例えば、医療画像を閲覧することにより病気の有無を診断する医師は、診断に有益な情報が記載されたアノテーションが付された画像を選択的に閲覧することで、診断作業の効率を向上させたいというニーズを持っている。
【０００６】
しかしながら、従来の画像処理装置のように、複数のリフォーカス画像を順次表示する場合、ユーザが、ユーザにとって関心があるアノテーションが付された画像を見つけるまでに長時間を要するという問題があった。
【０００７】
そこで、本発明は上述した点に鑑みてなされたものであり、ユーザにとって関心がある画像を閲覧しやすくすることを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の電子機器は、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な複数のライトフィールド画像データと、前記複数のライトフィールド画像データに付加された奥行き方向の位置に関連付けられた複数の付加データと、を取得するデータ取得手段と、前記データ取得手段により取得された前記複数の付加データのうち少なくとも一の付加データが属するグループを特定するグループ特定手段と、前記グループ特定手段により特定されたグループに属する一以上の付加データが関連付けられた複数のライトフィールド画像データから、当該グループに属する一以上の付加データが関連付けられた位置に前記フォーカス位置が設定された複数のリフォーカス画像を生成する画像生成手段と、前記複数のリフォーカス画像を表示手段に表示させる表示制御手段と、を有することを特徴とする。
【０００９】
また、本発明の表示制御方法は、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な複数のライトフィールド画像データと、前記複数のライトフィールド画像データに付加された奥行き方向の位置に関連付けられた複数の付加データと、を取得するデータ取得ステップと、前記データ取得ステップにおいて取得された前記複数の付加データのうち少なくとも一の付加データが属するグループを特定するグループ特定ステップと、特定した前記グループに属する一以上の付加データが関連付けられた複数のライトフィールド画像データから、当該グループに属する一以上の付加データが関連付けられた位置に前記フォーカス位置が設定された複数のリフォーカス画像を生成する画像生成ステップと、前記複数のリフォーカス画像を表示手段に表示させる表示ステップと、を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ユーザにとって関心がある画像を閲覧しやすくすることができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】ＬＦカメラとしての撮像装置１０の構成の模式図である。
【図２】マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。
【図３】マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明するための模式図である。
【図４】イメージセンサ１３に入射する光線の情報について説明するための模式図である。
【図５】リフォーカス演算処理を説明するための模式図である。
【図６】マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図である。
【図７】被写界深度の調整処理を説明するための模式図である。
【図８】第１の実施形態に係る電子機器である画像表示装置１００の構成を示す図である。
【図９】画像入力部２０に入力される画像ファイルの構成例を示す図である。
【図１０】アノテーションの一例を示す図である。
【図１１】複数のアノテーションが一覧表示された表示部４０の画面を示す図である。
【図１２】第１の実施形態における表示制御方法の処理手順を示すフローチャートである。
【図１３】第１の実施形態における画面遷移を示す図である。
【図１４】アノテーショングループ一覧が表示された表示部４０の画面を示す図である。
【図１５】第２の実施形態における表示制御方法の処理手順を示すフローチャートである。
【図１６】第２の実施形態における画面遷移を示す図である。
【図１７】第３の実施形態における表示制御方法の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１２】
［ＬＦカメラの概要］
本実施形態に係る画像処理装置の説明に先立ち、ＬＦカメラの概要について説明する。
図１は、ＬＦカメラとしての撮像装置１０の構成の模式図である。撮像装置１０は、撮像レンズ１１と、マイクロレンズアレイ１２と、イメージセンサ１３とを有する。被写体からの光は、撮像光学系を構成する撮像レンズ１１及びマイクロレンズアレイ１２を通過した後に、イメージセンサ１３に入射する。イメージセンサ１３は、入射した光を電気信号に変換して、変換後の電気信号を出力する。撮像装置１０は、イメージセンサ１３が出力する電気信号に基づいて、フォーカスが合った位置であるフォーカス位置を変更可能なＬＦ画像データを生成する。
【００１３】
撮像レンズ１１は、被写体からの光をマイクロレンズアレイ１２に投射する。撮像レンズ１１は、撮像装置１０の本体部に装着して使用される、交換可能なレンズである。撮像装置１０のユーザは、撮像レンズ１１のズーム操作により撮像倍率を変更することができる。
【００１４】
マイクロレンズアレイ１２は、格子状に配列された複数の微小レンズ（マイクロレンズ）を有しており、撮像レンズ１１とイメージセンサ１３の間に位置する。マイクロレンズアレイ１２が有する各マイクロレンズは、撮像レンズ１１からの入射光を分割し、分割後の複数の光をイメージセンサ１３の複数の画素に入射する。
【００１５】
イメージセンサ１３は、複数の画素を有する撮像素子であり、各画素において光の強度を検出する。被写体からの光を受光するイメージセンサ１３の各画素には、各画素に対応するマイクロレンズによって分割された、夫々異なる方向の光が入射する。
【００１６】
図２は、マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。マイクロレンズアレイ１２の各マイクロレンズは、イメージセンサ１３における複数の画素に対応するように配置される。イメージセンサ１３の各画素には、各画素に対応するマイクロレンズが分割した光が入射し、イメージセンサ１３は、画素ごとに異なる方向からの光の強度を検出する。撮像装置１０は、イメージセンサ１３の各画素において検出された光の強度を示す光線情報を生成する。
【００１７】
マイクロレンズを介してイメージセンサ１３の各画素に入射した光線の入射方向は、各マイクロレンズに対応する複数の画素の配置によって決まる。したがって、入射方向は、各マイクロレンズとイメージセンサ１３の各画素との位置関係に応じて特定され、撮像装置１０は、特定した入射方向を示す方向情報として、例えば、画素を特定するための座標情報を生成する。
【００１８】
被写体からの光は、被写体と撮像レンズ１１との間の距離に応じて定まる方向でマイクロレンズアレイ１２に入射する。そして、被写体からの光は、被写体と撮像レンズ１１との間の距離に応じて定まる複数のマイクロレンズを通過して、イメージセンサ１３に入射する。その結果、マイクロレンズアレイ１２のレンズ頂点面からの距離が異なる面にフォーカスが合った像は、各マイクロレンズの光軸からの偏心量に対応した位置にあるイメージセンサ１３の複数の画素の各出力を合成することで得られる。したがって、撮像装置１０は、光線情報と方向情報に基づいて光線の並べ替えと計算処理（以下、再構築という）を行うことにより、任意のフォーカス位置に対応する画像データを生成できる。ここで、フォーカス位置は、フォーカスが合った位置であり、ユーザは、撮影後に、ＬＦ画像データに基づいて、所望のフォーカス位置に対応するリフォーカス画像データを得ることができる。
【００１９】
図３は、マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明するための模式図である。
撮像レンズ１１による被写体の像は、マイクロレンズアレイ１２上に結像し、マイクロレンズアレイ１２への入射光線はマイクロレンズアレイ１２を介してイメージセンサ１３で受光される。このとき、図３に示すように、マイクロレンズアレイ１２への入射光線は、フォーカス位置ごとに定まる進行方向に応じてイメージセンサ１３上の異なる位置で受光され、被写体の像がマイクロレンズごとに結像する。
【００２０】
図４は、イメージセンサ１３に入射する光線の情報について説明するための模式図である。
イメージセンサ１３で受光される光線について図４を用いて説明する。ここで、撮像レンズ１１のレンズ面上における直交座標系を（ｕ，ｖ）とし、イメージセンサ１３の撮像面上における直交座標系（ｘ，ｙ）とする。さらに、撮像レンズ１１のレンズ面とイメージセンサ１３の撮像面との距離をＦとする。この場合、撮像レンズ１１およびイメージセンサ１３を通る光線の強度は、図中で示す４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表すことができる。各マイクロレンズに入射する光線は、進行方向に応じて異なる画素に入射されることから、イメージセンサ１３では、光線の位置情報に加えて、光線の進行方向を保持する上記の４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表される光線の強度に対応する情報が記録される。
【００２１】
次に、撮像後のリフォーカス演算処理について説明する。リフォーカス演算処理は、異なるフォーカス位置に対応する画素で受光した光の強度に基づいて、画像を再構築することによりリフォーカス画像データを生成する処理である。本明細書において、リフォーカス画像においてフォーカスが合っている位置の面を、リフォーカス面という。
【００２２】
図５は、リフォーカス演算処理を説明するための模式図である。
図５に示すように、撮像レンズ面、撮像面、リフォーカス面の位置関係を設定した場合、リフォーカス面上の直交座標系（ｓ，ｔ）における光線の強度Ｌ’（ｕ，ｖ，ｓ，ｔ）は、以下の（１）式のように表される。
【数１】
2017017537.tif 000003
また、リフォーカス面で得られるイメージＥ’（ｓ，ｔ）は、上記強度Ｌ’（ｕ，ｖ，ｓ，ｔ）をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。
【数２】
2017017537.tif 000004
したがって、この（２）式に基づいてリフォーカス演算処理を行うことで、任意のフォーカス位置におけるリフォーカス面に対応する画像データを再構築することができる。
【００２３】
続いて、撮像後の被写界深度の調整処理、すなわち奥行き方向のフォーカス位置の調整処理について説明する。被写界深度を調整する場合、上記のリフォーカス演算処理の前に、各マイクロレンズに割り当てられた画像領域を形成する画像データごとに重み係数を乗じて重み付けを行う。例えば、被写界深度の深い画像を生成する場合には、イメージセンサ１３の受光面に対して相対的に小さな角度で入射する光線の情報のみを用いて積分処理を行う。言い換えると、イメージセンサ１３への入射角が相対的に大きい光線に関しては、重み係数０（ゼロ）を乗じることにより積分処理に含めない。
【００２４】
図６は、マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図であり、図７は、被写界深度の調整処理を説明するための模式図である。
図６に示すように、イメージセンサ１３への入射角が相対的に小さい光線は、より中央の領域に位置することになる。したがって、被写界深度の深い画像を生成する場合には、図７に示すように、領域の中央部（図中の斜線部）で取得された画素データのみを用いて積分処理が行われる。
【００２５】
このような処理を行うことで、撮像装置１０は、一般的な撮像装置などに具備される開口絞りをあたかも絞ったかのように、被写界深度の深い画像を表現することができる。撮像装置１０は、使用する中央部の画素データを更に少なくすることで、被写界深度のより深いパンフォーカス画像データの生成も可能となる。また、撮像装置１０は、ＬＦ画像データの領域ごとに、使用する画素データの位置を変えることにより、領域ごとに異なる被写界深度に調整することもできる。以上のように、撮像装置１０は、ＬＦ画像データに含まれる各画素の重み係数を含むフォーカス情報、並びに光線情報及び方向情報に基づいて、撮影後に画像の被写界深度を調整し、所望のフォーカス位置に設定することができる。
以下、ＬＦ画像データをディスプレイに表示させる電子機器及び表示制御方法の実施形態について説明する。
【００２６】
＜第１の実施形態＞
［画像表示装置１００の構成］
図８は、第１の実施形態に係る電子機器である画像表示装置１００の構成を示す図である。画像表示装置１００は、画像入力部２０と、操作部３０と、表示部４０と、記憶部５０と、制御部６０とを有する。画像表示装置１００は、例えばディスプレイ、プロジェクタ又はコンピュータである。
【００２７】
画像入力部２０は、ＬＦ画像データを含む画像ファイルの入力を受けるインターフェイスであり、例えばＵＳＢインターフェイス又は通信インターフェイスである。画像入力部２０は、ＵＳＢインターフェイスを介して接続された記憶媒体、又はイーサネット（登録商標）等の通信ネットワークを介して接続された外部装置から、画像ファイルを受信する。
【００２８】
図９は、画像入力部２０に入力される画像ファイルの構成例を示す図である。画像ファイルには、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能なＬＦ画像データと、各ＬＦ画像データに付加されており、奥行き方向の複数の位置に関連付けられた付加データであるアノテーションと、デフォルトのフォーカス位置を示すデフォルトフォーカス位置データとが含まれている。デフォルトのフォーカス位置は、画像表示装置１００が最初にＬＦ画像データを表示する際に用いられるフォーカス位置である。
【００２９】
図１０は、アノテーションの一例を示す図である。各アノテーションにおいては、アノテーションを識別するための「ＩＤ番号」と、アノテーションが属する「グループ」と、アノテーションが画像に付された時の「フォーカス位置」と、「テキスト情報」とが関連付けられている。ＬＦ画像データが医療画像データである場合、アノテーションに含まれるテキスト情報は、例えば、医師が診断時に付与した診断結果を示す所見である。アノテーションは、撮影日時、撮影部位、患者名等の情報をテキスト情報に含んでもよい。
【００３０】
図１０は、ＩＤ番号「１」のアノテーションが、医師がフォーカス位置を「２」に設定して診断を行った際に、「○○の部分に異常が認められる」という所見を付すことにより生成されたことを示している。また、「グループ」欄には、アノテーションの特徴に基づいてアノテーションが分類されるグループの名称（以下、「グループ名」という）が示されている。グループ名には、アノテーションに含まれるテキスト情報が医師による所見である場合、所見を作成した医師の名前が含まれている。
【００３１】
図８に戻って、操作部３０は、ユーザの操作を受け付けるデバイスである。操作部３０は、例えば、表示部４０の表面に重ねて設けられたタッチパネルである。操作部３０は、表示部４０の表面がタッチされたことを検出すると、タッチされた位置の座標を示す操作情報を制御部６０に通知する。
表示部４０は、例えば液晶ディスプレイである。表示部４０は、ユーザが操作するための操作画像、アノテーションのテキスト情報、及びＬＦ画像データを再構築して得られたリフォーカス画像等を表示する。
【００３２】
記憶部５０は、ＲＯＭ、ＲＡＭ及びハードディスク等の記憶媒体である。記憶部５０は、制御部６０が実行するプログラムを記憶している。また、記憶部５０は、画像入力部２０を介して入力された画像ファイルに含まれるＬＦ画像データ及びアノテーションを記憶する。記憶部５０は、例えば、アノテーションに含まれる「ＩＤ番号」、「グループ」、「フォーカス位置」及び「テキスト情報」を関連付けて記憶する。また、記憶部５０は、後述する「一括フォーカス設定」が行われた場合、一括フォーカス設定の対象となるグループ名を一時的に記憶する。
【００３３】
制御部６０は、例えばＣＰＵである。制御部６０は、記憶部５０に記憶されたプログラムを実行することにより、データ取得部６０１、操作情報取得部６０２、グループ特定部６０３、位置特定部６０４、画像生成部６０５及び表示制御部６０６として機能する。
【００３４】
データ取得部６０１は、画像入力部２０を介して、複数のＬＦ画像データ及び複数のアノテーションを取得する。例えば、データ取得部６０１は、所定の表示対象フォルダに格納された、ＬＦ画像データ及びアノテーションを含む複数の画像ファイルを取得する。表示対象フォルダは、ユーザが閲覧する対象となる複数の画像ファイルが格納されたフォルダであり、予めユーザにより指定されている。データ取得部６０１は、取得した画像ファイルを解析して、取得した複数の画像ファイルに含まれる複数のＬＦ画像データ及び複数のアノテーションを抽出し、抽出したＬＦ画像データ及びアノテーションを記憶部５０に記憶させる。
【００３５】
また、データ取得部６０１は、取得した画像ファイルに含まれる複数のＬＦ画像データを画像生成部６０５に出力し、複数のアノテーションをグループ特定部６０３及び位置特定部６０４に出力する。さらに、データ取得部６０１は、抽出したアノテーションに含まれる、図１０に示した「ＩＤ番号」、「グループ」、「フォーカス位置」及び「テキスト情報」を、表示制御部６０６を介して表示部４０に表示させることができる。
【００３６】
操作情報取得部６０２は、操作部３０から操作情報を取得する。操作情報取得部６０２は、所定の時間内に操作部３０から入力された操作情報が示す複数の座標の平均値を算出し、算出した平均値を操作位置としてグループ特定部６０３及び位置特定部６０４に通知する。
【００３７】
グループ特定部６０３は、データ取得部６０１が取得した複数のアノテーションのうち少なくとも一のアノテーションが属するグループを特定する。具体的には、グループ特定部６０３は、データ取得部６０１が表示制御部６０６を介して表示部４０に一覧表示させた複数のアノテーションからユーザが選択した、少なくとも一つのアノテーションが属するグループを特定する。
【００３８】
図１１は、複数のアノテーションが一覧表示された表示部４０の画面を示す図である。グループ特定部６０３は、ユーザが、表示部４０に表示された複数のアノテーションのうち一以上のアノテーションを選択すると、操作情報取得部６０２から入力される操作情報に基づいて、ユーザが選択したアノテーションのＩＤ番号を特定する。そして、グループ特定部６０３は、データ取得部６０１から入力された複数のアノテーションのうち、特定したＩＤ番号に対応するアノテーション、すなわちユーザが選択したアノテーションに関連付けられたグループ名を特定する。グループ特定部６０３は、ユーザが選択したアノテーションに対応するグループ名を位置特定部６０４に通知する。
【００３９】
例えば、ユーザが、図１１における「○○の部分に異常が認められる」というアノテーションを選択した場合、グループ特定部６０３は、図１０に示す複数のアノテーションのうち、ＩＤ番号が「１」のアノテーションを特定し、当該アノテーションに対応するグループ名「Ａ医師診断」を特定する。そして、グループ特定部６０３は、特定したグループ名「Ａ医師診断」を位置特定部６０４に対して通知する。
【００４０】
位置特定部６０４は、操作情報取得部６０２から入力された操作情報に基づいて、データ取得部６０１から入力されたアノテーションのうち、ユーザにより選択されたアノテーションに対応する位置を特定する。また、位置特定部６０４は、データ取得部６０１から入力されたアノテーションのうち、グループ特定部６０３から通知されたグループ名が示すグループに属する一以上のアノテーションに対応する位置を特定する。位置特定部６０４は、特定したアノテーションに対応する位置を画像生成部６０５に通知する。
【００４１】
例えば、位置特定部６０４は、グループ特定部６０３から通知されたグループ名「Ａ医師診断」を一時的に記憶し、データ取得部６０１から入力されたアノテーションに、グループ名「Ａ医師診断」が含まれるか否かを判定する。そして、位置特定部６０４は、図１０に示すように、付加データにグループ名「Ａ医師診断」が含まれる、ＩＤ番号が「１」及び「５」のアノテーションを特定する。位置特定部６０４は、ＩＤ番号「１」に対応する位置「２」、及びＩＤ番号「５」に対応する位置「９」を画像生成部６０５に通知する。
【００４２】
画像生成部６０５は、グループ特定部６０３により特定されたグループに属する一以上のアノテーションが関連付けられた複数のＬＦ画像データから、当該グループに属する一以上のアノテーションが関連付けられた位置にフォーカス位置が設定された複数のリフォーカス画像を生成する。例えば、画像生成部６０５は、複数の画像ファイルに含まれる複数のＬＦ画像データに基づいて、グループ特定部６０３により特定されたグループに属する複数のアノテーションが付された際にフォーカスが合っていた位置にフォーカス位置が設定された複数のリフォーカス画像を生成する。
【００４３】
画像生成部６０５は、グループ特定部６０３により特定されたグループに属するアノテーションが付された複数のリフォーカス画像を再構築する一括フォーカス処理を行う。例えば、画像生成部６０５は、位置特定部６０４から位置「２」及び位置「９」が通知された場合、データ取得部６０１から入力されたＬＦ画像データにおけるフォーカス位置を位置「２」に設定したリフォーカス画像データ、及びフォーカス位置を位置「９」に設定したリフォーカス画像データを生成する。
【００４４】
表示制御部６０６は、画像生成部６０５が生成した複数のリフォーカス画像を表示部４０に表示させる。表示制御部６０６は、一括フォーカス処理をするための一括フォーカス設定が行われている場合には、同一のグループに属するアノテーションが付された位置にフォーカス位置が設定された全てのリフォーカス画像を表示部４０に表示させる。他方で、表示制御部６０６は、グループ特定部６０３により特定されたグループに属するアノテーションが含まれないＬＦ画像データに対応するリフォーカス画像を表示部４０に表示させない。
【００４５】
［画像表示装置１００の処理手順］
図１２は、画像表示装置１００が実行する表示制御方法の処理手順を示すフローチャートである。図１２に示すフローチャートは、ユーザが、ＬＦ画像データを閲覧する処理を起動させた後の処理を示している。図１３は、一括フォーカス設定時の画面遷移を示す図である。以下、図１２及び図１３を参照しながら、画像表示装置１００がリフォーカス画像を表示する手順について説明する。
【００４６】
まず、データ取得部６０１は、画像入力部２０を介して画像ファイルを取得すると、画像ファイルに含まれるＬＦ画像データに含まれる複数のアノテーションを抽出し、表示制御部６０６を介して、複数のアノテーションの内容を表示部４０に一覧表示させる（Ｓ１１）。この状態で、操作情報取得部６０２は、ユーザによりアノテーションが選択されるまで待機する（Ｓ１２）。
【００４７】
操作情報取得部６０２は、ユーザがいずれかのアノテーションを選択すると（Ｓ１２においてＹＥＳ）、選択されたアノテーションを特定するための操作情報をグループ特定部６０３及び位置特定部６０４に通知する。位置特定部６０４は、通知された操作情報が示すアノテーションに対応する位置をリフォーカス位置に決定し、決定した位置を画像生成部６０５に通知する（Ｓ１３）。画像生成部６０５は、通知を受けた位置にフォーカス位置が設定されたリフォーカス画像を生成し、表示制御部６０６を介して、リフォーカス画像を表示部４０に表示させる（Ｓ１４）。
【００４８】
図１３（ａ）は、ユーザが、ＩＤ番号「２」のアノテーションを選択した際に表示される画面を示している。図１３（ａ）に示す例においては、フォーカス位置が「５」に設定され、斜線で示す円にフォーカスが合ったリフォーカス画像、フォーカス位置「５」に対応する「□□の部分に異常が認められる」というテキスト情報、アノテーションのＩＤ番号、及びアノテーションのグループ名が表示されている。
【００４９】
続いて、表示制御部６０６は、一括フォーカス設定をするための操作画像を表示部４０に表示させる。図１３（ｂ）は、一括フォーカス設定を行うか否かをユーザが選択するための操作画像４０１が表示された画面を示している。図１３（ｂ）に示す例においては、操作画像４０１が、図１３（ａ）に示した画面に重畳して表示されている。ユーザが、操作画像４０１における「はい」にタッチした場合（Ｓ１５においてＹＥＳ）、操作情報取得部６０２は、一括フォーカス設定の操作が行われたことを示す操作情報をグループ特定部６０３に通知する。
【００５０】
グループ特定部６０３は、操作情報の入力を受けると、Ｓ１２においてユーザが選択したアノテーションが属するグループを特定する（Ｓ１６）。グループ特定部６０３は、特定したグループを示すグループ名を、記憶部５０に一時的に記憶させてもよい。
【００５１】
続いて、データ取得部６０１は、Ｓ１４においてリフォーカス画像を表示した画像ファイルと同一のフォルダに入っている画像ファイルの読み込みを開始する。データ取得部６０１は、一つの画像ファイルを読み込むと（Ｓ１７）、読み込んだ画像ファイルを位置特定部６０４へと出力する。位置特定部６０４は、入力された画像ファイルに、Ｓ１６においてグループ特定部６０３が特定したグループと同一のグループに属するアノテーションがあるか否かを判定する（Ｓ１８）。
【００５２】
位置特定部６０４は、同一のグループのアノテーションがないと判定した場合（Ｓ１８においてＮＯ）、Ｓ２１に進む。データ取得部６０１は、同一グループのアノテーションがあると判定した場合（Ｓ１８においてＹＥＳ）、同一グループのアノテーションに対応する位置をフォーカス位置に決定する（Ｓ１９）。位置特定部６０４は、フォーカス位置に決定した位置を画像生成部６０５に通知する。画像生成部６０５は、通知された位置をフォーカス位置に設定したリフォーカス画像を生成し、記憶部５０に記憶させる（Ｓ２０）。
【００５３】
続いて、データ取得部６０１は、同一のフォルダ内の全ての画像ファイルに対して、Ｓ１７からＳ２０までの処理が行われたか否かを判定する（Ｓ２１）。データ取得部６０１は、全ての画像ファイルに対する処理が終了していないと判定した場合（Ｓ２１においてＮＯ）、Ｓ１７に戻って、新たな画像ファイルを読み込む。他方、データ取得部６０１は、全ての画像ファイルに対する処理が終了したと判定した場合（Ｓ２１においてＹＥＳ）、全ファイルの処理が終了したことを画像生成部６０５に通知して、Ｓ２２に進む。
【００５４】
画像生成部６０５は、Ｓ２０において生成した全てのリフォーカス画像のレイアウトを調整し、複数のリフォーカス画像を含む表示画像を生成する（Ｓ２２）。そして、画像生成部６０５は、表示制御部６０６を介して、図１３（ｃ）に示すように、複数のリフォーカス画像を同時に表示する。図１３（ｃ）は、４つのリフォーカス画像のサムネイル画像が表示された画面を示す図である。図１３（ｃ）に示す例においては、斜線で示すオブジェクトの夫々にフォーカスが合ったリフォーカス画像のサムネイル画像４０２〜４０５が表示されている。
【００５５】
例えば、「Ｆｉｌｅ：０００１」に対応するサムネイル画像４０２は、「Ｂ医師診断」グループに属するアノテーションに関連付けられている位置にフォーカス位置が設定された結果として、画像中の丸形のオブジェクトにフォーカスが合った状態で表示されている。同様に、「Ｆｉｌｅ：０００２」に対応するサムネイル画像４０３は、ひし形のオブジェクトにフォーカスが合っており、「Ｆｉｌｅ：０００３」に対応するサムネイル画像４０４は、六角星形のオブジェクトにフォーカスが合っており、「Ｆｉｌｅ：０００４」に対応するサムネイル画像４０５は、長方形のオブジェクトにフォーカスが合った状態で表示されている。
【００５６】
このように、ユーザは、複数のＬＦ画像データに含まれる「Ｂ医師診断」のグループに属する様々な所見を、フォーカス設定操作を何度も繰り返すことなく、一括して閲覧することが可能である。なお、表示制御部６０６が、複数のリフォーカス画像を表示部４０に表示させる場合、図１３（ｃ）のように画面を分割して表示させる代わりに、スライドショーのように所定の時間ごとに順番に複数のリフォーカス画像及びアノテーションを表示させてもよい。
【００５７】
［第１の実施形態における効果］
以上説明したように、第１の実施形態に係る画像表示装置１００は、複数のアノテーションの内容を表示部４０に表示し、ユーザが、複数のアノテーションの内容を確認して、所望のアノテーションを選択することができる。そして、画像表示装置１００は、複数のＬＦ画像データのうち、ユーザが選択したアノテーションと同一のグループに属するアノテーションが付された位置にフォーカス位置が設定された複数のリフォーカス画像を生成して一覧表示する。このようにすることで、ユーザは、閲覧したい画像を選択するために、フォーカス設定操作を繰り返すことなく、閲覧したい画像を一括して表示させることができるので、画像表示装置１００は、ユーザにとって関心があるリフォーカス画像を閲覧しやすくすることができる。
【００５８】
＜第２の実施形態＞
第１の実施形態における画像表示装置１００は、複数のアノテーションの内容を表示部４０に表示した後に、ユーザが選択したアノテーションと同一のグループに属するアノテーションが付された位置にフォーカス位置が設定されたリフォーカス画像を表示部４０に表示した。これに対して、第２の実施形態における画像表示装置１００は、複数のグループ名を表示部４０に一覧表示させ、ユーザが、リフォーカス画像を閲覧したいグループを選択することができる点で第１の実施形態と異なる。
【００５９】
本実施形態におけるグループ特定部６０３は、表示制御部６０６が一覧表示させた複数のグループから選択された一のグループ名に対応するグループを特定する。具体的には、表示制御部６０６は、アノテーションがいずれかに属する複数のグループを示すアノテーショングループ一覧を、表示部４０に表示させる。そして、グループ特定部６０３は、ユーザが、アノテーショングループ一覧に表示された複数のグループから一のグループを選択すると、選択されたグループを、リフォーカス画像を表示させる対象のグループとする。グループ特定部６０３は、特定したグループを示すグループ名を、位置特定部６０４に通知する。
【００６０】
図１４は、アノテーショングループ一覧が表示された表示部４０の画面を示す図である。図１４に示す例においては、ユーザによりグループ「Ａ医師診断」が選択された状態が表示されている。グループ特定部６０３は、１枚のリフォーカス画像を表示させた後に、表示部４０に表示されているリフォーカス画像に重畳して、アノテーショングループ一覧を表示させてもよい。
【００６１】
［画像表示装置１００の処理手順を示すフローチャート］
図１５は、第２の実施形態における画像表示装置１００が実行する表示制御方法の処理手順を示すフローチャートである。図１６は、本実施形態における画面遷移を示す図である。図１６（ａ）は、図１３（ａ）と同様に、ユーザが、ＩＤ番号「２」のアノテーションを選択した際に表示される画面を示している。
【００６２】
ユーザが、アノテーショングループ一覧を表示させる操作をすると、表示制御部６０６は、図１６（ｂ）に示すように、予め登録された複数のグループ名を示すアノテーショングループ一覧を表示部４０に表示させる（Ｓ３１）。この状態で、操作情報取得部６０２は、ユーザによりグループが選択されるまで待機する（Ｓ３２）。
【００６３】
操作情報取得部６０２は、ユーザがいずれかのグループを選択すると（Ｓ３２においてＹＥＳ）、選択したグループを特定するための操作情報をグループ特定部６０３に通知する。グループ特定部６０３は、通知された操作情報に基づいて、ユーザが選択したグループを特定する（Ｓ３３）。グループ特定部６０３は、特定したグループを示すグループ名を、記憶部５０に一時的に記憶させてもよい。
【００６４】
続いて、画像表示装置１００は、Ｓ３４からＳ４０までの処理を実行し、図１６（ｃ）に示すように、ユーザが選択したグループに属するアノテーションが付された位置にフォーカス位置が設定された複数のリフォーカス画像を表示する。Ｓ３４からＳ４０までの処理は、図１２に示した第１の実施形態におけるＳ１７からＳ２３までの処理と同等の処理である。
【００６５】
［第２の実施形態における効果］
以上説明したように、第２の実施形態に係る画像表示装置１００は、アノテーショングループ一覧を表示させ、ユーザが、リフォーカス画像を表示させる対象となるグループを選択できるようにする。このようにすることで、画像表示装置１００は、ユーザに、関心があるグループに属するアノテーションが付されている画像を探す作業をさせることなく、ユーザが閲覧したいリフォーカス画像を一括して表示させることができる。
【００６６】
なお、上記の説明においては、ユーザがグループを選択した後に、画像表示装置１００が自動的に一括フォーカス設定をする例について説明したが、これに限らない。画像表示装置１００は、ユーザがアノテーショングループ一覧から所望のグループを選択した後に、第１の実施形態のように、一括フォーカス設定を促すメッセージを表示し、ユーザが一括フォーカス設定を選択した後に一括フォーカス設定をしてもよい。
【００６７】
＜第３の実施形態＞
第１の実施形態及び第２の実施形態に係る画像表示装置１００は、グループ特定部６０３により特定されたグループに関連付けられたアノテーションが付されたＬＦ画像データを、リフォーカス画像を表示する対象としていた。これに対して、第３の実施形態に係る画像表示装置１００は、グループ特定部６０３により特定されたグループに属するアノテーションがないＬＦ画像データに対しても、一括してフォーカス設定を行う点で第１の実施形態及び第２の実施形態と異なる。
【００６８】
本実施形態のデータ取得部６０１は、複数のＬＦ画像データの夫々に対応する複数の奥行き方向の位置のうち、デフォルトのフォーカス位置を示すデフォルトフォーカス位置データをＬＦ画像ファイルから抽出する。データ取得部６０１は、抽出したデフォルトフォーカス位置データを画像生成部６０５に対して出力する。
【００６９】
画像生成部６０５は、グループ特定部６０３により特定されたグループに属する一以上のアノテーションが含まれないＬＦ画像データに対して、当該ＬＦ画像データのデフォルトフォーカス位置データが示す位置をフォーカス位置とするリフォーカス画像を生成する。具体的には、画像生成部６０５は、位置特定部６０４から、グループ特定部６０３が特定したグループに属するアノテーションに対応する位置が通知されたＬＦ画像データに対しては、通知された位置にフォーカス位置を設定したリフォーカス画像を生成する。また、画像生成部６０５は、位置特定部６０４から位置が通知されなかったＬＦ画像データに対しては、デフォルトフォーカス位置にフォーカス位置を設定したリフォーカス画像を生成する。
【００７０】
表示制御部６０６は、画像生成部６０５が生成した複数のリフォーカス画像を表示部４０に一覧表示させる。この際、表示制御部６０６は、グループ特定部６０３により特定されたグループに属する一以上のアノテーションが含まれないＬＦ画像データのリフォーカス画像に関連付けて、グループ特定部６０３が特定したグループに属するアノテーションが設定されていない旨を示す情報を表示部４０に表示させてもよい。例えば、表示制御部６０６は、グループ特定部６０３が特定したグループに関連付けられていないリフォーカス画像を表示部４０に表示させる場合に、「このリフォーカス画像には、『○○医師診断』グループのアノテーションが含まれていません」という説明を、リフォーカス画像と共に表示させてもよい。
【００７１】
［画像表示装置１００の処理手順を示すフローチャート］
図１７は、第３の実施形態における画像表示装置１００が実行する表示制御方法の処理手順を示すフローチャートである。
図１７に示すフローチャートにおけるＳ４１〜Ｓ４８は、図１２に示すフローチャートにおけるＳ１１〜Ｓ１８に対応する。また、図１７に示すフローチャートにおけるＳ５０〜Ｓ５４は、図１２に示すフローチャートにおけるＳ１９〜Ｓ２３に対応する。図１７に示すフローチャートにおいては、Ｓ４８とＳ５１との間に、Ｓ４９が実行される点で図１２に示すフローチャートと異なる。
【００７２】
位置特定部６０４は、Ｓ４７において読み込まれた画像ファイルに、グループ特定部６０３が特定したグループと同一のグループに属するアノテーションがあるか否かを判定する（Ｓ４８）。位置特定部６０４は、当該画像ファイルに、同一のグループに属するアノテーションが含まれていないと判定した場合（Ｓ４８でＮＯ）、当該ファイルのＬＦ画像データのフォーカス位置を、デフォルトフォーカス位置データが示すフォーカス位置に決定し（Ｓ４９）、Ｓ５１に移行する。このようにして、画像表示装置１００は、グループ特定部６０３が特定したグループと同一のグループに属するアノテーションが付されていないＬＦ画像データのリフォーカス画像も表示することができる。
【００７３】
［第３の実施形態における効果］
以上説明したように、第３の実施形態に係る画像表示装置１００は、グループ特定部６０３が特定したグループに属するアノテーションが付されたリフォーカス画像と、グループに属するアノテーションが付されていないリフォーカス画像とを表示部４０に表示させることができる。また、画像表示装置１００は、特定したグループに属するアノテーションが付されたリフォーカス画像と、それ以外のリフォーカス画像とを判別可能に表示することができる。このようにすることで、ユーザは、関心があるアノテーションが付されたリフォーカス画像を閲覧する際に、他のリフォーカス画像も閲覧できるので、閲覧すべきリフォーカス画像を見落とすリスクを低減することができる。
【００７４】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００７５】
上記の第１〜第３の実施形態においては、ＬＦ画像データが医療画像データである例について説明したが、本発明を適用できるＬＦ画像データの種類は医療画像データに限られず、任意の種類の画像データに適用できる。例えば、ＬＦ画像データが、チームＡとチームＢとが対戦する野球の試合を撮影して生成された画像データであるものとする。この場合、チームＡのファンが、チームＡの選手にフォーカスが合った位置でアノテーションを付しており、チームＢのファンが、チームＢの選手にフォーカスが合った位置でアノテーションを付すことができる。これらのアノテーションは、チームＡのグループ及びチームＢのグループのいずれかに属することになる。
【００７６】
そして、アノテーションを付したユーザ又はその他のユーザは、複数のＬＦ画像データを閲覧する際に、第１の実施形態に示したように、表示中のリフォーカス画像のアノテーションと同一のグループに属するアノテーションが付された複数のリフォーカス画像を一括表示することができる。また、第２の実施形態に示したように、ユーザは、チームＡ又はチームＢというグループを選択し、選択したグループに属するアノテーションが付された複数のリフォーカス画像を一括表示することができる。
【符号の説明】
【００７７】
１００・・・画像表示装置
６０１・・・データ取得部
６０３・・・グループ特定部
６０５・・・画像生成部
６０６・・・表示制御部
【図８】
2017017537.tif 000005
【図９】
2017017537.tif 000006
【図１０】
2017017537.tif 000007
【図１１】
2017017537.tif 000008
【図１２】
2017017537.tif 000009
【図１３】
2017017537.tif 000010
【図１４】
2017017537.tif 000011
【図１５】
2017017537.tif 000012
【図１６】
2017017537.tif 000013
【図１７】
2017017537.tif 000014
【図１】
2017017537.tif 000015
【図２】
2017017537.tif 000016
【図３】
2017017537.tif 000017
【図４】
2017017537.tif 000018
【図５】
2017017537.tif 000019
【図６】
2017017537.tif 000020
【図７】
2017017537.tif 000021