(57)【要約】【課題】ＬＦ画像データに含まれる被写体が不特定多数の人に視認されることを防ぎつつ、特定の人が被写体を視認できるようにする。【解決手段】画像処理装置２００は、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能なライトフィールド画像を取得する画像取得部２５２と、ライトフィールド画像に含まれる少なくとも一部の領域に対応する第１ユーザの第１識別情報を取得するとともに、ライトフィールド画像を閲覧する第２ユーザに対応する第２識別情報を取得する情報取得部２５３と、第１識別情報と第２識別情報との関係性に基づいて一部の領域に含まれる被写体の奥行き方向の位置とは異なる位置にフォーカス位置が設定されたリフォーカス画像データを出力する表示制御部２５５とを有する。【選択図】図１０
2017097653.tif 000002
【特許請求の範囲】
【請求項１】
フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能なライトフィールド画像を取得する画像取得手段と、
前記ライトフィールド画像に含まれる少なくとも一部の領域に対応する第１ユーザの第１識別情報を取得するとともに、前記ライトフィールド画像を閲覧する第２ユーザに対応する第２識別情報を取得する情報取得手段と、
前記第１識別情報と前記第２識別情報との関係性に基づいて前記一部の領域に含まれる被写体の奥行き方向の位置とは異なる位置に前記フォーカス位置が設定されたリフォーカス画像データを出力する出力手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記情報取得手段は、前記一部の領域に含まれる被写体の奥行き方向の位置に前記フォーカス位置を設定することを制限することを示す制限情報に含まれる前記第１識別情報を取得し、
前記出力手段は、前記第１識別情報と前記第２識別情報とが関連付けられていない場合に、前記一部の領域に含まれる被写体の奥行き方向の位置とは異なる位置に前記フォーカス位置が設定された前記リフォーカス画像データを出力することを特徴とする、
請求項１に記載の画像処理装置。
【請求項３】
前記出力手段は、前記リフォーカス画像データを出力する前に出力した、フォーカス位置がデフォルト位置に設定された画像において、前記第２ユーザが指定した位置又は領域が前記一部の領域に含まれている場合に、前記一部の領域に含まれる被写体の奥行き方向の位置とは異なる位置に前記フォーカス位置が設定された前記リフォーカス画像データを出力することを特徴とする、
請求項１又は２に記載の画像処理装置。
【請求項４】
前記情報取得手段は、前記第１識別情報と前記第２識別情報との関係性を示す関係性情報を格納するサーバから前記関係性情報を取得し、
前記出力手段は、前記関係性情報に基づいて、前記第１識別情報と前記第２識別情報とが所定の関係を有するか否かを判定することを特徴とする、
請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記出力手段は、前記一部の領域における前記フォーカス位置が前記一部の領域の奥行き方向の位置とは異なる位置に設定された前記リフォーカス画像データを出力する場合に、前記フォーカス位置の設定に制限がかかっていることを示す情報を出力することを特徴とする、
請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記情報取得手段は、前記一部の領域を含む矩形領域の座標を示す座標情報を取得し、
前記出力手段は、前記矩形領域に含まれる顔画像に対応する被写体の奥行き方向の位置とは異なる位置に前記フォーカス位置が設定されたリフォーカス画像データを出力することを特徴とする、
請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
ユーザから、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能なライトフィールド画像の取得指示を受け付けたことに応じて、前記ライトフィールド画像を取得する画像取得手段と、
前記ユーザに対応するユーザ識別情報を取得する情報取得手段と、
前記ライトフィールド画像に含まれる少なくとも一部の領域に関連付けて、前記ユーザに対応するユーザ識別情報を含み、前記一部の領域に含まれる被写体に前記フォーカス位置が設定されることを制限する制限情報を生成する生成手段と、
前記生成手段により生成された前記制限情報が付与された前記ライトフィールド画像を出力する出力手段と、
を有することを特徴とする画像編集装置。
【請求項８】
前記情報取得手段は、前記一部の領域の特定に用いられる領域特定情報を取得し、
前記生成手段は、前記情報取得手段が前記領域特定情報を取得すると、前記一部の領域に対応する前記制限情報を生成することを特徴とする、
請求項７に記載の画像編集装置。
【請求項９】
前記情報取得手段は、前記領域特定情報として、前記ユーザの顔画像情報を取得し、
前記生成手段は、前記ライトフィールド画像に前記顔画像情報に対応する顔画像領域が含まれている場合に、前記顔画像領域に対応する前記制限情報を生成することを特徴とする、
請求項８に記載の画像編集装置。
【請求項１０】
画像処理装置が実行する画像処理方法であって、
フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能なライトフィールド画像を取得する画像取得ステップと、
前記ライトフィールド画像に含まれる少なくとも一部の領域に対応する第１ユーザの第１識別情報を取得する第１識別情報取得ステップと、
前記ライトフィールド画像を閲覧する第２ユーザに対応する第２識別情報を取得する第２識別情報取得ステップと、
取得された前記第１識別情報と前記第２識別情報との関係性に基づいて前記一部の領域に含まれる被写体の奥行き方向の位置とは異なる位置に前記フォーカス位置が設定されたリフォーカス画像データを出力する出力ステップと、
を有することを特徴とする画像処理方法。
【請求項１１】
前記第１識別情報取得ステップにおいて、前記一部の領域に含まれる被写体の奥行き方向の位置に前記フォーカス位置を設定することを制限することを示すフォーカス制限情報に含まれた前記第１識別情報を取得し、
前記出力ステップにおいて、前記第１識別情報と前記第２識別情報とが関連付けられていない場合に、前記一部の領域に含まれる被写体の奥行き方向の位置とは異なる位置に前記フォーカス位置が設定されたリフォーカス画像データを出力することを特徴とする、
請求項１０に記載の画像処理方法。
【請求項１２】
画像編集装置が実行する画像編集方法であって、
ユーザから、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能なライトフィールド画像の取得指示を受け付けたことに応じて、前記ライトフィールド画像を取得する画像取得ステップと、
前記ユーザに対応するユーザ識別情報を取得する情報取得ステップと、
前記ライトフィールド画像に含まれる少なくとも一部の領域に関連付けて、前記ユーザに対応する第１識別情報を含み、前記一部の領域に含まれる被写体に前記フォーカス位置が設定されることを制限する制限情報を生成する生成ステップと、
前記生成ステップにおいて生成された前記制限情報が付与された前記ライトフィールド画像を出力する出力ステップと、
を有することを特徴とする画像編集方法。
【請求項１３】
第１ユーザが使用する第１ユーザ端末と、第２ユーザが使用する第２ユーザ端末と、画像処理装置とを備える情報共有システムであって、
前記画像処理装置は、
前記第１ユーザ端末の指示に応じて、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能なライトフィールド画像を取得する画像取得手段と、
前記ライトフィールド画像に含まれる少なくとも一部の領域に対応する第１識別情報を取得するとともに、前記第２ユーザに対応する第２識別情報を取得する情報取得手段と、
前記第１識別情報と前記第２識別情報との関係性に基づいて前記一部に含まれる被写体の領域の奥行き方向の位置とは異なる位置に前記フォーカス位置が設定されたリフォーカス画像データを前記第２ユーザ端末に出力する出力手段とを有し、
前記第２ユーザ端末は、
前記画像処理装置から取得した前記リフォーカス画像データを表示部に表示させる表示制御手段を有することを特徴とする、
情報共有システム。
【請求項１４】
コンピュータを、請求項１から６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像編集装置及び情報共有システムに関するものである。
【背景技術】
【０００２】
近年、ライトフィールド（以下、「ＬＦ」と略記する）カメラと呼ばれる撮像装置が実用化されている。この撮像装置は、イメージセンサ上にマイクロレンズアレイが配置され、撮像装置に入射した光をマイクロレンズによって分割することにより、複数の方向から到来する光線の強度を示す光線情報及び入射方向を示す方向情報を含むＬＦ画像データを生成する。特許文献１には、ＬＦ画像データにおいて選択された被写体を視認しにくくするための情報である制限情報をＬＦ画像データに関連付けて記録し、ＬＦ画像データに基づく画像を表示する際に、選択された被写体をぼかして表示する方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−８４５１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、ＳＮＳ（Social Network Service）等のサービスを利用して、不特定多数の人が写真を閲覧できるようになってきている。ＬＦ画像データをＳＮＳのサーバにアップロードしたユーザが、制限情報が付されたＬＦ画像データを公開する場合、従来の方法を用いると、選択された被写体が常にぼけた状態で表示されてしまう。したがって、ＬＦ画像データをアップロードしたユーザが被写体を見て欲しいと考えている特定の人（例えば、親しい友人）がＬＦ画像データに基づく画像を閲覧する場合にも、被写体がぼけた状態で表示されてしまうという問題があった。
【０００５】
そこで、本発明は上述した点に鑑みてなされたものであり、ＬＦ画像データに含まれる被写体が不特定多数の人に視認されることを防ぎつつ、特定の人が被写体を視認できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の第１の態様の画像処理装置は、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能なライトフィールド画像を取得する画像取得手段と、前記ライトフィールド画像に含まれる少なくとも一部の領域に対応する第１ユーザの第１識別情報を取得するとともに、前記ライトフィールド画像を閲覧する第２ユーザに対応する第２識別情報を取得する情報取得手段と、前記第１識別情報と前記第２識別情報との関係性に基づいて前記一部の領域に含まれる被写体の奥行き方向の位置とは異なる位置に前記フォーカス位置が設定されたリフォーカス画像データを出力する出力手段と、を有することを特徴とする。
【０００７】
本発明の画像編集装置は、ユーザから、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能なライトフィールド画像の取得指示を受け付けたことに応じて、前記ライトフィールド画像を取得する画像取得手段と、前記ユーザに対応するユーザ識別情報を取得する情報取得手段と、前記ライトフィールド画像に含まれる少なくとも一部の領域に関連付けて、前記ユーザに対応するユーザ識別情報を含み、前記一部の領域に含まれる被写体に前記フォーカス位置が設定されることを制限する制限情報を生成する生成手段と、前記生成手段により生成された前記制限情報が付与された前記ライトフィールド画像を出力する出力手段と、を有することを特徴とする。
【０００８】
本発明の情報共有システムは、第１ユーザが使用する第１ユーザ端末と、第２ユーザが使用する第２ユーザ端末と、画像処理装置とを備える情報共有システムであって、前記画像処理装置は、前記第１ユーザ端末の指示に応じて、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能なライトフィールド画像を取得する画像取得手段と、前記ライトフィールド画像に含まれる少なくとも一部の領域に対応する第１識別情報を取得するとともに、前記第２ユーザに対応する第２識別情報を取得する情報取得手段と、前記第１識別情報と前記第２識別情報との関係性に基づいて前記一部に含まれる被写体の領域の奥行き方向の位置とは異なる位置に前記フォーカス位置が設定されたリフォーカス画像データを前記第２ユーザ端末に出力する出力手段とを有し、前記第２ユーザ端末は、前記画像処理装置から取得した前記リフォーカス画像データを表示部に表示させる表示制御手段を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ＬＦ画像データに含まれる被写体が不特定多数の人に視認されることを防ぎつつ、特定の人が被写体を視認できるようにすることができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】ＬＦカメラとしての撮像装置１０の構成の模式図である。
【図２】マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。
【図３】マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明するための模式図である。
【図４】イメージセンサ１３に入射する光線の情報について説明するための模式図である。
【図５】リフォーカス演算処理を説明するための模式図である。
【図６】マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図である。
【図７】被写界深度の調整処理を説明するための模式図である。
【図８】第１の実施形態に係る情報共有システム１の構成を示す図である。
【図９】第１の実施形態に係る画像編集装置１００の構成を示す図である。
【図１０】第１の実施形態に係る画像処理装置２００の構成を示す図である。
【図１１】第１の実施形態に係る画像編集装置１００の動作手順を示すフローチャートである。
【図１２】第１の実施形態に係る画像処理装置２００の動作手順を示すフローチャートである。
【図１３】画像処理装置２００において再生される画像の例を示す図である。
【図１４】第２の実施形態に係る情報共有システム１の構成を示す図である。
【図１５】第２の実施形態に係るサーバ４００の構成を示す図である。
【図１６】第２の実施形態に係るサーバ４００及びユーザ端末５００のＬＦ画像データのアップロード時の動作手順を示すフローチャートである。
【図１７】第２の実施形態に係るサーバ４００及びユーザ端末５００のＬＦ画像の表示時の動作手順を示すフローチャートである。
【図１８】第３の実施形態に係るサーバ４００及びユーザ端末５００のＬＦ画像データへのフォーカス制限情報の一括付与に係る動作手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
［ＬＦカメラの概要］
本実施形態に係る画像処理装置の説明に先立ち、ＬＦカメラの概要について説明する。
図１は、ＬＦカメラとしての撮像装置１０の構成の模式図である。撮像装置１０は、撮像レンズ１１と、マイクロレンズアレイ１２と、イメージセンサ１３とを有する。被写体からの光は、撮像光学系を構成する撮像レンズ１１及びマイクロレンズアレイ１２を通過した後に、イメージセンサ１３に入射する。イメージセンサ１３は、入射した光を電気信号に変換して、変換後の電気信号を出力する。撮像装置１０は、イメージセンサ１３が出力する電気信号に基づいて、フォーカスが合った奥行き方向の位置であるフォーカス位置を変更可能なＬＦ画像データを生成する。
【００１２】
撮像レンズ１１は、被写体からの光をマイクロレンズアレイ１２に投射する。撮像レンズ１１は、撮像装置１０の本体部に装着して使用される、交換可能なレンズである。撮像装置１０のユーザは、撮像レンズ１１のズーム操作により撮像倍率を変更することができる。
【００１３】
マイクロレンズアレイ１２は、格子状に配列された複数の微小レンズ（マイクロレンズ）を有しており、撮像レンズ１１とイメージセンサ１３の間に位置する。マイクロレンズアレイ１２が有する各マイクロレンズは、撮像レンズ１１からの入射光を分割し、分割後の複数の光をイメージセンサ１３の複数の画素に入射する。
【００１４】
イメージセンサ１３は、複数の画素を有する撮像素子であり、各画素において光の強度を検出する。被写体からの光を受光するイメージセンサ１３の各画素には、各画素に対応するマイクロレンズによって分割された、夫々異なる方向の光が入射する。
【００１５】
図２は、マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。マイクロレンズアレイ１２の各マイクロレンズは、イメージセンサ１３における複数の画素に対応するように配置される。イメージセンサ１３の各画素には、各画素に対応するマイクロレンズが分割した光が入射し、イメージセンサ１３は、画素ごとに異なる方向からの光の強度を検出する。撮像装置１０は、イメージセンサ１３の各画素において検出された光の強度を示す光線情報を生成する。
【００１６】
マイクロレンズを介してイメージセンサ１３の各画素に入射した光線の入射方向は、各マイクロレンズに対応する複数の画素の配置によって決まる。したがって、入射方向は、各マイクロレンズとイメージセンサ１３の各画素との位置関係に応じて特定され、撮像装置１０は、特定した入射方向を示す方向情報として、例えば、画素を特定するための座標情報を生成する。
【００１７】
被写体からの光は、被写体と撮像レンズ１１との間の距離に応じて定まる方向でマイクロレンズアレイ１２に入射する。そして、被写体からの光は、被写体と撮像レンズ１１との間の距離に応じて定まる複数のマイクロレンズを通過して、イメージセンサ１３に入射する。その結果、マイクロレンズアレイ１２のレンズ頂点面からの距離が異なる面にフォーカスが合った像は、各マイクロレンズの光軸からの偏心量に対応した位置にあるイメージセンサ１３の複数の画素の各出力を合成することで得られる。したがって、撮像装置１０は、光線情報と方向情報に基づいて光線の並べ替えと計算処理（以下、再構築という）を行うことにより、任意のフォーカス位置に対応する画像データを生成できる。ここで、フォーカス位置は、フォーカスが合った位置であり、ユーザは、撮影後に、ＬＦ画像データに基づいて、所望のフォーカス位置に対応するリフォーカス画像データを得ることができる。
【００１８】
図３は、マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明するための模式図である。
撮像レンズ１１による被写体の像は、マイクロレンズアレイ１２上に結像し、マイクロレンズアレイ１２への入射光線はマイクロレンズアレイ１２を介してイメージセンサ１３で受光される。このとき、図３に示すように、マイクロレンズアレイ１２への入射光線は、フォーカス位置ごとに定まる進行方向に応じてイメージセンサ１３上の異なる位置で受光され、被写体の像がマイクロレンズごとに結像する。
【００１９】
図４は、イメージセンサ１３に入射する光線の情報について説明するための模式図である。
イメージセンサ１３で受光される光線について図４を用いて説明する。ここで、撮像レンズ１１のレンズ面上における直交座標系を（ｕ，ｖ）とし、イメージセンサ１３の撮像面上における直交座標系（ｘ，ｙ）とする。さらに、撮像レンズ１１のレンズ面とイメージセンサ１３の撮像面との距離をＦとする。この場合、撮像レンズ１１およびイメージセンサ１３を通る光線の強度は、図中で示す４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表すことができる。各マイクロレンズに入射する光線は、進行方向に応じて異なる画素に入射されることから、イメージセンサ１３では、光線の位置情報に加えて、光線の進行方向を保持する上記の４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表される光線の強度に対応する情報が記録される。
【００２０】
次に、撮像後のリフォーカス演算処理について説明する。リフォーカス演算処理は、異なるフォーカス位置に対応する画素で受光した光の強度に基づいて、画像を再構築することによりリフォーカス画像データを生成する処理である。本明細書において、リフォーカス画像においてフォーカスが合っている位置の面を、リフォーカス面という。
【００２１】
図５は、リフォーカス演算処理を説明するための模式図である。
図５に示すように、撮像レンズ面、撮像面、リフォーカス面の位置関係を設定した場合、リフォーカス面上の直交座標系（ｓ，ｔ）における光線の強度Ｌ'（ｕ，ｖ，ｓ，ｔ）は、以下の（１）式のように表される。
【数１】
2017097653.tif 000003
また、リフォーカス面で得られるイメージＥ'（ｓ，ｔ）は、上記強度Ｌ'（ｕ，ｖ，ｓ，ｔ）をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。
【数２】
2017097653.tif 000004
したがって、この（２）式に基づいてリフォーカス演算処理を行うことで、任意のフォーカス位置におけるリフォーカス面に対応する画像データを再構築することができる。
【００２２】
続いて、撮像後の被写界深度の調整処理、すなわち奥行き方向のフォーカス位置の調整処理について説明する。被写界深度を調整する場合、上記のリフォーカス演算処理の前に、各マイクロレンズに割り当てられた画像領域を形成する画像データごとに重み係数を乗じて重み付けを行う。例えば、被写界深度の深い画像を生成する場合には、イメージセンサ１３の受光面に対して相対的に小さな角度で入射する光線の情報のみを用いて積分処理を行う。言い換えると、イメージセンサ１３への入射角が相対的に大きい光線に関しては、重み係数０（ゼロ）を乗じることにより積分処理に含めない。
【００２３】
図６は、マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図であり、図７は、被写界深度の調整処理を説明するための模式図である。
図６に示すように、イメージセンサ１３への入射角が相対的に小さい光線は、より中央の領域に位置することになる。したがって、被写界深度の深い画像を生成する場合には、図７に示すように、領域の中央部（図中の斜線部）で取得された画素データのみを用いて積分処理が行われる。
【００２４】
このような処理を行うことで、撮像装置１０は、一般的な撮像装置などに具備される開口絞りをあたかも絞ったかのように、被写界深度の深い画像を表現することができる。撮像装置１０は、使用する中央部の画素データを更に少なくすることで、被写界深度のより深いパンフォーカス画像データの生成も可能となる。また、撮像装置１０は、ＬＦ画像データの領域ごとに、使用する画素データの位置を変えることにより、領域ごとに異なる被写界深度に調整することもできる。以上のように、撮像装置１０は、ＬＦ画像データに含まれる各画素の重み係数を含むフォーカス情報、並びに光線情報及び方向情報に基づいて、撮影後に画像の被写界深度を調整し、所望のフォーカス位置に設定することができる。
以下、ＬＦ画像データを処理する画像処理装置及び画像処理方法の実施形態について説明する。
【００２５】
＜第１の実施形態＞
［情報共有システム１の構成］
図８は、第１の実施形態に係る情報共有システム１の構成を示す図である。情報共有システム１は、例えばＳＮＳであり、画像編集装置１００と、画像処理装置２００と、データベース３００とを含んで構成されている。
【００２６】
画像編集装置１００は、例えば、第１ユーザが使用するスマートフォン等のユーザ端末であり、インターネット及び携帯電話網等の通信回線を介して接続されたクラウド上のデータベース３００に、自身に記憶されているＬＦ画像データをアップロードする。ＬＦ画像データには、各画素の画素値、デフォルトのフォーカス位置に対応するデフォルトフォーカス情報が含まれている。デフォルトフォーカス情報は、例えば、デフォルトのフォーカス位置に設定されたリフォーカス画像データを再構築する際に用いられる、ＬＦ画像を構成する各画素の重み係数である。画像編集装置１００は、ＬＦ画像に含まれる少なくとも一部の領域に含まれる被写体の奥行き方向の位置にフォーカス位置が設定されることを制限するフォーカス制限情報をＬＦ画像データに付与してデータベース３００に格納することができる。
【００２７】
画像処理装置２００は、例えば、第２ユーザが使用するスマートフォン等のユーザ端末であり、クラウド上のデータベース３００に格納されたＬＦ画像データを取得し、ＬＦ画像を表示する。取得されたＬＦ画像データには、各画素の画素値、デフォルトフォーカス情報、及びフォーカス制限情報が含まれている。画像処理装置２００は、第２ユーザからの要求に応じて選択されたＬＦ画像データを再構築することにより生成されたリフォーカス画像を表示することができる。リフォーカス画像に対応するリフォーカス画像データには、デフォルトフォーカス情報が示すデフォルトのフォーカス位置から他の位置にフォーカス位置を変更した後の、各画素の重み係数を示すフォーカス情報が含まれている。
【００２８】
画像処理装置２００は、ＬＦ画像データに含まれているフォーカス制限情報に基づいて、ＬＦ画像に含まれる少なくとも一部の領域のフォーカス位置が、当該一部の領域に含まれる被写体の奥行き方向の位置に設定されることを制限する。このようにすることで、画像処理装置２００は、例えば、画像編集装置１００を用いてＬＦ画像をアップロードした第１ユーザの顔画像を含むＬＦ画像を、第１ユーザとは関係のない第２ユーザが閲覧する場合に、第１ユーザの顔画像にフォーカスが合うことを制限して、第１ユーザのプライバシーを確保することが可能になる。
以下、画像編集装置１００及び画像処理装置２００の構成の詳細について説明する。
【００２９】
［画像編集装置１００の構成］
図９は、第１の実施形態に係る画像編集装置１００の構成を示す図である。画像編集装置１００は、例えば第１ユーザが撮影したＬＦ画像データを記憶している。画像編集装置１００は、第１ユーザからの要求に応じてＬＦ画像データを読み出し、読み出したＬＦ画像データにフォーカス制限情報を付与してデータベース３００に格納する。
【００３０】
画像編集装置１００は、通信部１１０と、操作部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。
通信部１１０は、データベース３００との間でＬＦ画像データ及び各種情報を送受信するための通信インターフェイスである。
【００３１】
操作部１２０は、第１ユーザが、第１ユーザのユーザ識別情報（以下、第１識別情報という）を入力したり、データベース３００に送信するＬＦ画像データを指定するための情報を入力したりするためのユーザインターフェイスであり、例えば、表示部１３０に重ねて設けられたタッチパネルである。第１識別情報は、例えばＳＮＳのユーザＩＤのように、ユーザ端末としての画像編集装置１００を操作している第１ユーザを識別するための情報である。第１ユーザは、ＳＮＳにログインする際に第１識別情報を入力することにより、ＬＦ画像データをデータベース３００にアップロードすることができるようになる。
【００３２】
表示部１３０は、データベース３００にアップロードするＬＦ画像データや、ＬＦ画像データをアップロードするための操作画面を表示するためのディスプレイである。
記憶部１４０は、不揮発性メモリ（例えばＲＯＭ）を含んでおり、制御部１５０が実行する画像編集用プログラムを記憶している。記憶部１４０は、揮発性メモリ（例えばＲＡＭ）を含んでおり、制御部１５０が画像編集用プログラムを実行することにより生成される各種データを一時的に記憶する。また、記憶部１４０は、複数のＬＦ画像データを記憶する。
【００３３】
制御部１５０は、例えばＣＰＵであり、記憶部１４０に記憶された画像編集用プログラムを実行することにより、画像編集装置１００の各部を制御する。制御部１５０は、画像取得部１５１、情報取得部１５２、フォーカス制限情報生成部１５３、及び画像出力部１５４として機能する。以下、制御部１５０により提供される各機能部の構成について説明する。
【００３４】
画像取得部１５１は、操作部１２０を介して、データベース３００にアップロードする対象のＬＦ画像データの取得指示としてのアップロード指示を第１ユーザから受け付けたことに応じて、当該ＬＦ画像データを記憶部１４０から取得する。画像取得部１５１は、記憶部１４０に記憶されている複数のＬＦ画像データの中から、第１ユーザが選択したＬＦ画像データを取得する。画像取得部１５１は、取得したＬＦ画像データをフォーカス制限情報生成部１５３に出力する。
【００３５】
情報取得部１５２は、記憶部１４０に記憶されている第１識別情報を取得する。情報取得部１５２は、取得した第１識別情報をフォーカス制限情報生成部１５３に出力する。なお、情報取得部１５２は、第１識別情報が記憶部１４０に記憶されていない場合、操作部１２０から入力された第１識別情報を取得してもよい。
【００３６】
情報取得部１５２は、データベース３００から、第１識別情報に対応する第１ユーザのユーザプロファイル情報を取得する。ユーザプロファイル情報には、ＬＦ画像に含まれる一部の領域の特定に用いられる領域特定情報としての、第１ユーザの顔画像情報が含まれている。情報取得部１５２は、第１ユーザの顔画像情報をユーザプロファイル情報から取得する。情報取得部１５２は、抽出した顔画像情報をフォーカス制限情報生成部１５３に出力する。なお、ユーザプロファイル情報が記憶部１４０に記憶されている場合、情報取得部１５２は、ユーザプロファイル情報を記憶部１４０から取得してもよい。
【００３７】
フォーカス制限情報生成部１５３は、情報取得部１５２が顔画像情報を取得すると、ＬＦ画像に含まれる少なくとも一部の領域に関連付けて、当該一部の領域にフォーカス位置が設定されることを制限するフォーカス制限情報を生成する。フォーカス制限情報生成部１５３は、ＬＦ画像に、取得された顔画像情報に対応する被写体が含まれている場合に、当該被写体を含む領域に対応するフォーカス制限情報を生成する。
【００３８】
フォーカス制限情報生成部１５３は、例えば、ＬＦ画像データにおいて、フォーカス位置の設定に制限をかける領域として、顔画像情報に対応する第１ユーザの顔画像を含む矩形領域を特定し、当該矩形領域を構成する各頂点の座標を特定する。そして、フォーカス制限情報生成部１５３は、第１ユーザを識別する第１識別情報と、矩形領域を構成する各頂点の座標とを含むフォーカス制限情報を生成する。このようにすることで、画像編集装置１００は、ＬＦ画像に第１ユーザの顔画像が含まれている場合、当該顔画像に対応する領域にフォーカス制限をかけることができる。
【００３９】
なお、フォーカス制限情報生成部１５３は、複数の矩形領域を特定し、これらの矩形領域のそれぞれを構成する各頂点の座標を特定してもよい。そして、フォーカス制限情報生成部１５３は、複数の矩形領域を構成する各頂点の座標を含むフォーカス制限情報を生成してもよい。また、フォーカス制限情報生成部１５３は、第１ユーザから、ＬＦ画像においてフォーカスを制限する領域の選択を受け付け、選択された領域に関連付けてフォーカス制限情報を生成してもよい。このようにすることで、画像編集装置１００は、第１ユーザの自宅や家族等、第１ユーザのプライベートに関連する被写体や、第１ユーザが不特定多数の人に見られたくない被写体が写っている表示領域にもフォーカス制限をかけることができる。
【００４０】
画像出力部１５４は、フォーカス制限情報生成部１５３により生成されたフォーカス制限情報が付与されたＬＦ画像データを出力する。画像出力部１５４は、例えば、フォーカス制限情報生成部１５３により生成されたフォーカス制限情報が付与されたＬＦ画像データをデータベース３００に送信する。これにより、フォーカス制限情報が付与されたＬＦ画像データがデータベース３００にアップロードされる。なお、画像出力部１５４は、ＬＦ画像データのデフォルトフォーカス情報が、フォーカス制限がかかった領域にフォーカス位置が設定された状態に対応する重み係数を含んでいる場合に、デフォルトフォーカス情報内の重み係数を、フォーカス制限がかかった領域にフォーカス位置が設定されない状態に対応する重み係数に変更したＬＦ画像データを出力してもよい。このようにすることで、ＬＦ画像データを取得した不特定多数の人が、フォーカス制限がかかった領域にフォーカスが合った画像を閲覧できないようにすることができる。
【００４１】
［画像処理装置２００の構成］
図１０は、第１の実施形態に係る画像処理装置２００の構成を示す図である。画像処理装置２００は、第２ユーザからの要求に応じてデータベース３００に格納されたＬＦ画像データを読み出して、ＬＦ画像を表示する。また、画像処理装置２００は、第２ユーザからの要求に応じて、表示されているＬＦ画像のフォーカス位置を変更する。
【００４２】
画像処理装置２００は、通信部２１０と、操作部２２０と、表示部２３０と、記憶部２４０と、制御部２５０とを有する。
通信部２１０は、データベース３００との間でＬＦ画像データ及び各種情報を送受信するための通信インターフェイスである。
操作部２２０は、第２ユーザが、第２ユーザのユーザ識別情報（以下、第２識別情報という）を入力したり、データベース３００から取得するＬＦ画像データを指定するための情報を入力したりするためのユーザインターフェイスであり、例えば、表示部２３０に重ねて設けられたタッチパネルである。第２ユーザは、ＳＮＳにログインする際に第２識別情報を入力することにより、データベース３００に格納されているＬＦ画像データにアクセスできるようになる。
【００４３】
表示部２３０は、データベース３００から取得したＬＦ画像データ又はリフォーカス画像データに基づく画像を表示するためのディスプレイである。
記憶部２４０は、不揮発性メモリを含んでおり、制御部２５０が実行する画像処理用プログラムを記憶している。記憶部２４０は、揮発性メモリを含んでおり、制御部２５０が画像処理用プログラムを実行することにより生成される各種データを一時的に記憶する。また、記憶部２４０は、操作部２２０を介して第２ユーザから入力された第２識別情報を記憶する。
【００４４】
制御部２５０は、例えばＣＰＵであり、記憶部２４０に記憶された画像処理用プログラムを実行することにより、画像処理装置２００の各部を制御する。制御部２５０は、再生制御部２５１、画像取得部２５２、情報取得部２５３、リフォーカス画像生成部２５４及び表示制御部２５５として機能する。以下、制御部２５０により提供される各機能部の構成について説明する。
【００４５】
再生制御部２５１は、例えば、再生画像選択ボタン及び再生開始ボタンを含む操作画面を、後述の表示制御部２５５を介して表示部２３０に表示する。再生制御部２５１は、第２ユーザが再生画像選択ボタンを押下することによって入力された、ＬＦ画像データを特定するための画像特定情報（例えば、画像ファイル番号）、及び第２ユーザが再生開始指示ボタンを押したことを示す再生開始指示情報を取得する。再生制御部２５１は、再生開始指示情報を取得したことに応じて、通信部２１０を介してデータベース３００に画像特定情報を送信する。
【００４６】
画像取得部２５２は、通信部２１０を介して、フォーカス位置を撮影後に変更可能なＬＦ画像データをデータベース３００から取得する。画像取得部２５２は、再生制御部２５１が画像特定情報をデータベース３００に送信したことに応じて、データベース３００から当該画像特定情報に対応するＬＦ画像データを取得する。画像取得部２５２は、取得したＬＦ画像データを記憶部２４０に記憶させる。画像取得部２５２は、取得したＬＦ画像データをリフォーカス画像生成部２５４に出力する。また、画像取得部２５２は、ＬＦ画像データに含まれるデフォルトフォーカス情報をリフォーカス画像生成部２５４に出力する。
【００４７】
情報取得部２５３は、ＬＦ画像を閲覧する第２ユーザの第２識別情報を取得する。情報取得部２５３は、取得した第２識別情報をリフォーカス画像生成部２５４に出力する。
また、情報取得部２５３は、データベース３００から、第２識別情報に対応するユーザプロファイル情報を取得する。ユーザプロファイル情報には、第２識別情報に関連付けられている一以上のユーザ識別情報が含まれている。第２識別情報に関連付けられているユーザ識別情報は、例えばＳＮＳにおいてＬＦ画像を閲覧する第２ユーザと友人関係にあるユーザのユーザ識別情報である。ユーザプロファイル情報は、例えば第１ユーザと第２ユーザとの関係性、すなわち第１識別情報と第２識別情報との関係性を示す関係性情報として用いられる。情報取得部２５３は、第２識別情報に関連付けられている一以上のユーザ識別情報をリフォーカス画像生成部２５４に出力する。
なお、ユーザプロファイル情報が記憶部２４０に記憶されている場合、情報取得部２５３は、ユーザプロファイル情報を記憶部２４０から取得してもよい。
【００４８】
また、情報取得部２５３は、ＬＦ画像データに含まれる少なくとも一部の領域に対応する第１識別情報を含むフォーカス制限情報を取得する。例えば、情報取得部２５３は、操作部２２０を介して、表示部２３０に表示されているＬＦ画像に含まれる一部の位置又は領域が第２ユーザによって選択されたことに応じて、画像取得部２５２が取得したＬＦ画像データに含まれているフォーカス制限情報を取得する。
【００４９】
リフォーカス画像生成部２５４は、フォーカス制限情報に基づいてフォーカス位置を設定したリフォーカス画像データを生成する。リフォーカス画像生成部２５４は、第２ユーザが選択した位置又は領域にフォーカス制限情報が関連付けられている場合に、第１ユーザと第２ユーザとの関係性に基づいて、選択された位置又は領域にフォーカスを合わせるかどうかを決定することにより、リフォーカス画像データを生成する。例えば、リフォーカス画像生成部２５４は、第２ユーザが選択した位置又は領域に対してフォーカス制限がかかっている場合、第２識別情報とフォーカス制限情報に含まれる第１識別情報との関係性に基づいて、一部の領域に含まれる被写体の奥行き方向の位置とは異なる位置にフォーカス位置が設定されたリフォーカス画像データを生成する。
【００５０】
具体的には、リフォーカス画像生成部２５４は、ＬＦ画像データに関連付けられているフォーカス制限情報に含まれる矩形領域を示す座標情報を取得し、当該座標情報と、第２ユーザにより選択された位置又は領域を示す座標とに基づいて、選択された位置又は領域が矩形領域に含まれているかを判定する。リフォーカス画像生成部２５４は、選択された位置又は領域が矩形領域に含まれていると判定すると、リフォーカス画像生成部２５４は、第２ユーザと第１ユーザとの関係性として、例えばＳＮＳの友人関係にあるかどうかを示す友人登録情報を、データベース３００から取得する。
【００５１】
リフォーカス画像生成部２５４は、第２ユーザの第２識別情報が第１ユーザの第１識別情報と予め関連付けられた関係（例えば、友人関係）にない場合、第２ユーザが選択した位置又は領域にフォーカスが合っていないリフォーカス画像データを生成する。リフォーカス画像生成部２５４は、第２ユーザの第２識別情報が第１ユーザの第１識別情報と予め関連付けられた関係にある場合、第２ユーザが選択した位置又は領域にフォーカスが合ったリフォーカス画像データを生成する。リフォーカス画像生成部２５４は、例えば、ＬＦ画像データに含まれる光線情報に基づいて、第２ユーザが選択した位置又は領域に対応する画素における光の強度が最も強くなるようにフォーカス位置を決定することにより、リフォーカス画像データを生成する。
【００５２】
なお、リフォーカス画像生成部２５４は、第１ユーザと第２ユーザとが所定の関係を満たさない場合、フォーカス制限情報が示す第１識別情報に対応する矩形領域に含まれている顔画像の領域を検出し、検出した顔画像の領域にフォーカスが合っていないリフォーカス画像を生成してもよい。この場合、リフォーカス画像生成部２５４は、顔画像の領域においては、顔の奥行き方向の位置とは異なる位置にフォーカス位置を設定し、フォーカス制限情報が示す矩形領域内の顔以外の領域においては、顔以外の領域の被写体に対応する奥行き方向の位置にフォーカス位置が設定されたリフォーカス画像データを生成する。このようにすることで、第２ユーザが選択した位置又は領域が、第１識別情報に対応する領域に含まれている場合に、当該領域に含まれている被写体のうち顔のみをぼかすことができるので、矩形領域全体をぼかす場合に比べて自然な状態に近い画像とすることができる。
【００５３】
表示制御部２５５は、出力手段として機能し、リフォーカス画像生成部２５４が生成したリフォーカス画像データを表示部２３０に出力する。表示制御部２５５は、フォーカス制限情報に基づいて被写体の奥行き方向の位置とは異なる位置にフォーカス位置が設定された画像を表示部２３０に出力する前に、フォーカス位置がデフォルトフォーカス情報に基づく位置に設定されたリフォーカス画像データを出力する。そして、当該リフォーカス画像データに基づく画像において第２ユーザが指定した位置又は領域が、フォーカス制限情報が示す一部の領域に含まれている場合に、一部の領域に含まれる被写体の奥行き方向の位置とは異なる位置にフォーカス位置が設定されたリフォーカス画像データを出力する。これにより、画像処理装置２００は、第２ユーザが指定した被写体が、画像編集装置１００の第１ユーザによって制限がかけられた被写体である場合に、当該被写体をぼかしたリフォーカス画像を表示部２３０に表示させることができる。
【００５４】
また、表示制御部２５５は、フォーカス制限情報に対応する一部の領域におけるフォーカス位置が、当該一部の領域に含まれる被写体の奥行き方向の位置とは異なる位置に設定されたリフォーカス画像データを出力する場合に、フォーカス位置の設定に制限がかかっていることを示す情報を表示部２３０に出力する。
【００５５】
［情報共有システム１における動作手順を示すフローチャート］
図１１は、第１の実施形態に係る画像編集装置１００の動作手順を示すフローチャートである。
まず、画像取得部１５１は、第１ユーザからＬＦ画像データのアップロード指示を受け付けると（Ｓ１０１）、アップロードの対象となるＬＦ画像データを記憶部１４０から取得する（Ｓ１０２）。
【００５６】
続いて、情報取得部１５２は、記憶部１４０に記憶されている第１ユーザの第１識別情報を取得する（Ｓ１０３）。
続いて、情報取得部１５２は、データベース３００から、Ｓ１０３において取得した第１識別情報に対応するユーザプロファイル情報を取得する（Ｓ１０４）。
続いて、情報取得部１５２は、取得されたユーザプロファイル情報に含まれている第１ユーザの顔画像情報を取得する（Ｓ１０５）。
【００５７】
続いて、フォーカス制限情報生成部１５３は、Ｓ１０２において取得したＬＦ画像データが示すＬＦ画像に、Ｓ１０５において取得した顔画像情報が示す顔画像に対応する画像が含まれているか否かを判定することにより、第１ユーザがＬＦ画像中に存在しているか否かを判定する（Ｓ１０６）。フォーカス制限情報生成部１５３は、第１ユーザがＬＦ画像中に存在していると判定すると、Ｓ１０７に処理を移し、第１ユーザがＬＦ画像中に存在していないと判定すると、Ｓ１０９に処理を移す。
【００５８】
続いて、フォーカス制限情報生成部１５３は、第１ユーザの顔画像を含む表示領域に対応するフォーカス制限情報を生成する（Ｓ１０７）。
続いて、画像出力部１５４は、例えば、第１ユーザの顔画像を含む表示領域にフォーカス制限情報が関連付けられたＬＦ画像データを生成する（Ｓ１０８）。
【００５９】
続いて、画像出力部１５４は、ＬＦ画像データをデータベース３００に送信することにより、データベース３００にＬＦ画像データを格納する（Ｓ１０９）。ここで、第１ユーザの顔画像がＬＦ画像中に存在している場合には、フォーカス制限情報が付与されたＬＦ画像データがデータベース３００に格納され、第１ユーザの顔画像がＬＦ画像中に存在していない場合には、フォーカス制限情報が付与されていないＬＦ画像データがデータベース３００に格納される。
【００６０】
図１２は、第１の実施形態に係る画像処理装置２００の動作手順を示すフローチャートである。
まず、再生制御部２５１は、ＬＦ画像データを選択するための操作画面を表示部２３０に表示させ、ＬＦ画像データの再生開始指示を受け付ける（Ｓ１１１）。再生制御部２５１は、操作画面において表示対象のＬＦ画像データが選択され、再生開始指示を受け付けたことに応じて、当該ＬＦ画像データを特定するための画像特定情報をデータベース３００に送信する。
【００６１】
続いて、画像取得部２５２は、データベース３００から、再生制御部２５１が送信した画像特定情報に対応するＬＦ画像データを取得する（Ｓ１１２）。
続いて、リフォーカス画像生成部２５４は、Ｓ１１２において取得されたＬＦ画像データに含まれるデフォルトフォーカス情報に基づいて、ＬＦ画像データを再構築することによりリフォーカス画像を生成する。生成されたリフォーカス画像は、デフォルトフォーカス位置に設定された画像となる。表示制御部２５５は、生成されたリフォーカス画像を表示部２３０に表示させる（Ｓ１１３）。
【００６２】
図１３は、画像処理装置２００において再生される画像の例を示す図である。図１３（ａ）は、データベース３００に格納されているＬＦ画像データが、デフォルトフォーカス情報に基づいて再生された場合の画像を示している。図１３（ａ）に示す画像においては、「Ｂ氏」にフォーカスが合っておらず、隣に写っている「Ａ氏」にフォーカスが合っている。図１３（ａ）に示されるＬＦ画像データにおける「Ｂ氏」は、画像編集装置１００を使用する第１ユーザであり、「Ｂ氏」にフォーカス制限情報が関連付けられているものとする。
【００６３】
図１２のＳ１１４において、再生制御部２５１は、操作部２２０を介して、画像処理装置２００を使用する第２ユーザから、新たにフォーカス位置を合わせる被写体を選択する指示を受け付ける。第２ユーザから受け付けた被写体を選択する指示には、ＬＦ画像において第２ユーザが選択した位置を示す座標情報が含まれている。本実施形態では、新たにフォーカス位置を合わせる被写体として「Ｂ氏」が選択されたものとする。
【００６４】
情報取得部２５３は、ＬＦ画像データにおいて、選択された被写体に対応する表示領域にフォーカス制限情報が付与されているか否かを判定する（Ｓ１１５）。情報取得部２５３は、被写体を選択する指示に含まれている座標情報が示す座標が、フォーカス制限情報に含まれている座標情報が示す矩形領域に含まれている場合に、フォーカス制限情報が付与されていると判定する。情報取得部２５３は、フォーカス制限情報が付与されていると判定すると、Ｓ１１６に処理を移し、フォーカス制限情報が付与されていないと判定すると、Ｓ１１８に処理を移す。本実施形態では、「Ｂ氏」にフォーカス制限情報が関連付けられていることから、情報取得部２５３は、Ｓ１１６に処理を移す。
【００６５】
Ｓ１１６において、情報取得部２５３は、画像処理装置２００の第２ユーザのＳＮＳにおける友人登録情報をデータベース３００から取得する（Ｓ１１６）。続いて、リフォーカス画像生成部２５４は、情報取得部２５３が取得した友人登録情報に基づいて、フォーカス制限情報に含まれている第１識別情報と第２識別情報とが関係性があるか否かを判定することにより、第１ユーザが第２ユーザの友人として登録されているか否かを判定する（Ｓ１１７）。リフォーカス画像生成部２５４は、第２ユーザが第１ユーザの友人として登録されていると判定すると、Ｓ１１８に処理を移し、選択された被写体にフォーカス位置を設定したフォーカス情報を生成する。また、リフォーカス画像生成部２５４は、第２ユーザが第１ユーザの友人として登録されていないと判定すると、フォーカス情報をデフォルトフォーカス情報に維持する。
【００６６】
Ｓ１１９において、リフォーカス画像生成部２５４は、フォーカス情報に基づいて、ＬＦ画像の再構築を行うことにより、リフォーカス画像データを生成する。
続いて、表示制御部２５５は、Ｓ１１９において生成されたリフォーカス画像データに基づく画像を表示部２３０に表示させる（Ｓ１２０）。
【００６７】
例えば、表示制御部２５５は、Ｓ１１７において、第１識別情報と第２識別情報との間の関係性に基づいて、第２ユーザが第１ユーザの友人として登録されていると判定されると、図１３（ｂ）に示すように、「Ｂ氏」にフォーカスが合う位置にフォーカス位置が変更された画像を表示部２３０に表示させる。また、表示制御部２５５は、Ｓ１１７において、第１識別情報と第２識別情報との間の関係性に基づいて、第２ユーザが第１ユーザの友人として登録されていないと判定されると、図１３（ｃ）に示すように、「Ａ氏」にフォーカスが合う位置にフォーカス位置が維持された画像を表示部２３０に表示させる。
【００６８】
この際、表示制御部２５５は、図１３（ｃ）に示すように、被写体に対する表示領域にフォーカス位置の設定に制限がかかっていることを示す情報として、「フォーカスが制限されています」というメッセージを表示部２３０に表示させる。表示制御部２５５は、当該メッセージを、第２ユーザが選択した被写体である「Ｂ氏」に関連した位置に表示させる。このようにすることで、画像処理装置２００は、ＬＦ画像を閲覧する第２ユーザに、フォーカスが制限されていることを認識させることができるので、第２ユーザが、画像処理装置２００が故障していると勘違いすることを防止できる。
【００６９】
以上の手順により、画像処理装置２００は、ＬＦ画像データに写っている第１ユーザの友人として登録されていない第２ユーザが、当該ＬＦ画像データに基づく画像を閲覧する場合に、当該ＬＦ画像データに写っている第１ユーザである「Ｂ氏」にフォーカスが合うことを制限して、第１ユーザのプライバシーを確保しつつ、特定の人がユーザを視認できるようにすることが可能になる。
【００７０】
（変形例１）
上記の説明においては、画像処理装置２００の表示制御部２５５が、フォーカス制限情報に含まれている第１識別情報と、画像処理装置２００を使用する第２ユーザを識別する第２識別情報との関係性に基づいて、ＬＦ画像データに含まれる一部の領域の奥行き方向の位置とは異なる位置にフォーカス位置が設定されたリフォーカス画像データを出力する例について説明したが、フォーカス制限情報には、フォーカスを制限する対象となる領域を特定するための座標を含み、第１識別情報を含まないようにしてもよい。
【００７１】
この場合、データベース３００は、ＬＦ画像データに、当該ＬＦ画像データをデータベース３００に送信した第１ユーザに対応する第１識別情報を関連付けて記憶する。そして、情報取得部２５３が、再生対象のＬＦ画像データに関連付けられている第１識別情報をデータベース３００から取得し、リフォーカス画像生成部２５４が、当該第１識別情報と、第２識別情報との関係性に基づいて、フォーカス制限情報に含まれている座標に対応する領域の奥行き方向の位置とは異なる位置にフォーカス位置が設定されたリフォーカス画像データを生成する。そして、表示制御部２５５は、当該リフォーカス画像データを出力する。このようにすることで、ＬＦ画像データをデータベース３００にアップロードした第１ユーザと、当該ＬＦ画像データに対応する画像を閲覧する第２ユーザとが友人登録されていない場合に、第２ユーザが閲覧する画像において、第１ユーザが不特定多数の人に見られたくない領域をぼかして表示できるので、第１ユーザのプライバシーを確保しつつ、特定の人が第１ユーザを視認できるようにすることが可能になる。
【００７２】
（変形例２）
上記の説明においては、デフォルトフォーカス情報において、フォーカス制限情報が含む座標に対応する領域にフォーカス位置が設定されていない例について説明した。しかしながら、デフォルトフォーカス情報においてフォーカス位置が設定されている領域にフォーカス制限がかけられる場合が考えられる。
【００７３】
そこで、情報取得部２５３は、デフォルトフォーカス画像の表示時において、フォーカス制限がかけられている領域にフォーカス位置が設定されているか否かを判定し、当該領域にフォーカス位置が設定されていると判定した場合に、第２識別情報を取得してもよい。リフォーカス画像生成部２５４は、フォーカス制限情報に含まれる第１識別情報と取得された第２識別情報との関係性に基づいて、フォーカス制限がかけられている領域に含まれる被写体の奥行き方向の位置とは異なる位置にフォーカス位置が設定されたリフォーカス画像データを生成する。そして、表示制御部２５５は、当該リフォーカス画像データに基づく画像を表示部２３０に表示させる。このようにすることで、図１２のＳ１１３におけるデフォルトフォーカス情報に基づく表示時において、画像を閲覧する第２ユーザが、フォーカス制限がかけられている領域に含まれている第１ユーザの友人として登録されていない場合に、第１ユーザにフォーカス位置が設定されないようにして、第１ユーザのプライバシーを確保しつつ、第１ユーザと所定の関係がある特定の人が第１ユーザの画像を視認できるようにすることが可能になる。
【００７４】
（変形例３）
上記の説明においては、第２ユーザが第１ユーザの友人として登録されている場合に、画像処理装置２００が、図１３（ｂ）に示すように、第１ユーザである「Ｂ氏」にフォーカスが合っており、「Ａ氏」にフォーカスが合っていない画像を表示する例について説明した。これに対して、画像処理装置２００は、第２ユーザが第１ユーザの友人として登録されている場合に、「Ａ氏」及び「Ｂ氏」の両方にフォーカスが合った画像を出力してもよい。このようにすることで、「Ａ氏」が第２ユーザである場合に、第２ユーザは、友人関係にある第１ユーザと自分自身の両方にフォーカスが合った画像を閲覧することが可能になる。
【００７５】
（変形例４）
上記の説明においては、フォーカス制限情報に、フォーカス制限をかける領域の座標を含む例について説明したが、フォーカス制限をかける領域の座標に代えて、又はフォーカス制限をかける領域の座標とともに、フォーカス制限をかける領域に対応する奥行き情報をフォーカス制限情報に含めてもよい。フォーカス制限をかける領域に対応する奥行き情報は、フォーカス制限をかける領域に含まれる被写体にフォーカスが合う奥行き方向のフォーカス位置の範囲を示す情報である。画像処理装置２００は、第１識別情報と第２識別情報との関係性に基づいて、フォーカス制限情報に含まれる奥行き情報が示すフォーカス位置の範囲にフォーカスが合わせるか否かを制御することにより、第１ユーザのプライバシーを確保しつつ、第１ユーザと所定の関係がある特定の人が第１ユーザの画像を視認できるようにすることが可能になる。
【００７６】
［第１の実施形態における効果］
以上説明したように、第１の実施形態に係る情報共有システム１においては、画像編集装置１００が、第１ユーザから取得したＬＦ画像に含まれる少なくとも一部の領域に関連付けて、第１ユーザに対応する第１識別情報を含み、フォーカス位置が設定されることを制限するフォーカス制限情報を生成し、当該フォーカス制限情報が付与されたＬＦ画像データを出力する。また、第１の実施形態に係る情報共有システム１においては、画像処理装置２００が、ＬＦ画像に含まれる少なくとも一部の領域に対応する第１識別情報を取得するとともに、ＬＦ画像を閲覧する第２ユーザに対応する第２識別情報を取得し、当該第１識別情報と第２識別情報との関係性に基づいて、当該一部の領域の奥行き方向の位置とは異なる位置にフォーカス位置が設定されたリフォーカス画像データを出力する。
【００７７】
このようにすることで、第２ユーザがＬＦ画像を閲覧する場合において、第２ユーザが、当該ＬＦ画像の一部の領域フォーカス制限情報に含まれる第１識別情報に対応する第１ユーザと所定の関係がないとき、当該一部の領域にフォーカスが合った画像を閲覧することができない。したがって、ＬＦ画像データに含まれる被写体が不特定多数の人に視認されることを防ぎつつ、特定の人が被写体を視認できるようにすることができる。その結果、例えば、ＬＦ画像データの一部の領域に含まれる第１ユーザのプライバシーを確保しつつ、第１ユーザと所定の関係がある特定の人が第１ユーザの画像を視認できるようにすることができる。
【００７８】
＜第２の実施形態＞
続いて、第２の実施形態について説明する。第１の実施形態においては、画像編集装置１００が、第１ユーザが使用する端末であり、画像処理装置２００が、第２ユーザが操作する端末である例について説明したが、第２の実施形態は、クラウド上のサーバ４００が画像編集装置及び画像処理装置として機能する点で第１の実施形態と異なる。以下に、第２の実施形態について説明する。なお、以下の説明において、第１の実施形態と同様の構成については、適宜説明を省略する。
【００７９】
［情報共有システム１の構成］
図１４は、第２の実施形態に係る情報共有システム１の構成を示す図である。情報共有システム１は、データベース３００と、サーバ４００と、複数のユーザ端末５００（５００ａ，５００ｂ，５００ｃ）とを含んで構成されている。サーバ４００は、第１の実施形態に係る画像編集装置１００及び画像処理装置２００と同様の機能を有している。ユーザ端末５００は、例えば、スマートフォン等の通信端末であり、サーバ４００を介してデータベース３００にＬＦ画像データをアップロードしたり、サーバ４００を介して提供されるＬＦ画像データに基づく画像を表示したりすることができる。本実施形態において、ユーザ端末５００ａは、ＬＦ画像データにフォーカス制限情報を付す第１ユーザの端末であり、ユーザ端末５００ｂは、ＬＦ画像データに基づくリフォーカス画像を閲覧する第２ユーザの端末であるものとする。
【００８０】
図１５は、第２の実施形態に係るサーバ４００の構成を示す図である。図１５において、図１０に示した画像処理装置２００と同一の名称で示す構成部は、画像処理装置２００が有する構成部と同等の機能を有する。サーバ４００は、通信回線を介して接続されたユーザ端末５００ａからアップロードされたＬＦ画像データをデータベース３００に格納する。また、サーバ４００は、データベース３００に格納されたＬＦ画像データを、通信回線を介して接続されたユーザ端末５００ｂに提供する。
【００８１】
サーバ４００は、通信部４１０と、記憶部４４０と、制御部４５０とを有する。
通信部４１０は、データベース３００とユーザ端末５００との間でＬＦ画像データ及び各種情報を送受信するための通信インターフェイスである。
記憶部４４０は、不揮発性メモリを含んでおり、制御部４５０が実行する画像処理用プログラムを記憶している。記憶部４４０は、揮発性メモリを含んでおり、制御部４５０が画像処理用プログラムを実行することにより生成される各種データを一時的に記憶する。
【００８２】
制御部４５０は、例えばＣＰＵであり、記憶部４４０に記憶された画像処理用プログラムを実行することにより、サーバ４００の各部を制御する。制御部４５０は、画像取得部４５２、情報取得部４５３、リフォーカス画像生成部４５４、フォーカス制限情報生成部４５６、画像出力部４５７及び出力部４５８として機能する。以下、制御部４５０により提供される各機能部の構成について説明する。
【００８３】
画像取得部４５２は、通信部４１０を介して、ユーザ端末５００から、データベース３００にアップロードする対象のＬＦ画像データを受信する。
情報取得部４５３は、アップロードする対象のＬＦ画像データとともにユーザ端末５００ａから送信されるアップロード要求を受信する。アップロード要求には、アップロードを行ったユーザ端末５００ａの第１ユーザを識別するためのユーザ識別情報である第１識別情報が含まれている。情報取得部４５３は、第１識別情報に基づいて、データベース３００から、アップロードした第１ユーザのユーザプロファイル情報を取得する。情報取得部４５３は、第１ユーザの顔画像情報をユーザプロファイル情報から取得する。情報取得部４５３は、第１識別情報及び抽出した顔画像情報をフォーカス制限情報生成部４５６に出力する。
【００８４】
フォーカス制限情報生成部４５６は、情報取得部４５３が、顔画像情報を取得すると、ＬＦ画像データに含まれる少なくとも一つの領域にフォーカス位置が設定されることを制限するフォーカス制限情報を生成する。フォーカス制限情報生成部４５６が有する機能は、第１の実施形態に係るフォーカス制限情報生成部１５３と同等の機能であるので説明を省略する。
【００８５】
画像出力部４５７は、フォーカス制限情報生成部４５６により生成されたフォーカス制限情報が付与されたＬＦ画像データをデータベース３００に出力する。画像出力部４５７が有する機能は、第１の実施形態に係る画像出力部１５４と同等の機能であるので説明を省略する。
【００８６】
情報取得部４５３は、通信部４１０を介して、ユーザ端末５００ｂからＬＦ画像の再生開始指示情報を受信する。再生開始指示情報には、再生開始指示を行ったユーザ端末５００ｂの第２ユーザを識別するためのユーザ識別情報である第２識別情報が含まれている。情報取得部４５３は、第２識別情報に基づいて、再生開始指示を行ったユーザ端末５００ｂの第２ユーザのユーザプロファイル情報をデータベース３００から受信する。情報取得部４５３が取得する第２ユーザのユーザプロファイル情報には、第２ユーザの友人登録情報が含まれている。
【００８７】
リフォーカス画像生成部４５４は、フォーカス制限情報に基づいて、ＬＦ画像データに含まれる少なくとも一部の領域に含まれる被写体の奥行き方向の位置とは異なる位置にフォーカス位置が設定されたリフォーカス画像データを生成する。リフォーカス画像生成部４５４が有する機能は、第１の実施形態に係るリフォーカス画像生成部２５４と同等の機能であるので説明を省略する。
【００８８】
出力部４５８は、リフォーカス画像生成部４５４が生成したリフォーカス画像データを、再生開始指示情報を送信したユーザ端末５００ｂに出力する。出力部４５８は、フォーカス制限情報に基づいて、ＬＦ画像の一部の領域の奥行き方向の位置とは異なる位置にフォーカス位置が設定されたリフォーカス画像データを、再生開始指示情報を送信したユーザ端末５００ｂに出力する。ユーザ端末５００ｂは、サーバ４００から取得したリフォーカス画像データを自身の表示部に表示させる表示制御部を有しており、リフォーカス画像データを取得したことに応じて、ＬＦ画像に含まれる一部の領域をぼかした画像を自身の表示部に表示させることができる。
【００８９】
［情報共有システム１における動作手順を示すフローチャート］
図１６は、第２の実施形態に係るサーバ４００及びユーザ端末５００ａのＬＦ画像データのアップロード時の動作手順を示すフローチャートである。
まず、ユーザ端末５００ａは、第１ユーザからＬＦ画像データのアップロード指示を受け付けると、アップロードの対象となるＬＦ画像データを自身の記憶部から取得し、サーバ４００に送信する（Ｓ２０１）。
画像取得部４５２は、ユーザ端末５００ａから送信されたＬＦ画像データを取得する（Ｓ２０２）。
【００９０】
続いて、ユーザ端末５００ａは、第１ユーザからＬＦ画像データのアップロード指示を受け付けたことに応じて第１識別情報を取得し、サーバ４００に送信する（Ｓ２０３）。
情報取得部４５３は、ユーザ端末５００ａから送信された第１識別情報を受信する（Ｓ２０４）。
Ｓ２０５からＳ２１０までの処理は、第１の実施形態における図１１に示す画像編集装置１００の動作手順を示すフローチャートのＳ１０４からＳ１０９までの処理と同じであるので説明を省略する。
【００９１】
図１７は、第２の実施形態に係るサーバ４００及びユーザ端末５００ｂのＬＦ画像の表示時の動作手順を示すフローチャートである。
まず、ユーザ端末５００ｂは、ＬＦ画像データを選択するための操作画面を自身の表示部に表示させ、ＬＦ画像の再生開始指示を受け付ける（Ｓ２１１）。ユーザ端末５００ｂは、操作画面において表示対象のＬＦ画像データが選択され、再生開始指示を受け付けたことに応じて、当該ＬＦ画像データを特定するための画像特定情報をサーバ４００に送信する。
【００９２】
続いて、画像取得部４５２は、ユーザ端末５００ｂから受信した画像特定情報に基づいて、データベース３００からＬＦ画像データを取得する（Ｓ２１２）。
続いて、リフォーカス画像生成部４５４は、Ｓ２１２において取得されたＬＦ画像データに含まれるデフォルトフォーカス情報に基づいて、ＬＦ画像データの再構築を行う。出力部４５８は、再構築が行われたリフォーカス画像データをユーザ端末５００ｂに送信する（Ｓ２１４）。
ユーザ端末５００ｂが画像データを受信すると（Ｓ２１４）、ユーザ端末５００ｂの表示制御部は、当該画像データに基づいて自身の表示部に画像を表示させる（Ｓ２１５）。
【００９３】
続いて、ユーザ端末５００ｂは、ユーザから、新たにフォーカス位置を合わせる被写体を選択する指示を受け付ける（Ｓ２１６）。ユーザ端末５００ｂは、被写体が選択されたことを示す被写体選択情報をサーバ４００に送信する。被写体選択情報には、画像特定情報及びＬＦ画像において選択された位置を示す位置情報が含まれている。
【００９４】
サーバ４００の情報取得部４５３が被写体選択情報を受信すると、画像取得部４５２は、被写体選択情報に含まれる画像特定情報に基づいて、データベース３００からＬＦ画像データを取得する（Ｓ２１７）。
リフォーカス画像生成部４５４は、被写体選択情報に含まれる位置情報に基づいて、ＬＦ画像データにおいて、選択された被写体に対応する表示領域にフォーカス制限情報が付与されているか否かを判定する（Ｓ２１８）。リフォーカス画像生成部４５４は、フォーカス制限情報が付与されていると判定すると、Ｓ２１９に処理を移し、フォーカス制限情報が付与されていないと判定すると、Ｓ２２１に処理を移す。
Ｓ２１９からＳ２２２までの処理は、第１の実施形態における図１２に示す画像処理装置２００の動作手順を示すフローチャートのＳ１１６からＳ１１９までの処理と同じであるので説明を省略する。
【００９５】
Ｓ２２３において、出力部４５８は、Ｓ２２２において生成されたリフォーカス画像データをユーザ端末５００ｂに送信する。
ユーザ端末５００ｂがリフォーカス画像データを受信すると（Ｓ２２４）、ユーザ端末５００ｂの表示制御部は、当該リフォーカス画像データに基づく画像を自身の表示部に表示させる（Ｓ２２５）。
【００９６】
［第２の実施形態における効果］
以上説明したように、第２の実施形態に係る情報共有システム１においては、サーバ４００が、第１の実施形態に係る画像編集装置１００及び画像処理装置２００と同等の機能を有している。このようにすることで、ユーザ端末５００が汎用の端末である場合であっても、ユーザは、ＬＦ画像の一部の領域に含まれる被写体にフォーカスが合った画像を、不特定多数の人が閲覧することができないようにすることができる。
【００９７】
＜第３の実施形態＞
続いて、第３の実施形態について説明する。第３の実施形態は、クラウド上のデータベース３００にアップロードされている複数のＬＦ画像データに対して一括でフォーカス制限情報を付与する点で第２の実施形態と異なる。以下に、第３の実施形態について、ＬＦ画像データへのフォーカス制限情報を付与する際の、サーバ４００及びユーザ端末５００ａ動作手順を示すフローチャートを参照しながら説明する。
【００９８】
図１８は、第３の実施形態に係るサーバ４００及びユーザ端末５００ａのＬＦ画像データへのフォーカス制限情報の一括付与に係る動作手順を示すフローチャートである。
まず、ユーザ端末５００ａは、第１ユーザがアップロードした複数のＬＦ画像データから、フォーカス制限情報を付与するＬＦ画像を選択する選択画面を自身の表示部に表示する。ユーザ端末５００ａは、選択された複数のＬＦ画像データに対するフォーカス制限情報の一括付与の指示を受け付ける。ユーザ端末５００ａは、一括付与を指示する指示情報をサーバ４００に送信する（Ｓ３０１）。指示情報には、複数のＬＦ画像データのそれぞれの画像特定情報が含まれている。
【００９９】
情報取得部４５３が、ユーザ端末５００ａから送信されたフォーカス制限情報の一括付与を指示する指示情報を受信すると、画像取得部４５２は、当該指示情報に含まれる画像特定情報に基づいて、データベース３００からＬＦ画像データを取得する（Ｓ３０２）。
【０１００】
続いて、ユーザ端末５００ａは、第１ユーザからフォーカス制限情報の一括付与の指示を受け付けたことに応じて、第１ユーザを識別するための第１識別情報を自身の記憶部から取得し、サーバ４００に送信する（Ｓ３０３）。
情報取得部４５３は、ユーザ端末５００ａから送信された第１識別情報を受信する（Ｓ３０４）。
Ｓ３０５からＳ３０９までの処理は、第２の実施形態における図１６に示すサーバ４００の動作手順を示すフローチャートのＳ２０５からＳ２０９までの処理と同じであるので説明を省略する。
【０１０１】
Ｓ３１０において、フォーカス制限情報生成部４５６は、フォーカス制限情報の一括付与の対象である全てのＬＦ画像データについて、Ｓ３０７からＳ３０９に示す処理が行われたか否かを判定する。フォーカス制限情報生成部４５６は、全てのＬＦ画像データについて処理が行われたと判定するとＳ３１１に処理を移し、全てのＬＦ画像データについて処理が行われていないと判定するとＳ３０７に処理を移す。
Ｓ３１１において、画像出力部４５７は、処理済みの全てのＬＦ画像データをデータベース３００に送信し、データベース３００におけるＬＦ画像データを更新する。
【０１０２】
［第３の実施形態における効果］
以上説明したように、第３の実施形態に係るサーバ４００は、複数のＬＦ画像データに対して一括してフォーカス制限情報を付与することができるので、ユーザが多数のＬＦ画像データをアップロードしたい場合に、ユーザの利便性を向上させることができる。
【０１０３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１０４】
１００・・・画像編集装置
１５１・・・画像取得部
１５２・・・情報取得部
１５４・・・画像出力部
２００・・・画像処理装置
２５２・・・画像取得部
２５３・・・情報取得部
２５５・・・表示制御部
【図１】
2017097653.tif 000005
【図２】
2017097653.tif 000006
【図３】
2017097653.tif 000007
【図４】
2017097653.tif 000008
【図５】
2017097653.tif 000009
【図６】
2017097653.tif 000010
【図７】
2017097653.tif 000011
【図８】
2017097653.tif 000012
【図９】
2017097653.tif 000013
【図１０】
2017097653.tif 000014
【図１１】
2017097653.tif 000015
【図１２】
2017097653.tif 000016
【図１３】
2017097653.tif 000017
【図１４】
2017097653.tif 000018
【図１５】
2017097653.tif 000019
【図１６】
2017097653.tif 000020
【図１７】
2017097653.tif 000021
【図１８】
2017097653.tif 000022