(57)【要約】【課題】送信先の人物毎にフォーカスが合った画像を提供すること。【解決手段】画像処理装置は、ライトフィールドデータに写っている被写体に送信先の人物と同一人物がいないか認証し、被写体として写っている場合には送信先の人物の被写体像のフォーカス距離を、ライトフィールドデータをリフォーカスするときのフォーカス距離とする。【選択図】図２
2014135680.tif 000002
【特許請求の範囲】
【請求項１】
被写体空間の３次元的な情報であるライトフィールドデータを取得する第１の取得手段と、
前記ライトフィールドデータを用いて、前記被写体空間に含まれる被写体を検出して被写体情報を生成して前記ライトフィールドデータに付加する生成手段と、
前記ライトフィールドデータの撮影情報に基づいて、前記ライトフィールドデータを再構成するためのフォーカス距離を設定して前記ライトフィールドデータに付加する設定手段と、
前記ライトフィールドデータを送信する対象である外部装置に対応する被写体の情報を取得する第２の取得手段と、
第２の取得手段によって取得した前記外部装置に対応する被写体を、前記ライトフィールドデータに付加された被写体情報から検出する検出手段と、
前記検出の結果に従って、前記設定手段で設定されたフォーカス距離の更新を行なう制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記設定手段で設定されたフォーカス距離の更新が行われたライトフィールドデータを前記外部装置に送信することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の取得手段は、前記外部装置、前記外部装置とのデータ通信に用いる通信手段あるいは前記外部装置とのデータ通信に用いる通信方式が、ライトフィールドデータ対応であるかどうかを識別する対応情報を取得し、
前記制御手段は、前記対応情報に基づいて前記外部装置、前記外部装置とのデータ通信に用いる通信手段あるいは前記外部装置とのデータ通信に用いる通信方式がライトフィールドデータ対応であると判定される場合に、前記設定手段で設定されたフォーカス距離の更新が行われたライトフィールドデータを前記外部装置に送信することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記制御手段は、前記第２の取得手段が取得する前記外部装置、前記外部装置とのデータ通信に用いる通信手段あるいは前記外部装置とのデータ通信に用いる通信方式がライトフィールドデータ対応であるかどうかを識別する対応情報に基づいて前記外部装置、前記外部装置とのデータ通信に用いる通信手段あるいは前記外部装置とのデータ通信に用いる通信方式がライトフィールドデータ対応でないと判定される場合に、前記ライトフィールドデータから、前記制御手段で更新が制御されたフォーカス距離に従って再構成した画像を生成する再構成手段を備え、
前記制御手段は、前記再構成手段で生成された画像を前記外部装置に送信することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記再構成手段で生成された画像を符号化する符号化手段をさらに備えることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記制御手段は、前記検出手段が、前記ライトフィールドデータに付加された被写体情報から、前記外部装置に対応する被写体の情報が検出されなかった場合は、前記設定手段で設定されたフォーカス距離を更新しないことを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
【請求項７】
前記対応情報は、前記外部装置から受信される情報であることを特徴とする請求項２乃至６のいずれか一項に記載の画像処理装置。
【請求項８】
前記第２の取得手段は、前記ライトフィールドデータを送信する対象である外部装置に対応する被写体の情報を、予めメモリに記憶された情報から取得することを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
【請求項９】
前記第２の取得手段は、前記ライトフィールドデータを送信する対象である外部装置に対応する被写体の情報を、前記外部装置から受信することを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
【請求項１０】
被写体空間の３次元的な情報であるライトフィールドデータを取得する取得ステップと、
前記ライトフィールドデータを用いて、前記被写体空間に含まれる被写体を検出して被写体情報を生成して前記ライトフィールドデータに付加する生成ステップと、
前記取得したライトフィールドデータの撮影情報に基づいて、前記ライトフィールドデータを再構成するためのフォーカス距離を設定して前記ライトフィールドデータに付加する設定ステップと、
前記ライトフィールドデータを送信する対象である外部装置に対応する被写体の情報を取得する第２の取得ステップと、
第２の取得手段によって取得した前記外部装置に対応する被写体を、前記ライトフィールドデータに付加された被写体情報から検出する検出ステップと、
前記検出の結果に従って、前記設定手段で設定されたフォーカス距離の更新を行なう制御ステップと、
を備えることを特徴とする画像処理方法。
【請求項１１】
被写体空間の３次元的な情報であるライトフィールドデータを処理する画像処理装置を制御するプログラムであり、
コンピュータを、
被写体空間の３次元的な情報であるライトフィールドデータの取得手段、
前記取得したライトフィールドデータを用いて、前記被写体空間に含まれる被写体を検出して被写体情報を生成して前記ライトフィールドデータに付加する生成手段、
前記取得したライトフィールドデータの撮影情報に基づいて、前記ライトフィールドデータを再構成するためのフォーカス距離を設定して前記ライトフィールドデータに付加する設定手段、
前記ライトフィールドデータを送信する対象である外部装置に対応する被写体の情報を取得する第２の取得手段、
第２の取得手段によって取得した前記外部装置に対応する被写体を、前記ライトフィールドデータに付加された被写体情報から検出する検出手段、
前記検出の結果に従って、前記設定手段で設定されたフォーカス距離の更新を行なう制御手段、
として機能させるプログラム。
【請求項１２】
請求項１１のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
【請求項１３】
コンピュータを、請求項１乃至９のいずれか一項に記載された画像処理装置の各手段として機能させるプログラム。
【請求項１４】
コンピュータを、請求項１乃至９のいずれか一項に記載された画像処理装置の各手段として機能させるプログラムを格納した記憶媒体。
【請求項１５】
被写体空間の３次元的な情報であるライトフィールドデータを得るための撮像信号を取得する撮像手段と、
請求項１乃至９のいずれか一項に記載の画像処理装置と、
前記外部装置と通信するための通信手段と、
指示を入力する操作手段と、
前記操作手段で入力された指示に従って選択された外部装置、前記外部装置とのデータ通信に用いる通信手段あるいは前記外部装置とのデータ通信に用いる通信方式の情報に基づいて、前記画像処理装置で得られたライトフィールドデータおよび再構成画像のいずれかを前記外部装置に送信する通信手段と、
を備えることを特徴とする撮像装置。
【請求項１６】
前記制御手段は、前記通信手段を制御し、前記操作手段で入力された指示に従って選択された外部装置の情報を前記選択された外部装置から取得することを特徴とする請求項１５に記載の撮像装置。
【請求項１７】
前記制御手段は、前記操作手段で入力された指示に従って選択された外部装置の情報に基づいて、前記第１の取得手段が取得したライトフィールドデータを選択することを特徴とする請求項１６に記載の撮像装置。
【請求項１８】
前記操作手段は、ライトフィールドデータに付加されたフォーカス距離を変更する指示を入力し、前記再構成手段は、前記指示に従って変更されたフォーカス距離に基づいてライトフィールドデータを再構成することを特徴とする請求項１５乃至１７のいずれか一項に記載の撮像装置。
【請求項１９】
外部装置と通信する通信手段と、
被写体空間の３次元的な情報であるライトフィールドデータを取得する第１の取得手段と、
前記通信手段を介して取得した前記外部装置の情報に基づいて、前記取得したライトフィールドデータの、前記被写体空間に含まれる被写体とそのフォーカス距離を示す被写体情報から前記外部装置に対応する被写体の情報を検出する検出手段と、
前記検出の結果に従って、前記ライトフィールドデータを再構成するためのフォーカス距離を決定し、前記決定したフォーカス距離に基づいて前記ライトフィールドデータを再構成して再構成画像を生成する再構成手段と、
前記外部装置からの指示に応じて、前記再構成画像を前記外部装置に前記通信手段を介してダウンロードするダウンロード手段と、
を備えることを特徴とするサーバ装置。
【請求項２０】
前記外部装置は請求項１５乃至１７のいずれか一項に記載の撮像装置であることを特徴とする請求項１９に記載のサーバ装置。
【請求項２１】
前記被写体情報は、前記取得手段が取得するライトフィールドデータに付加されていることを特徴とする請求項１９又は２０に記載のサーバ装置。
【請求項２２】
前記取得したライトフィールドデータを用いて、前記被写体空間に含まれる被写体を検出して被写体情報を生成して前記ライトフィールドデータに付加する生成手段と、
前記取得したライトフィールドデータの撮影情報に基づいて、前記ライトフィールドデータを再構成するためのフォーカス距離を設定する設定手段を備え、前記検出手段は、前記生成手段で生成された被写体情報から前記外部装置に対応する被写体の情報を検出することを特徴とする請求項１９乃至２１のいずれか一項に記載のサーバ装置。
【請求項２３】
前記通信手段は前記外部装置からフォーカス距離の変更の指示を受信し、前記再構成手段は、前記受信された指示により変更されたフォーカス距離に基づいて、前記取得されたライトフィールドデータを再構成して画像を生成することを特徴とする請求項１９乃至２２のいずれか一項に記載のサーバ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ライトフィールドデータの処理を行う画像処理装置に関する。
【背景技術】
【０００２】
被写体を多くの視点から撮影した画像をもとに、任意のフォーカス距離、被写界深度、視点の画像を生成する方法があった。
【０００３】
例えば、非特許文献１は、撮像素子の前面に複数画素に対し１つの割合で並ぶマイクロレンズアレイを配置することで、光の２次元強度分布だけでなく撮像素子に入射する光線の入射方向の情報を取得し、被写体空間の３次元的な情報を得ることを開示している。
【０００４】
上述のように被写体空間の３次元的な情報を得ることが可能な撮像装置をライトフィールドカメラと呼んでいる。
【０００５】
また、被写体空間の３次元的な情報をライトフィールドデータと呼ばれ、ライトフィールドデータの取得と撮影後の画像再構成処理によって、画像のピント位置変更や、撮影視点の変更、被写界深度の調節等のリフォーカスと呼ばれる画像処理が可能となる。
【０００６】
このようなリフォーカス可能なライトフィールドデータを閲覧する場合には、画像表示時にどの焦点位置にリフォーカスした画像を最初に表示したらよいのか、という判断が難しい場合がある。この問題を解決するため、特許文献１では、画像からオブジェクトを抽出し、そのオブジェクトの存在する位置に合焦したリフォーカス画像を表示している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１１−２２７９６号公報
【非特許文献】
【０００８】
【非特許文献１】Ren.Ng、他７名，「Light Field Photogrphy with  Hnd-Held Plenoptic Cmer」，Stnford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述のように、ライトフィールドカメラでは、撮影後に所望のフォーカス距離を選択し再構成できる。このため、複数のフォーカス距離のうち撮影時のフォーカス距離や主被写体等の情報を用いてライトフィールドデータを最初に表示する時のフォーカス距離を決定し、デフォルトフォーカス距離として記憶しておく必要がある。
【００１０】
しかし、複数の人物が写っているライトフィールドデータの場合など、主被写体とフォーカス距離が異なる被写体がある場合もある。その場合、ライトフィールドデータを各人物へ送る時に、主被写体にデフォルトフォーカス距離を決定してしまうと、次のような問題がある。主被写体とフォーカス距離が違う被写体の人物が送り先の人物であるとき、送り先において再構成されたライトフィールドデータは当事者の像がピンボケした画像として最初に表示されてしまう。
【００１１】
同様に、ライトフィールドデータを再構成して画像を各人物に送る場合も、主被写体をデフォルトフォーカス距離に決定してしまうと、送り先によっては、送信される画像当事者がピンボケした状態の画像となる問題がある。
【課題を解決するための手段】
【００１２】
上記問題を解決するため、本発明によれば、画像処理装置は、被写体空間の３次元的な情報であるライトフィールドデータを取得し、取得したライトフィールドデータを用いて、被写体空間に含まれる被写体を検出して被写体情報を生成して前記ライトフィールドデータに付加し、ライトフィールドデータの撮影情報に基づいて、ライトフィールドデータを再構成するためのフォーカス距離を設定してライトフィールドデータに付加し、ライトフィールドデータを送信する対象である外部装置に対応する被写体の情報に基づいて、外部装置に対応する被写体を被写体情報から検出し、検出の結果に従って、設定手段で設定されたフォーカス距離の更新を行なう。
【発明の効果】
【００１３】
本発明によれば、複数の人物が写っている画像のライトフィールドデータを送信する場合でも、送信先で最初に表示するリフォーカス画像を、当事者にフォーカスが合った状態で表示することが可能となる。
【００１４】
また、ライトフィールドデータを再構成した画像を送信する場合でも、送信先において当事者にフォーカスが合った状態の画像を表示することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施例に係る画像処理装置をライトフィールドカメラでの画像処理構成として実現するためのハードウェア構成のブロック図。
【図２】図１のライトフィールドカメラの画像処理部のブロック図。
【図３】図１のライトフィールドカメラの撮影動作のフローチャートを示す図。
【図４】図１のライトフィールドカメラの送信動作のフローチャートを示す図。
【図５】図１のライトフィールドカメラの表示動作のフローチャートを示す図。
【図６】本発明の第２の実施例に係る画像処理装置をライトフィールドカメラとクラウドサーバでの画像処理構成してと実現するための、クラウドサーバの画像処理部のブロック図。
【図７】図６のクラウドサーバにおけるダウンロード候補画像の表示動作のフローチャートを示す図。
【図８】図６のクラウドサーバにおける画像のダウンロード動作のフローチャートを示す図。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の好ましい実施形態を詳細に説明する。
【００１７】
＜実施例１＞
図１は、本発明の第１の実施例に係る画像処理装置をデジタルカメラなどの撮像装置でのライトフィールドデータの画像処理構成として実現するための当該カメラのブロック図であり、撮影、再生、送受信の各動作のためのハードウェア構成を示す。
【００１８】
同図において、デジタルカメラは、被写体空間の３次元的な情報であるライトフィールドデータを得るための撮像信号を取得する撮像部１００２、ユーザがズームや撮影、送信画像選択等の指示を入力するためのボタンやレバー等の操作部１００３を有する。また、他のカメラやネットワークに接続するためのUSB、HDMI等の有線端子、WiFi等を含む通信I/F１００４、撮影画像やメニュー等を表示する液晶ディスプレイ等の表示部１００５、画像や処理中のデータ等を保存するためのDRAM等の作業メモリ１００６を備える。さらには、ライトフィールドデータの再構成や、ＪＰＥＧ圧縮等の画像処理をする画像処理部１００７、操作部からの指示やプログラムされた制御シーケンスを実行するCPU等の制御部１００８を有している。また、制御部１００８の用いる各種テーブルや処理後の画像データを記憶するメモリ１００９も備えている。メモリ１００９としては着脱可能な記録媒体等も含むものとする。上記各部は、バス１００１を介して電気的に接続されている。
【００１９】
なお、撮像部１００２としては、特許文献１のように、複数の視点の異なるカメラをまとめて撮像部１００２とみなす構成や、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子などが非特許文献１などから周知であり、また本発明とは直接関係無いので、ここでの説明は省略する。
【００２０】
以下、図２〜図５を参照して、図１に示すデジタルカメラの動作を説明する。
【００２１】
第１の実施例では、ライトフィールドデータを外部装置に送信して表示するための画像処理構成を例に本発明を説明する。本実施例は、送信元が図１のライトフィールドデータを撮像可能なデジタルカメラ（以下、単にライトフィールドカメラと記す）であり、送信先が同様のライトフィールドカメラもしくは通常のデジタルカメラの場合である。本実施例では、送信元のカメラは、送信先のカメラがライトフィールドデータの再構成を可能としているかどうかを識別し、ライトフィールドデータを送信するか送信元で再構成してＪＰＥＧ画像として送信するかを判断する。
【００２２】
図２は図１のライトフィールドカメラにおける画像処理部１００７の詳細ブロック図である。なお、同図において図１に示されている部分は図１と同じ符号を付して示す。
【００２３】
同図において、ライトフィールド生成部２００３は撮像部１００２で撮影したアナログデータをライトフィールドデータに変換する。被写体検出部２００４は、パンフォーカス画像で顔検出を行い、その結果から顔ごとのフォーカス距離と顔画像を記憶した顔リストを作成する。個人認証部２００５は、送信先に対応した個人認証データを使用し、顔リストにある顔を順に個人認証し同一人物かどうか認証する。以下、本実施形態では、検出する被写体情報や認証する情報として顔情報を例に説明するが、被写体検出としては顔検出に限らず、特定の形状や特徴によって検出、識別可能な被写体であれば、例えば他の物体や動物などでもよい。
【００２４】
また、ヘッダ付加部２００６は、作成した顔位置リストをライトフィールドデータのヘッダ部に付加し、ヘッダ解析部２００７はライトフィールドデータのヘッダを解析して顔リストを読み出す。ライトフィールドデータ再構成部２００８は、デフォルトフォーカス距離でライトフィールドデータを再構成し、ＪＰＥＧ符号部２０１０およびＪＰＥＧ復号部２００９はそれぞれ、再構成した画像をＪＰＥＧ圧縮により符号化しおよび圧縮した画像を伸張して復号する。画像加工部２０１１は、画像のサイズを表示サイズに変更するなどの画像加工処理を行う。
【００２５】
上述した画像処理部１００７の各部の動作は、制御部１００８によって制御される。
【００２６】
次に、図１のライトフィールドカメラの撮影動作について、図３のフローチャートを使用して説明する。この動作は、制御部１００８がプログラムされた制御シーケンスを実行することで行なわれ、各部の動作は制御部１００８からの指示によって行なわれる。
【００２７】
まず、ステップＳ３００１において、ライトフィールド生成部２００３は撮像部１００２で撮影したアナログデータを取得してライトフィールドデータに変換する（第１の取得手段）。
【００２８】
ステップＳ３００２において、ライトフィールドデータ再構成部２００６は、変換されたライトフィールドデータをパンフォーカス画像に再構成する。次いで、被写体検出部２００４が、再構成されたパンフォーカス画像を用いて顔検出を行い、その結果から顔ごとのフォーカス距離と顔画像を記憶した顔リスト（被写体情報）を生成する。
【００２９】
ステップＳ３００３において、ヘッダ付加部２００６が、作成された顔位置リストをライトフィールドデータのヘッダ部に付加する。
【００３０】
ステップＳ３００４では、ヘッダ付加部２００６が、撮影情報に一つである撮影時のフォーカス距離をデフォルトフォーカス距離として設定してヘッダに付加する。デフォルトフォーカス距離は、ライトフィールドデータを再構成するときに、どの被写体に焦点を合わせるかを示す情報である。
【００３１】
次に、図１のライトフィールドカメラの送信動作について図４のフローチャートを使用して説明する。本動作も、制御部１００８がプログラムされた制御シーケンスを実行することで行なわれ、各部の動作は制御部１００８からの指示によって行なわれる。
【００３２】
ステップＳ４００１において制御部１００８は、ユーザが操作部１００３を操作することにより、表示部１００５に表示されている撮影したライトフィールドデータリストから、送信するライトフィールドデータを指示して決定する。
【００３３】
ステップＳ４００２において、制御部１００８は、ユーザが操作部１００３を操作することにより、決定されたライトフィールドデータを送信する送信先（ライトフィールドデータを出力するＩ／Ｆあるいは外部装置）を指示して決定する。ここで、決定された送信先に基づいて、制御部１００８は、メモリ１００９より、送信先に対応した個人認証データ（送信相手あるいは送信相手に関連づけられた被写体の情報）を取得する（第２の取得手段）。
【００３４】
ステップＳ４００３において、ヘッダ解析部２００７は、送信対象のライトフィールドデータのヘッダを解析し、顔リストを読み出す。次いで、個人認証部２００５が、送信先に対応した個人認証データを使用して読み出された顔リストにある顔を順に個人認証し、送信相手あるいは送信相手に関連づけられた被写体と同一人物であるかどうかを認証する。なお、本実施例では、個人認証データが送信先と対応づけられてメモリ１００９に保持されているものとする。また、送信先に対応した個人認証データとしては、必ずしも送信相手そのものではなく、送信相手に関連づけられた被写体であってもよい。例えば、送信相手の家族や親しい友人、ペットなどでもよい。この場合、個人認証データとして送信相手に関連づけられた被写体がグルーピングされて記録されているか、送信先の指定する関連づけられた被写体の情報をサーバあるいは送信先から受信して、該当する被写体を認証してもよい。
【００３５】
ステップＳ４００４において、制御部１００８は、通信Ｉ／Ｆ１００４を制御して送信先の装置からライトフィールドデータ対応の装置かどうかを識別するための対応情報を受信して取得する。ここで、送信先の装置がライトフィールドデータ対応であるかどうかを識別するための情報は、送信先のリストと共に予めメモリ１００９に記憶されていてもよく、この場合、制御部１００８は、メモリ１００９に記憶された情報に基づいて該情報を取得する。また、本実施例では、送信先の装置がライトフィールドデータ対応であるかどうかを識別しているが、通信Ｉ／Ｆ１００４のうち、データ通信に用いるように選択されたインターフェース（通信手段）がライトフィールドデータに対応しているかどうかを識別してもよい。また、例えばユーザが送信先の装置を踏まえて通信方式を選択する場合に、選択された通信方式がライトフィールドデータに対応しているかどうかを識別してもよい。
【００３６】
ステップＳ４００５において、受信した情報が送信先の装置がライトフィールドデータ対応であることを示している場合は、ステップＳ４００６に進む。送信先の装置がライトフィールドデータ対応でないことを示している場合は、ステップＳ４００９に進む。
【００３７】
ステップＳ４００６では、個人認証部２００５が、顔リストに送信相手あるいは送信相手に関連づけられた被写体と同一人物の顔があると判定したかどうかを判別し、送信相手あるいは送信相手に関連づけられた被写体と同一人物の顔があると判定したと判別された場合は、ステップＳ４００７に進む。送信相手あるいは送信相手に関連づけられた被写体と同一人物の顔がないと判定したと判別された場合は、撮影時に付加したデフォルトフォーカス距離を更新することなくステップＳ４００８に進む。
【００３８】
ステップＳ４００７では、ヘッダ付加部２００６が、ステップＳ３００４で設定されてライトフィールドデータに付加されたデフォルトフォーカス距離を送信相手あるいは送信相手に関連づけられた被写体と同一人物と判定された顔のフォーカス距離に更新する。
【００３９】
ステップＳ４００８では、制御部１００８は通信Ｉ／Ｆ１００４にライトフィールドデータを送信するように指示する。
【００４０】
ステップＳ４００９では、Ｓ４００６と同様の判別を行い、送信相手あるいは送信相手に関連づけられた被写体と同一人物の顔があると判定したと判別された場合は、ステップＳ４０１０に進む。送信相手あるいは送信相手に関連づけられた被写体と同一人物の顔がないと判定したと判別された場合は、ステップＳ４０１１に進む。
【００４１】
ステップＳ４０１０では、ライトフィールドデータ再構成部２００８が、デフォルトフォーカス距離を同一人物と判定が出た顔リスト中の顔のフォーカス距離に更新し、送信対象のライトフィールドデータを更新されたフォーカス距離で再構成する。
【００４２】
ステップＳ４０１１では、ライトフィールドデータ再構成部２００８がデフォルトフォーカス距離で、送信対象のライトフィールドデータを再構成する。
【００４３】
ステップＳ４０１２では、ＪＰＥＧ符号部２０１０が、再構成された画像をＪＰＥＧ圧縮し、制御部１００８が、通信Ｉ／Ｆ１００４を制御してＪＰＥＧ画像を送信先に送信する。
【００４４】
次に、図１のライトフィールドカメラのライトフィールドデータの受信動作を図５のフローチャートを使用して説明する。本動作も、制御部１００８がプログラムされた制御シーケンスを実行することで行なわれ、各部の動作は制御部１００８からの指示によって行なわれる。
【００４５】
ステップＳ５００１で、制御部１００８は、通信Ｉ／Ｆ１００４を制御してにライトフィールドデータを受信する。
【００４６】
ステップＳ５００２では、ヘッダ解析部２００７が受信したライトフィールドデータのヘッダからデフォルトフォーカス距離を取得する。次いで、ライトフィールドデータ再構成部２００８が、受信したライトフィールドデータをデフォルトフォーカス距離で再構成する。画像加工部２０１１は、再構成された画像のサイズを表示サイズに変更し、制御部１００８が表示部１００５にリサイズされた画像を表示する。
【００４７】
ステップＳ５００３において、制御部１００８は、ユーザが操作部１００３を操作することによりフォーカス距離の変更を指示したかどうかを判別する。ユーザがフォーカス距離の変更を指示したと判別された場合は、ステップＳ５００４に進み、そうでない場合は、動作を終了する。
【００４８】
ステップＳ５００４では、ライトフィールドデータ再構成部２００８が、受信したライトフィールドデータを取得したフォーカス距離で再構成する。次いで、画像加工部２０１１が、再構成された画像のサイズを表示サイズに変更する。制御部１００８は、リサイズされた画像を、表示部１００５に表示する。
【００４９】
ステップＳ５００５では、ヘッダ付加部２００６が、デフォルトフォーカス距離をユーザ指示に従って更新する。
【００５０】
以上説明したように、本実施例では、送信するライトフィールドデータに受信人物あるいは受信人物に関連づけられた被写体が被写体として写っている場合は、再構成のデフォルトフォーカス距離を受信人物にフォーカスが合うフォーカス距離にしている。このため、ライトフィールドデータを受信して最初に表示する時に、受信した人物あるいは受信人物に関連づけられた被写体にフォーカスが合った状態の画像を表示することが可能となる。
【００５１】
なお、本実施例では送信先の装置がライトフィールドデータの再構成が可能なカメラかどうかを識別したが、識別せずに、ライトフィールドデータを受信した人物のフォーカス距離で再構成したＪＰＥＧ画像を送っても良い。
【００５２】
また、本実施例では、撮影時にライトフィールドデータを再構成してパンフォーカス画像を生成し、それから顔を検出したが、撮影時にパンフォーカス画像を撮影して顔検出を行なっても良い。
【００５３】
あるいは、ライトフィールドデータのフォーカス距離を順に変えて再構成し、各再構成画像において顔検出を行なっても良い。
【００５４】
また、本実施例では送信相手あるいは送信相手に関連づけられた被写体の個人認証データを保持している例で説明したが、送信相手との通信確立時あるいはユーザの送信先指示時に、制御部１００８が送信相手（外部装置）から個人認証データを取得しても良い。
【００５５】
また、本実施例ではユーザが送信する画像を選択している例で説明したが、送信先を決定したら、フォルダ等の送信候補画像リストをユーザが指定し、指定されたリストから送信先の被写体が含まれている画像を自動で選択して送信してもよい。
また、本実施例では、送信するライトフィールドデータのデフォルトフォーカス距離を受信人物あるいは受信人物に関連づけられた被写体に設定した。しかし、設定する値としてはデフォルトフォーカス距離に限らない。例えば、受信先がライトフィールドデータをリフォーカスするフォーカス距離を設定する際に、各フォーカス距離あるいは顔に対して、受信人物あるいは受信人物に関連づけられた被写体のフォーカス距離の優先順位が高くなるように設定しておくなどしてもよい。
【００５６】
＜実施例２＞
本発明の第２の実施例では、ライトフィールドカメラとクラウドサーバとで本発明の画像処理装置の構成を実現する例を説明する。本実施例は、ユーザがライトフィールドカメラで撮影したライトフィールドデータをクラウドサーバにアップロードし、任意のユーザがクラウドサーバにログインして画像をダウンロードして表示する場合の画像処理構成の例である。この場合、ライトフィールドカメラは、第１の実施例と同様の構成であるため、ここでの説明を省略する。
【００５７】
図６は、本実施例に係わる画像処理構成が実現されるクラウドサーバの画像処理部６００２のブロック図である。
【００５８】
同図において、６００１は画像や処理中のデータ等を保存するためのDRAM等の作業メモリ、６００３は、個人認証データを使用して顔リストにある顔を順に個人認証し、ログインユーザと同一人物であるかどうか認証する個人認証部である。６００４はライトフィールドデータのヘッダを解析して顔リストを読み出すヘッダ解析部、６００５は同一人物と判定が出た顔リスト中の顔のフォーカス距離でライトフィールドデータを再構成するライトフィールドデータ再構成部である。６００６は再構成画像をＪＰＥＧ圧縮するＪＰＥＧ符号部、６００７は画像のサイズの変更などの加工を行なう画像加工部である。
【００５９】
上述した画像処理部１００７の各部の動作は、ＣＰＵなどの図示しないクラウドコンピュータの制御部が操作部からの指示やプログラムされた制御シーケンスを実行することによって制御される。
【００６０】
まず、ライトフィールドカメラからクラウドサーバにライトフィールドデータをアップロードする動作を説明する。本動作は、ライトフィールドカメラの制御部１００８がプログラムされた制御シーケンスを実行することで行なわれ、各部の動作は制御部１００８からの指示によって行なわれる。
【００６１】
制御部１００８は、ユーザが操作部１００３を操作することにより、表示部１００５に表示されている撮影したライトフィールドデータリストから、アップロードするライトフィールドデータを指示して決定する。次いで、制御部１００８は、通信Ｉ／Ｆ１００４を制御して決定されたライトフィールドデータをクラウドサーバにアップロードする。このアップロードされるライトフィールドデータには、第１の実施例で生成された顔リストを含むヘッダ部が付加されている
【００６２】
次に、クラウドサーバにログインしたユーザにクラウドサーバが保持する画像を表示する動作を図７のフローチャートを使用して説明する。本動作は、クラウドサーバの制御部がプログラムされた制御シーケンスを実行することで行なわれ、画像処理部６００２の各部の動作は制御部からの指示によって行なわれる。
【００６３】
ステップＳ７００１では、クラウドサーバが、ユーザのＰＣからログインが行われた時に個人認証データのアップロードを要求する。この要求に応じて、ユーザのＰＣから個人認証データがアップロードされる。本実施形態では、ユーザのログインを確認すると、このユーザに関連するサーバ上の画像をサムネイルで一覧表示または逐次表示させるページを作成する。ユーザに表示する画像を選ぶ方法として例えば、ログイン情報にしたがって、ユーザが所有するカメラや記録媒体から過去にアップロードされた画像や、ユーザの知人として登録されているユーザが最近数週間にアップロードした画像などを選ぶ方法が考えられる。
【００６４】
ステップＳ７００２では、クラウドサーバの制御部は、ログインされたユーザ向けに作成するページに表示する次の画像があるかどうか判定する。ある場合は、ステップＳ７００３に進み、ない場合はステップＳ７００８に進む。
【００６５】
ステップＳ７００３では、ヘッダ解析部６００４が、表示対象のライトフィールドデータのヘッダを解析し、顔リストを読み出す。次いで、個人認証部６００３が、個人認証データを使用して顔リストにある顔を順に個人認証し、ログインユーザあるいはログインユーザに関連づけられた被写体と同一人物の顔であるかどうか認証する。
【００６６】
ステップＳ７００４では、ステップＳ７００３での認証結果に従って、ログインユーザあるいはログインユーザに関連づけられた被写体と同一人物の顔がある場合はステップＳ７００５に進み、そうでない場合はステップＳ７００６に進む。ステップＳ７００５では、ライトフィールドデータ再構成部６００５が、顔リスト中の顔で、ログインユーザあるいはログインユーザに関連づけられた被写体と同一人物と判定された顔のフォーカス距離でライトフィールドデータを再構成する。
【００６７】
ステップＳ７００６では、ライトフィールドデータ再構成部６００５が、ヘッダに付加されているデフォルトフォーカス距離でライトフィールドデータを再構成する。
【００６８】
ステップＳ７００７では、画像加工部６００７が、再構成された画像のサイズを作成するページに合わせて変更する。
【００６９】
ステップＳ７００８では、クラウドサーバの制御部は、再構成した画像を表示したページを作成する。
【００７０】
次に、クラウドサーバから画像をダウンロードする動作を図８のフローチャートを使用して説明する。本動作も、クラウドサーバの制御部がプログラムされた制御シーケンスを実行することで行なわれ、画像処理部６００２の各部の動作は制御部からの指示によって行なわれる。
【００７１】
ステップＳ８００１で、クラウドサーバの制御部は、ユーザからフォーカス距離の変更の指示があるかどうかを判別する。変更の指示があれば、ステップＳ８００２に進む。ない場合は、ステップＳ８００３に進む。
【００７２】
ステップＳ８００２では、ライトフィールドデータ再構成部６００５が、ユーザが指定したフォーカス距離でライトフィールドデータを再構成する。次いで、画像加工部６００７が、再構成された画像のサイズをページに表示するサイズに変更してページを更新する。
【００７３】
ステップＳ８００３では、クラウドサーバの制御部は、ユーザからダウンロードの指示があるかどうかを判別する。指示がある場合は、ステップＳ８００４に進み、ない場合は動作を終了する。
【００７４】
ステップＳ８００４では、ＪＰＥＧ符号部６００６が、ダウンロードされる画像をＪＰＥＧ圧縮し、ラウドサーバの制御部は圧縮された画像をダウンロードする。
【００７５】
以上で説明したように、本実施例ではクラウドサーバにログインした人物にフォーカスが合った画像をダウンロードすることが可能となる。
【００７６】
なお、本実施例では第１の実施例と同様に、送信元のライトフィールドカメラで顔検出を行なったが、アップロードしたクラウドサーバ上で顔検出を行なってもよい。
【００７７】
上述した実施形態において図３乃至５、及び図７乃至８に示した各処理は、各処理の機能を実現する為のプログラムをメモリから読み出して制御部１００８などが実行することによりその機能を実現させるものである。
【００７８】
尚、上述した構成に限定されるものではなく、図３乃至５及び図７乃至８に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。上述したメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリ、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性のメモリ、あるいはこれらの組合せによるコンピュータ読み取り、書き込み可能な記録媒体より構成してもよい。
【００７９】
また、図３乃至５及び図７乃至８に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。
【００８０】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、一定時間プログラムを保持しているものも含むものとする。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）である。
【００８１】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００８２】
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００８３】
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
【００８４】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【図１】
2014135680.tif 000003
【図２】
2014135680.tif 000004
【図３】
2014135680.tif 000005
【図４】
2014135680.tif 000006
【図５】
2014135680.tif 000007
【図６】
2014135680.tif 000008
【図７】
2014135680.tif 000009
【図８】
2014135680.tif 000010