(57)【要約】      （修正有）【課題】撮像後にピント調節であるリフォーカスが可能なカメラで、ユーザー操作後から、画像データの作成と表示までの時間を短縮する。【解決手段】複数の視点位置から撮像して得られた多視点画像データが示す画像の奥行きを示す距離情報に基づいて焦点を合わせる対象の順位を決定し、決定された順位に従って、前記対象に焦点を合わせた合成画像データを多視点画像データから順次生成する。【選択図】図１９
2013255172.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点位置から撮像して得られた多視点画像データが示す画像の奥行きを示す距離情報に基づいて焦点を合わせる対象の順位を決定する決定手段と、
前記決定手段で決定された順位に従って、前記対象に焦点を合わせた合成画像データを前記多視点画像データから順次生成する生成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記多視点画像を構成する各画素のデプスマップから距離毎の画素数を算出し、前記算出結果に基づいて前記順位を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記算出した距離毎の画素数に対して、さらに各画素の画面中心からの距離に応じた係数を乗じた結果に基づき前記順位を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記多視点画像データが示す画像に含まれる物体を認識する認識手段をさらに備え、
前記決定手段は、前記認識手段で認識された物体ごとに前記順位を決定することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記決定手段は、前記認識手段で認識された物体の重心位置を算出し、各物体の画面中心位置から前記重心位置までの距離に応じた係数を乗じた結果に基づき前記順位を決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
複数の視点位置から撮像して得られた多視点画像データから、前記多視点画像データが示す多視点画像の奥行きを示す奥行き情報に応じた対象に焦点を合わせた合成画像データを、ユーザーからのパラメータの入力なしで表示する表示手段を
有することを特徴とする画像処理装置。
【請求項７】
複数の視点位置から撮像して得られた多視点画像データが示す画像の奥行きを示す距離情報に基づいて焦点を合わせる対象の順位を決定する決定ステップと、
前記決定ステップで決定された順位に従って、前記対象に焦点を合わせた合成画像データを前記多視点画像データから順次生成する生成ステップと
を備えることを特徴とする画像処理方法。
【請求項８】
複数の視点位置から撮像して得られた多視点画像データから、前記多視点画像データが示す多視点画像の奥行きを示す奥行き情報に応じた対象に焦点を合わせた合成画像データを、ユーザーからのパラメータの入力なしで表示する表示ステップを
有することを特徴とする画像処理方法。
【請求項９】
コンピュータを請求項１から６のいずれかに記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視点位置から取得された情報に基づき画像データを処理する画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
現在、撮像装置において撮影後に撮影画像を確認する方法として、いわゆる再生モードにおいて撮像画像を表示させ、確認する方法が知られている。
【０００３】
近年、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている（非特許文献１、特許文献１）。この撮像装置は、撮像レンズと、マイクロレンズアレイと、撮像素子と、画像処理部と、から構成され、撮像素子から得られる撮像画像データが、受光面における光の強度分布に加えてその光の進行方向の情報も含むようになっている。そして画像処理部において、複数の視点や方向からの観察画像を再構築できるようになっている。
【０００４】
その再構築の一つに撮影後のピント調整処理（以降、リフォーカスと呼ぶ）があり（たとえば特許文献２）、撮影後にリフォーカスが可能な撮像装置（以降、ライトフィールドカメラと呼ぶ）が開発されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１８３３１６号公報
【特許文献２】特開２０１１−２２７９６号公報
【非特許文献】
【０００６】
【非特許文献１】R. Ng, M. Levoy, M.Bredif, G. Duval, M. Horowitz, P. Hanrahan: "Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02（2005）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、現行の画像処理装置では、画像表示時にリフォーカス画像データを生成する場合、ユーザーの操作に応じてリフォーカス画像を生成している。リフォーカス画像データの生成において、特許文献２の方法では、中間視点画像データを推定処理によって生成する必要があり、この生成に膨大な計算コストがかかる。そのため、ユーザー操作後、画像の表示までに時間がかかる為、待ち時間が生じていた。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、複数の視点位置から撮像して得られた多視点画像データが示す画像の奥行きを示す距離情報に基づいて焦点を合わせる対象の順位を決定する決定手段と、前記決定手段で決定された順位に従って、前記対象に焦点を合わせた合成画像データを前記多視点画像データから順次生成する生成手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像中の距離の分布を利用してリフォーカス画像データを予め生成することが可能となる為、簡易な構成でユーザーの利便性を高める効果がある。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例１に係る多眼カメラ全体のハードウェア構成の一例を示すブロック図である。
【図２】本発明の実施例１に係る再生時のリフォーカス処理の一例を示すフローチャートである。
【図３】本発明の実施例１に係るパラメータ選択処理の一例を示すフローチャートである。
【図４】本発明の実施例１に係るリフォーカス演算領域の予測方法の一例を示すフローチャートである。
【図５】本発明の実施例１に係る過去の人物に関するリフォーカス履歴の一例を示す図である。
【図６】本発明の実施例１に係るリフォーカス画像の表示の一例を示す図である。
【図７】本発明の第１の実施例に係るリフォーカス画像データを保存する一時画像フォーマットの一例を示す図である。
【図８】本発明の実施例２に係る再生リフォーカスモードの動作の一例を示すフローチャートである。
【図９】本発明の実施例２に係る再生リフォーカスモード変更するユーザーＩ／Ｆの一例を示す図である。
【図１０】本発明の実施例２に係る再生リフォーカスモード変更時の動作の一例を示す図である。
【図１１】本発明の実施例２に係る画像切り替え時の再生リフォーカスモードの動作の一例を示す図である。
【図１２】本発明の実施例１に係るシステム構成の一例を示す図である。
【図１３】本発明の実施例１に係るクラウドサーバーの構成の一例を示す図である。
【図１４】本発明の実施例１に係る多視点画像を保存する画像データフォーマットの一例を示す図である。
【図１５】本発明の実施例１に係るハードウェア構成の一例を示すブロック図。
【図１６】本発明の実施例３に係る距離毎の画素数分布（ヒストグラム）の一例を示す図である。
【図１７】本発明の実施例３に係る距離毎の画素数分布に乗ずる係数の一例を示す図である。
【図１８】本発明の実施例３に係る係数乗算後の距離毎の画素数分布（ヒストグラム）の一例を示す図である。
【図１９】本発明の実施例３に係るリフォーカス画像生成順位決定に係る動作の一例を示すフローチャートである。
【図２０】本発明の実施例４に係るリフォーカス画像生成順位決定の為のデータ生成に係る動作の一例を示すフローチャートである。
【図２１】本発明の実施例４に係る距離毎の画素数分布（ヒストグラム）の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を用いて本発明の実施例について詳細に説明する。
【実施例１】
【００１２】
図１は、本発明による実施例１の画像処理装置のハードウェア構成の一例を示すブロック図である。以下、図１について詳細に説明する。多眼カメラ撮像部１０１は、相互に独立した光学系と撮像素子とを持つ相互に独立した複数のカメラの集合体である。多眼カメラ撮像部１０１は、撮像素子の制御部等を含み、複数の撮像素子からの出力データの集合を多視点画像データとして出力する。
【００１３】
ＲＡＭ１０２は、多眼カメラ撮像部１０１で撮像した多視点画像データの一時記憶や生成したリフォーカス画像データの一時記憶、およびその他演算途中のデータなどの一時記憶に使用する為のメモリである。ＦｌａｓｈＲＯＭ１０７は、不揮発メモリであり、過去にユーザーが選択した画像（種別と位置）や操作に関する履歴を累積、記憶する。外部メモリ１０９は、ＳＤカードなどの外部メモリである。また、外部メモリ１０９は不揮発メモリであり、電源を切っても画像データは保存される。外部メモリ１０９には、多眼カメラ撮像部１０１で撮像した多視点画像データが、例えば図１４に示される画像データフォーマットに従って画像ファイルとして保存される。画像データフォーマットの詳細は後述する。また外部メモリ１０９は、処理中の画像データを一時画像ファイルとして一時的に保存する領域としても利用される。
【００１４】
メモリ制御部１１０は、いわゆるバスシステムと、バスシステムに接続されるメモリやデバイスの制御部から構成され、例えば、ＲＡＭ１０２、ＦｌａｓｈＲＯＭ１０７、外部メモリ１０９の各メモリに対するデータの読み書きを制御する。
【００１５】
ユーザーＩ／Ｆ（インターフェース）１０６は、機器の操作や、ユーザーがリフォーカス表示を希望する画像又は領域を選択したり、又は撮像済み画像の表示に係わるモード選択を行う為のＩ／Ｆ（インターフェース）である。具体的には、ディスプレイ１０５上に設置されるタッチパネルや、シャッターボタン、操作ダイアルなどユーザーｉ／Ｆに対応する。
【００１６】
全体制御部（ＣＰＵ）１０８は、機器全体の制御や、ＦｌａｓｈＲＯＭ１０７に記憶されている履歴情報から最も頻度の高い領域を選択し、リフォーカス演算部１０３へ指示するなどの演算制御を行う。
【００１７】
リフォーカス演算部１０３は、全体制御部１０８の指示に従って、多視点画像データからリフォーカス画像データを生成する。ここで、多視点画像データからリフォーカス画像データを生成する概要を説明する。ライトフィールドフォトグラフィでは、多視点画像データから、空間中の複数の位置について、それぞれの位置を通過する光線の方向と強度（ライトフィールド、以下、「ＬＦ」という。）を計算する。そして、得られたＬＦの情報を用いて、仮想の光学系を通過して仮想のセンサに結像した場合の画像を計算する。このような仮想の光学系やセンサを適宜設定する事で、所定の対象に合焦した合成画像データであるリフォーカス画像データを生成することが可能となる。なお、リフォーカス処理は本実施例の主眼ではなく、上述した手法以外の手法を用いても良い。生成されたリフォーカス画像データは、ＲＡＭ１０２や、外部メモリ１０９などへ格納される。詳細は後述する。
【００１８】
グラフィックプロセッサ１０４は、リフォーカス演算部１０３で生成されたリフォーカス画像データをディスプレイ１０５に表示する機能を具備している。ネットワークＩ／Ｆ１１１は、機器外とネットワーク接続を行い、ネットワーク上の外部機器との間でデータ転送を行う。
【００１９】
画像解析部１１２は、画像データ中の被写体の領域を検出し、領域毎に識別コードを割り当てる。画像解析部１１２は、検出した被写体の領域情報と識別コードとをＲＡＭ１０２に記憶する。本実施例の被写体とは、前景にあたる人や動物だけでなく、背景に含まれる風景部分も含むものとする。被写体の検出は、例えば、いくつかの顕著な特徴（２つの目、口、鼻など）とその特徴間の固有の幾何学的位置関係とを利用することで実施できる。あるいは、被写体の検出は、顔の対称的特徴、顔色の特徴、テンプレート・マッチング、ニューラル・ネットワークなどを利用することによっても実施できる。背景の検出は、例えば前述の方法で画像内の人物や動物の顔を検出し、その位置やサイズを算出する。この算出結果に基づいて画像中の人物を含む被写体領域と、それ以外の背景領域とに画像を区分することができる。例えば、被写体領域を矩形と仮定すると、領域情報の形式は、左上と右下の座標で示される。また、被写体の識別対象は、人（又は顔）、動物、風景の三種類としているが、これに限定されず、さらに細かい分類をすることも可能である。なお、被写体の検出および識別方法は、本実施例の主眼ではなく、上述した手法以外の手法を用いても良い。画像解析部１１２での被写体検出および識別機能は、画像撮像後、直ちに実施され、その結果は例えば、ＦｌａｓｈＲＯＭ１０７や外部メモリ１０９のような不揮発メモリに記憶される。したがって、本実施例の説明に於いては、これら被写体の領域情報と識別コードとが既に記憶されていることを前提とする。
多眼カメラ撮像部１０１が撮像した多視点画像データは、図１４の画像データフォーマットに従って、画像ファイルとして、外部メモリ１０９に記録される。
図１４は、本実施例に於ける多視点画像データを画像ファイルとして保存する際に用いる画像データフォーマットを説明する図である。図１４に示す画像ファイルは、画像幅を示す情報１４０１、画像高さを示す情報１４０２、リフォーカス位置情報１４０３、多視点画像ヘッダ情報１４１０、多視点画像データ１４０４を含む。
【００２０】
リフォーカス位置情報１４０３は、位置情報存在フラグ１４０５を含む。位置情報存在フラグ１４０５は、リフォーカス位置情報が存在するか否かを示す情報である。この位置情報存在フラグは、例えば初期状態（履歴が無い状態）では０（偽）である。１（真）である場合に後続の位置情報１４０６〜１４０９の値を有効とすることができる。すなわち、位置情報存在フラグが真である場合、リフォーカスされた位置を示す情報が含まれていることになる。Top_left_x１４０６は、リフォーカス領域の左上のＸ座標を示す情報である。Top_left_y１４０７は、リフォーカス領域の左上のＹ座標を示す情報である。Bottom_right_x１４０８は、リフォーカス領域の右下のＸ座標を示す情報である。Bottom_right_y１４０９は、リフォーカス領域の右下のＹ座標を示す情報である。
【００２１】
なお、位置情報存在フラグ１４０５は、画像ファイルの付加の真偽を示す一ビットの情報で十分であるが、かならずしも、１ビットに限定されない。リフォーカス位置情報フォーマットの形式を示す多値をとってもよい。例えば、次のような構成をとることも可能である。位置情報存在フラグ１４０５が０の場合は、位置情報が存在しない。位置情報存在フラグ１４０５が１の場合は、位置情報は、上述のように矩形情報として表現される。位置情報存在フラグ１４０５が２の場合は、位置情報は、フォーカス対象を示す円の中心座標と半径を位置情報として表現される。
【００２２】
多視点画像ヘッダ情報１４１０には、リフォーカス処理を行うために必要な情報や補助的な撮像情報が含まれる。例えば、カメラ機種名、レンズ構成、撮像日、シャッタースピード、および、露出プログラムなどである。また、多視点画像ヘッダ情報１４１０には、リフォーカス処理に用いられる多視点画像データの中の各画像データの位置情報が含まれる。本実施例では、位置情報存在フラグの真偽に関わらず、位置情報１４０６〜１４０９が存在する構成例を示している。しかしながら、それに限定されず、位置情報存在フラグが偽の場合は、位置情報１４０６〜１４０９エントリーそのものを画像データに含めない構成とすることも可能である。また、リフォーカス位置情報は、任意の形状を示すように構成することも可能であり、本実施例で説明する矩形領域に限定するものではない。
【００２３】
なお、多視点画像データ１４０４は、撮像素子から得られたＲＡＷ画像データであってもよいし、デモザイキング処理、ホワイトバランス処理、ガンマ処理、及びノイズ低減処理などの現像処理が施された現像後画像データであってもよい。また、本実施例では多眼カメラ撮像部１０１を用いる例を説明したが、多視点画像データは複数の視点位置からのデータであればよく、例えばマイクロレンズアレイを用いて得られる撮像データを用いてもよい。
【００２４】
図２は、再生モードに移行してから、１枚目のリフォーカス画像を表示するまでのフローチャートである。再生モードは、外部メモリ１０９に保存された画像ファイルをディスプレイ１０５で表示する制御を行う動作モードである。図２のフローは、全体制御部（ＣＰＵ）１０８が、リフォーカス演算部１０３およびグラフィックプロセッサ１０４等を制御することにより実行される。
【００２５】
全体制御部１０８が、図２に示す制御を実行する為のプログラムは、例えば、ＦｌａｓｈＲＯＭ１０７等に記憶されている。また、上述したリフォーカスのためのプログラムも同様に記憶されている。図２に示すフローに於ける画像ファイルは、多眼カメラ撮像部１０１により撮像された多視点画像データが、図１４で示すようにヘッダ情報と共に外部メモリ１０９に既に記録されていることを前提としている。
【００２６】
ステップＳ２０１では、全体制御部１０８は、動作モードを再生モードに移行する。ステップＳ２０１の処理に移る場合として、以下の３パターンが考えられる。
１．再生モード以外で起動中であり、その後再生モードに切り換え
２．起動時に既に再生モード
３．再生モードで別の画像を指定された時
【００２７】
ステップＳ２０２では、全体制御部１０８が画像ファイルを外部メモリ１０９から取得する。ステップＳ２０３では、全体制御部１０８が再生リフォーカスモードと履歴情報とを取得して、処理をＳ２０４へ移行する。再生リフォーカスモードとは、リフォーカス演算済みの画像データ（以下、リフォーカス画像データと称する）を表示する際に、例えば、人モード、風景モード、動物モードなどを選択するモードである。再生リフォーカスモードの詳細については、実施例２で記述する。履歴情報とは、過去にユーザーが選択した画像データの種別及び位置や、操作に関する履歴を累積した情報である。履歴情報の詳細については後述する。ステップＳ２０４では、全体制御部１０８が読み込んだ画像ファイルのヘッダ情報を解析する。ヘッダ情報は、図１４の１４０１から１４０３に該当する。本実施例では、リフォーカス位置情報１４０３を特に解析する。
【００２８】
ステップＳ２０５では、全体制御部１０８が、ステップＳ２０４で解析したヘッダ情報に推奨パラメータが存在するか否かを判定する。推奨パラメータとは、画像ファイルをリフォーカスする際に推奨される画像や表示方法などを示すパラメータである。推奨パラメータが存在する場合には処理がステップＳ２０６に移行し、存在しない場合にはステップＳ２０７に移行する。本実施例では、図１４に示される位置情報存在フラグ１４０５を１ビットのフラグとして扱い、フラグの値が１の場合には、全体制御部１０８は、推奨パラメータが存在すると判定してステップＳ２０６に遷移する。フラグの値が０の場合は、全体制御部１０８は推奨パラメータが存在しないと判定してステップＳ２０７に移行する。
【００２９】
ステップＳ２０６では、全体制御部１０８は、ステップＳ２０２で読み込んだ画像ファイルのリフォーカス位置情報１４０３を解析して得られた推奨パラメータを利用してリフォーカス演算部１０３を制御し、リフォーカス画像データを生成する。
【００３０】
具体的には、リフォーカス演算部１０３は、再生ファイルに含まれる多視点画像データ１４０４から、位置情報１４０６と１４０８との平均をＸ座標、位置情報１４０７と１４０９との平均をＹ座標とする位置にフォーカスが合った画像データを生成する。リフォーカス演算部１０３で生成されたリフォーカス画像データは、グラフィックプロセッサ１０４を介して、ディスプレイ１０５に表示される。また生成されたリフォーカス画像データは、図７に示される一時画像ファイルフォーマットに従って一時画像ファイルとして、外部メモリ１０９又はＲＡＭ１０２に保存される。図７は、リフォーカス演算部１０３で生成されたリフォーカス画像データを含む画像ファイルの一時画像ファイルフォーマットの一例を示す図である。一時画像ファイルフォーマットに従う画像ファイルは、リフォーカス位置情報７０２と、リフォーカス画像データ７０５とを含む。リフォーカス位置情報７０２には、リフォーカス画像データ７０５のリフォーカス処理を行った際にフォーカスを合わせた位置を示す情報が含まれる。位置情報７０６〜７０９は、図１４の位置情報１４０６〜１４０９と同じ情報とすることができる。なお、図７に示す一時画像ファイルは、例えばリフォーカスの画像データ毎に生成される。
【００３１】
ステップＳ２０６に処理が進んでいるということは、推奨パラメータが存在していることになる。従って、その推奨パラメータに含まれる情報を図７の７０２で示すリフォーカス位置情報に含めた一時画像ファイルを記憶する。なお、一時画像ファイルの記憶場所は、外部メモリ１０９、ＲＡＭ１０２に限定されるものではなく、ネットワークＩ/Ｆ１１１を介して、クラウド上に存在する任意の記憶装置に記憶しても良い。
【００３２】
次に、ステップＳ２０５にて、ヘッダ情報に推奨パラメータが存在しない場合の処理を説明する。ステップＳ２０７の処理は、ステップＳ２０２でメモリから読み出した画像ファイルに推奨パラメータが無い場合、即ち再生モードでの表示が初めての画像ファイルである場合の処理である。本実施例では、履歴情報に基づいてリフォーカス画像データを生成し、一時画像ファイルとして記憶する。また、履歴情報の更新を実施する。履歴情報に基づいてリフォーカス画像データを生成する処理、および履歴情報を更新する処理については、図３に関連して説明するため、ここで説明を省略する。
【００３３】
ステップＳ２０８は、グラフィックプロセッサ１０４がステップＳ２０７で生成したリフォーカス済み画像をディスプレイ１０５に表示する。図６は、ステップＳ２０６又はステップＳ２０７で生成されたリフォーカス画像データを表示した際の一例を示す図である。図６の（ａ）は、風景（樹木）にフォーカスの合った画像の例を示してある。
【００３４】
ステップＳ２０９では、グラフィックプロセッサ１０４がパラメータ選択ＵＩ画面を追加でディスプレイ１０５に表示する。パラメータ選択ＵＩ画面を追加した例を図６（ｂ）に示す。図６（ｂ）の例に於いては、タッチパネルでユーザーがフォーカスを合わせたいポイントを指定することを想定している。すなわち、グラフィックプロセッサ１０４は、フォーカスを合わる位置（パラメータ）をユーザーに入力させるためのＵＩ画面を表示する。なお、パラメータは、画像中の２次元の位置情報を表してもよいし、多視点画像の中の空間的な距離（奥行き）を表してもよい。
【００３５】
ステップＳ２１０では、全体制御部１０８は、ステップＳ２０２で読み取った画像ファイルのリフォーカス位置情報１４０３の更新を実施する。すなわち、ヘッダ情報に推奨パラメータが存在していない場合、ステップＳ２０７でリフォーカス位置が決定された領域の位置情報でリフォーカス位置情報１４０３を更新する。なお、ヘッダ情報に推奨パラメータが存在している場合、ステップＳ２０２で読み取った画像ファイルのリフォーカス位置情報１４０３の更新は行わなくてよい。以上が、再生モードを起動した場合の動作、すなわち、ある画像ファイルを読み取った場合の最初に表示されるリフォーカス画像に関する処理である。
【００３６】
続いて、１枚目のリフォーカス画像データを表示した後の動作（２枚目以降のリフォーカス画像データの表示、動作の終了等）について、図３を用いて説明する。すなわち、図２のフローで説明した画像ファイルを読み取った場合に最初に表示されるリフォーカス画像を表示した後の処理を図３を用いて説明する。図３に示すフロー全体が、図２のフローと同様に、全体制御部１０８により制御されている。
【００３７】
図２のステップＳ２０９で、図６（ｂ）に示すパラメータ選択ＵＩが表示されると、ユーザーは、表示されたＵＩを利用して、パラメータの選択を行う事が可能になる。ステップＳ３０１では、全体制御部１０８は、ＵＩを使用して、ユーザーがパラメータを選択した時は、処理をステップＳ３０４へ移行する。本実施例では、ユーザーが画面上の１点を指定することによって、パラメータを選択することとする。次に、ステップＳ３０４では、ステップＳ３０１でユーザーによって選択されたパラメータを取得する。ステップＳ３０４では、全体制御部１０８は、図７の形式で記憶されている一時画像ファイル群の中から、ステップＳ３０１にてユーザーが指定（選択）したパラメータを含むリフォーカス画像データが存在するか否かを判定する。すなわち、ユーザーが指定したパラメータを含むリフォーカス位置情報７０２を含む一時画像ファイルが存在するか否かを判定する。ステップＳ３０４でユーザーが指定したパラメータに適合するリフォーカス画像データを含む一時画像ファイルが存在する場合、全体制御部１０８は、処理をＳ３０９へ移行する。ステップＳ３０９では、前記リフォーカス画像を含む一時画像の情報（位置、表示履歴情報）を更新し、処理をステップＳ３０６へ移行する。詳細は後述する。
前記ステップＳ３０６では、グラフィックプロセッサ１０４が、前記ユーザーが指定したパラメータに適合するリフォーカス画像データを含む一時画像を所定のディスプレイ１０５に表示する。
【００３８】
一方、ステップＳ３０４で、ユーザーが指定したパラメータに適合するリフォーカス画像データを含む一時画像ファイルが存在しなかった場合は、全体制御部１０８は、処理をステップＳ３０５へ移行する。ステップＳ３０５では、ステップＳ３０１でユーザーが指定したパラメータに基づいて、リフォーカス演算部１０３が、当該パラメータが示す領域にフォーカスが合ったリフォーカス画像データを生成する。ステップＳ３０５では、生成したリフォーカス画像データを例えば、ＲＡＭ１０２等に図７に示す一時画像ファイルとして記憶する。
【００３９】
ステップＳ３０５の処理が完了したら、全体制御部１０８は、処理をステップＳ３０９へ移行する。
【００４０】
ステップＳ３０９では、ステップＳ３０５にて、ユーザーが、ステップＳ３０１で指定したパラメータに従って生成したリフォーカス画像に関する情報（位置および表示履歴情報）の更新を実施し、処理をステップＳ３０６へ移行する。詳細は後述する。
【００４１】
ステップＳ３０６では、例えば、ＲＡＭ１０２等から、ステップＳ３０１で指定されたパラメータに従って生成または選択されたリフォーカス画像データを読み出して、ディスプレイ１０５へ表示する。
ここで、ステップＳ３０９に於ける情報更新について、詳しく説明する。
【００４２】
先に説明したように、画像解析部１１２によって、撮像後の多視点画像データ内の被写体の領域が検出され、かつ領域毎に識別コードを割り当てられ、領域情報と識別コードとがＦｌａｓｈＲＯＭ１０７や、外部メモリ１０９のような不揮発メモリに記憶されている。ここでは、記憶されている領域情報と指定されたパラメータとを比較して、領域情報の中に指定されたパラメータが含まれている場合、その領域情報を位置情報として更新する。すなわち、被写体として分類され、その被写体の位置が特定されている領域情報を、一時画像ファイルのリフォーカス位置情報７０２として更新する。一方、記憶されている領域情報と指定されたパラメータとを比較して、領域情報の中に指定されたパラメータが含まれていない場合、指定パラメータを一時画像ファイルのリフォーカス位置情報７０２として更新する。
次に、履歴情報について、図５を用いて説明する。図５に於いて、識別コードは、画像解析部１１２で識別された識別コードである。頻度は、再生モードに於いて、識別コード（人、風景等）で示される各領域に対して、ユーザーがフォーカスを合わせた画像の表示を指示した頻度のことである。この頻度は、ある画像ファイルごとの頻度であってもよいし、画像ファイルを問わずに、画像処理装置におけてあるユーザーが指示した頻度であってもよい。図５（ａ）は、５０１が識別コード＝風景、５０２が識別コード＝人、５０３が識別コード＝動物の例を示している。ここで、識別コード毎の頻度順位は、以下の通りである。
１位：風景（５０１）
２位：人（５０２）
３位：動物（５０３）
【００４３】
図５（ｂ）は、識別コード＝人に関して、識別コードを更に細分化した例を示したものである。なお、娘、息子、父の区別は、例えばそれぞれの顔画像の特徴ベクトルを算出しておき、人物と判定された領域の特徴ベクトルと比較することによって判定することができる。ここで、識別コード毎の頻度順位は、以下の通りである。
１位：ユーザーの娘（５０５）
２位：ユーザーの息子（５０６）
３位：ユーザーの父（５０７）
４位：登録外の人物（５０８）
本実施例に於いて、履歴情報は、各識別コードの頻度情報のことを指す。
【００４４】
次に履歴情報の更新について述べる。先に説明したように、領域情報の中に指定されたパラメータが含まれていた場合、その領域に関連付けられた識別コードの頻度情報をインクリメントする。一方、領域情報の中に指定されたパラメータが含まれていない場合、有用な情報は、座標情報のみなので、履歴情報は更新しない。
【００４５】
次にステップＳ３０１で、ユーザーが、パラメータを選択しなかった場合の処理について説明する。すでに表示されている画像を継続して表示した状態で、処理をステップＳ３０２へ移行する。
【００４６】
ステップＳ３０２では、画像解析部１１２で抽出した全ての領域情報に対して、全体制御部１０８は、各領域情報にフォーカスを合わせたリフォーカス画像データを生成したか否かを判定する。具体的には、全ての領域情報に対して、各領域情報を含むリフォーカス位置情報７０２を有する一時画像ファイルが存在するか否かを判定する。
ステップＳ３０２で、全ての領域情報に対して、リフォーカス画像を生成していないと判定された場合、処理をＳ３０３へ移行する。一方、ステップＳ３０２で、全ての領域情報に対して、リフォーカス画像の生成が完了していると判定された場合は、処理をＳ３０７へ移行する。
【００４７】
全ての領域情報に対して、リフォーカス画像を生成していないと判定された場合、ステップＳ３０３で、履歴情報に基づいて、リフォーカス画像データを生成する。詳細は後述する。次に生成したリフォーカス画像をＳ３０６で表示した後、ステップＳ３０７へ移行する。
【００４８】
Ｓ３０７では、全体制御部１０８は、再生モードを終了するか、継続するかを判定する。Ｓ３０７に於ける再生モードの終了条件は、例えば以下の３つである。
１．再生モードを除くモードに切り換えた時
２．電源をＯＦＦした時
３．再生モードで別の画像を指定された時
Ｓ３０７で再生モード終了と判定された場合は、処理をＳ３０８へ移行し、再生モードの終了に必要な各種処理が実行され、再生モードを終了する。一方、ステップＳ３０７で再生モード継続と判定された場合は、処理をステップＳ３０１へ戻し、ステップＳ３０１からの操作を繰り返す。
【００４９】
なお、パラメータ選択は、ユーザーが画面上の１点を指すことで行うこととしたが、閉領域として指定することも可能である。例えば、ユーザが指定した点を含む画像および指定された閉領域に含まれる画像をＦｌａｓｈＲＯＭ（履歴記憶部）１０７の履歴と比較することにより、履歴情報の有無を判定することができる。
【００５０】
次に、図２のＳ２０７と図３のＳ３０３に於ける処理詳細について、図４のフローチャートを用いて説明する。図４のフローチャートに示す処理は、全体制御部（ＣＰＵ）１０８が、リフォーカス演算部１０３およびグラフィックプロセッサ１０４等を制御することにより、実行される。
【００５１】
先に説明したように、画像解析部１１２によって、撮像後の多視点画像データ内の被写体の領域が検出され、かつ領域毎に識別コードを割り当てられ、領域情報と識別コードとがＲＡＭ１０２や、外部メモリ１０９のような不揮発メモリに記憶されている。また、履歴情報は、図５に示す頻度情報のこととする。即ち、過去の履歴（頻度）は、風景画像が頻度１位、人の画像が２位、動物の画像が３位であると仮定する。更に、人の画像は、頻度１位が娘、２位が息子、３位が父、４位が登録外人物と仮定する。
ステップＳ４０１では、全体制御部１０８は、リフォーカス画像データを未生成の領域を特定する。まず、全体制御部１０８は、対象画像データ（すなわち、Ｓ２０２で読み込んだ画像ファイルの多視点画像データが示す画像データ）に関する画像解析結果の識別コード及び領域情報のペアの全てを取得する。また、全ての一時画像ファイルに含まれるリフォーカス画像データの位置情報を取得する。次に、取得した情報の中から、一時画像ファイルに含まれるリフォーカス位置情報７０２と、領域情報とを比較する。そして、位置情報が領域情報に含まれるものは省いて、対応する位置情報が存在しない領域情報を抽出する。この領域情報は、即ち、リフォーカス画像データを生成していない領域に対応する。
【００５２】
次に、全体制御部１０８は、ステップＳ４０２で、ステップＳ４０１で抽出した領域情報に関連付けられた識別コードの中で、履歴情報の頻度が最も高い識別コードに一致するものを選択する。選択の結果、風景に該当する識別コードの頻度が、最上位であった場合、ステップＳ４０３へ移行する。ステップＳ４０３では、風景画像に対応する領域が、Ｓ４０１で抽出した領域情報にあるか否かを判定する。風景画像がある場合、ステップＳ４０４へ移行する。
【００５３】
ステップＳ４０４では、識別コードが風景である領域情報を抽出して、それが１つである場合は、その領域を次にリフォーカス画像データを生成する領域として決定する。また風景に該当する識別コードを持つ領域が複数存在する場合、例えば、領域情報の左上のＸ座標とＹ座標をもって、順位を決定することができる。具体的には、Ｘ座標の値が小さい順にリフォーカス演算順位を決定することができる。また、同一のＸ座標が複数存在する場合は、Ｙ座標の小さい順でリフォーカス演算順位を決定することができる。ここでは、最も順位の高い領域情報を次にリフォーカス画像を生成する領域として決定する。
次に処理をステップＳ４０５へ移行する。ステップＳ４０５では、リフォーカス演算部１０３が、ステップＳ４０４で決定された順位に基づいて当該順位の領域情報にフォーカスを合わせたリフォーカス画像データを生成する。具体的には、多視点画像データから、左上と右下の座標の平均を取った結果をＸ座標、Ｙ座標とする位置にフォーカスが合った画像データを生成する。
【００５４】
次に、処理をステップＳ４０６へ移行する。ステップＳ４０６では、ステップＳ４０５で生成したリフォーカス画像データと共に、そのフォーカスを合わせた領域情報をリフォーカス位置情報とした一時画像ファイルを図７に示す一時画像ファイルフォーマットで記憶する。
【００５５】
次に処理をステップＳ４０７へ移行する。ステップＳ４０７では、履歴情報を更新する。具体的には、選択された識別コードに該当する頻度をインクリメントする。そして処理を終了する。
【００５６】
次に、ステップＳ４０２に戻って、選択の結果、人に該当する識別コードの頻度が、最上位であった場合、ステップＳ４０９へ移行する。ステップＳ４０９では、人の画像があるか否かを判定する。人の画像がない場合、ステップＳ４０２に戻る。人の画像がある場合、ステップＳ４１０に移行する。ステップＳ４１０では、図５（ｂ）で示すような登録者の識別コードがあるか否かを判定する。登録者の識別コードがあった場合、処理をステップＳ４１１へ移行する。ステップＳ４１１では、履歴情報の中に、ステップＳ４１０で存在が確認された登録者がいるか否かを判定する。履歴情報の中に登録者がいた場合、処理をステップＳ４１２へ移行する。ステップＳ４１２では、履歴情報の頻度に従って、リフォーカス画像生成の順位を決定する。図５（ｂ）では、順位１位が娘、２位が息子、３位が父というようになっているので、例えば、識別コードの中に娘が存在すれば、娘を最上位とする。
【００５７】
ステップＳ４１１で、履歴情報の中に登録者がいない場合、処理をステップＳ４１３へ移行する。また、ステップＳ４１０で、登録者の識別コードが無かった場合、処理をステップＳ４１４へ移行する。なお、ステップＳ４１３及びＳ４１４は、Ｓ４０４と同様の処理を行う。
【００５８】
次に、ステップＳ４０２に戻って、選択の結果、動物に該当する識別コードの頻度が、最上位であった場合、ステップＳ４１５へ移行する。ステップＳ４１５で動物の画像があると判定した場合、ステップＳ４１６へ移行する。なお、ステップＳ４１６の処理については、Ｓ４０４と同様の処理を行うことができる。
【００５９】
以上、説明したように構成することによって、過去の履歴を利用することで、リフォーカス画像データの生成をユーザーに指示される前に、実施することが可能となる。すなわち、多視点画像データを含む画像ファイルを最初に読み出した際に、そのファイルのヘッダ情報に推奨パラメータが含まれていない場合、履歴情報を用いてリフォーカス画像データをユーザーの指示なしに生成することができる。また、履歴情報を用いることで、そのユーザーが過去にフォーカスを合わせた被写体の頻度に応じてリフォーカス画像データを生成することができる。ユーザーの指示なしに予めリフォーカス画像データを生成しておくことによって、ユーザーが希望するフォーカス領域を指定した時、リフォーカス演算時間を待つことなく、ユーザーが希望するリフォーカス画像を表示することが可能となる効果がある。
【００６０】
また、リフォーカス画像を表示中に次のリフォーカス画像を予測し、リフォーカス演算を実施することが可能となったことにより、演算リソースの利用効率が向上し、ハードウェア的なグレードアップ無しで処理速度が向上することと同様の効果を期待できる。
【００６１】
更に、リフォーカス演算回数を重ねる度に、ユーザーの趣向をより明確に判定することができるので、使い込む毎にリフォーカス領域の予測精度が向上し、リフォーカス画像の切り換えの高速化が期待できる。
【００６２】
また、本実施例では、多視点画像データが含まれる画像ファイルに、ユーザーが最後に指定したフォーカス位置を特定するパラメータ情報を埋め込んでいる。これにより、次回、画像ファイルを読み込んで、表示する際、ユーザーが最後に表示していた画像を、パラメータの再設定なしに表示することができる。これにより、ユーザーによるパラメータ設定の手間を省くことができ、本技術を組み込んだ装置の操作性が向上することにつながる。
【００６３】
なお、本実施例では、説明を簡単にする為、図４の例では３種類（人、風景、動物）の選択肢を例に挙げて説明したが、識別可能なものは選択肢に加えて構わない。更に、人の画像に関しても本実施例では、娘、息子、父、登録外人物というように、３人の登録者と登録外人物として説明したが、登録者を例えば、４人以上としても構わない。また、登録人物についても家族としたが、それに限定されるものではない。
【００６４】
また、本実施例では画像ファイルのヘッダ情報に推奨パラメータが存在していない場合に、履歴情報に基づいてリフォーカス画像データを順次生成する例を説明した。しかしながら、画像ファイルのヘッダ情報に推奨パラメータが存在している場合においても、図２のステップＳ２０９の処理（すなわち図３で示す処理）のように、履歴情報に基づいてリフォーカス画像データを生成できる点に留意されたい。
【実施例２】
【００６５】
実施例２は、再生リフォーカスモードを変更する処理について説明する。再生リフォーカスモードとは、例えば風景モード、人モードなどのようにリフォーカス対象となる被写体が設定された再生モードのことである。
【００６６】
図１のハードブロック構成図を用いて再生リフォーカスモード変更の機能を実現する構成を説明する。再生リフォーカスモードの変更はユーザＩ／Ｆ部１０６を介して指示される。
【００６７】
全体制御部１０８は再生モード移行時、再生すべき画像に対するモードをリフォーカス演算部１０３に通知する。また、ユーザＩ／Ｆ部１０６で画像が切り替えられた場合も同様に、全体制御部１０８は再生すべき画像に対するモードをリフォーカス演算部１０３に通知する。さらに再生リフォーカスモードに応じて被写体として認識する対象が変わるので、再生リフォーカスモードが変更された場合、その対象となる被写体認識情報を画像解析部１１２に通知する。
【００６８】
リフォーカス演算部１０３は全体制御部１０８からの通知を受けて外部メモリ１０９から多視点画像データを読み出してパンフォーカス画像データを生成する。また、画像解析部１１２の解析結果に基づいて再生リフォーカスモードに応じたリフォーカス演算を行い、再生リフォーカスモードに応じたリフォーカス画像データを生成する。
【００６９】
画像解析部１１２はリフォーカス演算部１０３が生成したパンフォーカス画像データから、ユーザーが指定した再生リフォーカスモードの認識対象の有無を解析する。再生リフォーカスモードの認識対象が存在する場合はその領域情報を全体制御部１０８に通知する。
【００７０】
グラフィックプロセッサ１０４は解析結果に応じてディスプレイ１０５にリフォーカス演算部１０３で生成されたパンフォーカス画像もしくはリフォーカス画像を表示する。
【００７１】
以下、本実施例の動作フローについて詳細に説明する。  
図８に再生リフォーカスモード変更における動作フローチャートを示す。ステップＳ８０１にて、ユーザＩ／Ｆ１０６操作において再生モードへ移行するユーザ指示があった場合に再生モードに移行しステップＳ８０２へすすむ。ステップＳ８０２では、再生用の画像ファイルを読み込みステップＳ８０３へすすむ。ステップＳ８０３では、ステップＳ８０２で取得した画像ファイルからリフォーカス演算部１０３がパンフォーカス画像データを生成しステップＳ８０４へすすむ。
【００７２】
ステップＳ８０４では、現在のユーザー指定の再生リフォーカスモードを取得・保存しステップＳ８０５へすすむ。再生リフォーカスモードは一度設定されるとその内容が保存される。別の撮像シーンの画像に表示が切り換えられた場合、その保存された再生リフォーカスモードのまま別の画像が表示される。ステップＳ８０５では、ユーザＩ／Ｆ１０６から指定された再生リフォーカスモードの認識対象の認識処理を画像解析部１１２で行いステップＳ８０６へすすむ。
【００７３】
ステップＳ８０６では、認識処理の結果、指定された認識対象が存在する場合はステップＳ８０７にすすむ。指定された認識対象が存在しない場合はステップＳ８０９へすすむ。
【００７４】
ステップＳ８０７では、解析結果をもとに再生リフォーカスモードに適したリフォーカス画像データを生成してステップＳ８０８にすすむ。ステップＳ８０８では、生成したリフォーカス画像データをディスプレイに表示しステップＳ８１０へすすむ。
【００７５】
ステップＳ８０６で認識対象が画像内に存在しないと判定された場合、ステップＳ８０９では、パンフォーカス画像をディスプレイに表示しステップＳ８１０へすすむ。
【００７６】
ステップＳ８１０にて、ユーザー操作により再生リフォーカスモードが変更された場合、ステップＳ８０４へすすみ、再生リフォーカスモード設定の変更を行い、新しい再生リフォーカスモードに応じたリフォーカス画像データを生成して表示する。再生リフォーカスモードが変更されない場合はディスプレイ１０５の表示の変更を行う必要はないので画像はそのままでステップＳ８１１へすすむ。
【００７７】
ステップＳ８１１にて、ユーザー操作に依り別の画像への表示変更の指示があった場合、ステップＳ８０２へすすみ、当該別の画像の画像ファイルを読み込む。その後は、ステップＳ８０４で保存した再生リフォーカスモードに応じたリフォーカス画像データを生成してディスプレイ１０５に表示する。別の画像への変更指示がなければディスプレイ１０５表示の変更を行う必要はないので終了する。
【００７８】
図９は再生リフォーカスモード変更するためのユーザーＩ／Ｆの一例を示したものである。グラフィックプロセッサ１０４はディスプレイ１０５上で図９（ａ）に示したポップアップメニューを表示し、ユーザーによって「人モード」「風景モード」等の各モードを選択される。これにより全体制御部１０８は、再生リフォーカスモードを切り替えることができる。また図９（ｂ）はカメラに設置されるダイヤルを示しており、ユーザーがこの再生ダイヤルを回すことによって全体制御部１０８は再生リフォーカスモードを切り替えることができる。たとえば「パンフォーカスモード」にダイヤルを合わせればパンフォーカス画像が表示され、「人モード」にダイヤルを合わせれば人にリフォーカスされた画像が表示される。本実施例では図９（ａ）のコンボボックスのポップアップ表示と図９（ｂ）のカメラのダイヤルを例に示した。しかし、再生リフォーカスモード変更するためのユーザーＩ／Ｆはこれらに限定するものではない。仮想ダイヤルをディスプレイ上に表示して再生リフォーカスモードを選択させるＩ／Ｆを用いても良いし、スライダーを設けて再生リフォーカスモードを選択するなどのＩ／Ｆを用いても良い。また、ユーザーからの音声を認識することでモードを選択してもよい。
【００７９】
図１０はステップＳ８１０の再生リフォーカスモード変更によるリフォーカス動作の一例を示した図である。まず図１０（ａ）は、例えばステップＳ８０９でパンフォーカス画像を表示した例を示しており、全ての物体にピントが合っている。
【００８０】
図１０（ｂ）は図１０（ａ）のパンフォーカス画像がディスプレイ表示されているときに再生リフォーカスモードを変更する場合の図を示しており、コンボボックスを表示している。また、ユーザーが再生リフォーカスモードとして「人モード」を選択している。
【００８１】
図１０（ｃ）は図１０（ｂ）で再生リフォーカスモードを「人モード」に設定した際のリフォーカス処理後の画像を示しており、人にだけリフォーカスした画像が表示される。
【００８２】
図１０（ｄ）は「風景モード」が選択された場合の例を示すものであり、山などの風景のみにリフォーカスした画像が表示される。例えば図９（ｂ）に示したダイヤル設定が「風景モード」に設定されている場合に再生モードに移行した場合にはこの画像がデフォルト表示される。
【００８３】
図１０（ｅ）は「動物モード」が選択された場合の例を示すものであり、右下の動物にリフォーカスした画像が表示される。
【００８４】
図１０（ｆ）は「人＋風景モード」が選択された場合の例を示すものであり、人と風景の両方にリフォーカスした画像が表示される。
【００８５】
図１１はステップＳ８１１の、再生モード中にユーザー操作によって別画像へ切りかえられた場合の表示例を示したものである。まず図１１（ａ）は再生リフォーカスモードが「人モード」に設定されており、人にリフォーカスされた画像が表示されている。この画像を再生中にディスプレイ表示する画像データを切り替えた場合、ステップＳ８０４で再生リフォーカスモードは保存されているため、切り替えた後に表示される画像も「人モード」でリフォーカスされた画像データが表示される。図１１（ｂ）は切り替えた後のリフォーカス画像を示しており切り替え後も人にリフォーカスされて画像が表示されている。ユーザーが再生リフォーカスモードを意図的に変更しない限りは画像を切り替えても再生リフォーカスモードは継承される。
【００８６】
実施例２の説明は、図１に示したハード構成に基づき行ったが、本実施例は、図１２のように、図１で示したハード構成を図１２に示すネットワークを含むシステム構成において適用することもできる。すなわち、多眼カメラ１２０１で撮像された多視点画像データの画像処理を、例えば、クラウドサーバー１２０４や、表示端末１２０５〜１２０７といった構成要素において実現することが可能である。図１５は表示端末１２０５〜１２０７のブロック図を示す。図１５に示すブロック図においては、多視点画像データがネットワークＩ／Ｆを介して取得されることを除いては図１で説明した処理と同等の処理を行うことができる。図１３には、クラウドサーバー１２０４の詳細なハード構成ブロック図の例を示す。クラウドサーバー１２０４においては、図１の画像解析部１１２に相当する機能は、全体制御部１３０７で行われても良いし、あるいはネットワーク通信部１３０１を介して多眼カメラ１２０１や表示端末１２０５〜１２０７から解析結果を受信してもよい。
【実施例３】
【００８７】
実施例３は、リフォーカス画像データの生成に当たって、撮像後に作成されるデプスマップを用いる方法を説明する。デプスマップとは、撮像面から被写体までの距離を画素毎にマップ情報にまとめた距離情報を表すデータである。デプスマップの算出は、例えば多眼カメラ撮像部内の複数の撮像部の配置情報と、該複数の撮像部から得られる複数の画像から求めることが可能である。例えば、２つの画像間の特徴点の位置、対応するカメラの位置、および対応するカメラの画角を用いて三角測量を行い、各被写体までの距離を算出することができる。なお、撮像部の配置情報については、例えば図１４に示したデータ形式で記憶されている情報の多視点画像ヘッダ情報１４１０から取得することが可能である。デプスマップの算出は、全体制御部１０８の制御により実行される。デプスマップの算出は上記例のほかに、様々な手法により算出することができる。
【００８８】
本実施例では、デプスマップを用いてリフォーカス画像データの生成順位を決定する例を述べる。実施例１と異なるのは、図２におけるステップＳ２０７及び図３におけるステップＳ３０３であり、その他のメイン動作フローは図２及び図３と同様である。また、本実施例におけるハード構成ブロック図についても図１と同様である。なお、本実施例ではデプスマップに基づいてリフォーカス画像データの生成順位を決定するため、実施例１で説明した履歴情報に基づく処理は省略することができる。
【００８９】
まず、多視点画像データを撮像後または画像ファイルを読み込み後に、全体制御部１０８がデプスマップを作成すると、該デプスマップを距離毎の画素数を示す形式に変換する。変換後の形式を示した図を図１６に示す。同図は、画面内における距離毎の画素数分布（ヒストグラム）を示しており、画素数の多い箇所は、当該距離に存在する被写体の画面に占める割合が高いことを意味する。図１６の例では、上位４か所のピークａ、ｂ、ｃ、ｄを示しており、画素数ではｃ→ａ→ｄ→ｂの順となっている。
【００９０】
次に、図１６に示した形式のデータにおいて、全体制御部１０８が各画素に対して画面中心からの距離に応じた係数を乗算する（重み付処理）。該係数は画面中心が最も高く、中心からの距離に応じて低くなっていく係数である。図１７に係数の性質を表した図を示す。
【００９１】
図１８には、図１６で示した距離毎の画素数分布データ（ヒストグラム）に対して、図１７で示した係数を乗算した結果を示す。該乗算により、例えば背景が距離一定の壁であった場合などに、背景領域の分布が高くなってしまい、生成順位が高くなってしまうことを防止することが可能である。
【００９２】
図１８の例では、上位３か所のピークの順位は、ａ→ｃ→ｂとなっている。該乗算結果を用いてリフォーカス画像データの生成順位を決定する。尚、上記処理やデプスマップ作成処理は、図１における全体制御部１０８がメモリＲＡＭ１０２、ＦｌａｓｈＲＯＭ１０７、外部メモリ１０９などに記憶されているプログラムを読み出して実行することで行われる。
【００９３】
以下、本実施例におけるリフォーカス画像データの生成順位の決定方法について詳細に述べる。
【００９４】
図１９に決定動作フローを示す。本動作も、図１における全体制御部１０８がＲＡＭ１０２、ＦｌａｓｈＲＯＭ１０７、外部メモリ１０９などに記憶されているプログラムを読み出して実行することで行われる。
【００９５】
ステップＳ１９０１では、全体制御部１０８が上記乗算結果データを読み込む。ステップＳ１９０２では、全体制御部１０８がステップＳ１９０１で読み込んだデータからピークを検出する。例えばあるしきい値以上の画素数を有する距離をピークとして検出することができる。なお、ヒストグラムにおけるピーク検出方法は、上述したほか様々な手法を用いることが可能である。ステップＳ１９０３では、全体制御部１０８が検出されたピークを画素数順にソートする。ステップＳ１９０４では、全体制御部１０８がソート順にピークを探索し、或る順位のピークに対して、予め決められた隣接範囲内に存在するそれより下位順位のピークは除外する。これにより、ごく近距離にピークが集中することを防止することが出来る。
【００９６】
図１８の例では、既に述べた通り、上位３か所のピークの順位は、ａ→ｃ→ｂとなっている。従って、各ピークに相当する距離であるＡ、Ｃ、Ｂを焦点距離とするリフォーカス画像データが生成順位１位から３位までとなる。上記で決定されたリフォーカス画像データの生成順位に従い、図２のステップＳ２０７では、生成順位が１位のリフォーカス画像データを生成する。図３のステップＳ３０３では、生成順位の高い順にリフォーカス画像データを生成していく。
【００９７】
以上、述べた様な構成により、過去の操作履歴などに依存すること無く、又画面内の認識機能を必要とせず、画面内に占める距離毎の分布からリフォーカス画像を生成することが可能となる為、簡易な構成でユーザーの利便性を高める効果がある。
【００９８】
尚、本実施例で用いたリフォーカス画像データの生成順位決定手法は、他の決定手法である実施例１や実施例２などと組み合わせて実施することも可能である。又、本実施例では、複数の画像を取得する多眼カメラ撮像部及び生成画像を表示するディスプレイを一つの装置内に備えた構成で説明を行ったが、これらを外部の装置に備えた構成であっても良い。すなわち、本実施例は、図１２のように、図１で示したハード構成を図１２に示すネットワークを含むシステム構成において適用することもできる。すなわち、多眼カメラ１２０１で撮像された多視点画像データの画像処理を、例えば、クラウドサーバー１２０４や、表示端末１２０５〜１２０７といった構成要素において実現することが可能である。図１５は表示端末１２０５〜１２０７のブロック図を示す。図１５に示すブロック図においては、多視点画像データがネットワークＩ／Ｆを介して取得されることを除いては図１で説明した処理と同等の処理を行うことができる。図１３には、クラウドサーバー１２０４の詳細なハード構成ブロック図の例を示す。クラウドサーバー１２０４においては、図１の画像解析部１１２に相当する機能は、全体制御部１３０７で行われても良いし、あるいはネットワーク通信部１３０１を介して多眼カメラ１２０１や表示端末１２０５〜１２０７から解析結果を受信してもよい。
【実施例４】
【００９９】
実施例３では、リフォーカス画像データの生成順位の決定方法として、デプスマップ情報のみを用いて、演算を行う例を説明した。実施例４では、画像解析部１１２の解析結果として出力される被写体の領域情報を、デプスマップ情報に適用することで、リフォーカス画像生成順位を決定する例について説明する。
【０１００】
即ち、本実施例では、画像解析部１１２の解析結果が既に出力され、識別コードと領域の座標情報がＲＡＭ１０２、ＦｌａｓｈＲＯＭ１０７、外部メモリ１０９のいずれかに記憶されていると想定する。また、デプスマップも上記メモリのいずれかに記憶されていると想定する。
【０１０１】
以下、図２０に示す動作フローに従い、実施例３との差分であるところの、本実施例における画像生成順位を決定する為のデータ生成について説明する。本動作は、図１における全体制御部１０８がＲＡＭ１０２、ＦｌａｓｈＲＯＭ１０７、外部メモリ１０９などに記憶されているプログラムを読み出して実行することで行われる。
【０１０２】
まず、ステップＳ２００１では、全体制御部１０８が画像解析結果をＲＡＭ１０２から読み込む。ステップＳ２００２では、全体制御部１０８が、読み込んだ結果から、抽出された被写体の個数を判定し、被写体数をセットする。ステップＳ２００３では、全体制御部１０８が各被写体について領域情報から重心位置を算出する。ステップＳ２００４では、全体制御部１０８が被写体番号ｘに初期値ゼロをセットする。
【０１０３】
ステップＳ２００５では、全体制御部１０８が被写体番号ｘ＝０の座標情報を読み込み、被写体番号ｘ＝０の被写体が存在する座標について、デプスマップを参照し、距離毎に画素数を積算する。このとき、ステップＳ２００３で算出した各被写体の重心位置を参照し、画面中心位置から重心位置までの距離に応じた係数を乗算して積算を実施する。該係数は実施例３における図１７と同様に画面中心が最も高く、中心からの距離に応じて低くなっていく係数とすることができる。
【０１０４】
ステップＳ２００６では、全体制御部１０８が或る被写体に関して全画素の積算が完了したか否かを判定し、完了していなければ、ステップＳ２００５に戻り、積算を続行する。完了していれば、ステップＳ２００７へすすむ。ステップＳ２００７では、全体制御部１０８が全被写体について積算が完了したか否かを判定し、完了していれば終了し、完了していなければ、ステップＳ２００８へすすむ。ステップＳ２００８では、被写体番号ｘを１加算し、ステップＳ２００５へ戻り、積算を継続する。このときの積算は、被写体毎ではなく、全被写体に関する画素を全て積算していく。
【０１０５】
図２１に、上記動作における距離毎の画素数分布（ヒストグラム）の例を示す。図２１では、ａからｆまでの６個の被写体が抽出されている例である。ａからｆまでで示した各閉曲面領域がそれぞれの被写体の画素数を表しており、全体のエンベロープが全被写体の画素数を積算したヒストグラムとなる。後述する生成順位決定は、エンベロープを利用して行う。
【０１０６】
図２１（ａ）は、画面中心位置から重心位置までの距離に応じた係数を乗ずる前のヒストグラム、図２１（ｂ）は、係数を乗じた後のヒストグラムである。図２１（ａ）での上位３か所のピークは、距離がＢ→Ｃ→Ａとなっているが、図２１（ｂ）ではＦ→Ｅ→Ｄとなっている。
【０１０７】
リフォーカス画像データ生成順位の決定方法及び順位に応じた画像生成については実施例３と同様とすることができる。以上、述べた様な構成に依れば、実施例３で記載した効果に加えて、以下の効果が期待出来る。即ち、被写体認識結果に基づきリフォーカス画像生成順位を決定する為、被写体として認識されなかった背景などを除外することが可能である。
【０１０８】
尚、本実施例で用いたリフォーカス画像データ生成順位の決定手法は、他の決定手法である実施例１や実施例２などと組み合わせて実施することも可能である。例えば、人モードを指定された場合、被写体のうち、人だけに限定して本実施例の手法を適用するといった例や、係数を画面中心位置からの距離だけでなくモードにより変更するといった例が挙げられる。また、実施例１で説明した履歴情報を用いて、操作頻度が所定のしきい値以上の被写体に限定して本実施例の手法を適用してもよい。
【０１０９】
実施例４の説明は、図１に示したハード構成に基づき行ったが、これらの実施例は、図１２のように、図１で示したハード構成を一構成要素の多眼カメラ１２０１で表し、ネットワークなどを含んだシステム構成に適用することも出来る。この場合、実施例４で説明した画像処理を、多眼カメラ１２０１で撮像された多視点画像データの画像処理を、例えば、クラウドサーバー１２０４や、表示端末１２０５〜１２０７といった構成要素において実現することが可能である。図１５は表示端末１２０５〜１２０７のブロック図を示す。図１５に示すブロック図においては、多視点画像データがネットワークＩ／Ｆを介して取得されることを除いては図１で説明した処理と同等の処理を行うことができる。図１３には、クラウドサーバー１２０４の詳細なハード構成ブロック図の例を示す。クラウドサーバー１２０４においては、図１の画像解析部１１２に相当する機能は、全体制御部１３０７で行われても良いし、あるいはネットワーク通信部１３０１を介して多眼カメラ１２０１や表示端末１２０５〜１２０７から解析結果を受信してもよい。
【０１１０】
＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2013255172.tif 000003
【図２】
2013255172.tif 000004
【図３】
2013255172.tif 000005
【図４】
2013255172.tif 000006
【図５】
2013255172.tif 000007
【図６】
2013255172.tif 000008
【図７】
2013255172.tif 000009
【図８】
2013255172.tif 000010
【図９】
2013255172.tif 000011
【図１０】
2013255172.tif 000012
【図１１】
2013255172.tif 000013
【図１２】
2013255172.tif 000014
【図１３】
2013255172.tif 000015
【図１４】
2013255172.tif 000016
【図１５】
2013255172.tif 000017
【図１６】
2013255172.tif 000018
【図１７】
2013255172.tif 000019
【図１８】
2013255172.tif 000020
【図１９】
2013255172.tif 000021
【図２０】
2013255172.tif 000022
【図２１】
2013255172.tif 000023