(57)【要約】【課題】撮像画像内の被写体の深度情報を、撮像画像に対する画像処理に利用できるようにすること。【解決手段】撮像部１０１は撮像画像を取得し、距離情報取得部１０４は撮像画像内の各被写体の奥行き方向の深度を示す距離情報を取得する。分割画像生成部１０８は、距離情報を用いて、撮像画像から複数の分割画像を生成する。分割画像は、それぞれが個別の被写体距離の範囲に対応する画像であり、ユーザが任意に選択可能である。システム制御部１０３は、生成された分割画像の画像データを表示デバイスへ出力し、複数の分割画像のうちの１つの画像を、最初の表示で選択可能な初期選択状態として設定する。画像処理部１０７は、複数の画像のうち、選択された画像を対象として画像処理を行う。【選択図】  図１
2018029270.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像と、撮像画像内の各被写体の奥行き方向の深さを示す深度情報を取得する取得手段と、
前記深度情報を用いて、前記撮像画像のデータから、それぞれが異なる深さ方向の範囲に対応する複数の画像の画像データを生成する生成手段と、
前記複数の画像のいずれかを選択する選択手段と、
前記生成手段により生成された画像データを表示デバイスへ出力して前記複数の画像のうちの１つの画像を、前記選択手段により最初の表示で選択可能な初期選択状態とする制御手段と、
前記選択手段により選択された画像に対して画像処理を行う画像処理手段と、を備える
ことを特徴とする画像処理装置。
【請求項２】
前記撮像画像内の被写体の属性および位置を検出する検出手段と、
前記検出手段により検出された被写体の顔画像から個人を認証する認証手段と、を備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記生成手段により生成された画像内の被写体領域に対し、前記認証手段により認証された被写体の顔画像を含む画像を前記初期選択状態とする
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記撮像画像内の被写体の属性および位置を検出する検出手段と、
前記検出手段により検出された被写体の画像の合焦度を算出する算出手段を備え、
前記制御手段は、前記生成手段により生成された画像内に存在する被写体に対して前記算出手段の算出した合焦度が第１の合焦度である第１の画像と、前記第１の合焦度よりも高い第２の合焦度である第２の画像のうち、前記第２の画像を前記初期選択状態とする
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記初期選択状態は、前記表示デバイスにより前記深度情報に対応する異なるレイヤーごとにそれぞれ表示された前記複数の画像のうちの１つの画像が前記選択手段により選択可能な状態である
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
撮像画像と、撮像画像内の各被写体の奥行き方向の深さを示す深度情報を取得する取得手段と、
前記撮像画像内の被写体の属性および位置を検出する検出手段と、
前記検出手段により検出された被写体を類別して被写体領域を抽出する抽出手段と、
前記抽出手段により類別された前記被写体の情報、および前記深度情報を用いて、前記撮像画像のデータから、それぞれが異なる深さ方向の範囲に対応する複数の画像の画像データを生成する生成手段と、
前記複数の画像のいずれかを選択する選択手段と、
前記生成手段により生成された画像データを表示デバイスへ出力して前記複数の画像のいずれかを、前記選択手段により選択可能にする制御手段と、
前記選択手段により選択された画像に対して画像処理を行う画像処理手段と、を備える
ことを特徴とする画像処理装置。
【請求項７】
前記検出手段により検出された被写体の顔画像から個人を認証する認証手段を備え、
前記抽出手段は、前記認証手段により認証された前記被写体の画像を優先的に抽出する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記検出手段により検出された被写体の画像の合焦度を算出する算出手段を備え、
前記抽出手段は、前記複数の被写体の画像から合焦度の高い被写体の画像を優先的に抽出する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記抽出手段は、前記生成手段により生成される前記画像データごとに、予め定められた数以下の被写体領域を抽出する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項１０】
前記生成手段は、前記被写体の属性に対応する画像データを生成する第１の生成手段と、前記複数の画像の画像データを生成する第２の生成手段を有する
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記生成手段は、前記複数の画像を前記深度情報に対応する異なるレイヤーにそれぞれ表示させる表示画像データを生成し、
前記制御手段は、前記表示画像データを前記表示デバイスへ出力する制御を行う
ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記制御手段は、前記生成手段により生成された第１の表示画像データを表示デバイスに出力する第１の制御と、前記生成手段により生成された第２の表示画像データを表示デバイスに出力する第２の制御とを行い、
前記第１の表示画像データは、前記複数の画像が、近い深度情報の被写体を含む画像の順に手前に表示されるように奥行き方向に並べて配置されている画像データであり、
前記第２の表示画像データは、検出された被写体の画像が当該被写体の深度情報にしたがって配置されている画像データである
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記制御手段は、前記表示デバイスの情報を取得し、前記表示デバイスの表示解像度または画面の大きさが閾値以上である場合に前記第１の制御を行い、前記表示デバイスの表示解像度または画面の大きさが閾値未満である場合に前記第２の制御を行う
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
請求項１乃至１３のいずれか１項に記載の画像処理装置と、撮像手段を備える撮像装置。
【請求項１５】
撮像画像と、撮像画像内の各被写体の奥行き方向の深さを示す深度情報を取得する取得工程と、
前記深度情報を用いて、前記撮像画像のデータから、それぞれが異なる深さ方向の範囲に対応する複数の画像の画像データを生成手段が生成する生成工程と、
制御手段が、前記生成手段により生成された画像データを表示デバイスへ出力して前記複数の画像のうちの１つの画像を、選択手段により最初の表示で選択可能な初期選択状態とする制御工程と、
画像処理手段が、前記選択手段により選択された画像に対して画像処理を行う画像処理工程と、を有する
ことを特徴とする画像処理装置の制御方法。
【請求項１６】
撮像画像と、撮像画像内の各被写体の奥行き方向の深さを示す深度情報を取得する取得工程と、
検出手段により、前記撮像画像内の被写体の属性および位置を検出する検出工程と、
前記検出手段により検出された前記被写体を抽出手段が類別して被写体領域を抽出する抽出工程と、
前記抽出手段により類別された前記被写体の情報、および前記深度情報を用いて、前記撮像画像のデータから、それぞれが異なる深さ方向の範囲に対応する複数の画像の画像データを生成手段が生成する生成工程と、
制御手段が、前記生成手段により生成された画像データを表示デバイスへ出力して前記複数の画像のいずれかを、選択手段により選択可能にする制御工程と、
画像処理手段が、前記選択手段により選択された画像に対して画像処理を行う画像処理工程と、を有する
ことを特徴とする画像処理装置の制御方法。
【請求項１７】
コンピュータを請求項１乃至１３のいずれか１項に記載の画像処理装置が備える各手段として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像に関連する被写体の距離情報を活用した画像処理技術に関する。
【背景技術】
【０００２】
撮像シーンの画像内に存在する個々の被写体領域を検出し、被写体の距離情報を取得可能な撮像装置がある。特許文献１に開示の撮像装置は、個々の被写体の距離情報を用いて、撮像シーン内の被写体の奥行き方向における位置関係と現在の合焦距離とを表す俯瞰マップを撮影者に提示する。撮像時に撮影者は、どの被写体に合焦しているかを容易に把握することが可能である。また、デジタルカメラの本体部に設けられた液晶ディスプレイだけでなく、外部の表示デバイスに対して接続が可能な装置がある。デジタルカメラにて接続可能な表示デバイスに応じて画像データの解像度を変換する技術が提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１７７７４１号公報
【特許文献２】特許第４６５２２１０号公報
【特許文献３】特開２０１５−１８６２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の装置において被写体の距離情報（深度情報）は、撮像時に行われる画像処理に専ら用いられており、撮影後にユーザが利用することを想定していなかった。例えば、撮像画像に対する画像処理時に、被写体の距離情報を利用した画像処理をユーザが容易に行うための方法は提案されていなかった。
本発明の目的は、撮像画像内の被写体の深度情報を、撮像画像に対する画像処理に利用できるようにすることである。
【課題を解決するための手段】
【０００５】
本発明の一実施形態の装置は、撮像画像と、撮像画像内の各被写体の奥行き方向の深さを示す深度情報を取得する取得手段と、前記深度情報を用いて、前記撮像画像のデータから、それぞれが異なる深さ方向の範囲に対応する複数の画像の画像データを生成する生成手段と、前記複数の画像のいずれかを選択する選択手段と、前記生成手段により生成された画像データを表示デバイスへ出力して前記複数の画像のうちの１つの画像を、前記選択手段により最初の表示で選択可能な初期選択状態とする制御手段と、前記選択手段により選択された画像に対して画像処理を行う画像処理手段と、を備える。
【発明の効果】
【０００６】
本発明によれば、撮像画像内の被写体の深度情報を、撮像画像に対する画像処理に利用することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施例１における撮像装置の構成例を示すブロック図である。
【図２】本発明の実施例における分割画像生成部の構成例を示すブロック図である。
【図３】実施例１の画像編集時の全体的な処理を説明するフローチャートである。
【図４】図３に続く処理を説明するフローチャートである。
【図５】本発明の実施例における分割画像生成処理を説明するフローチャートである。
【図６】実施例１における撮像画像および奥行き分割画像を例示する図である。
【図７】実施例１における第１の表示画像データの生成処理を説明する図である。
【図８】実施例１における被写体検出の画像例を示す図である。
【図９】実施例１における第２の表示画像データの生成処理を説明する図である。
【図１０】分割画像生成処理を説明する図である。
【図１１】実施例１における表示デバイスへの表示例を示す図である。
【図１２】本発明の実施例２における撮像装置の構成例を示すブロック図である。
【図１３】実施例２の画像編集時の処理を説明するフローチャートである。
【図１４】実施例２の被写体抽出処理を説明するフローチャートである。
【図１５】実施例２の被写体抽出処理の説明図である。
【図１６】実施例２における表示デバイスへの表示例を示す図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して、本発明の実施形態を詳細に説明する。以下の実施形態では、撮像画像内の被写体の距離情報を画像処理に利用可能な画像処理装置において、画像編集の際にユーザが処理対象を短時間で選択し、または正確に選択することが可能である。
【０００９】
［実施例１］
図１は本発明の実施例１に係る画像処理装置を適用した撮像装置の構成例を示すブロック図である。撮像装置１００の撮像部１０１は、レンズ、シャッター、絞り、撮像素子を有する。撮像部１０１はシステム制御部１０３の指示により撮影動作を行い、撮像画像データを取得してメモリ１０５へ格納する。撮像装置１００内の各部はバス１０２に接続されており、データや制御信号の送受を行う。
【００１０】
システム制御部１０３は撮像装置１００全体を制御する。システム制御部１０３はＣＰＵ（中央演算処理装置）を備え、不揮発性メモリ１０６に記憶されたプログラムを読み出して実行することで、後述する各種処理を実現する。またシステム制御部１０３は、撮像装置１００に接続される表示デバイスに対して表示制御を行う。例えば、システム制御部１０３は後述の表示部１１０や通信部１１１に対する表示切り替え処理や、画像処理部１０７に対する表示デバイスの解像度に合わせた表示画像データ生成処理の指示を行う。
【００１１】
距離情報取得部１０４は、撮像部１０１が取得した撮像画像データに対応した距離情報を取得する。撮像画像データに対応した距離情報はメモリ１０５へ記憶される。距離情報に関して、撮像画像内の各被写体の奥行き方向（深さ方向）の深度に対応する情報としてさまざまな実施形態がある。つまり、被写体の深さに対応するデータが示す情報（深度情報）は、画像内における撮像装置１００から被写体までの被写体距離を直接的に表すか、または画像内の被写体の距離（被写体距離）や深さの相対関係を表す情報であればよい。例えば、撮像部１０１に対して合焦位置を変更する制御が行われ、撮影された複数の撮像画像データが取得される。それぞれの撮像画像データの合焦領域と、撮像画像データの合焦位置情報から距離情報を取得することができる。この他にも、撮像部１０１の撮像素子が瞳分割型の画素構成を有する場合、一対の像信号の位相差から各画素に対する距離情報を取得可能である。具体的には、撮像素子は、撮像光学系の異なる瞳部分領域を通過する一対の光束が光学像としてそれぞれ結像したものを電気信号に変換し、対をなす画像データを複数の光電変換部から出力する。対をなす画像データ間の相関演算によって各領域の像ずれ量が算出され、像ずれ量の分布を表す像ずれマップが算出される。あるいはさらに像ずれ量がデフォーカス量に換算され、デフォーカス量の分布（撮像画像の２次元平面上の分布）を表すデフォーカスマップが生成される。このデフォーカス量を撮像光学系や撮像素子の条件に基づいて被写体距離に換算すると、被写体距離の分布を表す距離マップデータが得られる。像ずれマップデータ、デフォーカスマップデータ、あるいはデフォーカス量から変換される被写体距離の距離マップデータを取得可能である。
【００１２】
本実施例おいては、撮像部１０１に対して、合焦位置を変更して撮像された複数の撮像画像データが取得される。それぞれの撮像画像データの合焦領域と、撮像画像データの合焦位置情報から距離情報が取得される。撮像画像データに対応した距離情報はメモリ１０５へ格納される。また距離情報は各画素の値が距離を表す距離画像の形式を有するものとするが、データ形式はこれに限定されない。例えば距離情報は、撮影シーンの画像内に存在する特定被写体（例えば人物）の領域の位置および距離を表す情報であってもよい。距離情報取得部１０４による距離情報の生成方法について特に制限は無く、各種の方法を適用可能である。
【００１３】
メモリ１０５は、撮像部１０１により取得された撮像画像データや、距離情報取得部１０４で取得した、撮像画像データに関連する距離情報等の各種データを記憶する。メモリ１０５は、所定枚数の撮像画像データの格納に十分な記憶容量を有する。不揮発性メモリ１０６は、電気的に消去および記録可能なメモリであり、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等が用いられる。不揮発性メモリ１０６には、システム制御部１０３の動作用の定数、設定値、プログラム等が記憶される。ここでのプログラムとは、実施例にて後述する各種フローチャートの処理を実行するためのプログラムである。
【００１４】
画像処理部１０７は、システム制御部１０３からの指示により、撮像部１０１や、メモリ１０５から読み出された撮像画像データに対して所定の画像処理を行う。所定の画像処理とは、画素補間、リサイズ処理、色変換処理、距離情報を用いて算出される個々の距離範囲に対する暈かし処理や、シャープネス処理、色変換処理等である。
【００１５】
分割画像生成部１０８は、メモリ１０５からの撮像画像データと、距離情報取得部１０４からの距離情報と、後述の表示デバイス情報を取得し、撮像画像データ内の所定の距離範囲に含まれる被写体画像を抽出する処理を行う。撮像画像データ内の所定の距離範囲（深さ方向の範囲）含まれる被写体画像を、奥行き分割画像または単に分割画像と呼ぶ。分割画像生成部１０８は奥行き分割画像の画像データを生成してメモリ１０５へ格納する。例えば、奥行き方向（撮影方向に沿う方向）において距離範囲を３つの距離範囲に分割する場合を想定する。第１の距離範囲を撮像装置に最も近い距離範囲とし、第３の距離範囲を撮像装置から最も遠い距離範囲とする。第１の分割画像は、第１の距離範囲内の被写体像を含む画像（近景被写体の画像）である。第２の分割画像は、第２の距離範囲内の被写体像を含む画像（中間距離の被写体の画像）である。第３の分割画像は、第３の距離範囲内の被写体像を含む画像（遠景被写体の画像）である。分割画像生成部１０８の詳細については後述する。
【００１６】
操作部１０９は、ユーザの操作指示を受け付けて撮像装置１００の制御情報に変換し、システム制御部１０３へ通知するユーザインターフェース部である。表示部１１０はＬＣＤ（液晶表示装置）等の表示デバイスを備え、メモリ１０５から読み出された画像データ等を画面に表示する。通信部１１１は、表示デバイスを備える外部装置との間で制御コマンドや、データの送受信を行うための通信インターフェース部である。例えば撮像装置１００はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＨＤＭＩ（登録商標）のような規格に基づく有線接続で外部装置と通信を行う。あるいは撮像装置１００は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＢｌｕｅＴｏｏｔｈ（登録商標）等の規格に基づく無線接続により外部装置と通信を行う。なお、撮像装置と外部装置とは直接接続されてもよいし、サーバーや、インターネット等のネットワークを介して接続されてもよい。本実施形態においては、少なくとも通信部１１１が接続される外部装置の表示デバイスに対して、表示デバイス情報の受信や、撮像画像に関する表示画像データの送信ができるものとする。
【００１７】
記録媒体Ｉ／Ｆ部１１２は、メモリカードやハードディスク等の記録媒体１１３とのインターフェース部である。記録媒体１１３は半導体メモリや磁気ディスク等から構成され、撮像画像データや、撮像画像データに関連する距離情報を記録する。
【００１８】
被写体検出部１１４は、メモリ１０５から取得した撮像画像内の被写体領域およびその属性を検出し、検出した属性情報と被写体領域とを関連付けて、被写体の検出結果としてメモリ１０５へ格納する。属性情報とは、被写体領域を識別するための情報であり、個々の被写体画像を区別できればよい。例えば、属性情報は被写体が人物、動物、植物、建物、人物の顔等であることを示す情報である。被写体検出部１１４は、公知技術を用いて（特許文献３）、入力画像から特徴ベクトル等の特徴量を検出し、検出した特徴量を認識用辞書に保持された特徴量と比較する。認識用辞書は人や顔、動物、山、建物等の検出対象の特徴量を保持したデータベースである。被写体検出部１１４は類似度や評価値と称される尤度を算出し、尤度が所定の閾値以上である場合に検出対象物が検出されたと判定する。
【００１９】
オブジェクト画像生成部１１５は、メモリ１０５から取得した、被写体検出部１１４による被写体の検出結果から、検出された被写体の属性情報に対応するオブジェクト画像データを生成し、メモリ１０５へ格納する。個人認証部１１６は、被写体検出部１１４が顔と判定した被写体に対して、不揮発性メモリ１０６に予め登録されている個人認証用データと比較し、検出された人の顔画像が登録されている人の顔画像と一致するか否かを判定する。個人認証部１１６は個人認証の判定結果をメモリ１０５へ格納する。合焦度算出部１１７は、被写体検出部１１４が検出した各被写体に対して焦点が合っている度合いを示す合焦度を算出し、合焦度の算出結果をメモリ１０５へ格納する。
【００２０】
分割画像初期選択決定部（以下、初期選択決定部という）１１８は、個人認証部１１６の判定結果、および合焦度算出部１１７の算出結果をメモリ１０５から取得する。初期選択決定部１１８は、奥行き分割画像が表示デバイスの画面に表示された際、最初に選択状態とする奥行き分割画像を決定し、選択結果をメモリ１０５へ格納する。本実施例では個人認証部１１６および合焦度算出部１１７による結果に基づいて、奥行き分割画像の初期選択画像を決定する例を説明するが、これに限ったものではない。例えば、初期選択決定部１１８は個人認証部１１６の結果、または合焦度算出部１１７の結果から、初期選択画像を決定してもよいし、別の方法で決定してもよい。
【００２１】
図２を参照して、分割画像生成部１０８の内部構成を説明する。図２は分割画像生成部１０８の構成例を示すブロック図である。分割画像生成部１０８は、距離範囲分割処理部２０１と、分割画像生成用マスクデータ生成処理部２０２と、分割画像データ生成処理部２０３とで構成される。
【００２２】
距離範囲分割処理部（以下、分割処理部という）２０１は、メモリ１０５から取得した距離情報と、表示デバイス情報を用いて、被写体の距離範囲（深さ方向の範囲）を複数に分割する。被写体の距離範囲の分割により、被写体の距離範囲分割情報が生成される。分割画像生成用マスクデータ生成処理部（以下、マスク生成処理部という）２０２は、分割処理部２０１から、被写体の距離範囲分割情報を取得し、奥行き分割画像の生成用のマスク画像データを生成する。分割画像データ生成処理部（以下、データ生成処理部という）２０３は、メモリ１０５から取得した撮像画像データと、奥行き分割画像の生成用のマスク画像データとを用いて、複数の分割画像データを生成する。生成された分割画像データは、メモリ１０５へ撮像画像データと対応付けて格納される。
なお、図１、図２に示す構成例に限らず、以下に説明する処理の実行が可能であれば、撮像装置１００の構成は図１、図２に示す構成に限定されない。
【００２３】
図３から図１１を用いて本実施例の処理を説明する。図３、図４は全体的な処理の流れを説明するためのフローチャートである。図５は分割画像生成処理を説明するためのフローチャートである。図６は撮像画像データや表示画像データ等の説明図である。本実施例では、撮像画像データに対して、距離情報を利用した画像処理が実行される。画像処理とは、例えば、特定の距離の被写体に対するリフォーカス処理や、色空間変換等である。ユーザが撮像装置１００を用いて、撮像画像に対する画像編集を行う例を以下に説明する。撮像装置１００は表示解像度の異なる表示デバイスとの接続が可能である。例えば下記のとおりである。
・高解像度の表示が可能な表示デバイスＡ
ＰＣ（パーソナルコンピュータ）のディスプレイのような、細部の画像編集を行う上で十分な表示解像度が確保できる表示でバイス。
・表示デバイスＡよりも表示解像度の低い表示デバイスＢ
撮像装置の本体部に付設された表示パネルのような、細部の画像編集を行う上で十分な表示解像度が確保できない表示デバイス。
【００２４】
図３および図４のフローチャートを参照して、画像編集時の全体的な処理に関して説明する。以下の処理は、システム制御部１０３のＣＰＵがメモリからプログラムを読み出して実行することにより実現される。
【００２５】
Ｓ３０１にてシステム制御部１０３は、記録媒体１１３から撮像画像データおよび撮像画像データに対応する距離情報を取得し、不揮発性メモリ１０６から最大分割画像数Ｎを取得し、これらの情報をメモリ１０５へ格納する。なお、最大分割画像数Ｎについては固定値、または可変値であり、後者の場合には、例えばユーザからの指定により決定される。
【００２６】
Ｓ３０２でシステム制御部１０３は、表示先の表示デバイス情報を取得する。表示デバイス情報は、表示先となる表示デバイスに関する情報であり、表示デバイスＡや表示デバイスＢ等に固有の情報である。本実施例における表示デバイス情報は、表示デバイスの表示解像度情報であるものとする。この他にも、表示デバイスの大きさ（画面サイズ情報）、あるいは、表示解像度と表示デバイスの大きさの両方を表示デバイス情報として含んでいてもよい。表示デバイス情報の取得形態は、以下のとおりである。
【００２７】
・撮像装置１００が表示デバイス情報を記憶している形態
例えば、不揮発性メモリ１０６内には、撮像装置１００と接続可能な表示デバイスに係る表示デバイス情報が記憶されている。この場合、システム制御部１０３は、表示デバイス情報を不揮発性メモリ１０６から取得する。
・撮像装置１００が表示先の表示デバイスから表示デバイス情報を取得する形態
システム制御部１０３は、撮像装置１００との接続が検出された表示デバイスに対して、通信部１１１を介して表示デバイス情報を要求し、表示デバイス情報を取得する。
【００２８】
Ｓ３０３において分割画像生成部１０８は、システム制御部１０３の指示により、メモリ１０５に記憶されている撮像画像データと、距離情報と、表示デバイス情報と、最大分割画像数Ｎを用いて、Ｎ枚の奥行き分割画像データを生成する。分割画像生成部１０８は、生成したＮ枚の奥行き分割画像データをメモリ１０５へ格納する。本実施例においては、最大分割画像数ＮをＮ＝５とする。図６に具体例を示す。図６（Ａ）は撮像画像データを例示し、撮像画像データから、図６（Ｂ）に示す奥行き分割画像１から５の各データが生成される。なお、Ｓ３０３の分割画像生成処理の詳細に関しては、図５のフローチャートを用いて後述する。
【００２９】
図３のＳ３０４において被写体検出部１１４は、システム制御部１０３の指示により、撮像画像データから被写体を検出し、検出された被写体の検出結果をメモリ１０５へ格納する。被写体の検出結果は、被写体の属性情報と、撮像画像中の領域情報で構成される。本処理で検出対象とする被写体の属性の種類については、例えば、被写体検出部１１４が検出可能な被写体の属性をすべて対象としてもよいし、一部の属性のみとしてもよい。さらには、ユーザに選択の指示を仰ぎ、所定の入力画面を提示してユーザが選別する実施形態でもよい。本実施例では、画像編集時であることを鑑み、例えば、顔に適した色補正や暈かし処理といった、被写体の属性に対応する画像処理を施すことが可能な属性のみを検出対象とする。図８に具体例を示す。図８（Ａ）は、図６（Ａ）の撮像画像データに対して、被写体として、人、人物の顔、動物、木が検出された例を示す。この場合、検出対象は、人、人物の顔、動物の属性をもつ被写体である。
【００３０】
図３のＳ３０５にて個人認証部１１６は、Ｓ３０４で検出された顔属性に被写体に対し、システム制御部１０３の指示により、不揮発性メモリ１０６に格納されている顔登録データと照合する。個人認証部１１６は、照合による認証処理の結果をメモリ１０５に格納する。Ｓ３０６にて合焦度算出部１１７は、システム制御部１０３の指示により、Ｓ３０４で検出された各被写体に対して合焦度をそれぞれ算出し、算出結果をメモリ１０５に格納する。
【００３１】
Ｓ３０７にて初期選択決定部１１８は、システム制御部１０３の指示により、奥行き分割画像を表示する際に、初期状態で選択可能な奥行き分割画像を決定し、結果をメモリ１０５に格納する。初期状態で選択可能とする分割画像は、Ｓ３０５およびＳ３０６で行った処理結果に基づいて決定される。例えば初期選択決定部１１８は、Ｓ３０５の処理結果に基づき、複数の奥行き分割画像のうちで、装置に予め登録されている人が多く存在している奥行き分割画像を初期選択状態として決定する。また、各奥行き分割画像に同数の登録されている人が存在している場合には、初期選択決定部１１８はＳ３０６の処理結果から、複数の奥行き分割画像のうちで合焦度の高い奥行き分割画像を初期選択状態として決定する。顔認証結果と合焦度に基づく初期選択は一例であり、これに限ったことではない。顔認証結果のみから奥行き分割画像を決定してもよいし、合焦度のみから奥行き分割画像を決定してもよい。あるいは、それ以外の方法で奥行き分割画像から決定してもよい。
【００３２】
図４のＳ３０８にてシステム制御部１０３は表示デバイス情報に基づき、表示デバイスの表示解像度を所定の閾値と比較する。所定の閾値は、予め不揮発性メモリ１０６に記憶されている。表示デバイスの表示解像度が所定の閾値以上である場合、Ｓ３０９の処理に進む。また表示デバイスの表示解像度が所定の閾値未満の場合、Ｓ３１６の処理に進む。本実施例において、表示デバイスＡは閾値以上の表示解像度を有し、表示デバイスＢの表示解像度は閾値未満であるものとする。なお、表示デバイス情報が表示デバイスの大きさを示す画面サイズ情報である場合には、画面サイズ情報と、それに対する閾値とが比較される。この場合、Ｓ３０８の判定条件は、表示デバイスの画面サイズ情報が所定の閾値以上であることとする。
【００３３】
Ｓ３０９にて画像処理部１０７は、システム制御部１０３の指示により、メモリ１０５に記憶されているＮ枚の奥行き分割画像データから、表示画像データを生成する。以降、Ｓ３０９で生成された表示画像データを第１の表示画像データと呼ぶ。画像処理部１０７は、生成された第１の表示画像データをメモリ１０５に格納する。
【００３４】
本実施例にてシステム制御部１０３は、図６（Ｂ）に示す奥行き分割画像データから、各分割画像の距離関係や、撮影画角を表現した第１の表示画像データを生成する処理を制御する。具体的には、画像処理部１０７はそれぞれの奥行き分割画像データに対して、撮像装置からの距離が近いものほど、画像サイズが小さくなるようにリサイズ処理を施してから、第１の表示画像データとして配置することで撮影画角を表現する。
【００３５】
図７（Ａ）は、５つのレイヤーで表現した第１の表示画像データを例示した図である。近距離に対応する奥行き分割画像１は最も手前側のレイヤーに配置され、遠距離に対応する奥行き分割画像５は最も奥側のレイヤーに配置される。奥行き分割画像２から４は距離情報に応じて設定されるレイヤーにそれぞれ配置される。すべての奥行き分割画像データについて、少なくとも一部が見えるように配置することで表示される画像データを、第１の表示画像データとする。また、図７（Ａ）では、図６（Ｂ）の分割画像２に配置された人の顔画像が撮像装置１００に登録されている人物の顔画像である場合を例示する。初期選択決定部１１８は、個人認証部１１６の処理結果に基づき、登録されている人物に対して画像処理を行う可能性が高いと判定する。その結果、図７（Ａ）に示すように、分割画像２が初期状態として選択され、ユーザに視認し易い強調表示で提示される。
【００３６】
本実施例で示す第１の表示画像データの例に限らず、すべての奥行き分割画像データをユーザが分別して選択することも可能である。奥行き分割画像データについては、被写体距離（撮像装置から被写体までの距離）が増加または減少する方向で各分割画像が配置表示されていればよい。例えば、手前から奥へという並べ方ではなく、右から左に向かって被写体距離が大きくなるように奥行き分割画像データを配置してもよい。
【００３７】
図７（Ｂ）は、第１の表示画像データと奥行き分割画像データとの対応付けを説明する模式図である。原点（０，０）を設定して縦軸方向および横軸方向に座標軸が設定されているものとする。ユーザ操作により指定された、第１の表示画像データの画像上での座標と、奥行き分割画像の選択先とを対応付けた選択情報はメモリ１０５へ格納される。図７（Ｂ）の例では、第１の表示画像データに対してユーザ操作により指定された位置座標は分割画像２内であり、奥行き分割画像の選択先は分割画像２である。
【００３８】
Ｓ３１０において表示部１１０は、システム制御部１０３の指示により、メモリ１０５から取得した表示画像データの、表示デバイスへの表示を行う。具体的な表示例に関しては後述する。本実施例においては、撮像装置１００にて同時に複数の表示デバイスとの接続が検出されている場合、最も解像度が高い表示デバイスのみ表示を行うものとする。なお、同時に複数の表示デバイスへの表示を行う実施形態の場合には、表示先となる表示デバイスの数だけ、Ｓ３０８からＳ３１０の処理が繰り返されて、各表示デバイスに応じた表示画像データが生成される。
【００３９】
Ｓ３１１にてシステム制御部１０３は操作部１０９がユーザ操作を検出したか否かを判定する。ユーザ操作が検出された場合、Ｓ３１２へ処理を進める。またユーザ操作が検出されない場合には、Ｓ３１０の処理に戻る。Ｓ３１２は、Ｓ３１１で検出されたユーザ操作が奥行き分割画像に対する画像処理操作であるか否かについての判定処理である。奥行き分割画像に対する画像処理操作に関しては、ユーザ操作により、少なくとも奥行き分割画像が選択されていればよいものとする。奥行き分割画像の選択操作の際にユーザは、例えば操作部１０９のキー入力により、所望の奥行き分割画像を選択することができる。キー入力に対応した奥行き分割画像は強調表示される。このとき、初期状態で強調表示される奥行き分割画像は、Ｓ３０７で決定された奥行き分割画像である。この他にも、表示デバイスがタッチパネル形式である場合、ユーザは表示画像の面内の座標を指定することにより、所望の奥行き分割画像データを選択することができる。
【００４０】
Ｓ３１１で検出されたユーザ操作が奥行き分割画像に対する画像処理操作である場合、Ｓ３１３の処理に進み、奥行き分割画像に対する画像処理操作でない場合にはＳ３１４の処理に進む。Ｓ３１３において画像処理部１０７は、システム制御部１０３の指示により、選択された奥行き分割画像や被写体画像に対する所定の画像処理を実行する。画像処理部１０７は所定の画像処理が施された画像編集後のデータをメモリ１０５へ格納する。所定の画像処理とは、ユーザ操作によって選択された奥行き分割画像に対応する距離範囲に対して行われる、暈かし処理や、シャープネス処理、色変換処理等である。また、ユーザが選択した奥行き分割画像内の被写体の領域に対する暈かし処理や、シャープネス処理、色変換処理といった画像処理が行われてもよい。Ｓ３１３での画像処理は、ユーザが分割画像を選択することで実施可能となる分割画像に対する画像処理であればよい。その後、Ｓ３０３の処理へ移行する。
【００４１】
Ｓ３１４は、ユーザ操作が画像編集モードの終了操作であるか否かについて判定処理である。ユーザ操作が画像編集モードの終了操作である場合、Ｓ３１５の処理に進み、画像編集モードの終了操作でない場合にはＳ３１０の処理へ移行する。Ｓ３１５でシステム制御部１０３は、所望の画像処理が施された画像編集済みのデータを、記録媒体Ｉ／Ｆ部１１２を介して記録媒体１１３に保存する処理を行い、一連の処理を終了する。
【００４２】
次に、Ｓ３１６からＳ３１８の処理を説明する。Ｓ３０８で表示デバイスの表示解像度が所定の閾値未満であると判定された場合、第２の表示画像データが生成される。第２の表示画像データ生成処理に関して、図８を用いて説明する。図８は、第２の表示画像データ生成処理を説明するための図である。
【００４３】
Ｓ３１６においてオブジェクト画像生成部１１５は、システム制御部１０３の指示により、メモリ１０５から被写体の検出結果と撮像画像データを取得し、被写体の属性に対応したオブジェクト画像データを生成する。生成されたオブジェクト画像データはメモリ１０５へ格納される。図８（Ａ）から（Ｃ）に具体例を示す。被写体の属性に対応したオブジェクト画像データ群は、予め不揮発性メモリ１０６に格納される。人や動物等の属性に関して、対応するオブジェクト画像データが不揮発性メモリ１０６から取得される。図８（Ｃ）は、顔の属性に対するオブジェクト画像データを示す。顔の属性に対しては、撮像画像データと、被写体の領域情報を用いて、撮像画像から被写体の顔領域を切り出した画像データ、すなわち抽出された画像データをオブジェクト画像データとする。この他には、例えば、撮像画像中の被写体領域の色情報を取得し、オブジェクト画像データの色情報に利用してもよい。
【００４４】
図４のＳ３１７にてシステム制御部１０３は、メモリ１０５から取得した被写体の領域情報と、撮像画像に対応する距離情報を用いて、検出された被写体の距離情報を算出する。具体的には、距離情報が距離画像の形式の情報である場合、システム制御部１０３は、被写体の撮像画像中の領域情報を、距離画像中の被写体の領域として扱い、当該領域内の画素値を平均した値を、被写体の距離情報として算出する。
【００４５】
Ｓ３１８にて画像処理部１０７は、システム制御部１０３の指示により、オブジェクト画像データと、被写体の領域情報と、撮像画像に対応する距離情報を用いて、第２の表示画像データを生成する。生成された第２の表示画像データは、メモリ１０５に格納される。図９（Ａ）に具体例を示す。図９（Ａ）は、顔、人、動物の属性に対するオブジェクト画像データから構成される第２の表示画像データを示す。
【００４６】
図９（Ｂ）は第２の表示画像データと奥行き分割画像データとの対応付けを説明する模式図である。被写体の距離情報を用いて、各被写体に対応するオブジェクト画像データのうち、近距離に対応するオブジェクト画像データが手前側に配置され、遠距離に対応するオブジェクト画像データが奥側に配置される。すべてのオブジェクト画像データについて、少なくとも一部が見えるように配置表示された画像データを、第２の表示画像データとする。このとき、図９（Ａ）にて人物の顔を表示するオブジェクト画像データが初期選択状態として設定され、ユーザに強調表示で提示される。ただし、本実施例で示す第２の表示画像データの例に限らず、すべてのオブジェクト画像データをユーザが分別して選択することが可能である。オブジェクト画像データについては、オブジェクトに対応する被写体距離が増加または減少する方向で各画像が配置表示されていればよい。例えば、手前から奥へという並べ方ではなく、右から左に向かって被写体距離が大きくなるようにオブジェクト画像データを配置してもよい。
【００４７】
システム制御部１０３は、図９（Ｂ）に示すように、第２の表示画像データの画像上で指定される座標と、分割画像データの選択先とを対応付けた選択情報をメモリ１０５へ格納する。原点（０，０）を設定して縦軸方向および横軸方向に座標軸が設定されているものとする。ユーザ操作により指定された、第２の表示画像データの座標と、奥行き分割画像の選択先とを対応付けた選択情報はメモリ１０５へ格納される。図９（Ｂ）の例では、第２の表示画像データに対してユーザ操作により指定された位置座標は分割画像２内であり、奥行き分割画像の選択先は分割画像２である。
【００４８】
なお、図３のＳ３０４の処理で、検出対象とした被写体が１つも検出されない場合、システム制御部１０３は撮像画像データを第２の表示画像データとして、メモリ１０５へ格納する。この場合、システム制御部１０３は、表示画像データの座標と、奥行き分割画像データの選択先とを対応付けた選択情報を生成しない。
【００４９】
次に、図５のフローチャートと、図６および図１０を用いて、分割画像生成処理に関して説明する。図１０は分割画像生成処理の説明図である。最大分割画像数Ｎ＝５とする。
図５のＳ４０１において、奥行き分割画像データの参照変数（ｉと記す）の値がゼロに初期化される（ｉ＝０）。Ｓ４０２において、分割処理部２０１は、距離情報に基づいて、奥行き方向にて被写体が存在する距離の分布（被写体の距離別ヒストグラム）を求める。距離情報は、画素値が撮像画像内に出現する被写体の距離（被写体距離）を表す距離画像の形式である。したがって、被写体の距離別ヒストグラムは、距離画像の画素値の度数、つまり被写体距離の分布頻度を示す。Ｓ４０２の処理により、撮像画像データ（図６（Ａ）参照）に対応する被写体距離の分布頻度が得られる。図１０（Ａ）は、被写体の距離別ヒストグラムを示す。図１０（Ａ）の横軸は奥行き方向の距離を表し、縦軸は分布頻度を表す。
【００５０】
図５のＳ４０３において、分割処理部２０１は、被写体の距離別ヒストグラムから、ｉ番目の分割区間に対する距離範囲情報を算出する。最大分割画像数Ｎで区切る距離範囲については、予め不揮発性メモリ１０６に定数としてデータが保持される。分割処理部２０１が、図１０（Ａ）の距離別ヒストグラムを用いて、被写体の出現頻度が低い距離の順にＮ個の分割範囲（距離範囲）を決定してもよい。その結果、図１０（Ｂ）に示す距離範囲情報が得られる。Ｎ＝５の場合、分割処理部２０１は、図１０（Ａ）に示す被写体の距離別ヒストグラムを、横軸方向に５分割することにより、図１０（Ｂ）に示す分割１から分割５という５つに分割された距離範囲を決定する。
【００５１】
図５のＳ４０４において、マスク生成処理部２０２はｉ番目の距離範囲情報から、分割画像生成用マスクデータを生成する。具体的には、Ｓ４０３で算出されたｉ番目の分割画像に対する距離範囲情報を用いて、距離情報である距離画像に対して、画素値を２値化する処理が実行される。つまり、距離範囲内の画素値を１とし、距離範囲外の画素値を０とする処理が行われ、分割画像生成用マスクデータが生成される。
【００５２】
Ｓ４０５において、データ生成処理部２０３は、撮像画像データとｉ番目の分割画像生成用マスクデータを用いて、ｉ番目の分割画像データを生成する。具体的には、撮像画像データの各画素に対して、分割画像生成用マスクデータの画素値を乗算する処理が実行される。それにより、分割画像生成用マスクデータの画素値が１である領域のみが、撮像画像データからそれぞれ抽出され、図１０（Ｂ）の奥行き分割画像１〜５のデータが生成される。
【００５３】
次にＳ４０６において、参照変数ｉのインクリメントが行われて、ｉ値が１だけ増加する。Ｓ４０７では、参照変数ｉの値が最大分割画像数Ｎと比較され、「ｉ＞Ｎ」であるか否かが判定される。参照変数ｉの値が最大分割画像数Ｎより大きい場合、分割画像生成処理を終了する。参照変数ｉの値が最大分割画像数Ｎ以下である場合、Ｓ４０３に戻って処理を続行する。分割画像生成部１０８は以上の処理を行うことで、撮像画像データに対し、最大分割画像数Ｎ個の距離範囲で分割した奥行き分割画像のデータを、表示先の表示デバイスに応じて生成する。
【００５４】
図１１を参照して、表示例を説明する。図１１は、異なる表示デバイスへの表示例を示す図である。図１１（Ａ）に示すように表示デバイスＡの画面１１０１には、奥行き分割画像データから生成された第１の表示画像像データ（図７（Ａ）参照）が表示される。ユーザは、撮像画像データ内のすべての距離範囲に含まれる被写体を視認し、所望の被写体画像を選択することが可能となる。図１１（Ａ）の例では表示デバイスＡによって、被写体の深度情報に対応する異なるレイヤーごとに複数の奥行き分割画像がそれぞれ表示され、太線枠で示すように分割画像のうちの１つの画像（近距離の分割画像）が初期選択状態に設定される。
【００５５】
また図１１（Ｂ）に示すように表示デバイスＢの画面１１０２には、撮像画像中の検出された被写体に対応するオブジェクト画像から生成された第２の表示画像データ（図９（Ａ）参照）が表示される。ユーザは撮像画像内の主たる被写体や、画像処理部１０７が処理可能な被写体を簡易的に視認し、所望の被写体画像を選択することが可能となる。図１１（Ｂ）の例では表示デバイスＢによって、被写体の深度情報に対応する異なるレイヤーごとに複数のオブジェクト画像がそれぞれ表示され、太線枠で示すようにそのうちの１つの画像（顔属性の被写体画像）が初期選択状態に設定される。なお、表示デバイスＢのように、第２の表示画像データを表示する表示デバイスに対しては、画像編集中の表示目的に応じて、多様な表示切り替えが可能である。第２の表示画像データの表示と、通常の画像再生時の表示を切り替えたり、または、これらの２つの表示を任意の割合で合成したりすることで両立させてもよい。例えば、選択された被写体画像に対して画像処理が施された場合、任意の期間に画像編集データの表示へ切り替えが行われる。ユーザは、表示デバイスＡまたはＢの最初の表示画面上で初期選択状態の画像を選択する操作が可能であり、また所定の操作（スライドバー操作等）を行うことにより当該画像以外の分割画像を選択することも可能である。
【００５６】
本実施例では、撮像画像データに関連する距離情報を利用して、撮像画像データを被写体の距離範囲に応じて複数の画像に分割し、各分割画像をユーザが選択可能に提示する。また、表示先の表示デバイス情報により、表示画像の生成処理を切り換えることで、表示デバイスに対応した表示を行うことが可能となる。すなわち、表示デバイスの解像度や画面サイズに応じて、特定の距離に存在する被写体を対象とした画像データを、ユーザに提供できる。ユーザが画像編集を行う際に画像処理対象の選択が容易となり、利便性が向上する。
【００５７】
［実施例２］
次に本発明の実施例２を説明する。本実施例では、撮像画像に関連する距離情報を用いて撮像画像内の被写体を類別し、検出された複数の被写体領域から所定数以下の被写体領域を抽出する処理を説明する。本実施例にて実施例１と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、主に相違点を説明する。
【００５８】
図１２は撮像装置１００の構成例を示すブロック図である。個人認証部１２１６は、被写体検出部１１４によって属性が人物の顔であると判定された被写体に対して個人認証処理を行う。その際、個人認証部１２１６は、不揮発性メモリ１０６に記録されている個人認証用の辞書データを参照する。不揮発性メモリ１０６には、個人認証の対象である被写体の顔をユーザが予め撮影した画像に基づき、当該被写体の顔の特徴量を抽出した辞書データが登録されている。個人認証部１２１６は、検出された人物の顔画像が登録されている辞書データと同一人物の顔画像であるか否かを判定し、判定結果をメモリ１０５へ格納する。
【００５９】
合焦度算出部１２１７は、被写体検出部１１４によって検出された各被写体に対して、合焦度を算出し、算出結果をメモリ１０５へ格納する。本実施例の合焦度は、撮像画像データから検出した画像のコントラスト情報から算出され、画像のコントラストが高いほど、合焦度が高いと判定される。
【００６０】
被写体抽出部１２１８は、システム制御部１０３からの指示により、各々の奥行き分割画像に表示する被写体領域を抽出し、抽出結果をメモリ１０５へ格納する。被写体抽出部１２１８は、ユーザが画像処理対象を選択するために表示デバイスの画面上を手指でタッチして被写体を選択したときに、意図する被写体を正確に選択するために被写体領域を抽出する。例えば撮像画像内に多数の被写体画像が密集している場合を想定する。この場合、ユーザの意図していない周囲の被写体が選択されてしまうことを避ける必要がある。そのために被写体抽出部１２１８は属性に基づいて複数の被写体を類別し、画像処理時に選択される可能性の高い被写体領域を奥行き分割画像ごとに推定して抽出することで、被写体を選択しやすくする。抽出される被写体領域は、個人認証部１２１６および合焦度算出部１２１７の処理結果から決定され、被写体領域情報としてメモリ１０５へ格納される。なお、本実施例に限らず、個人認証部１２１６の処理結果から撮像画像内の被写体領域を優先的に抽出する方法や、合焦度算出部１２１７の処理結果から撮像画像内の被写体領域を優先的に抽出する方法がある。あるいは個人認証結果や合焦度以外に基づく別の方法で処理を行ってもよい。また、抽出する被写体の数が所定数よりも多い場合には、奥行き分割画像ごとに、抽出する被写体数に上限を設けてもよい。
【００６１】
図１３および図４を参照して、本実施例における処理例を説明する。実施例１と相違する処理はＳ１３０５からＳ１３０７、Ｓ３１２の処理である。
図１３のＳ１３０５において個人認証部１２１６は、Ｓ３０４で検出された顔属性の被写体に対し、不揮発性メモリ１０６に格納されている個人認証用の辞書データと照合し、処理結果をメモリ１０５に格納する。Ｓ１３０６において合焦度算出部１２１７は、システム制御部１０３の指示により、Ｓ３０４で検出された各被写体に対して画像のコントラスト情報から合焦度を算出し、算出結果をメモリ１０５に格納する。Ｓ１３０７において被写体抽出部１２１８は、システム制御部１０３の指示により、Ｓ３０４で検出された被写体の中から一部の被写体を抽出し、抽出結果をメモリ１０５に格納する。抽出する被写体は、Ｓ１３０５およびＳ１３０６で行った処理結果に基づき決定される。被写体の抽出方法の詳細については後述する。
【００６２】
図４のＳ３１２において、ユーザ操作が奥行き分割画像に対する画像処理操作であるか否かについて判定処理が行われる。本実施例にて奥行き分割画像の選択は、表示デバイスがタッチパネル形式の場合、表示画像の画面内での座標指定により行われる。ユーザによるタッチ操作が検出された際、システム制御部１０３は表示画像上でタッチされた座標から、Ｓ３０９またはＳ３１８で生成された選択情報を用いて、奥行き分割画像データが選択される。この他にも、奥行き分割画像データの選択操作時に、操作部１０９によるキー入力に対応した分割画像を強調表示してユーザに提示してもよい。ユーザ操作が奥行き分割画像に対する画像処理操作である場合、Ｓ３１３に進み、ユーザ操作が奥行き分割画像に対する画像処理操作でない場合、Ｓ３１４に進む。
【００６３】
次に図１４から図１６を参照して、図１３のＳ１３０７に示す被写体の抽出方法について説明する。Ｓ９０１において被写体抽出部１２１８は、処理対象の奥行き分割画像を１枚決定する。最初の実行時には、一番手前の奥行き分割画像が選択される。後述するＳ９０２からＳ９０９の処理を実行した後に、再びＳ９０１を実行する場合には、まだ処理を行っていない奥行き分割画像のうちで、一番手前の奥行き分割画像が処理対象に決定される。本実施例では、手前から順番に処理を行うものとして説明するが、処理の順番はこれに限らずに任意に決定可能である。
【００６４】
Ｓ９０２において被写体抽出部１２１８は、決定した１枚の奥行き分割画像に対して、検出された被写体の数を上限（以下、上限被写体数といい、Ｍと記す）と比較する。本実施例では、上限被写体数Ｍは、奥行き分割画像ごとにそれぞれ決定される。例えば上限被写体数Ｍについては、距離や画角等を加味して撮像装置が自動で決定してもよいし、ユーザ操作によって指定できるように構成してもよい。以下では、分割画像Ｊ（Ｊ＝１〜５）に対する上限値を、「上限値Ｊ」と表記し、各上限値が事前に決定された例で説明する。なお、上限値Ｊを奥行き分割画像ごとに決定するのではなく、各奥行き分割画像の上限被写体数を同じ数に設定する形態、あるいは被写体の選択しやすさを考慮して、表示解像度に応じて上限被写体数を設定または変更する形態でもよい。
【００６５】
Ｓ９０２にて、検出された被写体の数が上限被写体数Ｍより大きい場合、Ｓ９０３に進み、上限被写体数Ｍを超えていない場合にはＳ９０８へ移行する。例えば、Ｓ９０２の処理において、図６（Ａ）の撮像画像データに対して、図６（Ｂ）の奥行き分割画像が生成され、図８（Ａ）に示す被写体の検出結果が得られた場合を想定する。この場合、図６（Ｂ）の各奥行き分割画像１〜５では検出された被写体の数が上限被写体数Ｍ、つまり各上限値１〜５を超えないので、それぞれの奥行き分割画像に対してＳ９０８の処理が実行される。Ｓ９０８において被写体抽出部１２１８は、奥行き分割画像の中の被写体すべてを抽出対象として決定し、抽出した結果をメモリ１０５に格納する。
【００６６】
図１５は、ある奥行き分割画像にて検出された被写体の数が上限被写体数Ｍを超える場合を例示する。図１５（Ａ）に示す撮像画像データに対して、図１５（Ｂ）の奥行き分割画像１から５が生成される。図１５（Ｃ）は撮像画像に対する被写体検出結果を示す。この場合、図１５（Ｂ）の奥行き分割画像２では、検出された被写体の数が上限被写体数Ｍを超えており、その他の奥行き分割画像１，３〜５では検出された被写体の数が上限被写体数Ｍを超えていない。よって、奥行き分割画像２に対してＳ９０３以降の処理が実行され、それ以外の奥行き分割画像に対してＳ９０８の処理が実行される。
【００６７】
Ｓ９０３で被写体抽出部１２１８は、処理対象である奥行き分割画像内の被写体画像のうち、Ｓ１３０５による個人認証処理で認証された被写体画像を抽出し、抽出した結果をメモリ１０５に格納する。Ｓ９０４で被写体抽出部１２１８は、処理対象である奥行き分割画像内の各被写体に対して、合焦度算出部１２１７により算出された合焦度の高い被写体から順に順位づけを行い、順位づけの結果をメモリ１０５に格納する。Ｓ９０５で被写体抽出部１２１８は、Ｓ９０３で抽出された被写体の数が上限被写体数Ｍを超えているか否かを判定する。抽出された被写体の数が上限被写体数Ｍより大きい場合、Ｓ９０６の処理に進み、抽出された被写体の数が上限被写体数Ｍを超えていない場合にはＳ９０７の処理へ移行する。
【００６８】
Ｓ９０６にて被写体抽出部１２１８は、Ｓ９０３で抽出した被写体画像から所定数の被写体画像を抽出する。所定数とは、例えば上限被写体数Ｍであり、Ｓ９０４の処理結果に基づき、合焦度の高い順にＭ個の被写体画像が抽出されて、抽出結果がメモリ１０５に格納される。
【００６９】
一方、Ｓ９０７にて被写体抽出部１２１８は、個人認証された被写体以外から、合焦度の高い被写体画像を、Ｓ９０３で抽出した被写体画像の数と合わせて上限被写体数Ｍまで抽出する。具体的には、上限被写体数Ｍを３とし、Ｓ９０３で抽出されなかった被写体画像の数を３とする。Ｓ９０３で抽出された被写体画像の数が１である場合、Ｓ９０４の処理結果から合焦度の高い順に、２つの被写体画像が抽出される。つまり、Ｓ９０３で抽出された被写体画像の数と合わせて、Ｍ＝３になるように被写体画像が抽出され、抽出結果がメモリ１０５に格納される。
【００７０】
Ｓ９０６、Ｓ９０７、Ｓ９０８の処理後、Ｓ９０９において被写体抽出部１２１８は、すべての奥行き分割画像に対して抽出処理が完了したか否かを判定する。すべての奥行き分割画像に対して被写体抽出処理が完了した場合、一連の処理を終える。また、未処理である奥行き分割画像が存在する場合には、Ｓ９０１に戻って処理を続行する。
本実施形態では、Ｓ９０３での個人認証結果およびＳ９０４での合焦度に基づく被写体画像の抽出処理を例示したが、個人認証結果または合焦度から該当する被写体画像を決定してもよい。
【００７１】
図１６は、表示デバイスの画面表示例を示す。図１５（Ａ）の撮像画像データに対して、分割画像２の４人の被写体のうち、顔が検出された２人の被写体画像が抽出された場合を説明する。図１６（Ａ）は表示デバイスＡの表示例を示し、図１６（Ｂ）は表示デバイスＢの表示例を示す。いずれの表示例でも、抽出された被写体がユーザに分かりやすく表示される。
【００７２】
図１６（Ａ）に示すように、表示デバイスの表示解像度が閾値以上である場合、複数のレイヤーにそれぞれ割り当てられた奥行き分割画像が表示される。図１３のＳ３０３での被写体検出結果の際に取得された被写体の領域情報を参照して、マスク生成処理部２０２は、抽出された被写体と、抽出されなかった被写体とを分離するためのマスクデータを生成する。データ生成処理部２０３は、生成されたマスクデータを用いて奥行き分割画像のデータを生成する。分割画像生成用マスクデータの例は、以下の通りである。
・抽出された被写体に対応する被写体領域内の値が１に設定される。
・抽出されなかった被写体領域内の値が０．５に設定される。
・それ以外の領域の値は０に設定される。
【００７３】
撮像画像データの各画素値に対して、分割画像生成用マスクデータの画素値を乗算する処理が実行される。それにより、抽出されなかった被写体の画像は暗く表示され、抽出された被写体の画像は所定の明るさで表示される。したがって、ユーザは個人認証された被写体の画像を容易に視認できる。
【００７４】
また、図１６（Ｂ）に示すように、表示デバイスの表示解像度が閾値未満である場合、各被写体の属性情報に応じて被写体の画像がそれぞれ表示される。この場合、オブジェクト画像データを表示する際に、抽出されなかった被写体の画像は暗く表示され、その大きさは、抽出された被写体の画像に比べて小さく表示される。ユーザは、抽出された被写体の画像と、抽出されなかった被写体の画像とを、明確に区別して視認できる。
【００７５】
本実施例では、画像編集の際に、選択可能な被写体画像を抽出することにより、処理対象の選択を正確に行える画像処理装置を提供できる。図１６（Ａ）および（Ｂ）は表示の一例を示したものであり、表示の仕方はこれに限ったものではなく、抽出されなかった被写体の画像を半透明状態で表示する等、他の方法で行ってもよい。また、抽出された被写体の中にユーザの指定したい被写体がいる場合、対象の被写体をユーザ操作で選択した上で画像処理が行われる。一方で、抽出された被写体の中にユーザの指定したい被写体が含まれていない場合には、ユーザが所望の表示形態を切り替えることができるように、ユーザインターフェースが構成される。例えばユーザは、表示デバイスの種別にかかわらず、図１６（Ａ）または（Ｂ）の表示画面を任意に切り替えることが可能である。ユーザが表示の切り替え操作を行った場合、例えば、最初に抽出された被写体以外の被写体の画像について再び図１３のＳ１３０７を実行することにより、他の被写体画像を抽出することができる。
【００７６】
また被写体抽出処理において、撮像装置に接続された表示デバイスの表示解像度（または画面サイズ）に応じて上限被写体数Ｍを決定してもよい。例えば、表示解像度が低い表示デバイスほど、上限被写体数Ｍが小さい値に設定される。表示解像度が低い場合でもユーザは所望の被写体を正確に選択することができる。
【００７７】
［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７８】
１０１  撮像部
１０３  システム制御部
１０４  距離情報取得部
１０７  画像処理部
１０８  分割画像生成部
１０９  操作部
１１４  被写体検出部
１１５  オブジェクト画像生成部
１１６，１２１６  個人認証部
１１７，１２１７  合焦度算出部
１１８  分割画像初期選択決定部
１２１８  被写体抽出部
【図１】
2018029270.tif 000003
【図２】
2018029270.tif 000004
【図３】
2018029270.tif 000005
【図４】
2018029270.tif 000006
【図５】
2018029270.tif 000007
【図６】
2018029270.tif 000008
【図７】
2018029270.tif 000009
【図８】
2018029270.tif 000010
【図９】
2018029270.tif 000011
【図１０】
2018029270.tif 000012
【図１１】
2018029270.tif 000013
【図１２】
2018029270.tif 000014
【図１３】
2018029270.tif 000015
【図１４】
2018029270.tif 000016
【図１５】
2018029270.tif 000017
【図１６】
2018029270.tif 000018