(57)【要約】【課題】撮像画像に関連する距離情報を画像処理に利用する場合に、距離情報を視覚的に把握しやすくする。【解決手段】撮像装置１００は被写体を撮像する撮像部１０１と、撮像画像内の各被写体の奥行き方向の深さを示す距離情報を取得する距離情報取得部１０４を備える。画像処理部１０７は、距離情報に基づいて、撮像画像から、各々が異なる距離範囲に対応する複数の分割画像を生成する。複数の分割画像から少なくとも１つの分割画像が選択された場合、選択された分割画像と、当該分割画像とは距離範囲が相違する分割画像とを、それぞれ異なるレイヤーに配置させた一覧画像が生成される。表示部１１０は一覧画像により、分割画像に対応する距離情報を識別可能に表示する。【選択図】図１
2017228874.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像と前記撮像画像内の各被写体の奥行き方向の深さを示す距離情報を取得する取得手段と、
前記距離情報に基づいて、前記撮像画像から、画像内の被写体がとる距離範囲が異なる、複数の分割画像を生成する第１の生成手段と、
前記複数の分割画像から第１の分割画像が選択された場合、前記第１の分割画像および当該第１の分割画像とは距離範囲の異なる第２の分割画像を異なるレイヤーにそれぞれ表示する画像を生成する第２の生成手段とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記距離情報の距離分布、撮影シーンの情報、またはユーザ操作により、前記分割画像を選択する選択手段を備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の生成手段は、前記第１の分割画像よりも前記第２の分割画像を奥側のレイヤーに表示させた画像を生成する
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記第２の生成手段は、前記第１の分割画像よりも前記距離情報が奥側である複数の分割画像を、前記第１の分割画像とは異なるレイヤーにそれぞれ配置させて合成することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項５】
前記第２の生成手段により合成された画像を記憶する記憶手段を備える
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第２の生成手段により合成された画像の全部または一部を前記記憶手段に記憶させる制御手段を備える
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記制御手段は、前記撮像画像の撮影情報または検出された前記撮像画像内の被写体領域により、合成時の画像を前記記憶手段に記憶させるか否かを決定する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記制御手段は、前記撮像画像内の焦点が合っている被写体領域の画像を含む前記合成時の画像を前記記憶手段に記憶させる制御を行う
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記制御手段は、マクロ撮影にて近距離の画像を含む前記合成時の画像を前記記憶手段に記憶させる制御を行う
ことを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記制御手段は、ポートレート撮影にて被写体の顔が検出された画像を含む前記合成時の画像を前記記憶手段に記憶させる制御を行う
ことを特徴とする請求項７に記載の画像処理装置。
【請求項１１】
前記制御手段は、登録されている被写体が検出された場合、当該被写体の画像を含む前記合成時の画像を前記記憶手段に記憶させる制御を行う
ことを特徴とする請求項７に記載の画像処理装置。
【請求項１２】
前記制御手段は、前記距離範囲の分割数が閾値より小さい場合、前記第２の生成手段により合成された画像の全部を前記記憶手段に記憶させる制御を行い、前記距離範囲の分割数が閾値以上である場合には前記第２の生成手段により合成された画像の一部を前記記憶手段に記憶させる制御を行う
ことを特徴とする請求項６に記載の画像処理装置。
【請求項１３】
前記撮像画像を出力する撮像手段を備える
ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置として機能する撮像装置。
【請求項１４】
撮像画像と前記撮像画像内の各被写体の奥行き方向の深さを示す距離情報を取得する取得工程と、
前記距離情報に基づいて、前記撮像画像から、画像内の被写体がとる距離範囲が異なる、複数の分割画像を生成する第１の生成工程と、
前記複数の分割画像から第１の分割画像が選択された場合、前記第１の分割画像および当該第１の分割画像とは距離範囲の異なる第２の分割画像を異なるレイヤーにそれぞれ表示する画像を生成する第２の生成工程とを有する
ことを特徴とする画像処理装置の制御方法。
【請求項１５】
コンピュータを請求項１乃至１３のいずれか１項に記載の画像処理装置が備える各手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像に関連する被写体の距離情報を活用した画像処理技術に関する。
【背景技術】
【０００２】
撮像シーンの画像内に存在する個々の被写体領域を検出し、被写体の距離情報を取得可能な撮像装置がある。特許文献１に開示の撮像装置は、個々の被写体の距離情報を用いて、撮像シーン内の被写体の奥行き方向における位置関係と現在の合焦距離とを表す俯瞰マップを撮影者に提示する。撮像時に撮影者は、どの被写体に合焦しているかを容易に把握することが可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１７７７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の装置において被写体の距離情報は、撮像時に行われる画像処理に専ら用いられており、ユーザが利用することを想定していなかった。例えば、撮像画像に対する画像処理を行うアプリケーションにおいて、被写体の距離情報を利用した画像処理をユーザが容易に行うための方法は提案されていなかった。被写体の距離情報を利用した画像処理とは、指定距離へのリフォーカス処理や、指定距離範囲の被写体画像の削除、明るさ、色味、ノイズ等の画像補正である。画像処理にて距離情報を視覚的に把握しやすい状態でユーザに提示することにより、利便性を高めることが可能である。
本発明は、撮像画像に関連する距離情報を画像処理に利用する場合に、距離情報を視覚的に把握しやすくすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一実施形態の画像処理装置は、撮像画像と前記撮像画像内の各被写体の奥行き方向の深さを示す距離情報を取得する取得手段と、前記距離情報に基づいて、前記撮像画像から、画像内の被写体がとる距離範囲が異なる、複数の分割画像を生成する第１の生成手段と、前記複数の分割画像から第１の分割画像が選択された場合、前記第１の分割画像および当該第１の分割画像とは距離範囲の異なる第２の分割画像を異なるレイヤーにそれぞれ表示する画像を生成する第２の生成手段とを備える。
【発明の効果】
【０００６】
本発明の画像処理装置によれば、撮像画像に関連する距離情報を画像処理に利用する場合に、距離情報を視覚的に把握しやすいという効果が得られる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図２】本発明の実施例１の全体的な処理を説明するフローチャートである。
【図３】図２に続く処理を説明するフローチャートである。
【図４】実施例１の被写体距離の分割を説明するフローチャートである。
【図５】実施例１の奥行き分割一覧画像の生成を説明するフローチャートである。
【図６】撮像画像例に対応する距離情報と距離ヒストグラムを例示する図である。
【図７】撮像画像に対応するマスク画像を例示する図である。
【図８】奥行き分割一覧画像を例示する図である。
【図９】表示画面例を示す図である。
【図１０】本発明の実施例２の全体的な処理を説明するフローチャートである。
【図１１】図１０に続く処理を説明するフローチャートである。
【図１２】実施例２の奥行き分割一覧画像の生成を説明するフローチャートである。
【図１３】被写体距離範囲の番号と奥行き分割一覧画像との対応表を示す図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して、本発明の例示的な実施形態を詳細に説明する。なお、各実施例に共通する事項を説明してから、各実施例を詳細に説明する。図１は本発明の実施形態に係る画像処理装置を適用した撮像装置の構成例を示すブロック図である。撮像装置１００の撮像部１０１は、レンズ、シャッター、絞り、撮像素子を有する。撮像部１０１はシステム制御部１０３の指示により撮影動作を行い、撮像画像データを取得してメモリ１０５へ格納する。撮像装置１００内の各部はバス１０２に接続されており、データや制御信号の送受を行う。
【０００９】
システム制御部１０３は、撮像装置１００全体を制御する。システム制御部１０３はＣＰＵ（中央演算処理装置）を備え、不揮発性メモリ１０６に記憶されたプログラムを読み出して実行することで、後述する各種処理を実現する。
【００１０】
距離情報取得部１０４は、撮像部１０１が取得した撮像画像データに対応した距離情報を取得する。撮像画像データに対応した距離情報はメモリ１０５へ記憶される。距離情報に関して、撮像画像内の各被写体の奥行方向の深さ（深度）に対応する情報としてさまざまな実施形態がある。つまり、被写体の深さに対応するデータが示す情報（深さ情報）は、画像内における撮像装置１００から被写体までの被写体距離を直接的に表すか、または画像内の被写体の距離（被写体距離）や深さの相対関係を表す情報であればよい。例えば、撮像部１０１に対して合焦位置を変更する制御が行われ、撮影された複数の撮像画像データが取得される。それぞれの撮像画像データの合焦領域と、撮像画像データの合焦位置情報から距離情報を取得することができる。この他にも、撮像部１０１の撮像素子が瞳分割型の画素構成を有する場合、一対の像信号の位相差から各画素に対する距離情報を取得可能である。具体的には、撮像素子は、撮像光学系の異なる瞳部分領域を通過する一対の光束が光学像としてそれぞれ結像したものを電気信号に変換し、対をなす画像データを複数の光電変換部から出力する。対をなす画像データ間の相関演算によって各領域の像ずれ量が算出され、像ずれ量の分布を表す像ずれマップが算出される。あるいはさらに像ずれ量がデフォーカス量に換算され、デフォーカス量の分布（撮像画像の２次元平面上の分布）を表すデフォーカスマップが生成される。このデフォーカス量を撮像光学系や撮像素子の条件に基づいて被写体距離に換算すると、被写体距離の分布を表す距離マップデータが得られる。像ずれマップデータ、デフォーカスマップデータ、あるいはデフォーカス量から変換される被写体距離の距離マップデータを取得可能である。
【００１１】
本実施形態において、撮像画像データの距離情報は、各画素の値が距離を表す距離画像の形式を有するものとするが、データ形式はこれに限定されない。例えば距離情報は、撮影シーンの画像内に存在する特定被写体（例えば人物）の領域の位置および距離を表す情報であってもよい。距離情報取得部１０４による距離情報の生成方法について特に制限は無く、例えば特許文献１に記載されている方法や各種の方法を適用できる。
【００１２】
メモリ１０５は、撮像部１０１により取得された撮像画像データや、距離情報取得部１０４で取得した、撮像画像データに関連する距離情報等の各種データを記憶する。メモリ１０５は、所定枚数の撮像画像データの格納に十分な記憶容量を有する。
【００１３】
不揮発性メモリ１０６は、電気的に消去および記録可能なメモリであり、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等が用いられる。不揮発性メモリ１０６には、システム制御部１０３の動作用の定数、設定値、プログラム等が記憶される。ここでのプログラムとは、実施形態にて後述する各種フローチャートの処理を実行するためのプログラムである。
【００１４】
画像処理部１０７は、システム制御部１０３からの指示により、撮像部１０１や、メモリ１０５から読み出された撮像画像データに対して所定の画像処理を行う。所定の画像処理とは、画素補間、リサイズ処理、色変換処理、距離情報を用いて算出される個々の距離範囲に対する暈かし処理や、シャープネス処理、色変換処理等である。また画像処理部１０７は、メモリ１０５から撮像画像データを取得し、距離情報取得部１０４から距離情報を取得して、撮像画像データ内の所定の距離範囲に含まれる被写体画像（以後、奥行き分割画像または単に分割画像と呼ぶ）を抽出する処理を行う。例えば、奥行き方向（撮影方向に沿う方向）において距離範囲を３つの距離範囲に分割する場合を想定する。第１の距離範囲を撮像装置に最も近い距離範囲とし、第３の距離範囲を撮像装置から最も遠い距離範囲とする。第１の分割画像は、第１の距離範囲内の被写体像を含む画像（近景被写体の画像）である。第２の分割画像は、第２の距離範囲内の被写体像を含む画像（中間距離の被写体画像）である。第３の分割画像は、第３の距離範囲内の被写体像を含む画像（遠景被写体の画像）である。画像処理部１０７は奥行き分割画像の幾何変形や合成を行い、奥行き分割一覧画像（以下、単に一覧画像という）のデータを生成してメモリ１０５へ格納する。奥行き分割画像とその一覧画像データの生成の詳細については後述する。
【００１５】
操作部１０９は、ユーザの操作指示を受け付けて撮像装置１００の制御情報に変換し、システム制御部１０３へ通知するユーザインターフェース部である。表示部１１０はＬＣＤ（液晶表示装置）等の表示デバイスを備え、メモリ１０５から読み出された画像データ等を画面に表示する。通信部１１１は、表示デバイスを備える外部装置との間で制御コマンドや、データの送受信を行うための通信インターフェース部である。例えば撮像装置１００はＵＳＢ（Universal Serial Bus）やＨＤＭＩ（登録商標）のような規格に基づく有線接続で外部装置と通信を行う。あるいは撮像装置１００は無線ＬＡＮ（Local Area Network）やＢｌｕｅＴｏｏｔｈ（登録商標）等の規格に基づく無線接続により外部装置と通信を行う。なお、撮像装置と外部装置とは直接接続されてもよいし、サーバーや、インターネット等のネットワークを介して接続されてもよい。本実施形態においては、少なくとも通信部１１１が接続される外部装置の表示デバイスに対して、表示デバイス情報の受信や、撮像画像に関する表示画像データの送信ができるものとする。
【００１６】
記録媒体Ｉ／Ｆ部１１２は、メモリカードやハードディスク等の記録媒体１１３とのインターフェース部である。記録媒体１１３は半導体メモリや磁気ディスク等から構成され、撮像画像データや、撮像画像データに関連する距離情報を記録する。なお、以下に説明する動作を実行可能であれば、本発明に係る装置は図１に示す構成に限定されない。
【００１７】
次に図１（Ｂ）を参照して、画像処理部１０７における奥行き分割画像の生成部を説明する。距離範囲分割処理部２０１は、メモリ１０５から取得した距離情報を用いて、被写体の距離範囲を複数に分割する。被写体の距離範囲の分割により、被写体の距離範囲分割情報が生成される。分割画像生成用マスクデータ生成処理部（以下、マスク生成処理部という）２０２は、距離範囲分割処理部２０１から、被写体の距離範囲分割情報を取得し、奥行き分割画像の生成用のマスク画像データを生成する。分割画像データ生成処理部２０３は、メモリ１０５から取得した撮像画像データと、奥行き分割画像生成用のマスク画像データとを用いて、複数の分割画像データを生成する。生成された分割画像データは、メモリ１０５へ撮像画像データと対応付けて格納される。
【００１８】
［実施例１］
本発明の実施例１について図２，図３，図８，図９，図１３を用いて説明する。図２および図３は処理の概要を説明するフローチャートである。図８（Ａ）は撮像画像を示し、図８（Ｂ）〜（Ｆ）は、生成される一覧画像の例を示す図である。一覧画像は選択された奥行き分割画像に応じて各奥行き分割画像を異なるレイヤーに配置させた表示用画像である。図８（Ｇ）は、表示する一覧画像に対応する奥行き分割画像の領域を示す図である。図９は撮像装置１００の背面パネル９００に表示した一覧画像９０１を例示する図である。図１３は被写体距離範囲の番号（奥行き分割画像の番号）と表示する一覧画像とを関連付けた関連情報テーブルの例を示す。
【００１９】
図２のＳ２０００でシステム制御部１０３は、ユーザが操作部１０９を用いて行った操作指示を受け付けて、編集モードが選択されたか否かを判定する。編集モードは表示部１１０に表示されている編集メニューにおいてユーザが選択可能である。編集モードの選択が判定された場合、Ｓ２００１へ進み、編集モードが選択されていない場合には、Ｓ２０００の判定処理が繰り返されてユーザ指示の待機状態となる。Ｓ２００１でシステム制御部１０３は、撮像画像が選択されたか否かを判定する。ユーザが操作部１０９を用いて、表示部１１０に表示されているファイルブラウズＧＵＩ（グラフィカル・ユーザ・インターフェース）画面から所望の撮像画像を選択したことが検出された場合、Ｓ２００２へ進む。撮像画像が選択されない場合には、Ｓ２００１の処理が繰り返されてユーザ指示の待機状態となる。
【００２０】
Ｓ２００２でシステム制御部１０３は記録媒体Ｉ／Ｆ部１１２を介して、記録媒体１１３から指定された撮像画像および当該画像と対応する距離情報を取得する。取得された撮像画像および距離情報はメモリ１０５へ展開される。Ｓ２００３で画像処理部１０７は、距離情報の分布、すなわち撮像画像内で被写体が存在する距離の分布に基づいて、被写体距離（撮像装置から被写体までの距離）の範囲を複数の範囲に分割する。被写体距離の分割処理の詳細に関しては、図４のフローチャートを用いて後述する。
【００２１】
Ｓ２００４で画像処理部１０７は複数に分割した範囲に基づき、各被写体距離に対応する被写体の画像領域を撮像画像から抽出することにより、撮像画像から奥行き分割画像を生成する。画像処理部１０７は、生成した奥行き分割画像に対して幾何変形および合成処理を行い、一覧画像を作成する。例えば、図８では撮像画像に関する距離範囲が５つの距離範囲に分割されて、奥行き分割画像１から５が生成される場合を示す。図８（Ｂ）〜（Ｆ）は、生成される一覧画像をそれぞれ例示する図である。図８（Ｂ）は奥行き分割画像１が選択されたときの一覧画像を示し、図８（Ｃ）は奥行き分割画像５が選択されたときの一覧画像を示す。図８（Ｄ）は奥行き分割画像４が選択されたときの一覧画像を示し、図８（Ｅ）は奥行き分割画像３が選択されたときの一覧画像を示す。図８（Ｆ）は奥行き分割画像２が選択されたときの一覧画像を示す。奥行き分割画像の選択は、距離情報の距離分布、撮影シーンの情報、またはユーザ操作に基づいて行われる。
【００２２】
システム制御部１０３は、生成された一覧画像と、対応する奥行き分割画像の領域を示す選択情報をメモリ１０５に保存する。例えば、図８（Ｇ）には一覧画像中の各奥行き分割画像の表示領域の座標と、奥行き分割画像の選択先を対応付けた選択情報を示す。本例では分割数（Ｎと記す）が５であり、一覧画像中の奥行き分割画像１から５にそれぞれ対応する領域が選択可能である。一覧画像中の奥行き分割画像は、手前側（撮像装置側）から距離順に配置されて表示画面に表示される。
【００２３】
またシステム制御部１０３は、一覧画像と被写体距離の範囲とを関連付けたテーブル（関連情報テーブル）を作成し、データをメモリ１０５に保存する。図１３を参照して、関連情報テーブルの具体例を説明する。関連情報テーブルは、例えば図１３（Ａ）の表で示すように、被写体距離範囲の番号と一覧画像とを関連付けた情報をもつ。被写体距離範囲の番号は奥行き分割画像の番号に対応する。各番号に対応する奥行き分割一覧画像のファイル名を示す。その詳細に関しては、図５のフローチャートを用いて後述する。
【００２４】
図３のＳ２００５でシステム制御部１０３は、Ｓ２００４で生成した一覧画像を表示部１１０に表示する。例えば、図８（Ａ）に示す撮像画像の場合、図８（Ｂ）に示す一覧画像が表示部１１０の画面に表示される。この一覧画像は、被写体距離の範囲にしたがって５つの奥行き分割画像が手前側から順番に配置された画像である。
【００２５】
Ｓ２００６でシステム制御部１０３は、任意の距離の奥行き分割画像の選択が行われたかどうかを判定する。ユーザによる奥行き分割画像の選択については、操作部１０９を通じて、例えばタッチパネル形式の場合、表示画像データの面内座標の指定により行われる。あるいは、操作部１０９のキー入力操作により分割画像を選択操作が行われてもよい。表示部１１０に表示されている一覧画像から、任意の距離の奥行き分割画像を選択する操作が行われたと判定された場合、Ｓ２００７へ進む。奥行き分割画像の選択操作が行われないと判定された場合には、Ｓ２００６の判定処理が繰り返されてユーザ指示の待機状態となる。
【００２６】
Ｓ２００７でシステム制御部１０３は、関連情報テーブル（図１３（Ａ）参照）から、ユーザの指定した奥行き分割画像が最前面になっている一覧画像を検索し、メモリ１０５からデータを取得する。例えば、撮像装置からの距離が２番目に近い奥行き分割画像２をユーザが選択した場合を想定する。図８（Ｆ）に示す奥行き分割画像２は２人の人物が存在する距離範囲の画像である。システム制御部１０３は図１３（Ａ）に示す関連情報テーブルから２番を検索し、関連付けされている一覧画像のファイル名として、“D.yuv”を取得する。システム制御部１０３は、取得した一覧画像を表示部１１０の画面に表示させる制御を行う。図９は一覧画像の表示画面例を示す。この例では、奥行き分割画像２から５の画像を含む一覧画像が表示される。つまり、ユーザが選択したｉ番目の奥行き分割画像から、最も遠距離の被写体像を含む奥行き分割画像は、それぞれ距離範囲がわかるように異なるレイヤーに表示される。あるいは、ユーザが選択したｊ番目からｋ番目までの奥行き分割画像を一覧画像中に表示させる形態では、それぞれの距離範囲がわかるように分割画像が異なるレイヤーに表示される。
【００２７】
次にＳ２００８でシステム制御部１０３は、ユーザが操作部１０９を通じて、所定の画像処理の実行を選択したか否かを判定する。所定の画像処理の実行が選択されたと判定された場合、Ｓ２０１０へ進み、所定の画像処理の実行が選択されないと判定された場合にはＳ２００９へ移行する。Ｓ２００９でシステム制御部１０３は、ユーザが操作部１０９を通じて、任意の奥行き分割画像を選択したか否かを判定する。任意の奥行き分割画像が選択されたと判定された場合、Ｓ２００７へ移行し、奥行き分割画像が選択されないと判定された場合には、Ｓ２００８の判定処理が行われ、ユーザが次の操作を行うまで待機状態となる。
【００２８】
Ｓ２０１０で画像処理部１０７は、処理対象の画像に予め定められた画像処理を実行する。予め定められた画像処理とは、主に、選択された距離にある被写体へのリフォーカス処理や、選択された距離にある被写体だけを削除する処理等である。あるいは、選択された距離にある被写体の画像領域に対する明るさの補正、回転、移動等の処理が行われてもよく、特定の処理には限定されない。また、ユーザが随時、メニュー等から選択する仕組みでもよい。
【００２９】
Ｓ２０１１でシステム制御部１０３は、Ｓ２０１０にて画像処理された後の画像を表示部１１０の画面に表示させる制御を行い、プレビュー表示でユーザに画像を提示する。Ｓ２０１２でシステム制御部１０３は画像処理の終了操作の有無を判定する。ユーザが操作部１０９を通じて、画像処理の終了を選択したことが判定された場合、Ｓ２０１３へ進み、画像処理の終了が選択されていないと判定された場合には、Ｓ２００５へ処理を戻す。Ｓ２０１３でシステム制御部１０３は、Ｓ２０１０で生成された画像処理後の画像データを保存する。画像データは記録媒体Ｉ／Ｆ部１１２を介して記録媒体１１３に記録され、一連の処理を終了する。
【００３０】
次に図４のフローチャートと図６を参照して、被写体距離の分割処理を詳細に説明する。図６（Ａ）は撮像画像５００の例を示し、図６（Ｂ）は距離画像５０１の例を示す。距離画像５０１は、画素数が撮像画像５００と同じである。撮像画像５００の画素値（輝度値）に対して、距離画像５０１の画素値はその画素における被写体距離を表す単色画像である。図６（Ｂ）の例では、撮像装置に近い距離を明るく、撮像装置から遠い距離を暗く表現している。図６（Ｃ）はヒストグラムの例を示し、横軸は撮像装置からの距離を表わし、縦軸は画素値の頻度を表わす。
【００３１】
図４の各ステップの処理は、図１（Ｂ）の距離範囲分割処理部２０１が実行する。Ｓ３０００では、撮像画像に対応する距離画像のヒストグラムが生成される。距離画像は画素値が被写体距離を表す距離情報であるため、図６（Ｃ）に示す画素値のヒストグラムは被写体距離の分布頻度を表す。ここでは画素値が８ビット（０〜２５５）であるものとする。なお、ヒストグラムのクラス幅は予め定めておくことができる。距離範囲分割処理部２０１は被写体距離の分布頻度の極小値を検出する。図６（Ｃ）のようなヒストグラムが得られた場合、画像処理部１０７は分布頻度が極小値のクラスに分類される最大被写体距離を極小値として検出する。図６（Ｃ）では、極小値５０２と５０３が検出される。
【００３２】
Ｓ３００１では、検出した極小値を境界として被写体距離の範囲が分割される。図６（Ｃ）の例では、２つの極小値５０２と５０３が検出されるため、０〜２５５の被写体距離は、３つの範囲５０４、５０５、５０６に分割される。そして被写体距離の分割処理が終了する。
【００３３】
次に、一覧画像の作成処理の詳細について、図５のフローチャートと、図７および図１３を用いて説明する。図７は、対象となる距離にある被写体の画像領域を撮像画像から抽出するためのマスク画像の例を示す。マスク画像は、所定の距離範囲に存在する被写体領域と、他の距離範囲に対応する領域を２値で表現した画像である。例えば、図７（Ａ）、（Ｂ）、（Ｃ）にそれぞれ示す画像７０１、７０２、７０３は、図６（Ｃ）の範囲５０４、５０５、５０６の各距離に対応するマスク画像である。マスク画像は図１（Ｂ）のマスク生成処理部２０２により生成される。
【００３４】
図５の各ステップに示す処理は、システム制御部１０３の制御下で画像処理部１０７が行う。Ｓ４０００にてカウンタの値（以下、ｉと記す）に、距離分布の分割数Ｎがセットされる。Ｓ４００１はカウンタ値ｉとゼロとの比較処理である。カウンタ値ｉがゼロより大きい場合、Ｓ４００２へ処理を進める。ｉ＝０であれば、全ての分割数（Ｎ）分の画像処理が完了しているので、処理を終了する。
【００３５】
Ｓ４００２では、ｉ番目の距離に対応するマスク画像が生成される。カウンタ値ｉは、分割した距離に対して近い距離に対応する領域から１，２，３，・・・と順次に対応する。画像処理部１０７は、生成したマスク画像を使用し、その距離に対応する被写体の画像領域を撮像画像から抽出する。これにより、対応する距離の範囲に存在する被写体領域を有し、他の距離範囲に対応する画素値は予めシステムで定められたクロマキー値とする画像が生成される。
【００３６】
Ｓ４００３にて画像処理部１０７の分割画像データ生成処理部２０３は、Ｓ４００２で生成された画像に対して所定の幾何変形を行い、奥行き分割画像を生成する。本例では、図説を容易にするため、距離が遠い順で奥から並べて、正面から見た表示例としており、線形補正(縮小)処理を行っている。これに限らず、奥行き分割画像を右または左から並べて、上方から俯瞰した視点で表示してもよい。その場合には射影変換等を使用して、台形への変形処理が行われる。
【００３７】
Ｓ４００４ではカウンタ値ｉと分割数（Ｎ）とが比較される。カウンタ値ｉがＮ以外である場合、クロマキー合成処理を行うために、Ｓ４００５へ処理を進める。カウンタ値ｉがＮである場合、画像処理部１０７はクロマキー合成処理を行わずに、Ｓ４００６へ移行する。
【００３８】
Ｓ４００５にては、Ｓ４００３で生成されたｉ番目の奥行き分割画像と、ｉ＋１番目まで合成した途中の一覧画像とのクロマキー合成が行われる。Ｓ４００６にてシステム制御部１０３は、生成された一覧画像のデータをメモリ１０５に保存する。また、システム制御部１０３は一覧画像と被写体距離の範囲とを関連付けた関連情報テーブルを作成して、テーブルデータをメモリ１０５に保存する。Ｓ４００７でカウンタ値ｉから１を減算し、Ｓ４００１へ戻って処理を続行する。
【００３９】
本実施例では、撮像装置内で全ての画像処理を行う形態を説明したが、画像処理を外部装置が実行する形態でもよい。この場合、撮像装置は必要な情報を通信機能等で外部装置に通知し、外部装置が画像処理の一部または全てを実行する。
【００４０】
本実施例によれば、撮像画像に関連する被写体の距離情報を、ユーザが容易に画像処理に利用できる。さらには奥行き分割画像の一覧表示によって、ユーザが分割された画像を視覚的に把握しやすいＧＵＩ表示画面を提供できる。複数の奥行き分割画像から選択された分割画像と、当該割画像とは距離範囲の異なる分割画像とは、異なるレイヤーにそれぞれ配置されて一覧表示が行われる。例えば、ユーザが選択した奥行き分割画像を含み、当該画像よりも奥側の奥行き分割画像が一覧画像中に表示されるので、被写体の距離情報を視覚的に把握しやすい状態でユーザに提示することができる。画像中で重なり合う領域が見え難い場合、ユーザが選択した位置（深さ）よりも手前側の奥行き分割画像が非表示となって一覧画像が表示される。よって、所望の奥行き分割画像が見やすくなるので、画像処理を行う所望の被写体の画像領域を探す操作や選択の操作が容易となる。
【００４１】
［実施例２］
次に本発明の実施例２を説明する。実施例１では作成途中の一覧画像を全てメモリに保存しておく例を説明した。この場合、ユーザがどの分割画像を選択しても、メモリに保存されている合成時の一覧画像を直ちに読み出して表示できるので、表示レスポンスが速い。これに対し、実施例２では、表示レスポンスと使用メモリ量とのバランスをとるために、作成途中の一覧画像を間引いてメモリに保存する処理例を説明する。なお、本実施例にて実施例１の場合と同様の構成要素については既に使用した符号を用いることにより、それらの詳細な説明を省略し、主に相違点を説明する。
【００４２】
図１０から図１２のフローチャートと、図８、図１３を用いて本実施例の処理を説明する。図１０のＳ２０００〜Ｓ２００３の処理は、図２と同様の処理であるため、それらの説明を割愛する。Ｓ２００３からＳ９０００へ進み、一覧画像の作成処理が実行される。作成処理について図１２を参照して説明する。図１２にて、実施例１との相違点は、Ｓ１０００とＳ１００１の処理である。Ｓ４００４またはＳ４００５の処理後、Ｓ１０００へ進み、システム制御部１０３は分割数Ｎの値が偶数であって、かつカウンタ値ｉが偶数であるか、または分割数Ｎの値が奇数であって、かつカウンタ値ｉが奇数であるか、を判定する。この判定条件を満たす場合、Ｓ１００１に処理を進めるが、判定条件を満たさない場合にはＳ４００７へ移行する。
【００４３】
Ｓ１００１にてシステム制御部１０３は、分割数Ｎの値が奇数である場合に奇数番目の画像データをメモリ１０５に保存し、また分割数Ｎの値が偶数である場合に偶数番目の画像データをメモリ１０５に保存する制御を行う。こうすることで、画像処理部１０７が生成した一覧画像は、均等に１つおきの間引きでメモリ１０５に保存される。本制御に伴い、システム制御部１０３は一覧画像と被写体距離の範囲とを関連付けた関連情報テーブルを作成して、テーブルデータをメモリ１０５に保存する。
【００４４】
Ｓ１００１にて一覧画像の保存が行われない場合には、後述するプレビュー用一覧画像の作成処理（図１１のＳ９００１）において、奥行き分割画像の生成および幾何変形、合成処理が必要となる。その判定のためにシステム制御部１０３は、合成を行うか否かを示すフラグ（以下、合成フラグという）の情報を関連情報テーブルに追加して、メモリ１０５に保存する処理を行う。例えば、合成を行う場合に合成フラグがＴＲＵＥの値をもち、合成しない場合にＦＡＬＳＥの値をもつ。図１３（Ｂ）を参照して関連情報テーブルの具体例を説明する。被写体距離範囲の番号および奥行き分割一覧画像のファイル名に対し、それぞれ対応する合成フラグ情報を示す。図１３（Ｂ）の表は、分割数（Ｎ）が５の場合の例である。被写体距離範囲の番号が奇数である場合、生成した途中の一覧画像のデータが保存され、関連情報テーブルの一覧画像に対応するファイル名と、合成フラグ情報（ＦＡＬＳＥ）が保存される。被写体距離範囲の番号が偶数である場合には、一覧画像のデータを保存しないため、一つ前に保存した一覧画像のファイル名と、合成フラグ情報（ＴＲＵＥ）が保存される。図１１のＳ２００５およびＳ２００６の処理は、図３と同様の処理であるため、それらの説明を割愛する。
【００４５】
Ｓ２００６の処理後、Ｓ９００１に進み、システム制御部１０３は関連情報テーブル（図１３（Ｂ）参照）を参照し、ユーザが指定した奥行き分割画像の番号を使って検索する。合成フラグがＦＡＬＳＥの値をもつ場合、関連情報テーブルの一覧画像が取得される。また合成フラグがＴＲＵＥの値をもつ場合、次の距離に関する奥行き分割画像が生成され、検索により取得した、一覧画像との合成処理が実行される。Ｓ２００８〜Ｓ２０１４の処理は、図３と同様の処理であるため、それらの説明を割愛する。
【００４６】
本実施例によれば、画像合成時における画像データの保存および非保存が制御される。つまり、作成途中の画像データが全て保存されるのではなく、表示候補となる画像からの差分の画像処理が行われるので、処理時間を短縮できる。よって、使用メモリの節約と、表示レスポンスとのバランスがとれた画像処理システムを提供することができる。
【００４７】
［変形例］
実施例２では、均等に１つおきの間引きにより合成時の画像データを保存する例を説明したが、変形例ではメモリ１０５の使用量に応じて間引き量を変更する。つまり、メモリ１０５の使用量が多くなるほど、間引き量が増加する。
【００４８】
また、実施例２では表示レスポンスを均一にするために、均等で間引く例で説明したが、よりメモリ消費量を削減するために、特定の被写体画像を含む、作成途中の一覧画像だけを残してもよい。特定の被写体画像とは、例えば、選択の可能性が高い被写体の画像である。例えば、撮影情報に基づき、判別条件に合致する場合に優先して一覧画像を残す処理が実行される。撮影情報とは、フォーカス調節の合焦距離や、マクロ撮影やポートレート撮影等の撮影モードである。特定の被写体に焦点を合わせた合焦距離を使用する場合、合焦距離を含む距離範囲が選択され、当該距離範囲の画像を含む一覧画像を優先して残す処理が実行される。またマクロ撮影の場合、近距離の距離範囲の画像を含む一覧画像を優先して残す処理が実行される。またポートレート撮影の場合、顔が検出された距離範囲の画像を含む一覧画像を優先して残す処理が実行される。
【００４９】
また変形例では、被写体検出によるオブジェクトの検出結果に基づいて、優先して一覧画像を残す処理を実行する。例えば、被写体の認証機能を有する装置においてユーザが登録している被写体（人物等）が検出された場合、当該被写体の距離範囲の画像を含む一覧画像を優先して残す処理が行われる。
【００５０】
また変形例では、画像処理を行う撮像画像がいくつの距離範囲に分割されるかにより、作成途中の一覧画像の全部を保存するか、またはそれらの一部を省略する間引き保存を行うかを判断する。例えば、システムに搭載されたメモリ量から保存できるデータ量が予め決定される。被写体距離範囲の分割数が所定の閾値より小さい場合には全部保存が実行される。また被写体距離範囲の分割数が所定の閾値以上である場合には一部を省略する間引き保存が実行される。
【００５１】
各実施例および変形例によれば、各距離に存在する被写体の遠近を把握しやすく表示し、かつ、距離の関係性の表示を維持したままで、ユーザに画像を見易く表示できる。すなわち、ユーザは選択した距離（深さ）に写っている被写体を容易に認識することができる。
【００５２】
［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５３】
１００  撮像装置
１０１  撮像部
１０３  システム制御部
１０４  距離情報取得部
１０７  画像処理部
１０９  操作部
１１０  表示部
【図１】
2017228874.tif 000003
【図２】
2017228874.tif 000004
【図３】
2017228874.tif 000005
【図４】
2017228874.tif 000006
【図５】
2017228874.tif 000007
【図６】
2017228874.tif 000008
【図７】
2017228874.tif 000009
【図８】
2017228874.tif 000010
【図９】
2017228874.tif 000011
【図１０】
2017228874.tif 000012
【図１１】
2017228874.tif 000013
【図１２】
2017228874.tif 000014
【図１３】
2017228874.tif 000015