(57)【要約】【課題】表示先の表示媒体に依らず、撮影画像の被写体の距離情報をユーザが容易に画像処理へ利用することを可能とする画像処理装置を提供する。【解決手段】撮像装置１００が、撮影画像と、撮影画像に関連する距離情報を取得し、距離情報から距離範囲を分割することにより、距離範囲の異なる複数の分割画像を撮影画像から生成する。撮像装置１００は、表示媒体の情報に基づいて、分割画像に対応する距離範囲を決定する。そして、撮像装置１００は、複数の分割画像が配置された表示画像を、分割画像を選択可能に表示媒体の画面に表示する。【選択図】図１
2017175400.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像と前記撮影画像に関連する距離情報を取得する取得手段と、
前記距離情報から距離範囲を分割することにより、距離範囲の異なる複数の分割画像を前記撮影画像から生成する生成手段と、
前記複数の分割画像が配置された表示画像を、前記分割画像を選択可能に表示媒体の画面に表示する表示制御手段とを備え、
前記生成手段は、前記表示媒体の情報に基づいて、前記分割画像に対応する距離範囲を決定する
ことを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記距離情報に基づいて、被写体距離の分布頻度を求め、前記求めた分布頻度に基づいて、前記距離範囲を分割する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、
前記表示媒体の情報に基づいて、前記被写体距離の分布頻度に関する閾値を算出し、
前記分割により得られる距離範囲のうち、前記分布頻度が前記閾値を超える距離範囲を、前記分割画像に対応する距離範囲として決定する
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記生成手段は、前記被写体距離が大きいほど、前記距離範囲に対応する前記閾値として大きい値を算出する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記表示制御手段が複数の前記表示媒体に前記表示画像を同時に表示する場合に、前記生成手段は、各々の表示媒体の情報に基づいて、複数の前記閾値を算出し、算出した前記閾値のうち、最小となる閾値を用いて、前記分割画像に対応する距離範囲を決定する
ことを特徴とする請求項３または請求項４に記載の画像処理装置。
【請求項６】
前記表示制御手段は、前記表示画像を表示する際に、各々の前記分割画像において被写体が含まれる領域のみを表示する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記表示媒体の情報は、表示解像度の情報または前記表示媒体の画面サイズの情報を含む
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記表示制御手段は、前記表示画像の座標と前記分割画像との対応情報を記憶手段に記憶する
ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記撮影画像を取得する取得部を備える
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置として機能する撮像装置。
【請求項１０】
撮影画像と前記撮影画像に関連する距離情報を取得する取得工程と、
前記距離情報から距離範囲を分割することにより、距離範囲の異なる複数の分割画像を前記撮影画像から生成する生成工程と、
前記複数の分割画像が配置された表示画像を、前記分割画像を選択可能に表示媒体の画面に表示する表示制御工程とを有し、
前記生成工程では、前記表示媒体の情報に基づいて、前記分割画像に対応する距離範囲を決定する
ことを特徴とする画像処理装置の制御方法。
【請求項１１】
コンピュータを請求項１乃至８のいずれか１項に記載の画像処理装置が備える各手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、制御方法およびプログラムに関する。
【背景技術】
【０００２】
撮影された画像内の被写体の距離情報を取得可能な撮像装置がある。特許文献１では、各被写体の距離情報を用いて、撮影シーン内の被写体の奥行方向における位置関係と、現在の合焦距離とを表す俯瞰マップを提示する技術が開示されている。撮影者は現在どの被写体に合焦しているかを容易に把握できる。また、カメラ本体部に設けられた液晶ディスプレイ等の表示部だけでなく、外部の表示媒体に対して接続が可能な撮像装置がある。また、デジタルカメラが表示媒体に応じて画像データの解像度を変換する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１７７７４１号公報
【特許文献２】特開２０１５−１４６５００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置において被写体の距離情報は、撮影時に装置内で行われる画像処理に専ら用いられており、撮影後にユーザが利用することは想定されていなかった。例えば、ユーザが撮影画像に対する画像編集を行うときに、被写体の距離情報を利用した画像処理を容易に行えるようにするための技術は提案されていなかった。本発明は、画像に関連する距離情報を、出力先の表示媒体に依らず、ユーザが容易に画像処理に利用することを可能とする画像処理装置の提供を目的とする。
【課題を解決するための手段】
【０００５】
本発明の一実施形態の画像処理装置は、撮影画像と前記撮影画像に関連する距離情報を取得する取得手段と、前記距離情報から距離範囲を分割することにより、距離範囲の異なる複数の分割画像を前記撮影画像から生成する生成手段と、前記複数の分割画像が配置された表示画像を、前記分割画像を選択可能に表示媒体の画面に表示する表示制御手段とを備える。前記生成手段は、前記表示媒体の情報に基づいて、前記分割画像に対応する距離範囲を決定する。
【発明の効果】
【０００６】
本発明の画像処理装置によれば、表示先の表示媒体に依らず、撮影画像の被写体の距離情報をユーザが容易に画像処理へ利用することが可能となる。
【図面の簡単な説明】
【０００７】
【図１】撮像装置の構成例を示すブロック図である。
【図２】分割画像生成部の構成例を示すブロック図である。
【図３】全体的な処理の流れを説明するフローチャートである。
【図４】分割画像生成処理を説明するフローチャートである。
【図５】撮影画像データと分割画像データの一例を示す図である。
【図６】表示画像データの生成を説明する図である。
【図７】被写体の距離別ヒストグラムと、奥行分割画像を示す図である。
【図８】表示媒体Ｂに対応する奥行分割画像を示す図である。
【図９】表示画像データの表示媒体への表示例を示す図である。
【図１０】表示画像データの表示に関する変形例を説明する図である。
【発明を実施するための形態】
【０００８】
［実施例１］
図１、図２を参照して本発明の実施例１を説明する。図１は、撮像装置の構成例を示すブロック図である。図２は、分割画像生成部１０８の構成例を示すブロック図である。
撮像装置１００において、撮像部１０１は、レンズ、シャッタ、絞り、撮像素子を有する。撮像部１０１は、システム制御部１０３の指示により撮影動作を行い、撮影画像データを取得し、メモリ１０５へ格納する。バス１０２は各ブロックを接続し、データや制御信号の送受を行う。
【０００９】
システム制御部１０３は、撮像装置１００全体を制御する。システム制御部１０３はＣＰＵ（中央演算処理装置）を備え、不揮発性メモリ１０６に記憶されたプログラムを読み出して実行することで、後述する処理を実現する。また、システム制御部１０３は、撮像装置１００に接続される表示媒体に対して表示制御を行う。例えば、システム制御部１０３は後述の表示部１１０や通信部１１１に対する表示切り替え処理を行い、表示媒体の解像度に合わせた表示画像データの生成処理を画像処理部１０７に指示する。
【００１０】
距離情報取得部１０４は、撮像部１０１による撮影画像データに対応した被写体の距離情報を取得する。撮影画像データに対応した距離情報はメモリ１０５へ格納される。例えば、距離情報取得部１０４は撮像部１０１から、合焦位置を変更して撮影された複数の撮影画像データを取得する。そして、それぞれの撮影画像データの合焦領域と、撮影画像データの合焦位置情報から距離情報を取得する処理が行われる。
【００１１】
この他にも、撮像部１０１の撮像素子が瞳分割された画素部で構成される場合、一対の被写体画像の信号の位相差から各画素に対する距離情報を取得することができる（特許文献２参照）。
【００１２】
本発明は、画像における被写体の深さに対応する情報としてさまざまな実施形態での適用が可能である。つまり、被写体の深さに対応するデータが示す情報（深さ情報）は、画像内における撮像装置から被写体までの被写体距離を直接的に表すか、または画像内の被写体の被写体距離や深さの相対関係を表す情報であればよい。
具体的には、撮像素子は、撮像光学系の異なる瞳領域を通過する一対の光束が光学像としてそれぞれ結像したものを、対をなす画像データとして複数の光電変換部から出力することができる。対をなす画像間の相関演算によって各領域の像ずれ量が算出され、像ずれ量の分布を表す像ずれマップが算出される。あるいはさらに像ずれ量がデフォーカス量に換算され、デフォーカス量の分布（撮像画像の２次元平面上の分布）を表すデフォーカスマップが生成される。このデフォーカス量を光学系や撮像素子の条件に基づいて被写体距離に換算すると、被写体距離の分布を表す距離マップデータが得られる。以上のように本実施形態では、撮像装置１００は、像ずれマップデータ、デフォーカスマップデータ、あるいはデフォーカス量から変換される被写体距離の距離マップデータを取得すればよい。なお、各マップデータの各データはブロック単位で持っていてもよいし、画素単位でもっていてもよい。このとき、通常の画像データのように最小単位ごとに８bit程度のbit数を割り当て、距離画像として画像処理や表示、記録などを画像処理と同様に行う形態をとってもよい。本実施形態においては、距離情報は各画素の値が距離を表す距離画像の形式を有するが、その形式は限定されない。例えば距離情報として、撮影シーン内に存在する特定被写体（例えば人物）の領域の位置および距離を表す情報であってもよい。なお、距離情報取得部１０４により距離情報を生成する方法について特に制限は無く、例えば特許文献１等に開示された各種の方法を用いることができる。
【００１３】
メモリ１０５は、撮像部１０１によって得られた撮影画像データや、距離情報取得部１０４で取得された撮影画像データに関連した距離情報等の各種データを記憶する。メモリ１０５は、所定枚数の撮影画像データの格納に十分な記憶容量を有する。不揮発性メモリ１０６は、電気的に消去および記録可能なメモリであり、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory ）等が用いられる。不揮発性メモリ１０６には、システム制御部１０３の動作用の定数、設定値、プログラム等が記憶される。ここでのプログラムは、後述する各フローチャートを実行するためのプログラムである。
【００１４】
画像処理部１０７は、システム制御部１０３からの指示にしたがって、撮像部１０１や、メモリ１０５から読み出された撮影画像データに対して、所定の画素補間、縮小等のリサイズ処理や色変換処理を行う。また画像処理部１０７は、距離情報を用いて算出される個々の距離範囲に対して、ぼかし処理、シャープネス処理、色変換処理等の画像処理を行う。
【００１５】
分割画像生成部１０８は、メモリ１０５から読み出された撮影画像データと、距離情報と、表示媒体情報を取得し、所定の画像（奥行分割画像）のデータを生成し、メモリ１０５へ格納する。奥行分割画像とは、撮影画像データ内の所定の距離範囲に含まれる被写体像を抽出した画像である。奥行分割画像のデータを、以下では「分割画像データ」という。
【００１６】
例えば、奥行方向（撮影方向に沿う方向）において距離範囲を３つの距離範囲に分割する場合を想定する。第１の距離範囲を撮像装置に最も近い距離範囲とし、第３の距離範囲を撮像装置から最も遠い距離範囲とする。第１の分割画像データは、第１の距離範囲内の被写体像を含む画像（近景被写体の画像）のデータである。第２の分割画像データは、第２の距離範囲内の被写体像を含む画像（中間距離の被写体画像）のデータである。第３の分割画像データは、第３の距離範囲内の被写体像を含む画像（遠景被写体の画像）のデータである。このように分割画像データは、撮影画像全体を被写体の距離範囲に応じて分割したときの画像のデータである。
【００１７】
図２を参照し、分割画像生成部１０８の内部構成に関して説明する。分割画像生成部１０８は、距離範囲分割処理部２０１と、分割画像生成用マスクデータ生成処理部２０２と、分割画像データ生成処理部２０３とを備える。距離範囲分割処理部（以下、分割処理部という）２０１は、メモリ１０５から取得した距離情報を用いて、被写体の距離範囲を複数に分割する。被写体の距離範囲の分割により、被写体の距離範囲分割情報が生成される。
【００１８】
分割画像生成用マスクデータ生成処理部（以下、マスク生成処理部という）２０２は、分割処理部２０１から、被写体の距離範囲分割情報を取得し、分割画像生成用のマスク画像データを生成する。分割画像データ生成処理部（以下、データ生成処理部という）２０３は、メモリ１０５から取得した撮影画像データと、分割画像生成用のマスク画像データとを用いて、複数の分割画像データを生成する。生成された分割画像データは、メモリ１０５へ撮影画像データと対応付けて格納される。
【００１９】
図１の説明に戻る。操作部１０９は、ユーザの操作情報を撮像装置１００の制御情報に変換し、システム制御部１０３へ通知するユーザインタフェース部である。表示部１１０は、メモリ１０５から取得した画像データをＬＣＤ（液晶ディスプレイ）等の表示媒体に表示する。
【００２０】
通信部１１１は、表示媒体を備える外部装置との間で、制御コマンドやデータの送受信を行うための通信インタフェース部である。例えば通信部１１１は、ＵＳＢ（Universal Serial Bus）やＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等の規格に基づく有線接続で外部装置と通信を行う。あるいは、無線ＬＡＮ（Local Area Network）やＢｌｕｅＴｏｏｔｈ（登録商標）等の規格に基づく無線接続により外部装置との通信を行ってもよい。また、撮像装置１００と外部装置とは直接接続されてもよいし、サーバーやインターネット等のネットワークを介して接続されてもよい。本実施形態においては、少なくとも通信部１１１が接続される外部装置の表示媒体に対して、表示媒体情報の受信や、撮影画像に関する表示画像データの送信ができるものとする。
【００２１】
記録媒体Ｉ／Ｆ部１１２は、記録媒体１１３とのインタフェース部である。記録媒体１１３は、撮影画像データや、撮影画像データに関連した距離情報を記録する媒体であり、半導体メモリを用いたメモリカードや磁気ディスク等から構成される。図１、図２に示す構成は一例である。そのため、以下に説明する動作の実行が可能であれば、本発明に係る撮像装置１００の構成は図１、図２に示す構成に限定されない。
【００２２】
以下、図３乃至図１０を参照して、本実施形態の動作を説明する。図３は、全体的な処理の流れを説明するフローチャートである。図４は、分割画像生成処理を説明するフローチャートである。
【００２３】
本実施形態では、撮影された画像データに対して、距離情報を利用したリフォーカス処理や色空間変換等の画像処理を行う。リフォーカス処理は、画像データの記録後に焦点位置を再調節した画像データを生成する処理である。ユーザは、撮像装置１００を用いて、特定の距離の被写体に対して所望の画像処理を行い、撮影画像に対する画像編集等を行うことができる。
【００２４】
また、撮像装置１００は、例えば、表示媒体Ａと表示媒体Ｂとに接続されるものとする。表示媒体Ａは、例えばＰＣのディスプレイのような、細部の画像編集を行う上で十分な表示解像度が確保できる表示媒体である。表示媒体Ｂは、例えば撮像装置本体の表示パネルのような、細部の画像編集を行う上で十分な表示解像度が確保できない表示媒体である。
【００２５】
図３のフローチャートを用いて、画像編集時の全体的な処理に関して説明する。
Ｓ３０１において、システム制御部１０３は、メモリ１０５から撮影画像データと撮影画像データに対する距離情報を取得する。システム制御部１０３はさらに、不揮発性メモリ１０６から、最大分割画像数Ｎを取得し、メモリ１０５に記憶する。最大分割画像数Ｎは分割画像の最大数であって、固定値または可変値である。例えば、最大分割画像数Ｎは、ユーザの指定により決定される。
【００２６】
Ｓ３０２において、システム制御部１０３は表示先の表示媒体情報を取得する。本実施例における表示媒体情報は、表示媒体の表示解像度や、表示パネルの大きさ（画面サイズ）等の情報である。また、表示媒体情報は、例えば、不揮発性メモリ１０６内に記憶されており、撮像装置１００が接続可能な表示媒体に関する情報である。この場合、システム制御部１０３は、撮像装置１００に接続された表示媒体の表示媒体情報を不揮発性メモリ１０６から取得する。この他、システム制御部１０３は、通信部１１１を介して接続が検出された表示媒体から表示媒体情報を取得する。
【００２７】
Ｓ３０３において、分割画像生成部１０８が、システム制御部１０３の指示により、分割画像データを生成する。メモリ１０５に格納されている撮影画像データと、距離情報と、最大分割画像数Ｎを用いて、Ｎ枚の分割画像データを生成する処理が実行され、生成されたＮ枚の分割画像データがメモリ１０５へ格納される。Ｓ３０３の分割画像生成処理の詳細に関しては、図４のフローチャートを用いて後述する。
【００２８】
図５は、撮影画像データと分割画像データの一例を示す図である。
図５（Ａ）は、Ｎ＝５の場合の撮影画像データを示す。図５（Ｂ）は、図５（Ａ）の撮影画像データから生成される分割画像データを示す。
【００２９】
図３の説明に戻る。Ｓ３０４において、画像処理部１０７が、システム制御部１０３の指示により、メモリ１０５に格納されている表示媒体の表示解像度と、Ｎ枚の分割画像データから、表示媒体に応じた表示画像データを生成する。画像処理部１０７は、例えば、図５（Ｂ）に示すそれぞれの分割画像データに対して、距離が近いものほど画像サイズが小さくなるようにリサイズしてから、表示画像データとして配置することで、撮影画角を表現する。
【００３０】
図６は、表示画像データの生成を説明する図である。
画像処理部１０７は、例えば、図６（Ａ）に示すように、近距離に対応する奥行分割画像１を手前に、遠距離に対応する奥行分割画像５を奥に、すべての奥行分割画像データについて少なくとも一部が見えるように配置して、表示画像データを生成する。分割画像データの配置方法は、図６（Ａ）に示す表示画像データの生成時の配置に限定されない。全ての奥行分割画像をユーザが分別して選択可能で、被写体距離が増加もしくは減少する方向で配置されていればよい。例えば、手前から奥という並べ方ではなく、右から左に向かって距離が大きくなるように奥行分割画像を配置してもよい。
【００３１】
画像処理部１０７は、生成した表示画像データを記憶手段（メモリ１０５）に格納する。また、画像処理部１０７は、図６（Ｂ）に示すように、表示画像データ上の座標と、この座標が指定された場合に選択される奥行分割画像との対応情報をメモリ１０５に格納する。
【００３２】
Ｓ３０５において、システム制御部１０３が、メモリ１０５から読み出した表示画像データを、表示媒体の画面に表示させる。具体的には、システム制御部１０３は、奥行分割画像を選択可能に表示する。本実施形態においては、撮像装置１００に対して同時に複数の表示媒体との接続が検出されている場合、例えば、最も解像度が高い表示媒体のみ表示を行う。この場合にシステム制御部１０３は、複数の表示媒体のうちで、最も表示解像度が高い表示媒体情報を用いてＳ３０３の処理を行う。以降のＳ３０４、Ｓ３０５を表示先となる表示媒体の数だけ繰り返すことで、それぞれの表示媒体に対応した表示画像データを生成してもよい。
【００３３】
Ｓ３０６において、システム制御部１０３が、操作部１０９がユーザ操作を検出したかどを判定する。ユーザ操作が検出された場合、Ｓ３０７へ処理を進め、ユーザ操作が検出されない場合には、Ｓ３０５へ処理を戻す。Ｓ３０７において、システム制御部１０３は、ユーザ操作について判定する。ユーザ操作が、分割画像に対する画像処理の操作であると判定された場合、Ｓ３０８に処理を進める。またユーザ操作が、奥行分割画像に対する画像処理の操作でない場合には、Ｓ３０９へ処理が進む。
【００３４】
奥行分割画像に対する画像処理の操作においては、ユーザ操作により、少なくとも奥行分割画像の選択操作が行われるものとする。この選択操作は、例えば、表示媒体がタッチパネル形式の場合、表示画像データの面内座標の指定により行われる。ユーザによるタッチ操作が検出された際に、システム制御部１０３は、表示画像データ上のタッチされた座標と、Ｓ３０４でメモリ１０５に格納された、座標と分割画像データとの対応情報とに基づいて、奥行分割画像を選択する。この他にも、操作部１０９のキー入力による選択操作がある。この場合、システム制御部１０３は、キー入力に対応した奥行分割画像を強調して表示する制御を行い、ユーザは所望の奥行分割画像を選択するためのキー操作を行う。
【００３５】
Ｓ３０８において、画像処理部１０７はシステム制御部１０３の指示により、選択された奥行分割画像に対する所定の画像処理を実行する。所定の画像処理とは、例えば、ユーザが選択した奥行分割画像が対応する距離範囲に対する、画像のぼかし処理や、シャープネス処理、色変換処理等の処理である。これらの画像処理は、ユーザが分割画像を選択することで実施可能となる奥行分割画像に対する画像処理である。その後、Ｓ３０３へ戻り、処理を続行する。
【００３６】
Ｓ３０９において、システム制御部１０３はユーザ操作について判定する。ユーザ操作が画像編集モードの終了操作である場合、Ｓ３１０へ処理を進め、画像編集モードの終了操作でない場合には、Ｓ３０５へ処理を戻す。Ｓ３１０において、システム制御部１０３は、画像処理済みのデータを記録する制御を行う。画像処理が施された画像データは、記録媒体Ｉ／Ｆ部１１２を介して記録媒体１１３に保存され、一連の処理を終了する。
【００３７】
図４は、分割画像生成処理の例を説明するフローチャートである。
本実施形態においては、最大分割画像数Ｎを、Ｎ＝５とする。つまり、図５（Ａ）の撮影画像データから、図５（Ｂ）に示す５つの奥行分割画像１から５が生成される。
【００３８】
図４のＳ４０１において、分割画像データの参照変数（ｉと記す）の値がゼロに初期化される（ｉ＝０）。Ｓ４０２において、分割処理部２０１が、距離情報に基づいて、奥行方向にて被写体が存在する距離の分布を（被写体の距離別ヒストグラム）を求める。距離情報は、画素値が撮影画像内に出現する被写体の距離（被写体距離）を表す距離画像の形式である。したがって、被写体の距離別ヒストグラムは、距離画像の画素値の度数、つまり被写体距離の分布頻度を示す。
【００３９】
図７は、被写体の距離別ヒストグラムと、奥行分割画像を示す図である。
図７（Ａ）は、被写体の距離別ヒストグラムを示す。図７（Ａ）の横軸は奥行方向の距離を表し、縦軸は分布頻度を表す。図７（Ｂ）は、表示媒体Ａに対応する奥行分割画像を示す。図８は、表示媒体Ｂに対応する奥行分割画像を示す。
【００４０】
図４のＳ４０３において、分割処理部２０１が、表示媒体の情報から、閾値Ｓを算出する。閾値Ｓは、被写体距離の分布頻度に関する閾値である。本実施形態において、閾値Ｓは、不揮発性メモリ１０６に、表示媒体の解像度に関連付けて予め記録されているものとする。また、閾値Ｓは、表示媒体の解像度が高いほど、小さくなるように設定される。例えば、表示媒体Ａに対しては、図７（Ｂ）に示す閾値Ｓ１が設定される。表示媒体Ｂに対しては、図８（Ａ）に示す閾値Ｓ２が設定される。
【００４１】
また、図１を参照して説明したように、距離情報は、撮像部１０１の合焦位置を変更して算出されるので、近距離になるほど、距離の分解能が高くなり、被写体の出現頻度が分散する。したがって、図８（Ｂ）に示すように、表示先が表示媒体Ｂの場合に、閾値Ｓに対して、奥行方向の距離に応じて重み付けを行い、距離が遠距離になるに従って値が大きくなる閾値Ｓ（ｉ）を算出してもよい。少なくとも本処理では、表示媒体の情報に応じて、奥行分割画像が配置された表示画像データの表示を行う際の操作性や視認性を留意した閾値Ｓが算出されればよい。
【００４２】
図４のＳ４０３において、分割処理部２０１が、被写体の距離別ヒストグラムと、最大分割画像数Ｎと、閾値Ｓとに基づいて、ｉ番目の分割区間に対する距離範囲情報を算出する。最大分割画像数Ｎで区切る距離範囲については、あらかじめ不揮発性メモリ１０６に定数としてデータが保持される。分割処理部２０１が、図７（Ａ）の距離別ヒストグラムを用いて、被写体の出現頻度が低い距離の順にＮ個の分割範囲（距離範囲）を決定してもよい。
【００４３】
次に、分割処理部２０１が、Ｎ個の距離に対して、分布頻度が閾値Ｓを超える距離範囲を、ｉ番目の奥行分割画像に対応する距離範囲とする。例えば、Ｎ＝５の場合、分割処理部２０１は、まず、図７（Ａ）に示す被写体の距離別ヒストグラムを、横軸方向に５分割することにより、図７（Ｂ）に示す分割１から分割５という５つに分割された距離範囲を決定する。例えば、３番目（ｉ＝３）の距離範囲に含まれる距離区間は、図７（Ａ）中の距離区間Ａ、距離区間Ｂ、距離区間Ｃである。表示媒体Ａに関しては、閾値Ｓ１を超えている距離範囲は、距離区間Ａ、距離区間Ｂ、距離区間Ｃである。したがって、３番目（ｉ＝３）の奥行分割画像に対応する距離範囲は、距離区間Ａ、距離区間Ｂ、距離区間Ｃとなる。
【００４４】
図８（Ｂ）に示す例では、閾値Ｓ２を超えている距離範囲は、距離区間Ａである。したがって、３番目の奥行分割画像に対応する距離範囲は、距離区間Ａとなる。また、図８（Ｂ）に示す例では、閾値Ｓ（３）を超えている距離範囲は、距離区間Ａと距離区間Ｃである。したがって、３番目の奥行分割画像に対応する距離範囲は、距離区間Ａと距離区間Ｃとなる。
【００４５】
なお、システム制御部１０３が複数の表示媒体に表示画像を同時に表示する場合に、画像処理部１０７が、以下の処理を実行してもよい。画像処理部１０７は、各々の表示媒体の情報に基づいて、複数の閾値Ｓを算出し、閾値Ｓのうち、最小となる閾値Ｓを用いて、奥行分割画像に対応する距離範囲を決定する。
【００４６】
次に、図４のＳ４０４において、マスク生成処理部２０２が、ｉ番目の距離範囲情報から、分割画像生成用マスクデータを生成する。具体的には、Ｓ４０３で算出されたｉ番目の分割画像に対する距離範囲情報を用いて、距離情報である距離画像に対して、画素値を２値化する処理が実行される。つまり、距離範囲内の画素値を１とし、距離範囲外の画素値を０とする処理が行われ、分割画像生成用マスクデータが生成される。
【００４７】
Ｓ４０５において、データ生成処理部２０３が、撮影画像データとｉ番目の分割画像生成用マスクデータを用いて、ｉ番目の分割画像データを生成する。具体的には、撮影画像データの各画素に対して、分割画像生成用マスクデータの画素値を乗算する処理が実行される。それにより、分割画像生成用マスクデータの画素値が１である領域のみが、撮影画像データからそれぞれ抽出され、図７（Ｂ）の奥行分割画像のデータが生成される。
【００４８】
次にＳ４０６において、参照変数ｉのインクリメントが行われて、ｉ値が１だけ増加する。Ｓ４０７では、参照変数ｉの値が最大分割画像数Ｎと比較され、「ｉ＞Ｎ」であるかどうかが判定される。参照変数ｉの値が最大分割画像数Ｎより大きい場合、分割画像生成処理を終了する。参照変数ｉの値が最大分割画像数Ｎ以下である場合、Ｓ４０３に戻って処理を続行する。分割画像生成部１０８は以上の処理を行うことで、撮影画像データに対し、最大分割画像数Ｎ個の距離範囲で分割した奥行分割画像のデータを、表示媒体に応じて生成する。
【００４９】
図９は、表示画像データの表示媒体への表示例を示す図である。
システム制御部１０３は、図７（Ｂ）を参照して説明した処理により生成された奥行分割画像が配置された表示画像データを表示部１１０に表示させる。これにより、表示媒体Ａに対しては、図９（Ａ）のように、撮影画像データ内の全ての距離範囲に含まれる被写体が表示される。表示媒体Ｂに対しては、図８（Ａ）を参照して説明した処理により生成された奥行分割画像が配置された表示画像データが表示される。これにより、図９（Ｂ）のように、撮影画像データ内の頻度の高い被写体のみが抽出されて表示される。
【００５０】
（表示に関する変形例）
図１０は、表示画像データの表示に関する変形例を説明する図である。
図３のＳ３０４での表示画像データの生成処理時に、システム制御部１０３が、それぞれの奥行分割画像データの面内における被写体領域の検出を行うことで、最終的な表示に用いる領域を決定する。すなわち、システム制御部１０３は、表示画像データを表示する際に、各々の奥行分割画像において被写体が含まれる領域のみを表示する。
【００５１】
この例では、表示媒体Ｂに対する奥行分割画像（図８（Ａ））が生成されたものとする。画像処理部１０７は、各々の奥行分割画像に対して、被写体領域の判定を行う。具体的には、図１０（Ａ）に示すように、それぞれの奥行分割画像に対して、水平方向の画素に対する画素値を探索することで、被写体領域の判定を行う。
【００５２】
画像処理部１０７は、図４のＳ４０６の処理で説明したように、奥行分割画像データ生成時のマスク処理により、被写体でない領域の画素は０値となっていることを利用して、画素値を探索する。そして、画像処理部１０７は、探索した結果を用いて、それぞれの奥行分割画像の面内の高さ方向に対する被写体を含む領域と、被写体を含まない領域との境界線を算出する。最終的には、画像処理部１０７は、面内の高さ方向で、最も被写体が含まれる領域が高い境界線を表示領域の上端として、表示画像データを生成する。その結果、図１０（Ｂ）のように、被写体が含まれる領域のみが表示され、図９（Ｂ）に示す表示例よりも、被写体が含まれる領域がより大きく表示される。以上説明した実施形態によれば、表示媒体に依らず、ユーザが、特定の距離範囲に存在する被写体を選択して画像処理を行うことが可能となる。
【００５３】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５４】
１００  撮像装置
１０３  システム制御部
１０８  分割画像生成部
【図１】
2017175400.tif 000003
【図２】
2017175400.tif 000004
【図３】
2017175400.tif 000005
【図４】
2017175400.tif 000006
【図５】
2017175400.tif 000007
【図６】
2017175400.tif 000008
【図７】
2017175400.tif 000009
【図８】
2017175400.tif 000010
【図９】
2017175400.tif 000011
【図１０】
2017175400.tif 000012