(57)【要約】【課題】画像に関連する距離情報を、出力先の表示媒体に依らず、ユーザが容易に画像処理に利用することが可能な画像処理装置およびその制御方法の提供。【解決手段】画像処理装置は、撮影された画像の情報と画像内の被写体画像の距離情報を取得する。分割画像生成部１０８は、距離情報と表示媒体の情報に基づいて、撮影画像から、各々が被写体の距離範囲に対応する複数の分割画像を生成する。システム制御部１０３は操作部１０９による分割画像の選択操作を受け付けて、出力先の表示媒体の解像度情報または表示画面サイズの情報を取得して分割画像生成部１０８に分割処理を指示する。画像処理部１０７は分割画像生成部１０８により分割された複数の分割画像に基づき、表示媒体に応じた数の分割画像から表示画像を生成して表示媒体に出力する。【選択図】  図１
2017175401.tif 000002
【特許請求の範囲】
【請求項１】
撮影された画像の情報および当該画像に関連する距離情報を取得する取得手段と、
前記距離情報から距離範囲を分割することにより、距離範囲が異なる複数の分割画像を前記画像から生成する生成手段と、
前記分割画像の選択操作に用いられる操作手段と、
前記操作手段により前記分割画像が選択される場合、表示媒体ごとに決定した数の前記分割画像から表示画像を生成して前記表示媒体に出力する制御を行う制御手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記表示媒体の情報を取得して前記表示画像の生成に使用する前記分割画像の最大数を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記表示媒体の情報を取得して前記生成手段が前記分割画像を生成する際の分割数を前記表示媒体ごとに決定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記表示媒体の情報は、表示解像度または表示画面サイズの情報を含むことを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記制御手段は、第１の表示媒体に対して、第１の分割数で前記生成手段が生成した分割画像から第１の表示画像を生成する制御を行い、第２の表示媒体に対して、前記第１の分割数で前記生成手段が生成した分割画像を合成して前記第１の分割数よりも少ない第２の分割数の分割画像から第２の表示画像を生成する制御を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記制御手段は、第１の表示媒体に対して、第１の分割数で前記生成手段が生成した分割画像から第１の表示画像を生成する制御を行い、第２の表示媒体に対して、前記第１の分割数よりも少ない第２の分割数で前記生成手段が生成した分割画像から前記表示画像を生成する制御を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記第１の表示媒体は、前記第２の表示媒体よりも、表示解像度が高いか、または表示画面サイズが大きいことを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記制御手段は、前記複数の分割画像から生成された表示画像を前記表示媒体の画面に表示させる制御を行い、前記操作手段により指定された座標と選択された前記分割画像とを対応付けた情報を記憶手段に記憶することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記表示画像は、前記距離情報に係る奥行き方向に前記複数の分割画像をそれぞれ配置した画像であり、第１の距離情報に対応する第１の分割画像が、前記第１の距離情報よりも近距離である第２の距離情報に対応する第２の分割画像よりも奥に配置されることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
請求項１から９のいずれか１項に記載の画像処理装置と撮像部を備える撮像装置。
【請求項１１】
撮影された画像の情報および当該画像に関連する距離情報を処理する画像処理装置にて実行される制御方法であって、
前記画像の情報および前記距離情報を取得する取得工程と、
前記距離情報から距離範囲を分割することにより、距離範囲が異なる複数の分割画像を前記画像から生成する生成工程と、
操作手段により前記分割画像が選択される場合、表示媒体ごとに決定した数の前記分割画像から表示画像を生成して前記表示媒体に出力する制御工程と、を有することを特徴とする画像処理装置の制御方法。
【請求項１２】
請求項１１に記載の各工程を画像処理装置のコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報および画像情報に関連する距離情報を利用した画像処理技術に関する。
【背景技術】
【０００２】
撮影された画像内の被写体の距離情報を取得可能な撮像装置がある。特許文献１では、各被写体の距離情報を用いて、撮影シーン内の被写体の奥行方向における位置関係と、現在の合焦距離とを表す俯瞰マップを提示する技術が開示されている。撮影者は現在どの被写体に合焦しているかを容易に把握できる。カメラ本体部に設けられた液晶ディスプレイ等の表示部だけでなく、外部の表示媒体に対して接続が可能な撮像装置がある。また、デジタルカメラが表示媒体に応じて画像データの解像度を変換する技術がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１７７７４１号公報
【特許文献２】特開２０１５−１４６５００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置において被写体の距離情報は、撮影時に装置内で行われる画像処理に専ら用いられており、撮影後にユーザが利用することは想定されていなかった。例えば、ユーザが撮影画像に対する画像編集を行うときに、被写体の距離情報を利用した画像処理を容易に行えるようにするための技術は提案されていなかった。
本発明は、画像に関連する距離情報を、出力先の表示媒体に依らず、ユーザが容易に画像処理に利用することが可能な画像処理装置およびその制御方法の提供を目的とする。
【課題を解決するための手段】
【０００５】
本発明の一実施形態に係る画像処理装置は、撮影された画像の情報および当該画像に関連する距離情報を取得する取得手段と、前記距離情報から距離範囲を分割することにより、距離範囲が異なる複数の分割画像を前記画像から生成する生成手段と、前記分割画像の選択操作に用いられる操作手段と、前記操作手段により前記分割画像が選択される場合、表示媒体ごとに決定した数の前記分割画像から表示画像を生成して前記表示媒体に出力する制御を行う制御手段と、を備える。
【発明の効果】
【０００６】
本発明の画像処理装置によれば、画像に関連する距離情報を、出力先の表示媒体に依らず、ユーザが容易に画像処理に利用することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】実施例１および実施例２に係る分割画像生成部の構成例を示すブロック図である。
【図３】実施例１における画像編集時の全体的な処理のフローチャートである。
【図４】実施例１における分割画像生成処理を説明するフローチャートである。
【図５】実施例１における画像データおよびヒストグラムを例示する図である。
【図６】実施例１における奥行き分割処理を説明する図である。
【図７】表示媒体Ａに対応する各画像データを説明する図である。
【図８】表示媒体Ｂに対応する各画像データを説明する図である。
【図９】表示媒体Ａ、Ｂへの各表示例を示す図である。
【図１０】実施例２における画像編集時の全体的な処理のフローチャートである。
【図１１】実施例２における分割画像生成処理を説明するフローチャートである。
【図１２】表示媒体Ａに対する奥行き分割処理を説明する図である。
【図１３】表示媒体Ｂに対する奥行き分割処理を説明する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら本発明の好適な実施形態について、各実施例を挙げて説明する。
［実施例１］
図１、図２を参照して本発明の実施例１を説明する。図１は撮像装置の構成例を示すブロック図である。図２は分割画像生成部１０８の構成例を示すブロック図である。
【０００９】
撮像装置１００において、撮像部１０１は、レンズ、シャッタ、絞り、撮像素子を有する。撮像部１０１は、システム制御部１０３の指示により撮影動作を行い、撮影画像データを取得してメモリ１０５へ格納する。バス１０２は各ブロックを接続し、データや制御信号の送受を行う。
【００１０】
システム制御部１０３は、撮像装置１００全体を制御する。システム制御部１０３はＣＰＵ（中央演算処理装置）を備え、不揮発性メモリ１０６に記憶されたプログラムを読み出して実行することで、後述する処理を実現する。またシステム制御部１０３は、撮像装置１００に接続される表示媒体に対して表示制御を行う。例えば、システム制御部１０３は後述の表示部１１０や通信部１１１に対する表示切り替え処理を行い、表示媒体の解像度に合わせた表示画像データの生成処理を画像処理部１０７に指示する。
【００１１】
距離情報取得部１０４は、撮像部１０１による撮影画像データに対応した被写体の距離情報を取得する。撮影画像データに対応した距離情報はメモリ１０５へ格納される。例えば、距離情報取得部１０４は撮像部１０１から、合焦位置を変更して撮影された複数の撮影画像データを取得する。そして、それぞれの撮影画像データの合焦領域と、撮影画像データの合焦位置情報から距離情報を取得する処理が行われる。この他にも、撮像部１０１の撮像素子が瞳分割された画素部で構成される場合、一対の被写体画像（視差画像）の信号の位相差から各画素に対する距離情報を取得することができる（特許文献２参照）。
【００１２】
本発明は、画像における被写体の深さに対応する情報としてさまざまな実施形態での適用が可能である。つまり、被写体の深さに対応するデータが示す情報（深さ情報）は、画像内における撮像装置から被写体までの被写体距離を直接的に表すか、または画像内の被写体の被写体距離や深さの相対関係を表す情報であればよい。
具体的には、撮像素子は、撮像光学系の異なる瞳領域を通過する一対の光束が光学像としてそれぞれ結像したものを、対をなす画像データとして複数の光電変換部から出力することができる。対をなす画像間の相関演算によって各領域の像ずれ量が算出され、像ずれ量の分布を表す像ずれマップが算出される。あるいはさらに像ずれ量がデフォーカス量に換算され、デフォーカス量の分布（撮像画像の２次元平面上の分布）を表すデフォーカスマップが生成される。このデフォーカス量を撮像光学系や撮像素子の条件に基づいて被写体距離に換算すると、被写体距離の分布を表す距離マップデータが得られる。以上のように本実施形態では、撮像装置は、像ずれマップデータ、デフォーカスマップデータ、あるいはデフォーカス量から変換される被写体距離の距離マップデータを取得すればよい。なお、各マップデータの各データはブロック単位で持っていてもよいし、画素単位でもっていてもよい。このとき、通常の画像データのように最小単位ごとに８bit程度のbit数を割り当て、距離画像として画像処理や表示、記録などを画像処理と同様に行う形態をとってもよい。
本実施形態においては、距離情報は各画素の値が距離を表す距離画像の形式を有するが、その形式は限定されない。例えば距離情報として、撮影シーン内に存在する特定被写体（例えば人物）の領域の位置および距離を表す情報であってもよい。なお、距離情報取得部１０４により距離情報を生成する方法について特に制限は無く、特許文献１等に開示された各種の方法を用いることができる。
【００１３】
メモリ１０５は、撮像部１０１によって得られた撮影画像データや、距離情報取得部１０４で取得された撮影画像データに関連した距離情報等の各種データを記憶する。メモリ１０５は、所定枚数の撮影画像データの格納に十分な記憶容量を有する。不揮発性メモリ１０６は、電気的に消去および記録可能なメモリであり、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等が用いられる。不揮発性メモリ１０６には、システム制御部１０３の動作用の定数、設定値、プログラム等が記憶される。ここでのプログラムは、後述する各フローチャートの処理を実行するためのプログラムである。
【００１４】
画像処理部１０７は、システム制御部１０３からの指示にしたがって、撮像部１０１や、メモリ１０５から読み出された撮影画像データに対して、所定の画素補間、縮小等のリサイズ処理や色変換処理を行う。また画像処理部１０７は、距離情報を用いて算出される個々の距離範囲に対して、ぼかし処理、シャープネス処理、色変換処理等の画像処理を行う。
【００１５】
分割画像生成部１０８は、メモリ１０５から読み出された撮影画像データと、距離情報と、表示媒体情報を取得し、所定の画像（奥行き分割画像）のデータを生成し、メモリ１０５へ格納する。奥行き分割画像とは、撮影画像データ内の所定の距離範囲に含まれる被写体像を抽出した画像である。奥行き分割画像のデータを、以下では「分割画像データ」という。例えば、奥行き方向（撮影方向に沿う方向）において距離範囲を３つの距離範囲に分割する場合を想定する。第１の距離範囲を撮像装置に最も近い距離範囲とし、第３の距離範囲を撮像装置から最も遠い距離範囲とする。第１の分割画像データは、第１の距離範囲内の被写体像を含む画像（近景被写体の画像）のデータである。第２の分割画像データは、第２の距離範囲内の被写体像を含む画像（中間距離の被写体画像）のデータである。第３の分割画像データは、第３の距離範囲内の被写体像を含む画像（遠景被写体の画像）のデータである。このように分割画像データは、撮影画像全体を被写体の距離範囲に応じて分割したときの画像のデータである。
【００１６】
図２を参照し、分割画像生成部１０８の内部構成に関して説明する。分割画像生成部１０８は、距離範囲分割処理部２０１と、分割画像生成用マスクデータ生成処理部２０２と、分割画像データ生成処理部２０３とで構成される。
【００１７】
距離範囲分割処理部（以下、分割処理部という）２０１は、メモリ１０５から取得した距離情報を用いて、被写体の距離範囲を複数に分割する。被写体の距離範囲の分割により、被写体の距離範囲分割情報が生成される。
【００１８】
分割画像生成用マスクデータ生成処理部（以下、マスク生成処理部という）２０２は、分割処理部２０１から被写体の距離範囲分割情報を取得し、分割画像生成用のマスク画像データを生成する。分割画像データ生成処理部（以下、データ生成処理部という）２０３は、メモリ１０５から取得した撮影画像データと、分割画像生成用のマスク画像データとを用いて、複数の分割画像データを生成する。生成された分割画像データは、メモリ１０５へ撮影画像データと対応付けて格納される。
【００１９】
図１の操作部１０９は、ユーザの操作情報を撮像装置１００の制御情報に変換し、システム制御部１０３へ通知するユーザインターフェース部である。表示部１１０は、メモリ１０５から取得した画像データをＬＣＤ（液晶ディスプレイ）等の表示媒体に表示する。通信部１１１は、表示媒体を備える外部装置との間で、制御コマンドやデータの送受信を行うための通信インターフェース部である。例えば通信部１１１は、ＵＳＢ（Universal Serial Bus）やＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等の規格に基づく有線接続で外部装置と通信を行う。あるいは、無線ＬＡＮ（Local Area Network）やＢｌｕｅＴｏｏｔｈ（登録商標）等の規格に基づく無線接続により外部装置との通信を行ってもよい。また、撮像装置１００と外部装置とは直接接続されてもよいし、サーバーやインターネット等のネットワークを介して接続されてもよい。本実施形態においては、少なくとも通信部１１１が接続される外部装置の表示媒体に対して、表示媒体情報の受信や、撮影画像に関する表示画像データの送信ができるものとする。
【００２０】
記録媒体Ｉ／Ｆ部１１２は、記録媒体１１３とのインターフェース部である。記録媒体１１３は、撮影画像データや、撮影画像データに関連した距離情報を記録する媒体であり、半導体メモリを用いたメモリカードや磁気ディスク等から構成される。
図１、図２に示す構成は一例である。そのため、以下に説明する動作の実行が可能であれば、本発明に係る撮像装置１００の構成は図１、図２に示す構成に限定されない。
【００２１】
以下、図３〜図９を参照して、本実施形態の動作を説明する。図３は、全体的な処理の流れを説明するフローチャートである。図４は、分割画像生成処理を説明するフローチャートである。図５および図６は分割処理の説明図であり、図５（Ａ）は撮影画像データを例示し、図５（Ｂ）は画素値のヒストグラムを例示する。図６（Ａ）は被写体距離を最大分割画像数（Ｎと記す）で分割した例を示す。図６（Ｂ）は奥行き分割画像を説明する図である。
【００２２】
実施形態としては、撮影された画像データに対して、距離情報を利用したリフォーカス処理や色空間変換等の画像処理を行う形態がある。リフォーカス処理は、画像データの記録後に焦点位置を再調節した画像データを生成する処理である。ユーザは撮像装置１００を用いて、特定の距離の被写体に対して所望の画像処理を行い、撮影画像に対する画像編集等を行うことができる。
【００２３】
図７および図８は、異なる表示媒体に対応する、奥行き分割画像、表示画像データ、表示画像データと分割画像データとの対応付けを説明する図である。異なる表示媒体とは、例えば、表示解像度が高い表示媒体Ａと、表示解像度が低い表示媒体Ｂである。表示媒体Ａは、ＰＣ（パーソナルコンピュータ）のディスプレイのように、ユーザが細部の画像編集を行う目的上、十分な表示解像度が確保できる。一方、表示媒体Ｂは、撮像装置本体部に付設の表示パネルのように、ユーザが細部の画像編集を行う目的においては十分な表示解像度が得られない。図７は表示媒体Ａに対する奥行き分割画像を例示し、図８は表示媒体Ｂに対する奥行き分割画像を例示する。図９（Ａ）は表示媒体Ａへの表示例を示し、図９（Ｂ）は表示媒体Ｂへの表示例を示す概略図である。
【００２４】
まず、図３のフローチャートを参照して、画像編集時の全体的な処理に関して説明する。Ｓ３０１において、システム制御部１０３は、メモリ１０５から撮影画像データと撮影画像データに対する距離情報を取得する。システム制御部１０３はさらに、不揮発性メモリ１０６から最大分割画像数Ｎを取得し、メモリ１０５に記憶する。最大分割画像数Ｎは分割画像の最大数であって、固定値または可変値である。例えば、最大分割画像数Ｎは、ユーザの指定により決定される。
【００２５】
Ｓ３０２において、システム制御部１０３は表示先の表示媒体情報を取得する。本実施例における表示媒体情報は、表示媒体の表示解像度や、表示パネルの大きさ（画面サイズ）等の情報である。また表示媒体情報は、例えば不揮発性メモリ１０６内に記憶されており、撮像装置１００が接続可能な表示媒体に関する情報である。この場合、システム制御部１０３は撮像装置１００に接続された表示媒体の表示媒体情報を不揮発性メモリ１０６から取得する。この他、システム制御部１０３は通信部１１１を介して接続が検出された表示媒体から表示媒体情報を取得する。
【００２６】
続いてシステム制御部１０３は表示媒体情報から、表示画像データ上で、ユーザが分別可能とする分割画像の枚数を決定するための表示枚数情報（Ｍと記す）を算出する。本実施例において、表示枚数情報Ｍは、表示媒体情報に対応して不揮発性メモリ１０６に記憶されている。例えば、表示媒体情報が表示解像度を示す場合、表示解像度が高いほど、表示枚数情報Ｍの値が大きい。また、表示媒体情報が表示媒体の大きさ（表示画面サイズ）を示す場合に、表示媒体のサイズが大きいほど、表示枚数情報Ｍの値が大きい。
【００２７】
Ｓ３０３において、分割画像生成部１０８はシステム制御部１０３の指示により、分割画像データを生成する。メモリ１０５に格納されている撮影画像データと、距離情報と、最大分割画像数Ｎを用いて、Ｎ枚の分割画像データを生成する処理が実行され、生成されたＮ枚の分割画像データがメモリ１０５へ格納される。Ｓ３０３の分割画像生成処理の詳細に関しては、図４のフローチャートを用いて後述する。
【００２８】
Ｓ３０４において、システム制御部１０３は画像処理部１０７へ指示し、メモリ１０５に格納されている表示枚数情報Ｍと、Ｎ枚の分割画像データから、表示媒体に合わせて表示画像データを生成する。データ処理の詳細については後述する。Ｓ３０５において、システム制御部１０３は、メモリ１０５から読み出した表示画像データにしたがって、表示媒体に画像を表示させる制御を行う。具体的な表示例に関しては後述する。本実施例においては、撮像装置１００に対して同時に複数の表示媒体との接続が検出されている場合、最も解像度が高い表示媒体のみ表示を行うものとする。この場合にシステム制御部１０３は、複数の表示媒体のうちで、最も表示解像度が高い表示媒体情報を用いてＳ３０３の処理を行う。以降のＳ３０４、Ｓ３０５を表示先となる表示媒体の数だけ繰り返すことで、それぞれの表示媒体に対応した表示画像データを生成してもよい。
【００２９】
Ｓ３０６において、システム制御部１０３は操作部１０９がユーザ操作を検出したかどうかを判定する。ユーザ操作が検出された場合、Ｓ３０７へ処理を進め、ユーザ操作が検出されない場合には、Ｓ３０５へ処理を戻す。Ｓ３０７において、システム制御部１０３は、ユーザ操作について判定する。ユーザ操作が、奥行き分割画像に対する画像処理の操作であると判定された場合、Ｓ３０８に処理を進める。またユーザ操作が、奥行き分割画像に対する画像処理の操作でない場合には、Ｓ３０９へ移行する。奥行き分割画像に対する画像処理の操作においては、ユーザ操作により、少なくとも奥行き分割画像の選択操作が行われるものとする。この選択操作は、例えば、表示媒体がタッチパネル形式の場合、表示画像データの面内座標の指定により行われる。ユーザによるタッチ操作が検出された際に、システム制御部１０３は、表示画像上でタッチされた位置の座標から、Ｓ３０４で生成した情報を用いて、分割画像データを選択する。この他にも、操作部１０９のキー入力による選択操作がある。この場合、システム制御部１０３は、キー入力に対応した分割画像を強調して表示する制御を行い、ユーザは所望の分割画像データを選択するためのキー操作を行う。
【００３０】
Ｓ３０８において、画像処理部１０７はシステム制御部１０３の指示により、選択された奥行き分割画像に対する指定の画像処理を実行する。指定の画像処理とは、例えば、ユーザが選択した奥行き分割画像が対応する距離範囲に対する、画像のぼかし処理や、シャープネス処理、色変換処理等の処理である。これらの画像処理は、ユーザが分割画像を選択することで実施可能となる、分割画像に対する画像処理である。その後、Ｓ３０３へ戻り、処理を続行する。
【００３１】
Ｓ３０９において、システム制御部１０３はユーザ操作について判定する。ユーザ操作が画像編集モードの終了操作である場合、Ｓ３１０へ処理を進め、画像編集モードの終了操作でない場合には、Ｓ３０５へ処理を戻す。Ｓ３１０において、システム制御部１０３は、画像処理済みのデータを記録する制御を行う。画像処理が施された画像データは、記録媒体Ｉ／Ｆ部１１２を介して記録媒体１１３に保存され、一連の処理を終了する。
【００３２】
次に、図４のフローチャートと、図５および図６を参照して、分割画像生成処理に関して説明する。本実施例においては、最大分割画像数Ｎを、Ｎ＝５とする。つまり、図５（Ａ）の撮影画像データから、図６（Ｂ）に示す５つの奥行き分割画像１から５が生成されるものとする。
【００３３】
図４のＳ４０１において、分割画像データの参照変数（ｉと記す）の値がゼロに初期化される（ｉ＝０）。Ｓ４０２において、分割処理部２０１は距離情報から、奥行き方向にて被写体が存在する距離の分布を算出する。距離情報は、各画素の値が撮影画像内の被写体の距離を表す距離画像の形式である。そのため、分割処理部２０１は画素値のヒストグラムを取得することによって、被写体に関する距離別ヒストグラムとして扱う。図５（Ｂ）は、図５（Ａ）の撮影画像データに対応する被写体距離の分布頻度を示すヒストグラムである。図５（Ｂ）の横軸は奥行き方向の距離を表し、縦軸は分布頻度を表す。
【００３４】
Ｓ４０３において、分割処理部２０１は図５（Ｂ）に例示したヒストグラムと、最大分割画像数Ｎから、ｉ番目の分割区間に対する距離範囲情報を算出する。図６（Ａ）を用いて具体例を説明する。これは被写体に関する距離別ヒストグラムにおいて、横軸方向に５分割した距離範囲を例示する。Ｎ＝５の場合、分割１から分割５の距離範囲情報が算出される。最大分割画像数Ｎで区切る距離範囲については、あらかじめ不揮発性メモリ１０６に定数としてデータが保持される。または分割処理部２０１は、図５（Ｂ）のヒストグラムを用いて、被写体の存在頻度が低い距離の順にＮ個の分割範囲（分割された距離範囲）を決定する。
【００３５】
Ｓ４０４において、マスク生成処理部２０２はｉ番目の距離範囲情報から、分割画像生成用マスクデータを生成する。具体的には、Ｓ４０３で算出されたｉ番目の分割画像に対する距離範囲情報を用いて、距離情報である距離画像に対して、画素値を２値化する処理が実行される。つまり、距離範囲内の画素値を１とし、距離範囲外の画素値を０とする処理が行われ、分割画像生成用マスクデータが生成される。
【００３６】
Ｓ４０５において、データ生成処理部２０３は、撮影画像データとｉ番目の分割画像生成用マスクデータを用いて、ｉ番目の分割画像データを生成する。具体的には、撮影画像データの各画素に対して、分割画像生成用マスクデータの画素値を乗算する処理が実行される。それにより、分割画像生成用マスクデータの画素値が１である領域のみが、撮影画像データからそれぞれ抽出されて、図６（Ｂ）の奥行き分割画像のデータが生成される。次にＳ４０６において、参照変数ｉのインクリメントが行われて、ｉ値が１だけ増加する。Ｓ４０７では、参照変数ｉの値が最大分割画像数Ｎと比較され、「ｉ＞Ｎ」であるかどうかが判定される。参照変数ｉの値が最大分割画像数Ｎより大きい場合、分割画像生成処理を終了する。参照変数ｉの値が最大分割画像数Ｎ以下である場合、Ｓ４０３に戻って処理を続行する。
分割画像生成部１０８は以上の処理を行うことで、撮影画像データに対し、最大分割画像数Ｎ個の距離範囲で分割した奥行き分割画像のデータを、表示媒体に応じて生成する。
【００３７】
次に、図７から図９を参照して、表示媒体Ａ、Ｂに対応する分割画像データと表示画像データを説明する。表示枚数情報Ｍについては、高解像度の表示媒体Ａに対応した表示枚数情報をＭ＝５とし、低解像度の表示媒体Ｂに対応した表示枚数情報をＭ＝３とする。
【００３８】
図７（Ａ）は、表示媒体Ａに対する分割画像として分割画像１から５を示す。図７（Ｂ）は、表示媒体Ａに対する表示画像を示す。図７（Ｃ）は、表示媒体Ａに対する表示画像と奥行き分割画像との対応付けの説明図である。解像度の高い表示媒体Ａの場合、Ｎ＝Ｍ＝５である。よって分割画像生成部１０８が生成したＮ枚の分割画像データは、図６（Ｂ）に示す分割画像データと同じである。つまり、図７（Ｃ）に示すように、分割画像１から５がすべて選択される。画像処理部１０７は分割画像１から５の画像データに基づいて表示画像データを生成してメモリ１０５に格納する。
【００３９】
図８（Ａ）は、表示媒体Ｂに対する分割画像として分割画像１から３を示す。図８（Ｂ）は、表示媒体Ｂに対する表示画像を示す。図８（Ｃ）は、表示媒体Ｂに対する表示画像と奥行き分割画像との対応付けの説明図である。解像度の低い表示媒体Ｂの場合、Ｎ＞Ｍ（＝３）である。よって、分割画像生成部１０８で生成したＮ枚の分割画像データのうち、距離範囲が隣り合う分割画像を合成する処理が実行され、Ｍ枚の分割画像データが生成される。具体的には、図６（Ｂ）の分割画像１と分割画像２とが合成されて、図８（Ａ）の分割画像１が生成される。図６（Ｂ）の分割画像３と分割画像４とが合成されて、図８（Ａ）の分割画像２が生成される。図８（Ｃ）に示すように、合成処理により生成された分割画像１から３のデータが選択される。画像処理部１０７は、３枚の分割画像データに基づいて図８（Ｂ）の表示画像データを生成する。
【００４０】
Ｎ枚の分割画像データに基づいて、Ｎ未満のＭ枚の画像データを生成するために行う合成処理に関しては、本実施例に限定されず、合成処理の対象となる分割画像データが、距離範囲として隣接していればよい。例えば、撮影時の撮影条件や撮影画像の解析結果に基づいて、合成対象とする分割画像データが選択される。具体的には、撮影画像データに関して合焦している距離範囲が取得できる場合、制御部は合焦している距離範囲に含まれる分割画像データを合成に使用せず、それ以外の距離範囲に対応した分割画像データを優先的に選択して合成する制御を行う。この他には、顔検出されたときの距離範囲や、個人認証により登録された人物が検出されたときの距離範囲が取得可能である。この場合、制御部は、それらの距離範囲に含まれる分割画像データをできるだけ合成しないように制御する。合成する分割画像データを適切に選択することによって、顔検出された画像、または登録された人物の画像に対して、合成処理の影響を抑制した画像処理が行われる。
【００４１】
システム制御部１０３は、表示枚数情報Ｍに応じて生成された分割画像データに基づき、各分割画像の距離関係や、撮影画角に対応する表示画像データの生成の制御を行う。具体的には、それぞれの分割画像データに対して、距離が近い画像（奥行き方向の距離が小さい画像）ほど、画像サイズが小さくなるように画像処理部１０７がリサイズ処理を行う。リサイズ処理後の画像データを表示画像データとして配置することで、撮影画角内の表示画像が取得される。例えば、図７（Ｃ）、図８（Ｃ）に示すように、至近距離に対応する奥行き分割画像が手前に配置され、遠距離に対応する奥行き分割画像が奥に配置される。その際には、すべての分割画像データについて、少なくとも画像の一部が見えるように配置された表示画像データが生成される。表示画像データの配置は、システム制御部１０３および画像処理部１０７により行われるが、このような表示画像データの生成例に限定されない。ユーザは、すべての分割画像データを分別して選択可能である。システム制御部１０３は、ユーザの操作指示にしたがって、被写体距離が増加する方向または減少する方向で画像を配置して表示させる制御を行う。例えば、手前から奥へという並べ方ではなく、右から左に向かって距離が大きくなるように画像データを配置することができる。
【００４２】
またシステム制御部１０３は、図７（Ｃ）または図８（Ｃ）に示すように、表示画像データの座標（Ｘ，Ｙ）と、分割画像の選択先とを対応付けた選択情報を、メモリ１０５へ記憶する。座標（Ｘ，Ｙ）はユーザにより指定された座標であり、Ｘ座標は水平座標を表し、Ｙ座標は垂直座標を表す。図７（Ｃ）は、ユーザが分割画像２上に座標を指定した例を示す。システム制御部１０３は分割画像２に含まれる被写体（主被写体等）を特定することができる。
【００４３】
図９は、表示媒体に応じた表示画像データにより、表示画面に画像が表示される例を示す。図９（Ａ）に示すように、解像度の高い表示媒体Ａは、図７（Ｂ）の表示画像データを用いて画像を表示する。また図９（Ｂ）に示すように、解像度の低い表示媒体Ｂは、図８（Ｂ）の表示画像データを用いて画像を表示する。つまり、表示媒体Ｂでは、表示媒体Aに比べて、表示枚数を減らして画像が表示されるので、ユーザの視認性が向上する。
【００４４】
本実施例では、撮影情報や撮影条件、被写体の検出情報に基づいて分割方法が決定される。具体的には、焦点が合っている主被写体の画像と、その前後の画像に分割する場合に、主被写体の前後については解像度に応じた分割数が設定されて複数の分割画像データが生成される。また、マクロ撮影の場合には、至近距離範囲を優先して分割数を大きくし、遠距離範囲の分割数を小さくする設定が行われる。ポートレート撮影では、最大サイズの被写体（顔）と、その前後の画像に分割する処理が行われる。最大サイズの被写体の前後については解像度に応じた分割数が設定されて複数の分割画像データが生成される。顔検出機能を有する撮像装置の場合には、所定サイズ以上の顔が検出された主要な距離範囲と、当該距離範囲以外の範囲に分割される。また、ユーザが登録している被写体が検出された主要な距離範囲と、当該距離範囲以外の範囲に分割される。主要な距離範囲と、それ以外の距離範囲とを区分けし、主要でない距離範囲については解像度に合わせて分割が行われる。
【００４５】
本実施例では、撮影画像データに関連する距離情報を利用して、撮影画像を被写体の距離範囲に応じて複数の画像に分割する。各画像は、ユーザが選択可能な状態で提示される。表示画像の生成時に表示媒体情報を用いることで、所望の表示媒体に応じた画像表示を行える。よって、様々な表示媒体に応じて、特定の距離に存在する被写体を対象とした画像処理データを提供することができる。
【００４６】
［実施例２］
次に実施例２を説明する。実施例１では、表示画像データの生成時にシステム制御部１０３が表示媒体情報に基づいて表示枚数を制御する例を説明した。実施例２では、分割画像生成部１０８が分割画像データを生成する時に、表示媒体情報に基づいて分割画像枚数を制御する例を説明する。なお、実施例１の場合と同様の構成については既に使用した符号を用いることにより、それらの詳細な説明を省略し、主に相違点を説明する。
【００４７】
本実施例では、図２において分割画像生成部１０８が距離情報だけでなく、表示媒体情報を用いて、分割画像データを生成する。つまり、分割処理部２０１は、メモリ１０５から取得した距離情報と、表示媒体情報を取得し、被写体の距離範囲を複数に分割する。
【００４８】
図１０および図１１のフローチャート、図１、図２、図５、図９、図１２、図１３を参照して本実施例を詳細に説明する。図１２は、奥行き方向の距離について最大分割画像数Ｎで分割した例を説明する図である。図１３は、奥行き方向の距離について最大分割画像数Ｎよりも小さい分割数で分割した例を説明する図である。本実施例における撮影画像データとヒストグラムは、図５に示すとおりである。
【００４９】
図１０は画像編集時の全体的な処理の流れを説明するフローチャートである。Ｓ３０１、Ｓ３０２、Ｓ３０５〜Ｓ３１０の各処理は、実施例１にて図３で説明した処理と同様であるため、詳細な説明を割愛する。Ｓ３０２からＳ９００へ進む。
【００５０】
Ｓ９００において、分割画像生成部１０８はシステム制御部１０３の指示により、メモリ１０５に格納されている撮影画像データと、距離情報と、表示媒体情報と、最大分割画像数Ｎを用いて、Ｎ枚の分割画像データを生成する。生成されたＮ枚の分割画像データはメモリ１０５へ格納される。Ｓ９００の分割画像生成処理に関しては、図１１から図１３を用いて後述する。
【００５１】
次のＳ９０１において、システム制御部１０３は画像処理部１０７へ指示し、メモリ１０５から読み出されたＮ枚の分割画像データから、表示画像データを生成する。生成された表示画像データは、メモリ１０５に格納されて表示制御が行われる。そしてＳ３０５以降の処理が実行される。
【００５２】
図１１のフローチャートを参照して、分割画像生成処理について説明する。Ｓ４０１、Ｓ４０２、Ｓ４０４〜Ｓ４０７の処理は、実施例１にて図４で説明した処理と同様であるため説明を割愛し、Ｓ１０３のみ説明する。Ｓ４０２からＳ１０３に進む。Ｓ１０３において、分割処理部２０１は距離別ヒストグラムと表示枚数情報Ｍから、ｉ番目の分割区間に対する距離範囲情報を算出する。そしてＳ４０４に処理を進める。
【００５３】
本実施例では、表示媒体Ａの最大分割画像数Ｎを、Ｎ＝５とする。図５（Ａ）の撮影画像データから、図１２（Ｂ）に示す分割画像１から５のデータが生成される。また、表示媒体Ｂの最大分割画像数Ｎを、Ｎ＝３とする。図５（Ａ）の撮影画像データから、図１３（Ｂ）の分割画像１から３のデータが生成される。
【００５４】
システム制御部１０３は、図１２（Ｂ）や図１３（Ｂ）に示す分割画像データから、各分割画像の距離関係と撮影画角に応じて表示画像データを生成する制御を行う。例えば、近距離に対応する奥行き分割画像を手前にし、遠距離に対応する奥行き分割画像を奥に配置し、すべての分割画像の少なくとも一部が見えるように配置した表示画像データが出力される（図９）。また、ユーザが指定した表示画像データの座標と、座標が選択された分割画像とを対応付けた選択情報はメモリ１０５へ記憶される。実施例１の場合と同様に、細部の画像編集を行う上で十分な表示解像度が確保できない表示媒体Ｂでは、表示媒体Ａに比べて表示枚数を減らすことで、ユーザの視認性が向上する。
【００５５】
本実施例では、表示媒体情報に基づいて奥行き分割画像の枚数が決定される。よって複数の分割画像データを合成して表示枚数を削減する処理は不要である。本実施形態によれば、奥行き分割画像の生成時に表示媒体情報を用いることで、表示媒体ごとに決定された分割画像から表示媒体に応じた表示画像を生成することができる。
【００５６】
［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５７】
１００  撮像装置
１０１  撮像部
１０３  システム制御部
１０４  距離情報取得部
１０７  画像処理部
１０８  分割画像生成部
１０９  操作部
１１０  表示部
１１１  通信部
【図１】
2017175401.tif 000003
【図２】
2017175401.tif 000004
【図３】
2017175401.tif 000005
【図４】
2017175401.tif 000006
【図５】
2017175401.tif 000007
【図６】
2017175401.tif 000008
【図７】
2017175401.tif 000009
【図８】
2017175401.tif 000010
【図９】
2017175401.tif 000011
【図１０】
2017175401.tif 000012
【図１１】
2017175401.tif 000013
【図１２】
2017175401.tif 000014
【図１３】
2017175401.tif 000015