(57)【要約】【課題】撮影時または撮影後に、撮影の視点を変えた画像を簡単に確認することができる画像処理装置および画像処理方法を提供する。【解決手段】視認表示する画像を入力する撮像部５と、撮像部５によって入力された画像について、少なくとも１つの被写体の合焦位置情報を含む情報をベクタデータに変換するベクタデータ化プロセス部２１と、ベクタデータ化プロセス部によって変換されたベクタデータを画像に関連付けて記憶する記録メモリ２５を有している。【選択図】  図1
2014057139.tif 000002
【特許請求の範囲】
【請求項１】
視認表示する画像を入力する画像入力部と、
上記画像入力部によって入力された画像について、少なくとも１つの被写体の合焦位置情報を含む情報をベクタデータに変換するベクタ変換部と、
上記ベクタ変換部によって変換された上記ベクタデータを上記画像に関連付けて記憶するベクタデータ記憶部と、
を有することを特徴とする画像処理装置。
【請求項２】
上記画像入力部によって入力された画像から、上記ベクタデータに変換された上記被写体の部分を切り出す画像切出部と、
仮想視点を想定した背景画像を記憶する背景画像記憶部と、
上記背景画像上に上記画像切出部によって切り出された画像を重畳させて表示する表示部と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記画像処理装置は、さらに上記画像切出部によって切り出された画像を表示する表示モードと、通常の表示モードとを選択する表示形態選択部を有することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記画像切出部は、隣接した略等距離の被写体を１つのグループとして画像切り出しを行うことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
上記画像切出部によって切り出された画像は、表示画像の拡大または縮小操作に応じてリサイズして表示することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
上記画像切出部によって切り出された画像は、表示角度の変更に応じて変形または位置を補正して表示することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
上記画像切出部によって切り出された画像は、距離と共に表示することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
上記画像処理装置は、顔を検出する顔検出部を有し、
上記画像切出部によって切り出された画像は、上記顔検出部によって検出された顔を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
視認表示する画像を入力し、
上記入力された画像について、少なくとも１つの被写体の合焦位置情報を含む情報をベクタデータに変換し、
上記ベクタデータを上記画像に関連付けて記憶する、
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置において画像を表示する際に、奥行きも表現可能とした画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
撮像装置においては、撮影済みの再生表示や、被写体観察用のライブビュー表示により、画像の横方向や縦方向を確認することができる。しかし、二次元的表示のみでは、被写界全体を見渡すことが困難であった。
【０００３】
そこで、例えば、特許文献１には、通常のカメラで撮影される映像より広い範囲の画像を画像処理により得られるようにした画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−０５６２９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示の画像処理装置によれば、広い範囲の画像を得ることができる。しかしながら、撮像装置等によって撮影する際、または撮影後に、撮影の視点を変えた画像を確認することができなかった。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、撮影時または撮影後に、撮影の視点を変えた画像を簡単に確認することができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係わる画像処理装置は、視認表示する画像を入力する画像入力部と、上記画像入力部によって入力された画像について、少なくとも１つの被写体の合焦位置情報を含む情報をベクタデータに変換するベクタ変換部と、上記ベクタ変換部によって変換された上記ベクタデータを上記画像に関連付けて記憶するベクタデータ記憶部と、を有する。
【０００８】
第２の発明に係わる画像処理装置は、上記第１の発明において、上記画像入力部によって入力された画像から、上記ベクタデータに変換された上記被写体の部分を切り出す画像切出部と、仮想視点を想定した背景画像を記憶する背景画像記憶部と、上記背景画像上に上記画像切出部によって切り出された画像を重畳させて表示する表示部と、を有する。
【０００９】
第３の発明に係わる画像処理装置は、上記第１の発明において、上記画像処理装置は、さらに上記画像切出部によって切り出された画像を表示する表示モードと、通常の表示モードとを選択する表示形態選択部を有する。
第４の発明に係わる画像処理装置は、上記第１の発明において、上記画像切出部は、隣接した略等距離の被写体を１つのグループとして画像切り出しを行う。
【００１０】
第５の発明に係わる画像処理装置は、上記第１の発明において、上記画像切出部によって切り出された画像は、表示画像の拡大または縮小操作に応じてリサイズして表示する。
第６の発明に係わる画像処理装置は、上記第１の発明において、上記画像切出部によって切り出された画像は、表示角度の変更に応じて変形または位置を補正して表示する。
【００１１】
第７の発明に係わる画像処理装置は、上記第１の発明において、上記画像切出部によって切り出された画像は、距離と共に表示する。
第８の発明に係わる画像処理装置は、上記第１の発明において、上記画像処理装置は、顔を検出する顔検出部を有し、上記画像切出部によって切り出された画像は、上記顔検出部によって検出された顔を含む。
【００１２】
第９の発明に係わる画像処理方法は、視認表示する画像を入力し、上記入力された画像について、少なくとも１つの被写体の合焦位置情報を含む情報をベクタデータに変換し、上記ベクタデータを上記画像に関連付けて記憶する。
【発明の効果】
【００１３】
本発明によれば、撮影時または撮影後に、撮影の視点を変えた場合の画像を簡単に確認することができる画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係わるデジタルカメラの主として電気的構成を示すブロック図である。
【図２】本発明の一実施形態に係わるデジタルカメラの背面図である。
【図３】本発明の一実施形態に係わるデジタルカメラにおいて、表示部における表示の例を示す図である。
【図４】本発明の一実施形態に係わるデジタルカメラにおいて、表示部における俯瞰表示の例を示す図である。
【図５】本発明の一実施形態におけるデジタルカメラにおけるカメラ制御（俯瞰表示なし）の動作を示すフローチャートである。
【図６】本発明の一実施形態におけるデジタルカメラにおけるカメラ制御（俯瞰表示あり）の動作を示すフローチャートである。
【図７】本発明の一実施形態におけるデジタルカメラにおけるカメラ制御（俯瞰表示あり）の動作を示すフローチャートである。
【図８】本発明の一実施形態におけるデジタルカメラにおけるベクタ化プロセスの動作を示すフローチャートである。
【図９】本発明の一実施形態におけるデジタルカメラにおけるリサイズ表示の動作を示すフローチャートである。
【図１０】本発明の一実施形態におけるデジタルカメラにおける姿勢制御の動作を示すフローチャートである。
【図１１】本発明の一実施形態におけるデジタルカメラにおける俯瞰とＬＶ表示の動作を示すフローチャートである。
【図１２】本発明の一実施形態におけるデジタルカメラにおけるアイコン化処理の動作を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面に従って本発明を適用したデジタルカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるデジタルカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
【００１６】
このデジタルカメラは、撮影レンズをスキャンさせながら、合焦点を検出し、被写体の距離を検出し、このとき得られた被写体距離の情報を用いて、同一の被写体を被写体距離情報等に基づいて認識し、同一の被写体の情報を取得しベクタデータ化する。ベクタデータを画像と共に記録し、またベクタデータ化した画像の表示を行う。ベクタデータ化することにより、撮影の視点を、上方に移動したり、左右方向に移動した場合の画像の表示を容易に行うことができる。
【００１７】
図１は、本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。レンズ１は、被写体像を形成するための光学レンズであって、単焦点レンズまたはズームレンズで構成される。このレンズ１には、図示しないが、レンズの光軸上に絞りが配置されており、また、フォーカスレンズを光軸方向に移動させるためのレンズ駆動機構が設けられている。なお、レンズ１は、交換レンズ内に配置されてもよく、またカメラ本体に固定のレンズ鏡胴内に配置されてもよい。
【００１８】
レンズ通信部３は、レンズ１の固有情報、例えば、開放絞り値、最小絞り値、焦点距離（ズームレンズの場合には、長焦点側焦点距離および単焦点側焦点距離）等や、フォーカスレンズの現在位置や現在の焦点距離情報等の情報を、バス３５を介して、後述するＣＰＵ１７に送信し、またＣＰＵ１７からのレンズ駆動機構による駆動制御信号や絞りの駆動制御信号等を受信する。
【００１９】
撮像部５は、撮像素子を有し、この撮像素子は、レンズ１によって被写体像が形成される位置に配置されている。撮像素子は、被写体像を光電変換し、画像信号を出力し、この画像信号はデジタル信号にＡＤ変換され、バス３５に出力される。この撮像部５は、視認表示する画像を入力する画像入力部として機能する。
【００２０】
プリプロセッサ７は、バス３５に接続されており、バス３５を介して、撮像部５から出力されるデジタル画像データを入力し、ＲＡＷデータに変換する。ＡＥ／ＡＦ部９は、プリプロセッサ７から出力されるＲＡＷデータを入力し、ＡＥ用に被写体の輝度値を検出する。また、ＡＦ用に被写体のコントラスト信号を抽出する。オートフォーカスは、このコントラスト信号がピークとなるようにレンズ１を調節することにより行う。
【００２１】
イメージプロセッサ２０は、プリプロセッサ７から出力されるＲＡＷデータをバス３５を介して入力し、オプティカルブラック（ＯＢ）処理、ホワイトバランス（ＷＢ）処理、同時化処理、ガンマ補正等、種々の画像処理を行う。
【００２２】
ベクタデータ化プロセス部２１は、レンズ１をスキャンさせながら、被写体のピントの合っている部分を検出することにより被写体距離を検出し、略同じ距離にある同一の被写体の情報に基づいて、ベクタデータ化処理を行う。このベクタデータ化処理は、ハードウエアで行ってもよく、またソフトウエアで行うようにしてもよい。ベクタデータ化プロセス部２１は、画像入力部（撮像部５等）によって入力された画像について、少なくとも１つの被写体の合焦位置情報を含む情報をベクタデータに変換するベクタ変換部として機能する。
【００２３】
ベクタデータ化プロセス部２１において、ベクタデータを生成するための必要な情報として、合焦点情報や、合焦点に関連するレンズ情報がある。合焦点情報としては、対象被写体が矩形の場合には、合焦点ごとの線ベクトルデータであり（図８のＳ１０９参照）、対象被写体が曲面の場合には、合焦点とベジェ曲線を描くための制御点の情報である（図８のＳ１１１〜Ｓ１１５参照）。また、画像内における合焦点位置、すなわち画像内のＸおよびＹ位置等である。
【００２４】
また、ベクタデータを生成するための合焦点に関連するレンズ情報としては、合焦点の焦点距離情報、使用しているレンズの現在のＦ値（絞り値）、現在の光学ズーム位置、レンズ／ボディのデジタルズーム倍率、レンズの開放Ｆ値、光学ズーム位置毎のＦ値変化量等の情報である。
【００２５】
顔検出部１１は、顔を検出する。すなわち、プリプロセッサ７からＲＡＷデータを入力し、被写体の中に顔が含まれているか、また含まれている場合には、その位置や大きさ等を検出する。なお、人物の顔に限らずペット等の顔を検出するようにしてもよい。
【００２６】
メインメモリ１３は、フラッシュメモリ等の不揮発性メモリであり、ＣＰＵ１７における制御のプログラムを記憶する。一時記憶メモリ１５はＳＤＲＡＭ等の書き換え可能なメモリであり、画像データ等を一時的に格納する。また、メインメモリ１３は、仮想視点を想定した背景画像を記憶する背景画像記憶部として機能する。背景画像については、図４を用いて後述する。
【００２７】
表示メモリ２７は、表示部３３等において、画像を表示する際に必要となるデータを一時的に記憶する。表示部３３は、カメラ本体の背面等に配置された液晶パネルを含み、表示メモリ２７に一時的に格納されたデータに基づいて画像表示を行う。画像表示としては、記録メモリ２５に記録された静止画等の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。表示部３３は、背景画像上に画像切出部（ＣＰＵ１７）によって切り出された画像を重畳させて表示する表示部として機能する。表示部としては、ＬＣＤに限らず、有機ＥＬ等、他の表示パネルを採用しても勿論かまわない。
【００２８】
記録メモリ２５は、カメラ本体に脱着可能なメモリであるが、これに限らず、ハードディスク等、カメラ本体に内蔵のメモリであってもよい。記録メモリ２５には、イメージプロセッサ２０によって画像処理された画像データが記録される。画像データとしては、ベクタデータ化されたデータも記録可能である。したがって、記録メモリ２５は、ベクタ変換部（ベクタデータ化プロセス部２１）によって変換されたベクタデータを画像に関連付けて記憶するベクタデータ記憶部として機能する。なお、一時記憶メモリ１５もベクタデータ記憶部としての機能を有している。
【００２９】
姿勢検知部２９は、ジャイロ、角速度センサ、重力センサ等のセンサを含み、デジタルカメラ本体の姿勢を検知する。カメラ姿勢として、カメラ本体のレンズ１が水平位置にあり正面を向いているか、上、下、左、または右方向に何度、傾いているか等を検知する。
【００３０】
外部通信端子２３は、例えば、ＵＳＢ端子等、外部機器と通信を行うための端子である。表示外部端子３１は、例えば、ＨＤＭＩ端子等、外部モニタとの接続し、画像データの通信を行うための端子である。
【００３１】
ＣＰＵ１７は、このカメラ全体の制御部としての機能を果たし、前述したように、メインメモリ１３に記憶されているプログラムに従って、カメラの各種シーケンスを総括的に制御する。
【００３２】
ＣＰＵ１７は、同一の被写体距離にある同一の被写体の画像を、ベクタデータ（被写体距離情報、合焦点情報等）を用いて、切り出し処理を行う。すなわち、ＣＰＵ１７は、画像入力部によって入力された画像から、ベクタデータに変換された被写体の部分を切り出す画像切出部として機能する。この画像切出部は、隣接した略等距離の被写体を１つのグループとして画像切り出しを行う（図７のＳ６７、Ｓ６９参照）。
【００３３】
また、画像切出部によって切り出された画像は、表示画像の拡大または縮小操作に応じてリサイズして表示される（図９および図１１のＳ１７９等参照）。画像切出部によって切り出された画像は、表示角度の変更に応じて変形または位置を補正して表示する（図１０参照）。画像切出部によって切り出された画像は、距離と共に表示する（図４参照）。画像切出部によって切り出される画像は、顔検出部１１によって検出された顔を含む。
【００３４】
ＣＰＵ１７には、操作入力部１９が接続されている。操作入力部１９は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字釦、ＯＫ釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をＣＰＵ１７に出力する。ＣＰＵ１７は、操作入力部１９からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。
【００３５】
また、本実施形態においては、メニュー釦操作によるメニュー画面や入力釦等によって、画像切出部によって切り出された画像を表示する表示モードと、通常の表示モードとを選択することができる（図７のＳ６１参照）。操作入力部１９は、画像切出部によって切り出された画像を表示する表示モードと、通常の表示モードとを選択する表示形態選択部として機能する。
【００３６】
図２は、本実施形態に係るカメラの背面図である。カメラ本体の背面には、表示部３３が配置されており、この表示部３３には、前述したようにライブビュー表示や撮影済みの画像の再生表示が行われる。
【００３７】
図３は、画像の切り出しを説明する図である。図３に示す画像の例では、人物である被写体Ｐ１、噴水である被写体Ｐ２、家である被写体Ｐ３、山である被写体Ｐ４が写っている。この画像の中から被写体を測距し、略同じ距離にある被写体の範囲を求めることにより、被写体Ｐ１〜Ｐ４のベクタデータを行うことができ、またこれらの画像を切り出す。切り出された画像は、ベクタデータを使用することにより、俯瞰表示を行うことができ（図１１参照）、また、カメラの姿勢（カメラの視点の変更）に応じて、被写体Ｐ１〜Ｐ４の向きを変化させることができる。
【００３８】
図４は、切り出した画像を表示部３３にベクタデータを利用して俯瞰表示した例を示す。図４において、ラインＬ１ａ、Ｌ１ｂは、レンズ１の焦点距離が５０ｍｍに設定されている場合の視野を示し、ラインＬ２ａ、Ｌ２ｂは、レンズ１の焦点距離が２８ｍｍに設定されている場合の視野を示す。また、ラインＬ３〜Ｌ６は、デジタルカメラからの等距離のラインを示す。
【００３９】
また、表示部３３には、図３に示した被写体Ｐ１〜Ｐ４の位置も示している。例えば、人物である被写体Ｐ１は、カメラから約２ｍの位置であって、焦点距離５０ｍｍの右端付近にあり、噴水である被写体Ｐ２は、７ｍの位置であって、真ん中からやや左にあることが分かる。このように、切り出された画像は、距離と共に表示される。また、被写体Ｐ１〜Ｐ４は、ベクタデータ化されることから、カメラを上方に移動させ、上から見下ろす場合に見えるような画像を表示したり、右側や左側に移動させた場合に見えるような画像を表示することも可能である。
【００４０】
次に、本実施形態におけるカメラ制御の動作について、図５ないし図１２に示すフローチャートを用いて説明する。これらのフローチャートは、メインメモリ１３に記憶されているプログラムに従ってＣＰＵ１７が実行する。
【００４１】
図５は、ベクタデータ化を行わず、俯瞰表示がなされない場合のカメラ制御を示す。このカメラ制御のフローに入ると、まず、特定操作指示の検出を行う（Ｓ１）。ここでは、ＣＰＵ１７が操作入力部１９から操作状態を入力し検出する。特定操作指示としては、例えば、レリーズ釦の半押しのように、撮影準備動作に係る操作部の状態を検知する。
【００４２】
続いて、合焦か否かを判定する（Ｓ３）。特定操作指示が検出された場合には、次に、後述するステップＳ１５における判定指示の結果に基づいて、合焦点を検出したか否かを判定する。
【００４３】
ステップＳ３における判定の結果、合焦点が判定されていなかった場合には、ステップＳ５において、合焦点検出のための処理を行う。まず、レンズ規定量駆動の指示を行う（Ｓ５）。ここでは、ＣＰＵ１７は、レンズ通信部３を介してレンズ駆動機構によってレンズ１を規定量だけ駆動させる。規定量としては、コントラストＡＦによるピント合わせを行うに適当な駆動量であればよい。
【００４４】
レンズを規定量駆動させると、次に、露光指示を行う（Ｓ９）。ここでは、ＣＰＵ１７が撮像部５に制御信号を出力し、これによって撮像部５が被写体像を光電変換し、この光電変換信号を蓄積する。
【００４５】
露光指示を行うと、次に、撮像データの転送を行う（Ｓ１１）。ここでは、所定の露光時間が経過すると、撮像部５から光電変換信号を読み出し、この読み出された光電変換信号に基づく撮像データを一時記憶メモリ１５に転送する。
【００４６】
撮像データの転送を行うと、次に、一時記憶メモリデータの画像化を指示する（Ｓ１３）。ここでは、ＣＰＵ１７は、読み出され一時記憶された撮像データをプリプロセッサ７に出力させ、このプリプロセッサ７は撮像データをＲＡＷデータ化する。このＲＡＷデータを用いて、表示部３３にライブビュー表示を行う。
【００４７】
一時記憶メモリデータの画像化を指示すると、次に、画像から合焦点判定指示を行う（Ｓ１５）。ここでは、ＣＰＵ１７は、プリプロセッサ７からＲＡＷデータをＡＥ／ＡＦ部９に出力させ、ＡＥ／ＡＦ部９によってコントラスト信号を生成させる。このコントラスト信号がピークとなる位置が合焦点である。
【００４８】
合焦点に達したか否かを判定すると、ステップＳ３に戻り、上述の処理を繰り返す。すなわち、ステップＳ７で規定量駆動し、露光によって得られた撮像データ／ＲＡＷデータを用いてコントラスト信号を検出し、このコントラスト信号がピークになったときの位置を合焦点と判定する。
【００４９】
一方、ステップＳ３における判定の結果、合焦点が検出された場合には、次に、撮影操作指示ありか否かを判定する（Ｓ４１）。ここでは、ＣＰＵ１７が操作入力部１９から操作状態を入力する。撮影操作指示としては、例えば、レリーズ釦の全押しのように、撮影動作に係る操作部の状態を検知する。
【００５０】
ステップＳ４１における判定の結果、撮影操作指示があった場合には、次に、合焦結果に応じてレンズ駆動指示を行う（Ｓ４３）。ここでは、ＣＰＵ１７は、ステップＳ３〜Ｓ１５において取得した合焦点の位置にレンズ１を駆動するように、レンズ通信部３にレンズ駆動指示を出力する。
【００５１】
レンズ駆動指示を出力すると、次に、指定距離レンズ駆動を行う（Ｓ４５）。ここでは、レンズ通信部３は、レンズ１の駆動機構を介してレンズ１のフォーカスレンズを指定された位置に駆動する。これにより、被写体像が撮像部５の撮像素子上に結像し、ピントが合う。
【００５２】
続いて、撮像部５に対して撮影モードでの駆動指示を行う（Ｓ４７）。ここでは、ＣＰＵ１７が撮像部５に対して、撮影モードで露光を行うように制御する。ステップＳ９において撮像部５は撮像を行っているが、ここでは、ライブビュー表示とＡＦ動作を目的としていた。これに対して、ステップＳ４７における撮像は、記録メモリ２５に画像データを記録するための画像を得るために行う。
【００５３】
撮影モードで駆動を撮像部５に駆動指示を行うと、次に、データ転送を行う（Ｓ４９）。シャッタ速度等で決まる露光時間が経過すると、撮像部５から撮像データを読み出し、この読み出されたデータを一時記憶メモリ１５に転送する。
【００５４】
続いて、一時記憶メモリデータの画像処理を指示する（Ｓ５１）。ＣＰＵ１７は、読み出され一時記憶された撮像データをプリプロセッサ７に出力させ、このプリプロセッサ７よってＲＡＷデータ化させる。
【００５５】
一時記憶メモリデータの画像処理を指示すると、次に、表示用画像作成指示を行う（Ｓ５３）。ここでは、ＣＰＵ１７は、プリプロセッサ７およびイメージプロセッサ２０に対して、表示部３３に表示させるための表示用画像の作成を指示する。
【００５６】
続いて、一時記憶メモリ１５の画像を記録メモリ２５に保存する（Ｓ５５）。ここでは、ＣＰＵ１７は、プリプロセッサ７およびイメージプロセッサ２０によって処理された画像データを記録メモリ２５に保存させる。一時記憶メモリ１５の画像を記録メモリ２５に保存すると、またはステップ４１における判定の結果撮影操作指示がなかった場合には、このフローを終了する。
【００５７】
次に、俯瞰表示を行う場合のカメラ制御の動作について、図６および図７を用いて説明する。このフローは、図５のフローと比較し、図５のステップＳ３をＳ４に置き換え、ステップＳ２１〜Ｓ３５、Ｓ５６〜Ｓ７９を追加している点で相違している。そこで、この相違点を中心に説明する。
【００５８】
カメラ制御のフローに入ると、まず、図５の場合と同様に、特定操作指示を検出する（Ｓ１）。この特定操作指示の検出を行うと、次に、レンズ全域駆動が完了したか否かを判定する（Ｓ４）。俯瞰表示を行わない図５のフローにおいては、合焦点を検出すると、ＡＦ動作は一旦停止するが、俯瞰表示を行う場合には、無限側から至近側までの全駆動範囲についてレンズ１を駆動し、合焦点の検出を行う。そこで、このステップでは、ＣＰＵ１７がレンズ通信部３からの信号に基づいて、レンズ１の駆動範囲の全域について、駆動が完了したか否かを判定する。
【００５９】
ステップＳ４における判定の結果、レンズ全域駆動が完了していない場合には、ステップＳ５以下において、合焦点の検出を行う。ステップＳ５〜Ｓ１５における処理については、前述の通りであるので、ここでは、詳しい説明は省略する。
【００６０】
ステップＳ１５において、合焦点判定指示を行うと、次に、合焦判定結果があるか否かを判定する（Ｓ２１）。前述したように、ステップＳ１５においては、ＡＥ／ＡＦ部９によってコントラスト信号を生成させ、このコントラスト信号がピーク位置にあるか否かによって合焦点を判定している。このステップＳ２１においては、ステップＳ１５において、合焦点を検出した否かについて判定する。この判定の結果、合焦点を検出しなかった場合には、ステップＳ４に戻り、合焦点検出を続行する。
【００６１】
一方、ステップＳ２１における判定の結果、合焦点を検出した場合には、次に、現在の姿勢情報を一時記憶メモリ１５に格納する（Ｓ２３）。ここでは、ＣＰＵ１７は、姿勢検知部２９から、現在のカメラ姿勢、すなわち水平方向正面を向いているか、上にまたは下に何度の方向を向いているか、右にまたは左に何度の方向に向いているか等、カメラの姿勢に関する検出信号を取得し、一時メモリ１５に格納させる。
【００６２】
続いて、現在のレンズ焦点距離を一時記憶メモリ１５に格納する（Ｓ２５）。ここでは、ＣＰＵ１７は、レンズ通信部３を介して、レンズ１の焦点距離情報を取得し、一時記憶メモリ１５に格納させる。
【００６３】
次に、合焦点・姿勢・焦点距離をベクタデータ化プロセス部２１に保存する（Ｓ２７）。ここでは、ＣＰＵ１７は、ステップＳ１５において検出した合焦点の位置、ステップＳ２３において取得した現在の姿勢情報、およびステップＳ２５において取得した焦点距離情報を、ベクタデータ化プロセス部２１に出力させ、ベクタデータプロセス部２１はこれらの情報を保存する。その他、開放Ｆ値等、ベクタデータ化に必要な情報を取得し、保存する。
【００６４】
合焦点・姿勢・焦点距離情報をベクタデータ化プロセス部２１に保存すると、次に、ベクタデータ化プロセスを実行する（Ｓ２９）。ここでは、ステップＳ１５において検出した合焦点についての合焦点情報、姿勢情報、焦点距離情報を用いて、同一対象物を抽出し、ベクタデータ化を行う。このベクタデータ化プロセスの詳しい動作については、図８を用いて後述する。
【００６５】
ステップＳ２９においてベクタデータ化プロセスを行うと、次に、連続合焦点か否かを判定する（Ｓ３１）。ステップＳ２９におけるベクタデータ化プロセスにおいて、既に合焦点があった場合に、その合焦点の近傍としてベクタデータ化を図り、この場合には連続合焦点とされ（図８のＳ１１７参照）、一方、既に合焦点がない場合には、単独合焦点とされる（図８のＳ１１９参照）。
【００６６】
例えば、図４において人物である被写体Ｐ１の部分の合焦点を既に検出している際に、さらに合焦点の検出を行い、新たな合焦点を検出した場合、画像内座標、焦点距離を元に、新たな検出合焦点は被写体Ｐ１の合焦点とし、「連続」と判定する。次のステップＳ３３において、既検出の合焦点と関連させ、「連続」として情報が更新される。一方、新合焦点が判定の結果、被写体Ｐ１でなく、噴水である被写体Ｐ２の合焦点を検出していた場合には、既存合焦点と画像内座標、焦点距離による判定から、被写体Ｐ１と関連性がない被写体Ｐ２と判断され、「単独」合焦点として次のステップＳ３５において、情報が追加される。
【００６７】
ステップＳ３３において合焦情報を更新すると、またはステップＳ３５において合焦情報を追加すると、ステップＳ４に戻り、合焦点検出、ベクタデータ化プロセス等を実行する。
【００６８】
ステップＳ４において、レンズ全域駆動完了したことを判定すると、撮影操作指示があるか否かを判定する（図７のＳ４１）。ここでは、前述したように、ＣＰＵ１７が操作入力部１９から、例えば、レリーズ釦の全押しのように、撮影動作に係る操作部の状態を入力する。
【００６９】
ステップＳ４１における判定の結果、撮影操作指示があった場合には、次に、ステップＳ４３以下において、ピント合わせを行い、露光し、撮像データの読み出しと画像処理を実行する。ここで、ステップＳ４３〜Ｓ５１までは図５に示したフローのＳ４３〜Ｓ５１と同様の処理を行うことから詳しい説明を省略する。
【００７０】
ステップＳ５１において、一時記憶メモリデータの画像処理を指示すると、次に、画像の合焦点情報追加を指示する（Ｓ５２）。ここでは、ＣＰＵ１７は、ベクタデータ化プロセス部２１に対して、ステップＳ４１において取得した撮影時の合焦点の情報を追加する。
【００７１】
ステップＳ５２において合焦点情報追加を指示すると、次に、図５のフローと同様に、表示用画像の作成指示を行い（Ｓ５３）、一時記憶メモリの画像を記録メモリ２５に保存する（Ｓ５５）。
【００７２】
ステップＳ５５において、画像を記録メモリ２５に保存すると、次に、記録画像に合焦点情報を追加する（Ｓ５６）。ここでは、ステップＳ５２において、ベクタデータ化プロセス部２１において生成したベクタデータを、ステップＳ５５において記録した画像に追加することにより、合焦点情報を追加する。
【００７３】
ステップＳ５６において、記録画像に合焦点情報を追加すると、またはステップＳ４１における判定の結果、撮影操作指示がない場合には、次に、俯瞰表示指示があるか否かを判定する（Ｓ６１）。ここでは、ＣＰＵ１７が操作入力部１９から操作状態を入力し、検出する。俯瞰表示の判定としては、例えば、メニュー画面においてユーザが俯瞰表示を選択したか、専用操作釦やダイヤル等の操作によって俯瞰表示が設定されているか否かを判定する。
【００７４】
ステップＳ６１における判定の結果、俯瞰表示指示があれば、次に、俯瞰表示ベースの展開指示を行う（Ｓ６３）。ここでは、ＣＰＵ１７はメインメモリ１３に記憶されている俯瞰表示ベースを表示メモリ２７に出力させる。俯瞰表示ベースは、図４において、焦点距離に応じて決まる視野範囲を示すラインＬ１ａ、Ｌ１ｂ、Ｌ２ａ、Ｌ２ｂ、またデジタルカメラからの距離を示すラインＬ３〜Ｌ６等、表示用背景表示である。
【００７５】
俯瞰表示ベースの展開指示を行うと、次に、撮影後か否かを判定する（Ｓ６５）。ステップＳ６１以下の処理を行う場合には、ステップＳ４１〜Ｓ５６において撮影を行った後であるか、またはライブビュー表示中のように、撮影を行わずに実行する場合がある。ここでは、ステップＳ４１〜Ｓ５４の処理を実行した否かを判定する。
【００７６】
ステップＳ６５における判定の結果、撮影後であった場合には、記憶メモリ２５の画像を合焦点情報に基づいて切り出しを行う（Ｓ６７）。ステップＳ５５、Ｓ５６において記録メモリ２５に画像データが記録されていることから、この記録されている画像データを読み出し、ベクタデータ化プロセス部２１によって変換されたベクタデータを用いて、ＣＰＵ１７は同一の被写体を画像から切り出す。すなわち、略同一距離にある同一物体の画像を切り出す。図４の例では、ＣＰＵ１７は被写体Ｐ１〜Ｐ４の画像をそれぞれ切り出す。
【００７７】
一方、ステップＳ６５における判定の結果、撮影前であった場合には、一時記憶メモリ１５の画像を合焦点情報に基づいて切り出しを行う（Ｓ６９）。ステップＳ１３〜２７において一時記憶メモリ１５に画像データ等が記録されていることから、この記録されている画像データ等を読み出し、ベクタデータ化プロセス部２１よって変換されたベクタデータを用い、略同一距離にある同一物体の画像をそれぞれ切り出す。
【００７８】
ステップＳ６７またはＳ６９において、画像を合焦点情報に基づいて切り出すと、次に、リサイズ表示を行う（Ｓ７１）。ステップＳ６７、Ｓ６９において切り出された画像を、ステップＳ６３において展開した俯瞰表示ベース上に重畳して表示しようとすると、切り出された画像のサイズが大きすぎたり、小さすぎる場合がある。そこで、このステップでは、俯瞰表示ベース上に重畳させて表示する際に、丁度よいサイズの大きさにリサイズする。このリサイズ表示の詳しい動作については、図９を用いて、後述する。
【００７９】
ステップＳ７１においてリサイズ表示を行うと、次に姿勢表示を行う（Ｓ７３）。本実施形態における俯瞰表示では、レンズ１の焦点距離が変化する場合や、レンズ１の光軸方向が上下左右に移動（視点位置や視点方向の移動）させた場合に、この移動に合わせて、俯瞰表示を変えている。このステップでは、焦点距離に基づく画角変化や、カメラ姿勢変化を検出し、この変化に応じて切り出した画像の角度や配置位置等を変化させている。同一の被写体についてはベクタデータに変換されていることから、切り出し画像の向きや大きさや厚さは自由に変化させることができる。この姿勢表示の詳しい動作については、図１０を用いて、後述する。
【００８０】
ステップＳ７３において、姿勢表示を行うと、次に、俯瞰とライブビュー（ＬＶ）表示を行う（Ｓ７５）。ここでは、ステップＳ６３において展開した俯瞰表示ベースに、ステップＳ７１、Ｓ７３においてリサイズし、姿勢制御を行った切り出し画像を重畳させて表示部３３に表示する。この俯瞰とＬＶ表示の詳しい動作については、図１１を用いて、後述する。
【００８１】
ステップＳ７５において俯瞰とＬＶ表示を行うと、またはステップＳ６１における判定の結果、俯瞰表示指示がない場合には、次に、アイコン化指示ありか否かを判定する（Ｓ７７）。ここでは、ＣＰＵ１７が操作入力部１９から操作状態を入力し、アイコン化指示がなされているかを検出する。なお、アイコン化指示の判定としては、例えば、メニュー画面においてユーザがアイコン化を選択したか、専用操作釦やダイヤル等の操作によってアイコン化が設定されてか否かを判定する。
【００８２】
ステップＳ７７における判定の結果、アイコン化の指示がある場合には、アイコン化処理を行う（Ｓ７９）。ここでは、画像を切り出し、切り出した画像をベクタデータ化プロセス部２１によってベクタデータに変換し、この変換したデータをアイコンとして保存する。アイコン化したデータを保存することにより、他の画像において利用することが可能となる。例えば、図４の人物である被写体Ｐ１のデータをアイコン化し保存しておくことにより、他の画像に利用できる。このアイコン化処理の詳しい動作については、図１２を用いて、後述する。
【００８３】
このように俯瞰表示を行うためのカメラ制御のフローにおいては、レンズ１の駆動範囲の全領域を駆動し、この間、合焦点を検出し（Ｓ４〜Ｓ２１）、検出した合焦点と、その時のカメラの姿勢情報、焦点距離情報を保存し、ベクタデータに変換して保存している（Ｓ２３〜Ｓ３５）。俯瞰表示の指示が有る場合には、俯瞰表示ベースにベクタデータ化した画像を重畳して俯瞰表示を生成し、表示している（Ｓ６１〜Ｓ７５）。また、画像の切り出しにあたっては、隣接した略等距離の被写体を１つのグループとして画像切り出しを行っている（図７のＳ６７、Ｓ６９参照）。
【００８４】
次に、ステップＳ２９（図６参照）のベクタデータ化プロセスの詳しい動作について、図８に示すフローチャートを用いて説明する。ベクタデータ化プロセスのフローに入ると、まず、新合焦点情報の取得を行う（Ｓ１０１）。ベクタデータ化プロセスのフローは、ステップＳ１５、Ｓ２１（図６参照）において、合焦点を検出した場合に実行されていることから、このステップでは、ＣＰＵ１７は、ステップＳ１５、Ｓ２１において検出された合焦点について、合焦点の位置（フォーカスレンズの位置や画面内の位置）、そのときの焦点距離情報やカメラ姿勢等の種々の情報を取得する。
【００８５】
ステップＳ１０１において新合焦点情報を取得すると、次に、合焦点情報が既にあるか否かを判定する（Ｓ１０３）。ここでは、ステップＳ１０１において取得した情報に基づいて、何がしかの合焦点情報が有るか否かを判定する。
【００８６】
ステップＳ１０３における判定の結果、合焦点情報が既にありと判定された場合には、次に、新合焦点が既存の合焦点と規定の近距離にあるか否かを判定する（Ｓ１０５）。ここでは、今回と前に取得した合焦点情報を用いて、判定する。例えば、図４に示す人物である被写体Ｐ１の部分の合焦点情報を取得した後に、再び被写体Ｐ１の他の部分の合焦点情報を取得した場合には、新合焦点が既存の合焦点と規定の近距離にあると判定される。一方、被写体Ｐ１の合焦点情報を取得した後に、噴水である被写体Ｐ２の部分の合焦点情報を取得した場合には、新規合焦点が既存の合焦点と規定の近距離にないと判定される。
【００８７】
ステップＳ１０５における判定の結果、新合焦点が既存の合焦点と規定の近距離の範囲にある場合には、次に、新合焦点と既存合焦点の近似パターンを判定する（Ｓ１０７）。ここでは、２以上の複数の合焦点を結ぶ線が、直線で近似されるか、曲線で近似されるかを判定する。
【００８８】
ステップＳ１０７における判定の結果、直線で近似される場合には、既存の合焦点と現在の合焦点を直線結合するための方向および強さベクトルを作成する（Ｓ１０９）。ここでは、ベクトルは、合焦点を結ぶ線に対して垂直方向であることから、この時の法線方向と大きさ（強さ）を決める。
【００８９】
一方、ステップＳ１０７における判定の結果、曲線で近似される場合には、既存の合焦点と現在の合焦点から集合点情報を生成し（Ｓ１１１）、集合点を通るベジェ曲線を生成する（Ｓ１１３）。そして、ベジェ曲線生成時の制御点を合焦点集合に付加する（Ｓ１１５）。ここでは、２以上の複数の合焦点を滑らかに結ぶようにベジェ曲線を生成し、合焦点集合を付加する。
【００９０】
ステップＳ１０９またはＳ１１５における処理を行うと、次に、連続合焦点とする（Ｓ１１７）。ステップＳ１０３において既に合焦点があり、しかもステップＳ１０５における判定の結果、既存の合焦点近傍にあることから、２以上の合焦点の連続体であり、連続合焦点と設定している。
【００９１】
一方、ステップＳ１０３における判定の結果、既合焦点情報がなく、またはステップＳ１０５における判定の結果、新合焦点が既存の合焦点の近傍にない場合には、単独の合焦点と設定している（Ｓ１１９）。
【００９２】
ステップＳ１１７における連続合焦点の設定、またはステップＳ１１９における単独合焦点の設定を行うと、元のフローに戻る。これらの設定は、元のフローに戻ると、ステップＳ３１（図６）の判定の際に使用される。
【００９３】
このように、本実施形態におけるベクタデータ化プロセスのフローにおいては、新合焦点が既存の合焦点の近傍にある場合には（Ｓ１０３、Ｓ１０５）、合焦点の情報を用いてベクタデータの作成を行っている（Ｓ１０９、Ｓ１１５）。
【００９４】
次に、ステップＳ７１（図７参照）のリサイズ表示の詳しい動作について、図９に示すフローチャートを用いて説明する。リサイズ表示のフローに入ると、まず、合焦点情報から切出画像幅高さを算出する（Ｓ１２１）。ここでは、ＣＰＵ１７は、一時記憶メモリに格納されている画像の合焦点情報を用いて、切り出し画像の幅と高さを算出する。例えば、図４に示す人物である被写体Ｐ１の画像を切り出す場合には、図３の枠Ｐ１の幅と高さのピクセル数等で算出する。
【００９５】
続いて、俯瞰表示に使用する基準サイズと比較を行う（Ｓ１２３）。ここでは、ステップＳ６３（図７）において読み込んだ俯瞰表示ベースに、切り出した画像を重畳させる際に、バランスのよい大きさになるように調整するために、基準サイズと比較している。
【００９６】
ステップＳ１２３における判定の結果、切り出し画像のサイズが、基準サイズより小さい場合には、切り出し画像を補間拡大する（Ｓ１２５）。一方、切り出し画像のサイズが、基準サイズより大きい場合には、切り出し画像を補間縮小する（Ｓ１２７）。
【００９７】
ステップＳ１２３にて拡大処理を行うと、またはステップＳ１２７において縮小処理を行うと、またはステップＳ１２３における判定の結果、切り出し画像のサイズが、基準内であれば、拡大も縮小もすることなく、元のフローに戻る。
【００９８】
このように、リサイズ表示のフローにおいては、俯瞰表示ベースに切り出し画像を重畳させる際にバランスのとれた画像となるように、切り出し画像のサイズを調整する。すなわち、切り出された画像は、表示画像の拡大または縮小操作に応じてリサイズして表示されている。なお、リサイズにあたって、ベクタデータ化されている場合には、このベクタデータを用いることにより、簡単に画像の拡大・縮小を行うことができる。
【００９９】
次に、ステップＳ７３（図７参照）の姿勢表示の詳しい動作について、図１０に示すフローチャートを用いて説明する。リサイズ表示のフローに入ると、まず、俯瞰表示元を判定する（Ｓ１３１）。ここでは、俯瞰表示を行うためのデータが記録メモリ２５に記録されている撮影済みの記録画像であるか、または一時記憶メモリ１５に格納されているライブビュー表示用の画像であるかを判定する。
【０１００】
ステップＳ１３１における判定の結果、記録画像であった場合には、次に、対象画像の合焦点情報からカメラ姿勢を取得する（Ｓ１３３）。ここでは、ＣＰＵ１７は、記録メモリ２５に記録されている画像データに添付されているカメラ姿勢の情報を取得する。
【０１０１】
続いて、対象画像の合焦点情報からレンズ状態情報を取得する（Ｓ１３５）。ここでは、ＣＰＵ１７は、記録メモリ２５に記録されている画像データに添付されている焦点距離情報等のレンズ状態情報を取得する。
【０１０２】
レンズ状態情報を取得すると、次に、姿勢／画角変更操作がなされたか否かを判定する（Ｓ１３７）。本実施形態においては、記録画像の再生時に、ユーザがカメラ本体の姿勢や焦点距離を変更すると、この変更に応じて、俯瞰画像を変更する。このステップにおいては、ＣＰＵ１７は姿勢検知部２９からの検知信号およびレンズ通信部３から焦点距離情報を入力し、変更操作がなされたか否かを判定する。なお、操作入力部１９の操作部材を操作することにより、焦点距離やカメラ姿勢を変更するようにしても勿論かまわない。
【０１０３】
ステップＳ１３７における判定の結果、姿勢／画角変更操作があった場合には、検出値から画角と、姿勢移動量を算出する（Ｓ１３９）。ここでは、入力した焦点距離情報から画角を算出し、また姿勢検知部２９からの検知信号に基づいて姿勢移動量を算出する。
【０１０４】
ステップＳ１３９において画角や姿勢移動量を算出すると、またはステップＳ１３７における判定の結果、姿勢／画角変更操作がなかった場合には、次に、俯瞰ベースと切り出し画像を算出し、検出値に応じて配置する（Ｓ１４１）。ここでは、姿勢や画角変更操作が行われた場合には、この変更操作に応じて、また変更操作がない場合には、ステップＳ１３３、Ｓ１３５において取得した情報に基づいて、ステップＳ６３において展開した俯瞰表示ベース上に、配置する切り出し画像の位置やその角度を算出し、配置する。
【０１０５】
ステップＳ１３１における判定の結果、俯瞰表示元がライブビューであった場合には、次に、現在のカメラ姿勢を検出する（Ｓ１５１）。ここでは、ＣＰＵ１７は、姿勢検知部２９からの検知信号に基づいて、現在のカメラ姿勢を検出する。続いて、現在のレンズ状態／情報を取得する（Ｓ１５３）。ここでは、ＣＰＵ１７は、レンズ通信部３を介して焦点距離情報等のレンズ状態情報を取得する。
【０１０６】
次に、画角変更操作がなされたか否かを判定する（Ｓ１５５）。ここでは、ＣＰＵ１７は操作入力部１９またはレンズ通信部３からズーム操作信号を入力し、画角変更操作がなされたか否かを判定する。
【０１０７】
ステップＳ１５５における判定の結果、画角変更操作があった場合には、次に画角移動量を算出する（Ｓ１５７）。ここでは、ＣＰＵ１７は、入力した操作信号に基づいて、画角移動量を算出し、一時記憶メモリ１５に記憶する。
【０１０８】
ステップＳ１５７において画角移動量を算出すると、またはステップＳ１５５における判定の結果、画角変更操作がなかった場合には、次に、カメラ姿勢変更通知があるか否かを判定する（Ｓ１５９）。ここでは、ＣＰＵ１７は操作入力部１９から操作信号を入力し、操作入力部１９によってカメラ姿勢変更操作がなされたか否かを判定する。
【０１０９】
ステップＳ１５９における判定の結果、カメラ姿勢変更通知があった場合には、次に、検出しから姿勢情報を算出する（Ｓ１６１）。ここでは、ＣＰＵ１７は、入力した操作信号に基づいて、姿勢情報を算出し、一時記憶メモリ１５に記憶する。
【０１１０】
ステップＳ１６１において検出値から姿勢情報を算出すると、またはステップＳ１５９における判定の結果、カメラ姿勢変更通知がなかった場合には、次に、俯瞰ベースと切り出し画像を算出し、検出値に応じて配置する（Ｓ１６３）。ここでは、画角変更操作やカメラ姿勢変更操作が行われた場合には、この変更操作に応じて、また変更操作がない場合には、ステップＳ１５１、Ｓ１５３において取得した情報に基づいて、ステップＳ６３において展開した俯瞰表示ベース上に、配置する切り出し画像の位置やその角度を算出し、配置する。
【０１１１】
ステップＳ１４１またはＳ１６３において、俯瞰ベースと切り出し画像を算出し、検出値に基づいて配置を行うと、次に、更新俯瞰データを展開する（Ｓ１４３）。ここでは、俯瞰表示ベース上に、ステップＳ１４１またはＳ１６３において決められた位置に、切り出し画像を配置する。
【０１１２】
このように、本実施形態における姿勢表示のフローにおいては、カメラ姿勢や画角変更操作を行うと（Ｓ１３７、Ｓ１３９、Ｓ１５５、Ｓ１６１）、この変更量に応じて、切り出し画像の配置位置や角度を変更するようにしている。すなわち、切り出された画像は、表示角度の変更に応じて変形または位置を補正して表示される。このため、撮影後もしくは撮影中に画角や撮影位置や方向を変更した場合の画像を確認することができる。なお、本実施形態における姿勢表示にあたっては、直接、カメラ姿勢等の情報を取得していたが、ベクタデータが記録されている場合には、このベクタデータを使用することにより、俯瞰ベース上に配置することができる。
【０１１３】
次に、ステップＳ７５（図７参照）の俯瞰とＬＶ表示の詳しい動作について、図１１に示すフローチャートを用いて説明する。俯瞰とＬＶ表示のフローに入ると、まず、ベクタ化できるだけの合焦点情報があるか否かを判定する（Ｓ１７１）。ここでは、前述したように、ベクタデータ化プロセス部２１において、ベクタデータを生成するために必要な情報、例えば、合焦点情報、合焦点の焦点距離情報、レンズのＦ値情報等の情報があるか否かを判定する。
【０１１４】
ステップＳ１７１における判定の結果、ベクタ化できるだけの合焦点情報がない場合には、規定エリアにライブビュー表示または再生画像を展開する（Ｓ１８３）。ベクタ化できるだけの合焦情報がないことから、ライブビュー表示または再生画像を表示させるために、一時メモリ１５内の規定エリアに、ライブビュー表示または再生画像用の画像データを格納する。なお、再生表示は、記録メモリ２５内に記録されている撮影済みの画像データに基づく表示である。
【０１１５】
一方、ステップＳ１７１における判定の結果、ベクタ化できるだけの合焦点情報がある場合には、次に、俯瞰表示ベースの展開指示を行う（Ｓ１７３）。ここでは、ＣＰＵ１７は、メインメモリ１３に対して、俯瞰表示ベースを展開するように指示する。続いて、俯瞰表示ベースの展開を行う（Ｓ１７５）。ここでは、メインメモリ１３から俯瞰表示ベースを読み出し、このデータを一時メモリ１５に格納する。
【０１１６】
俯瞰表示ベースを展開すると、次に、指定画像のベクタ化を指示する（Ｓ１７７）。ここでは、ＣＰＵ１７は、図４に示すような俯瞰表示を行うために、ベクタデータ化プロセス部２１が被写体Ｐ１〜Ｐ４のような切り出された画像に基づいてベクタデータに変換するように指示する。
【０１１７】
指定画像のベクタ化を指示すると、次に、リサイズ表示を行う（Ｓ１７９）。ここでは、図９を用いて説明したように、俯瞰表示の際に切り出し画像がバランス良く表示されるように、切り出し画像のリサイズを行う。
【０１１８】
リサイズ表示を行うと、次に、俯瞰表示ベースと切り出し画像を展開する（Ｓ１８１）。ここでは、図４に示すような俯瞰表示を行うために、俯瞰表示ベースに切り出し画像を重畳させた画像を一時記憶メモリ１５に格納する。なお、このとき図４に示すように、切り出された画像は、距離も併せて表示される。
【０１１９】
俯瞰表示ベースと切り出し画像の展開を行うと、次に、表示方法の判定を行う（Ｓ１８１）。表示方法としては、本実施形態においては、（１）図４に示したような俯瞰表示のみ、（２）親子画面で俯瞰表示とライブビュー表示の両方を表示、（３）親子画面で俯瞰表示と再生表示の両方を表示がある。ユーザは操作入力部１９の操作部によっていずれかの表示方法を選択する。
【０１２０】
ステップＳ１８５における判定の結果、俯瞰表示方法のみであった場合には、規定エリアに俯瞰表示情報を展開する（Ｓ１８７）。ここでは、ＣＰＵ１７は、一時記憶メモリ１５内の規定エリアに俯瞰表示を行うためのデータを格納する。
【０１２１】
ステップＳ１８５における判定の結果、ライブビュー表示＋俯瞰表示であった場合には、ＣＰＵ１７は、一時記憶メモリ１５内の規定エリアにライブビュー表示と俯瞰表示を行うためのデータを格納する。
【０１２２】
ステップＳ１８５における判定の結果、再生表示＋俯瞰表示であった場合には、ＣＰＵ１７は、一時記憶メモリ１５内の規定エリアに再生表示と俯瞰表示を行うためのデータを格納する。
【０１２３】
ステップＳ１８３、Ｓ１８７、Ｓ１８９、またはＳ１９１において画像の情報を格納すると、次に、姿勢表示を行う（Ｓ１９３）。ここでは、図１０を用いて説明したように、画角やカメラ姿勢に応じて画像の変更を行う。
【０１２４】
姿勢表示を行うと、次に、接続ありか否かを判定する（Ｓ１９５）。ライブビュー、再生表示、俯瞰表示等の表示は、カメラ本体に設けられた表示部３３において表示する以外に、表示用外部機器においても表示可能である。そこで、このステップでは、表示外部端子３１における接続状態の検知に基づいて、表示用外部機器が接続されているか否かを判定する。
【０１２５】
ステップＳ１９５における判定の結果、表示用外部機器が接続されていた場合には、外部機器に表示メモリの内容を表示する（Ｓ１９７）。ここでは、表示メモリの内容を外部機器に送信する。一方、表示用外部機器が接続されていない場合には、表示部３３に表示メモリの内容を表示する（Ｓ１９９）。
【０１２６】
ステップＳ１９７、またはＳ１９９において表示メモリの内容を表示すると、元のフローに戻る。
【０１２７】
このように、俯瞰とＬＶ表示のフローにおいては、ベクタ化できるだけの合焦点情報が有る場合には、指定画像をベクタデータ化し、このベクタデータを用いて、俯瞰表示を行っている。ベクタデータが有る場合には、姿勢表示する際に（Ｓ１９３）、カメラ視点の移動に応じて表示を変更することが容易にできる。また、俯瞰表示にあたって、切り出された画像は、表示画像の拡大または縮小操作に応じてリサイズして表示される（Ｓ１７９）。このため、切り出し画像をバランス良く配置することができる。
【０１２８】
次に、ステップＳ７９（図７参照）のアイコン化処理の詳しい動作について、図１２に示すフローチャートを用いて説明する。アイコン化処理のフローに入ると、まず、アイコン化対象元が記録画像かライブビュー画像かの判定を行う（Ｓ２０１）。ステップＳ７７において、ユーザがアイコン化を指示する際に、記録画像を指示するか、ライブビュー表示を行っている際に指示するに応じて判定する。
【０１２９】
ステップＳ２０１における判定の結果、アイコン化対象が記録画像の場合には、次に、対象画像の合焦箇所を取得する（Ｓ２０３）。ここでは、ＣＰＵ１７は、画像データに添付されているベクトルデータに基づいて合焦点情報を、記録メモリ２５から取得する。対象画像は、タッチパネル等によりユーザによって指示され、この対象画像について、合焦点情報を取得する。
【０１３０】
対象画像の合焦箇所を取得すると、合焦箇所座標を含めて合焦点情報を取得する（Ｓ２０５）。ここでは、ＣＰＵ１７は、ステップＳ２０３において取得した合焦箇所の合焦座標を含めて、種々の情報を、記録メモリ２５から取得する。
【０１３１】
合焦点情報を取得すると、次に、合焦点情報に基づき、画像切り出し指示を行う（Ｓ２０７）。ここでは、ステップＳ２０３、Ｓ２０５において取得情報に基づいて、ＣＰＵ１７は、記録画像から略同一距離にある同一の被写体の画像を切り出す。この切り出された画像は、ベクタデータ化プロセス２１においてベクタデータ化される。
【０１３２】
画像切出しを行うと、次に、切り出し画像をアイコンデータとして保存する（Ｓ２０９）。ここでは、切り出された画像の画像データにベクタデータが関連付けられアイコンデータとしてメインメモリ１３に保存される。なお、メインメモリ１３以外にも記録メモリ２５に記録するようにしてもよい。アイコン化することにより、他の画像に容易に利用することができ、また向き等を簡単に変えられる。
【０１３３】
ステップＳ２０１における判定の結果、アイコン化対象元がライブビュー画像である場合には、次に、合焦点情報を取得する（Ｓ２１１）。ここでは、ＣＰＵ１７は、ライブビュー表示中に、ステップＳ４〜Ｓ３５（図６）において取得した合焦点情報を、一時記憶メモリ１５から取得する。
【０１３４】
合焦点情報を取得すると、次に、合焦点情報を元にレンズを焦点距離駆動する（Ｓ２１３）。ここでは、ＣＰＵ１７は、レンズ通信部３を介してレンズ１のフォーカス位置を、ステップＳ２１１において取得した合焦位置に移動させる。
【０１３５】
続いて、合焦点情報に基づき画像切出指示を行う（Ｓ２１５）。ここでは、合焦位置において取得したライブビュー画像に基づいて、ＣＰＵ１７は画像から同一被写体の画像を切り出す。
【０１３６】
画像の切り出しを行うと、次に、切り出し画像をアイコンデータとして保存する（Ｓ２１７）。ここでは、Ｓ２０９と同様に、切り出された画像の画像データにベクタデータが関連付けられアイコンデータとして、メインメモリ１３に保存される。
【０１３７】
切り出し画像をアイコンデータとして保存すると、次に、合焦点に基づき全画像の切り出しが完了したか否かを判定する（Ｓ２１９）。ここでは、ステップＳ２１１において取得した合焦点情報に基づき、全画像の切り出しが行われたか否かを判定する。この判定の結果、全画像の切り出しが完了していない場合には、ステップＳ２１３に戻り、前述の処理を全画像の切り出しが完了するまで繰り返す。
【０１３８】
ステップＳ２０９において切出画像をアイコンデータとして保存すると、またはステップＳ２１９における判定の結果、全画像について切り出しが完了すると、元のフローに戻る。
【０１３９】
このように、アイコン化処理によって、切出画像をアイコンデータとして保存している（Ｓ２０９、Ｓ２１７）。アイコン化することにより、他の画像に容易に利用することができ、また向き等を簡単に変えられる。
【０１４０】
以上説明したように、本発明の一実施形態においては、視認表示する画像を入力する画像入力部（撮像部５）と、画像入力部によって入力された画像について、少なくとも１つの被写体の合焦位置情報を含む情報をベクタデータに変換するベクタ変換部（ベクタデータ化プロセス部２１）と、ベクタ変換部によって変換されたベクタデータを画像に関連付けて記憶するベクタデータ記憶部（一時記憶メモリ１５、記録メモリ２５等）を有している。ベクタデータを取得していることから、このベクタデータを用いて、撮影時または撮影後に、撮影の視点を変えた画像を簡単に確認することが可能となる。
【０１４１】
また、本発明の一実施形態においては、画像入力部によって入力された画像から、ベクタデータに変換された被写体の部分を切り出す画像切出部（ＣＰＵ１７）と、仮想視点を想定した背景画像を記憶する背景画像記憶部（メインメモリ１３）と、背景画像上に画像切出部によって切り出された画像を重畳させて表示する表示部（表示部３３）を有している。このため、背景画像に切り出し画像を重畳させて、俯瞰画像を表示することが可能となり、撮影シーンを確認することが容易となる。
【０１４２】
また、本発明の一実施形態においては、視認表示する画像を入力し（図６のＳ９、Ｓ１１）、この入力された画像について、少なくとも１つの被写体の合焦位置情報を含む情報をベクタデータに変換し（図６のＳ２９、図８）、ベクタデータを画像に関連付けて記憶している（図７のＳ５６）。
【０１４３】
なお、本発明の一実施形態においては、俯瞰画像の表示は表示部３３において行っていたが、表示外部端子を介して、外部表示装置で行うようにしても勿論かまわない。
【０１４４】
また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラ、ミラーレスカメラ、コンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。
【０１４５】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【０１４６】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１４７】
１・・・レンズ、３・・・レンズ通信部、５・・・撮像部、７・・・プリプロセッサ、９・・・ＡＥ／ＡＦ部、１１・・・顔検出部、１３・・・メインメモリ、１５・・・一時記憶メモリ、１７・・・ＣＰＵ、１９・・・操作入力部、２０・・・イメージプロセッサ、２１・・・ベクタデータ化プロセス部、２３・・・外部通信端子、２５・・・記録メモリ、２７・・・表示メモリ、２９・・・姿勢検知部、３１・・・表示外部端子、３３・・・表示部、３５・・・バス
【図１】
2014057139.tif 000003
【図２】
2014057139.tif 000004
【図３】
2014057139.tif 000005
【図４】
2014057139.tif 000006
【図５】
2014057139.tif 000007
【図６】
2014057139.tif 000008
【図７】
2014057139.tif 000009
【図８】
2014057139.tif 000010
【図９】
2014057139.tif 000011
【図１０】
2014057139.tif 000012
【図１１】
2014057139.tif 000013
【図１２】
2014057139.tif 000014