(57)【要約】【課題】前景と背景を区別してシーン判定を実行する。【解決手段】被写体（花３１１、山３１２及び草原３１３）の撮影画像を判定対象画像（３００）として取得する一方で、各被写体の被写体距離を表す被写体距離情報（距離画像３２０）を取得し、被写体距離情報に基づいて判定対象画像を領域分割する。これにより例えば、判定対象画像の全体画像領域は、前景側に位置する被写体の画像データが存在する分割画像領域（３０１）と、背景側に位置する被写体の画像データが存在する分割画像領域（３０２）とに切り分けられる。分割画像領域ごとにシーン判定を行い、分割画像領域ごとにシーン判定結果に応じた画像処理を実行する。【選択図】図７
2012004716.tif 000002
【特許請求の範囲】
【請求項１】
被写体の画像データを出力する撮像素子と、
前記撮像素子の出力に基づく判定対象画像の全体画像領域を複数の分割画像領域に分割する領域分割部と、
前記複数の分割画像領域の内、２以上の分割画像領域を判定領域とし、判定領域ごとに、当該判定領域内の画像データに基づいて当該判定領域内の画像のシーン判定を行うシーン判定部と、を備えた
ことを特徴とする撮像装置。
【請求項２】
各判定領域に対するシーン判定の結果を表示する表示部を更に備えた
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
目標画像の取得を指示する所定の撮影指示が与えられた際、前記撮像素子の出力を用い、各判定領域に対するシーン判定の結果に応じた条件にて前記目標画像の画像データを生成する画像処理部を更に備えた
ことを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
判定領域ごとに、当該判定領域に対するシーン判定の結果に応じた撮影パラメータが設定され、
前記画像処理部は、判定領域ごとに、対応する撮影パラメータを用いて当該判定領域に対応する前記目標画像内の画像領域の画像データを生成することで、前記目標画像の全体の画像データを生成する
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
被写体の画像である基準画像の全体画像領域を複数の分割画像領域に分割する領域分割部と、
与えられた選択指示に従って前記複数の分割画像領域の中から検索基準領域を選択し、前記検索基準領域の画像特徴に対応する画像特徴を有する非基準画像を複数の非基準画像の中から検索する検索処理部と、を備えた
ことを特徴とする電子機器。
【請求項６】
前記検索は、検索条件に適合する非基準画像を前記複数の非基準画像の中から選ぶ処理であり、
前記検索処理部は、前記基準画像の被写体距離情報及び各非基準画像の被写体距離情報をも利用して、各非基準画像が前記検索条件に適合しているか否かを判断する
ことを特徴とする請求項５に記載の電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置に関する。また本発明は、撮像装置、画像再生装置、情報端末装置等の電子機器に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置で撮影を行う際、特定の撮影シーンでは撮影シーンに応じた最適な撮影条件（シャッタスピード、絞り値、ＩＳＯ感度等）が存在する。しかし、一般に、撮影条件のマニュアル設定は複雑である。これを考慮し、撮像装置には、撮影シーンを自動的に判定し、撮影条件を自動的に最適化する自動シーン判定機能が搭載されていることが多い。この機能では、撮影範囲内に存在する被写体の種類を判別したり被写体の明るさを検出したりすることで撮影シーンを判定し、判定シーンに基づいて複数の登録撮影モードの中から最適な撮影モードを選択する。そして、選択した撮影モードに従った撮影条件にて撮影を行うことで撮影条件の最適化を図る。
【０００３】
このように、自動シーン判定機能はユーザにとって有益な機能である。しかしながら、被写体の状態によってはユーザが望むシーン判定結果が得難いこともあり、その場合、所望のシーン判定結果が得られるまで、ユーザは撮影構図の調整等を強いられることもある。例えば、図１８（ａ）に示す如く、前景側に位置する花９１１と背景側に位置する山９１２及び草原９１３を被写体として撮影範囲に収めた状態を考える。図１８（ａ）の画像９００は、その状態での撮影によって得られた画像である。また、ユーザは、花９１１を主要被写体として考えていて、自動シーン判定機能による判定シーンが花の撮影に適した花シーンとなることを望んでいるものとする。
【０００４】
自動シーン判定機能を担うシーン判定部（不図示）は、画像９００に対してシーン判定処理を行う。画像９００には花９１１、山９１２及び草原９１３が存在しているため、画像９００の撮影シーンは、花の撮影に適した花シーンであるとも、風景の撮影に適した風景シーンであるとも推定される。シーン判定部は、画像９００上における各被写体の位置及び大きさ等を考慮して花シーン及び風景シーンの一方を選択し、選択した方を判定シーンとしてユーザに提示する。図１８（ｂ）に、風景シーンが判定シーンとして設定されたときの表示画面を示す。図１８（ｂ）において、ドットで満たされた領域は表示部の筐体部分を表しいている（後述の図１９（ｂ）も同様）。
【０００５】
図１８（ｂ）のような表示が成された際、ユーザは判定シーンが花シーンとなるまで、即ち、判定シーンが花シーンであることを示す図１９（ｂ）のような表示が成されるまで撮影構図を調整する必要がある。例えば、図１９（ａ）の撮影画像９２０が得られるように、花９１１を撮影範囲の中心に配置させたり、撮影画角を縮小したりする必要がある。
【０００６】
他方、撮像装置等の電子機器において、検索条件に適合した画像を複数の記録画像の中から検索する方法が提案されている。
【０００７】
例えば、ユーザが図１８（ａ）の画像９００に類似する画像を探している場合を考える。この際、ユーザは花９１１に注目しており、花を被写体に含んだ画像を探しているものとする。この場合、ユーザは、画像９００に類似する画像の検索を電子機器に指示することになるが、この指示を受けたとき、電子機器は、ユーザの意図に反し、風景に注目して検索を行うことがある。即ち、花を含まない代わりに、山９１２及び草原９１３に対応するような風景を含んだ画像（例えば、図２０の画像９３１や画像９３２）を検索結果画像として出力する場合がある。
【０００８】
また例えば、ユーザが図１９（ａ）の画像９２０に類似する画像を探している場合を考える。この際、ユーザは山９１２及び草原９１３に対応するような風景を被写体に含んだ画像を探しているものとする。この場合、ユーザは、画像９２０に類似する画像の検索を電子機器に指示することになるが、この指示を受けたとき、電子機器は、ユーザの意図に反し、花に注目して検索を行うことある。即ち、山９１２及び草原９１３に対応するような風景を含まない代わりに、花を含んだ画像（例えば、図２１の画像９４１や画像９４２）を検索結果画像として出力する場合がある。
【０００９】
尚、下記特許文献１には、測距結果を用いて被写体の種類を識別し、識別した被写体の種類に基づいて撮影モードを設定する方法が提案されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００９−２７２７９９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上述した従来の自動シーン判定機能では、前景側に位置する被写体や背景側に位置する被写体など、様々な被写体が撮影範囲内に存在しているにも関らず、所定のアルゴリズムに沿って常に単一のシーン判定結果が導出及び表示される。このため、所望のシーン判定結果が得られないときに、上述したような撮影構図の調整等が必要となる。仮に、前景と背景を区別するようなシーン判定を行うことができたならば、このような撮影構図の調整等が不要となり又は軽減され、ユーザの利便性が向上する。尚、特許文献１の方法は、このような利便性向上に寄与する方法ではない。
【００１２】
画像検索についても同様である。即ち、上述した従来の画像検索方法では、ユーザの意図に反し、前景側被写体にのみ注目した画像検索や背景側被写体にのみ注目した画像検索が行われることがある。仮に、ユーザの意図に沿って前景と背景を区別するような画像検索を行うことができたならば、ユーザの意図に合致した検索が可能となる。
【００１３】
そこで本発明は、前景と背景を区別したようなシーン判定を行いうる撮像装置を提供することを目的とする。また本発明は、前景と背景を区別したような画像検索を行いうる電子機器を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明に係る撮像装置は、被写体の画像データを出力する撮像素子と、前記撮像素子の出力に基づく判定対象画像の全体画像領域を複数の分割画像領域に分割する領域分割部と、前記複数の分割画像領域の内、２以上の分割画像領域を判定領域とし、判定領域ごとに、当該判定領域内の画像データに基づいて当該判定領域内の画像のシーン判定を行うシーン判定部と、を備えたことを特徴とする。
【００１５】
これにより、例えば、前景側の被写体に注目したシーン判定と背景側の被写体に注目したシーン判定を個別に行うことが可能となる。それらのシーン判定の結果を用いて画像データの生成を行うようにすれば、前景側の被写体及び背景側の被写体の画像データを個別に最適化することも可能である。
【００１６】
また例えば、各判定領域に対するシーン判定の結果を表示する表示部を更に撮像装置に設けておくとよい。
【００１７】
これにより、ユーザは、各シーン判定の結果を認識することができると共に、それらが所望の結果であるのかを確認することができる。
【００１８】
そして例えば、目標画像の取得を指示する所定の撮影指示が与えられた際、前記撮像素子の出力を用い、各判定領域に対するシーン判定の結果に応じた条件にて前記目標画像の画像データを生成する画像処理部を当該撮像装置に更に設けておくと良い。
【００１９】
これにより、前景側の被写体及び背景側の被写体の画像データを個別に最適化するといったことも可能となる。
【００２０】
より具体的には例えば、判定領域ごとに、当該判定領域に対するシーン判定の結果に応じた撮影パラメータが設定され、前記画像処理部は、判定領域ごとに、対応する撮影パラメータを用いて当該判定領域に対応する前記目標画像内の画像領域の画像データを生成することで、前記目標画像の全体の画像データを生成する。
【００２１】
本発明に係る電子機器は、被写体の画像である基準画像の全体画像領域を複数の分割画像領域に分割する領域分割部と、与えられた選択指示に従って前記複数の分割画像領域の中から検索基準領域を選択し、前記検索基準領域の画像特徴に対応する画像特徴を有する非基準画像を複数の非基準画像の中から検索する検索処理部と、を備えたことを特徴とする。
【００２２】
これにより、例えば、前景側の被写体画像に類似する画像の検索や背景側の被写体画像に類似する画像の検索を区別して行うことが可能となる。
【００２３】
また例えば、前記検索は、検索条件に適合する非基準画像を前記複数の非基準画像の中から選ぶ処理であり、前記検索処理部は、前記基準画像の被写体距離情報及び各非基準画像の被写体距離情報をも利用して、各非基準画像が前記検索条件に適合しているか否かを判断するようにしても良い。
【００２４】
これにより、例えば、前景側に「花」が位置している画像を検索する或いは背景側に「花」が位置している画像を検索する、といった高度な検索が可能となる。
【００２５】
また、被写体の画像である複数の被検索画像の中から、検索条件に適合する被検索画像を検索する検索処理部と、被検索画像ごとに、当該被検索画像の全体画像領域を複数の分割画像領域に分割する領域分割部と、を備えた他の電子機器を形成するようにしても良い。当該他の電子機器において、前記検索処理部は、被検索画像ごとに、当該被検索画像の各分割画像領域と前記検索条件との適合性を評価することにより当該被検索画像が前記検索条件に適合しているか否かを判断しても良い。
【００２６】
これにより、例えば、前景側の被写体が検索条件に適合した画像や背景側の被写体が検索条件に適合した画像等を検索することが可能となり、検索条件によっては、それらの画像を区別して検出することも可能となる。
【００２７】
この際、例えば、前記検索処理部は、各被検索画像の被写体距離情報をも利用して、各被検索画像が前記検索条件に適合しているか否かを判断すると良い。
【００２８】
これにより、例えば、前景側に「花」が位置している画像を検索する或いは背景側に「花」が位置している画像を検索する、といった高度な検索が可能となる。
【発明の効果】
【００２９】
本発明によれば、前景と背景を区別したようなシーン判定を行いうる撮像装置及び前景と背景を区別したような画像検索を行いうる電子機器を提供することが可能となる。
【図面の簡単な説明】
【００３０】
【図１】本発明の第１実施形態に係る撮像装置の概略全体ブロック図である。
【図２】図１に示される撮像部の内部構成図である。
【図３】図１の撮像装置に内包される、自動シーン判定及び撮影条件の最適化に寄与する部分のブロック図である。
【図４】入力画像とシーン判定領域との関係を表す図である。
【図５】本発明の第１実施形態に係る撮影動作の手順を表すフローチャートである。
【図６】本発明の第１実施形態に係り、判定対象画像及び目標画像の関係を示す図である。
【図７】本発明の第１実施形態に係り、判定対象画像を示す図（ａ）と、距離画像を示す図（ｂ）と、距離画像に基づいて判定対象画像が領域分割される様子を示す図（ｃ）である。
【図８】本発明の第１実施形態に係り、シーン判定処理の結果が表示される様子を示す図である。
【図９】本発明の第１実施形態に係り、撮像素子の出力に基づく対象入力画像に第１及び第２特定画像処理を適用することによって目標画像が生成される様子を示した図である。
【図１０】本発明の第２実施形態に係り、画像ファイルの構造を示す図（ａ）と、付加データの構成を示す図（ｂ）である。
【図１１】本発明の第２実施形態に係り、図１の主制御部に検索処理部が内包されている様子を示す図である。
【図１２】本発明の第２実施形態に係り、記録媒体に保存された複数の画像ファイルを示す図である。
【図１３】本発明の第２実施形態に係る検索動作の手順を表すフローチャートである。
【図１４】本発明の第２実施形態に係り、表示部の表示内容の時間変化等を示す図である。
【図１５】本発明の第２実施形態に係り、基準画像が領域分割される様子を示す図である。
【図１６】本発明の第２実施形態に係り、表示画面の例を示す図である。
【図１７】本発明の第３実施形態に係る検索動作の手順を表すフローチャートである。
【図１８】従来技術に係り、自動シーン判定の対象となる画像を示す図（ａ）と、その自動シーン判定の結果が表示される様子を示す図（ｂ）である。
【図１９】従来技術に係り、自動シーン判定の対象となる画像を示す図（ａ）と、その自動シーン判定の結果が表示される様子を示す図（ｂ）である。
【図２０】従来の画像検索方法によって検索された画像例を示す図である。
【図２１】従来の画像検索方法によって検索された画像例を示す図である。
【発明を実施するための形態】
【００３１】
以下、本発明の実施形態の幾つかを、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００３２】
＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、第１実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。撮像装置１は、携帯電話機などの携帯端末に搭載されるものであっても良い。
【００３３】
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。
【００３４】
図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部１３からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量（換言すれば、絞り値）を制御する。
【００３５】
撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。
【００３６】
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号をＲＡＷデータとして主制御部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は、主制御部１３によって制御される。
【００３７】
主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等から成る。主制御部１３は、ＡＦＥ１２からのＲＡＷデータに基づいて、撮像部１１によって撮影された画像（以下、撮影画像とも言う）を表す画像データを生成する。ここで生成される画像データには、例えば、輝度信号及び色差信号が含まれる。但し、ＲＡＷデータそのものも画像データの一種であり、撮像部１１から出力されるアナログ信号も画像データの一種である。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。
【００３８】
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。
【００３９】
表示部１５にはタッチパネル１９が設けられており、ユーザは、表示部１５の表示画面を操作体で触れることで撮像装置１に特定の指示を与えることができる。表示部１５の表示画面を操作体で触れることによる操作をタッチパネル操作と呼ぶ。操作体と表示部１５の表示画面との接触位置をタッチ位置と呼ぶ。操作体が表示部１５の表示画面が触れたとき、その触れた位置（即ちタッチ位置）を指し示す座標値が主制御部１３に伝達される。操作体は、指やペンなどであるが、以下では主として操作体が指であることを想定する。本明細書において、単に表示及び表示画面と言った場合、それらは、表示部１５における表示及び表示画面を指すものとする。
【００４０】
記録媒体１６は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。操作部１７は、静止画像の撮影指示を受け付けるシャッタボタン２０等を備え、外部からの各種操作を受け付ける。操作部１７に対する操作を、タッチパネル操作と区別すべく、ボタン操作とも呼ぶ。操作部１７に対する操作内容は、主制御部１３に伝達される。
【００４１】
撮像装置１には、ユーザが撮影しようとするシーンを自動的に判定し、撮影条件を自動的に最適化する機能が備えられている。第１実施形態では、以下、主として、この機能の説明を行う。図３は、この機能の実現に特に関与する部位のブロック図である。シーン判定部５１、撮影制御部５２、画像処理部５３及び表示制御部５４は、図１の主制御部１３内に設けられる。撮像装置１には、被写体距離情報生成部５５が設けられている。被写体距離情報生成部５５を図３に示す如く主制御部１３外に設けても良いし、主制御部１３内に設けるようにしても良い。
【００４２】
シーン判定部５１には、入力画像の画像データが与えられる。入力画像とは、撮像部１１から出力される画像データに基づく二次元画像を指す。ＲＡＷデータそのものが入力画像の画像データであっても良いし、ＲＡＷデータに対して所定の画像処理（デモザイキング処理、ノイズ低減処理、色補正処理等）を施して得られる画像データが入力画像の画像データであっても良い。撮像部１１は所定のフレームレートで撮影を行うことができるため、入力画像も所定のフレームレートで順次得られる。
【００４３】
シーン判定部５１は、入力画像内にシーン判定領域を設定し、シーン判定領域内の画像データに基づいてシーン判定処理を行う。シーン判定部５１は、入力画像ごとにシーン判定処理を行うことができる。被写体距離情報生成部５５からの被写体距離情報に基づきシーン判定領域を設定することもできるが、その方法については後述する。
【００４４】
図４は、入力画像とシーン判定領域との関係を表している。図４において、符号２００は任意の１枚の入力画像を表しており、符号２０１は入力画像２００に設定されたシーン判定領域を表している。シーン判定領域２０１は、入力画像２００の全体画像領域そのもの、又は、入力画像２００の全体画像領域の一部である。図４では、シーン判定領域２０１が、入力画像２００の全体画像領域の一部であることが想定されている。以下の説明では、図４に示す如く、シーン判定領域２０１に代表される任意のシーン判定領域の形状が矩形であることを想定する。但し、シーン判定領域の形状を矩形以外とすることも可能である。
【００４５】
入力画像に対するシーン判定処理は、入力画像からの画像特徴量の抽出、入力画像の被写体の検出、入力画像の色相の分析、入力画像の撮影時における被写体の光源状態の推定等を用いて実行され、その判定に公知の任意の方法（例えば、特開２００８−１１２８９号公報又は特開２００９−７１６６６号公報に記載の方法）を用いることができる。
【００４６】
複数の登録シーンが予めシーン判定部５１に設定されている。複数の登録シーンには、例えば、人物が注目された撮影シーンであるポートレートシーン、風景が注目された撮影シーンである風景シーン、花が注目された撮影シーンである花シーン、紅葉が注目された撮影シーンである紅葉シーン、動物が注目された撮影シーンである動物シーン、海が注目された撮影シーンである海シーン、日中の撮影状態を表す日中シーン、夜景の撮影状態を表す夜景シーンなどが含まれうる。シーン判定部５１は、注目した入力画像の画像データからシーン判定処理に有益な画像特徴量を抽出することで、その注目した入力画像の撮影シーンを上記複数の登録シーンの中から選択し、これによって、注目した入力画像の撮影シーンを判定する。シーン判定部５１によって判定された撮影シーンを、判定シーンと呼ぶ。シーン判定部５１は、判定シーンを表すシーン判定情報並びにシーン判定領域の位置及び大きさを表す判定領域情報を撮影制御部５２及び表示制御部５４に与える。尚、シーン判定情報及び判定領域情報は、撮影制御部５２及び表示制御部５４以外の任意の部位（画像処理部５３等）にも与えられうる。
【００４７】
撮影制御部５２は、シーン判定情報に基づき、撮影条件を既定する撮影モードを設定する。撮影モードにて既定される撮影条件には、入力画像の撮影時におけるシャッタスピード（即ち、入力画像の画像データを撮像素子３３から得るための、撮像素子３３の露光時間の長さ）、入力画像の撮影時における絞り値、入力画像の撮影時におけるＩＳＯ感度、画像処理部５３において入力画像に行われるべき画像処理（以下、特定画像処理という）の内容などが含まれる。ＩＳＯ感度は、ＩＳＯ（International Organization for Standardization）によって規定された感度を意味し、ＩＳＯ感度を調節することで入力画像の明るさ（輝度レベル）を調節することができる。実際には、ＩＳＯ感度に応じてＡＦＥ１２における信号増幅の増幅度を決定する。撮影制御部５２は、撮影モードの設定後、設定した撮影モードの撮影条件で入力画像の画像データが得られるように撮像部１１及びＡＦＥ１２を制御すると共に、画像処理部５３を制御する。尚、撮影制御部５２は、フォーカス状態及び露光状態を最適化するためのカメラ制御を実行することもできる。
【００４８】
画像処理部５３は、入力画像に対して特定画像処理を行うことにより出力画像（即ち、特定画像処理後の入力画像）を生成する。撮影制御部５２にて設定される撮影モードによっては、特定画像処理が何らなされないこともあり、この場合には、出力画像は入力画像そのものとなる。
【００４９】
説明の具体化のため、上記登録シーンの種類がＮ種類存在するものとする（Ｎは２以上の整数）。即ち、上記複数の登録シーンの個数がＮ個であるとする。そして、Ｎ種類の登録シーンを第１〜第Ｎの登録シーンと呼ぶ。また、シーン判定部５１による判定シーンが第ｉの登録シーンであるときに、撮影制御部５２により設定される撮影モードを第ｉの撮影モードと呼ぶ（ｉは整数）。
【００５０】
第１〜第Ｎの撮影モードに関し、第ｉの撮影モードによって規定される撮影条件と、第ｊの撮影モードによって規定される撮影条件は互いに異なる。これは、通常、互いに異なる任意の整数ｉ及びｊに対して成立するが（但し、ｉ≦Ｎ且つｊ≦Ｎ）、第１〜第Ｎの撮影モードに含まれるＮA個の撮影モードの撮影条件は互いに同じでありうる。ＮAはＮ未満且つ２以上の整数である。例えば、Ｎ＝１０のとき、第１〜第９の撮影モードについての撮影条件は互いに異なるが、第９及び第１０の撮影モードについての撮影条件は互いに同じである、といった場合もある（この場合、ＮA＝２）。
【００５１】
被写体距離情報生成部５５（以下、生成部５５と略記することがある）は、撮像部１１の撮影範囲内に収まっている各被写体の被写体距離を検出することで、入力画像上の各位置における被写体の被写体距離を表す被写体距離情報を生成する。或る被写体についての被写体距離とは、その被写体と撮像装置１（より具体的には撮像素子３３）との間における実空間上の距離を指す。尚、本明細書において、“距離が大きい”という表現と“距離が長い”という表現は同義であり、“距離が小さい”という表現と“距離が短い”という表現は同義である。被写体距離情報は、自身を形成する各画素値が被写体距離の測定値を持つ距離画像である。被写体距離の検出方法及び被写体距離情報の生成方法として、公知の方法（例えば、特開２００９−２７２７９９号公報に記載の方法）を含む任意の方法を利用可能である。
【００５２】
入力画像の画像データから被写体距離情報を生成するようにしても良いし、入力画像の画像データ以外の情報から被写体距離情報を生成するようにしても良い。例えば、入力画像上の各位置における被写体の被写体距離を測定する測距センサ（不図示）を用いて被写体距離情報を生成することができる。測距センサとして、三角測量法に基づく測距センサ等、公知の任意の測距センサを用いることができる。或いは例えば、複眼カメラを用いて上記距離画像を生成するようにしても良い。或いは例えば、コントラスト検出法を利用するようにしても良い。この場合、例えば、フォーカスレンズ３１の位置を所定量ずつ移動させながら順次ＡＦＥ１２より画像データを取得し、取得した画像データの空間周波数成分における高域周波数成分から上記距離画像を生成することができる。
【００５３】
或いは例えば、ＲＡＷデータに被写体距離を表す情報が含まれるように撮像部１１を形成しておき、ＲＡＷデータから被写体距離情報を生成するようにしても良い。これを実現するために、例えば“Light Field Photography”と呼ばれる方法（例えば、国際公開第０６／０３９４８６号パンフレット又は特開２００９−２２４９８２号公報に記載の方法；以下、Light Field法と呼ぶ）を用いても良い。Light Field法では、開口絞りを有する撮像レンズとマイクロレンズアレイを用いることで、撮像素子から得られる画像信号が、撮像素子の受光面における光の強度分布に加えて光の進行方向の情報をも含むようになっている。従って、図２には表れていないが、Light Field法を用いる場合には、Light Field法の実現に必要な光学部材が撮像部１１に設けられる。この光学部材には、マイクロレンズアレイ等が含まれ、被写体からの入射光はマイクロレンズアレイ等を介して撮像素子３３の受光面（換言すれば撮像面）に入射する。マイクロレンズアレイは複数のマイクロレンズから成り、撮像素子３３上の１又は複数の受光画素に対して１つのマイクロレンズを割り当てられる。これによって、撮像素子３３の出力信号が、撮像素子３３の受光面における光の強度分布に加えて、撮像素子３３への入射光の進行方向の情報をも含むようになる。
【００５４】
撮像装置１は、被写体距離情報を利用して特徴的な撮影動作を行うことができる。図５を参照して、この撮影動作を説明する。図５は、撮像装置１の撮影動作の手順を表すフローチャートである。
【００５５】
まず、ステップＳ１１において、撮像装置１は、ユーザによる撮影指示の入力を待機し、撮影指示があった場合にステップＳ１２以降の処理を実行する。撮影指示は、例えば、ユーザによるシャッタボタン２０を押すボタン操作又は所定のタッチパネル操作である。撮影指示は、目標画像の撮影及び生成の指示に相当する。
【００５６】
ステップＳ１２において、撮影制御部５２は、撮像装置１のフォーカス状態及び露光状態等を最適化するためのカメラ制御を実行する。例えば、撮像素子３３上の特定領域に結像している被写体にピントが合うようにフォーカスレンズ３１の位置を調整すると共に、入力画像の明るさが最適化されるように絞り値やＡＦＥ１２における信号増幅度を調整する。この際、撮像部１１の撮影範囲内における主要被写体に注目してカメラ制御を成すこともできる。即ち、ステップＳ１２のカメラ制御において、主要被写体にピントが合うように且つ入力画像上における主要被写体の像の明るさが最適化されるように、フォーカスレンズ３１の位置及び絞り値等を調整するようにしても良い。ユーザは、タッチパネル操作等を利用して主要被写体を指定することもできる。
【００５７】
続くステップＳ１３において、被写体距離情報生成部５５は、現時点の各被写体の被写体距離を検出することで被写体距離情報を生成する。次に、ステップＳ１４において、主制御部１３は、最新の入力画像である現時点の入力画像を判定対象画像に設定し、ステップＳ１３にて得られた被写体距離情報に基づき判定対象画像に対して領域分割処理を実行する。領域分割処理は、シーン判定部５１にて行われても良いし、主制御部１３に設けられた領域分割部（不図示）にて行われても良い。領域分割処理によって、判定対象画像の全体画像領域が被写体距離情報に基づき複数の分割画像領域に分割される。領域分割処理では、類似した特徴量を持ち且つ空間的に近接した画素の集合が１つのまとまりを形成するように、判定対象画像の全体画像領域を分割する。この集合の形成及び画像領域の分割に、公知の領域統合法（region unification method）等を用いることができる。被写体距離情報に基づく領域分割処理では、被写体距離を特徴量として用いる。
【００５８】
図６に示す如く判定対象画像を符号３００によって表し、図７（ａ）等を参照して判定対象画像３００に対する領域分割処理の具体例を説明する。図６において、符号３５０は、撮影指示に従って得られるべき目標画像を表している。図７（ａ）に示す判定対象画像３００は、前景側に位置する花３１１と背景側に位置する山３１２及び草原３１３を被写体として撮影範囲に収めた状態で撮影された画像である。当然ではあるが、任意の画像において、前景側に位置する被写体の被写体距離は、背景側に位置する被写体のそれよりも短い。従って、判定対象画像３００において、花３１１の被写体距離は山３１２及び草原３１３の被写体距離よりも短い。
【００５９】
判定対象画像３００にとっての被写体距離情報を表す距離画像３２０を、図７（ｂ）に示す。任意の距離画像はグレースケール画像である。距離画像において、各画素は、対応する被写体距離が小さいほどゼロに近い画素値を有し、対応する被写体距離が大きいほど大きな画素値を有するものとする。更に、距離画像を示す図面においては、画素値の比較的小さい部分（即ち被写体距離が比較的小さい部分）は比較的黒く示され、画素値の比較的大きい部分（即ち被写体距離が比較的大きい部分）は比較的白く示されている。判定対象画像３００に対応する距離画像３２０では、花３１１の画像データが存在する部分が比較的黒く図示され、山３１２及び草原３１３の画像データが存在する部分が比較的白く図示される。実際には、判定対象画像内の各被写体は様々な被写体距離をとりうるが、今、説明の簡略化上、距離画像３２０には画素値ＰＶA及びＰＶBしか含まれておらず、これによって距離画像３２０の全体画像領域が、図７（ｂ）の黒部分に対応する画像領域３２１と図７（ｂ）の白部分に対応する画像領域３２２とに分かれていることを想定する。画像領域３２１内の各画素の画素値は全てＰＶAであり、画像領域３２２内の各画素の画素値は全てＰＶBである場合を考える。ここで、０≦ＰＶA＜ＰＶBである。
【００６０】
ステップＳ１４では、距離画像３２０に基づき判定対象画像３００が領域分割され、これによって判定対象画像３００の全体画像領域が複数の分割画像領域に分割される。本例では、距離画像３２０の全体画像領域が２つの画像領域３２１及び３２２に分割されているため、図７（ｃ）に示す如く判定対象画像３００の全体画像領域も２つの分割画像領域３０１及び３２２に分割される。分割画像領域３０１は、画像領域３２１に対応する、花３１１の画像データが存在する画像領域であって、分割画像領域３０２は、画像領域３２２に対応する、山３１２及び草原３１３の画像データが存在する画像領域である。図７（ｃ）の斜線領域が分割画像領域３０２に相当する。尚、判定対象画像３００において、実際には花３１１の根元の左右側に位置する草原部分の被写体距離は比較的小さいことが想定され、結果、その草原部分も分割画像領域３０２に含まれうるが、本例では、説明の簡略化上、その草原部分も分割画像領域３０１に含まれているものとする。
【００６１】
図５を再度参照する。ステップＳ１４における領域分割処理が終了すると、ステップＳ１５において、主制御部１３は、ステップＳ１４の領域分割処理によって得られる分割画像領域の個数（以下、領域分割数という）が２以上であるか否かを判断する。領域分割数が２以上である場合、即ち、判定対象画像３００の全体画像領域が複数の分割画像領域に分割された場合には、以後ステップＳ１６〜Ｓ１８の処理が実行され、その分割が成されていない場合には、以後ステップＳ１９〜Ｓ２１の処理が実行される。図７（ａ）、（ｂ）及び（ｃ）の例の如く、判定対象画像３００に分割画像領域３０１及び３０２が設定された場合、ステップＳ１６〜Ｓ１８の処理が実行される。
【００６２】
ステップＳ１６において、シーン判定部５１は、判定対象画像の分割画像領域ごとにシーン判定処理を実行する。各シーン判定処理の結果は、表示制御部５４による制御の下、判定対象画像と共に表示部１５に表示される。判定対象画像が図７（ｃ）の判定対象画像３００である場合、シーン判定部５１は、分割画像領域３０１及び３０２の夫々に対してシーン判定処理を実行する。具体的には、分割画像領域３０１をシーン判定領域に設定した上で分割画像領域３０１の画像データに基づきシーン判定領域内の画像のシーン判定を行う（即ち、分割画像領域３０１をシーン判定領域に設定した上で上述の判定シーンを決定する）。これとは別に、分割画像領域３０２をシーン判定領域に設定した上で分割画像領域３０２の画像データに基づきシーン判定領域内の画像のシーン判定を行う（即ち、分割画像領域３０２をシーン判定領域に設定した上で上述の判定シーンを決定する）。
【００６３】
今、分割画像領域３０１に対するシーン判定処理によって決定された判定シーンが花シーンであって、且つ、分割画像領域３０２に対するシーン判定処理によって決定された判定シーンが風景シーンであるとする。そうすると、ステップＳ１６において、分割画像領域３０１及び３０２に対する判定シーンの内容をユーザに知らせる表示が行われる。例えば、図８（ａ）に示す如く判定対象画像３００が指標３３１と共に表示部１５に表示される。図８（ａ）を含む表示部１５の様子を示す図において、ドットで満たされた領域は表示部１５の筐体部分を表している。指標３３１には、花シーン及び風景シーンに対応する文言“花、風景”が記されている。文言ではなく、図形等によって“花”又は“風景”を表現するようにしてもよい（後述の指標３３２及び３３３も同様）。或いは例えば、図８（ｂ）に示す如く判定対象画像３００を指標３３２及び３３３と共に表示部１５に表示するようにしても良い。指標３３２及び３３３には、夫々、花シーン及び風景シーンに対応する文言“花”及び文言“風景”が記されている。指標３３２を分割画像領域３０１内又は分割画像領域３０１の近傍に配置すると良く、指標３３３を分割画像領域３０２内又は分割画像領域３０２の近傍に配置すると良い。更に、図８（ｂ）に示す如く、分割画像領域３０１及び３０２間の境界線３３４を判定対象画像３００に重畳表示するようにしても良い（境界線３３４の表示は必須ではない）。
【００６４】
ステップＳ１７において、撮影制御部５２は、ステップＳ１６におけるシーン判定処理の結果に基づいて分割画像領域ごとに撮影モードを設定する。但し、分割画像領域ごとに設定される撮影モードは、画像処理部５３における特定画像処理の内容のみを規定する。従って、以下では、ステップＳ１７において分割画像領域ごとに設定されるものは、特定画像処理の内容を規定する画像処理パラメータであると考える。
【００６５】
一方で、判定対象画像の全体画像領域又は判定対象画像の何れかの分割画像領域をシーン判定領域に設定した上でシーン判定処理が成され、そのシーン判定処理の結果に基づき、撮影制御部５２により画像処理パラメータ以外の撮影条件が設定される。ステップＳ１８において、その設定された撮影条件（画像処理パラメータ以外の撮影条件）にて１枚の入力画像を対象入力画像として撮影する。この対象入力画像に対して上記画像処理パラメータに従った特定画像処理を施すことで目標画像の画像データが生成される。
【００６６】
例えば、対象入力画像が図９の画像３４０である場合を考える。また、分割画像領域３０１に対して設定された画像処理パラメータに従う特定画像処理を第１特定画像処理と呼び、分割画像領域３０２に対して設定された画像処理パラメータに従う特定画像処理を第２特定画像処理と呼ぶ。この場合、画像処理部５３は、判定対象画像３００に設定した分割画像領域３０１及び３０２と同じ位置及び大きさを持つ分割画像領域３４１及び３４２を対象入力画像３４０に設定する。図９において、斜線領域が分割画像領域３４２に相当し、非斜線領域が分割画像領域３４１に相当する。そして、画像処理部５３は、対象入力画像３４０の分割画像領域３４１の画像データに対して第１特定画像処理を行い、第１特定画像処理後の画像データを目標画像３５０の分割画像領域３４１内の画像データとして出力する。同様に、対象入力画像３４０の分割画像領域３４２の画像データに対して第２特定画像処理を行い、第２特定画像処理後の画像データを目標画像３５０の分割画像領域３４２内の画像データとして出力する。目標画像３５０の分割画像領域３４１内の画像データと目標画像３５０の分割画像領域３４２内の画像データを合成することで、目標画像３５０の全体画像領域の画像データが生成される。
【００６７】
複数の分割画像領域間で判定シーンが互いに異なれば、基本的に、その複数の分割画像領域に設定される画像処理パラメータは互いに異なり、複数の分割画像領域に設定される画像処理パラメータが互いに異なれば、各分割画像領域に成される特定画像処理の内容は該複数の分割画像領域間で互いに異なる。上述の例の場合、花シーンに対応する第１特定画像処理と風景シーンに対応する第２特定画像処理は互いに異なる。具体的には、花シーンに対応する第１特定画像処理には彩度向上処理を含め、風景シーンに対応する第２特定画像処理には彩度向上処理を含めないといったことが可能である。彩度向上処理は、特定画像処理の対象となる画像領域内の画像の彩度を高める処理である。また例えば、第１及び第２特定画像処理の双方にノイズ低減処理及び色補正処理を含めつつ、ノイズ低減処理によるノイズ低減の強度又は色補正処理による色の補正内容を第１及び第２特定画像処理間で異ならせるといったことも可能である。何れにせよ、分割画像領域ごとのシーン判定処理の結果に基づき、分割画像領域ごとに最適な特定画像処理が実行されて目標画像が生成される。ステップＳ１８にて得られた目標画像は表示部１５に表示されると共に該目標画像の画像データは記録媒体１６に記録される。
【００６８】
ステップＳ１５において、十分に被写体距離の大きい風景しか撮影範囲に含まれていない場合など、判定対象画像における全被写体の被写体距離が同程度である場合には、複数の分割画像領域が得られず、結果、ステップＳ１９〜Ｓ２１の処理が実行される。ステップＳ１９〜Ｓ２１では、一般的なシーン判定処理を介して目標画像の撮影が成される。即ち、ステップＳ１９では、判定対象画像の全体画像領域又は一部領域をシーン判定領域に設定した上でシーン判定処理が成され、続くステップＳ２０では、そのシーン判定処理の結果に基づき、撮影制御部５２により撮影モードが設定される。この際、ステップＳ１２のカメラ制御において注目された主要被写体を含む画像領域をシーン判定領域に設定するようにしても良い。ステップＳ２０における撮影モードの設定によって、特定画像処理の内容を含む撮影条件が全て設定される。続くステップＳ２１では、ステップＳ２０にて設定された撮影条件にて１枚の入力画像を対象入力画像として撮影し、対象入力画像に対して特定画像処理（ステップＳ２０にて設定された特定画像処理）を施すことで目標画像の画像データが生成される。ステップＳ１８と同様、ステップＳ２１にて得られた目標画像も表示部１５に表示されると共に記録媒体１６に記録される。
【００６９】
尚、上述の例では、説明の簡略化上、距離画像３２０の画像領域３２１内の画素値が全てＰAであると述べたが、画像領域３２１内にＰA以外の画素値が含まれていても良い。画像領域３２２についても同様である。この場合、画像領域３２１内の各画素値は画素値ＰAを基準として或る数値範囲内に収まっていると共に画像領域３２２内の各画素値は画素値ＰBを基準として或る数値範囲内に収まっている（前者の数値範囲と後者の数値範囲は互いに異なる）。この際、画像領域３２１と画像領域３２２との切り分けに公知の領域統合法（region unification method）等を用いることができる。
【００７０】
また、シーン判定部５１にて生成されるシーン判定情報には、各シーン判定領域に対する判定シーンを表す情報が含まれ、シーン判定部５１にて生成される判定領域情報には、各シーン判定領域の位置及び大きさを表す情報が含まれている。このシーン判定情報及び判定領域情報を目標画像の画像データと共に、或いは、シーン判定情報及び判定領域情報に加えて被写体距離情報を目標画像の画像データと共に記録媒体１６に記録しておくことができる。目標画像を取得する過程で生成されるシーン判定情報、判定領域情報及び被写体距離情報は、判定対象画像に対する情報であると共に目標画像に対する情報でもある。
【００７１】
また、領域分割数が２である場合の例を上述したが、領域分割数は３以上になりうる。例えば、距離画像３２０に互いに画素値ＰＶA、ＰＶB及びＰＶCか含まれている場合、距離画像３２０の全体画像領域が、画素値ＰＶAを持つ画素の集合から成る画像領域３２１ａと、画素値ＰＶBを持つ画素の集合から成る画像領域３２２ａと、画素値ＰＶCを持つ画素の集合から成る画像領域３２３ａと、に分割されうる（画像領域３２１ａ〜３２３ａについては図示せず）。このような分割が成された場合、判定対象画像３００の全体画像領域は、３つの分割画像領域、即ち、画像領域３２１ａに対応する分割画像領域３２１ｂ、画像領域３２２ａに対応する分割画像領域３２２ｂ及び画像領域３２３ａに対応する分割画像領域３２３ｂに分割される（画像領域３２１ｂ〜３２３ｂも図示せず）。
【００７２】
領域分割数がＭA個である場合にも、ＭA個の分割画像領域の夫々をシーン判定領域として設定するようにしても良い（ＭAは３以上に整数）。この場合、ＭA個の分割画像領域の夫々に対して、シーン判定処理、シーン判定処理の結果表示、撮影モード設定（画像パラメータ設定）及び特定画像処理が実行されることになる。但し、領域分割数がＭA個である場合、ＭA個の分割画像領域の中からＭB個の分割画像領域を選択し、ＭB個の分割画像領域のみをシーン判定領域として設定するようにしても良い。ＭBは２以上の整数であって、ＭA＞ＭBである。各分割画像領域の位置及び大きさや、各分割画像領域内の被写体の被写体距離、各分割画像領域内の被写体の種類など、様々な指標に基づいて上記選択を成すことが可能である。
【００７３】
単純な例として例えば、判定対象画像３００の全体画像領域が上記分割画像領域３２１ｂ〜３２３ｂに分割された場合において、分割画像領域３２３ｂの大きさが画像領域３２１ｂ及び３２２ｂの大きさよりも十分に小さい場合、画像領域分割画像領域３２１ｂ及び３２２ｂのみをシーン判定領域として設定するようにしても良い。或いは例えば、判定対象画像３００上における分割画像領域３２１ｂ、３２２ｂ及び３２３ｂの中心位置と判定対象画像３００の中心との空間距離を求め、分割画像領域３２３ｂに対して求められた空間距離が分割画像領域３２１ｂ及び３２２ｂのそれらよりも長い場合、画像領域分割画像領域３２１ｂ及び３２２ｂのみをシーン判定領域として設定するようにしても良い。
【００７４】
上述の如く、本実施形態では、分割画像領域ごとにシーン判定（シーン判定処理）が行われる。分割画像領域を得るための領域分割処理は被写体距離情報に基づいて行われるため、例えば、前景側の被写体に注目したシーン判定と背景側の被写体に注目したシーン判定を個別に行うといったことが可能となる。そして、個別に実行されたシーン判定の結果を用いて目標画像の画像データの生成を行うため、例えば、前景側の被写体及び背景側の被写体の画像データを個別に最適化することも可能となる。
【００７５】
＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２及び後述の他の実施形態は第１実施形態を基礎とした実施形態であり、第２実施形態及び後述の各実施形態において特に述べない事項に関しては、矛盾なき限り、第１実施形態の記載が第２実施形態及び後述の各実施形態にも適用される。
【００７６】
まず、記録媒体１６に保存される画像ファイルの構造を説明する。撮像装置１では、任意の画像の画像データを、画像ファイルに格納した上で記録媒体１６に記録することができる。図１０（ａ）に、１つの画像ファイルＦＬの構造を示す。１つの静止画像又は動画像に対して１つの画像ファイルＦＬを作成することができる。画像ファイルＦＬの構造を任意の規格に準拠させることができる。画像ファイルＦＬは、記録対象画像の画像データそのもの或いはその圧縮データが格納されるべき本体領域と、付加データが格納されるべきヘッダ領域と、からなる。共通の画像ファイルＦＬにおける本体領域内の画像データとヘッダ領域内の付加データは互いに関連付けられている。第２実施形態では、記録対象画像が第１実施形態で述べた目標画像であることを想定する。
【００７７】
図１０（ｂ）に示す如く、記録対象画像に対する付加データには、被写体距離情報、シーン判定情報及び判定領域情報が含まれ（図３参照）、この他、任意のデータ（記録対象画像の撮影日時、サムネイル等）が含まれうる。記録対象画像が目標画像３５０である場合、記録対象画像の付加データにおける被写体距離情報、シーン判定情報及び判定領域情報は、目標画像３５０に対して生成された被写体距離情報、シーン判定情報及び判定領域情報であり、それらは、判定対象画像３００に対して生成された被写体距離情報、シーン判定情報及び判定領域情報でもある（図６及び図９等参照）。
【００７８】
第２実施形態では、撮像装置１による基準画像の類似画像の検索動作を説明する。この検索動作は、主制御部１３に内包される検索処理部６０を用いて実現される（図１１参照）。基準画像を符号ＩREFによって参照する。基準画像ＩREFは任意の画像であるが、ここでは、説明の具体化のため、記録対象画像の１つである目標画像３５０（図９参照）が基準画像ＩREFである場合を例にとる。基準画像ＩREF以外の、記録媒体１６に記録された各記録対象画像が非基準画像として機能する。非基準画像を被検索画像と呼ぶこともできる。図１２に示す如く、非基準画像はＱ枚存在するものとし（Ｑは２以上の整数）、第１〜第Ｑの非基準画像を夫々符号Ｉ［１］〜Ｉ［Ｑ］によって参照すると共に、非基準画像Ｉ［１］〜Ｉ［Ｑ］の画像データを格納した画像ファイルＦＬを夫々符号ＦＬ［１］〜ＦＬ［Ｑ］によって参照する。非基準画像Ｉ［１］〜Ｉ［Ｑ］の夫々も、第１実施形態で述べた方法に従って得られた目標画像（但し、目標画像３５０とは異なる）であるとする。従って、画像ファイルＦＬ［ｉ］のヘッダ領域には、非基準画像Ｉ［ｉ］に対して生成された被写体距離情報、シーン判定情報及び判定領域情報が保存されている（ｉは整数）。また、基準画像ＩREFの画像データを格納した画像ファイルＦＬを符号ＦＬREFによって参照する。
【００７９】
図１３は、第２実施形態に係る撮像装置１の検索動作のフローチャートである。図１４（ａ）は、図１３のフローチャートに対応し、表示部１５の表示内容の時間変化等を示す図である。図１４（ｂ）も同様である。
【００８０】
まず、ユーザが記録媒体１６に保存されている複数の記録対象画像の中から１つの記録対象画像を所定のタッチパネル操作又はボタン操作で選択すると、選択された記録対象画像が基準画像ＩREFに設定され、ステップＳ３１において基準画像ＩREFが表示部１５に表示される。基準画像ＩREFが設定されると、ステップＳ３２において基準画像ＩREFの被写体距離情報が取得される。画像ファイルＦＬREFから基準画像ＩREFの被写体距離情報を読み出すことで、それを取得することができる。更にステップＳ３３において基準画像ＩREFの被写体距離情報に基づき基準画像ＩREFに対する領域分割処理が実行される。被写体距離情報に基づく基準画像ＩREFに対する領域分割処理は、第１実施形態で述べた、被写体距離情報に基づく判定対象画像に対する領域分割処理と同様である。ステップＳ３３において、被写体距離情報に基づき実際に領域分割処理を行うことも可能である。しかしながら、画像ファイルＦＬREFの判定領域情報に基準画像ＩREFに対する領域分割処理の結果が含まれているため、画像ファイルＦＬREFの判定領域情報を読み出せば、実際に領域分割処理を行った場合と同様の結果を得ることができる。
【００８１】
ステップＳ３２及びＳ３３の処理によって、基準画像ＩREFの全体画像領域が、図７（ｃ）の分割画像領域３０１及び３０２と同じ位置及び大きさを持つ、分割画像領域４０１及び４０２に分割されることになる（図１５参照）。図１５において、斜線領域が分割画像領域４０２に相当し、非斜線領域が分割画像領域４０１に相当する。分割画像領域４０１には花３１１の画像データが存在し、分割画像領域４０２には山３１２及び草原３１３の画像データが存在している（図７（ａ）も参照）。
【００８２】
この後、ステップＳ３４において、撮像装置１はユーザによる検索用指定操作を受け付ける。続くステップＳ３５において、検索処理部６０は、検索用指定操作の内容に基づき検索基準領域を設定する。検索用指定操作をボタン操作によって実現しても良いが、ここでは、検索用指定操作がタッチパネル操作にて実現されるものとする。
【００８３】
ユーザによる検索用指定操作は、例えば、基準画像ＩREFを表示している表示画面上の特定点を指にて触れるタッチパネル操作である。この場合、検索処理部６０は、基準画像ＩREFに設定された複数の分割画像領域の中から、特定点を内包する分割画像領域を検索基準領域に設定する。従って例えば、図１４（ａ）に対応する例に如く、指定された特定点が基準画像ＩREFにおける分割画像領域４０１内の点である場合には（図１５も参照）、ステップＳ３５において分割画像領域４０１が検索基準領域に設定され、図１４（ｂ）に対応する例に如く、指定された特定点が基準画像ＩREFにおける分割画像領域４０２内の点である場合には（図１５も参照）、ステップＳ３５において分割画像領域４０２が検索基準領域に設定される。
或いは例えば、表示画面と指との接触状態を保ちつつ指にて検索基準領域に設定されるべき領域を囲むタッチパネル操作が、検索用指定操作であっても良い。この場合例えば、タッチパネル操作で囲まれた領域の全部又は大半が分割画像領域４０１に内包されるとき或いはタッチパネル操作で囲まれた領域が分割画像領域４０１の全部又は大半を内包するとき、分割画像領域４０１を検索基準領域に設定すれば良い。
このように、検索用指定操作は、基準画像ＩREFに設定された複数の分割画像領域の中から検索基準領域を選択する選択指示として機能する。
【００８４】
また、検索用指定操作を受け付けている期間中、図１６に示す如く、基準画像ＩREFを表示させつつ、基準画像ＩREFの分割画像領域ごとに基準画像ＩREFの分割画像領域の画像特徴に応じた指標を表示するようにしても良い。これによって、ユーザによる検索用指定操作が支援され、所望の検索条件を指定しやすくなる。今、基準画像ＩREFが目標画像３５０である場合を想定しているため、分割画像領域４０１及び４０２に対応する判定シーンは夫々“花シーン”及び“風景シーン”である。従って、図１６の例では、図８（ｂ）と同様、検索用指定操作を受け付けている期間中において、基準画像ＩREFが指標３３２及び３３３と共に表示部１５に表示される。指標３３２は、基準画像ＩREFの分割画像領域４０１の画像特徴に応じた指標であり、指標３３３は、基準画像ＩREFの分割画像領域４０２の画像特徴に応じた指標である。指標３３２を分割画像領域４０１内又は分割画像領域４０１の近傍に配置すると良く、指標３３３を分割画像領域４０２内又は分割画像領域４０２の近傍に配置すると良い（図１５も参照）。更に、分割画像領域４０１及び４０２間の境界線３３４を基準画像ＩREFに重畳表示するようにしても良い。指標３３２、３３３及び境界線３３４の形成及び表示を、画像ファイルＦＬREF内のシーン判定情報及び判定領域情報を用いて成すことができる。
【００８５】
検索基準領域の設定後、ステップＳ３６において、検索処理部６０は、検索条件に適合する非基準画像を非基準画像Ｉ［１］〜Ｉ［Ｑ］から検索する。検索条件に適合する非基準画像とは、検索基準領域内の画像特徴に類似する画像特徴を有する非基準画像である。検索基準領域の設定後に、非基準画像Ｉ［１］〜Ｉ［Ｑ］の夫々の画像特徴を解析し、その解析結果に基づいて検索基準領域内の画像特徴に類似する画像特徴を有する非基準画像を検索することも可能である。しかしながら、非基準画像の枚数（即ちＱの値）が大きい場合において、検索基準領域の設定後に、このような解析を行ったならば検索結果が得られるまでの時間が相当に長くなる。そこで、ステップＳ３６における検索を、画像ファイルＦＬ［１］〜ＦＬ［Ｑ］の付加データに基づいて行うようにすると良い。
【００８６】
例えば、“花シーン”に対応する分割画像領域４０１が検索基準領域として設定されている場合、画像ファイルＦＬ［１］〜ＦＬ［Ｑ］に対する計Ｑ個のシーン判定情報の中から、“花シーン”の判定シーンを内包するシーン判定情報を抽出し、抽出したシーン判定情報に対応する非基準画像が検索条件に適合する非基準画像であると判断すると良い。この場合において、画像ファイルＦＬ［１］〜ＦＬ［Ｑ］の内、画像ファイルＦＬ［１］及びＦＬ［２］に対するシーン判定情報にのみ、“花シーン”の判定シーンが内包されているならば、非基準画像Ｉ［１］及びＩ［２］のみが検索条件に適合する非基準画像として検出される。分割画像領域４０２が検索基準領域として設定されている場合も同様である。即ち、“風景シーン”に対応する分割画像領域４０２が検索基準領域として設定されている場合、画像ファイルＦＬ［１］〜ＦＬ［Ｑ］に対する計Ｑ個のシーン判定情報の中から、“風景シーン”の判定シーンを内包するシーン判定情報を抽出し、抽出したシーン判定情報に対応する非基準画像が検索条件に適合する非基準画像であると判断すると良い。
【００８７】
尚、検索条件に適合する非基準画像の検索期間中において、検索条件の内容をユーザに通知するようにしても良い。通知の方法は任意であり、人間の五感（視覚、聴覚等）に訴える任意の方法を採用可能である。例えば、“花シーン”に対応する分割画像領域４０１が検索基準領域として設定されている場合、花を撮影した画像を検索している旨を表示部１５に表示し、“風景シーン”に対応する分割画像領域４０２が検索基準領域として設定されている場合、風景を撮影した画像を検索している旨を表示部１５に表示すると良い。また、上述の例では、画像ファイルＦＬ［ｉ］にシーン判定情報が予め格納されていることを想定しているが、画像ファイルＦＬ［ｉ］にシーン判定情報が格納されてない場合には、ステップＳ３６において、非基準画像Ｉ［ｉ］の画像データに基づき非基準画像Ｉ［ｉ］の各シーン判定領域に対してシーン判定を行い、これによって非基準画像Ｉ［ｉ］に対するシーン判定情報を生成するようにしても良い。
【００８８】
ステップＳ３６の検索が終了すると、ステップＳ３７において、検索処理部６０は、ステップＳ３６の検索の結果を表示部１５に表示させる（図１４（ａ）又は図１４（ｂ）参照）。ユーザが、検索条件に適合する非基準画像の情報を認識できる限り、この表示の方法は任意である。例えば、検索条件に適合する非基準画像そのもの、検索条件に適合する非基準画像のサムネイル、又は、検索条件に適合する非基準画像のファイル名を表示部１５に表示させると良い。検索条件に適合する非基準画像が複数枚存在する場合において、検索条件に適合する非基準画像の全て又は検索条件に適合する非基準画像のサムネイルの全てを同時に表示できない場合には、スライドショーの如く、それらを複数回に分けて表示するようにしても良い。尚、検索条件に適合する非基準画像が１枚も存在しない場合には、その旨をユーザに通知すれば良い。
【００８９】
前景側の被写体に注目した画像検索を行わせたいとき、前景側の被写体が検索基準領域に対応するようにユーザは検索用指定操作を成せばよく、逆に、背景側の被写体に注目した画像検索を行わせたいとき、背景側の被写体が検索基準領域に対応するようにユーザは検索用指定操作を成せばよい。このように、第２実施形態によれば、前景と背景を区別したような画像検索を実行することが可能となる。
【００９０】
以下、第２実施形態に適用可能な応用検索方法を幾つか説明する。以下に示す複数の応用検索方法を組み合わせて実施することも可能である。
［第１応用検索方法］
第１応用検索方法を説明する。上述の説明では、画像特徴に基づいて各非基準画像が検索条件に適合しているか否かが判断されることになるが、更に基準画像ＩREFの被写体距離情報及び各非基準画像Ｉ［ｉ］の被写体距離情報を用いて、この判断を行うようにしても良い。説明の具体化のため、図１５の分割画像領域４０１が検索基準領域に設定されたことを想定して、この方法を詳説する。
【００９１】
上述したように、検索基準領域としての分割画像領域４０１には花３１１の画像データが存在しており、結果、分割画像領域４０１に対応する判定シーンは“花シーン”である。この場合、検索処理部６０は、画像ファイルＦＬ［１］〜ＦＬ［Ｑ］に対する計Ｑ個のシーン判定情報の中から、“花シーン”の判定シーンを内包するシーン判定情報を抽出する。ここで抽出したシーン判定情報に対応する非基準画像は、検索条件に適合する非基準画像の候補として取り扱われる。今、非基準画像Ｉ［１］及びＩ［２］のみが検索条件に適合する非基準画像の候補として取り扱われたとする。
【００９２】
上述したように、基準画像ＩREFにおいて、検索基準領域内の被写体である花３１１は前景側の被写体である。そして、今、非基準画像Ｉ［１］において“花シーン”の判定シーンに対応するシーン判定領域内の被写体が前景側の被写体であって、且つ、非基準画像Ｉ［２］において“花シーン”の判定シーンに対応するシーン判定領域内の被写体が背景側の被写体であったとする。この場合、検索条件に適合する非基準画像の候補の内、“花シーン”に対する被写体（即ち花）を前景側の被写体として持つ非基準画像のみを、即ち非基準画像Ｉ［１］のみを、検索条件に適合する非基準画像として検出するようにする。この方法によれば、前景側に「花」が位置している非基準画像を検索する、或いは、背景側に「花」が位置している非基準画像を検索する、といった高度な検索が可能となる。
【００９３】
基準画像ＩREFの被写体距離情報から基準画像ＩREF上の任意の被写体が前景側及び背景側のどちらの被写体であるかを判断することができ、非基準画像Ｉ［ｉ］の被写体距離情報から非基準画像Ｉ［ｉ］上の任意の被写体が前景側及び背景側のどちらの被写体であるかを判断することができる。単純には例えば、任意の注目画像に２種類の被写体が含まれている場合、被写体距離の短い方の被写体を前景側の被写体と捉えることができると共に被写体距離の長い方の被写体を背景側の被写体と捉えることができる。また例えば、
任意の注目画像において、注目画像の全被写体の被写体距離の平均を求め、該平均よりも短い被写体距離を有する被写体を前景側の被写体と捉えることができ、該平均よりも長い被写体距離を有する被写体を背景側の被写体と捉えることができる。
【００９４】
［第２応用検索方法］
第２応用検索方法を説明する。上述の説明では、基準画像ＩREFに対して検索基準領域が１つだけ設定されているが、ユーザは、検索用指定操作により基準画像ＩREFに対して複数の検索基準領域を設定することもできる。例えば、基準画像ＩREFの全体画像領域が第１〜第５分割画像領域に分割され且つ各分割画像領域に対して判定シーンが求められている場合において、ユーザの検索用指定操作により、第１及び第２分割画像領域が検索基準領域に設定された場合を考える。
【００９５】
この場合、検索処理部６０は、非基準画像Ｉ［ｉ］のシーン判定情報が以下の第１及び第２条件を満たすか否かを判断する。
第１条件は、非基準画像Ｉ［ｉ］のシーン判定情報が、基準画像ＩREFの第１分割画像領域に対する判定シーンと同一の判定シーンを内包しているという条件である。
第２条件は、非基準画像Ｉ［ｉ］のシーン判定情報が、基準画像ＩREFの第２分割画像領域に対する判定シーンと同一の判定シーンを内包しているという条件である。
【００９６】
そして、検索処理部６０は、非基準画像Ｉ［ｉ］のシーン判定情報が上記第１及び第２条件の双方を満たしている場合にのみ、非基準画像Ｉ［ｉ］が検索条件に適合していると判断する。或いは、非基準画像Ｉ［ｉ］のシーン判定情報が上記第１及び第２条件の少なくとも一方を満たしている場合にのみ、非基準画像Ｉ［ｉ］が検索条件に適合していると判断するようにしても良い。
【００９７】
［第３応用検索方法］
第３応用検索方法を説明する。シーン判定情報に基づいて又はシーン判定情報及び被写体距離情報に基づいて検索条件に適合する非基準画像を検出した後、更に、画像解析等を用いて検索条件に適合する非基準画像を絞り込むようにしても良い。例えば、“花シーン”に対応する分割画像領域４０１が検索基準領域として設定されている場合において、画像ファイルＦＬ［１］及びＦＬ［２］に対するシーン判定情報に“花シーン”の判定シーンが内包されているとき、一旦、非基準画像Ｉ［１］及びＩ［２］を検索条件に適合する非基準画像の候補として検出する。その後、基準画像ＩREFの分割画像領域４０１内の画像データと非基準画像Ｉ［１］及びＩ［２］の画像データに基づき、基準画像ＩREFの分割画像領域４０１内の画像と非基準画像Ｉ［１］内の“花シーン”に対応する部分の画像との間の類似度、及び、基準画像ＩREFの分割画像領域４０１内の画像と非基準画像Ｉ［２］内の“花シーン”に対応する部分の画像との間の類似度を求め、前者の類似度が所定の基準類似度よりも高い場合に限って非基準画像Ｉ［１］は検索条件に適合する非基準画像であると判断するようにしても良く、同様に、後者の類似度が所定の基準類似度よりも高い場合に限って非基準画像Ｉ［２］は検索条件に適合する非基準画像であると判断するようにしても良い。これにより例えば、基準画像ＩREFの分割画像領域４０１内の花が“ひまわり”であるとき、“ひまわり”の花を撮影した非基準画像が検索条件に適合すると判断され、“あじさい”の花を撮影した非基準画像は検索条件に適合していないと判断される。
【００９８】
＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。第３実施形態は第１及び第２実施形態を基礎とした実施形態であり、第３実施形態において特に述べない事項に関しては、矛盾なき限り、第１及び第２実施形態の記載が第３実施形態にも適用される。第３実施形態においても、第２実施形態と同様、検索条件に適合する画像の検索動作を説明する。但し、第３実施形態に係る検索方法では、基準画像ＩREFが必要とならない。図１７を参照して、第３実施形態に係る検索動作を説明する。図１７は、この検索動作の手順を表すフローチャートである。
【００９９】
まず、ステップＳ５１において、撮像装置１は、ユーザによる検索条件の入力を受け付ける。ユーザは、タッチパネル操作又はボタン操作等を用いて検索条件を入力することができる。続くステップＳ５２において、検索処理部６０又は図示されない領域分割部は、記録媒体１６から各非基準画像の被写体距離情報を読み出し、各非基準画像の被写体距離情報に基づき各非基準画像に対する領域分割処理を実行する。これによって、被検索画像としての非基準画像Ｉ［ｉ］内に複数の分割画像領域が設定される。但し、非基準画像Ｉ［ｉ］に対する領域分割処理によって設定されるべき非基準画像Ｉ［ｉ］の各分割画像領域の位置及び大きさは、基本的に、非基準画像Ｉ［ｉ］の画像ファイルＦＬ［ｉ］の判定領域情報によって規定されている。従って、画像ファイルＦＬ［ｉ］から判定領域情報を読み出すことで、非基準画像Ｉ［ｉ］に対する領域分割処理を完了させることもできる。
【０１００】
その後、ステップＳ５３において、検索処理部６０は、非基準画像ごとに且つ分割画像領域ごとに検索条件の適合性を評価することで、各非基準画像が検索条件に適合しているのか否かを判断する。この判断を、各非基準画像のシーン判定情報を用いて行うことができる。最後にステップＳ５４において、検索処理部６０は、ステップＳ５３の検索の結果を表示部１５に表示させる。この表示の方法は、第２実施形態のステップＳ３７におけるそれと同様である。ユーザが、検索条件に適合する非基準画像の情報を認識できる限り、この表示の方法は任意である。
【０１０１】
具体例を挙げる。例えば、“撮影シーンが花シーンである非基準画像”、即ち例えば“花を被写体として含む非基準画像”又は“花に注目して撮影した非基準画像”をユーザが探している場合、ユーザは、その旨を表す文言を直接撮像装置１に入力する、或いは、予め設けられた複数の項目の中からその旨を表す項目を選択する。これによって、入力文言又は選択項目に応じた検索条件が設定される。検索条件の設定後、非基準画像Ｉ［１］〜Ｉ［Ｑ］の夫々の画像特徴を解析し、その解析結果に基づいて検索条件に適合する非基準画像を検索することも可能である。しかしながら、非基準画像の枚数（即ちＱの値）が大きい場合において、検索条件の設定後にこのような解析を行うと、検索結果が得られるまでの時間が相当に長くなる。
【０１０２】
そこで、記録媒体１６内の付加データを読み出し、非基準画像Ｉ［１］のシーン判定情報が“花シーン”を内包している場合（即ち、非基準画像Ｉ［１］の何れかの分割画像領域の判定シーンが“花シーン”である場合）には、非基準画像Ｉ［１］は検索条件に適合すると判断し、非基準画像Ｉ［１］のシーン判定情報が“花シーン”を内包していない場合には、非基準画像Ｉ［１］は検索条件に適合していないと判断すると良い。非基準画像Ｉ［２］〜Ｉ［Ｑ］についても同様である。
【０１０３】
尚、上述の第１応用検索方法の如く、検索条件に被写体距離に関する条件を付加するようにしても良い。この場合、各非基準画像Ｉ［ｉ］の被写体距離情報をも用いて、各非基準画像Ｉ［ｉ］に対する検索条件の適合／不適合が判断されるようになる。例えば、“撮影シーンが花シーンであって且つ花が前景側の被写体であること”を、ユーザは検索条件として指定することができる。この場合、非基準画像Ｉ［１］のシーン判定情報が“花シーン”を内包している場合であっても、非基準画像Ｉ［１］の“花シーン”に対応する分割画像領域内の花が背景側の被写体である場合には、非基準画像Ｉ［１］は検索条件に適合していないと判断され、非基準画像Ｉ［１］の“花シーン”に対応する分割画像領域内の花が前景側の被写体である場合にのみ、非基準画像Ｉ［１］が検索条件に適合していると判断されるようになる。非基準画像Ｉ［２］〜Ｉ［Ｑ］についても同様である。この方法によれば、前景側に「花」が位置している非基準画像を検索する、或いは、背景側に「花」が位置している非基準画像を検索する、といった高度な検索が可能となる。
【０１０４】
ユーザは様々な形態の検索条件を指定することができる。
例えば、“花及び動物を被写体として含むこと”を検索条件に指定することもでき、この指定が成された場合、非基準画像Ｉ［１］のシーン判定情報が“花シーン”及び“動物シーン”の双方を内包している場合にのみ、非基準画像Ｉ［１］は検索条件に適合すると判断し、それ以外の場合には、非基準画像Ｉ［１］は検索条件に適合していないと判断すると良い。非基準画像Ｉ［２］〜Ｉ［Ｑ］についても同様である。
また例えば、“動物を前景側の被写体として含み且つ海を背景側の被写体として含むこと”を検索条件に指定することもできる。この指定が成された場合、非基準画像Ｉ［１］のシーン判定情報が“動物シーン”及び“海シーン”の双方を内包していて、且つ、非基準画像Ｉ［１］の“動物シーン”に対応する分割画像領域内の動物が前景側の被写体である共に非基準画像Ｉ［１］の“海シーン”に対応する分割画像領域内の海が背景側の被写体である場合にのみ、非基準画像Ｉ［１］は検索条件に適合すると判断し、それ以外の場合には、非基準画像Ｉ［１］は検索条件に適合していないと判断すると良い。非基準画像Ｉ［２］〜Ｉ［Ｑ］についても同様である。
【０１０５】
上述の説明から理解されるように、第３実施形態によれば、例えば、前景側の被写体が検索条件に適合した画像や背景側の被写体が検索条件に適合した画像等を検索することが可能となり、検索条件によっては、それらの画像を区別して検出することも可能となる。
【０１０６】
＜＜変形等＞＞
本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以上の実施の形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１０７】
［注釈１］
第２又は第３実施形態に係る検索動作を、撮像装置１と異なる電子機器（不図示）において実行することもできる。電子機器は、例えば、パーソナルコンピュータ等の画像再生装置、ＰＤＡ（Personal Digital Assistant）等の情報端末装置である。尚、撮像装置も電子機器の一種である。第２又は第３実施形態に係る検索動作を撮像装置１と異なる電子機器において実行する場合、撮像装置１に設けられた、第２又は第３実施形態の動作に必要な部位（検索処理部６０、表示部１５、領域分割部等）を、当該電機子器にも設けておくと良い。
【０１０８】
［注釈２］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【符号の説明】
【０１０９】
１  撮像装置
１１  撮像部
１５  表示部
１９  タッチパネル
５１  シーン判定部
５２  撮影制御部
５３  画像処理部
５４  表示制御部
５５  被写体距離情報生成部
【図１】
2012004716.tif 000003
【図２】
2012004716.tif 000004
【図３】
2012004716.tif 000005
【図４】
2012004716.tif 000006
【図５】
2012004716.tif 000007
【図６】
2012004716.tif 000008
【図７】
2012004716.tif 000009
【図８】
2012004716.tif 000010
【図９】
2012004716.tif 000011
【図１０】
2012004716.tif 000012
【図１１】
2012004716.tif 000013
【図１２】
2012004716.tif 000014
【図１３】
2012004716.tif 000015
【図１４】
2012004716.tif 000016
【図１５】
2012004716.tif 000017
【図１６】
2012004716.tif 000018
【図１７】
2012004716.tif 000019
【図１８】
2012004716.tif 000020
【図１９】
2012004716.tif 000021
【図２０】
2012004716.tif 000022
【図２１】
2012004716.tif 000023