(57)【要約】【課題】マルチフォーカス撮像により得られた焦点位置が異なる一連の画像群を、撮像時の合焦点に応じて分かり易くかつ効果的に提示する。【解決手段】本発明の表示制御装置２０は、相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式を、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定する表示方式決定部２４と、前記表示方式決定部で決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示を制御する表示制御部２５とを備える。【選択図】図１３
2010166519.tif 000002
【特許請求の範囲】
【請求項１】
相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式を、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定する表示方式決定部と、
前記表示方式決定部で決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示を制御する表示制御部と、
を備える、表示制御装置。
【請求項２】
前記表示方式決定部は、前記合焦画像特定情報に基づいて、前記画像データ群の中から前記合焦画像データを特定し、前記画像データ群のうち前記合焦画像データ以外の他の画像データよりも前記合焦画像データが視認され易いように、前記表示方式を決定する、請求項１に記載の表示制御装置。
【請求項３】
前記表示方式決定部は、前記合焦画像データの表示時間が前記他の画像データの表示時間よりも長くなるように、前記画像データ群に属する前記各画像データの表示時間を制御する、請求項２に記載の表示制御装置。
【請求項４】
前記表示方式決定部は、前記画像データ群に属する前記各画像データの焦点位置を表す焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データの表示順序を、前記焦点位置が近距離側にある前記画像データから順に表示する第１表示順序、又は、前記焦点位置が遠距離側にある前記画像データから順に表示する第２表示順序のいずれかに決定する、請求項２又は３に記載の表示制御装置。
【請求項５】
前記表示方式決定部は、
第Ｎ−１番目の画像データ群の前記焦点位置情報に基づいて、前記第Ｎ−１番目の画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、
第Ｎ番目の画像データ群の前記焦点位置情報に基づいて、前記第Ｎ番目の画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、
前記第Ｎ−１番目及び第Ｎ番目の画像データ群に関する前記判定結果と、前記第Ｎ−１番目の画像データ群の表示順序に応じて、前記第Ｎ番目の画像データ群の表示順序を決定する、請求項４に記載の表示制御装置。
【請求項６】
前記表示方式決定部は、
前記焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、
当該判定結果に応じて前記画像データ群の表示順序を決定する、請求項４に記載の表示制御装置。
【請求項７】
前記表示方式決定部は、
前記焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データを焦点位置順に配列した場合における、前記合焦画像データよりも近距離側又は遠距離側にある前記他の画像データの個数を求め、
当該個数に応じて、当該近距離側又は遠距離側にある前記他の画像データ全体の表示時間が所定時間以下となるように前記表示方式を制御する、請求項４に記載の表示制御装置。
【請求項８】
前記表示方式決定部は、
前記個数が所定の閾値以上である場合に、前記合焦画像データよりも近距離側又は遠距離側にある前記他の画像データの一部を、スライドショー表示対象から除外する、請求項７に記載の表示制御装置。
【請求項９】
１つの前記画像データ群内に、第１合焦画像データと第２合焦画像データがある場合、前記表示方式決定部は、前記第１合焦画像データと前記第２合焦画像データの間にある前記他の画像データを、前記スライドショー表示対象から除外しない、請求項８に記載の表示制御装置。
【請求項１０】
前記表示方式決定部は、前記個数に応じて、前記合焦画像データよりも近距離側又は遠距離側にある前記他の画像データの少なくとも一部の表示時間を制御する、請求項７に記載の表示制御装置。
【請求項１１】
前記表示方式決定部は、前記焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データを焦点位置順に配列した場合における、前記合焦画像データと前記他の画像データとの配列順の差分を求め、当該配列順の差分に応じて、当該他の画像データの表示時間を制御する、請求項４に記載の表示制御装置。
【請求項１２】
相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式を、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定する表示方式決定ステップと、
前記表示方式決定ステップで決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示を制御する表示制御ステップと、
を含む、表示制御方法。
【請求項１３】
コンピュータに、
相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式を、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定する表示方式決定ステップと、
前記表示方式決定ステップで決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示を制御する表示制御ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置、表示制御方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラは、撮像素子に入射された被写体像（光学像）を電気信号に変換することによって、デジタル画像データを生成し、撮影者のレリーズ操作に応じて、該デジタル画像データをメモリカード等の記録媒体に記録する。一般的に、デジタルスチルカメラは、焦点合わせを容易にするために、オートフォーカス（自動焦点）機構が搭載されるとともに、Ｆ値が大きく被写界深度が深い光学系が採用されている。これにより、撮影者は、デジタルスチルカメラを被写体に向けてレリーズボタンを操作するだけで、オートフォーカス機構により該被写体に合焦した被写体像を撮像して、その被写体像のデジタル画像データを記録することができる。
【０００３】
また、特許文献１には、撮影後に焦点が合った範囲（合焦点）を任意に変更可能なデジタル画像データを生成可能なデジタルスチルカメラを提供するために、１回のレリーズ操作に応じて、マルチフォーカス撮像を行うデジタルスチルカメラが開示されている。この特許文献１のマルチフォーカス撮像では、１回のレリーズ操作に応じて、最短距離側の焦点位置から無限遠側の焦点位置まで、焦点位置を自動的に変更しながら、段階的に撮像することで、焦点位置が相異なる複数枚の画像データを得ている。
【０００４】
【特許文献１】特開２００３−１４３４６１号公報
【特許文献２】特開２００６−５４５２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来では、マルチフォーカス撮像により得られた複数枚の画像データ（焦点位置が異なる一連の画像群）を、如何にしてユーザに分かり易く提示するかについては、何らの提案もされていなかった。例えば、上記特許文献１においても、マルチフォーカス撮像された複数枚の画像データの表示方法（提示方法）については何ら言及されていない。
【０００６】
一方、従来の画像提示方式として、複数枚の画像データを１枚ずつ順次表示するスライドショー方式が一般的である。しかし、上述のマルチフォーカス撮像された複数枚の画像データを、一般的なスライドショー方式でメリハリ無く表示したとしても、ユーザは、同一の撮像範囲（画角）を撮像した多数の類似画像を延々と見続けることとなり、倦怠感が生じてしまう。さらに、ユーザは、スライドショー表示される複数枚の画像データを漫然と見ても、撮影者がどの被写体に焦点を合わせて撮像したかという撮影時の意図が分からず、所望の画像を特定することが困難であった。
【０００７】
ここで、例えば特許文献２には、複数枚の画像データをスライドショー表示する際に、各画像データを撮像したときのＡＦ情報に基づいて個々の再生画像の動き（ズームイン動作やパン動作）を決定し、決定した動きで該再生画像を表示することが開示されている。しかし、特許文献２の技術は、あくまで個々の画像を表示するときの表示態様をＡＦ情報に基づき制御するものであり、マルチフォーカス撮像された画像群全体のスライドショー表示方式（表示時間や表示順序など）を制御するものではない。このため、マルチフォーカス撮像により得られた焦点位置が異なる一連の画像群を、どのようにしてユーザに分かり易く提示するかという上記課題は、依然として解決されていない。
【０００８】
そこで、本発明は、上記事情に鑑みてなされたものであり、マルチフォーカス撮像により得られた焦点位置が異なる一連の画像群を、撮像時の合焦点に応じて分かり易くかつ効果的に提示することが可能な、新規かつ改良された表示制御装置、表示制御方法及びプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式を、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定する表示方式決定部と、前記表示方式決定部で決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示を制御する表示制御部と、を備える、表示制御装置が提供される。
【００１０】
前記表示方式決定部は、前記合焦画像特定情報に基づいて、前記画像データ群の中から前記合焦画像データを特定し、前記画像データ群のうち前記合焦画像データ以外の他の画像データよりも前記合焦画像データが視認され易いように、前記表示方式を決定するようにしてもよい。
【００１１】
前記表示方式決定部は、前記合焦画像データの表示時間が前記他の画像データの表示時間よりも長くなるように、前記画像データ群に属する前記各画像データの表示時間を制御するようにしてもよい。
【００１２】
前記表示方式決定部は、前記画像データ群に属する前記各画像データの焦点位置を表す焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データの表示順序を、前記焦点位置が近距離側にある前記画像データから順に表示する第１表示順序、又は、前記焦点位置が遠距離側にある前記画像データから順に表示する第２表示順序のいずれかに決定するようにしてもよい。
【００１３】
前記表示方式決定部は、第Ｎ−１番目の画像データ群の前記焦点位置情報に基づいて、前記第Ｎ−１番目の画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、第Ｎ番目の画像データ群の前記焦点位置情報に基づいて、前記第Ｎ番目の画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、前記第Ｎ−１番目及び第Ｎ番目の画像データ群に関する前記判定結果と、前記第Ｎ−１番目の画像データ群の表示順序に応じて、前記第Ｎ番目の画像データ群の表示順序を決定するようにしてもよい。
【００１４】
前記表示方式決定部は、前記焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データを焦点位置順に配列した場合において、前記合焦画像データが近距離側にあるか遠距離側にあるかを判定し、当該判定結果に応じて前記画像データ群の表示順序を決定するようにしてもよい。
【００１５】
前記表示方式決定部は、前記焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データを焦点位置順に配列した場合における、前記合焦画像データよりも近距離側又は遠距離側にある前記他の画像データの個数を求め、当該個数に応じて、当該近距離側又は遠距離側にある前記他の画像データ全体の表示時間が所定時間以下となるように前記表示方式を制御するようにしてもよい。
【００１６】
前記表示方式決定部は、前記個数が所定の閾値以上である場合に、前記合焦画像データよりも近距離側又は遠距離側にある前記他の画像データの一部を、スライドショー表示対象から除外するようにしてもよい。
【００１７】
１つの前記画像データ群内に、第１合焦画像データと第２合焦画像データがある場合、前記表示方式決定部は、前記第１合焦画像データと前記第２合焦画像データの間にある前記他の画像データを、前記スライドショー表示対象から除外しないようにしてもよい。
【００１８】
前記表示方式決定部は、前記個数に応じて、前記合焦画像データよりも近距離側又は遠距離側にある前記他の画像データの少なくとも一部の表示時間を制御するようにしてもよい。
【００１９】
前記表示方式決定部は、前記焦点位置情報に基づいて、前記画像データ群に属する前記複数の画像データを焦点位置順に配列した場合における、前記合焦画像データと前記他の画像データとの配列順の差分を求め、当該配列順の差分に応じて、当該他の画像データの表示時間を制御するようにしてもよい。
【００２０】
また、前記表示制御装置は、前記画像データ群と、前記画像データ群に属する前記各画像データの焦点位置を表す焦点位置情報と、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報とを対応づけて記憶する記憶部を備えていてもよい。さらに、前記表示制御装置は、前記記憶部からから、前記画像データ群、前記焦点位置情報及び前記合焦画像特定情報を読み出すデータ読出部を備えていてもよい。また、表示方式決定部は、前記画像データ群を、前記焦点位置情報が表す焦点位置順にスライドショー表示してもよい。
【００２１】
上記課題を解決するために、本発明のある観点によれば、相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式を、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定する表示方式決定ステップと、前記表示方式決定ステップで決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示を制御する表示制御ステップと、を含む、表示制御方法が提供される。
【００２２】
また、上記課題を解決するために、本発明のある観点によれば、コンピュータに、相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式を、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定する表示方式決定ステップと、前記表示方式決定ステップで決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示を制御する表示制御ステップと、を実行させるためのプログラムが提供される。
【００２３】
上記構成により、相異なる複数の焦点位置において被写体像を撮像して得られた複数の画像データからなる画像データ群をスライドショー表示するときの表示方式が、前記画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報に基づいて決定され、当該決定された表示方式に基づいて、前記画像データ群についてのスライドショー表示が制御される。これにより、画像データ群に属する複数の画像データをスライドショー表示するときの表示方式を、合焦画像データに応じて制御できるので、当該複数の画像データを効果的かつ分かり易くスライドショー表示できる。
【発明の効果】
【００２４】
以上説明したように本発明によれば、マルチフォーカス撮像により得られた焦点位置が異なる一連の画像群を、撮像時の合焦点に応じて分かり易くかつ効果的に提示することができる。
【発明を実施するための最良の形態】
【００２５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２６】
なお、説明は以下の順序で行うものとする。
＜用語の定義＞
＜第１の実施形態＞（合焦画像を長時間表示するスライドショー表示）
［１．１．撮像装置の構成］
［１．２．焦点位置の変更方法］
［１．３．マルチフォーカス撮像］
［１．３．１．マルチフォーカス撮像の実施例］
［１．３．２．マルチフォーカス撮像の第１変更例］
［１．３．３．マルチフォーカス撮像の第２変更例］
［１．３．４．マルチフォーカス撮像の第３変更例］
［１．４．スライドショー表示の概要］
［１．５．表示制御装置の構成］
［１．６．表示制御装置の機能構成］
［１．７．メタデータのデータ構造］
［１．８．スライドショー表示］
［１．８．１．スライドショー表示の概要］
［１．８．２．スライドショー表示フロー］
＜第２の実施形態＞（画像群ごとに表示順序を変えるスライドショー表示）
［２．１．スライドショー表示の概要］
［２．２．表示順序の決定手法］
［２．３．スライドショー表示フロー］
［２．４．スライドショー表示の変更例］
＜第３の実施形態＞（表示画像を選別するスライドショー表示）
［３．１．スライドショー表示の概要］
［３．２．画像選別手法］
［３．３．スライドショー表示フロー］
＜第４の実施形態＞（合焦点に応じて画像の表示時間を変えるスライドショー表示）
［４．１．スライドショー表示の概要］
［４．２．スライドショー表示フロー］
【００２７】
＜用語の定義＞
まず、本発明の各実施形態の説明に先立ち、本明細書で用いる各種の用語を定義する。
【００２８】
「撮像装置」は、被写体像を撮像して画像データを取得するための装置である。撮像装置は、主として静止画像（写真）データを取得するためのデジタルスチルカメラと、主として動画像データを取得するためのデジタルビデオカメラを含む。デジタルスチルカメラは、動画像データを取得する機能を兼備してもよいし、デジタルビデオカメラは、静止画像データを取得する機能を兼備してもよい。以下の実施形態では、本発明の撮像装置の例として、主としてデジタルスチルカメラの例を挙げて説明するが、本発明の撮像装置は、デジタルビデオカメラなど、任意のカメラであってもよい。
「撮像」とは、撮像装置において、撮像素子により受光した被写体像を画像信号に変換することを意味する。
「撮像範囲」は、撮像装置により撮像可能な撮像空間の範囲であり、画角に対応する。
「被写体像」は、撮像装置の撮像光学系を介して撮像素子に入射される光学像であって、撮像装置の撮像範囲内に存在する被写体を表す光学像である。
「画像データ」は、撮像素子により被写体像を撮像して得た画像信号を、信号処理にすることにより得られるデジタルデータである。
【００２９】
「焦点位置」は、撮像装置の撮像光学系の焦点の位置（Ｆｏｒｃｕｓ  Ｐｏｉｎｔ）である。詳細には、「焦点位置」は、撮像空間において該撮像光学系の焦点が存在する、撮像光学系の光軸上の位置である。撮像装置の撮像光学系又は撮像装置を駆動することにより、焦点位置を変更できる。撮像装置の撮像光学系のレンズ中心から焦点位置までの距離を、「焦点距離」と称する。
「合焦」は、撮像装置の撮像光学系の焦点が撮像範囲内の所定の被写体に合うことをいう。
「合焦点位置」は、撮像装置の撮像光学系の焦点が撮像範囲内の所定の被写体に合ったときの焦点位置である。
「合焦範囲」は、焦点位置がある合焦点位置にあるときに、撮像光学系の被写界深度により焦点が合う、合焦点位置の前後の焦点位置の範囲である。ここで、「合焦点位置の前後」とは、撮像光学系の光軸（Ｚ軸）上における、合焦点位置の近距離側（手前側）及び遠距離側（奥側）である。この合焦範囲の説明から分かるように、ある被写体に合焦するときの焦点位置には幅がある。このため、本発明における「所定の被写体に合焦する合焦点位置の検出」とは、当該被写体に合焦する合焦範囲内の任意の焦点位置を検出することを意味する。
「合焦可能範囲」は、最短距離側の焦点位置（マクロ）から無限遠側の焦点位置まで、撮像装置の撮像光学系が物理的に合焦可能な焦点位置の範囲である。
「Ｘ軸方向」は、撮像空間の水平方向、「Ｙ軸方向」は撮像空間の垂直方向、「Ｚ軸方向」は、撮像空間の奥行き方向（撮像光学系の光軸方向）である。Ｘ軸方向及びＹ軸方向は、撮像装置で得られた画像の撮像平面を定め、Ｚ軸方向は、撮像光学系の焦点を変更する方向となる。
【００３０】
「検出指示」は、合焦点位置を検出するための契機となる指示である。検出指示は、例えば、ユーザによるレリーズボタン（シャッターボタン）の半押し操作が代表的である。しかし、その他にも、例えば、撮像装置の電源をオンにする操作、撮像装置の動作モードを撮像モードに切り替える操作、その他のユーザ操作、撮像により得た画像データに対する顔検出処理による顔検出、などを契機として、検出指示とすることもできる。
「レリーズ指示」は、被写体像を撮像して得た画像データを保存用画像データとして取得するための契機となる指示である。一般的なデジタルスチルカメラでは、「レリーズ」は、被写体像を撮像して得た画像データを記録媒体に記録することを意味し、レリーズボタンの全押し操作が代表的である。しかし、本明細書における「レリーズ指示」は、当該レリーズボタンの全押し操作に限られず、例えば、撮像装置に対するその他のユーザ操作、撮像により得た画像データに対するスマイル検出処理による被写体人物の笑顔の検出、などを契機として、レリーズ指示とすることもできる。
「保存用画像データ」は、撮像素子により撮像された被写体像の画像信号を信号処理して得られる画像データのうち、撮像装置又は外部機器で記録媒体に保存される画像データである。例えば、デジタルスチルカメラでは、撮像モード中は、撮像素子により常時被写体像を撮像して画像データを生成し、撮像装置のモニタに該画像データをライブビュー画像として表示している。このように経時的に得られる全ての画像データが記録媒体に保存される訳ではなく、上述のレリーズ指示などが生じたタイミングの画像データが記録媒体に保存される。一方、デジタルビデオカメラでは、経時的に得られる全ての画像データが保存用画像データとして記録媒体に保存される。
【００３１】
「オートフォーカス処理」は、撮像装置が撮像範囲内の任意の被写体に合焦する焦点位置を自動的に検出する処理である。オートフォーカス（以下「ＡＦ」という。）処理は、所定の被写体に合焦する焦点位置を検出する検出処理と、当該被写体に焦点を追従させるよう焦点位置を変更する追従処理とを含んでも良い。ＡＦ対象の被写体は、例えば、撮像範囲内に設けられた所定のＡＦ領域（例えば画像中央エリア）若しくは基準点に存在する被写体であってもよいし、ユーザがタッチパネル等のＡＦ位置指定手段を用いて撮像範囲内でＡＦ対象の被写体を自由に選択できるようにしてもよい。
「被写体検出処理」は、焦点位置を変更しながら、当該変更された相異なる複数の焦点位置において被写体像を撮像して得た画像データを分析することにより、撮像範囲内に存在する１又は２以上の被写体を検出する処理である。この被写体検出処理により、撮像範囲内に存在する被写体と、当該被写体に合焦する合焦点位置の範囲を検出できる。
【００３２】
「ブラケット撮像処理」は、検出された合焦点位置を含む所定の範囲内で焦点位置を周期的に変更しながら、当該変更された複数の焦点位置において被写体像を撮像して得た画像データを保存用画像データとして取得する処理である。ブラケット撮像は、フォーカスブラケット撮像とも称される。かかるブラケット撮像処理では、例えば、上記ＡＦ処理で検出された合焦点位置を中心とする所定の範囲内で、焦点位置を変更してもよいし、或いは、上記被写体検出処理で検出された被写体に合焦する合焦点位置の範囲内で、焦点位置を変更してもよい。このブラケット処理により、合焦点位置の近傍に焦点位置を変更して撮像できるので、合焦点位置の位置ずれを補償できる。
「マルチフォーカス撮像処理」は、所定の範囲内で焦点位置を段階的又は連続的に変更させながら、当該変更された相異なる複数の焦点位置において被写体像を撮像して得た画像データを保存用画像データとして取得する処理である。このマルチフォーカス処理の一例として、上記合焦可能範囲の全域を焦点位置の変更範囲とする「全域フォーカス撮像処理」や、被写体検出処理により検出された被写体に合焦する合焦点位置の範囲を焦点位置の変更範囲とする「被写体撮像処理」などがある。
「全域フォーカス撮像処理」は、上記合焦可能範囲内で焦点位置を段階的又は連続的に変更させながら、当該変更された相異なる複数の焦点位置において被写体像を撮像して得た画像データを保存用画像データとして取得する処理である。全域フォーカス撮像処理は、マルチフォーカス処理の一例である。
「被写体撮像処理」は、上記被写体検出処理で検出された１又は２以上の被写体のうちの少なくとも１つの被写体に合焦する合焦点位置の範囲内で、焦点位置を段階的又は連続的に変更させながら、当該変更された相異なる複数の焦点位置において被写体像を撮像して得た画像データを保存用画像データとして取得する処理である。被写体撮像処理は、マルチフォーカス処理の一例である。
【００３３】
「スライドショー」は、複数の画像データを順番に表示させる機能である。このスライドショー機能は、例えば、プレゼンテーションソフトウェアや画像表示ソフトウェア（いわゆるビューア）に搭載されている。スライドショー機能は、大別すると、ユーザが操作キーを押すごとにスライド（１つの画像データ）を切り替えて表示する方式と、予め設定された時間の経過に応じて自動的に次のスライド（次の画像データ）に切り替えて表示する方式の２種類がある。
「スライドショー表示」は上記スライドショーにより複数の画像データを順次表示することを意味する。
「表示方式」は、上記スライドショーにより複数の画像データを表示するための方式であり、例えば、スライドショー表示される複数の画像データの表示時間、表示順序、表示対象の画像データの選別などを含む。
【００３４】
＜第１の実施形態＞
次に、本発明の第１の実施形態について説明する。以下の説明では、まず、焦点位置が相異なる複数の画像データを得るためのマルチフォーカス撮像を行う撮像装置とその動作を説明する。その後、本実施形態に係る表示制御装置を用いて、上記マルチフォーカス撮像により得られた複数の画像データを、順次表示（スライドショー表示）するための表示制御装置とその動作について説明する。
【００３５】
まず、第１の実施形態に係るマルチフォーカス撮像を行う撮像装置の概要について説明する。本実施形態に係る撮像装置は、検出指示に応じて、ＡＦ処理を行って所定の被写体に対する合焦点位置を検出し、その後のレリーズ指示に応じて、検出された合焦点位置を基準として焦点位置を変更させながら全域フォーカス撮像を行うことを特徴としている。
【００３６】
即ち、本実施形態に係る撮像装置は、検出指示に応じて、撮像範囲内の所定の被写体に焦点を合わせるためのＡＦ処理を行うことで、所定の被写体に焦点を合わせた合焦点位置を検出する。その後、該撮像装置は、レリーズ指示に応じて、上記検出された合焦点位置において被写体像を撮像して得た画像データを保存用画像データとして記録媒体に記録する。さらに、該撮像装置は、上記検出された合焦点位置を基準として、合焦可能範囲内において焦点位置を変更しながら、当該変更された相異なる複数の焦点位置において被写体像を撮像して得た画像データを保存用画像データとして記録する全域フォーカス撮像を行う。
【００３７】
かかる全域フォーカス撮像により、合焦可能範囲内で異なる位置に焦点が合った複数枚の保存用画像データを得ることができる。撮影後に、撮影後に合焦点位置を任意に変更可能なデジタル画像データを得ることができるので、撮影後にユーザが異なる被写体（焦点位置）に焦点を合わせなおした画像を容易に取得できる。以下に、本実施形態に係る撮像装置について詳述する。
【００３８】
［１．１．撮像装置の構成］
まず、図１を参照して、本実施形態に係る撮像装置１の構成について説明する。図１は、本実施形態に係る撮像装置１の構成を示すブロック図である。
【００３９】
図１に示すように、撮像装置１は、例えば、静止画像及び動画像の撮像記録が可能なデジタルスチルカメラとして構成されている。撮像装置１は、撮像光学系（Ｌ１、Ｌ２、２、３）と、撮像素子４と、前処理部５と、信号処理部６と、ＡＦ素子７と、ミラー駆動回路８と、絞り制御部９と、撮像制御部１０と、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、メモリ部１２と、操作入力部１３と、バス１４と、表示部１５と、圧縮／伸張処理部１６と、ストレージ部１７を備える。
【００４０】
このうち、撮像光学系及び撮像素子４は、本発明の撮像部の具現例であり、撮像光学系により撮像素子４に被写体像を結像させ、撮像素子４により、受光した被写体像を撮像して画像信号を出力する。また、前処理部５及び信号処理部６は、本発明の画像データ生成部の具現例であり、撮像素子４から出力された画像信号を処理することにより被写体像の画像データを生成する。また、ミラー駆動回路８は、本発明の駆動部の具現例であり、変形ミラー装置２を駆動させて、焦点位置を変更する。また、ＣＰＵ１１及びメモリ部１２は、本発明の制御部の具現例であり、撮像装置１の各部を制御する。以下に、撮像装置１の各部について説明する。
【００４１】
撮像光学系は、レンズＬ１、変形ミラー装置２、レンズＬ２、絞り３を備える。レンズＬ１、レンズＬ２は、撮像素子４に被写体像（光学像）を結像させるための撮像光学系におけるレンズ群を模式的に示している。レンズＬ１は、変形ミラー装置２に被写体像を導くためのレンズ群、レンズＬ２は上記レンズＬ１を介して変形ミラー装置２のミラー面にて反射された被写体像を撮像素子４に導くためのレンズ群を模式的に示している。なお、実際の撮像光学系は、被写体像を撮像素子４に結像させるものであれば、例えば、より多数のレンズ、不要な波長を除去する光学フィルタ、その他の光学素子などを備えてもよい。
【００４２】
変形ミラー装置２は、断面形状を凸状又は凹状に変形可能な変形ミラーを備えた装置である。変形ミラー装置２は、その表面側に可撓性を有する部材（可撓性部材）が形成されていると共に、該可撓性部材に例えばアルミニウム等の金属膜が成膜されてミラー面が形成されている。図中のミラー駆動回路８からの駆動信号に応じて、可撓性部材の形状が変形することで、ミラー面の形状が凸状又は凹状に変形し、これによって焦点位置を高速に変更させることができる。
【００４３】
かかる変形ミラー装置２を用いてフォーカス制御（焦点位置の変更）を行うことで、通常のフォーカスレンズを撮像素子に接近／離隔させるフォーカス制御機構と比べて、焦点位置を高速かつ正確に調整することができる。
【００４４】
上述したように、本実施形態に係る撮像装置１では、マルチフォーカス撮像処理を行うために、焦点位置を高速で変更する必要がある。このとき、従来のフォーカス機構のようにフォーカスレンズをモータ駆動して焦点位置を調整する場合には、焦点位置の変更を瞬時に行うことは困難である。
【００４５】
これに対し、本実施形態に係る変形ミラー装置２は、従来のメカニカルなフォーカス機構と比べて、小さく軽いので、高速動作可能である。このため、フォーカス機構として変形ミラー装置２を用いれば、ミラー面（可撓性部材）の断面形状を微少に変化させることで焦点位置を調整できるので、焦点位置の変更を非常に高速に行うことができる。従って、マルチフォーカス撮像処理において、レリーズ指示に応じて、合焦可能範囲内で焦点位置を多数の変更位置に段階的に変更させるときに、高速に変更できる。よって、ユーザがシャッターチャンスを意識して、１回のレリーズ指示を行ったタイミングで、相異なる多数の焦点位置の画像データを高速に取得することができるので、マルチフォーカス撮像処理でシャッターチャンスを逃さないようにできる。
【００４６】
絞り３は、上記変形ミラー装置２とレンズＬ２との間に挿入され、後述する絞り制御部９の制御に基づき入射光の通過範囲を変化させることで撮像素子４に結像される被写体像の露光量を調整する。
【００４７】
撮像素子４は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で構成される。撮像素子４は、入射された被写体像を撮像して、撮像画像信号を生成する。つまり、撮像素子４は、上記撮像光学系を介して導かれた光（被写体像）を光電変換し、Ｒ（赤）、Ｇ（緑）、Ｂ（青）による画像信号としての電気信号を出力する。この撮像素子４の画像信号の読み出し制御は、後述するＣＰＵ１１の指示に基づき撮像制御部１０が行う。
【００４８】
前処理部５は、露光画像信号を前処理する所謂アナログフロントエンドであり、サンプルホールド／ＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）回路や、ビデオＡ／Ｄコンバータを備える。例えば、前処理部５は、撮像素子４から出力される画像信号としてのアナログ電気信号に対して、ＣＤＳ（ｃｏｒｒｅｌａｔｅｄ  ｄｏｕｂｌｅ  ｓａｍｐｌｉｎｇ：相関２重サンプリング）処理、プログラマブルゲインアンプ（ＰＧＡ）によるゲイン処理、Ａ／Ｄ変換処理などを行う。また、前処理部５は、画像信号に上記各種の処理を施して得られた撮像画像データに対して、感度バラツキ補正処理やホワイトバランス処理などを行う。
【００４９】
信号処理部６は、上記前処理部５を介して得られる撮像画像データ（Ｒ、Ｇ、Ｂ）に
対し、各種の画像信号処理を施して、最終的な画像データを得る。
【００５０】
ＡＦ素子７は、例えばラインセンサなどで構成され、被写体に対して焦点が合っているか否かを検出するために用いられる。ＡＦ素子７の検出信号はＣＰＵ１１に入力され、ＣＰＵ１１は、該検出信号に基づいてＡＦ処理を制御して、所定の被写体に焦点が合うようにミラー駆動回路８に指示して変形ミラーの変形状態を制御する。なお、ＡＦ素子７は、一般的に一眼レフカメラなどの高性能カメラに設けられるが、デジタルスチルカメラでは、かかるＡＦ素子７を省略してもよい。この場合、ＣＰＵ１１は、上記信号処理部６により撮像画像信号を処理することで得られた合焦評価値に基づいて、ＡＦ処理を制御してもよい。
【００５１】
ミラー駆動回路８は、ＣＰＵ１１からの指示に基づいて、変形ミラー装置２を駆動させて変形ミラー装置２の変形状態を変えることで、焦点位置を調整する。かかる変形ミラー装置２の駆動の詳細については後述する。
【００５２】
絞り制御部９は、ＣＰＵ１１からの指示に基づいて、絞り３の開度を制御して、被写体像の露光量を適正値に調整する。
【００５３】
撮像制御部１０は、例えばタイミングジェネレータ（ＴＧ）で構成され、ＣＰＵ１１からの指示に基づき、撮像素子４の電子シャッタースピードを制御する。撮像制御部１０は、撮像素子４に必要な動作パルスを生成する。例えば、撮像制御部１０は、垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子４に供給する。この撮像制御部１０により撮像素子４を駆動（電子シャッタ機能）させることが可能となる。
【００５４】
ＣＰＵ１１は、撮像装置１の各部を制御する制御部として機能する。このＣＰＵ１１に対してはメモリ部１２が設けられ、メモリ部１２は、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュメモリなどを備える。
【００５５】
ＣＰＵ１１は、当該メモリ部１２内に格納されるプログラムに従って各種演算処理や、絞り制御部９、撮像制御部１０、ミラー駆動回路８及びバス１４を介した各部と制御信号等のやりとりを行って、これら各部に所要の動作を実行させる。
【００５６】
例えば、前処理部５にて検出された撮像信号の光量の情報に基づき、絞り制御部９に指示して絞り３を駆動することで、適正な絞り値が得られるように制御する。また、先に説明した信号処理部６内の合焦評価値計算部から取得した合焦評価値Ｅｖに基づきミラー駆動回路８に指示して、変形ミラー装置２の変形状態を制御する。これにより、撮像光学系の焦点位置を変更したり、上述したＡＦ処理、被写体検出処理、マルチフォーカス撮像処理、全域フォーカス撮像処理、被写体撮像処理、ブラケット撮像処理などの撮像処理を制御したりできるが、これについては後述する。
【００５７】
ＣＰＵ１１に付随して設けられるメモリ部１２（例えばＲＯＭ）には、ＣＰＵ１１に上記各種の制御処理を実行させるためのプログラムが格納されており、ＣＰＵ１１は、該プログラムに基づいて、上記各制御のための必要な演算・制御処理を実行する。
【００５８】
本実施形態に係るプログラムは、上述したＣＰＵ１１の各種制御を、ＣＰＵ１１に実行させるためのプログラムである。このプログラムは、撮像装置１に内蔵された記憶装置（ＨＤＤ、ＲＯＭ、フラッシュメモリ等）に予め格納しておくことができる。また、当該プログラムは、ＣＤ（Ｃｏｍｐａｃｔ  ＤＩｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ  ＤＩｓｃ）、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）等の光ディスク、メモリカードなどのリムーバブル記録媒体に格納されて、撮像装置１に提供されてもよい。或いは、当該プログラムは、ＬＡＮ、インターネット等のネットワークを介して撮像装置１にダウンロードされてもよい。
【００５９】
操作入力部１３は、例えばキー、ボタン、ダイヤル、タッチパネル等の操作子を有する例えば、操作入力部１３は、電源オン／オフを指示するための操作子や、撮像画像の記録の開始を指示するためのレリーズ操作子（レリーズボタン）、ズーム調整用の操作子、合焦させる被写体の選択等のように画像位置指定手段として用いられるタッチパネルなど、各種の動作指示や情報入力を行うための操作子を具備する。このうち、レリーズボタンは、ユーザが上記ＡＦ用又は被写体検出用の検出指示やレリーズ指示を入力するための手段として機能する。例えば、シャッターボタンを途中まで押下（半押し）することで、検出指示が入力され、シャッターボタンを最後まで押下（全押し）することで、レリーズ指示が入力される。操作入力部１３は、このような操作子から得られる情報をＣＰＵ１１に供給し、ＣＰＵ１１はこれらの情報に対応した必要な演算処理や制御を行う。
【００６０】
圧縮／伸張処理部１６は、バス１４を介して入力される画像データについての圧縮／伸張処理、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式に従った画像圧縮／伸張処理を行う。撮像により得られた画像データをストレージ部１７に記録するときには、圧縮／伸張処理部１６は、当該画像データを圧縮して、データ量を低減する。一方、ストレージ部１７に記録された画像データを再生するときには、圧縮／伸張処理部１６は、当該画像データを伸張して、表示部１５等に送る。
【００６１】
ストレージ部１７は、画像データその他の各種データの保存に用いられる。このストレージ部１７は、フラッシュメモリなどの半導体メモリにより構成されてもよいし、例えばＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などにより構成されてもよい。また、ストレージ部１７は、撮像装置１に内蔵された記録媒体ではなく、撮像装置１に着脱可能なリムーバブル記録媒体、例えば、半導体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリ等の記録媒体に対応する記録再生ドライブなどで構成されてもよい。もちろん、内蔵タイプのメモリと、リムーバブル記録媒体に対する記録再生ドライブの両方が搭載されてもよい。かかるストレージ部１７は、ＣＰＵ１１の制御に基づき、バス１４を介して入力される画像データ、その他の各種データについての記録／再生を行う。
【００６２】
表示部１５は、液晶ディスプレイ等の表示パネル部と、該表示パネル部を表示駆動する表示駆動部が設けられる。上記表示駆動部は、バス１４を介して入力される各種の表示データを上記表示パネル部に表示させるための画素駆動回路で構成されている。画素駆動回路は、上記表示パネル部においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで画像信号に基づく駆動信号を印加し、表示を実行させる。また、表示部１５の表示パネルには、上述したタッチパネル等の画像位置指定手段を併設してもよい。
【００６３】
ここで、撮像時においては、レリーズ指示に応じて、ＣＰＵ１１の制御に基づき、信号処理部６から出力された画像データが上記圧縮／伸張処理部１６に供給され、該圧縮／伸張処理部１６において圧縮処理された画像データが生成される。すると、ストレージ部１７は、ＣＰＵ１１の制御に基づき、圧縮処理された圧縮画像データを記録媒体に記録する。また、撮像時においてＣＰＵ１１は、信号処理部６から出力された画像データが表示部１５に供給されるように制御し、これによって、撮像素子４で撮像された画像信号から得た撮像画像データが、表示部１５にリアルタイムで表示される（ライブビュー画像）。ユーザは、このライブビュー画像をみることで、撮像範囲（画角）や被写体の模様などを確認して、適切なシャッターチャンスを判断できる。
【００６４】
また、ストレージ部１７に記録された圧縮画像データの再生指示が行われた場合、ＣＰＵ１１は、ストレージ部１７を制御して、指定された圧縮画像データを再生させた上で、当該再生された圧縮画像データを圧縮／伸張処理部１６で伸張させるように制御する。そして、ＣＰＵ１１は、当該伸張された画像データが表示部１５上に表示されるように制御する。
【００６５】
［１．２．焦点位置の変更方法］
次に、本実施形態に係る撮像装置１における焦点位置の変更方法について詳細に説明する。
【００６６】
まず、図２を参照して、本実施形態に係る撮像装置１を用いた撮像処理の概要について説明する。図２は、本実施形態に係る撮像装置１による撮像処理を概略的に示す模式図である。
【００６７】
図２に示すように、本実施形態に係る撮像装置１は、通常の撮像処理と、全域フォーカス撮像処理と、ブラケット撮像処理を実行できる。ユーザは、例えば、撮像装置１の撮像モードを、通常撮像モードと、マルチフォーカス撮像モード（より詳細には、全域フォーカス撮像モード、ブラケット撮像モード）との間で切り替えることで、撮像装置１が行う撮像処理を設定変更できるようにしてもよい。
【００６８】
通常の撮像処理では、撮像装置１は、検出指示（例えば、レリーズボタンの半押し）に応じて、ユーザが所望する被写体（撮像ポイント）に焦点を合わせるＡＦ処理を行う。その後、撮像装置１は、レリーズ指示（例えば、レリーズボタンの全押し）に応じて、当該被写体に焦点が合った被写体像を撮像して、画像データを１枚だけ記録する。このとき、当該焦点を合わせた被写体に対応する焦点位置が合焦点位置となる。この合焦点位置は、最短距離側（マクロ）から無限遠側（∞）までの合焦可能範囲内の任意の位置に合わせることができる。
【００６９】
一方、全域フォーカス撮像処理では、撮像装置１は、１回のレリーズ指示に応じて、合焦可能範囲全域に渡って焦点位置を段階的（ステップ状）に自動的に変更しながら被写体像を順次に撮像して、複数枚の画像データを記録する。このマルチフォーカス撮像処理は、どの被写体に対しても焦点を合わせずに行ってもよいが、予めＡＦ処理等により所定の被写体に対する合焦点位置を検出した状態で行ってもよい。かかるマルチフォーカス撮像処理により、撮像範囲内でマクロ側から無限遠側まで全ての被写体に合焦した複数枚の画像データを得ることができる。
【００７０】
また、ブラケット撮像処理では、撮像装置１は、検出指示（例えばレリーズボタンの半押し）に応じて、ユーザ所望の被写体に焦点を合わせるＡＦ処理を行って、合焦点位置を検出する。そして、撮像装置１は、その合焦点位置の近傍で細かいステップで焦点位置を自動的にずらしつつ被写体像を周期的に撮像して、複数枚の画像データを記録する。その後、撮像装置１は、レリーズ指示に応じて、上記合焦点位置で撮像して、１枚の画像データを記録する。かかるブラケット撮像処理により、ＡＦ処理を行ってからレリーズまでの間に、その合焦点位置近傍の焦点位置において撮像した画像データを得ることができる。従って、ＡＦ処理により検出された合焦点位置にずれがあったとしても、所望の被写体に対して的確に合焦した画像データをミスなく取得できる。
【００７１】
以上のように、全域フォーカス撮像処理及びブラケット撮像処理、さらには不図示の被写体撮像処理では、焦点位置を多段階で変更しながら撮像を行う。よって、焦点位置を正確かつ高速に変更する必要がある。
【００７２】
次に、図３を参照して、本実施形態に係る変形ミラー装置２を用いた焦点位置の変更について説明する。図３は、本実施形態に係る変形ミラー装置２を用いた焦点位置の変更を示す模式図である。
【００７３】
図３に示すように、変形ミラー装置２のミラー面（反射面）２ａの形状を変えることで、焦点位置を変更することができる。例えば、ミラー面２ａの凹形状を深くすることで、焦点位置を近距離側（マクロ側）に変更でき、逆に、ミラー面２ａの凹形状を浅くすることで、焦点位置を遠距離側（無限遠側）に変更できる。焦点位置を遠距離側に変更することで、撮像装置１から遠くにある被写体に合焦させ、焦点位置を近距離側に変更することで、撮像装置１の近くにある被写体に合焦させることができる。このとき、変形ミラー装置２が物理的に変更可能なミラー面２ａの形状には制約があり、この制約により、焦点位置を変更できる範囲、即ち、合焦可能範囲が定まる。
【００７４】
上述したように、従来のフォーカス機構を用いて、モータ駆動されるフォーカスレンズを撮像素子に対して接近／離隔させることで、焦点位置を変更することも可能である。しかし、従来のフォーカス機構では、焦点位置を最短距離側から無限遠側まで移動させるには、数秒程度の長い時間を要していた。これに対し、本実施形態では、フォーカス機構として変形ミラー装置２を用いることで、従来のフォーカス機構と比較して格段に高速に焦点位置を変更することができる。例えば、焦点位置を最短距離側から無限遠側まで移動させるには、１秒未満の短い時間で済み、この短時間内に数十枚（例えば３０枚）のマルチフォーカス画像を所得することができる。
【００７５】
次に、図４を参照して、本実施形態に係る焦点位置を段階的に変更するフォーカス制御の詳細について説明する。図４は、本実施形態に係る焦点位置の変更を示す説明図である。
【００７６】
図４に示すように、本実施形態に係る撮像装置１では、上記変形ミラー装置２を用いて、焦点位置が段階的（ステップ状）に変更される。図４の例では、焦点位置が、撮像空間の奥行き方向（Ｚ軸方向）の無限遠側に向かって、位置Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６の順に６段階で変更されている。撮像装置１は、このように焦点位置を１段階ずつ変更する度に、焦点位置を固定した状態で撮像素子４により被写体像を撮像して、その焦点位置に合焦した画像データを記録する。
【００７７】
詳細には、焦点位置を段階的に変更する１ステップごとに、撮像素子４のシャッター動作を行って、所定の露光時間で被写体像を撮像する。このとき、焦点位置を変更する１ステップの時間は、撮像素子４の電子シャッタースピードと、整定時間と、露光時間の和に相当する。ここで、整定時間は、焦点位置の変更に伴い変動した被写体像の光量が所定のズレ許容範囲以下に整定するまでに要する時間である。また、露光時間は、撮像装置１による撮像の露光に要する時間である。
【００７８】
以上、本実施形態に係るフォーカス制御において焦点位置を段階的に変更する方法について詳述した。なお、本発明は、本実施形態のように焦点位置を段階的に変更する例に限定されない。例えば、焦点位置を連続的（無段階で）に変更しながら、その変更途中に所定のタイミングで撮像素子４により被写体像を複数回撮像してもよい。このように焦点位置を連続的に変更しながら、相異なる焦点位置で撮像された複数枚の画像データを得るようにして、マルチフォーカス撮像を行ってもよい。
【００７９】
次に、図５を参照して、本実施形態に係る撮像装置１において段階的に焦点位置を段階的に変更するときの焦点位置の変更位置の設定について説明する。図５は、本実施形態に係る撮像装置１における焦点位置の変更位置の設定を説明するための模式図である。
【００８０】
図５に示すように、マクロから無限遠までの合焦可能範囲内に、複数の被写体Ｈ１〜Ｈ４が存在する場合を考える。この場合、マルチフォーカス撮像により焦点位置が異なる複数枚の画像データを取得するときには、それぞれの被写体Ｈ１〜Ｈ４について少なくとも１枚の画像データで焦点が合っている必要がある。
【００８１】
合焦可能範囲内で焦点位置を段階的に変更する場合、例えば図５のＡに示すように、焦点位置を等間隔でリニアに変更させてもよいし、或いは、図５のＢに示すように、焦点位置の変更量を可変にして焦点位置を変更してもよい。
【００８２】
図５のＡの例では、焦点位置は、変更位置Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６に段階的に変更されており、焦点位置の変更量（即ち、隣接する焦点位置間の距離）は一定値ｄである。このように、焦点位置をＺ軸方向に等間隔で変更することにより、焦点位置の位置制御が容易になるという利点があるが、後述のように、合焦可能範囲内の全ての被写体Ｈ１〜Ｈ４に焦点が合うようにするためには、焦点位置の変更回数が増加するという短所がある。
【００８３】
これに対し、図５のＢの例では、焦点位置は、変更位置Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６に段階的に変更されており、焦点位置の変更量（即ち、隣接する焦点位置間の距離）は、可変値ｄ１〜ｄ５となっている。このとき、遠距離側ほど焦点位置の変更量が大きくなっている（ｄ１＜ｄ２＜ｄ３＜ｄ４＜ｄ５）。この理由は、撮像光学系の被写界深度は、近距離側では浅く、遠距離側で大きいため、遠距離側で焦点位置の変更量を大きくしても、任意の位置の被写体に合焦した画像が得られるからである。この被写界深度に応じて焦点位置の設定について、以下に詳述する。
【００８４】
ここで、図６を参照して、被写界深度について詳述する。図６は、本実施形態に係る焦点位置ごとの被写界深度を説明するための模式図である。
【００８５】
図６に示すように、焦点位置を位置Ｐ１〜位置Ｐ６まで段階的に変更するとき、例えば、位置Ｐ３が合焦点位置であったとする。このとき、位置Ｐ３の近距離側（マクロ側）で合焦する範囲を後方被写界深度と称し、その位置Ｐ３の遠距離側（無限遠側）で合焦する範囲を前方被写界深度と称する。この前方被写界深度と後方被写界深度を合わせた範囲が被写界深度である。合焦点位置が位置Ｐ３であるときに、被写界深度により合焦する範囲が、合焦点位置Ｐ３における合焦範囲である。つまり、位置Ｐ３に焦点を合わせたときには、その位置Ｐ３にある被写体のみならず、当該位置Ｐ３の前後の合焦範囲内にある被写体（近距離側の後方被写界深度及び遠距離側の前方被写界深度に含まれる被写体）にも焦点が合った画像が得られる。勿論、位置Ｐ３を合焦点位置としたときには、厳密に焦点が合っているのは位置Ｐ３のみであるが、実際の画像ではその位置Ｐ３の前後（近距離側及び遠距離側）の合焦範囲内の被写体に対しても焦点が合っているように見える。焦点ボケは、合焦点位置である位置Ｐ３から離れるにつれて大きくなるが、被写界深度に応じて定まる合焦範囲内であれば、焦点ボケが許容範囲内であると考える。
【００８６】
上述した撮像装置１の撮像光学系などの光学装置では、焦点位置が近距離側であるほど被写界深度が浅く、遠距離側であるほど被写界深度が深いという特性を有している。このため、焦点位置を段階的に変化させたときには、近距離側の焦点位置であるほど合焦範囲が狭くなり、遠距離側の焦点位置であるほど合焦範囲が広くなる。従って、合焦可能範囲内の全域に合焦させるためには、図５のＢで示したように、被写界深度が浅い近距離側では、焦点位置を細かい変更量で密に変更し、被写界深度が深い遠距離側では、焦点位置を大きな変更量で粗く変更すればよい。つまり、焦点位置を段階的に変更するときの変更位置は、撮像装置１からの距離により変動する被写界深度に応じて、設定されることが好ましい。
【００８７】
ところで、被写界深度は撮像光学系の絞り３の開度によって変化するので、絞り３の開度（例えばＦ値）に応じて、焦点位置の変更位置Ｐを設定してもよい。また、被写界深度は撮像光学系のレンズの焦点距離によっても変化するので、撮像装置１に搭載されたレンズの種類に応じて、焦点位置の変更位置Ｐを設定してもよい。さらに、上述したように、被写界深度は撮像装置１から焦点位置までの距離によっても変化するので、当該距離に応じて焦点位置の変更位置Ｐを設定してもよい（ズームレンズの特徴に依存）。このように、本実施形態に係る撮像装置１では、例えば、絞り３の開度、レンズの種類、焦点位置から撮像装置１までの距離に応じて、焦点位置の変更位置Ｐを設定する。これにより、焦点位置を効率的かつ適切に変更できるとともに、合焦可能範囲内の任意の位置に存在する全ての被写体に対して漏れなく合焦させることができる。
【００８８】
ここで、焦点位置の変更位置Ｐを設定するタイミングについて説明する。撮像装置１は、マルチフォーカス撮像処理を行う前に予め、焦点位置の変更位置Ｐを設定しておいてもよい。この場合、撮像装置１のＣＰＵ１１は、予め設定された焦点位置の変更位置Ｐのデータを保持しておき、マルチフォーカス撮像時に、当該データを用いて、焦点位置を段階的に変更するように変形ミラー装置２を制御する。
【００８９】
或いは、撮像装置１のＣＰＵ１１は、マルチフォーカス撮像処理を行うときに、焦点位置の変更位置Ｐをリアルタイムで計算して、当該変更位置Ｐを動的に設定し、当該設定した変更位置Ｐに焦点位置を段階的に変更するように変形ミラー装置２を制御してもよい。この場合、ＣＰＵ１１は、被写界深度と焦点位置との相関を表すデータや、上述した絞り３の開度、レンズの種類、焦点位置から撮像装置１までの距離などのパラメータを用いて、撮像状態に応じた適切な位置に焦点位置の変更位置Ｐを動的に設定することができる。
【００９０】
［１．３．マルチフォーカス撮像］
次に、図７及び図８を参照して、本実施形態に係る撮像装置１によるフォーカス制御について詳細に説明する。
【００９１】
本実施形態に係る撮像装置１は、検出指示（例えば、レリーズボタンの半押し操作）に応じて、ＡＦ処理を行って合焦点位置を検出する。その後、撮像装置１は、１回のレリーズ指示（例えば、レリーズボタンの全押し操作）に応じて、合焦点位置で撮像して得た画像データをストレージ部１７に記録するとともに、全域フォーカス撮像処理を行う。この全域フォーカス撮像処理では、撮像装置１は、ＡＦ処理で検出された合焦点位置を基準として、合焦可能範囲内で焦点位置を段階的に変更しながら、当該変更された焦点位置で撮像して得られた複数枚の画像データをストレージ部１７に順次、記録する。
【００９２】
このように、本実施形態に係る撮像装置１は、ＡＦ処理で合焦点位置を検出するためにフォーカスを制御し、また、全域フォーカス撮像処理で焦点位置を変更するためにフォーカスを制御する。以下に、本実施形態に係るフォーカス制御の具体例について、図７、図８を参照して詳細に説明する。なお、図７、図８において、縦軸（Ｚ軸）は焦点位置、横軸は時間を示す。
【００９３】
［１．３．１．マルチフォーカス撮像の実施例］
まず、図７に示すフォーカス制御の例について説明する。図７は、本実施形態に係るマルチフォーカス撮像処理において、焦点位置を合焦点位置ＭＰから無限遠側まで段階的に変更した後に、合焦点位置ＭＰからマクロ側まで段階的に変更するフォーカス制御の例を示す模式図である。
【００９４】
図７に示すように、まず、撮像装置１のＣＰＵ１１は、検出指示（ＡＦ開始指示）を受けると、ＡＦ処理を行って、撮像範囲内の所定の被写体に合焦する合焦点位置ＭＰを検出する（ｔ１〜ｔ２）。ＡＦ処理で合焦させる対象となる被写体は、例えば、検出指示を受けた時点で撮像範囲の所定位置（例えば画像中央）に存在する被写体であってもよいし、タッチパネル等でユーザ指定された被写体であってもよい。
【００９５】
また、ＡＦ処理としては、例えば、一般的な山登り法による合焦点位置の探索（山登りＡＦ）を使用できる。この山登りＡＦは、例えば、焦点位置をマクロ側（マクロ位置ＮＰ）から無限遠側に移動させながら、その焦点位置で得られた画像データを分析して所定の評価パラメータを取得し、当該評価パラメータを評価して、合焦点位置ＭＰを探索する。なお、当該山登りＡＦは、焦点位置を無限遠（無限遠位置ＦＰ）からマクロ側に移動させながら行うことも勿論可能である。
【００９６】
かかる山登り法による合焦点位置ＭＰの探索は、ＣＰＵ１１が、上記信号処理部６で形成される合焦評価値Ｅｖを取得して行う。山登り法による合焦点位置ＭＰの探索の具体的な手法については種々存在するが、基本的には、例えば、以下のような手法を採用できる。
【００９７】
まず、ＣＰＵ１１は、焦点位置をマクロ（Ｓｎとする）に設定し、その状態で計算された合焦評価値Ｅｖの値を取得する。そして、マクロＳｎから、予め定められた距離ｔだけ遠い焦点位置（Ｓｎ＋１とする）に設定し、その状態で計算された合焦評価値Ｅｖの値を取得する。このように距離ｔだけ離間するそれぞれの焦点位置での評価値Ｅｖを取得した上で、どちらで良好な評価値Ｅｖの値が得られているかを判別する。マクロＳｎでの評価値Ｅｖの値の方が高ければ、合焦点位置はマクロＳｎであるとして決定する。逆に、焦点距離Ｓｎ＋１での評価値Ｅｖの値の方が高ければ、合焦点位置は当該焦点位置Ｓｎ＋１以降の焦点位置にあると判断できる。この場合はさらに距離ｔだけ遠い焦点位置Ｓｎ＋２での合焦評価値Ｅｖを取得し、焦点位置Ｓｎ＋１と焦点位置Ｓｎ＋２の何れでの評価値Ｅｖの値が良好かを判別する。焦点位置Ｓｎ＋１の方が評価値Ｅｖの値が高ければ、合焦点位置は当該焦点位置Ｓｎ＋１に決定する。焦点位置Ｓｎ＋２での評価値Ｅｖの値の方が高ければ、合焦点位置は当該焦点位置Ｓｎ＋２以降の焦点位置にあると判断できるので、さらに距離ｔだけ遠い焦点位置Ｓｎ＋３での合焦評価値Ｅｖを取得し、焦点位置Ｓｎ＋２と焦点位置Ｓｎ＋３の何れでの評価値Ｅｖが良好かを判別する。
【００９８】
以降も、距離ｔだけ遠い近い焦点位置の方が良好な評価値Ｅｖの値が得られる場合は、ＣＰＵ１１は、さらに距離ｔだけ遠い焦点位置に振って取得した評価値Ｅｖとの比較を行う。そして、新たに振った焦点位置での評価値Ｅｖの値の方が低くなったときに、ＣＰＵ１１は、直前に振った焦点位置を合焦点位置として決定する。
【００９９】
以上のようにして、山登りＡＦにより合焦点位置ＭＰが検出される。なお、ＡＦ処理の方式としては、上記山登りＡＦ以外にも、例えば、位相差検出法、コントラスト検出法など、任意の方式を使用できる。
【０１００】
位相差検出法では、撮像光学系を通じて入射される被写体像から撮像素子内のセパレータレンズで２つの像を生成し、その像間隔をラインセンサ（ＡＦ素子７）で計測して、ピントのズレ量を検出し、当該ピントのズレ量に基づいて、合焦点位置を求める。一方、コントラスト検出法は、合焦しているときに、撮像により得られた画像のコントラストが最も高くなるという考え方に基づく検出法である。このコントラスト検出法では、撮像素子４により被写体像を撮像して得た画像データを解析し、焦点位置を動かしながら画像のコントラスト値が最も高くなるレンズ位置を探索する。このとき、焦点位置を動かしながらコントラスト値を計算し、その変化の軌跡から合焦点位置を求める。従って、コントラスト検出法では、位相差検出法より探索時間を要するが、撮像用のイメージセンサ（撮像素子４）でＡＦ処理を実行できるという利点がある。
【０１０１】
次いで、上記合焦点位置ＭＰの検出完了からレリーズ指示を受け付けるまでの間、ＣＰＵ１１は、ＡＦ追従動作を制御する（ｔ２〜ｔ３）。この追従動作は、当該期間ｔ２〜ｔ３中に、合焦させた被写体が移動したときに、当該被写体に焦点を合わせ直す動作である。かかるＡＦ追従動作は、デジタルビデオカメラ等で多用されるが、デジタルスチルカメラで用いてもよい。なお、当該期間ｔ２〜ｔ３に、ＡＦの追従動作を行わずに、検出当初の合焦点位置に固定してもよい。
【０１０２】
以上までの期間ｔ１〜ｔ３中は、撮像素子４による撮像処理は常時行われており、この撮像により得た画像データは、ライブビュー画像として表示部１５に表示されている。ユーザは、かかるライブビュー画像を見ながら、シャッターチャンスと判断する時点で、レリーズボタンを全押し操作するなどして、撮像装置１のレリーズ指示を入力する。なお、レリーズ指示は、スマイル検出等により撮像装置１が自動で行ってもよい。
【０１０３】
ＣＰＵ１１は、レリーズ指示を受け付けると、その受け付け時点で、撮像素子４によって合焦点位置ＭＰ（焦点位置の変更位置Ｐ６に相当する。）において被写体像を撮像して得た画像データＤ６を、ストレージ部１７に記録する（ｔ３）。これにより、上記ＡＦ処理にて検出された合焦点位置ＭＰの被写体に焦点が合っている画像データＤ６を、保存用画像データとして記録できる。さらに、かかる合焦点位置ＭＰの画像データＤ６の記録後すぐに、ＣＰＵ１１は、全域フォーカス撮像処理を実行する（ｔ３〜ｔ４）。
【０１０４】
具合的には、図７に示すように、まず、ＣＰＵ１１は、変形ミラー装置２を制御して、焦点位置を合焦点位置ＭＰから無限遠側に段階的に変更する。これにより、焦点位置は、所定の変更位置Ｐ７、Ｐ８、Ｐ９、Ｐ１０、Ｐ１１に順次変更される。このように焦点位置を変更しながら、ＣＰＵ１１は、撮像素子４によってそれぞれの変更位置Ｐ７、Ｐ８、Ｐ９、Ｐ１０、Ｐ１１において被写体像を撮像して得られた画像データＤ７、Ｄ８、Ｄ９、Ｄ１０、Ｄ１１をストレージ部１７に記録する。この結果、合焦可能範囲のうち、合焦点位置から無限遠までの範囲の被写体に合焦した複数枚の画像データＤ６〜Ｄ１１が記録される。
【０１０５】
さらに、ＣＰＵ１１は、変形ミラー装置２を制御して、焦点位置を合焦点位置ＭＰからマクロ側に段階的に変更する。これにより、焦点位置は、所定の変更位置Ｐ５、Ｐ４、Ｐ３、Ｐ２、Ｐ１に順次変更される。このように焦点位置を変更しながら、ＣＰＵ１１は、撮像素子４によってそれぞれの変更位置Ｐ５、Ｐ４、Ｐ３、Ｐ２、Ｐ１において被写体像を撮像して得られた画像データＤ５、Ｄ４、Ｄ３、Ｄ２、Ｄ１をストレージ部１７に記録する。この結果、合焦可能範囲のうち、合焦点位置からマクロまでの範囲の被写体に合焦した複数枚の画像データＤ５〜Ｄ１が記録される。
【０１０６】
以上のようにして、撮像装置１は、全域フォーカス撮像処理（ｔ３〜ｔ４）を行うことで、マクロ側から無限遠側までの合焦可能範囲全域の被写体に合焦した複数枚の画像データＤ１〜Ｄ１１を記録できる。このとき、合焦点位置ＭＰから無限遠側（又はマクロ側）に徐々に遠くなるような順序で焦点位置を段階的に変更する（変更位置Ｐ７→Ｐ８→Ｐ９→Ｐ１０→Ｐ１１）。これにより、合焦点位置ＭＰの無限遠側において、合焦点位置ＭＰに近い焦点位置に合焦した画像データほど、レリーズ指示（ｔ３）に近いタイミングで取得することができる。例えば、合焦点位置ＭＰに最も近い位置Ｐ７に合焦した画像データＤ７を、合焦点位置ＭＰに次に近い位置Ｐ８に合焦した画像データＤ８よりも先に取得できる。従って、合焦点位置ＭＰに近い焦点位置に合焦した画像データほど、シャッターチャンス（即ち、レリーズ指示ｔ３）に近いタイミングで優先的に取得することができる。
【０１０７】
通常、合焦可能範囲のうち合焦点位置ＭＰに近い焦点位置（例えば、Ｐ７、Ｐ８）ほど、ユーザが望む被写体が存在する可能性が高い。従って、上記のような順で画像データを取得することによって、ユーザが望む被写体に合焦した画像データ（例えば、Ｄ７、Ｄ８）を、シャッターチャンスに近いタイミングで優先的に得ることができる。つまり、ユーザが所望する被写体に合焦した画像データ（例えば、Ｄ７、Ｄ８）を最初に取得し、その後、その他の被写体に合焦した画像データ（例えば、Ｄ１０、Ｄ１１）を予備的に確保しておくことができる。よって、全域フォーカス撮像処理において、シャッターチャンスを逃さないようにできる。
【０１０８】
なお、図７の例では、まず、焦点位置を合焦点位置ＭＰから無限遠側に変更（Ｐ７〜Ｐ１１）した後に、焦点位置を合焦点位置ＭＰからマクロ側に変更（Ｐ５〜Ｐ１）して、全域フォーカス撮像処理を行ったが、かかる例に限定されない。上記の例とは逆に、まず、焦点位置を合焦点位置ＭＰからマクロ側に変更（Ｐ５〜Ｐ１）した後に、焦点位置を合焦点位置ＭＰから無限遠側に変更（Ｐ７〜Ｐ１１）して、全域フォーカス撮像処理を行ってもよい。
【０１０９】
次に、図８に示すフォーカス制御の例について説明する。図８は、本実施形態に係るマルチフォーカス撮像処理において、合焦点位置ＭＰに近い変更位置Ｐから順に、焦点位置を無限遠側及びマクロ側に交互に変更するフォーカス制御の例を示す模式図である。
【０１１０】
図８に示すように、まず、撮像装置１のＣＰＵ１１は、検出指示（ＡＦ開始指示）を受けると、例えば上記山登りＡＦ処理を行って、撮像範囲内の所定の被写体に合焦する合焦点位置ＭＰを検出する（ｔ１〜ｔ２）。次いで、上記合焦点位置ＭＰの検出完了からレリーズ指示を受け付けるまでの間、ＣＰＵ１１は、ＡＦの追従動作を制御する（ｔ２〜ｔ３）。以上までの処理（ｔ１〜ｔ３）は、上述した図７の処理（ｔ１〜ｔ３）と略同一であるので、その詳細説明は省略する。
【０１１１】
その後、ＣＰＵ１１は、レリーズ指示を受け付けた時点で、撮像素子４によって合焦点位置ＭＰ（焦点位置の変更位置Ｐ６に相当する。）において被写体像を撮像して得た画像データＤ６を、ストレージ部１７に記録する（ｔ３）。これにより、上記ＡＦ処理にて検出された合焦点位置ＭＰの被写体に焦点が合っている画像データを、保存用画像データとして記録できる。さらに、かかる合焦点位置ＭＰの画像データＤ６の記録後すぐに、ＣＰＵ１１は、全域フォーカス撮像処理を実行する（ｔ３〜ｔ４）。
【０１１２】
具合的には、図８に示すように、まず、ＣＰＵ１１は、変形ミラー装置２を制御して、焦点位置を合焦点位置ＭＰに近い順に無限遠側及びマクロ側に交互に振りながら段階的に変更する。これにより、焦点位置は、所定の変更位置Ｐ７、Ｐ５、Ｐ８、Ｐ４、Ｐ９、Ｐ３、Ｐ１０、Ｐ２、Ｐ１１、Ｐ１の順で変更される。このように焦点位置を限遠側及びマクロ側に交互に変更しながら、ＣＰＵ１１は、撮像素子４によってそれぞれの変更位置Ｐ７、Ｐ５、Ｐ８、Ｐ４、Ｐ９、Ｐ３、Ｐ１０、Ｐ２、Ｐ１１、Ｐ１において被写体像を撮像して得られた画像データＤ７、Ｄ５、Ｄ８、Ｄ４、Ｄ９、Ｄ３、Ｄ１０、Ｄ２、Ｄ１１、Ｄ１をストレージ部１７に記録する。
【０１１３】
以上のようにして、撮像装置１は、全域フォーカス撮像処理（ｔ３〜ｔ４）を行うことで、マクロ側から無限遠側までの合焦可能範囲全域の被写体に合焦した複数枚の画像データＤ１〜Ｄ１１を記録できる。このとき、合焦点位置ＭＰに近い変更位置から順に、無限遠側及びマクロ側に交互に焦点位置を変更する（変更位置Ｐ７→Ｐ５→Ｐ８→Ｐ４→Ｐ９→Ｐ３→Ｐ１０→Ｐ２→Ｐ１１→Ｐ１）。これにより、合焦点位置ＭＰのマクロ側及び無限遠側の双方において、合焦点位置ＭＰに近い焦点位置に合焦した画像データほど、レリーズ指示（ｔ３）に近いタイミングで取得することができる。例えば、合焦点位置ＭＰに最も近い位置Ｐ７、Ｐ５に合焦した画像データＤ７、Ｄ５を、合焦点位置ＭＰに次に近い位置Ｐ８、Ｐ４に合焦した画像データＤ８、Ｄ４よりも先に取得できる。従って、マクロ側及び無限遠側の双方において、合焦点位置ＭＰに近い焦点位置に合焦した画像データほど、シャッターチャンス（即ち、レリーズ指示ｔ３）に近いタイミングで優先的に取得することができる。
【０１１４】
従って、図８のような順で画像データを取得することによって、図７の例よりもさらに、ユーザが望む被写体に合焦した画像データ（例えば、Ｄ７、Ｄ５）を、シャッターチャンスに近いタイミングで優先的に得ることができる。つまり、ユーザが所望する被写体に合焦した画像データ（例えば、Ｄ７、Ｄ５）を最初に取得し、その後、その他の被写体に合焦した画像データ（例えば、Ｄ１１、Ｄ１）を予備的に確保しておくことができる。よって、全域フォーカス撮像処理において、シャッターチャンスを更に逃さないようにできる。
【０１１５】
なお、図８の例では、焦点位置を合焦点位置ＭＰから無限遠側（Ｐ７）、マクロ側（Ｐ５）、無限遠側（Ｐ８）、・・の順に交互に変更しながら全域フォーカス撮像処理を行ったが、かかる例に限定されない。上記の例とは逆に、焦点位置を合焦点位置ＭＰからマクロ側（Ｐ５）、無限遠側（Ｐ７）、マクロ側（Ｐ４）、・・の順に交互に変更しながら全域フォーカス撮像処理を行ってもよい。即ち、焦点位置を最初に無限遠側又はマクロ側のどちらに変更するかは任意である。
【０１１６】
以上、本実施形態に係る撮像装置１とその撮像方法について説明した。本実施形態によれば、次の効果がある。
【０１１７】
撮像装置１のユーザは、撮像装置１のＡＦ機能を用いて、或いは、手動で、所望の被写体に焦点を合わせて撮影する。特に、１眼レフカメラなどでは、所望の被写体に正確に焦点を合わせる必要がある。このような焦点合わせを行う場合、手動の場合は勿論、ＡＦ機能を用いた場合であっても、所望の被写体に焦点を合わせ損ねる場合がある。しかし、本実施形態に係る撮像装置１は、レリーズ操作に応じて、合焦点位置の被写体に合焦した画像データを取得する通常の撮像処理を行うとともに、焦点位置を変更しながら複数枚の画像データを取得する全域フォーカス撮像処理を行う。従って、この全域フォーカス撮像処理で得られた複数枚の画像データの中には、所望の被写体に合焦した画像データが必ず存在する。よって、ユーザは、所望の被写体に合焦した画像データを確実に取得でき、ＡＦ処理等の焦点合わせの成否をケアしないで撮影を行うことができる。
【０１１８】
また、ユーザは、ある被写体に焦点を合わせて撮影した画像データを得た後に、同じ画角で他の被写体に焦点を合わせた画像が欲しくなる場合がある。かかる場合であっても、本実施形態によれば、事後的な画像処理に依らずとも、実際に撮像光学系を調整して当該他の被写体に焦点を合わせて撮像した高精度の画像データを事後的に取得できる。
【０１１９】
まず、撮像装置１は、上述した全域フォーカス撮像処理を行うことで、１回のレリーズ指示に応じて、マクロ側から無限遠側までの合焦可能範囲全域に渡って、任意の被写体に合焦した複数枚の画像データを自動的に取得できる。この全域フォーカス撮像処理では、図７及び図８に示したように、ＡＦ処理で検出された合焦点位置を基準として、焦点位置を段階的に変更する。従って、合焦点位置ＭＰに近い焦点位置に合焦した画像データほど、シャッターチャンス（即ち、レリーズ指示）に近いタイミングで優先的に取得することができるので、合焦点位置の近くに存在する所望の被写体のシャッターチャンスを逃さないようにできる。
【０１２０】
さらに、撮像装置１は、上述した全域フォーカス撮像処理を行うことで、１回のレリーズ指示に応じて、マクロ側から無限遠側までの合焦可能範囲全域に渡って、任意の被写体に合焦した複数枚の画像データを自動的に取得できる。この全域フォーカス撮像処理では、図７及び図８に示したように、ＡＦ処理で検出された合焦点位置を基準として、焦点位置を段階的に変更する。従って、合焦点位置ＭＰに近い焦点位置に合焦した画像データほど、シャッターチャンス（即ち、レリーズ指示）に近いタイミングで優先的に取得することができるので、合焦点位置の近くに存在する所望の被写体のシャッターチャンスを逃さないようにできる。
【０１２１】
例えば、ユーザが、被写体の人物が笑ったときの写真を撮影したい場合を考える。この場合、上述した特許文献１記載のマルチフォーカス撮像のように、合焦点位置にかかわらず、単純にマクロ側から無限遠側に焦点位置を変更して順番に撮像していくと、シャッターチャンスを逃してしまい、当該人物が笑顔であるときに撮像できない恐れがある。このように、シャッターチャンスがあるような被写体をマルチフォーカス撮像するときに、特許文献１記載の方法では、シャッターチャンスを逃すという問題がある。
【０１２２】
これに対して、本実施形態では、ＡＦ処理で所望の被写体を検出し、レリーズ指示に応じて、その合焦点位置での画像を撮像し、かつ、当該被写体を含む合焦可能範囲全域を、合焦点位置の近傍の焦点位置から順に撮像する。従って、シャッターチャンスが有るような被写体（例えば、人物の笑顔）をマルチフォーカス撮像する場合であっても、当該被写体及びその近傍に合焦した画像をレリーズ指示の直後に撮像できるので、シャッターチャンスを逃すことがない。
【０１２３】
また、マルチフォーカス撮像で複数枚の画像データを記録した場合には、事後的に複数枚の画像データをユーザに提示する際に、ユーザがどの被写体を狙って撮像したかをユーザに提示する必要があるという課題がある。かかる課題に関しても、本実施形態に係るマルチフォーカス撮像は、特許文献１記載の手法よりも優れる。つまり、本実施形態に係るマルチフォーカス撮像によれば、記録される複数枚の画像データのうち、ＡＦ処理で合焦させたときの画像データは、ユーザ自身がどの被写体を狙って撮像したかを表すインデックスとなる。従って、ユーザが事後的に複数枚の画像データを見る際に、撮像装置１は、最初に、ＡＦ処理で合焦させたときの画像データを提示することで、ユーザ自身がどの被写体を狙って撮像したかを提示できる。従って、ユーザはこの提示を確認した上で、複数枚の画像データの中から、所望する被写体に真に焦点が合った画像を選択できるようになる。
【０１２４】
また、本実施形態に係る撮像装置１では、焦点位置を調整するためのフォーカス機構として、変形ミラー装置２を用いるので、マルチフォーカス撮像処理において焦点位置を高速に変更することができる。よって、従来よりもマルチフォーカス撮像処理を迅速に（例えば１秒以内で）遂行できる。
【０１２５】
［１．３．２．マルチフォーカス撮像の第１変更例］
次に、図９を参照して、本実施形態に係る撮像装置１によるフォーカス制御の第１変更例について詳細に説明する。図９は、本実施形態に係るＡＦ処理、ブラケット撮像処理及び全域フォーカス撮像処理におけるフォーカス制御の例を示す模式図である。なお、図９において、縦軸（Ｚ軸）は焦点位置、横軸は時間を示す。
【０１２６】
図９に示すように、撮像装置１は、検出指示に応じて、ＡＦ処理を行って合焦点位置を検出し（ｔ１〜ｔ２）、当該合焦点位置の検出が完了してからレリーズ指示までの間は、ブラケット撮像を行う（ｔ２〜ｔ３）。ブラケット撮像では、撮像装置１は、ＡＦ処理により検出された合焦点位置を中心とする所定の範囲内で、焦点位置を周期的に変更しながら、当該変更された複数の焦点位置において被写体像を撮像して得た画像データをストレージ部１７に記録する。その後、撮像装置１は、１回のレリーズ指示に応じて、合焦点位置で撮像して得た画像データをストレージ部１７に記録するとともに、全域フォーカス撮像処理を行う（ｔ３〜ｔ４）。この全域フォーカス撮像処理では、撮像装置１は、ＡＦ処理で検出された合焦点位置を基準として、合焦可能範囲内で焦点位置を段階的に変更しながら、当該変更された焦点位置で撮像して得られた複数枚の画像データをストレージ部１７に順次、記録する。
【０１２７】
このように、図９の例では、上記合焦点位置ＭＰの検出完了からレリーズ指示を受け付けるまでの間、ＣＰＵ１１は、ブラケット撮像処理を行うことを特徴としている（ｔ２〜ｔ３）。ブラケット撮像処理では、撮像装置１のＣＰＵは、上記ＡＦ処理で検出した合焦点位置ＭＰを中心として、焦点位置を無限遠側の位置Ｐ７と、マクロ側の位置Ｐ５に交互に変更する。これにより、焦点位置は、合焦点位置ＭＰを中心とする所定の範囲内（図示の例では、Ｐ５〜Ｐ７の範囲内）で、位置Ｐ７→Ｐ５→ＭＰ（＝Ｐ６）→Ｐ７→Ｐ５→ＭＰ（＝Ｐ６）→・・・といったように周期的かつ段階的に変更される。撮像装置１は、このように焦点位置を周期的かつ段階的に変更しながら、各変更位置Ｐ７、Ｐ５、ＭＰ・・・において撮像素子４により被写体像を撮像し、該撮像素子４から出力された画像信号に基づき画像データＤ７、Ｄ５、ＤＭ（＝Ｄ６）・・・を生成する。ＣＰＵ１１は、このように生成した画像データＤ７、Ｄ５、ＤＭ・・・を、不図示のキャッシュメモリ等に一時的に保存しておく。
【０１２８】
以上のようにして、撮像装置１は、ブラケット撮像処理（ｔ２〜ｔ３）を行うことで、合焦点位置ＭＰの近傍（無限遠側及びマクロ側）の焦点位置に合焦した複数枚の画像データＤ７、Ｄ５、ＤＭ・・・を周期的に取得できる。かかる画像データＤ７、Ｄ５、ＤＭ・・・は、ＡＦ処理にミスがあった場合、即ち、ＡＦ処理によりユーザ所望の被写体に合焦していない場合を補償するための画像データとして利用できる。つまり、ＡＦ処理で検出された合焦点位置ＭＰの近傍で前後に焦点位置を周期的に変更することで、当該合焦点位置ＭＰの近傍に位置する被写体は、当該合焦点位置ＭＰを中心とする合焦範囲内に含まれない場合でも、変更位置Ｐ５又はＰ７を中心とする合焦範囲内に含まれる可能性が高い。よって、ＡＦ処理によりユーザ所望の被写体に合焦できなかったとしても、上記のようなブラケット撮像処理で得た画像データＤ７又はＤ５において当該被写体に合焦させることができる。
【０１２９】
以上のようなブラケット撮像処理は、レリーズ指示（ｔ３）があるまで繰り返される。ＣＰＵ１１は、上記ブラケット撮像処理により取得されて、キャッシュメモリに一時的に保存されていた複数の画像データＤ７、Ｄ５、ＤＭ・・・のうち、レリーズ指示の直前の１周期分Ｓの画像データＤ７、Ｄ５、ＤＭをストレージ部１７に保存し、その他の保存用画像データＤ７、ＤＭ、Ｄ５・・・は、重複した画像データであるので削除する。ブラケット撮像処理では、同一の焦点位置Ｐ５、Ｐ７、ＭＰで繰り返し撮像しているので、保存データ量を削減するため、重複している古い画像データＤ７、ＤＭ、Ｄ５・・・を削除し、レリーズ指示直前に得られた最新の画像データＤ７、ＤＭ、Ｄ５を残せばよい。これは、レリーズ指示直前に得られた最新の画像データＤ７、ＤＭ、Ｄ５が、シャッターチャンスをより反映したものであるからである。
【０１３０】
なお、本実施形態では、ブラケット撮像された全ての画像データを一時記憶用記憶部（例えばキャッシュメモリ）に一時保存しておき、レリーズ指示に応じて、上記レリーズ指示直前の少なくとも１周期分Ｓの画像データを、格納用記憶部（例えばストレージ部１７）に保存し、その他の画像データを一時用記憶部から能動的に削除して無効化した。しかし、本発明は、かかる例に限定されず、上記少なくとも１周期分Ｓの画像データを有効化し、その他の画像データを無効化する手法は任意である。例えば、全ての画像データを当初からストレージ部１７に保存して、レリーズ操作に応じて、少なくとも１周期分Sの画像データ以外の他の画像データをストレージ部１７から能動的に削除してもよい。また、レリーズ指示に応じて、当該他の画像データを能動的に記憶部から削除しないで残しておき、ユーザが当該他の画像データにアクセスできないように設定（無効化）してもよい。また、レリーズ指示に応じて、上記少なくとも１周期分Ｓの画像データのみに対してユーザがアクセスできるよう設定（有効化）してもよい。いずれしろ、レリーズ指示直前の画像データは、レリーズ指示直前のシャッターチャンスに近いタイミングで撮像された重要な画像データである。従って、ブラケット撮像で周期的に撮像された複数周期の画像データのうち、当該レリーズ指示直前の１周期分の画像データのみを有効化して、ユーザに提示することで、画像データを効率的に管理・提示できる。
【０１３１】
上記のブラケット撮像処理中に、ＣＰＵ１１は、レリーズ指示を受け付けると、その受け付け時点で、撮像素子４によって合焦点位置ＭＰ（焦点位置の変更位置Ｐ６に相当する。）において被写体像を撮像して得た画像データＤ６を、ストレージ部１７に記録する（ｔ３）。これにより、上記ＡＦ処理にて検出された合焦点位置ＭＰの被写体に焦点が合っている画像データＤ６を、保存用画像データとして記録できる。さらに、かかる合焦点位置ＭＰの画像データＤ６の記録後すぐに、ＣＰＵ１１は、全域フォーカス撮像処理を実行して、マクロ側から無限遠側までの合焦可能範囲全域の被写体に合焦した複数枚の画像データＤ１〜Ｄ１１をストレージ部１７に記録する（ｔ３〜ｔ４）。かかる全域フォーカス撮像処理（ｔ３〜ｔ４）は、図８で説明した全域フォーカス撮像処理と略同一であるので詳細説明は省略する。また、かかる全域フォーカス撮像処理は、図７で説明した全域フォーカス撮像処理に代えてもよい。
【０１３２】
以上、マルチフォーカス撮像の第１変更例によれば、上記図７、図８の例の効果に加えて、次の効果がある。即ち、シャッターチャンスにおける合焦画像を得るために、ＡＦ処理完了後、レリーズ指示までの間に、ブラケット撮像処理を行うので、ユーザ所望の被写体に合焦した画像データをミス無く取得できる。つまり、ＡＦ処理により目標の被写体に完全に焦点が合っているなら、レリーズ前のブラケット撮像処理は不要である。しかし、ＡＦ処理で目標の被写体に焦点が合わない場合がある。そこで、本実施形態では、レリーズ指示前にブラケット撮像処理することで、ＡＦ処理のミスを補償して、目標の被写体に合焦した画像データを確実に得られるようになる。
【０１３３】
さらに、現実には、ユーザがシャッターチャンスと判断してから、レリーズボタンを押下して、合焦点位置の画像データが記録されるまでには、時間差がある。そこで、本実施形態では、その時間差を補償するために、レリーズ指示前に、合焦点位置の近傍をブラケット撮像処理する。これにより、あるシャッターチャンスの前に予め、ユーザが所望する被写体に合焦した画像データを記録しておくことができる。よって、上記時間差があったとしても、シャッターチャンスを逃すことなく、所望の被写体に正確に合焦した画像データを取得できる。
【０１３４】
また、レリーズ指示前に取得した画像データは、撮像装置１に設定された所定時間分（例えば、レリーズ直前の１周期分Ｓ）のみ有効となるので、撮像装置１のストレージ部１７に記録される画像データのデータ量を必要最小限に抑えることができる。
【０１３５】
［１．３．３．マルチフォーカス撮像の第２変更例］
次に、図１０を参照して、本実施形態に係る撮像装置１によるフォーカス制御の第２変更例について詳細に説明する。図１０は、本実施形態の第２変更例に係る被写体検出処理、ブラケット撮像処理及び全域フォーカス撮像処理におけるフォーカス制御の例を示す模式図である。なお、図１０において、縦軸（Ｚ軸）は焦点位置、横軸は時間を示す。
【０１３６】
図１０に示すように、撮像装置１は、検出指示（例えば、レリーズボタンの半押し操作）に応じて、被写体検出処理を行う（ｔ１〜ｔ４）。この検出処理では、合焦可能範囲内で焦点位置を変更しながら、当該変更された相異なる複数の焦点位置において被写体像を撮像して得た画像データを分析して、被写体検出用の評価パラメータを求める。これにより、撮像装置１は、撮像範囲内に存在する１又は２以上の被写体を検出するとともに、当該検出された被写体に合焦する合焦点位置の範囲を検出する。そして、当該被写体検出処理が完了してからレリーズ指示までの間は、上記検出された合焦点位置の範囲内で、焦点位置を変更させながら、ブラケット撮像を行う（ｔ４〜ｔ５）。ブラケット撮像では、撮像装置１は、当該合焦点位置の範囲内で、焦点位置を周期的に変更しながら、当該変更された複数の焦点位置において被写体像を撮像して得た画像データをストレージ部１７に記録する。その後、撮像装置１は、１回のレリーズ指示に応じて、合焦点位置の範囲内の任意の焦点位置で撮像して得た画像データをストレージ部１７に記録するとともに、上記図８と同様にして全域フォーカス撮像処理を行う（ｔ５〜ｔ６）。
【０１３７】
このように、図１０の例では、撮像範囲内の被写体及びその合焦点位置の範囲を検出するために被写体検出処理を行うことを特徴としている。この被写体検出処理について以下に詳述する。
【０１３８】
図１０に示すように、撮像装置１の撮像範囲内に１つの被写体Ｈが存在し、この被写体Ｈは奥行き方向（Ｚ軸方向）に所定以上の厚みを有する物体であるときに、撮像装置１で被写体Ｈを検出して、マルチフォーカス撮像する場合を考える。
【０１３９】
まず、撮像装置１のＣＰＵ１１は、検出指示（被写体検出開始指示）を受けると、被写体検出処理を行って、撮像範囲内に存在する被写体Ｈを検出するとともに、当該被写体Ｈに合焦する合焦点位置の範囲ｒを検出する（ｔ１〜ｔ４）。この被写体検出処理は、例えば、上述した山登りＡＦ法、位相差検出法、コントラスト検出法など、任意のＡＦ方式を利用して実現できる。
【０１４０】
ここで、コントラスト検出法により被写体検出する例を説明する。ＣＰＵ１１は、１又は２以上の被写体を含む撮像空間を撮像して得た画像の画像データを解析し、焦点位置を移動させながら画像のコントラスト値が最も高くなる焦点位置を探索する。これにより、ＣＰＵ１１は、かかるコントラスト出力が最大となるときの焦点位置を、被写体の合焦点位置であると特定できる。さらに、ＣＰＵ１１は、コントラスト出力のピークの幅から、被写界深度に応じた許容ボケにより被写体に合焦しうる合焦点位置の範囲を求めることができる。
【０１４１】
上記のような被写体検出処理（ｔ１〜ｔ４）により、ＣＰＵ１１は、焦点位置をマクロ位置ＮＰから無限遠位置ＦＰまで変更する途中の時間ｔ２〜ｔ３で検出されたコントラスト出力に基づいて、被写体Ｈに合焦する合焦点位置の範囲ｒを求めることができる。図示の例では、合焦点位置の範囲ｒは、焦点位置Ｐ４〜焦点位置Ｐ６までの範囲である。なお、撮像装置１により被写体Ｈの手前側は撮像できるが、奥側は撮像できないので、合焦点位置の範囲ｒは、被写体Ｈの手前側の部分に対応する焦点位置の範囲となる。
【０１４２】
次いで、上記被写体Ｈ及び合焦点位置の範囲ｒの検出を完了してから、レリーズ指示を受け付けるまでの間、ＣＰＵ１１は、上記被写体検出処理で検出した合焦点位置の範囲ｒ内で、焦点位置を周期的に変更しながら、ブラケット撮像処理を行う（ｔ４〜ｔ５）。図示の例では、焦点位置は、当該合焦点位置の範囲ｒ内で、位置Ｐ４→Ｐ５→Ｐ６→Ｐ４→Ｐ５→Ｐ６→・・・といったように周期的かつ段階的に変更される。撮像装置１は、このように焦点位置を周期的かつ段階的に変更しながら、それぞれの変更位置Ｐ４、Ｐ５、Ｐ６・・・において撮像素子４により被写体像を撮像し、当該撮像素子４から出力された画像信号に基づいて画像データＤ４、Ｄ５、Ｄ６・・・を生成する。ＣＰＵ１１は、このように生成した画像データＤ４、Ｄ５、Ｄ６・・・を、不図示のキャッシュメモリ等に一時的に保存しておく。
【０１４３】
以上のようにして、撮像装置１は、ブラケット撮像処理（ｔ４〜ｔ５）を行うことで、奥行き方向に厚みのある被写体Ｈに合焦した複数枚の画像データＤ４、Ｄ５、Ｄ６・・・を周期的に取得できる。かかる画像データＤ４、Ｄ５、Ｄ６・・・を得ることで、厚みのある被写体Ｈの手前側部分、中央部分、奥側部分にそれぞれ正確に合焦した画像データを取得できる。
【０１４４】
かかるブラケット撮像処理中に、ＣＰＵ１１は、レリーズ指示を受け付けると、その受け付け時点で、撮像素子４によって合焦点位置の範囲ｒ内の任意の焦点位置（例えば、図示の例では位置Ｐ６）において被写体像を撮像して得た画像データＤ６を、ストレージ部１７に記録する（ｔ５）。これにより、上記被写体検出処理にて検出された被写体Ｈに焦点が合っている画像データＤ６を、保存用画像データとして記録できる。さらに、かかる画像データＤ６の記録後すぐに、ＣＰＵ１１は、全域フォーカス撮像処理を実行して、マクロ側から無限遠側までの合焦可能範囲全域の被写体に合焦した複数枚の画像データＤ１〜Ｄ１１をストレージ部１７に記録する（ｔ５〜ｔ６）。かかる全域フォーカス撮像処理（ｔ５〜ｔ６）は、図８で説明した全域フォーカス撮像処理と略同一であるので詳細説明は省略する。また、かかる全域フォーカス撮像処理は、図７で説明した全域フォーカス撮像処理に代えてもよい。
【０１４５】
以上、マルチフォーカス撮像の第２変更例によれば、ＡＦ処理ではなく、被写体検出処理を行うので、撮像範囲内に存在する１又は２以上の被写体Ｈのみならず、その被写体Ｈに対する合焦焦点位置の範囲ｒをも検出できる。
【０１４６】
例えば、奥行き方向に厚みのある大きな被写体Ｈを撮像する場合、ＡＦ処理で焦点を合わせて撮像すると、被写体Ｈの手前側、奥側、中央部のうちどの部分に合焦するかは調整しにくい。これに対して、本実施形態では、被写体検出処理で検出された合焦焦点位置の範囲ｒ内で焦点位置を変更しながら、ブラケット撮像するので、被写体Ｈの手前側、奥側、中央部の全ての位置に精度良く合焦した複数枚の画像データを得ることができる。つまり、本実施形態では、厚みのある被写体Ｈの奥行き方向をスキャンして、１つの被写体Ｈについて多焦点画像を得ることができる。よって、撮像後に、ユーザは、被写体Ｈの所望の部分に正確に合焦した画像データを容易に取得できる。また、かかる１つの被写体Ｈについての複数枚の画像データを得ることで、画像合成による３次元画像を高精度かつ容易に作成できるようになる。
【０１４７】
さらに、本実施形態では、撮像範囲内から被写体Ｈを抽出して、最良のシャッターチャンスのときにその被写体を撮像し、残った時間で全域フォーカス撮影を行う。これにより、被写体抽出を正確に実行できるとともに、ユーザが所望する被写体Ｈの多焦点画像データをシャッターチャンス内で取得できる。
【０１４８】
［１．３．４．マルチフォーカス撮像の第３変更例］
次に、図１１を参照して、本実施形態に係る撮像装置１によるフォーカス制御の第３変更例について詳細に説明する。図１１は、本実施形態の第３変更例に係る被写体検出処理、ブラケット撮像処理、被写体撮像処理及び全域フォーカス撮像処理におけるフォーカス制御の例を示す模式図である。なお、図１１において、縦軸（Ｚ軸）は焦点位置、横軸は時間を示す。
【０１４９】
図１１に示すように、撮像装置１は、検出指示（例えば、レリーズボタンの半押し操作）に応じて、被写体検出処理を行う（ｔ１〜ｔ６）。これにより、撮像装置１は、撮像範囲内に存在する複数の被写体を検出するとともに、当該検出されたそれぞれの被写体に合焦する合焦点位置の範囲を検出する。次いで、撮像装置１は、ユーザ入力に基づいて、被写体検出処理で検出された複数の被写体の中から、１又は２以上の重要な被写体を選別する被写体選別処理を行う。そして、当該被写体検出処理が完了してからレリーズ指示までの間は、上記選別された１又は２以上の被写体の中から選択された１の被写体に合焦する合焦点位置の範囲内で、焦点位置を変更させながら、ブラケット撮像を行う（ｔ６〜ｔ７）。
【０１５０】
その後、撮像装置１は、１回のレリーズ指示（例えば、レリーズボタンの全押し操作）に応じて、合焦点位置の範囲ｒ内の任意の焦点位置で撮像して得た画像データをストレージ部１７に記録する。さらに、撮像装置１は、上記被写体選別処理で選別された１又は２以上の被写体に合焦する合焦点位置の範囲内のみをスキャンする被写体撮像処理を行う（ｔ７〜ｔ８）。その被写体撮像処理の完了後、図８と同様にして全域フォーカス撮像処理を行う（ｔ８〜ｔ９）。
【０１５１】
このように、図１１の例では、被写体検出処理により検出した被写体に関して、被写体撮像処理を行うことを特徴としている。この被写体検出処理及び被写体撮像処理について以下に詳述する。
【０１５２】
図１１に示すように、撮像装置１の撮像範囲内に５つの被写体Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５が存在するときに、撮像装置１で被写体Ｈ１〜Ｈ５を検出して、このうちから重要な被写体Ｈ１〜Ｈ３を選択してマルチフォーカス撮像する場合を考える。なお、図１１の例では、人物等の重要な被写体Ｈ１〜Ｈ３の他に、重要度の低い被写体Ｈ４、Ｈ５（例えば、人物以外のオブジェクトなど）が追加されている。なお、被写体Ｈ３は、建物の壁等であり、撮像装置１側から見ると、被写体Ｈ３の奥側は見えないものとする。
【０１５３】
まず、撮像装置１のＣＰＵ１１は、検出指示（被写体検出開始指示）を受けると、被写体検出処理を行って、撮像範囲内に存在する被写体Ｈ１〜Ｈ５を検出するとともに、被写体Ｈ１〜Ｈ５に合焦する合焦点位置の範囲ｒ１〜ｒ５を検出する（ｔ１〜ｔ６）。
【０１５４】
また、ＣＰＵ１１は、検出された５つの被写体Ｈ１〜Ｈ５を、重要な被写体Ｈ１〜Ｈ３と、重要度の低い被写体Ｈ４、Ｈ５とに選別し、重要な被写体Ｈ１〜Ｈ３を被写体撮像処理（ｔ７〜ｔ８）での撮像対象として選択する。この選択は、例えば、タッチパネル等に対するユーザ入力に基づいて手動で行ってもよいし、撮像により得た画像データを画像処理した結果（例えば顔認識等）に基づいて、ＣＰＵ１１が自動的に行ってもよい。例えば、顔認識がされた被写体は人物であり重要度が高いので、被写体撮像処理の撮像対象として選択する。
【０１５５】
その後、撮像装置１は、上述した例と同様に、ブラケット撮像処理（ｔ６〜ｔ７）と、レリーズ操作に応じた被写体撮像処理（ｔ７〜ｔ８）を実行する。ただし、被写体撮像処理（ｔ７〜ｔ８）では、上記５つの被写体Ｈ１〜Ｈ５のうちから選択された重要な被写体Ｈ１〜Ｈ３のみを撮像する。
【０１５６】
以上のように、本実施形態に係る撮像装置１は、まず、検出指示に応じて、合焦可能範囲全域をスキャンする被写体検出処理を行って、撮影したい被写体Ｈ１〜Ｈ５がどの焦点位置にあるかを検出する。次いで、撮像装置１は、レリーズ指示に応じて、被写体Ｈ１〜Ｈ５から選択された被写体Ｈ１〜Ｈ３がある部分（焦点位置Ｐ２〜Ｐ４、Ｐ６〜Ｐ８、Ｐ１０）のみを撮像し、被写体Ｈ１〜Ｈ３が無い不要な部分（焦点位置Ｐ１、Ｐ５、Ｐ９、Ｐ１１）を撮像しない。従って、被写体撮像処理は、被写体が存在する必要な部分のみを撮像するので、上述した全域フォーカス撮像処理よりも短時間で効率的に実行できる。
【０１５７】
さらに、被写体撮像処理（ｔ７〜ｔ８）の完了後に、図８の例と同様に、焦点位置を段階的に変更しながら合焦可能範囲全域にわたって全域フォーカス撮像を行う（ｔ８〜ｔ９）。この全域フォーカス撮像により、重要でないと選択した被写体Ｈ４、Ｈ５についても、念のため焦点を合わせた画像データを確保しておくことができる。なお、全域フォーカス撮像（ｔ８〜ｔ９）を行わずに、被写体撮像処理（ｔ７〜ｔ８）のみを行ってよい。
【０１５８】
以上のように、本実施形態に係る撮像装置１は、検出した全ての被写体Ｈ１〜Ｈ５に対してではなく、重要な被写体Ｈ１〜Ｈ３のみを選択して、被写体撮像処理を行う。これにより、ユーザが所望しない被写体Ｈ４、Ｈ５に対する被写体撮像処理を省略できるので、処理速度及び効率が向上するとともに、画像データの保存データ量も低減できる。
【０１５９】
以上、図７〜図１１を参照して、本実施形態に係る撮像装置１によるマルチフォーカス撮像処理の例について説明した。上述したように、マルチフォーカス撮像は、全域フォーカス撮像処理、被写体撮像処理などを含む。
【０１６０】
［１．４．スライドショー表示の概要］
上記のマルチフォーカス撮像によれば、撮像装置１は、同一の撮像範囲（画角）に対して、焦点位置を変更しながら、相異なる複数の焦点位置において被写体像を撮像して、複数の画像データを得ることができる。この複数の画像データは、１つの画像データ群として関連づけられて、ストレージ部１７内に記録される。
【０１６１】
また、上記マルチフォーカス撮像時には、撮像装置１のＣＰＵ１１は、撮像により得られた画像データ群に属する複数の画像データに関するメタデータを生成し、このメタデータを当該複数の画像データと対応づけてストレージ部１７に記録する。また、相異なる撮像範囲（画角）をマルチフォーカス撮像することによって、複数の画像データ群を記録するときには、それぞれの画像データ群に属する複数の画像データに対応する複数のメタデータが生成及び記録される。
【０１６２】
ここで、メタデータは、画像データ群に属する複数の画像データに関する付加情報である。該メタデータは、画像データ群に属する各画像データの識別情報（画像ＩＤ、ファイル名など）、各画像データを撮像した時の焦点位置を表す焦点位置情報、画像データ群の中から所定の被写体に合焦した合焦画像データを特定するための合焦画像特定情報などを含む。ここで、「所定の被写体に合焦した合焦画像データ」は、所定の被写体に合焦した合焦点位置において被写体像を撮像して得られた画像データである。所定の被写体とは、例えば、撮像装置１のＡＦ機能により自動合焦された被写体や、上記被写体検出処理により検出された被写体、ユーザ選択された被写体などである。このため、この所定の被写体は、撮影時にどの被写体に合焦させて撮像するかという撮像者の意図を反映した特定の被写体となる。従って、合焦画像データは、ユーザ所望の特定の被写体に合焦する合焦点位置において撮像されたものであるため、画像データ群に属する複数の画像データを代表する代表画像データとして機能する。
【０１６３】
そこで、本実施形態に係る表示制御装置は、１つの画像データ群に属する複数の画像データ（同一の画角に対して相異なる焦点位置で撮像された一連の画像データ）をスライドショー表示する際に、上記メタデータに基づいて、スライドショー表示方式を制御する。例えば、表示制御装置は、上記メタデータに含まれる焦点位置情報に基づいて、該画像データ群に属する複数の画像データを焦点位置順に順次表示する。また、表示制御装置は、メタデータに含まれる合焦画像特定情報に基づいて、該複数の画像データの中から合焦画像データ（代表画像データ）を特定し、ユーザが他の画像データよりも合焦画像データを認識しやすいような表示方式でスライドショー表示する。これにより、他の画像データよりも代表画像データ（合焦画像データ）が強調されて表示されるようになる。従って、焦点位置が異なる複数の類似画像を効果的にスライドショー表示できるとともに、ユーザは、スライドショー表示される複数の画像を閲覧しつつも、撮像者の意図（撮影時にどの被写体に合焦させて撮像したか）を把握できる。
【０１６４】
以下に、上記のようにスライドショー表示方式を制御するための表示制御装置及び表示制御方法について詳述する。なお、以下の例では、表示制御装置の一実施形態として、パーソナルコンピュータ（ＰＣ）の例を挙げ、該ＰＣが、撮像装置１から取得した画像データ群をスライドショー表示する場合について説明する。
【０１６５】
［１．５．表示制御装置の構成］
次に、図１２を参照して、本実施形態に係る表示制御装置２０のハードウェア構成について説明する。図１２は、本実施形態に係る表示制御装置２０のハードウェア構成を示すブロック図である。
【０１６６】
図１２に示すように、表示制御装置２０は、例えば、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ホストバス２０４と、ブリッジ２０５と、外部バス２０６と、インタフェース２０７と、入力装置２０８と、表示装置２０９と、ストレージ装置２１０と、ドライブ２１１と、接続ポート２１２と、通信装置２１３とを備える。このように表示制御装置２０は、例えば、パーソナルコンピュータなど汎用のコンピュータ機器を用いて構成できる。
【０１６７】
ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って動作し、表示制御装置２０内の各部を制御する。このＣＰＵ２０１は、ＲＯＭ２０２に記憶されているプログラム、或いは、ストレージ装置２１０からＲＡＭ２０３にロードされたプログラムに従って、各種の処理を実行する。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶するとともに、ＣＰＵ２０１からストレージ装置２１０へのアクセスを軽減するためのバッファーとしても機能する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。
【０１６８】
入力装置２０８は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー等の操作手段と、入力信号を生成してＣＰＵ２０１に出力する入力制御回路などから構成されている。表示装置２０９は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ装置、プラズマディスプレイ装置等のディスプレイ装置で構成される。この表示装置２０９は、ＣＰＵ２０１による制御に従って、再生画像などの各種データを表示画面に表示する。
【０１６９】
ストレージ装置２１０は、各種の情報やデータを格納するための記憶装置であり、本発明の記憶部の一例である。ストレージ装置２１０は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などの外付け型若しくは内蔵型のディスクドライブで構成される。このストレージ装置２１０は、記憶媒体であるハードディスクを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。
【０１７０】
ドライブ２１１は、リムーバブル記録媒体用のリムーバブルドライブであり、表示制御装置２０に内蔵、或いは外付けされる。このドライブ２１１は、表示制御装置２０にローディングされたリムーバブル記録媒体２１５に対して、各種データを書き込み／読み出しする。リムーバブル記録媒体２１５は、例えば、ＣＤ、ＤＶＤ、ＢＤ等の光ディスク、メモリカード等の半導体メモリなどである。このドライブ２１１は、撮像装置１により上記画像データ群及びメタデータが記録されたリムーバブル記録媒体２１５から、該画像データ群及びメタデータを読み出すことができる。これにより、撮像装置１から表示制御装置２０にリムーバブル記録媒体２１５を介して記画像データ群及びメタデータを提供できる。
【０１７１】
接続ポート２１２は、外部周辺機器を接続するためのポートであり、例えば、ＵＳＢ、ＩＥＥＥ１３９４等の接続端子を有する。接続ポート２１２は、インタフェース２０７、および外部バス２０６、ブリッジ２０５、ホストバス２０４等を介してＣＰＵ２０１等に接続されている。この接続ポート２１２を用いて撮像装置１と表示制御装置２０を接続する。これにより、表示制御装置２０は、撮像装置１のストレージ部１７に格納されている画像データ群及びメタデータを読み出したり、該画像データ群及びメタデータを表示制御装置２０のストレージ装置２１０に記憶したりできる。また、接続ポート２１２に、ＵＳＢメモリ等のリムーバブル記録媒体を装着することで、該リムーバブル記録媒体から画像データ群及びメタデータを読み出すこともできる。
【０１７２】
通信装置２１３は、例えば、有線又は無線のネットワーク２１４（ＬＡＮ、インターネットなど）に接続するための通信デバイス等で構成された通信インタフェースである。この通信装置２１３は、例えば、ホームサーバ、ホームストレージ、外部サーバ、撮像装置１などのネットワーク通信機能を備えた外部装置との間で、ネットワーク２１４を介して、各種データを送受信する。この通信装置２１３により、外部装置からネットワーク２１４を介して画像データ群及びメタデータを受信することもできる。
【０１７３】
［１．６．表示制御装置の機能構成］
次に、図１３を参照して、本実施形態に係る表示制御装置２０の機能構成について説明する。図１３は、本実施形態に係る表示制御装置２０の機能構成を示すブロック図である。
【０１７４】
図１３に示すように、表示制御装置２０は、データ取得部２１と、記憶部２２と、データ読出部２３と、表示方式決定部２４と、表示制御部２５と、表示部２６と、入力部２７とを備える。
【０１７５】
データ取得部２１は、撮像装置１等の外部機器から、上記マルチフォーカス撮像により得られた複数の画像データからなる画像データ群と、その画像データ群に関するメタデータを取得する。データ取得部２１は、撮像装置１等の外部機から、ネットワーク２１４又はリムーバブル記録媒体２１５などを介して、上記の画像データ群及びそのメタデータを取得できる。例えば、データ取得部２１は、撮像装置１からネットワーク２１４を介して該画像データ群及びメタデータを受信することができる。また、データ取得部２１は、撮像装置１により画像データ群及びメタデータが記録されたメモリカード等のリムーバブル記録媒体２１６から、これらのデータを読み出すこともできる。データ取得部２１は、このように取得した画像データ群とそのメタデータを対応づけて、記憶部２２に記録する。
【０１７６】
記憶部２２は、１又は２以上の画像データ群と、その画像データ群に関するメタデータを対応づけて記憶する。記憶部２２は、例えば、図１２で示したストレージ装置２１０（ＨＤＤ）、リムーバブル記録媒体２１５、半導体メモリなど、データを読み書き可能な任意の記憶装置で構成することができる。図示の例では、記憶部２２に記憶されたメタデータは、画像データ群に属する複数の画像データそれぞれに付加されており、該メタデータと画像データは１つのファイル内に存在しており、これにより両者が対応づけられている。しかし、かかる例に限定されず、例えば、メタデータと画像データとが対応付けられていれば、メタデータと画像データを別ファイルで保存してもよい。
【０１７７】
データ読出部２３は、スライドショー表示対象の画像データ群とメタデータを記憶部２２から読み出し、表示方式決定部２４に提供する。データ読出部２３は、入力部２７に対するユーザ入力により指定された、スライドショー表示対象の画像データ群とそのメタデータを読み出す。なお、データ読出部２３は、スライドショー表示対象として上記マルチフォーカス撮像された画像データ群のみならず、通常撮像されたシングルの画像データとそのメタデータを、記憶部２２から読み出すこともできる。
【０１７８】
表示方式決定部２４は、表示部２６の表示画面に画像データ群をスライドショー表示するときの表示方式を決定する。表示制御部２５は、表示方式決定部２４により決定された表示方式に従って、表示部２６における画像データ群のスライドショー表示を制御する。具体的には、表示制御部２５は、データ読出部２３により読み出されたスライドショー表示対象の画像データを再生（例えば、圧縮データの伸張処理）して、表示部２６に表示するための表示画像を生成し、この表示画像を表示部２６に出力して、表示部２６に表示させる。
【０１７９】
上記画像データ群に属する複数の画像データをスライドショー表示する場合、表示方式決定部２４は、表示対象の画像データ群に対応するメタデータに基づいて、スライドショー表示方式を制御する。このスライドショー表示方式の制御は、画像データ群全体の表示方式を制御することであり、例えば、画像データ群に属する複数の画像データの表示順序の制御や、個々の画像データの表示時間の制御、表示対象の画像データの選別などを含む。
【０１８０】
詳細には、表示方式決定部２４は、メタデータに含まれる焦点位置情報に基づいて、画像データ群に属する複数の画像データの表示順序を制御し、焦点位置に応じた順序で複数の画像データを表示部２６に表示させる。この場合、表示方式決定部２４は、焦点位置が近距離側（マクロ側）にある画像データから遠距離側（無限遠側）にある画像データまで順次表示するよう制御してもよい（第１表示順序）。その逆に、表示方式決定部２４は、焦点位置が遠距離側（無限遠側にある画像データから近距離側（マクロ側）にある画像データまで順次表示するよう制御してもよい（第２表示順序）。
【０１８１】
また、表示方式決定部２４は、メタデータに含まれる合焦画像特定情報に基づいて、該画像データ群に属する複数の画像データの中から、合焦画像データ（代表画像データ）を特定する。上述したように、合焦画像データは、撮像装置１のＡＦ機能又は被写体検出機能などにより、撮像範囲内の特定の被写体に合焦するように撮像して得られた画像データである。この合焦画像データは、当該特定の被写体に対応する合焦点位置で撮像されているので相異なる焦点位置で撮像された複数の画像データからなる画像データ群を代表する代表画像である。
【０１８２】
そして、表示方式決定部２４は、画像データ群の他の画像データよりも合焦画像データがユーザにとって認識されやすいような表示方式となるように、スライドショー表示方式を制御する。例えば、表示方式決定部２４は、合焦画像データであるか否かに応じて、画像データ群に属する複数の画像データの表示時間を制御し、合焦画像データの表示時間（例えば２秒）が他の画像データの表示時間（例えば０．１秒）よりも長くなるようにする。これにより、スライドショー表示過程で、合焦画像データが他の画像データよりも目立つため、ユーザは、順次に再生表示される画像データの中から、合焦画像データを容易に特定できる。
【０１８３】
以上、本実施形態に係る表示制御装置２０の機能構成について説明した。なお、上記データ取得部２１、データ読出部２３、表示方式決定部２４及び表示制御部２５などは、これら各部の機能を実行するプログラムを表示制御装置２０にインストールすることで実現される。該プログラムは、任意の通信媒体又は記憶媒体を介して表示制御装置２０に提供することができる。
【０１８４】
［１．７．メタデータのデータ構造］
次に、図１４を参照して、画像データ群に付加されたメタデータについて詳細に説明する。図１４は、本実施形態に係る画像データ群に付加されたメタデータのデータ構造を示す説明図である。
【０１８５】
図１４に示すように、画像データ群「ＭＰ００００１」は、同一の撮像範囲に対して相異なる焦点位置で撮像された１２枚の画像データ「ＤＳＣ０００１」〜「ＤＳＣ００１２」からなる。この画像データ群「ＭＰ００００１」に関するメタデータ３０は、１２枚の画像データそれぞれに付加された１２個のメタデータ３０−１〜３０−１２からなる。各々のメタデータ３０−１〜３０−１２は、個別メタデータ３２と、共通メタデータ３４とを含む。個別メタデータ３２は、個々の画像データに対応するメタデータであり、画像データごとに異なる情報が付加される。一方、共通メタデータ３４は、画像データ群全体に対応するメタデータであり、１つの画像データ群に属する全ての画像データに対して共通の情報が付加される。以下に、第１番目の画像データ「ＤＳＣ０００１」に対応するメタデータ３０−１の例を用いて、個別メタデータ３２と共通メタデータ３４について詳述する。
【０１８６】
まず、個別メタデータ３２について説明する。個別メタデータ３２は、画像データの識別情報「ＤＳＣ０００１」と、焦点位置情報「Ｚ１」と、合焦範囲情報「ｓ１〜ｄ１」と、撮像日時情報「ｔ１」とを含む。画像データの識別情報は、個々の画像データを識別するための情報であり、例えば、画像ＩＤ、ファイル名などである。重複を避ける観点からは、個々の画像データに固有に付与される画像ＩＤの方が、ファイル名よりもよい。この画像ＩＤにより、個々の画像データを識別できるだけでなく、他の画像データも含めた画像データ群全体を正確に特定することもできる。
【０１８７】
焦点位置情報は、その画像データを撮像したときの焦点位置を表す情報である。焦点位置は、合焦可能範囲（マクロから無限遠まで）における撮像光学系の焦点の位置である。表示方式決定部２４は、この焦点位置情報を参照することで、画像データ群内の複数の画像データの表示順序を、焦点位置順に制御できる。なお、焦点位置情報は、各画像データの焦点位置自体を表す情報でなくてもよく、例えば、各画像データの焦点位置に応じた表示順位を表す情報など、焦点位置に対応する情報であればよい。
【０１８８】
合焦範囲情報は、その焦点位置における合焦範囲を表す情報である。合焦範囲は、焦点位置がある合焦点位置にあるときに、撮像光学系の被写界深度により焦点が合う、合焦点位置の前後の焦点位置の範囲である。かかる合焦範囲情報により、各画像データにおいて合焦している被写体までの距離範囲を特定できる。図示の例では、合焦範囲情報は、焦点位置の範囲「ｓ１〜ｄ１」で表されている。しかし、上述したように、合焦範囲は被写界深度に依存し、その被写界深度は、（ａ）撮像光学系の絞り３の開度、（ｂ）撮像光学系のレンズの焦点距離、（ｃ）撮像装置１から焦点位置までの距離などに応じて変化する。そこで、合焦範囲情報として、図示のような焦点位置の範囲自体ではなく、例えば、（ａ）焦点位置、（ｂ）撮像光学系のレンズの設定値、（ｃ）絞り３の設定値などといった、合焦範囲に対応するパラメータの情報を用いてもよい。
【０１８９】
撮像日時情報は、その画像データを撮像したときの日時を表す情報である。また、個別メタデータ３２は、図示の情報以外にも、サムネイル画像など、個々の画像データに関する各種情報をさらに含んでもよい。この個別メタデータ３２は、例えばＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）などの画像データの標準化規格に準拠している。
【０１９０】
次に、共通メタデータ３４について説明する。共通メタデータ３４は、画像データ群全体に関するメタデータであり、各画像データに共通の情報が付加される。共通メタデータ３４は、例えば、画像データ群の識別情報と、撮像種類情報と、合焦画像特定情報（フォーカスポイント情報）を含む。
【０１９１】
画像データ群の識別情報は、画像データ群を識別するための情報であり、例えば、個々の画像データに固有に付与される群ＩＤ「ＭＰ０００１」、画像データ群の名称などである。
【０１９２】
撮像種類情報は、画像データ群の撮像方法の種類（撮像種類）を表す情報である。撮像種類としては、上述したマルチフォーカス撮像、パノラマ撮像、連写撮像、複数データ形式撮像（例えばＪＰＥＧ＋ＲＡＷ）などがある。図示の例では、画像データ群「ＭＰ０００１」の撮像種類が「マルチフォーカス」であることが分かる。表示方式決定部２４は、かかる撮像種類情報により、表示対象の画像データ群の撮像種類に応じて、表示方式を制御できる。
【０１９３】
さらに、撮像種類情報に付加される下位情報として、フォーカス方法情報と、総枚数情報がある。フォーカス方法情報は、マルチフォーカス撮像におけるフォーカス方法（合焦方法）を表し、フォーカス方法は、例えば、上述した「ＡＦ（図８参照。）」又は「被写体検出（図１０参照。）」などである。フォーカス方法がＡＦである場合には、任意の１つの被写体に合焦する合焦点位置において撮像された１つの画像データのみが、合焦画像データとなる。一方、フォーカス方法が被写体検出である場合には、１又は２以上の被写体それぞれに合焦する合焦点位置において撮像された１又は２以上の画像データが、合焦画像データとなりうる。また、総枚数情報は、画像データ群に含まれる画像データの個数、即ち、１回のマルチフォーカス撮像により得られた画像データの総枚数を表す。図示の例では、画像データ群「ＭＰ００１」は、「１２」枚の画像データを含む。
【０１９４】
合焦画像特定情報（フォーカスポイント情報）は、画像データ群に属する複数の画像データの中から合焦画像データを特定するための情報である。この合焦画像特定情報は、例えば、合焦画像データの識別情報（画像ＩＤ、ファイル名など）であってもよいし、合焦画像データを撮像したときの焦点位置を表す情報であってもよい。上述したように、合焦画像データは、画像データ群に属する複数の画像データを代表する代表画像データとなるものであり、ユーザは、合焦画像データを見ることで、画像データ群内の画像データの内容を把握できるとともに、撮影時に合焦させた被写体も把握できる。
【０１９５】
図示の例では、合焦画像特定情報は、２つの合焦画像データ「ＤＳＣ０００６」、「ＤＳＣ０００８」についてそれぞれ、優先順位情報と、合焦画像データの識別情報と、合焦点位置情報と、ＸＹ座標情報とを含む。
【０１９６】
優先順位情報は、複数の合焦画像データが存在する場合に、各々の合焦画像データの優先順位を表す。図示の例では、「ＤＳＣ０００６」の優先順位が「１」であり、「ＤＳＣ０００８」の優先順位が「２」である。優先順位が最も高い合焦画像データが代表画像データとなる。
【０１９７】
合焦画像データの識別情報「ＤＳＣ０００６」、「ＤＳＣ０００８」は、上記画像データに固有に付与される識別情報（例えば画像ＩＤ）である。また、合焦点位置情報は、合焦画像データを撮像したときの合焦点位置を表す情報である。表示方式決定部２４は、共通メタデータ３４内に保持された合焦画像データの識別情報、又は合焦点位置情報に基づいて、画像データ群の中から合焦画像データを特定することができる。
【０１９８】
ＸＹ座標情報は、合焦画像データのＸＹ平面上において合焦点（撮像時に合焦した所定の被写体）の存在する位置を表す。図示の例では、合焦画像データ「ＤＳＣ０００６」の合焦点のＸＹ座標は画像左側の「ＸＹ１」であり、合焦画像データ「ＤＳＣ０００８」の合焦点のＸＹ座標は画像左側の「ＸＹ２」である。表示方式決定部２４は、かかるＸＹ座標情報により、合焦画像データにおいて合焦点（合焦している被写体）のＸＹ平面位置を特定し、この合焦点のＸＹ平面位置に基づいて、画像データ群を表示制御できる。例えば、表示方式決定部２４は、上記の合焦点位置情報（Ｚ座標）と、ＸＹ座標情報とを用いて、ユーザが所望する画像データを抽出したり、スライドショーで長時間表示する画像データを選択したりできる。
【０１９９】
図示の例では、２つの合焦画像データが存在する場合の合焦画像特定情報について説明した。撮像装置１が複数の被写体を自動検出したときや、ユーザが複数の被写体を指定してマルチフォーカス撮像したときには、複数の合焦画像データについてのメタデータ（合焦画像特定情報）が生成される。一方、ＡＦにより被写体を自動検出してマルチフォーカス撮像したときには、合焦画像データのメタデータ（合焦画像特定情報）は１つだけ生成される。
【０２００】
なお、表示方式決定部２４は、ユーザ入力に基づいて、合焦画像特定情報を変更することができる。例えば、表示方式決定部２４は、合焦画像特定情報を書き換えることで、画像データ群における合焦画像データ（代表画像）を他の画像データに変更することができる。これにより、ユーザは、撮像後に事後的に、画像データ群の代表画像を、当初所望していた被写体（例えば遠景）に合焦した画像から、新たに所望する被写体（例えば近景）に合焦した画像に変更できる。よって、画像データ群の取り扱いが柔軟になるので、ユーザが画像データ群を利用する時の利便性を向上できる。
【０２０１】
以上、個別メタデータ３２と共通メタデータ３４のデータ構造について説明した。画像データ群内のそれぞれの画像データに対して、該各画像データに対応する個別メタデータ３２が付加される。また、画像データ群内の全ての画像データに対して、同一の共通メタデータ３４が付加される。これにより、共通メタデータ３４の欠損を防ぐことができる。
【０２０２】
このように、図１４の例では、従来の画像ファイルの規格（ＥＸＩＦ等）に適合したメタデータと同様に、画像データ群の各画像データに対して、本実施形態に係るメタデータ３０を付加して、１つの画像ファイル（画像データ＋メタデータ３０）とする。これにより、本実施形態に係るメタデータ３０を上記規格に対応した既存の機器、ソフトウェアに対して容易に、適用できるという利点がある。
【０２０３】
図１５は、本実施形態に係るメタデータのデータ構造の変更例を示す説明図である。図１５に示すように、画像データ群を一塊のコンテンツとして取り扱い、画像データ群全体に対して１つのメタデータ３５を付加することも可能である。このメタデータ３５は、画像データ群に関するメタデータ３６と、該画像データ群に属する個々の画像データに関するメタデータ３８とからなる。画像データ群に関するメタデータ３６は、上記図１４で説明した共通メタデータ３４と同様の情報を含む。また、個々の画像データに関するメタデータ３８は、上記図１４で説明した各画像データの個別メタデータ３２−１〜３２−１２の全てを合わせた情報を含む。
【０２０４】
このようなメタデータ３５は、例えば、メタデータ３６及びメタデータ３８を含む１つのファイルで構成され、画像データファイルとは別ファイルとなる。このように、メタデータ３８のファイルを構成しても、当該メタデータ３８のファイルを後述するスライドショー表示制御に利用することができる。しかし、既存の機器や画像表示用ソフトウェア（ビューア）とメタデータとの親和性の観点では、図１５のファイル構成よりも図１４のファイル構成の方が好ましい。
【０２０５】
［１．８．スライドショー表示］
次に、本実施形態に係る表示制御装置２０による画像データ群のスライドショー表示について説明する。本実施形態に係るスライドショー表示では、表示制御装置２０は、上記メタデータの焦点位置情報に基づいて、画像データ群に属する複数の画像データを焦点位置順に１枚ずつ順次表示する。このとき、表示制御装置２０は、上記メタデータの合焦画像特定情報に基づいて、画像データ群のうち、所定の被写体に合焦した合焦画像データの表示時間Ｐを、他の画像データの表示時間Ｑよりも長くなるように表示する。
【０２０６】
［１．８．１．スライドショー表示の概要］
図１６は、本実施形態に係るスライドショー表示を概略的に示す模式図である。図１６に示すように、３つの画像データ群（Ｎ−１群、Ｎ群、Ｎ＋１群）を順次、スライドショー表示する場合を考える。この場合、表示制御装置２０は、各画像データ群Ｎ−１、Ｎ、Ｎ＋１に属する合焦画像データ（代表画像データ）のみならず、合焦画像データ以外の他の画像データも１枚のスライドとして順次表示する。そして、表示制御装置２０は、特定の合焦画像データの表示時間Ｐ（例えば２秒）を、他の画像データの表示時間Ｑ（例えば０．１秒）よりも長くする。この場合の画像データの表示順序は以下の通りである。なお、ｍは各画像データ群に含まれる画像データの総数である。
【０２０７】
この手順をさらに詳細に説明する。まず、１番目の画像データ群Ｎ−１に属するｍＮ−１枚の画像データＮ−１（１）〜（ｍＮ−１）が、近距離側（マクロ側）から順に表示される。このとき、まず、合焦画像データＮ−１（ｐ）よりも近距離側の画像データＮ−１（１）〜Ｎ−１（ｐ−１）をＱ秒（例えば０．１秒）間隔で、焦点位置順に表示した後に、合焦画像データＮ−１（ｐ）をＰ秒間（例えば２秒間）表示する。その後、合焦画像データＮ−１（ｐ）よりも遠距離側の画像データＮ−１（ｐ＋１）〜Ｎ−１（ｍＮ−１）をＱ秒（例えば０．１秒）間隔で、焦点位置順に表示する。
【０２０８】
次いで、２番目の画像データ群Ｎに属するｎ枚の画像データＮ（１）〜（ｍＮ）が、近距離側（マクロ側）から順に表示される。このときも、上記画像データ群Ｎ−１と同様にして、合焦画像データＮ（ｐ）の表示時間Ｐが他の画像データＮ（１）〜Ｎ（ｐ−１）、Ｎ（ｐ＋１）〜Ｎ（ｍＮ）の表示時間Ｑよりも長くなるように表示される。その後、同様にして、３番目の画像データ群Ｎ＋１に属するｍＮ＋１枚の画像データＮ＋１（１）〜（ｍＮ＋１）が、近距離側（マクロ側）から順に表示される。
【０２０９】
以上のように、複数の画像データ群Ｎ−１、Ｎ、Ｎ＋１をスライドショー表示するときに、短距離側から遠距離側に向けて焦点位置順に画像データを順次表示する。さらに、所定の被写体に合焦した合焦画像データＮ−１（ｐ）、Ｎ（ｐ）、Ｎ＋１（ｐ）を他の画像データよりも長時間表示する。これにより、合焦画像データ（ｐ）、Ｎ（ｐ）、Ｎ＋１（ｐ）で合焦している特定の被写体に、徐々にピントが合っていき、合焦画像データを表示した後には、当該被写体から徐々にピントが外れていくように、複数の画像データをスライドショー表示できる。これにより、ユーザに対し、スライドショー表示を効果的に演出できる。また、合焦画像データと他の画像データでは表示時間が違うため、ユーザは、合焦画像データを容易に認識できる。
【０２１０】
［１．８．２．スライドショー表示フロー］
次に、図１７を参照して本実施形態に係るスライドショー表示フローについて説明する。図１７は、本実施形態に係るスライドショー表示を示すフローチャートである。
【０２１１】
図１７に示すように、まず、表示制御装置２０は、スライドショー用のアプリケーションソフトウェアを起動する（Ｓ１００）。次いで、表示制御装置２０は、ユーザ入力に基づいて、記憶部２２に保存されている画像データ群の中から、スライドショー表示対象の画像データを選択する（Ｓ１０２）。
【０２１２】
ここで、図１８を参照して、表示対象の画像データ群の選択について詳述する。図１８は、本実施形態に係る表示制御装置２０の表示画面に表示される画像選択ウィンドウ４０を示す模式図である。
【０２１３】
図１８に示すように、画像選択ウィンドウ４０には、記憶部２２に保存されているシングル画像データや画像データ群のファイルを表す複数のサムネイル画像４２Ａ〜Ｅが表示される。ユーザは、かかるサムネイル画像４２は、マルチフォーカス撮像により得られた画像データ群のサムネイル画像４２Ｂ、Ｄ、Ｅと、通常撮像により得られたシングル画像データのサムネイル画像４２Ａ、Ｅを含む。これ以外にも、連写撮像により得られた画像データ群のサムネイル画像（図示せず）など、任意のフォーカス方法で撮像された画像又は画像データ群を表示してもよい。
【０２１４】
画像データ群のサムネイル画像４２Ｂ、Ｄ、Ｅは、画像データ群の中で優先順位が最も高い合焦画像データの画像（代表画像）であり、その画像データ群に属する他の画像データの画像は表示されない。同一の画像データ群に属する多数の類似画像のサムネイル画像を表示してしまうと、ユーザにとって煩雑であるが、上記のように画像データ群のうちの代表画像のみを表示することで、ユーザは、自己の保有する画像を容易に認識及び管理できるようになる。
【０２１５】
ユーザは、このような画像選択ウィンドウ４０にてスライドショー表示対象の画像（画像データ群及び／又はシングル画像）を選択して、スライドショー実行を指示する。これに応じて、表示制御装置２０は、選択された画像データ群やシングル画像を順次スライドショー表示する。
【０２１６】
図１７に戻り、スライドショー表示フローの説明を続ける。まず、表示制御装置２０のデータ読出部２３は、Ｓ１０２で選択された画像データ群のうち、１番目の画像データ群とそのメタデータを記憶部２２から読み出す（Ｓ１０４）。そして、表示制御装置２０は、当該１番目の画像データに属する複数の画像データのうち、１番目の画像データから順に表示開始する（Ｓ１０６）。１番目の画像データは、例えば、画像データ群のうちで焦点距離が最も近距離側（マクロ側）にある画像データでもよいし、或いは、焦点距離が最も遠距離側（無限遠側）にある画像データであってもよい。表示制御装置２０の表示方式決定部２４は、メタデータに含まれる焦点位置情報を参照して、画像データ群内の複数の画像データの表示順序を、焦点位置の昇順又は降順に制御する。
【０２１７】
次いで、表示方式決定部２４は、メタデータに含まれる合成画像特定情報を用いて、１番目の画像データが合焦画像データ（代表画像データ）であるか否かを判定する（Ｓ１０８）。詳細には、表示方式決定部２４は、合成画像特定情報に含まされる合焦画像データの識別情報（若しくは合焦点位置情報）と、メタデータに含まれる１番目の画像データの識別情報（若しくは焦点位置情報）とを比較する。この比較により、両者が一致すれば、１番目の画像データが合焦画像データあると判定し、一致しなければ、１番目の画像データが合焦画像データではないと判定する。
【０２１８】
Ｓ１０８での判定の結果、１番目の画像データが合焦画像データであれば、表示方式決定部２４は、１番目の画像データの表示時間をＰ（例えば２秒）に決定し、表示制御部２５は、１番目の画像データを表示開始してから所定の表示時間Ｐ（例えば２秒）経過するまで、１番目の画像データを表示し続ける（Ｓ１１０）。一方、１番目の画像データが合焦画像データ以外の他の画像データであれば、表示方式決定部２４は、１番目の画像データの表示時間をＱ（例えば０．１秒）に決定し、表示制御部２５は、１番目の画像データを表示開始してから所定の表示時間Ｑ（例えば０．１秒）経過するまで、１番目の画像データを表示し続ける（Ｓ１１２）。
【０２１９】
このようにして、１番目の画像データが合焦画像データであれば、所定の表示時間Ｐだけ表示され、合焦画像データであなければ、合焦画像データよりも短い所定の表示時間Ｑ（Ｑ＜Ｐ）だけ表示される。
【０２２０】
その後、表示方式決定部２４は、画像データ群に属する全ての画像データの表示を終了したか否かを判定し（Ｓ１１４）、終了していなければ、次の画像データ（２番目の画像データ）を表示開始する（Ｓ１１６）。そして、２番目の画像データについても、上記と同様にして、合焦画像データであれば表示時間Ｐだけ表示し、合焦画像データでなければ表示時間Ｑだけ表示する（Ｓ１０８〜Ｓ１１２）。以上の処理を、画像データ群に属する全ての画像データについて繰り返し、全ての画像データの表示が終了すれば（Ｓ１１４）、Ｓ１１８に進む。
【０２２１】
Ｓ１１８では、表示方式決定部２４は、上記Ｓ１０２で選択された全ての画像データ群の表示が終了したか否かを判定し（Ｓ１１８）、終了していなければ、データ読出部２３は、次の画像データ群とそのメタデータを読み出す（Ｓ１２０）。そして、当該次の画像データ群について、上記と同様にして画像データを焦点位置順に１枚ずつスライドショー表示する（Ｓ１０６〜Ｓ１１６）。以上の処理を、表示対象の全ての画像データ群について繰り返し、全ての画像データ群のスライドショー表示が終了すれば（Ｓ１１８）、スライドショー表示処理を終了する。
【０２２２】
以上、第１の実施形態に係るスライドショー表示について説明した。第１の実施形態によれば、相異なる焦点位置において撮像された複数の画像データからなる画像データ群を効果的にスライドショー表示できる。つまり、第１実施形態に係るスライドショー表示では、画像データ群のうち、特定の被写体に合焦した合焦画像データだけでなく他の画像データも用いて、焦点位置順に１枚ずつユーザに提示する。これにより、合焦画像データ内の特定の被写体に徐々にピントが合うように効果的に演出してスライドショー表示できる。しかも、合焦画像データの表示時間Ｐが他の画像データの表示時間Ｑよりも長いので、画像データ群のうちで合焦画像データを強調して表示できる。従って、ユーザは、画像データ群のうち合焦画像データを明確に認識できるとともに、多数の類似画像のスライドショー表示にメリハリを持たせることができるので、ユーザが倦怠感を感じないようにできる。
【０２２３】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第２の実施形態に係るスライドショー表示は、上述した第１の実施形態と比べて、画像データ群に属する画像データの表示順序を制御する点で相違し、その他の機能構成は第１の実施形態と同様であるので、その詳細説明は省略する。
【０２２４】
［２．１．スライドショー表示の概要］
まず、図１９を参照して、第２の実施形態に係るスライドショー表示の概要について説明する。図１９は、第２の実施形態に係るスライドショー表示を概略的に示す模式図である。
【０２２５】
上記の第１の実施形態では、画像データ群に属する複数の画像データをスライドショー表示するときの表示順序は、図１９のルート２に示すように、常に近距離側から遠距離側であった。即ち、画像データ群内の合焦画像データの配置に関わらず、常に、焦点位置が近距離側にある画像データから順に表示していた（Ｎ（１）→Ｎ（２）→・・・→Ｎ（１２））。このように近距離側から遠距離側の順（焦点位置の昇順）に複数の画像データを順次表示する表示順序を、「順方向の表示順序」と称する。この順方向の表示順序は、本発明の第１の表示順序に相当する。
【０２２６】
しかし、このように表示順序を順方向（近距離側から遠距離側）に固定してしまうと、複数の画像データ群を連続して表示するときに、次の問題がある。例えば、図１９に示すように、１番目に表示する画像データ群Ｎ−１では近距離側に合焦画像データがあり、２番目に表示する画像データ群Ｎでは遠距離側に合焦画像データがある場合を考える。この場合、画像データ群Ｎ−１及び画像データ群Ｎの双方を順方向の表示順序で表示すると、画像データ群Ｎ−１の合焦画像データＮ−１（２）の表示後は、まず、画像データ群Ｎ−１に属する１０枚の画像データＮ−１（３）〜（１２）が順次表示される。次いで、画像データ群Ｎに属する１０枚の画像データＮ（３）〜（１０）が順次表示される。その後に、画像データ群Ｎの合焦画像データＮ（１１）が表示される。即ち、合焦画像データＮ−１（２）が表示されてから合焦画像データＮ（１１）が表示されるまでの間に、合計２０枚のピントがぼけた画像データが長時間に渡り表示されることになるので、ユーザは倦怠感を感じる恐れがある。
【０２２７】
そこで、第２の実施形態では、画像データ群の表示順序として、上記の「順方向の表示順序（第１の表示順序）」のみならず、「逆方向の表示順序（第２の表示順序）」も使用する。「逆方向の表示順序」は、焦点位置が遠距離側にある画像データから順に表示する表示順序である。この逆方向の表示順序では、図１９のルート２で示すように、画像データ群Ｎに属する複数の画像データＮ（１）〜（１２）が、遠距離側から近距離側の順（焦点位置の降順）に表示される（Ｎ（１２）→Ｎ（１１）→・・・→Ｎ（１））。
【０２２８】
そして、表示方式決定部２４は、それぞれの画像データ群Ｎ−１、Ｎに属する複数の画像データを焦点位置順に配列したときに、合焦画像データが近距離側にあるか遠距離側にあるかを判定する。さらに、表示方式決定部２４は、当該判定結果と、先の画像データ群Ｎ−１の表示順序に応じて、次の画像データ群Ｎの表示順序を、上記順方向又は逆方向の表示順序のいずれかに決定する。
【０２２９】
［２．２．表示順序の決定手法］
次に、本実施形態に係る各画像データの表示順序の決定手法について詳述する。図１９に示すように、表示方式決定部２４は、先に表示される画像データ群Ｎ−１について、合焦画像データＮ−１（２）の近距離側にある画像データの個数ＡＮ−１と、合焦画像データＮ−１（２）の遠距離側にある画像データの個数ＢＮ−１を比較する。図１９の例では、ＡＮ−１＝１、ＢＮ−１＝１０であるので、ＢＮ−１＞ＡＮ−１である。よって、画像データ群Ｎ−１では、合焦画像データＮ−１（２）は、全ての画像データＮ−１（１）〜（１２）の中で近距離側にあると判定できる。
【０２３０】
さらに、表示方式決定部２４は、次に表示される画像データ群Ｎについて、合焦画像データＮ（１１）の近距離側にある画像データの個数ＡＮと、合焦画像データＮ（１１）の遠距離側にある画像データの個数ＢＮを比較する。図１９の例では、ＡＮ＝１０、ＢＮ＝１であるので、ＡＮ＞ＢＮである。よって、画像データ群Ｎでは、合焦画像データＮ（１１）は、全ての画像データＮ（１）〜（１２）の中で遠距離側にあると判定できる。
【０２３１】
そして、表示方式決定部２４は、先に表示される画像データ群Ｎ−１の表示順序と、上記２つの判定結果（ＢＮ−１＞ＡＮ−１、ＡＮ＞ＢＮ）に応じて、次に表示される画像データ群Ｎの表示順序を、順方向（近距離→遠距離）又は逆方向（遠距離→近距離）に決定する。図１９の例では、画像データ群Ｎ−１の表示順序が順方向であり、ＢＮ−１＞ＡＮ−１、ＡＮ＞ＢＮであるので、画像データ群Ｎの表示順序は逆方向に決定される（図１９のルート２を参照。）。
【０２３２】
上記の手法では、ＡＮ−１とＢＮ−１の比較結果に基づいて、画像データ群Ｎ−１の中で合焦画像データＮ−１（２）が近距離側にあるか遠距離側にあるかを判定する。そして、ＡＮとＢＮの比較結果に基づいて、画像データ群Ｎの中で合焦画像データＮ（１１）が中心よりも近距離側にあるか遠距離側にあるかを判定する。しかし、画像データ群Ｎ−１内の合焦画像データの配置を判定する手法は、かかる例に限定されず。例えば、次の判定手法を用いることもできる。即ち、まず、画像データ群Ｎ−１の合焦画像データの総数ｍＮ−１（例えばｍＮ−１＝１２）の半値「ｍＮ−１／２」を閾値として求める。そして、当該閾値「ｍＮ−１／２」と上記ＡＮ−１（又はＢＮ−１）との比較結果に基づき、画像データ群Ｎ−１内で合焦画像データが中心よりも近距離側にあるか遠距離側にあるかを判定してもよい。また、画像データ群Ｎについても同様に、閾値「ｍＮ／２」と上記ＡＮ（又はＢＮ）との比較結果に基づき、画像データ群Ｎ内で合焦画像データが中心よりも近距離側にあるか遠距離側にあるかを判定できる。
【０２３３】
ここで、上記のように閾値「ｍ／２」を用いた判定結果と、先の画像データ群Ｎ−１の表示順序に応じて次の画像データ群Ｎの表示順序を決定する手法について、より詳細に説明する。なお、画像データ群Ｎ−１の画像データの総数と画像データ群Ｎの画像データの総数は、同数（ｍＮ−１＝ｍＮ）であっても、異なる数（ｍＮ−１≠ｍＮ）であってもよい。
【０２３４】
（１）ＡＮ−１＞（ｍＮ−１／２）、かつ、ＡＮ＞（ｍＮ／２）である場合
この場合、画像データ群Ｎ−１及びＮの双方において、合焦画像データが中心よりも遠距離側にあるので、画像データ群Ｎの表示順序は、画像データ群Ｎ−１の表示順序と同一方向とする。つまり、画像データ群Ｎ−１の表示順序が順方向であれば、画像データ群Ｎの表示順序も順方向とし、画像データ群Ｎ−１の表示順序が逆方向であれば、画像データ群Ｎの表示順序も逆方向とする。
【０２３５】
（２）ＡＮ−１＜（ｍＮ−１／２）、かつ、ＡＮ＜（ｍＮ／２）である場合
この場合、画像データ群Ｎ−１及びＮの双方において、合焦画像データが中心よりも近距離側にあるので、画像データ群Ｎの表示順序は、画像データ群Ｎ−１の表示順序と同一方向とする。
【０２３６】
（３）ＡＮ−１＞（ｍＮ−１／２）、かつ、ＡＮ＜（ｍＮ／２）である場合
この場合、画像データ群Ｎ−１において合焦画像データが中心よりも遠距離側にあり、画像データ群Ｎにおいて合焦画像データが中心よりも近距離側にあるので、画像データ群Ｎの表示順序は、画像データ群Ｎ−１の表示順序と逆方向とする。つまり、画像データ群Ｎ−１の表示順序が順方向であれば、画像データ群Ｎの表示順序は逆方向とし、画像データ群Ｎ−１の表示順序が逆方向であれば、画像データ群Ｎの表示順序は順方向とする。
【０２３７】
（４）ＡＮ−１＜（ｍＮ−１／２）、かつ、ＡＮ＞（ｍＮ／２）である場合
この場合、画像データ群Ｎ−１において合焦画像データが中心よりも近距離側にあり、画像データ群Ｎにおいて合焦画像データが中心よりも遠距離側にあるので、画像データ群Ｎの表示順序は、画像データ群Ｎ−１の表示順序と逆方向とする。
【０２３８】
［２．３．スライドショー表示フロー］
次に、図２０を参照して本実施形態に係るスライドショー表示フローについて説明する。図２０は、本実施形態に係るスライドショー表示を示すフローチャートである。
【０２３９】
図２０に示すように、まず、表示制御装置２０は、スライドショー用のアプリケーションソフトウェアを起動し（Ｓ２００）、スライドショー表示対象の画像データを選択する（Ｓ２０２）。次いで、表示制御装置２０のデータ読出部２３は、Ｓ２０２で選択された画像データ群のうち、１番目の画像データ群とそのメタデータを記憶部２２から読み出す（Ｓ２０４）。以上までのステップＳ２００〜Ｓ２０４は、第１の実施形態に係る図１７のステップＳ１００〜Ｓ１０４と略同一であるので、その詳細説明は省略する。
【０２４０】
次いで、表示制御装置２０の表示方式決定部２４は、Ｓ２０４で読み出された画像データ群のメタデータに基づいて、当該画像データ群に属する複数の画像データの表示順序を決定する（Ｓ２０５）。このＳ２０５での表示順序の決定処理は、本実施形態の特徴であるので、以下に図２１を参照して詳述する。図２１は、本実施形態に係る表示順序の決定処理を示すフローチャートである。
【０２４１】
図２１に示すように、まず、表示方式決定部２４は、表示対象の画像データ群Ｎが、スライドショー表示される複数の画像データ群のうちの最初の画像データ群（Ｎ＝１）であるか否かを判定する（Ｓ２３０）。この判定の結果、画像データ群Ｎが最初の画像データ群である場合、表示方式決定部２４は、該画像データ群Ｎに属する複数の画像データの表示方向を、予め設定されたデフォルトの表示順序に決定する（Ｓ２３２）。このデフォルトの表示順序は、順方向の表示順序（近距離→遠距離）又は逆方向の表示順序（遠距離→近距離）のいずれに設定してもよい。
【０２４２】
一方、Ｓ２３０での判定の結果、画像データ群Ｎが最初の画像データ群でない場合、表示方式決定部２４は、該画像データ群Ｎの前に表示された画像データ群Ｎ−１について、合焦画像データが近距離にあるか遠距離側にあるかを判定する（Ｓ２３４）。詳細には、表示方式決定部２４は、画像データ群Ｎ−１の焦点位置情報に基づいて、画像データ群Ｎ−１に属する複数の画像データを焦点位置順に配列したときに、合焦画像データが近距離側にあるか遠距離側にあるかを判定する。この判定では、表示方式決定部２４は、例えば、画像データ群Ｎ−１に属する画像データのうち合焦画像データの近距離側にある画像データの個数ＡＮ−１と、画像データ群Ｎ−１に属する画像データの総数ｍＮ−１の半値「ｍＮ−１／２」とを比較する。この結果、ＡＮ−１＞（ｍＮ−１／２）であれば、画像データ群Ｎ−１内で合焦画像データが遠距離側にあると判定して、Ｓ２３６に進む。一方、ＡＮ−１≦（ｍＮ−１／２）であれば、像データ群Ｎ−１内で合焦画像データが近距離側にあると判定して、Ｓ２３８に進む。
【０２４３】
Ｓ２３６及びＳ２３８ではともに、表示方式決定部２４は、該画像データ群Ｎについて、合焦画像データが近距離にあるか遠距離側にあるかを判定する（Ｓ２３６、Ｓ２３８）。詳細には、表示方式決定部２４は、画像データ群Ｎの焦点位置情報に基づいて、画像データ群Ｎに属する複数の画像データを焦点位置順に配列したときに、合焦画像データが近距離側にあるか遠距離側にあるかを判定する。この判定では、表示方式決定部２４は、例えば、画像データ群Ｎに属する画像データのうち合焦画像データの近距離側にある画像データの個数ＡＮと、画像データ群Ｎに属する画像データの総数ｍＮの半値「ｍＮ／２」とを比較する。
【０２４４】
この結果、Ｓ２３６にて、ＡＮ＞（ｍＮ／２）である場合には（Ｓ２３６のＹＥＳ）、画像データ群Ｎ内で合焦画像データが遠距離側にあると判定してＳ２４０に進む。また、Ｓ２３８にて、ＡＮ≦（ｍＮ／２）である場合には（Ｓ２３８のＮＯ）、画像データ群Ｎ内で合焦画像データが近距離側にあると判定して、Ｓ２４０に進む。以上のように、Ｓ２４０に進むのは、画像データ群Ｎ−１及び画像データ群Ｎの双方において、合焦画像データが遠距離側又は近距離側にある場合である。そしてＳ２４０では、表示方式決定部２４は、画像データ群Ｎの表示順序を画像データ群Ｎの表示順序と同一方向の表示順序に決定する（Ｓ２４０）。
【０２４５】
一方、Ｓ２３６にて、ＡＮ≦（ｍＮ／２）である場合には（Ｓ２３６のＮＯ）、画像データ群Ｎ内で合焦画像データが近距離側にあると判定してＳ２４２に進む。また、Ｓ２３８にて、ＡＮ−１＞（ｍＮ−１／２）である場合には（Ｓ２３８のＹＥＳ）、画像データ群Ｎ内で合焦画像データが遠距離側にあると判定して、Ｓ２４２に進む。以上のように、Ｓ２４２に進むのは、画像データ群Ｎ−１の合焦画像データと画像データ群Ｎの合焦画像データが逆側にある場合である。そしてＳ２４２では、表示方式決定部２４は、画像データ群Ｎの表示順序を画像データ群Ｎの表示順序と逆方向の表示順序に決定する（Ｓ２４２）。
【０２４６】
以上、図２１を参照して、本実施形態に係る画像データ群Ｎの表示順序の決定処理を説明した。図２０に戻り、説明を続ける。
【０２４７】
図２１のようにして画像データ群Ｎの表示順序が決定される。その後、表示制御部２５は、表示制御部２５は、上記決定された表示順序に従って、画像データ群Ｎに属する複数の画像データを順方向（近距離→遠距離）又は逆方向（遠距離→近距離）に順次スライドショー表示する（Ｓ２０６〜Ｓ２１６）。このとき、表示制御部２５は、表示対象の画像データが合焦画像データあれば（Ｓ２０８）、長い表示時間Ｐだけ表示し（Ｓ２１０）、合焦画像データでなければ（Ｓ２０８）、短い表示時間Ｑだけ表示する（Ｓ２１２）。この表示処理は、画像データ群Ｎ内の全ての画像データについて順次繰り返される（Ｓ２１４、Ｓ２１６）。かかるステップＳ２０６〜Ｓ２１６は、第１の実施形態に係る図１７のステップＳ１０６〜Ｓ１１６と略同一であるので、その詳細説明は省略する。
【０２４８】
その後、画像データ群Ｎのスライドショー表示が終了した場合（Ｓ２１４）、表示方式決定部２４は、次の画像データ群Ｎ＋１が有るか否かを判定し（Ｓ２１８）、次の画像データ群Ｎ＋１が有る場合、次の画像データ群Ｎ＋１を記憶部２２から読み出す（Ｓ２２０）。かかる次の画像データ群Ｎ＋１をスライドショー表示するときには、図２１のフローに従って、画像データ群Ｎの表示順序に応じて、画像データ群Ｎ＋１の表示順序を決定した上で（Ｓ２０５）、スライドショー表示する（Ｓ２０６〜Ｓ２１６）。かかる処理をＳ２０２で選択された全ての画像データ群について繰り返し行うことで、スライドショー表示が進行していく。
【０２４９】
以上、本実施形態に係る画像データ群Ｎの表示順序の決定処理と、それを用いたスライドショー表示処理を説明した。上述したように、画像データＮ−１内で合焦画像データが近距離側にあり、画像データＮ内で合焦画像データが遠距離側にある場合（図１９参照）や、その逆の場合がある。かかる場合に、全ての画像データ群で表示順序を同一方向とすると、画像データＮ−１の合焦画像データが表示されてから、画像データＮの合焦画像データが表示されるまでの間に、ピントがぼけた多数の画像データが長時間表示されるという問題があった。
【０２５０】
これに対し、本実施形態に係る表示順序の決定手法（図２１参照。）によれば、画像データ群Ｎ−１の合焦画像データと画像データ群Ｎの合焦画像データが逆側にある場合には、画像データ群Ｎの表示順序を、先の画像データ群Ｎ−１の表示順序と逆方向にする。これにより、複数の画像データ群の合焦画像データ間で、ピントがぼけた画像データが連続して表示される時間を短縮及び均一化できるので、ユーザがスライドショー表示を見飽きてしまうことを防止できる。
【０２５１】
なお、図２０のフローでは、先に表示された画像データ群Ｎ−１の情報を用いて、現在表示される画像データ群Ｎの表示順序を制御したが、後に表示される画像データ群Ｎ＋１の情報を用いて、現在表示される画像データ群Ｎの表示順序を制御することも可能である。この場合には、Ｓ２０４で、スライドショー表示対象の全ての画像データ群に関するメタデータを読み込んでおき、該全ての画像データ群のメタデータに基づき、各画像データ群の表示順序等を制御してもよい。これにより、複数の画像データ群をスライドショー表示するときの表示方式を、さらに最適化できる。
【０２５２】
［２．４．スライドショー表示の変更例］
次に、図２２を参照して、第２の実施形態に係るスライドショー表示の変更例について説明する。図２２は、第２の実施形態の変更例に係るスライドショー表示を概略的に示す模式図である。
【０２５３】
図２２に示すように、スライドショー表示対象の画像データ群Ｎにおいて、合焦画像データＮ（２）が近距離側若しくは遠距離側に偏って存在している場合がある。かかる場合には、本変更例に係る表示制御装置２０は、ユーザの期待感をあおるために、目的の合焦画像データＮ（２）を表示するまでの時間を長くするように、表示順序を決定する。図示の例では、合焦画像データＮ（２）が近距離側にあるので、ユーザの期待感をあおるために、合焦画像データＮに属する複数の画像データを遠距離側から順に、逆方向の表示順序で表示する（Ｎ（ｍＮ）→Ｎ（ｍＮ−１）→・・・→Ｎ（２）→Ｎ（１））。これとは逆に、合焦画像データが遠距離側にある場合には、ユーザの期待感をあおるために、合焦画像データＮに属する複数の画像データを近距離側から順に、順方向の表示順序で表示する（Ｎ（１）→Ｎ（２）→・・・→Ｎ（ｍＮ−１）→Ｎ（ｍＮ））。
【０２５４】
ここで、図２３を参照して、本実施形態の変更例に係る表示順序の決定処理について説明する。図２３は、本実施形態の変更例に係る表示順序の決定処理を示すフローチャートである。なお、図２３の処理は、上記図２１のステップＳ２０５のサブルーチンに相当する。
【０２５５】
図２３に示すように、まず、表示方式決定部２４は、画像データＮ内で合焦画像データが近距離にあるか遠距離側にあるかを判定する（Ｓ２５０）。詳細には、表示方式決定部２４は、画像データ群Ｎの焦点位置情報に基づいて、画像データ群Ｎに属する複数の画像データを焦点位置順に配列したときに、合焦画像データが近距離側にあるか遠距離側にあるかを判定する。この判定では、表示方式決定部２４は、例えば、画像データ群Ｎに属する画像データのうち合焦画像データの近距離側にある画像データの個数ＡＮと、画像データ群Ｎに属する画像データの総数ｍＮの半値「ｍＮ／２」とを比較する。
【０２５６】
この結果、ＡＮ＞（ｍＮ／２）であれば、画像データ群Ｎ内で合焦画像データが遠距離側にあると判定して、Ｓ２５２に進む。Ｓ２５２では、表示方式決定部２４は、画像データ群Ｎに属する複数の画像データの表示順序を順方向（近距離側から遠距離側）に決定する（Ｓ２５２）。一方、ＡＮ≦（ｍＮ／２）であれば、像データ群Ｎ内で合焦画像データが近距離側にあると判定して、Ｓ２５４に進む。Ｓ２５４では、表示方式決定部２４は、画像データ群Ｎに属する複数の画像データの表示順序を逆方向（遠距離側から近距離側）に決定する（Ｓ２５２）。
【０２５７】
なお、上記ではＡＮと（ｍＮ／２）との比較結果に基づいて、表示順序を決定したが、かかる例に限定されず、例えば、ＡＮとＢＮとの比較結果に基づいて、表示順序を決定してもよい。ＢＮは、画像データ群Ｎのうち、合焦画像データの遠距離側にある画像データの個数である。ＡＮ＞ＢＮであれば、画像データ群Ｎ内で合焦画像データが遠距離側にあると判定でき、ＡＮ≦ＢＮであれば、画像データ群Ｎ内で合焦画像データが近距離側にあると判定できる。
【０２５８】
以上、本実施形態の変更例に係る表示順序の決定処理について説明した。本変更例によれば、画像データ群Ｎをスライドショー表示する際に、画像データ群Ｎ内で合焦画像データが遠距離側にあるか近距離側にあるかを判定し、当該判定結果に応じて、画像データ群Ｎに属する複数の画像データの表示順序を順方向又は逆方向に決定する。これにより、画像データ群Ｎの最初の画像データの表示開始から、ユーザ所望の合焦画像データを表示するまでの時間を長時間にできる。よって、目的の代表画像を見たいというユーザの期待感を高めることができ、効果的なスライドショー表示を実行できる。
【０２５９】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。第３の実施形態に係るスライドショー表示は、上述した第１の実施形態と比べて、画像データ群に属する画像データを選別する点で相違し、その他の機能構成は第１の実施形態と同様であるので、その詳細説明は省略する。
【０２６０】
［３．１．スライドショー表示の概要］
まず、図２４を参照して、第３の実施形態に係るスライドショー表示の概要について説明する。図２４は、第３の実施形態に係るスライドショー表示を概略的に示す模式図である。
【０２６１】
図２４に示すように、複数の画像データ群Ｎ−１、Ｎ、Ｎ＋１を順次スライドショー表示する例について説明する。なお、第３の実施形態は、いずれの画像データ群Ｎ−１、Ｎ、Ｎ＋１でも、表示順序は順方向（近距離→遠距離）としているが、第２実施形態のように順方向と逆方向を併用してもよい。
【０２６２】
例えば画像データ群Ｎ−１のように、複数の画像データＮ−１（１）〜（ｍＮ−１）を焦点位置順に配列したとき、合焦画像データＮ−１（２）が近距離側にあり、該合焦画像データより遠距離側にある画像データＮ−１（３）〜（ｍＮ−１）が多数となる場合がある。この場合、画像データ群Ｎ−１をスライドショー表示すると、合焦画像データＮ−１（２）が表示された後に、ピントがぼけた多数の画像データＮ−１（３）〜（ｍＮ−１）が長時間に渡り表示されることになる。このため、ユーザは退屈して、倦怠感を感じる恐れがある。
【０２６３】
また、画像データ群Ｎ＋１のように、複数の画像データＮ＋１（１）〜（ｍＮ＋１）を焦点位置順に配列したとき、合焦画像データＮ＋１（９）が遠距離側にあり、該合焦画像データより近距離側にある画像データＮ＋１（１）〜（８）が多数となる場合がある。この場合も、上記と同様に、ピントがぼけた多数の画像データＮ＋１（１）〜（８）が長時間に渡り表示されるので、ユーザは倦怠感を感じる恐れがある。
【０２６４】
そこで、第３の実施形態では、表示制御装置２０は、各画像データ群において合焦画像データよりも近距離側又は遠距離側にある画像データの個数Ａ、Ｂを求め、当該個数Ａ、Ｂに応じて、当該近距離側又は遠距離側にある画像データ全体の表示時間が所定時間以下となるように、表示方式を制御する。このように表示方式を制御する方法としては、例えば、以下の（ａ）、（ｂ）の方法がある。
【０２６５】
（ａ）上記個数Ａ、Ｂが所定の閾値以上である場合に、合焦画像データよりも近距離側又は遠距離側にある他の画像データを、合焦画像データからの距離に応じて選別して、その一部をスライドショー表示対象から除外する。
【０２６６】
（ｂ）上記個数Ａ、Ｂが所定の閾値以上である場合に、合焦画像データよりも近距離側又は遠距離側にある他の画像データの少なくとも一部の表示時間を短縮する。
【０２６７】
このような本実施形態に係る表示方式の制御について、図２４の例で具体的に説明する。例えば、画像データ群Ｎ−１をスライドショー表示する場合、表示制御装置２０は、合焦画像データＮ−１（２）よりも遠距離側にある画像データ（３）〜（ｍＮ−１）の個数ＢＮ−１を求める。そして、表示制御装置２０は、当該個数ＢＮ−１が所定の閾値以上である場合に、当該画像データＮ−１（３）〜（ｍＮ−１）全体の表示時間が所定時間以下となるように、表示方式を制御する。
【０２６８】
本実施形態に係る表示方式の制御方法として、例えば、上記（ａ）の方法を用いる場合、表示制御装置２０は、合焦画像データＮ−１（２）からの距離に応じて、画像データＮ−１（３）〜（ｍＮ−１）を選別する。詳細には、表示制御装置２０は、合焦画像データＮ−１（２）から遠距離側に所定枚数Ｄ（例えばＤ＝５）までの画像データＮ−１（３）〜（７）をスライドショー表示対象として選別する。また、表示制御装置２０は、所定枚数Ｄより遠距離側の画像データＮ−１（８）〜（ｍＮ−１）をスライドショー表示対象として選別から除外する。これにより、画像データ群Ｎ−１のスライドショー表示では、画像データＮ−１（１）〜（７）のみが順次表示され、次いで、画像データ群Ｎの画像データＮ（１）が表示される。これにより、ピントがぼけた画像データの表示枚数を低減できるので、ピントがぼけた画像が表示される時間を短縮できる。
【０２６９】
なお、上記のように合焦画像データＮ−１（２）から所定枚数Ｄ以降にある画像データＮ−１（８）〜（ｍＮ−１）を除外する代わりに、合焦画像データの遠距離側にある画像データＮ−１（３）〜（ｍＮ−１）から、スライドショー表示対象を間引いてもよい。例えば、画像データＮ−１（３）、（５）、（７）・・・（ｍＮ−１）をスライドショー表示対象として残し、その他の画像データＮ−１（４）、（６）、（８）・・・（ｍＮ−１−１）を該表示対象から除外してもよい。
【０２７０】
また、本実施形態に係る表示方式の制御方法として、例えば、上記（ｂ）の方法を用いる場合、表示制御装置２０は、合焦画像データＮ−１（２）よりも遠距離側にある画像データ（３）〜（ｍＮ−１）の表示時間を、通常の表示時間Ｑ（例えば０．１秒）よりも短縮して、表示時間Ｑ’（例えば０．０５秒）とする。これにより、画像データ（３）〜（ｍＮ−１）を全て表示したとしても、表示速度を通常よりも速くできるので、ピントがぼけた画像が表示される時間を短縮できる。
【０２７１】
［３．２．画像選別手法］
次に、画像データ群において合焦画像データよりも近距離側又は遠距離側にある画像データ全体の表示時間が所定時間以下となるように表示方式を制御するために、上記（ａ）の方式により画像データを選別する手法について、図２５を参照して詳述する。
【０２７２】
図２５に示すように、画像データ群Ｎは、ｍＮ個の画像データＮ（１）〜（ｍＮ）からなり、このうち、２つの合焦画像データＮ（３）、Ｎ（１０）を含むものとする。合焦画像データＮ（３）は合焦画像データＮ（１０）よりも近距離側にあり、合焦画像データＮ（３）は、本発明の第１合焦画像データに相当し、合焦画像データＮ（１０）は、本発明の第２合焦画像データに相当する。
【０２７３】
画像データＮ（１）〜（ｍＮ）のうち、合焦画像データＮ（３）より近距離側にある画像データＮ（１）〜（２）と、合焦画像データＮ（１０）より遠距離側にある画像データＮ（１１）〜（ｍＮ）は、所定の選別条件によりスライドショー表示対象から除外される。この所定の選別条件は、例えば、上述したように合焦画像データの前後の所定枚数Ｄ（例えばＤ＝５）以内にある画像データを表示対象として選別し、合焦画像データから所定枚数Ｄを超えて遠くにある画像データを表示対象から除外するものである。かかる選別条件によると、合焦画像データＮ（１０）よりも遠距離側にある画像データＮ（１１）〜（ｍＮ）のうち、合焦画像データＮ（１０）から所定枚数Ｄを超えて遠くにある画像データＮ（１６）〜（ｍＮ）が除外される。
【０２７４】
一方、合焦画像データＮ（３）と合焦画像データＮ（１０）との間にある画像データＮ（４）〜（９）は、スライドショー表示対象から除外されない。この理由は、同一の画像データ群Ｎ内に含まれる複数の合焦画像データＮ（３）とＮ（１０）の間にある画像データＮ（４）〜（９）を除外すると、スライドショー表示したときに画像データの連続性が失われる可能性があるからである。
【０２７５】
これに対し、合焦画像データＮ（３）よりも近距離側にある画像データＮ（１）〜（２）や、合焦画像データＮ（１０）よりも遠距離側にあるＮ（１１）〜（ｍＮ）は、スライドショー表示対象から除外しても連続性が失われないので、除外してもよい。ただし、かかる画像データＮ（１）〜（２）、Ｎ（１１）〜（ｍＮ）であっても、その画像内に合焦している被写体を含む場合は、除外しないようにしてもよい。これにより、何らかの被写体に合焦している画像データ（ｍＮ）をスライドショー表示対象から除外しないようにできるので、ユーザはスライドショー表示時に該画像データを見て、その被写体に合焦した画像の存在を認識し、その要否を判断できる。また、合焦画像データの近距離側又は遠距離側にある画像データＮ（１）〜（２）、（１１）〜（ｍＮ）に対して、信号処理によりぼかしを入れることによって、スライドショー表示対象から除外してもよい。
【０２７６】
［３．３．スライドショー表示フロー］
次に、図２６を参照して本実施形態に係るスライドショー表示フローについて説明する。図２６は、本実施形態に係るスライドショー表示を示すフローチャートである。
【０２７７】
図２６に示すように、まず、表示制御装置２０は、スライドショー用のアプリケーションソフトウェアを起動し（Ｓ３００）、スライドショー表示対象の画像データを選択する（Ｓ３０２）。次いで、表示制御装置２０のデータ読出部２３は、Ｓ３０２で選択された画像データ群のうち、１番目の画像データ群とそのメタデータを記憶部２２から読み出す（Ｓ３０４）。以上までのステップＳ３００〜Ｓ３０４は、第１の実施形態に係る図１７のステップＳ１００〜Ｓ１０４と略同一であるので、その詳細説明は省略する。
【０２７８】
次いで、表示制御装置２０の表示方式決定部２４は、Ｓ３０４で読み出された画像データ群のメタデータに基づいて、合焦画像データ以外の他の画像データの表示時間が所定時間以下となるように、スライドショー表示対象の画像データを選別する（Ｓ３０５）。このＳ３０５での画像選別処理は、本実施形態の特徴であるので、以下に図２７を参照して詳述する。図２７は、本実施形態に係る画像選別処理を示すフローチャートである。
【０２７９】
図２７に示すように、まず、表示方式決定部２４は、画像データ群中で最も近距離側にある第１合焦画像データよりも近距離側にある画像データの個数ＡＮを求め、当該個数ＡＮと所定の閾値Ｄとを比較し、ＡＮ＞Ｄであるか否かを判定する（Ｓ３５０）。ここで、閾値Ｄは、スライドショー表示対象とする画像データの上限数であり、例えばＤ＝５である。ＡＮ＞Ｄである場合には、第１合焦画像データよりも近距離側にある画像データの個数ＡＮが、上限数Ｄを超えているので、当該画像データのうちＤを超えた分の画像データを除外対象として、Ｓ３５２に進む。一方、ＡＮ≦Ｄである場合には、第１合焦画像データよりも近距離側にある画像データの個数ＡＮが、閾値Ｄ以下であるので、当該画像データを除外対象とせずに、Ｓ３５６に進む。
【０２８０】
Ｓ３５２では、表示方式決定部２４は、Ｓ３５０で除外対象とされた画像データ内に、所定の被写体に合焦している画像が存在するか否かを判定する（Ｓ３５２）。所定の被写体に合焦している画像が存在する場合には、上記Ｓ３５０で除外対象とされた画像データをスライドショー表示対象から除外せずに、スライドショー表示対象に含めるため、Ｓ３５６に進む。
【０２８１】
一方、Ｓ３５２で所定の被写体に合焦している画像が存在しない場合は、Ｓ３５４に進み、上記Ｓ３５０で除外対象とされた画像データをスライドショー表示対象から除外する（Ｓ３５４）。この結果、第１合焦画像データの近距離側の画像データのうち、第１合焦画像データに近いＤ個の合焦画像データ以外は、スライドショー表示対象から除外される。
【０２８２】
次いで、Ｓ３５６では、表示方式決定部２４は、画像データ群中で最も遠距離側にある第２合焦画像データよりも遠距離側にある画像データの個数ＢＮを求め、当該個数ＢＮと所定の閾値Ｄとを比較し、ＢＮ＞Ｄであるか否かを判定する（Ｓ３５６）。ＢＮ＞Ｄである場合には、第２合焦画像データよりも近距離側にある画像データの個数ＢＮが、上限数Ｄを超えているので、当該画像データのうちＤを超えた分の画像データを除外対象として、Ｓ３５８に進む。一方、ＢＮ≦Ｄである場合には、第２合焦画像データよりも近距離側にある画像データの個数ＢＮが、閾値Ｄ以下であるので、当該画像データを除外対象とせずに、Ｓ３６２に進む。
【０２８３】
Ｓ３５８では、表示方式決定部２４は、Ｓ３５６で除外対象とされた画像データ内に、所定の被写体に合焦している画像が存在するか否かを判定する（Ｓ３５８）。所定の被写体に合焦している画像が存在する場合には、上記Ｓ３５６で除外対象とされた画像データをスライドショー表示対象から除外せずに、スライドショー表示対象に含めるため、Ｓ３６２に進む。
【０２８４】
一方、Ｓ３５８で所定の被写体に合焦している画像が存在しない場合は、Ｓ３６０に進み、上記Ｓ３５６で除外対象とされた画像データをスライドショー表示対象から除外する（Ｓ３６０）。この結果、第２合焦画像データの遠距離側の画像データのうち、第２合焦画像データに近いＤ個の合焦画像データ以外は、スライドショー表示対象から除外される。
【０２８５】
以上のステップＳ３５０〜Ｓ３６０により、画像データ群Ｎの複数の画像データを焦点位置順に配列したときに、第１及び第２合焦画像データからＤ＋１個以上近距離側又は遠距離側に離れた画像データは、スライドショー表示から除外される。なお、図２５に示したように、第１合焦画像データＮ（３）と第２合焦画像データＮ（１０）の間にあるＣＮ個の画像データは、スライドショー表示対象から除外されない。これにより、当該ＣＮ個の画像データをスライドショー表示したときの画像の連続性（焦点位置が連続的に遷移すること）を維持できる。
【０２８６】
次いで、Ｓ３６２では、表示方式決定部２４は、所定の計算式を用いて、スライドショー表示対象の各画像データの表示時間Ｑを計算し、合焦画像データの近距離側又は遠距離側にある他の画像データ全体の表示時間が所定時間Ｔ以内となるようにする（Ｓ３６２）。上述したように、合焦画像データの表示時間Ｐ（例えば２秒）は、他の画像データの表示時間Ｑ（例えば０．１秒）よりも長い。上記Ｓ３６０までの選別処理で選別されたスライドショー表示対象の画像データは、第１合焦画像データＮ（３）及び第２合焦画像データＮ（１０）と、それらの間のＣＮ個の画像データＮ（４）〜（９）と、第１合焦画像データＮ（３）の近距離側Ｄ個以内の画像データＮ（１）〜（２）と、第２合焦画像データＮ（３）の遠距離側Ｄ個以内の画像データＮ（１１）〜（１５）である。これらの画像データＮ（１）〜（２）、（１１）〜（１５）全てを、予め設定された所定時間Ｔ以内に表示できるように、合焦画像データ以外の他の画像データＮ（１）〜（２）、（４）〜（９）、（１１）〜（１５）の表示時間Ｑが決定される。
【０２８７】
以上、図２７を参照して、本実施形態に係る画像データ群Ｎの表示順序の決定処理を説明した。図２６に戻り、説明を続ける。
【０２８８】
図２７のようにして画像データＮ内の画像データが選別され、その表示時間Ｑが決定される。その後、表示制御部２５は、画像データ群Ｎに属する複数の画像データのうち、上記Ｓ３０５にてスライドショー表示対象として選別された画像データを、順方向（近距離→遠距離）又は逆方向（遠距離→近距離）に順次スライドショー表示する（Ｓ３０６〜Ｓ３１６）。このとき、表示制御部２５は、表示対象の画像データが合焦画像データあれば（Ｓ３０８）、長い表示時間Ｐだけ表示し（Ｓ３１０）、合焦画像データでなければ（Ｓ３０８）、上記Ｓ３６２で決定された短い表示時間Ｑだけ表示する（Ｓ３１２）。この表示処理は、画像データ群Ｎ内の全ての画像データについて順次繰り返される（Ｓ３１４、Ｓ３１６）。かかるステップＳ３０６〜Ｓ３１６は、第１の実施形態に係る図１７のステップＳ１０６〜Ｓ１１６と略同一であるので、その詳細説明は省略する。
【０２８９】
その後、画像データ群Ｎのスライドショー表示が終了した場合（Ｓ３１４）、表示方式決定部２４は、次の画像データ群Ｎ＋１が有るか否かを判定し（Ｓ３１８）、次の画像データ群Ｎ＋１が有る場合、次の画像データ群Ｎ＋１を記憶部２２から読み出す（Ｓ３２０）。かかる次の画像データ群Ｎ＋１をスライドショー表示するときには、図２７のフローに従って、スライドショー表示対象の画像データの選別と、その画像データの表示時間Ｑを決定した上で（Ｓ３０５）、スライドショー表示する（Ｓ３０６〜Ｓ３１６）。かかる処理をＳ３０２で選択された全ての画像データ群について繰り返し行うことで、スライドショー表示が進行していく。
【０２９０】
以上、本実施形態に係るスライドショー表示対象の画像データの選別処理と、それを用いたスライドショー表示処理を説明した。上述したように、画像データ群内で合焦画像データが近距離側又は遠距離側にある場合、近距離側の合焦画像データの表示後、或いは、遠距離側の合焦画像データの表示前に、ピントがぼけた多数の画像データが長時間表示されるという問題があった。例えば、撮像装置１を用いてマクロ側で花を撮像した場合、無限遠側の背景に合焦させた画像は、ピンぼけ画像となるため、ユーザにとって利用価値が低い。このため、スライドショー表示において、かかるピンぼけ画像を長時間表示すると、ユーザは飽いてしまう。
【０２９１】
これに対し、本実施形態に係る表示順序の決定手法（図２７参照。）によれば、画像データ群内で合焦画像データと比べて焦点位置が大きく異なる他の画像データを、スライドショー表示対象から除外して、スライドショー表示する画像データ数を低減する。さらに、スライドショー表示対象の画像データ全てを所定時間以内に表示できるように、各画像データに表示時間Ｑを調整して表示速度を高速化する。これにより、画像データ群の画像を所定時間内にスライドショー表示でき、ピントがぼけた画像データが連続して表示される時間を短縮できるので、ユーザがスライドショー表示を見飽きてしまうことを防止できる。
【０２９２】
＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。第４の実施形態に係るスライドショー表示は、上述した第１の実施形態と比べて、合焦点位置からの距離に応じて画像データの表示時間Ｑを増減する点で相違し、その他の機能構成は第１の実施形態と同様であるので、その詳細説明は省略する。
【０２９３】
［４．１．スライドショー表示の概要］
まず、図２８を参照して、第４の実施形態に係るスライドショー表示の概要について説明する。図２８は、第４の実施形態に係るスライドショー表示を概略的に示す模式図である。
【０２９４】
図２８に示すように、マルチフォーカス撮像時に複数の被写体が検出された結果、複数の合焦画像データＮ（ｐ）、Ｎ（ｑ）が存在する画像データ群Ｎをスライドショー表示する場合を考える。本実施形態に係る表示制御装置２０は、焦点位置情報に基づいて、画像データ群Ｎに属する画像データを焦点位置順に配列した場合において、合焦画像データＮ（ｐ）、Ｎ（ｑ）と合焦画像データＮ（ｘ）との配列順の差分（ＡＢＳ（ｘ−ｐ）、ＡＢＳ（ｘ−ｑ））に応じて、画像データＮ（ｘ）の表示時間Ｑを増減する。即ち、表示制御装置２０は、画像データ群Ｎに属する個々の画像データＮ（ｘ）のうち、合焦画像データに近い画像データについては表示時間Ｑを長くし、合焦画像データから遠い画像データについては表示時間Ｑを短くする。
【０２９５】
ここで、合焦画像データに近い画像データは、その焦点位置が合焦画像データの合焦点位置に近い画像データを意味し、合焦画像データから遠い画像データは、その焦点位置が合焦画像データの合焦点位置に近い画像データを意味する。配列順の差分は、合焦画像データＮ（ｐ）、Ｎ（ｑ）の合焦点位置と、合焦画像データＮ（ｘ）の焦点位置との差分に相当する。
【０２９６】
上記のように、本実施形態に係る表示制御装置２０は、合焦画像データＮ（ｐ）、Ｎ（ｑ）と合焦画像データＮ（ｘ）との配列順の差分に応じて、画像データＮ（ｘ）の表示時間Ｑを増減する。例えば、図２８の例では、画像データ（２）は合焦画像データＮ（ｐ）から近いので、該画像データ（２）の表示時間Ｑ２は比較的長い時間に設定される（Ｐ＞Ｑ２）。一方、画像データ（１）は合焦画像データＮ（ｐ）から遠いので、該画像データ（１）の表示時間Ｑ１は比較的短い時間に設定される（Ｐ＞Ｑ２＞Ｑ１）。
【０２９７】
これにより、画像データ群Ｎをスライドショー表示したときに、合焦画像データに近づくにつれて、画像データＮ（ｘ）の表示時間Ｑが徐々に長くなり、合焦画像データから遠ざかるにつれて、画像データＮ（ｘ）の表示時間Ｑが徐々に短くなる。このように表示時間Ｑを可変とすることで、合焦点位置に応じて各画像データの表示時間Ｑにメリハリを持たせ、合焦画像データを効果的に演出するようスライドショー表示できる。
【０２９８】
［４．２．スライドショー表示フロー］
次に、図２９を参照して本実施形態に係るスライドショー表示フローについて説明する。図２９は、本実施形態に係るスライドショー表示を示すフローチャートである。
【０２９９】
図２９に示すように、まず、表示制御装置２０は、スライドショー用のアプリケーションソフトウェアを起動し（Ｓ４００）、スライドショー表示対象の画像データを選択する（Ｓ４０２）。次いで、表示制御装置２０のデータ読出部２３は、Ｓ４０２で選択された画像データ群のうち、１番目の画像データ群とそのメタデータを記憶部２２から読み出す（Ｓ４０４）。以上までのステップＳ４００〜Ｓ４０４は、第１の実施形態に係る図１７のステップＳ１００〜Ｓ１０４と略同一であるので、その詳細説明は省略する。
【０３００】
次いで、表示方式決定部２４は、Ｓ４０４で読み出された画像データ群のメタデータに基づいて、合焦画像データＮ（ｐ）、Ｎ（ｑ）、と他の画像データＮ（ｘ）との配列順の差分に応じて、当該他の画像データＮ（ｘ）の表示時間Ｑ（ｘ）を決定する（Ｓ４０５）。ここで、画像データの配列順（例えば先頭からの枚数）は、画像データ群Ｎに属する複数の画像データを焦点位置順に配列した場合における配列順である。このＳ４０５での表示時間設定処理は、本実施形態の特徴であるので、以下に図３０を参照して詳述する。図３０は、本実施形態に係る表示時間Ｑの計算処理を示すフローチャートである。
【０３０１】
図３０に示すように、まず、表示方式決定部２４は、画像データ群Ｎの焦点位置情報に基づいて、合焦画像データ以外の各画像データＮ（ｘ）と、合焦画像データＮ（ｐ）、Ｎ（ｑ）との配列順の差分ＡＢＳ（ｘ−ｐ）、ＡＢＳ（ｘ−ｑ）をそれぞれ求める（Ｓ４５０）。ここで、配列順の差分ＡＢＳ（ｘ−ｐ）、ＡＢＳ（ｘ−ｑ）は、Ｎ（ｘ）からＮ（ｐ）、Ｎ（ｑ）までの画像データの枚数に相当する。例えば、図２８の例では、画像データＮ（１）と合焦画像データＮ（ｐ）との配列順の差分ＡＢＳ（１−ｐ）は、「２」であり、画像データＮ（２）と合焦画像データＮ（ｐ）との配列順の差分ＡＢＳ（２−ｐ）は、「１」である。
【０３０２】
次いで、表示方式決定部２４は、配列順の差分ＡＢＳ（ｘ−ｐ）とＡＢＳ（ｘ−ｑ）とを比較し、小さい方の差分を、Ｎ（ｘ）と、該Ｎ（ｘ）に最も近い合焦画像データとの配列順の差分に決定する（Ｓ４５２）。例えば、ＡＢＳ（ｘ−ｐ）≧ＡＢＳ（ｘ−ｑ）であれば、画像データＮ（ｘ）と最も近い合焦画像データとの配列順の差分は、ＡＢＳ（ｘ−ｑ）であり、Ｓ４５４に進む。一方、ＡＢＳ（ｘ−ｐ）＜ＡＢＳ（ｘ−ｑ）であれば、画像データＮ（ｘ）と最も近い合焦画像データとの配列順の差分は、ＡＢＳ（ｘ−ｐ）であり、Ｓ４５６に進む。
【０３０３】
Ｓ４５４では、表示方式決定部２４は、上記画像データＮ（ｘ）と最も近い合焦画像データとの配列順の差分ＡＢＳ（ｘ−ｐ）を変数Ｘとして、所定の関数ｆ（Ｘ）を用いて、画像データＮ（ｘ）の表示時間Ｑ（ｘ）を計算する。即ち、Ｑ（ｘ）＝ｆ（ＡＢＳ（ｘ−ｐ））である。関数ｆ（Ｘ）は、変数Ｚの増加に応じて、ｆ（Ｘ）の値が減少する関数であり、例えば、ｆ（Ｘ）＝１／Ｘである。
【０３０４】
一方、Ｓ４５６では、表示方式決定部２４は、上記画像データＮ（ｘ）と最も近い合焦画像データとの配列順の差分ＡＢＳ（ｘ−ｑ）を変数Ｘとして、所定の関数ｆ（Ｘ）を用いて、画像データＮ（ｘ）の表示時間Ｑ（ｘ）を計算する。即ち、Ｑ（ｘ）＝ｆ（ＡＢＳ（ｘ−ｑ））である。
【０３０５】
以上のＳ４５４、Ｓ４５６により、画像データＮ（ｘ）と最も近い合焦画像データとの配列順の差分ＡＢＳ（ｘ−ｐ）に応じて、画像データＮ（ｘ）の表示時間Ｑ（ｘ）が計算される。かかるＱ（ｘ）の計算は、画像データ群Ｎ内の全ての画像データＮ（ｘ）について繰り返すことで、Ｑ（１）〜Ｑ（ｍＮ）が求められる。なお、上記では、配列順の差分と関数ｆ（ｘ）を用いて表示時間Ｑ（ｘ）を算出する手法について説明したが、表示時間Ｑ（ｘ）を求める手法はかかる例に限定されない。例えば、表示制御装置２０は、配列順の差分に応じた表示時間Ｑ（ｘ）が予め設定されたテーブルを保持しておくことで、かかるテーブルに基づいて、各画像データＮ（ｘ）の表示時間Ｑ（ｘ）を決定するようにしてもよい。
【０３０６】
上記のようにしてＱ（ｘ）を求めることで、合焦画像データから画像データＮ（ｘ）までの距離（上記配列順の差分）に応じて、画像データＮ（ｘ）の表示時間Ｑ（ｘ）を増減させることができる。従って、スライドショー表示時には、合焦画像データに近い画像データＮ（ｘ）については表示時間Ｑ（ｘ）を長くし、合焦画像データから遠い画像データＮ（ｘ）については表示時間Ｑを短くすることができる。
【０３０７】
以上、図３０を参照して、本実施形態に係る画像データＮ（ｘ）の表示時間Ｑ（ｘ）の計算処理を説明した。図２９に戻り、説明を続ける。
次いで、表示制御部２５は、画像データ群Ｎに属する複数の画像データのうち、Ｓスライドショー表示対象として選別された画像データを、順方向（近距離→遠距離）又は逆方向（遠距離→近距離）に順次スライドショー表示する（Ｓ４０６〜Ｓ４１６）。このとき、表示制御部２５は、表示対象の画像データが合焦画像データあれば（Ｓ４０８）、長い表示時間Ｐだけ表示し（Ｓ４１０）、合焦画像データでなければ（Ｓ４０８）、上記Ｓ４５４、Ｓ４５６で計算された表示時間Ｑ（ｘ）だけ表示する（Ｓ４１２）。この表示処理は、画像データ群Ｎ内の全ての画像データについて順次繰り返される（Ｓ４１４、Ｓ４１６）。かかるステップＳ４０６〜Ｓ４１６は、第１の実施形態に係る図１７のステップＳ１０６〜Ｓ１１６と略同一であるので、その詳細説明は省略する。
【０３０８】
その後、画像データ群Ｎのスライドショー表示が終了した場合（Ｓ４１４）、表示方式決定部２４は、次の画像データ群Ｎ＋１が有るか否かを判定し（Ｓ４１８）、次の画像データ群Ｎ＋１が有る場合、次の画像データ群Ｎ＋１を記憶部２２から読み出す（Ｓ４２０）。かかる次の画像データ群Ｎ＋１をスライドショー表示するときには、図３０のフローに従って、合焦画像データ以外の各画像データＮ（ｘ）の表示時間Ｑ（ｘ）を計算した上で（Ｓ４０５）、スライドショー表示する（Ｓ４０６〜Ｓ４１６）。かかる処理をＳ４０２で選択された全ての画像データ群について繰り返し行うことで、スライドショー表示が進行していく。
【０３０９】
以上、本実施形態に係る画像データの表示時間Ｑの計算処理と、それを用いたスライドショー表示処理を説明した。上述したように、画像データ群をスライドショー表示するときに、合焦画像データ以外の画像データを、合焦画像に近いか遠いかに関わらず、等時間間隔Ｑで表示すると、メリハリのない演出表示になるおそれがある。このため、スライドショー表示において、かかるメリハリのない画像を長時間表示すると、ユーザは飽きてしまう恐れがある。
【０３１０】
これに対し、本実施形態によれば、合焦画像データかに近い画像データの表示時間Ｑを長時間とし、合焦画像データから遠くなるにつれ、画像データの表示時間Ｑを徐々に短縮する。このように表示時間Ｑを可変とすることで、合焦点位置に応じて各画像データの表示時間Ｑにメリハリを持たせ、合焦画像データを効果的に演出するようなスライドショー表示を実現できる。スライドショー表示においてユーザが注目する画像（写真）は合焦画像であるが、本実施形態では、その合焦画像の前後の多焦点画像を用いてスライドショー効果を高めるように演出表示する。合焦画像以外の画像はあくまで、合焦画像の演出効果を高めるための補助画像としてユーザに提示するので、当該画像の表示時間は短くてよい。このような合焦画像と補助画像を用いたスライドショー表示演出により、ユーザは、より感動深く合焦画像を見ることができる。
【０３１１】
以上、本発明の第１〜第４の実施形態に係る表示制御装置２０及びスライドショー表示制御方法について説明した。上記実施形態によれば、画像データ群に属する複数の画像データをスライドショー表示する際に、その画像データ群のメタデータに基づいて、スライドショー表示方式（例えば、表示順序、表示時間、表示画像の選別など）を制御する。このとき、表示制御装置２０は、メタデータに含まれる合焦画像特定情報に基づいて、該複数の画像データの中から合焦画像データ（代表画像データ）を特定し、ユーザが他の画像データよりも合焦画像データを認識しやすいような表示方式でスライドショー表示する。これにより、他の画像データよりも合焦画像データが強調されて表示される。よって、焦点位置が異なる複数の類似画像を効果的にスライドショー表示できるとともに、ユーザは、スライドショー表示される複数の画像を閲覧しつつも、撮像者の意図（撮影時にどの被写体に合焦させて撮像したか）を把握できる。
【０３１２】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０３１３】
例えば、上記実施形態では、表示制御装置として、パーソナルコンピュータ（ＰＣ）の例を挙げ、該ＰＣが、撮像装置１から取得した画像データ群をスライドショー表示する例を説明した。しかし、本発明の表示制御装置は、ＰＣ以外にも、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置１、携帯型映像プレーヤ、テレビジョン受像機、携帯電話など、任意の電子機器に適用可能である。例えば、上記マルチフォーカス撮像を行う撮像装置１においても、撮像及び記録した画像データ群を表示画面にスライドショー表示することができる。
【０３１４】
また、上記実施形態に係る表示制御装置２０は、画像データをスライドショー表示する表示装置２０９（表示部２６に相当する。）を具備していたが、本発明の表示制御装置は、かかる例に限定されない。例えば、表示制御装置は、表示装置を具備しなくてもよく、表示制御装置に接続された他の機器が具備する表示装置に、画像データをスライドショー表示させるように制御してもよい。
【図面の簡単な説明】
【０３１５】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】同実施形態に係る撮像装置による撮像処理を概略的に示す模式図である。
【図３】同実施形態に係る変形ミラー装置を用いた焦点位置の変更を示す模式図である。
【図４】同実施形態に係る焦点位置の変更を示す説明図である。
【図５】同実施形態に係る撮像装置における焦点位置の変更位置の設定を説明するための模式図である。
【図６】同実施形態に係る焦点位置ごとの被写界深度を説明するための模式図である。
【図７】同実施形態に係るフォーカス制御の一例を示す模式図である。
【図８】同実施形態に係るフォーカス制御の別の例を示す模式図である。
【図９】同実施形態に係るフォーカス制御の第１変更例を示す模式図である。
【図１０】同実施形態に係るフォーカス制御の第２変更例を示す模式図である。
【図１１】同実施形態に係るフォーカス制御の第３変更例を示す模式図である。
【図１２】同実施形態に係る表示制御装置のハードウェア構成を示すブロック図である。
【図１３】同実施形態に係る表示制御装置の機能構成を示すブロック図である。
【図１４】同実施形態に係るメタデータのデータ構造を示す説明図である。
【図１５】同実施形態に係るメタデータのデータ構造の変更例を示す説明図である。
【図１６】同実施形態に係るスライドショー表示を概略的に示す模式図である
【図１７】同実施形態に係るスライドショー表示を示すフローチャートである。
【図１８】同実施形態に係る表示制御装置の表示画面に表示される画像選択ウィンドウ４０を示す模式図である。
【図１９】本発明の第２の実施形態に係るスライドショー表示を概略的に示す模式図である。
【図２０】同実施形態に係るスライドショー表示を示すフローチャートである。
【図２１】同実施形態に係る表示順序の決定処理を示すフローチャートである。
【図２２】同実施形態の変更例に係るスライドショー表示を概略的に示す模式図である。
【図２３】同実施形態の変更例に係る表示順序の決定処理を示すフローチャートである。
【図２４】本発明の第３の実施形態に係るスライドショー表示を概略的に示す模式図である。
【図２５】同実施形態に係る画像データ群の配列を示す模式図である
【図２６】同実施形態に係るスライドショー表示を示すフローチャートである。
【図２７】同実施形態に係る画像選別処理を示すフローチャートである。
【図２８】第４の実施形態に係るスライドショー表示を概略的に示す模式図である。
【図２９】同実施形態に係るスライドショー表示を示すフローチャートである。
【図３０】同実施形態に係る表示時間の計算処理を示すフローチャートである。
【符号の説明】
【０３１６】
１    撮像装置
２    変形ミラー装置
２ａ    ミラー面
３    絞り
４    撮像素子
５    前処理部
６    信号処理部
７    ＡＦ素子
８    ミラー駆動回路
９    絞り制御部
１０    撮像制御部
１１    ＣＰＵ
１２    メモリ部
１３    操作入力部
１４    バス
１５    表示部
１６    圧縮／伸張処理部
１７    ストレージ部
２０    表示制御装置
２１    データ取得部
２２    記憶部
２３    データ読出部
２４    表示方式決定部
２５    表示制御部
２６    表示部
２７    入力部
３０、３５    メタデータ
３２    個別メタデータ
３４    共通メタデータ
３６    画像データ群に関するメタデータ
３８    個々の画像データに関するメタデータ
４０    ウィンドウ
４２    サムネイル画像
Ｎ−１、Ｎ、Ｎ＋１    画像データ群
Ｑ    表示時間
【図１】
2010166519.tif 000003
【図２】
2010166519.tif 000004
【図３】
2010166519.tif 000005
【図４】
2010166519.tif 000006
【図５】
2010166519.tif 000007
【図６】
2010166519.tif 000008
【図７】
2010166519.tif 000009
【図８】
2010166519.tif 000010
【図９】
2010166519.tif 000011
【図１０】
2010166519.tif 000012
【図１１】
2010166519.tif 000013
【図１２】
2010166519.tif 000014
【図１３】
2010166519.tif 000015
【図１４】
2010166519.tif 000016
【図１５】
2010166519.tif 000017
【図１６】
2010166519.tif 000018
【図１７】
2010166519.tif 000019
【図１８】
2010166519.tif 000020
【図１９】
2010166519.tif 000021
【図２０】
2010166519.tif 000022
【図２１】
2010166519.tif 000023
【図２２】
2010166519.tif 000024
【図２３】
2010166519.tif 000025
【図２４】
2010166519.tif 000026
【図２５】
2010166519.tif 000027
【図２６】
2010166519.tif 000028
【図２７】
2010166519.tif 000029
【図２８】
2010166519.tif 000030
【図２９】
2010166519.tif 000031
【図３０】
2010166519.tif 000032