(57)【特許請求の範囲】
【請求項１】
撮影距離を連続的に変化させて撮影された複数の画像が符号化されて記録されている記録媒体から画像を読み出す読み出し手段と、
前記複数の画像それぞれについて合焦領域情報を取得する取得手段と、
前記記録媒体から画像を読み出してデコードする第１のデコード手段と、
前記取得手段により取得された合焦領域情報に基づいて、前記画像の被写体にピントが合っているのか否かを判定する判定手段と、
前記判定手段により被写体にピントが合っていると判定された画像を、前記判定手段により被写体にピントが合っていないと判定された画像よりも優先した順番で前記第１のデコード手段でデコードさせるよう制御する制御手段とを有することを特徴とする画像処理装置。
【請求項２】
表示部に、デコードされた画像を表示させる表示制御手段と、
前記第１のデコード手段によりデコードされた画像よりも低解像度の画像をデコードする第２のデコード手段とを更に有し、
前記制御手段は、前記第２のデコード手段によりデコードされた低解像度の画像が、前記表示制御手段により表示部に表示された後で、前記判定手段によりピントが合っていると判定された画像に対応する低解像度の画像を、前記第１のデコード手段によりデコードされた画像に置き換えて表示させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記複数の画像のそれぞれに対応した前記低解像度の画像が前記表示制御手段の制御により前記表示部に表示された後で、前記低解像度の画像を前記第１のデコード手段によりデコードされた画像に置き換えて表示させることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１のデコード手段は、前記合焦領域情報により示される合焦領域の広い画像に対応する高解像度の画像から順にデコードする請求項１ないし３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第２のデコード手段は、デコードされた低解像度の画像に対してぼかしフィルタを適用することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項６】
前記取得手段は、画像の切り出し領域に該当する合焦領域情報を取得し、前記判定手段は、切り出し領域に該当する合焦領域情報に基づいて、当該画像が被写体にピントが合っているか否かを判定することを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
【請求項７】
撮影距離を連続的に変化させて撮影された複数の画像の被写界深度を算出する算出手段と、
前記算出手段で算出した被写界深度を用いて、前記複数の画像の各画像の被写界深度と他の画像の被写界深度との重複を判定することにより、各画像の表示優先度を設定する設定手段と、
前記設定手段により設定された表示優先度の順番に従って、各画像をデコードするデコード手段と、
前記デコード手段によりデコードされた画像を表示させる制御手段とを有することを特徴とする画像処理装置。
【請求項８】
前記設定手段は、当該画像の被写界深度と他の画像の被写界深度との重複率、重複量及び非重複量のうちの少なくとも何れか一つを判定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
画像処理装置によって実行される画像処理方法であって、
撮影距離を連続的に変化させて撮影された複数の画像が符号化されて記録されている記録媒体から画像を読み出す読み出しステップと、
前記複数の画像それぞれについて合焦領域情報を取得する取得ステップと、
前記記録媒体から画像を読み出してデコードする第１のデコードステップと、
前記取得ステップにより取得された合焦領域情報に基づいて、前記画像の被写体にピントが合っているのか否かを判定する判定ステップと、
前記判定ステップにより被写体にピントが合っていると判定された画像を、前記判定ステップにより被写体にピントが合っていないと判定された画像よりも優先した順番でデコードさせるよう制御する制御ステップとを有することを特徴とする画像処理方法。
【請求項１０】
画像処理装置によって実行される画像処理方法であって、
撮影距離を連続的に変化させて撮影された複数の画像の被写界深度を算出する算出ステップと、
前記算出ステップで算出した被写界深度を用いて、前記複数の画像の各画像の被写界深度と他の画像の被写界深度との重複を判定することにより、各画像の表示優先度を設定する設定ステップと、
前記設定ステップにより設定された表示優先度の順番に従って、各画像をデコードするデコードステップと、
前記デコードステップによりデコードされた画像を表示させる制御ステップとを含むことを特徴とする画像処理方法。
【請求項１１】
撮影距離を連続的に変化させて撮影された複数の画像が符号化されて記録されている記録媒体から画像を読み出す読み出しステップと、
前記複数の画像それぞれについて合焦領域情報を取得する取得ステップと、
前記記録媒体から画像を読み出してデコードする第１のデコードステップと、
前記取得ステップにより取得された合焦領域情報に基づいて、前記画像の被写体にピントが合っているのか否かを判定する判定ステップと、
前記判定ステップにより被写体にピントが合っていると判定された画像を、前記判定ステップにより被写体にピントが合っていないと判定された画像よりも優先した順番でデコードさせるよう制御する制御ステップとをコンピュータに実行させるためのプログラム。
【請求項１２】
撮影距離を連続的に変化させて撮影された複数の画像の被写界深度を算出する算出ステップと、
前記複数の画像の各画像の被写界深度と他の画像の被写界深度との重複情報に基づいて、各画像の表示優先度を設定する設定ステップと、
前記設定ステップにより設定された表示優先度の順番に従って、各画像をデコードするデコードステップと、
前記デコードステップによりデコードされた画像を表示させる制御ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影距離を連続的に変化させて撮影された複数の画像を表示させるための技術に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラの連続撮影速度が向上し、１秒間に数十枚の静止画を撮影することが可能になっている。また、超音波モータによりレンズのフォーカスリングの高速駆動が可能になっている。このようなことから、今後、フォーカス位置までの撮影距離をレンズの最短撮影距離から無限遠までの間で連続的に変化させながら、高速連続撮影する撮影方法が考えられる。この撮影方法により、撮影後に撮影距離を切り換えながら連続撮影した画像データをビューワで視聴することが可能になる。特に被写界深度の浅い画像では、表示されている画像データの撮影距離を連続的に切り換えることにより、ボケ感や奥行き感を楽しむことができるようになる。
【０００３】
このような撮影距離を変えながら連続撮影した画像データ群を、ここではＭＦＰ（マルチフォーカスフォト）と定義する。ＭＦＰの概念図を図２０に示す。図２０では、最短撮影距離から無限遠まで連続的に画像データが並んでおり、最短撮影距離では最も近い向日葵４２１にピントが合っている画像データ４０１、その１つ奥の向日葵４２２にピントが合っている画像データ４０２、その２つ奥の向日葵４２３にピントが合っている画像データ４０３、最も奥の向日葵４２４にピントが合っている画像データ４０４を示している。画像データ４０１では合焦位置４１１にピントが合っており、画像データ４０２では合焦位置４１２にピントが合っており、画像データ４０３では合焦位置４１３にピントが合っており、画像データ４０４では合焦位置４１４にピントが合っている。また、ＭＦＰの画像データ群の中には、どこにもピントが合っていない画像データ４０５も含まれる。ＭＰＦではこのような複数の画像データの切り換えにより、ユーザは撮影後に擬似的に撮影距離を切り換えることができる。
【０００４】
しかしながら、ビューワで擬似的に撮影距離を切り換えてユーザが楽しむ際に、ＭＦＰに含まれる画像データの数が多いと、撮影距離の切換操作が可能になるまでに時間がかかり待たされるという問題がある。例えば、ＭＦＰに１０枚分の画像データが含まれているときにユーザが先頭画像データから５枚先の画像データに切り換える操作をしようとすると、撮影距離を切り換えて楽しむには最低でも先頭画像データから５枚先の画像データのデコードが必要であり、切換先の画像データによっては最大で１０枚分の画像データをデコードする必要がある。このような複数の画像データのデコード時間の累積によりユーザは切換操作が可能になるまでに待たされることになる。
【０００５】
一方で、ビューワで表示する画像データ数が多いときには、素早く画像データを表示するために低解像度の画像データを表示した後に高解像度の画像データを表示するという技術がある。例えば特許文献１、２には、高解像度の画像データを表示するときに、初めに低解像度の画像データを表示しておき、オリジナルサイズの画像データのデコードが完了したら表示を高解像度の画像データに置き換えるという技術が開示されている。
【０００６】
また特許文献３には、デジタルテレビにおいてテレビサイズのサムネイル画像データが画像に含まれるかを判定する技術が開示されている。そして特許文献３に開示される技術は、テレビサイズのサムネイル画像データが画像に含まれる場合には、サムネイル画像データを表示した後、オリジナルサイズの画像データをデコードして表示するようにしている。
【０００７】
他にも特許文献４に開示される技術では、医療用画像等において画像データの注目箇所の解像度を低下させることなく画像データの表示に掛かる時間を短縮させるために、初めに素早く表示できる圧縮画像データを表示する。その後、特許文献４に開示される技術は、注目箇所の部分画像データを表示して、最後にオリジナルサイズの画像データ全体をデコードして表示する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−３２８３５３号公報
【特許文献２】特開２００４−３６１８１４号公報
【特許文献３】特開２００９−０３８６０７号公報
【特許文献４】特開２００９−０４７８７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、ＭＦＰに含まれる画像データを１枚だけ素早く表示する場合には、上記のような低解像度の画像データを表示してオリジナルサイズの画像データに置き換える方法でもよいが、ＭＦＰの画像データの中で被写体にピントが合っている注目画像を素早く見る場合には適さない。例えばＭＦＰの中には被写体にピントがあっていないボケている画像データが含まれており、このボケた画像データを高解像度で表示するためのデコード時間がかかってしまうことがある。このような場合に従来技術を適用すると、注目画像の高解像度表示に時間がかかり、ＭＦＰの画像データの中の被写体にピントが合っている注目画像を素早く見ることができないという問題があった。
【００１０】
そこで、本発明の目的は、撮影距離を連続的に変化させて撮影された複数の画像の切り換え操作が可能になるまでの待ち時間を短くし、且つ注目画像もすばやく高解像度で表示することにある。
【課題を解決するための手段】
【００１１】
本発明の画像処理装置は、撮影距離を連続的に変化させて撮影された複数の画像が符号化されて記録されている記録媒体から画像を読み出す読み出し手段と、前記複数の画像それぞれについて合焦領域情報を取得する取得手段と、前記記録媒体から画像を読み出してデコードする第１のデコード手段と、前記取得手段により取得された合焦領域情報に基づいて、前記画像の被写体にピントが合っているのか否かを判定する判定手段と、前記判定手段により被写体にピントが合っていると判定された画像を、前記判定手段により被写体にピントが合っていないと判定された画像よりも優先した順番で前記第１のデコード手段でデコードさせるよう制御する制御手段とを有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、撮影距離を連続的に変化させて撮影された複数の画像の切り換え操作が可能になるまでの待ち時間を短くし、且つ注目画像もすばやく高解像度で表示することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る映像表示装置の構成を示す図である。
【図２】タッチパネルの表示画面の例を示す図である。
【図３】ビデオメモリの内部構成を示す図である。
【図４】記録媒体におけるＭＦＰの記録フォーマットを模式的に示す図である。
【図５】数十枚の画像データのうちの１枚を撮影したときのデジタルカメラのライブビュー映像を示す図である。
【図６】本発明の第１の実施形態に係る映像表示装置の処理を示すフローチャートである。
【図７】ＭＦＰに含まれる８枚のオリジナルサイズの画像データの例を示す図である。
【図８】本発明の第２の実施形態に係る映像表示装置の処理を示すフローチャートである。
【図９】本発明の第３の実施形態に係る映像表示装置の処理を示すフローチャートである。
【図１０】画像データにおけるトリミング領域の例を示す図である。
【図１１】映像表示装置のディスプレイに表示されるサムネイル一覧画面の一例を示す図である。
【図１２】本発明の実施形態におけるＣＰＵの機能的な構成を示すブロック図である。
【図１３】ＭＦＰに含まれる各画像データの被写界深度を示す図である。
【図１４】本発明の第４の実施形態に係る映像表示装置の処理を示すフローチャートである。
【図１５】従来技術と本発明の実施形態とのＭＦＰに含まれる各画像データの表示順序の差異を説明するための図である。
【図１６】本発明の第５の実施形態における表示優先度の設定方法を説明するための図である。
【図１７】本発明の第６の実施形態における表示優先度の設定方法を説明するための図である。
【図１８】本発明の第７の実施形態におけるＭＦＰの画像データの表示例を示す図である。
【図１９】本発明の第７の実施形態におけるＭＦＰに含まれる画像データの表示処理を示すフローチャートである。
【図２０】一般的なＭＦＰを概念的に示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１５】
先ず、本発明の第１の実施形態について説明する。本実施形態では、低解像度のサムネイル画像データをデコードした後、デコード後のサムネイル画像データを高解像度のオリジナルサイズの画像データに置き換えるものである。その際、本実施形態では、ピントが合っている被写体を含む画像データから優先的に置き換えを行うようにしている。
【００１６】
図１は、本発明の第１の実施形態に係る映像表示装置１００の構成を示す図である。図１において、記録媒体１０４は、ＨＤＤ（ハードディスクドライブ）やフラッシュメモリであり、マルチメディアコンテンツを記録しておくことができる。記録媒体１０４には、デジタルカメラで撮影された画像データを記録しておくことができ、本実施形態ではＭＦＰ（マルチフォーカスフォト）の画像データが記録されている。ＭＦＰの記録フォーマットについては後述する。なお、映像表示装置１００は、本発明の画像処理装置の適用例となる構成である。
【００１７】
ＲＯＭ１０３には、本実施形態の特徴的な処理を実行するためのプログラムコードが書き込まれている。ＣＰＵ１０１は、映像表示装置１００の電源投入時にＲＯＭ１０３からプログラムコードを読み込み、ＲＡＭ１０２に展開する。ＣＰＵ１０１は、ＲＡＭ１０２に展開されたプログラムコードを実行することで、後述する処理を実行することができる。
【００１８】
デコーダ１０５は、ＣＰＵ１０１の命令により記録媒体１０４からサムネイル画像データや符号化されたＪＰＥＧ形式の画像データを読み込み、復号化する。ビデオメモリ１０７は、赤色、緑色、青色の３つの色成分から構成されるＲＧＢフォーマットのビットマップデータを読み書きできるメモリである。デコーダ１０５により復号化された画像データは、ＲＧＢフォーマットのビットマップデータとしてビデオメモリ１０７に展開される。
【００１９】
表示制御部１０８は、ビデオメモリ１０７に展開された画像データを読み込み、ディスプレイ１０９に出力する。タッチパネル１３０は、座標検出可能な入力装置であるタッチパッド１２１とディスプレイ１０９とを組み合わせた装置である。ユーザはディスプレイ１０９上の表示を指でタッチすることでＧＵＩの操作が可能となる。図２に示すようなＭＦＰの画像データに重畳してスライダ５０２のＧＵＩが表示されていたときに、ユーザはノブ５０３をタッチして右方向にスライドさせることで、画面５０１に表示されている画像データを切り換えることができる。このとき、スライダ５０２が示す撮影距離の画像データが画面５０１に表示される。このようなＧＵＩの操作において、操作制御部１２０はタッチパッド１２１から入力されたユーザの指の座標情報をＣＰＵ１０１が解釈できる通信コマンドに変換してＣＰＵ１０１に通知する。
【００２０】
受光部１１０は、リモコン１１１若しくは不図示の映像表示装置１００の本体スイッチからの信号を受信し、該当する制御信号を発生させ、バスを介してＣＰＵ１０１に送信する。リモコン１１１は、ユーザからの入力指示を映像表示装置１００に無線転送する。外部機器Ｉ／Ｆ１０６は、映像表示装置１００に接続されるメモリカードやＵＳＢデバイス等の外部記憶装置との間でデータの入出力を行う。なお、映像表示装置１００にて表示されるＭＦＰは、上述したメモリカードやＵＳＢデバイスに記録されていてもよい。
【００２１】
図３は、ビデオメモリ１０７の内部構成を示す図である。以下、図３を用いて、ビデオメモリ１０７の内部構成について説明する。
【００２２】
ビデオメモリ１０７は、デコーダ１０５がデコードした画像データを展開するメモリ領域（Ａ）７０１〜メモリ領域（Ｈ）７０８と、ディスプレイ１０９に表示される各フレームの画像データが展開されるフレームバッファ７１０とを備える。表示制御部１０８は、フレームバッファ７１０に展開された画像データを読み込み、ディスプレイ１０９に表示する。表示制御部１０８は、ＭＦＰの画像データを表示するときには、ＭＦＰに含まれる各画像データをメモリ領域（Ａ）７０１〜メモリ領域（Ｈ）７０８の各メモリ領域に展開した後、展開された画像データの中から表示する画像データを１つ選択してフレームバッファ７１０に転送する。これにより、選択された画像データがディスプレイ１０９に表示される。
【００２３】
次に、ＭＦＰの記録フォーマットについて説明する。図４は、記録媒体１０４におけるＭＦＰの記録フォーマットを模式的に示す図である。ＭＦＰには、複数枚のオリジナルサイズの画像データと各画像データに付随する付属情報とが含まれている。ＭＦＰの記録フォーマットの先頭にはＭＦＰヘッダ３０１が定義されている。ＭＦＰヘッダ３０１には、ＭＦＰに含まれる画像データの枚数情報やＭＦＰの代表的なサムネイル画像データの画像情報等、ＭＦＰ全体に関する情報が格納されている。次にＭＰＦインデックス領域３０２があり、この領域にはＭＦＰに含まれる各画像データに関する情報の格納領域（画像ヘッダ領域＋画像データ領域）の先頭アドレスのインデックスが記述されている。ＣＰＵ１０１はこのインデックスに記述されている先頭アドレスを参照し、対象とする画像ヘッダ領域及び画像データ領域から画像ヘッダ、画像データを読み込む。
【００２４】
画像データ領域（Ａ）３０４、（Ｂ）３０６〜（Ｈ）３０８には、例えば静止画符号化フォーマットであるＪＰＥＧ（Joint Photographic Experts Group）形式の画像データ（Ａ）、（Ｂ）〜（Ｈ）が格納されている。画像ヘッダ領域（Ａ）、（Ｂ）〜（Ｈ）３０３、３０５〜３０７には、画像データ（Ａ）、（Ｂ）〜（Ｈ）を低解像度化したサムネイル画像データや画像データ（Ａ）、（Ｂ）〜（Ｈ）の付属情報であるＥＸＩＦ（Exchangeable image file format）が格納されている。ＥＸＩＦとは、デジタルカメラが画像データの撮影時において自動的に記しておくコンテンツ情報である。即ちＥＸＩＦには、撮影時のカメラ機種名、シャッタスピード、絞り値及び撮影距離等の撮影条件、ＡＦセンサでピントを合わせたときの画像上における合焦領域等の撮影情報が記述されている。このようにＭＦＰには、複数の画像毎に高解像度のオリジナルサイズの画像データと低解像度のサムネイル画像データとが格納されている。
【００２５】
次にＭＦＰの撮影方法について説明する。ユーザがデジタルカメラのシャッタボタンを押下すると、デジタルカメラはレンズのフォーカスを最短撮影距離から無限遠まで連続的に変化させるとともに、数十枚の画像データ（静止画データ）を連続撮影する。
【００２６】
図５は、数十枚の画像データのうちの１枚を撮影したときのデジタルカメラのライブビュー映像を示す図である。ライブビューとは撮像素子からの映像出力をリアルタイムでディスプレイ１０９に表示する機能である。破線６０１で示す各枠はＡＦ（オートフォーカス）のセンサ領域であり、分割された各領域においてコントラスト値が検出され、その値がピークとなるときに各センサ領域において合焦したと判定される。枠線６０２は合焦領域を示したものである。合焦領域６０２のコントラスト値のピークの判定は、連続撮影したときの各画像データの対象となるセンサ領域のコントラスト値を比較することにより行われ、最もコントラスト値が高い画像データのセンサ領域が合焦領域６０２となる。また、コントラスト値を比較するときに各画像データのコントラスト値が総じて低い場合、どこにもピントがあっていないと判断される。このようにして検出された合焦領域の情報（合焦領域情報）は、座標情報としてＭＦＰの記録フォーマットにおける各画像ヘッダ領域のＥＸＩＦに書き込まれる。
【００２７】
図６は、本実施形態に係る映像表示装置１００の処理を示すフローチャートである。以下、図６を参照しながら、本実施形態に係る映像表示装置１００の処理について説明する。
【００２８】
ステップＳ２０１において、デコーダ１０５は、ＭＦＰに含まれる画像ヘッダ領域（Ａ）３０３、（Ｂ）３０５〜（Ｈ）３０８から全てのサムネイル画像データを取得してデコードする。そしてＣＰＵ１０１は、ビデオメモリ１０７のメモリ領域（Ａ）７０１、（Ｂ）７０２〜メモリ領域（Ｈ）７０８にそれぞれデコード後のサムネイル画像データを展開する。本実施形態では、図７に示すように、ＭＦＰには８枚のオリジナルサイズの画像データが含まれていることを想定している。従って、ステップＳ２０１においては、各オリジナルサイズの画像データに対応する８枚のサムネイル画像データがビデオメモリ１０７のメモリ領域（Ａ）７０１、（Ｂ）７０２〜メモリ領域（Ｈ）７０８に展開される。なお、メモリ領域（Ａ）７０１には、画像データ（Ａ）を低解像度化したサムネイル画像データが展開される。メモリ領域（Ｂ）７０２には、画像データ（Ｂ）を低解像度化したサムネイル画像データが展開される。メモリ領域（Ｈ）７０８には、画像データ（Ｈ）を低解像度化したサムネイル画像データが展開される。
【００２９】
ステップＳ２０２において、ＣＰＵ１０１は、メモリ領域（Ａ）７０１に展開されるサムネイル画像データをフレームバッファ７１０に転送する。表示制御部１０８は、フレームバッファ７１０に展開された、ＭＦＰに含まれる先頭の画像データ（Ａ）に対応するサムネイル画像データをディスプレイ１０９に表示する。以降、ユーザによって画像切換操作があった場合には、ＣＰＵ１０１は、その操作に応じて該当するサムネイル画像データをフレームバッファ７１０に転送する。これにより、ユーザのスライダ５０２の操作に対応したＭＦＰの画像切換が可能になる。サムネイル画像データのデコード時間は、オリジナルサイズの画像データのデコード時間と比較して短いため、切換操作が可能になるまでの時間を短縮することができる。
【００３０】
ステップＳ２０３において、ＣＰＵ１０１は、ＭＦＰに含まれる先頭の画像データ（Ａ）と当該画像データ（Ａ）のＥＸＩＦとを取得する。図７はＭＦＰに含まれる画像データの例を示す図である。図７の例において、８０１が先頭の画像データ（Ａ）である。ステップＳ２０４において、ＣＰＵ１０１は、画像データ（Ａ）８０１のＡＦ評価値を取得する。ここでいうＡＦ評価値とは、ＭＦＰにおいてピントが合っている度合いを示す値である。ＡＦ評価値が高ければピントが合っている被写体が画像データに含まれていることを意味し、逆にＡＦ評価値が低ければピントが合っている被写体がなく、ボケている画像データであることを意味する。ＣＰＵ１０１は、ＡＦ評価値を算出するためにＥＸＩＦから合焦領域の情報を取得する。合焦領域は、図５の６０１に示すように領域をブロック分割して、ＭＦＰに含まれる各画像データのコントラスト値を比較したときに最もコントラスト値が高い領域６０２のことである。ここでは、合焦領域のブロック数をＡＦ評価値とする。図７に示す例において、例えば画像データ（Ａ）８０１の合焦領域（Ａ）は１１ブロックあるので、画像データ（Ａ）８０１のＡＦ評価値は１１となる。
【００３１】
ステップＳ２０５において、ＣＰＵ１０１は、ＡＦ評価値を取得すると、ＡＦ評価値が予め定めた閾値以上であるか否かを判定する。本実施形態においては、ＡＦ評価値が閾値以上であれば、画像データにピントが合っている被写体が含まれているものとする。ここではＡＦ評価値の閾値を３とした。例えば画像データ（Ａ）８０１のＡＦ評価値は１１であるので、ＣＰＵ１０１は画像データ（Ａ）８０１のＡＦ評価値は閾値以上であると判定する。ＡＦ評価値が閾値以上であると判定された場合、処理はステップＳ２０６に進み、一方、ＡＦ評価値が閾値よりも小さいと判定された場合、処理はステップＳ２０７に進む。
【００３２】
ステップＳ２０６において、デコーダ１０５は、オリジナルサイズの画像データ（Ａ）８０１をデコードする。そしてＣＰＵ１０１は、メモリ領域（Ａ）７０１において、サムネイル画像データからデコード後の画像データ（Ａ）８０１に置き換える。さらにＣＰＵ１０１は、メモリ領域（Ａ）７０１の画像データ（Ａ）をフレームバッファ７１０に転送し、高解像度のオリジナルサイズの画像データ（Ａ）をディスプレイ１０９に表示させる。
【００３３】
ステップＳ２０７において、ＣＰＵ１０１は、画像データ（Ａ）８０１の低優先フラグをＯＮに設定する。低優先フラグとは、被写体にピントの合っていないボケている画像データを識別するためのフラグであり、オリジナルサイズの画像データのデコードの優先度を下げるためのフラグである。
【００３４】
ステップＳ２０８において、ＣＰＵ１０１は、ＭＦＰに含まれる全ての画像データを取得したか否かを判定する。未だ全ての画像データを取得していない場合、処理はステップＳ２０９に移行する。ステップＳ２０９において、ＣＰＵ１０１は、次の画像データと当該次の画像データのＥＸＩＦとを取得し、ステップＳ２０４において当該次の画像データのＡＦ評価値を取得する。以上のように、ＣＰＵ１０１は、ＭＦＰに含まれる全ての画像データのＡＦ評価値を取得し、サムネイル画像データからオリジナルサイズの画像データに置き換えるか否かの判定を繰り返し行う。一方、全ての画像データを取得した場合、処理はステップＳ２１０に移行する。
【００３５】
なお、図７における画像データ（Ａ）以外の画像データのＡＦ評価値は次のようになる。即ち、画像データ（Ｂ）８０２は１である。画像データ（Ｃ）８０３は６である。画像データ（Ｄ）８０４は７である。画像データ（Ｅ）８０５は０である。画像データ（Ｆ）８０６は４である。画像データ（Ｇ）８０７は２である。画像データ（Ｈ）８０８は３である。これらの画像データのうち、ＡＦ評価値が閾値以上であると判定されるのは、画像データ（Ｃ）８０３、画像データ（Ｄ）８０４、画像データ（Ｆ）８０６、画像データ（Ｈ）８０８である。従って、デコーダ１０５は、画像データ（Ｃ）８０３、画像データ（Ｄ）８０４、画像データ（Ｆ）８０６、画像データ（Ｈ）８０８をオリジナルサイズでデコードする。そしてＣＰＵ１０１は、メモリ領域（Ｃ）７０３、メモリ領域（Ｄ）７０４、メモリ領域（Ｆ）７０６、メモリ領域（Ｈ）７０８の夫々において、サムネイル画像データから画像データ（Ｃ）８０３、画像データ（Ｄ）８０４、画像データ（Ｆ）８０６、画像データ（Ｈ）８０８に置き換える。全ての画像データに対してＡＦ評価値の判定がなされると、処理はステップＳ２１０に進む。このとき、ユーザの画像切換操作によって、ＡＦ評価値が閾値以上の画像データは全てオリジナルサイズで表示されるようになっている。
【００３６】
ステップＳ２１０において、ＣＰＵ１０１は、ＭＦＰの先頭の画像データ（Ａ）８０１の低優先フラグを取得する。ステップＳ２１１において、ＣＰＵ１０１は、取得した低優先フラグがＯＮであるか否かを判定する。低優先フラグがＯＮである場合、処理はステップＳ２１２に移行する。一方、低優先フラグがＯＦＦである場合、処理はステップＳ２１２をスキップしてステップＳ２１３に移行する。ここでは画像データ（Ａ）８０１が対象となっているため、処理は直接ステップＳ２１３に移行する。つまり、画像データ（Ａ）８０１は既にオリジナルサイズの画像データがデコードされ、メモリ領域（Ａ）７０１に展開されているため、ステップＳ２１２を実行する必要がない。
【００３７】
ステップＳ２１２においては、デコーダ１０５は、そのとき対象となっているオリジナルサイズの画像データをデコードする。ＣＰＵ１０１は、該当するメモリ領域において、サムネイル画像データからオリジナルサイズの画像データに置き換える処理を行う。
【００３８】
ステップＳ２１３において、ＣＰＵ１０１は、ＭＦＰに含まれる全ての画像データの低優先フラグを取得したか否かを判定する。全ての画像データの低優先フラグを取得した場合、処理は終了する。一方、未だ全ての画像データの低優先フラグを取得していない場合、処理はステップＳ２１４に移行する。ステップＳ２１４において、ＣＰＵ１０１は、次の画像データの低優先フラグを取得し、処理をステップＳ２１１に戻す。このようにＣＰＵ１０１は、ＭＦＰの全ての画像データの低優先フラグを取得して低優先フラグがＯＮであるか否かを判定する。そしてデコーダ１０５は、低優先フラグがＯＮになっている画像データ、つまりＡＦ評価値が閾値よりも小さい画像データをオリジナルサイズでデコードする。ＣＰＵ１０１は、該当するメモリ領域において、サムネイル画像データからオリジナルサイズの画像データに置き換える。ここで低優先フラグがＯＮの画像データは、画像データ（Ｂ）８０２、画像データ（Ｅ）８０５、画像データ（Ｇ）８０７である。従って、デコーダ１０５は、画像データ（Ｂ）８０２、画像データ（Ｅ）８０５、画像データ（Ｇ）８０７をデコードする。ＣＰＵ１０１は、メモリ領域（Ｂ）７０２、メモリ領域（Ｅ）７０５、メモリ領域（Ｇ）７０７において、それぞれサムネイル画像データからオリジナルサイズの画像データに置き換える。この置き換え処理により、ユーザの画像切換操作によって、全ての画像データがオリジナルサイズで表示されるようになる。
【００３９】
なお、本発明においては、ＡＦ評価値が閾値以上の画像データのデコード順番に特に制限はない。即ち、本実施形態にように画像データの並び順でデコードしてもよいし、ＡＦ評価値の高い順番、即ち合焦領域が広い順番にデコードしてもよい。他にも、ステップＳ２０２においてユーザが画像切換操作を行った場合、ディスプレイ１０９に表示されている画像データに隣接する、ＡＦ評価値が閾値以上の画像データをオリジナルサイズにデコードし、サムネイル画像データと置き換えるようにしてもよい。
【００４０】
また、表示制御部１０８は、サムネイル画像データをディスプレイ１０９に表示させる際に、そのままディスプレイサイズに合わせて拡大して表示すると画像が粗くなるので、ぼかしフィルタ処理を適用して表示するとよい。ＡＦ評価値が閾値よりも小さい画像データは、ＡＦ評価値が高い画像データと比較して全体のコントラストが低くぼけている画像データである。そのため、サムネイル画像データを拡大してぼかしフィルタ処理を適用した場合、ＡＦ評価値が低い画像データに対応するサムネイル画像データとオリジナルサイズの画像データとの差異が、ＡＦ評価値が高い画像データに対応するサムネイル画像データとオリジナル画像データとの差異に比べて少ない。
【００４１】
また、本実施形態では、各画像データのＥＸＩＦに合焦領域の情報が含まれているとしたが、含まれていない場合は画像データを解析することによって合焦領域の情報を取得してもよい。このとき、各画像データのコントラスト値を比較して合焦領域を算出するＬＳＩ等のハードウェアブロックを追加して、短時間で画像データ解析が可能なようにしておくとよい。
【００４２】
本実施形態によれば、低解像度のサムネイル画像データをデコードすることでＭＦＰの切換操作が可能になるまでの待ち時間を短くすることができる。また、注目被写体にピントが合っているオリジナルサイズの画像データを優先的にデコードし、サムネイル画像データと置き換えることにより、注目画像もすばやく表示することができる。
【００４３】
次に、本発明の第２の実施形態について説明する。本実施形態は、最初にＡＦ評価値に基づいて優先的に高解像度で表示する画像データを決定しておき、ＡＦ評価値が高いものは低解像度のサムネイル画像データをデコードせずに、高解像度のオリジナルサイズの画像データをデコードして表示するようにしている。なお、本実施形態に係る映像表示装置１００の構成は、図１に示した構成と同じであるため、図１の符号を用いて本実施形態について説明する。また、本実施形態においても、ＭＦＰには図７に示す８枚の画像データが含まれているものとする。
【００４４】
図８は、第２の実施形態に係る映像表示装置１００の処理を示すフローチャートである。以下、図８を参照しながら、本実施形態に係る映像表示装置１００の処理について説明する。
【００４５】
ステップＳ９０１において、ＣＰＵ１０１は、ＭＦＰに含まれる先頭の画像データ（Ａ）８０１と当該画像データ（Ａ）８０１のＥＸＩＦとを取得する。ステップＳ９０２において、ＣＰＵ１０１は、画像データ（Ａ）８０１のＡＦ評価値を取得する。ＡＦ評価値の算出方法は第１の実施形態と同様であり、該当するＥＸＩＦから合焦領域の情報を取得して合焦領域のブロック数を算出し、その数値をＡＦ評価値とする。例えば画像データ（Ａ）８０１の合焦領域のブロック数は１１であるため、画像データ（Ａ）８０１のＡＦ評価値は１１となる。
【００４６】
ステップＳ９０３において、ＣＰＵ１０１は、ＡＦ評価値を取得すると、ＡＦ評価値が予め定めた閾値以上であるか否かを判定する。ＡＦ評価値が閾値以上であれば、画像データにピントが合っている被写体が含まれているものとする。ここでもＡＦ評価値の閾値を３とする。例えば画像データ（Ａ）８０１のＡＦ評価値は１１であるので、ＣＰＵ１０１は画像データ（Ａ）８０１のＡＦ評価値は閾値以上であると判定する。ＡＦ評価値が閾値条であると判定された場合、処理はステップＳ９０４に移行し、一方、ＡＦ評価値が閾値より小さいと判定された場合、処理はステップＳ９０５に移行する。
【００４７】
ステップＳ９０４において、デコーダ１０５は、オリジナルサイズの画像データ（Ａ）８０１をデコードし、メモリ領域（Ａ）７０１に展開する。ステップＳ９０５において、ＣＰＵ１０１は、当該画像データの低優先フラグをＯＮにする。ステップＳ９０６において、デコーダ１０５は、当該画像データに対応するサムネイル画像データをデコードする。
【００４８】
ステップＳ９０７において、ＣＰＵ１０１は、ＭＦＰに含まれる全ての画像データを取得したか否かを判定する。未だＭＦＰに含まれる全ての画像データを取得していない場合、処理はステップＳ９０８に移行する。一方、ＭＦＰに含まれる全ての画像データを取得した場合、処理はステップＳ９０９に移行する。
【００４９】
ステップＳ９０８において、ＣＰＵ１０１は、次の画像データと当該次の画像データのＥＸＩＦとを取得し、ステップＳ９０２において当該次の画像データのＡＦ評価値を取得する。以上のように、ＣＰＵ１０１は、ＭＦＰに含まれる全ての画像データのＡＦ評価値を取得し、オリジナルサイズの画像データのデコードを行うか、サムネイル画像データのデコードを行うかの判定を繰り返し行う。
【００５０】
図７の例においては、ＡＦ評価値が閾値以上である、画像データ（Ａ）８０１、画像データ（Ｃ）８０３、画像データ（Ｄ）８０４、画像データ（Ｆ）８０６及び画像データ（Ｈ）８０８はオリジナルサイズでデコードされる。そして、夫々がメモリ領域（Ａ）７０１、メモリ領域（Ｃ）７０３、メモリ領域（Ｄ）７０４、メモリ領域（Ｆ）７０６、メモリ領域（Ｈ）７０８に展開される。また、ＡＦ評価値が閾値より小さい、画像データ（Ｂ）８０２、画像データ（Ｅ）８０５、画像データ（Ｇ）８０７は、夫々の低優先フラグがＯＮに設定される。そして、画像データ（Ｂ）８０２、画像データ（Ｅ）８０５、画像データ（Ｇ）８０７に対応するサムネイル画像データがデコードされ、夫々メモリ領域（Ｂ）７０２、メモリ領域（Ｅ）７０５、メモリ領域（Ｇ）７０７に展開される。
【００５１】
以上のように、図７における画像データ（Ａ）８０１〜画像データ（Ｈ）８０８の全てについて、サムネイル画像データ又はオリジナルサイズの画像データのデコードが完了すると、処理はステップＳ９０９に進む。
【００５２】
ステップＳ９０９において、ＣＰＵ１０１は、ＭＦＰに含まれる先頭のオリジナルサイズの画像データ（Ａ）８０１をフレームバッファ７１０に転送する。これにより、オリジナルサイズの画像データ（Ａ）８０１はディスプレイ１０９に表示される。以降、ユーザによる画像切換操作があった場合、ＣＰＵ１０１は、その操作に応じて該当するオリジナルサイズの画像データ又はサムネイル画像データをフレームバッファ７１０に転送する。これにより、ユーザのスライダ５０２の操作によるＭＦＰの画像切換が可能になる。
【００５３】
なお、第１の実施形態と同様に、サムネイル画像データをディスプレイ１０９に表示させる際に、そのままディスプレイサイズに合わせて拡大すると画像が粗くなるので、ぼかしフィルタ処理を適用して表示するとよい。
【００５４】
ステップＳ９１０において、ＣＰＵ１０１は、ＭＦＰの先頭の画像データ（Ａ）８０１の低優先フラグを取得する。ステップＳ９１１において、ＣＰＵ１０１は、取得した低優先フラグがＯＮであるか否かを判定する。低優先フラグがＯＮである場合、処理はステップＳ９１２に移行する。一方、低優先フラグがＯＦＦである場合、処理はステップＳ９１１をスキップしてステップＳ９１３に移行する。ここでは画像データ（Ａ）８０１が対象となっているため、処理は直接ステップＳ９１３に移行する。つまり、画像データ（Ａ）８０１は既にオリジナルサイズの画像データがデコードされ、メモリ領域（Ａ）７０１に展開されているため、ステップＳ９１２を実行する必要がない。
【００５５】
ステップＳ９１２においては、デコーダ１０５は、そのとき対象となっているオリジナルサイズの画像データをデコードする。ＣＰＵ１０１は、該当するメモリ領域においてサムネイル画像データからオリジナルサイズの画像データに置き換える処理を行う。
【００５６】
ステップＳ９１３において、ＣＰＵ１０１は、ＭＦＰに含まれる全ての画像データの低優先フラグを取得したか否かを判定する。全ての画像データの低優先フラグを取得した場合、処理は終了する。一方、未だ全ての画像データの低優先フラグを取得していない場合、処理はステップＳ９１４に移行する。ステップＳ９１４において、ＣＰＵ１０１は、次の画像データの低優先フラグを取得し、処理をステップＳ９１１に戻す。このようにＣＰＵ１０１は、ＭＦＰの全ての画像データの低優先フラグを取得して低優先フラグがＯＮであるか否かを判定する。そしてデコーダ１０５は、低優先フラグがＯＮになっている画像データ、つまりＡＦ評価値が閾値よりも小さい画像データをオリジナルサイズでデコードする。ＣＰＵ１０１は、該当するメモリ領域において、サムネイル画像データからオリジナルサイズの画像データに置き換える。ここで低優先フラグがＯＮの画像データは、画像データ（Ｂ）８０２、画像データ（Ｅ）８０５、画像データ（Ｇ）８０７である。従って、デコーダ１０５は、画像データ（Ｂ）８０２、画像データ（Ｅ）８０５、画像データ（Ｇ）８０７をデコードする。ＣＰＵ１０１は、メモリ領域（Ｂ）７０２、メモリ領域（Ｅ）７０５、メモリ領域（Ｇ）７０７において、それぞれサムネイル画像データからオリジナルサイズの画像データに置き換える。この置き換え処理により、ユーザの画像切換操作によって、全ての画像データがオリジナルサイズで表示されるようになる。
【００５７】
なお、ＭＦＰの切換操作が可能になるタイミングは、ＡＦ評価値が閾値以上の画像データのオリジナルサイズでのデコードが完了した時点でもよく、必ずしも全ての画像データについてのデコードが完了している必要はない。つまり、ＭＦＰの切換操作が可能になったときは、ピントが合っている被写体を含む画像データのみをオリジナルサイズで表示させ、後から順次、残りのサムネイル画像データの表示、オリジナルサイズでの画像データの表示を行えばよい。
【００５８】
本実施形態においては、ピントが合っている被写体を含む画像データに対応するサムネイル画像データの表示を省略するようにしている。これにより、ピントの合っている被写体を含む画像データは高解像度で表示しながら、より短い時間でＭＦＰの画像切換が可能となる。本実施形態は、特に、ＭＦＰに含まれる各オリジナルサイズの画像データのデコード時間とサムネイル画像データのデコード時間とがあまり変わらない場合に好適な実施形態である。
【００５９】
次に、本発明の第３の実施形態について説明する。本実施形態は、ＭＦＰの視聴時にトリミング領域を指定して再生する場合に、トリミング領域内の合焦領域のみをＡＦ評価値の評価対象としたものである。なお、本実施形態に係る映像表示装置１００の構成は、図１に示した構成と同じであるため、図１の符号を用いて本実施形態について説明する。また、本実施形態においても、ＭＦＰには図７に示す８枚の画像データが含まれているものとする。
【００６０】
図９は、本発明の第３の実施形態に係る映像表示装置１００の処理を示すフローチャートである。以下、図９を参照しながら、本実施形態に係る映像表示装置１００の処理について説明する。
【００６１】
ステップＳ１００１において、デコーダ１０５は、ＭＦＰに含まれる画像ヘッダ領域（Ａ）３０３、（Ｂ）３０５〜（Ｈ）３０８から全てのサムネイル画像データを取得してデコードする。そしてＣＰＵ１０１は、ビデオメモリ１０７のメモリ領域（Ａ）７０１、（Ｂ）７０２〜メモリ領域（Ｈ）７０８にそれぞれデコード後のサムネイル画像データを展開する。
【００６２】
ステップＳ１００２において、ＣＰＵ１０１は、図１０に示すような再生時のトリミング領域１１０１を取得する。ユーザが画像データの一部を拡大して視聴するような場合に、画像データのトリミング領域１１０１を指定する。このとき、ＭＦＰの画像切換操作をすると、トリミング領域１１０１が保持されたまま、ユーザがスライダ５０２で指定した撮影距離に応じた画像データが表示される。
【００６３】
最初にディスプレイ１０９に表示されるＭＦＰの画像データが画像データ（Ａ）８０１であるとすると、ステップＳ１００３において、ＣＰＵ１０１は、メモリ領域（Ａ）７０１に展開されている画像データ（Ａ）８０１をフレームバッファ７１０に転送する。ここでユーザはトリミング領域１１０１を指定しているので、ＣＰＵ１０１は、メモリ領域（Ａ）７０１に展開されている画像データからトリミング領域１１０１を切り出して、フレームバッファ７１０に転送する。このような処理により、ユーザはトリミング領域１１０１を指定した画像切換操作が可能になる。
【００６４】
次に、後述するステップＳ１００４〜Ｓ１００７の処理が画像データの枚数分繰り返し実行される。即ち、ステップＳ１００４において、ＣＰＵ１０１は、ステップＳ１００２で取得したトリミング領域１１０１内の合焦領域のブロック数をカウントしてＡＦ評価値とする。図１０での例は、画像データ全体の合焦領域のブロック数は６であるが、トリミング領域１１０１内の合焦領域は評価対象合焦領域１１０２の３ブロックになる。本実施形態では、他の３ブロックは非評価対象合焦領域１１０３として、ＡＦ評価値の判定には含まない。つまり、本実施形態において図１０の例でのＡＦ評価値は３となる。従って、図７の例において、画像データ（Ａ）８０１の評価値は０である。画像データ（Ｂ）８０２の評価値は０である。画像データ（Ｃ）８０３の評価値は３である。画像データ（Ｄ）８０４の評価値は７である。画像データ（Ｅ）８０５の評価値は０である。画像データ（Ｆ）８０６の評価値は４である。画像データ（Ｇ）８０７の評価値は０である。画像データ（Ｈ）８０８の評価値は３である。
【００６５】
ステップＳ１００５において、ＣＰＵ１０１は、トリミング領域１１０１内のＡＦ評価値が閾値以上であるか否かを判定する。本実施形態では、ＡＦ評価値の閾値を１とする。本実施形態においては、ＡＦ評価値の算出対象領域をトリミング領域１１０１内に限定しているため、ＡＦ評価値の算出対象領域が第１、第２の実施形態より狭くなっている。このため、本実施形態におけるＡＦ評価値の閾値は、第１、第２の実施形態のＡＦ評価値の閾値よりも小さくした方がよい。或いは、ＡＦ評価値の閾値を固定し、各焦点領域のサイズを小さくしてＡＦ評価値を算出してもよい。この場合も、ＡＦ評価値が閾値以上である場合、処理はステップＳ１００６に進み、ＡＦ評価値が閾値より小さい場合、処理はステップＳ１００７に進む。
【００６６】
ステップＳ１００６において、デコーダ１０５は、オリジナルサイズの画像データ（Ｃ）８０３、画像データ（Ｄ）８０４、画像データ（Ｆ）８０６、画像データ（Ｈ）８０８をデコードする。そしてＣＰＵ１０１は、デコード後の夫々の画像データからトリミング領域１１０１に該当する部分を切り出し、各メモリ領域において、サムネイル画像データから、切り出したオリジナルサイズの画像データに置き換える。
【００６７】
ステップＳ１００７において、ＣＰＵ１０１は、ＡＦ評価値が閾値より小さいと判定した各画像データの低優先フラグをＯＮにする。以上、ステップＳ１００４〜Ｓ１００７の処理を画像データの枚数分繰り返し実行する。全ての画像データに対してＡＦ評価値の判定処理が完了すると、ユーザの画像切換操作によって、ＡＦ評価値が閾値以上の画像データは全てオリジナルサイズで表示される。
【００６８】
次に、後述するステップＳ１００８〜Ｓ１０１０に示す、低優先フラグに基づいてオリジナルサイズの画像データがデコードされる処理が、画像データの枚数分繰り返し実行される。即ち、ステップＳ１００８において、ＣＰＵ１０１は、画像データの低優先フラグを取得する。ステップＳ１００９において、ＣＰＵ１０１は、取得した低優先フラグがＯＮであるかＯＦＦであるかを判定する。低優先フラグがＯＮである場合、処理はステップＳ１０１０に移行する。一方、低優先フラグがＯＦＦである場合、処理はステップＳ１００８に戻る。
【００６９】
ステップＳ１０１０において、デコーダ１０５は、低優先フラグがＯＮになっている画像データ、つまりＡＦ評価値が閾値よりも小さいと判定された画像データ（Ａ）８０１、画像データ（Ｂ）８０２、画像データ（Ｅ）８０５、画像データ（Ｇ）８０７をオリジナルサイズで順次デコードする。そして、ＣＰＵ１０１は、デコード後の夫々の画像データからトリミング領域１１０１に該当する部分を切り出し、各メモリ領域において、サムネイル画像データから、切り出したオリジナルサイズの画像データに置き換える。
【００７０】
このようにステップＳ１００８〜Ｓ１０１０の処理を画像データの枚数分繰り返し実行することにより、ユーザの画像切換操作によって、全ての画像データがオリジナルサイズで表示されるようになる。
【００７１】
本実施形態においては、画像データにおけるユーザの注目領域（トリミング領域）をＡＦ評価値の算出対象領域としているため、ユーザの注目領域に対応した部分を高解像度の画像データですばやく表示することができる。
【００７２】
次に、本発明の第４の実施形態について説明する。なお、本実施形態に係る映像表示装置の構成は、図１に示す構成と同様であるため、図１に示した符号を用いながら本実施形態について説明を行う。以下では、メモリカードやＵＳＢドライバ等の外部記憶装置に記録されているＭＦＰに含まれる画像データを映像表示装置１００にて一覧表示する場合について説明する。
【００７３】
図１１は、映像表示装置１００のディスプレイ１０９に表示されるサムネイル一覧画面の一例を示す図である。図１２は、本実施形態におけるＣＰＵ１０１の機能的な構成を示すブロック図である。
【００７４】
接続機器検出部１３０２は、外部機器Ｉ／Ｆ１０６にメモリカードやＵＳＢデバイス等の外部記憶装置が接続されたことを検出する。画像判定部１３０３は、外部記憶装置に表示すべき画像データが記憶されているか否かを判定する。判定の結果、表示すべき画像データが記憶されていた場合、制御部１３０１は、各画像データに対応する画像ヘッダからサムネイル画像データを取得し、デコーダ１０７でデコードさせる。
【００７５】
デコードされたサムネイル画像データは、ＲＡＭ１０２に一時的に展開された後、制御部１０１によって画面構成部１３０４に転送される。画面構成部１３０４は、該当する箇所にサムネイル画像データが表示されるようにサムネイル一覧画面を構成する。以上の処理がサムネイル一覧画面において最大表示可能な枚数分（図１１の例では、横７枚、縦５枚の計３５枚）繰り返されることにより、図１１に示すサムネイル一覧画面が完成する。
【００７６】
さらに制御部１３０１は、サムネイル一覧画面において、ＭＦＰに含まれるサムネイル画像データを表示した箇所には、ユーザがそのことを識別可能なように図１１の１２０１に示すＧＵＩを表示させる。このとき、制御部１３０１は、ＧＵＩ１２０１を表示するためのＧＵＩデータをＲＯＭ１０３から取得し、ＲＡＭ１０３に一時的に展開した後、画面構成部４０４に転送することによりＧＵＩ１２０１を表示させている。
【００７７】
図１１の１２０２は、ＭＦＰに含まれるＪＰＥＧ形式の画像データであることを示している。図１１の１２０３は、ユーザが選択する画像データを指定するためのフォーカス表示であり、リモコン１１１からのユーザの操作信号を受光部１０４で受けると、制御部１３０１はフォーカス表示１２０３の位置を切り換える。ユーザがリモコン１１１を操作することにより画像データの視聴を選択した場合、デコーダ１０５は当該画像データをデコードし、デコードされた画像データがディスプレイ１０９に表示される。
【００７８】
本実施形態においては、ＭＦＰに含まれる画像データのデコード及び表示順を各画像データの被写界深度に基づき決定する。図１３は、ＭＦＰに含まれる各画像データの被写界深度を示す図である。本実施形態では、説明の単純化のため、ＭＦＰには５枚の画像データＡ〜Ｅが含まれているものとする。
【００７９】
図１３において、１４０１〜１４０５は画像データＡ〜Ｅにおける被写界深度を示しており、合焦位置Ａ〜Ｅは画像データＡ〜Ｅの合焦位置を示している。１４０６及び１４０７は、画像データＢとその隣接画像データ（画像データＡ及び画像データＣ）との被写界深度が重複する領域を示している。同様に１４０８及び１４０９は、画像データＤとその隣接画像データ（画像データＣ及び画像データＥ）との被写界深度が重複する領域を示している。このようなＭＦＰを例に挙げて、図１４を用いて本実施形態に係る映像表示装置１００の処理について説明する。図１４は、本実施形態に係る映像表示装置１００の処理を示すフローチャートである。
【００８０】
図１４のフローチャートに示す処理は、図１１に示すようなサムネイル一覧画面から開始される。ユーザはリモコン１０５を用いてフォーカス表示１２０３を移動させ、画像データを選択する操作を行う。ステップＳ１５０１において、制御部１３０１は、受光部１１０で受けたリモコン１０５からのユーザの操作信号に基づいて、表示させる画像データを選択する。
【００８１】
ステップＳ１５０２において、画像判定部１３０３は、選択された画像データがＭＦＰに含まれる画像データであるか否かを判定する。この判定は、当該画像データが図４に示すようなＭＦＰフォーマットで記憶されているか否かで行われる。ＭＦＰに含まれる画像データではない場合、処理はステップＳ１５０３に移行する。一方、ＭＦＰに含まれる画像データである場合、処理はステップＳ１５０４に移行する。
【００８２】
ステップＳ１５０３において、制御部１３０１は、デコーダ１０７を用いて画像データをデコードし、デコード結果をフレームバッファ１０８に転送し、画面に表示させる。
【００８３】
一方、ステップＳ１５０４においては次の処理が実行される。即ち、制御部１３０１は、優先度設定部１３０５に対し、ＭＦＰに含まれる各画像データを表示させる順番を示す表示優先度を要求する。この要求を受けて、優先度設定部１３０５は、表示優先度を決定するために、被写界深度算出部１３０６に対して各画像データの被写界深度の算出を要求する。被写界深度算出部１３０６は、ＭＦＰインデックス領域３０２に記録されている先頭アドレスを参照し、各画像ヘッダ領域からＥＸＩＦを取得する。そして被写界深度算出部１３０６は、取得した各ＥＸＩＦに基づいて、各画像データの被写界深度を算出する。なお、被写界深度の算出には、次の式１〜式３が用いられる。
被写界深度＝前方被写界深度＋後方被写界深度・・・（式１）
前方被写界深度＝（許容錯乱円径×Ｆ値×被写体距離2）／（焦点距離2＋許容錯乱円径×Ｆ値×被写体距離）・・・（式２）
後方被写界深度＝（許容錯乱円径×Ｆ値×被写体距離2）／（焦点距離2−許容錯乱円径×Ｆ値×被写体距離）・・・（式３）
【００８４】
上記焦点距離及び被写体距離はｍｍ単位であり、ＥＸＩＦから取得されるものである。また、許容錯乱円径は、撮像素子の対角距離（ｍｍ単位）／許容錯乱円径定数（１３００）より求められ、撮像素子の対角距離は、同様にＥＸＩＦより取得される。
【００８５】
被写界深度算出部１３０６は、上記式１〜式３を用いて各画像データの被写界深度を算出する。これにより、図１３に示したような各画像データの被写界深度の位置関係が取得される。なお、図１３における合焦位置は、焦点距離＋被写体距離にて求められる。
【００８６】
優先度設定部１３０５は、上記のように算出された各画像データの被写界深度の位置関係に基づいて、各画像データに表示優先度を設定していく。即ちステップＳ１５０５において、優先度設定部１３０５は、ＭＰＦヘッダ領域２０１よりＭＦＰの代表画像データのＩＮＤＥＸ番号を取得する。そして優先度設定部１３０５は、この代表画像データを始めに表示する画像データとして表示優先度を１に設定する。なお、表示優先度は、数値の小さいものほど高い優先度を示すものとする。
【００８７】
ステップＳ１５０６において、優先度設定部１３０５は、優先度設定済みの画像データとその他の画像データとの被写界深度の重複量を算出し、重複量の大小を比較する。この時点で優先度が設定されている画像データは、代表画像データのみである。図１３の例では、優先度設定部１３０５は、画像データＡ（代表画像データ）に対する画像データＢ〜画像データＥの重複量を算出し、それぞれ比較する。ステップＳ１５０７において、優先度設定部１３０５は、ステップＳ１５０６の比較結果より、重複量の最も少ない画像データを次に表示優先度の高い画像データの候補として抽出する。
【００８８】
ステップＳ１５０８において、優先度設定部１３０５は、ステップＳ１５０６での比較の結果、同一重複量の画像データが存在するか否かを判定する。同一重複量の画像データが存在しない場合、処理は後述するステップＳ１５０１、Ｓ１５１１をスキップして、ステップＳ１５０９に移行する。一方、同一重複量の画像データが存在する場合、処理はステップＳ１５１０に移行する。
【００８９】
ステップＳ１５１０において、優先度設定部１３０５は、各画像データの撮影距離を比較する。ステップＳ１５１１において、優先度設定部１３０５は、ステップＳ１５１０における比較の結果、最も撮影距離の近い（最も合焦位置がカメラに近い）画像データを、次に表示優先度の高い画像データとして抽出する。そしてステップＳ１５０９において、優先度設定部１３０５は、ステップＳ１５１１で抽出した画像データの表示優先度を、現在までに決定されている表示優先度の値プラス１とする。一方、ステップＳ１５０８から直接ステップＳ１５０９に移行した場合、優先度設定部１３０５は、ステップＳ１５０７で抽出した画像データを次に表示優先度の高い画像データとすべく、当該画像データの表示優先度を現在までに決定されている表示優先度の値プラス１とする。
【００９０】
図１３の例では、画像データＡ（代表画像データ）の表示優先度を１とした後、各画像データとの重複量を比較する。図１３に示すように、画像データＡとの最小重複量の画像データは、画像データＣ、画像データＤ、画像データＥ（全て重複なし）であるが、この中で最も撮影距離の近い画像データは、画像データＣであるため、次に表示する画像データとしては画像データＣが選ばれ、表示優先度が２に設定される。
【００９１】
ステップＳ１５１２において、優先度設定部１３０５は、表示優先度が設定されていない画像データが残り１枚であるか否かを判定する。表示優先度が設定されていない画像データが残り１枚である場合、処理はステップＳ１５１３に移行する。一方、表示優先度が設定されていない画像データが残り１枚でない場合、即ち、表示優先度が設定されていない画像データが複数枚存在する場合、処理はステップＳ１５０６に戻る。
【００９２】
図１３の例では、画像データＡと画像データＣとが表示優先度設定済みである。従って、繰り返されるステップＳ１５０６では、画像データＡ、Ｃと他の画像データとの重複量が比較される。画像データＢは、上記２つの画像データ（画像データＡ、画像データＣ）と、１４０６及び１４０７の領域が重複し、画像データＤは、画像データＣと１４０８の領域が重複している。一方、画像データＥは、上記２つの画像データのどちらとも重複していない。この結果、画像データＥが最も重複量の少ない画像データであるため、ステップＳ１５０９において次に表示優先度の高い画像データとして設定される。
【００９３】
上述したような処理を繰り返し、表示優先度が決定されていない画像データが残り１枚になると、ステップＳ１５１３において、優先度設定部１３０５は、最後の画像データの表示優先度を現在の表示優先度の値プラス１とする。以上により、全画像データに対して表示優先度が設定される。なお、図１３に示す画像データＢ、画像データＤでは、優先度設定済み画像データとの重複量は夫々１４０６＋１４０７、１４０８＋１４０９となる。その結果、画像データＢの方が画像データＤに比べてより重複量が少ないため、画像データＢに優先度Ｄが設定され、画像データＤに表示優先度５が設定される。
【００９４】
次に、後述するステップＳ１５１４の処理が全画像データ分繰り返し実行される。即ち、ステップＳ１５１４において、制御部１３０１は、優先度設定部１３０５よって設定された表示優先度を取得する。そして制御部１３０１は、取得した表示優先度に従ってＭＦＰインデックス領域２０２より表示する画像データの先頭アドレスを参照し、画像データを取得する。そして制御部１３０１は、取得した画像データをデコーダ１０７によってデコードさせる。画面構成部１３０４は、デコードされたビットマップデータを表示領域に適するようスケーリングし、フレームバッファ１０８に転送する。これにより、ディスプレイ１０９に画像データが表示される。以上の処理を全画像データ分繰り返し行うことにより、各画像データは設定された表示優先度に基づいてディスプレイ１０９に表示されていく。
【００９５】
図１５は、従来技術と本実施形態とのＭＦＰに含まれる各画像データの表示順序の差異を説明するための図である。図１５（ａ）には、従来技術における画像データの表示順序の例を示し、図１５（ｂ）には、本実施形態における画像データの表示順序の例を示している。なお、１６００で示されるアイコンは、デコード及び表示が完了していない画像データであることを示すアイコンである。また、１６０１〜１６０５で示される画像データは、図１３における画像データＡ〜画像データＥに相当する画像データを示す。
【００９６】
図１５（ａ）に示す従来技術では、各画像データは、被写界深度によらず、ＭＦＰインデックス領域３０２に記録されている表示順序に従ってデコード及び表示される。ＭＦＰインデックス領域３０２に記録されている表示順序は、通常、撮影時刻順であることが考えられる。従って、図１５（ａ）の上方から下方に向かって、１６０１、１６０２、１６０３、１６０４、１６０５の画像データが順に表示されていくように、最短撮影距離から無限遠に向かって撮影された順序で画像データが表示されていく。即ち、画像データＡ→画像データＢ→画像データＣ→画像データＤ→画像データＥの順で表示されていく。
【００９７】
一方、本実施形態における画像データの表示順序は、上述したように各画像データの被写界深度の重複量に従って決定される。即ち、図１５（ｂ）の上方から下方に向かって、１６０１、１６０３、１６０５、１６０２、１６０４の画像データが順に表示されていくように、画像データＡ→画像データＣ→画像データＥ→画像データＢ→画像データＤの順で表示されていく。
【００９８】
ユーザがＭＦＰに含まれる画像データの視聴を選択した場合、従来技術の表示順序では、例えば画像データＥにて合焦されている人物を確認できるようになるまでに、５枚分の画像データのデコード及び表示時間を要することになる。一方、本実施形態における表示順序に従えば、３枚分の画像データのデコード及び表示時間で確認することが可能になる。本実施形態では、ＭＦＰに含まれる画像データの場合、連続する画像データは被写界深度の重複もあり、比較的近い内容の画像データであることが予想されることを利用している。
【００９９】
従って、本実施形態によれば、ユーザはＭＦＰに含まれる画像データの全容をより待ち時間なく確認することができるようになる。また、ここでは５枚の画像データを用いて説明したが、実際には数十枚の画像データがＭＦＰに含まれることが考えられ、その場合、本実施形態の効果はより顕著に表れる。
【０１００】
また本実施形態では、同一重複量の画像データが複数存在した場合、撮影距離の近い画像データを優先するとしたが、撮影距離の遠い画像データを優先とすることも、被写界深度の深い画像データを優先することも可能である。
【０１０１】
また本実施形態では、被写体距離や撮像素子の対角距離はＥＸＩＦに記述された値を使用するとしたが、別途ユーザにより入力された値を使用して被写界深度を算出してもよい。
【０１０２】
次に、本発明の第５の実施形態について説明する。本実施形態では、ＭＦＰに含まれる画像データ毎の表示優先度の設定の際に、第４の実施形態とは異なる処理を実行するものである。以下、主に第４の実施形態と異なる部分について説明する。なお、本実施形態に係る映像表示装置の構成は、図１、図１２に示す構成と同様であるため、図１、図１２に示した符号を用いながら本実施形態について説明を行う。
【０１０３】
本実施形態は、表示優先度を設定するための指標とするデータに第４の実施形態とは異なる特徴を有する。即ち、第４の実施形態では、優先度設定部１３０５は重複量の累計の少ない画像データから優先的にデコードする。図１６に例示すると、画像データＢの表示優先度と画像データＤの表示優先度とを設定するため、第４の実施形態では、１７０６＋１７０７の距離と１７０８＋１７０９の距離とを算出し、これらの大小で比較していた。これに対し、本実施形態では、表示優先度設定済みの画像データと他の画像データとの被写界深度の重複率を算出し、より重複率の少ない画像データを表示優先度の高い画像データとするような処理を行う。なお、重複率は、（重複の累計（ｍｍ単位）／被写界深度（ｍｍ単位））より求めるものとする。これを図１６における画像データＢと画像データＤとを例に挙げて説明すると、画像データＢの表示優先度設定済みの画像データ（画像データＡ、画像データＣ、画像データＥ）との重複率は、（１７０６＋１７０７）/１７０２より算出される。一方、同様に画像データＤの優先度設定済み画像データ（画像データ１、画像データＣ、画像データＥ）との重複率は、（１７０８＋１７０９）/１７０４より算出される。優先度設定部１３０５は、これらの値を比較し、より重複率の少ない画像データを優先度の高い画像データとして設定する。
【０１０４】
本実施形態によれば、重複率に従って優先度を決定することにより、より他の画像データと重複していない領域の存在する画像データを先行して表示することが可能となり、ユーザがＭＦＰに含まれる画像データの全容を素早く把握することができる。
【０１０５】
次に、本発明の第６の実施形態について説明する。本実施形態では、ＭＦＰに含まれる画像データ毎の表示優先度の設定の際に、第４及び第５の実施形態とは異なる処理を実行するものである。以下、主に第４及び第５の実施形態と異なる部分について説明する。なお、本実施形態に係る映像表示装置の構成は、図１、図１２に示す構成と同様であるため、図１、図１２に示した符号を用いながら本実施形態について説明を行う。
【０１０６】
本実施形態は、表示優先度を決定するための指標とするデータに第４及び第５の実施形態と異なる特徴を有する。即ち、第４の実施形態では、優先度設定部１３０５は重複量の累計の少ない画像データから優先的に表示し、第５の実施形態では、重複率の少ない画像データから優先的に表示するものである。これに対し、本実施形態は、被写界深度の非重複量の大きい画像データから優先的にデコードするものである。
【０１０７】
本実施形態における優先度設定部１３０５は、代表画像データ（画像データＡ）の優先度を設定した後、この代表画像データの被写界深度とその他の画像データの被写界深度との非重複量の大きさを算出する。図１７の例で説明すると、画像データＣ、画像データＤ、画像データＥは何れも画像データＡと重複しないが、画像データＥが最も被写界深度の深い画像データである。そのため、結果的に非重複量の最も大きい画像データとなり、画像データＥに対して表示優先度が２に設定される。同様の処理により、画像データＣが表示優先度３に設定される。また、画像データＢ及び画像データＤは、非重複量は夫々１７０６と１７０７で示される。図１７の例では１７０６＞１７０７のため、画像データＢが表示優先度４に設定され、画像データＤが表示優先度５に設定される。
【０１０８】
次に、本発明の第７の実施形態について説明する。以下、主に第４〜第６の実施形態と異なる部分について説明する。なお、本実施形態に係る映像表示装置の構成は、図１、図１２に示す構成と同様であるため、図１、図１２に示した符号を用いながら本実施形態について説明する。
【０１０９】
本実施形態は、図１１に示すような、サムネイル一覧表示している状態において、ユーザがＭＦＰを選択した後の当該ＭＦＰに含まれる各画像データのユーザへの提示方法に異なる特徴を有する。本実施形態では、ユーザがＭＦＰを選択した場合、図１８に示すようにＭＦＰに含まれる画像データをディスプレイ１９０１全体に表示し、その後、ユーザ操作によって表示画像の切換え要求が発生する度、該当する画像データを表示するというものである。
【０１１０】
図１９は、本実施形態における、ＭＦＰに含まれる画像データの表示処理を示すフローチャートである。本実施形態における画像データの表示処理は、表示優先度の設定処理までは第４〜第６の実施形態と同様である。従って、図１９に示すフローチャートの処理は、ＭＦＰに含まれる各画像データの表示優先度が全て設定された図１４のステップＳ１５１３の状態から開始される。
【０１１１】
ステップＳ２００１において、制御部１３０１は、ユーザ入力操作によってリモコン１１１から出力される表示画像の切換え要求信号を受光部１１０で受信したか否かを判定する。切り替え要求信号を受信していない場合、処理はステップＳ２００２に移行する。一方、切り換え要求信号を受信した場合、処理はステップＳ２００６に移行する。ステップＳ２００２において、制御部１３０１は、未だデコードしていない画像データが存在するか否かを判定する。未だデコードしていない画像データが存在する場合、処理はステップＳ２００３に移行する。一方、未だ全ての画像データがデコード済みである場合、処理は終了する。
【０１１２】
ステップＳ２００３において、制御部１３０１は、優先度設定部１３０５により設定された表示優先度に従ってデコードする画像データを決定し、デコーダ１０７にデコードを実行させる。デコード後の画像データであるビットマップデータは、ＲＡＭ１０３において一時的に記憶される。ステップＳ２００４において、制御部１３０１は、現在ディスプレイ１０９に画像データが表示されているか否かを判定する。既に画像データが表示されている場合、処理はステップＳ２００５をスキップしてステップＳ２００１に移行する。一方、ＭＦＰの選択直後により、未だ画像データが表示されていない場合、処理はステップＳ２００５に移行する。ステップＳ２００５において、制御部１３０１は、ステップＳ２００３にてデコードした画像データであるビットマップデータをＲＡＭ１０３より取得する。そして、画面構成部１３０４は、制御部１３０１によって取得された画像データをスケーリングした後、フレームバッファ７１０に転送する。これにより、図１８に示すように、ディスプレイ１０９に画像データが表示される。
【０１１３】
ところで、ステップＳ２００１において、画像切換え要求がないと判定された場合、デコーダ１０７は、ステップＳ２００２、Ｓ２００３の処理に従って未だデコード済みでない画像データを表示優先度に従ってデコードし続ける。一方、ステップＳ２００１において、画像切換え要求があったと判定された場合、処理はステップＳ２００６に移行する。ステップＳ２００６において、制御部１３０１は、その要求により画像切換え先となった画像データが既にデコード済みであるか否かを判定する。画像切換え先となった画像データが既にデコード済みである場合、処理はステップＳ２００９に移行する。制御部１３０１は、デコード済みのデータをＲＡＭ１０３より取得し、画面構成部１３０４及びフレームバッファ７１０を介して画像データをディスプレイ１０９に表示させる。一方、画像切換え先となった画像データが未だデコード済みでない場合、処理はステップＳ２００７に移行する。画像切換え先となった画像データのデコードから表示までに時間が掛かるため、ステップＳ２００７において、制御部１３０１は、デコード中のアイコンを一時的に表示する。そしてステップＳ２００８において、制御部１３０１は、画像切換え先となった画像データをデコードする。デコード完了後、ステップＳ２００９において、制御部１３０１は、デコードしたビットマップデータをフレームバッファ７１０に上書きすることで、アイコンと入れ替えて画像切換え先となった画像データを表示する。
【０１１４】
本実施形態においては、上述したような制御を行うことにより、選択されたＭＦＰの各画像データを全画面に表示する場合でも、画像データの被写体深度の重複情報に従ってデコード順位を決定している。そのため、より優先度の高い画像データが既にデコードされているようになり、ＭＦＰの全容を把握する時間を短縮することが可能になる。
【０１１５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１１６】
１００：映像表示装置、１０１：ＣＰＵ、１０２：ＲＡＭ、１０３：ＲＯＭ、１０４：記録媒体、１０５：デコーダ、１０６：外部機器Ｉ／Ｆ、１０７：ビデオメモリ、１０８：表示制御部、１０９：ディスプレイ、１１０：受光部、１１１：リモコン、１２１：タッチパッド、１３０：タッチパネル
【図１】
0005570348.tif 000002
【図２】
0005570348.tif 000003
【図３】
0005570348.tif 000004
【図４】
0005570348.tif 000005
【図５】
0005570348.tif 000006
【図６】
0005570348.tif 000007
【図７】
0005570348.tif 000008
【図８】
0005570348.tif 000009
【図９】
0005570348.tif 000010
【図１０】
0005570348.tif 000011
【図１１】
0005570348.tif 000012
【図１２】
0005570348.tif 000013
【図１３】
0005570348.tif 000014
【図１４】
0005570348.tif 000015
【図１５】
0005570348.tif 000016
【図１６】
0005570348.tif 000017
【図１７】
0005570348.tif 000018
【図１８】
0005570348.tif 000019
【図１９】
0005570348.tif 000020
【図２０】
0005570348.tif 000021