(57)【要約】【課題】動画を構成する全てのフレーム画像のうち、合焦度合いが最も高いフレーム画像を、ユーザが容易に把握できるようにすること。【解決手段】動画の再生時に、動画を構成する全てのフレーム画像ごとの焦点評価値を示すフォーカスカーブを、フレーム画像とともに表示する。これにより、ユーザは、フォーカスカーブ上でＡＦ評価値が最大となるフレーム画像の時系列上での位置（フレーム番号）を容易に把握することができる。このため、ユーザは、十字ボタン２７ａを操作して、フォーカスカーブ上で矢印が順次指し示すＡＦ評価値の遷移を確認しながらフレーム画像をコマ送り表示させて、ＡＦ評価値が最大となるフレーム画像を液晶ディスプレイ２６ａに表示させることができる。【選択図】      図９
2010212966.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する全てのフレーム画像を表示可能な表示手段と、
前記全てのフレーム画像と前記全てのフレーム画像のそれぞれの焦点評価値との対応関係を示すフォーカスカーブを生成するＡＦカーブ生成手段と、
前記全てのフレーム画像のうち特定のフレーム画像を指定する指定手段と、
前記指定手段により指定されている特定のフレーム画像と、前記フォーカスカーブと、前記指定手段により指定されている特定のフレーム画像に対応する焦点評価値を前記フォーカスカーブにおいて示す指標と、を前記表示手段に表示させる表示制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記指定手段は、
ユーザの操作に基づき、前記全てのフレーム画像のうち特定のフレーム画像を指定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記指定手段は、
前記全てのフレーム画像のうち、焦点評価値が最も高いフレーム画像を自動的に指定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記表示手段に表示されているフレーム画像の記録を指示する記録指示手段と、
前記記録指示手段により記録が指示されたフレーム画像を、前記動画データとは独立させて記録媒体に記録させる静止画取得手段と、
さらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
動画像を撮影して当該動画像を表現する動画データを生成する撮影手段と、
前記動画像を構成する全てのフレーム画像と焦点評価値との対応情報を取得し、取得された対応情報を、前記動画データに付帯させて前記記録媒体に記録させる撮影制御手段と、をさらに備え、
前記表示制御手段は、
前記記録媒体に記録された動画データにより表現される動画像を構成するフレーム画像を、前記表示手段に表示させ、
前記ＡＦカーブ生成手段は、
前記記録媒体に記録された対応情報から前記フォーカスカーブを生成する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
動画像を構成する全てのフレーム画像を表示する表示手段と、を備える画像処理装置のコンピュータを、
前記複数のフレーム画像と前記全てのフレーム画像のそれぞれの焦点評価値との対応関係を示すフォーカスカーブを生成するＡＦカーブ生成手段、
ユーザの操作に基づき、前記全てのフレーム画像のうち特定のフレーム画像を順次指定する指定手段、
前記指定手段により指定されている特定のフレーム画像と、前記フォーカスカーブと、前記指定手段により指定されている特定のフレーム画像に対応する焦点評価値を前記フォーカスカーブにおいて示す指標と、を前記表示手段に表示させる表示制御手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、画像の焦点に関する情報を用いた技術に関する。
【背景技術】
【０００２】
この種の技術としては、例えば、特許文献１に、動画を構成する全フレーム画像において、ユーザにより指定されたフレーム画像に対し時間的に連続する複数のフレーム画像から、合焦度合い（ピントが合っている度合い）が最も高いフレーム画像を特定し、この特定したフレーム画像に対し時間的に前後する他のフレーム画像を表示する技術が提案されている。特許文献１に記載の技術によれば、ユーザは、自身が指定したフレーム画像に連続する複数のフレーム画像のうち、最もピントが合っているフレーム画像を把握できるとともに、より適切な構図を持つ可能性がある他のフレーム画像をも把握することができる。
【０００３】
また、特許文献２には、撮影された動画を構成する各フレーム画像を表示する際に、各フレーム画像のボケの度合いに応じて、ボケの度合いが大きいフレーム画像には×印を重畳表示させ、ボケの度合いが小さいフレーム画像には△印を重畳表示させる技術が提案されている。特許文献２に記載の技術によれば、ユーザは、ボケの度合いに応じて表示される印を、動画の中からフレーム画像を選択する際の目安として利用できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１５４０４７号公報
【特許文献２】特開２００３−３０４４９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、動画を構成する全フレーム画像においては、ユーザが指定したフレーム画像から時間的に大きく離れた他のフレーム画像が、ユーザが指定したフレーム画像やその付近のフレーム画像よりも高い合焦度合いを持つ場合がある。
【０００６】
しかしながら、特許文献１に記載の技術では、ユーザにより指定されたフレーム画像に連続する所定範囲（例えば３０フレーム分）に含まれる画像フレーム群のみからしか、合焦度合いが最も高いフレーム画像を特定していない。このため、ユーザは、動画を構成する全てのフレーム画像の中において、合焦度合いが最も高いフレーム画像を把握することが困難であるという問題がある。
【０００７】
一方、特許文献２に記載の技術でも、フレーム画像のボケの度合いを３段階（印なし、△印、×印）で表示するだけであるため、特許文献１に記載の技術と同様に、ユーザは、動画を構成する全てのフレーム画像の中において、合焦度合いが最も高いフレーム画像を把握することが困難であるという問題がある。
【０００８】
そこで、本発明の目的は、動画を構成する全てのフレーム画像のうち、合焦度合いが最も高いフレーム画像を、ユーザが容易に把握できるようにすることにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は、
動画像を構成する全てのフレーム画像を表示可能な表示手段と、
前記全てのフレーム画像と前記全てのフレーム画像のそれぞれの焦点評価値との対応関係を示すフォーカスカーブを生成するＡＦカーブ生成手段と、
前記全てのフレーム画像のうち特定のフレーム画像を指定する指定手段と、
前記指定手段により指定されている特定のフレーム画像と、前記フォーカスカーブと、前記指定手段により指定されている特定のフレーム画像に対応する焦点評価値を前記フォーカスカーブにおいて示す指標と、を前記表示手段に表示させる表示制御手段と、
を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、動画を構成する全てのフレーム画像のうち、合焦度合いが最も高いフレーム画像を、ユーザが容易に把握できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る画像処理装置の外観を示す図である。
【図２】本発明の一実施形態に係る画像処理装置の機能構成を示すブロック図である。
【図３】本発明の一実施形態に係る動画撮影処理の流れを示す図である。
【図４】本発明の一実施形態に係る画像処理装置が生成するフレーム番号とＡＦ評価値との対応情報を示す図である。
【図５】フレーム番号とＡＦ評価値との対応情報が記憶される場所を説明するための図である。
【図６】本発明の一実施形態に係る動画再生処理の流れを示す図である。
【図７】本発明の一実施形態に係る画像処理装置が生成するフォーカスカーブの一例を示す図である。
【図８】本発明の一実施形態に係る画像処理装置が生成するフレーム画像にフォーカスカーブが重畳表示される様子を示す図である。
【図９】本発明の一実施形態に係る画像処理装置が生成するフレーム画像にフォーカスカーブが重畳表示される様子を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面に基づき、本発明の一実施形態に係る画像処理装置１００について説明する。画像処理装置１００は、デジタルカメラなどにより構成することができる。
【００１３】
図１は、本実施形態に係る画像処理装置１００の外観を示す図である。図１に示されるように、画像処理装置１００の背面には、十字ボタン２７ａ、決定ボタン２７ｂ、メニューボタン２７ｃ、液晶ディスプレイ２６ａが設けられている。
【００１４】
液晶ディスプレイ２６ａは、動画撮影モードではライブビュー画像を表示する電子ビューファインダとして使用され、動画再生モードでは記録されている動画が表示される。十字ボタン２７ａは、十字配列されている４つのボタンである左ボタン、下ボタン、右ボタン、上ボタンで構成されている。十字ボタン２７ａは、液晶ディスプレイ２６ａに表示させるフレーム画像を指定するためや、メニュー画面などに表示される各種項目を選択するためのカーソルの移動などために、ユーザにより操作される。決定ボタン２７ｂは、ユーザの十字キー２７ｂの操作により選択された各種項目を決定するために、ユーザにより操作される。メニューボタン２７ｃは、メニュー画面を液晶ディスプレイ２６ａに表示させる際に、ユーザにより操作される。
【００１５】
また、画像処理装置１００の上面には、シャッタボタン２７ｄが設けられている。シャッタボタン２７ｄは、撮影準備（ＡＦ処理など）を指示するための半押し操作と、撮影を指示するための全押し操作とをユーザから受け付けることが可能な構成である。
【００１６】
図２は、本実施形態に係る画像処理装置１００の機能的構成を示すブロック図である。図２を用いて、本実施形態に係る画像処理装置１００の構成を説明する。
【００１７】
画像処理装置１００は、制御部１０と、ＲＡＭ１１と、ＲＯＭ１２と、光学レンズ装置１３と、光学系制御部１４と、光学系駆動部１５と、シャッタ装置１６と、撮像素子１７と、ＴＧ１８と、撮像素子駆動部１９と、前処理部２０と、画像入力コントローラ２１と、画像メモリ２２と、画像処理部２３と、記録媒体２４と、表示駆動部２５と、表示部２６と、操作部２７と、ＡＦ評価部２８と、を備える。
【００１８】
制御部１０は、画像処理装置１００全体の動作を制御する。制御部１０は、撮影制御部１０ａと、表示制御部１０ｂと、ＡＦカーブ生成部１０ｃと、静止画取得部１０ｄと、を備える。制御部１０は、ＣＰＵ（Central Processing Unit）や、時間を計時する計時回路などにより構成される。制御部１０が備える各部は、後述する画像処理を実行する。
【００１９】
ＲＡＭ（Random Access Memory）１１は、制御部１０が各処理を実行する際にワーキングエリアとして機能する。ＲＯＭ（Read Only Memory）１２は、画像処理装置１００が各処理を実行するのに必要なプログラムやデータを記憶する。制御部１０は、ＲＡＭ１１をワーキングエリアとして、ＲＯＭ１２に記憶されているプログラムとの協働により各処理を実行する。
【００２０】
光学レンズ装置１３は、フォーカスレンズやズームレンズなどで構成される。フォーカスレンズは、被写体像を撮像素子１７の受光面に結像させるためレンズである。
【００２１】
光学系制御部１４は、制御部１０による制御に従って光学系駆動部１５を制御することにより、光学系駆動部１５に、光学レンズ装置１３のフォーカスレンズを光軸方向に進退させる。これにより、フォーカスレンズの位置が変化して焦点が調節される。光学系駆動部１３は、ステッピングモータなどで構成される。光学系制御部１４は、光学系駆動部１５を制御する制御回路などで構成される。
【００２２】
シャッタ装置１６は、撮像素子１７の露光時間を調節するシャッタとして機能するとともに、撮像素子１７へ入射する光束の光量を調節する絞りとしても機能する。シャッタ装置１６は、シャッタ羽根や駆動回路などから構成される。この駆動回路は、制御部１０から供給される制御信号に従ってシャッタ装置１６のシャッタ羽根を開閉させる。
【００２３】
撮像素子１７は、光学レンズ装置１３から入射されて受光面に結像した被写体像を光電変換（撮影）する素子である。撮像素子１７の受光面には、光電変換素子であるフォトダイオードが行列状に配置されている。これらフォトダイオードが撮像素子１７の各画素を構成している。各フォトダイオード上には、ベイヤ方式の配列に従って、Ｒ（赤）、Ｇ（緑）Ｂ（青）の色フィルタが配置されている。撮像素子１７は、撮像素子駆動部１９による制御に従って、所定時間毎に被写体像を光電変換して画像信号を蓄積し、蓄積した画像信号を順次出力する。撮像素子１７は、ＣＣＤ（Charge Coupled Device）型のイメージセンサなどから構成される。
【００２４】
ＴＧ（Timing Generator）１８は、制御部１０による制御に従って、クロックパルスを撮像素子駆動部１９と前処理部２０とにそれぞれ供給する。
【００２５】
撮像素子駆動部１９は、一定時間毎に撮像素子１７から画像信号を読み出す駆動回路である。撮像素子駆動部１９が撮像素子１７から画像信号を読み出すは、ＴＧ１８から供給されるクロックパルスにより制御される。
【００２６】
前処理部２０は、撮像素子１７から供給された画像信号に対し、相関二重サンプリング処理、利得制御処理、Ａ／Ｄ（Analog／Digital）変換処理などの各種信号処理を施すことによりディジタル信号を生成して出力する。ＴＧ１８から供給されるクロックパルスによって、前処理部２０による信号処理のタイミングと、撮像素子１７から画像信号が読み出されるタイミングとは、同期するように制御される。前処理部２０は、Ａ／Ｄ変換器などにより構成される。
【００２７】
画像入力コントローラ２１は、制御部１０による制御に従って、前処理部２０から出力されたディジタル信号を画像メモリ２２に記憶させる。
【００２８】
画像メモリ２２は、前処理部２０により生成されたディジタル信号や、画像処理部２３により生成される画像データを一時的に記憶する。画像メモリ２２は、ＤＲＡＭ（Dynamic Random Access Memory）などから構成される。
【００２９】
画像処理部２３は、画像メモリ２２に記憶されたディジタル信号に対し、ホワイトバランス補正処理、γ補正処理、ＹＣ変換処理などの各種画像処理を施すことにより、輝度信号と色差信号とが重畳した画像データを生成する。この画像データにより被写体が表現される。画像処理部２３は、例えば、ＤＳＰ（Digital Signal Processor）などから構成される。
【００３０】
記録媒体２４は、画像処理部２３により生成された画像データにより構成される動画データなどを記録する。記録媒体２４は、画像処理装置１００に着脱可能な半導体メモリカードなどから構成される。
【００３１】
表示駆動部２５は、制御部１０による制御に従って、画像メモリ２２や記録媒体２４に記憶されている画像データをアナログ信号に変換して出力する。表示制御部２５は、ＶＲＡＭ（Video Random Access Memory）などから構成される。
【００３２】
表示部２６は、表示駆動部２５から供給されたアナログ信号により表現される画像などを表示する。表示部２６は、画像処理装置１００の筐体の背面に設けられた液晶ディスプレイ２６aなどから構成される。
【００３３】
操作部２７は、ユーザから各種ボタンの操作を受け付ける。操作部２３は、電源ボタン、十字ボタン２７ａ、決定ボタン２７ｂ、メニューボタン２７ｃ、シャッタボタン２７ｄなどを備える。操作部２７は、ユーザから受け付けた各種ボタンの操作に対応する信号を制御部１０に供給する。制御部１０は、操作部２７からこれらの信号を受信すると、受信した信号に基づいた処理を実行する。
【００３４】
ＡＦ評価部２８は、画像メモリ２２に記憶されている画像データから、当該画像データにより表現される画像内に規定されたフォーカスエリアに対応する輝度信号のみを抽出する。そして、ＡＦ評価部２８は、その内部に設けられたハイパスフィルタ（図示せず）により抽出された輝度信号から所定の高周波数成分を抽出し、抽出した高周波数成分を出力する。そして、ＡＦ評価部２８は、出力された高周波数成分の絶対値を積算し、この積算した値をＡＦ評価値として算出する。
【００３５】
ＡＦ評価部２８は、以上のようにして画像データからＡＦ評価値を算出して、算出したＡＦ評価値を制御部１０に供給する。制御部１０は、ＡＦ処理時に、光学系制御部１４を介して光学系駆動部１５を制御することにより、光学系駆動部１５にフォーカスレンズを光軸方向に進退させる。そして、制御部１０は、ＡＦ評価部２８に、フォーカスレンズが各レンズ位置にあるときに得られた画像データからＡＦ評価値を算出させる。そして、制御部１０は、ＡＦ評価部２８から供給されるＡＦ評価値が最も高くなるレンズ位置でフォーカスレンズを停止させる。これにより、画像内に規定されたフォーカスエリアに含まれる被写体像に焦点が合うこととなる。
【００３６】
図３は、本実施形態に係る画像処理装置１００が実行する画像処理のうちの動画撮影処理の流れを示すフローチャートである。図３を用いて、画像処理装置１００が実行する動画撮影モードにおける処理を説明する。この動画撮影処理は制御部１０が行うが、以下の説明では、制御部１０が備える撮影制御部１０ａが動画撮影処理を行うものとする。
【００３７】
ユーザの操作部２７に対する所定の操作により動画撮影モードが設定されると、制御部１０は、ＲＯＭ１２に記憶されているプログラムを読み出して、このプログラムとの協働により動画撮影処理を開始する。
【００３８】
まずステップＳＡ１において、撮影制御部１０ａは、ライブビュー表示を開始する。具体的には、撮影制御部１０ａは、ＴＧ１８を介して撮像素子駆動部１９を制御することにより、撮像素子１７に、所定の撮影フレームレート（例えば、３０ｆｐｓ）で被写体の動画の撮影処理を開始させる。そして、撮影制御部１０ａは、画像処理部２３により順次生成されるフレーム画像を表示駆動部２５に順次供給することにより、表示駆動部２５に、フレーム画像をライブビュー画像として表示部２６に表示させる。
【００３９】
次にステップＳＡ２において、撮影制御部１０ａは、ユーザによりシャッタボタン２７ｄが半押し操作されているか否かを判断する。具体的には、撮影制御部１０ａは、操作部２７からのシャッタボタン２７ｄの半押し操作に応じた信号を監視することにより、ユーザによりシャッタボタン２７ｄが半押し操作されているか否かを判断する。撮影制御部１０ａは、シャッタボタン２７ｄが半押し操作されていないと判断した場合（ステップＳＡ２；ＮＯ）、シャッタボタン２７ｄの半押し操作に応じた信号を検知するまでライブビュー表示を継続させる。一方、撮影制御部１０ａは、シャッタボタン２７ｄが半押し操作されていると判断した場合（ステップＳＡ２；ＹＥＳ）、ステップＳＡ３に処理を進める。
【００４０】
次にステップＳＡ３において、撮影制御部１０ａは、ＡＦ処理を行う。具体的には、撮影制御部１０ａは、ＡＦ評価部２８に、ライブビュー画像からＡＦ評価値を算出させる。そして、制御部１０は、光学系制御部１４を介して光学系駆動部１５を制御することによりフォーカスレンズを光軸方向に進退させて、ＡＦ評価部２８から供給されるＡＦ評価値が最も高くなるレンズ位置でフォーカスレンズを停止させる。これにより、画像内に規定されたフォーカスエリアに含まれる被写体像に焦点が合うこととなる。
【００４１】
次にステップＳＡ４において、撮影制御部１０ａは、ユーザによりシャッタボタン２７ｄが全押し操作されているか否かを判断する。具体的には、撮影制御部１０ａは、操作部２７からのシャッタボタン２７ｄの全押し操作に応じた信号を監視することにより、ユーザによりシャッタボタン２７ｄが全押し操作されているか否かを判断する。撮影制御部１０ａは、シャッタボタン２７ｄが全押し操作されていないと判断した場合（ステップＳＡ４；ＮＯ）、ステップＳＡ２に処理を戻す。一方、撮影制御部１０ａは、シャッタボタン２７ｄが全押し操作されていると判断した場合（ステップＳＡ４；ＹＥＳ）、ステップＳＡ５に処理を進める。
【００４２】
次にステップＳＡ５において、撮影制御部１０ａは、フレーム番号としてｎ＝０を設定し、設定したフレーム番号（ｎ）をＲＡＭ１１に記憶させる。
【００４３】
次にステップＳＡ６において、撮影制御部１０ａは、前回のＡＦ処理が実行された時点から３秒が経過した否かを判断する。この３秒の計測は、制御部１０内に設けられた計時回路によりなされる。撮影制御部１０ａは、３秒が経過していないと判断した場合（ステップＳＡ６；ＮＯ）、ステップＳＡ８に処理を進める。一方、撮影制御部１０ａは、３秒が経過していると判断した場合（ステップＳＡ６；ＹＥＳ）、ステップＳＡ７に処理を進める。
【００４４】
ステップＳＡ７において、撮影制御部１０ａは、ＡＦ処理を行う。ステップＳＡ７におけるＡＦ処理の内容は、ステップＳＡ３におけるＡＦ処理と同じ内容であるので、その説明を省略する。
【００４５】
ここで、フレーム周期が経過するごとに、第１、第２、第３、・・・、第ｎ、・・・第（ｍ−１）及び第ｍフレームがこの順番で訪れるものとする。第１、第２、第３、・・・、第ｎ、・・・第（ｍ−１）及び第ｍフレームの撮影にて得られた画像データにより表現される画像を、それぞれ、第１、第２、第３、・・・、第ｎ、・・・第（ｍ−１）及び第ｍフレーム画像と呼ぶこととする。時系列で並ぶ複数のフレーム画像は、画像処理装置１００により撮影された動画を構成する。
【００４６】
次にステップＳＡ８において、撮影制御部１０ａは、第ｎフレーム画像を撮影する。具体的には、ＴＧ１８が、撮影制御部１０ａによる制御に従ってクロックパルスを生成することにより、撮像素子駆動部１９に、撮像素子１７から１フレーム分の画像信号を出力させる。前処理部２０がこの画像信号からディジタル信号を生成して、画像入力コントローラ２１がこのディジタル信号を画像メモリ２２に記憶させる。そして、画像処理部２４は、このディジタル信号から１フレーム分の画像データ（第ｎフレーム画像を表現する画像データ）を生成する。
【００４７】
次にステップＳＡ９において、撮影制御部１０ａは、フレーム番号ｎをインクリメント（ｎを１だけ増加）させる。
【００４８】
ステップＳＡ１０において、撮影制御部１０ａは、現在のフレーム番号ｎに対応するＡＦ評価値を算出する。具体的には、撮影制御部１０ａは、ＡＦ評価部２８に、ステップＳＡ８の処理により撮影された第ｎフレーム画像からＡＦ評価値を算出させる。ＡＦ評価部２８は、算出されたＡＦ評価値を撮影制御部１０ａに供給する。
【００４９】
ステップＳＡ１１において、撮影制御部１０ａは、現在のフレーム番号ｎに対応するＡＦ評価値を記憶させる。具体的には、撮影制御部１０ａは、ステップＳＡ８の処理においてＡＦ評価部２８から供給されたＡＦ評価値をＲＡＭ１１に一時的に記憶させる。このとき、撮影制御部１０ａは、ＡＦ評価値とフレーム番号ｎとを対応させてＲＡＭ１１に記憶させる。これにより、１フレーム分の画像データが生成される度に、ＲＡＭ１１上に、現時点におけるフレーム番号ｎとＡＦ評価値との対応関係を示す対応情報が生成されていく。
【００５０】
図４は、ＲＡＭ１１上に記憶されるフレーム番号とＡＦ評価値との対応情報の一例を示す図である。図４に示される例では、例えば、第１フレームに対応するＡＦ評価値が「１９１９」であることが示されている。これは、第１フレーム画像から算出されたＡＦ評価値が「１９１９」であることが示している。同様に、第２フレーム画像から算出されたＡＦ評価値が「１９７６」、第３フレーム画像から算出されたＡＦ評価値が「２０１１」、第（ｍ−２）フレーム画像から算出されたＡＦ評価値が「２００９」、第（ｍ−１）フレーム画像から算出されたＡＦ評価値が「１９１６」、第ｍフレーム画像から算出されたＡＦ評価値が「１９０８」、であることがそれぞれ示されている。
【００５１】
ＡＦ評価値は、その値が大きいほど合焦度合い（ピントが合っている度合い）が高いことを示し、その値が小さいほど合焦度合いが低いことを示す。つまり、ＡＦ評価値の値が比較的高いフレーム画像には被写体が明瞭に写っているが、ＡＦ評価値の値が比較的低いフレーム画像には被写体がボケて写っている。
【００５２】
図３に戻り、次にステップＳＡ１２において、撮影制御部１０ａは、シャッタボタン２７ｄが全押し操作されたと判断してから３０秒が経過したか否かを判断する。この３０秒の計測は、制御部１０内に設けられた計時回路によりなされる。撮影制御部１０ａは、３０秒が経過していないと判断した場合（ステップＳＡ１２；ＮＯ）、ステップＳＡ５に処理を戻す。一方、撮影制御部１０ａは、３０秒が経過していると判断した場合（ステップＳＡ１２；ＹＥＳ）、ステップＳＡ１３に処理を進める。
【００５３】
次にステップＳＡ１３において、撮影制御部１０ａは、動画ファイルとＡＦ評価値とを対応させて記録する。具体的には、撮影制御部１０ａは、画像メモリ２２に記憶されている各画像データからなる動画データを生成する。また、撮影制御部１０ａは、ヘッダデータを生成する。撮影制御部１０ａは、圧縮された動画データにヘッダデータを付帯させたデータを、動画ファイルとして記録媒体２４に記録させる。このとき、撮影制御部１０ａは、ＲＡＭ１１に記憶されているフレーム番号とＡＦ評価値との対応情報を、動画ファイルのヘッダデータに記録させる。
【００５４】
図５は、フレーム番号とＡＦ評価値との対応情報が記憶される場所を説明するための図であって、本実施形態において生成される動画ファイル４０１の概略的なデータ構造を示す図である。動画ファイル４０１は、Ｅｘｉｆ（Exchangeable Image File Format）形式に準拠したデータ構造を有している。動画ファイル４０１は、主に、動画データ４０２と、ヘッダデータ４０３とから構成される。ヘッダデータ４０３は、主に、画像関連情報４１１と、サムネイル画像データ４１２と、撮影情報４１３とから構成される。撮影情報４１３は、動画データの画素数などを示す撮影条件情報４２１と、撮影日時情報４２２と、メーカ独自の情報が記述されるメーカノート部４２３とから構成される。本実施形態では、このメーカノート部４２３に、フレーム番号とＡＦ評価値との対応情報が記録される。
【００５５】
撮影制御部１０ａは、ステップＳＡ１３の処理の後、動画撮影処理を終了させる。
【００５６】
図６は、本実施形態に係る画像処理装置１００が実行する画像処理のうちの動画再生処理の流れを示すフローチャートである。図６を用いて、画像処理装置１００が実行する動画再生処理を説明する。この動画再生処理は制御部１０が行うが、以下の説明では、制御部１０が備える、表示制御部１０ｂと、ＡＦカーブ生成部１０ｃと、静止画取得部１０ｄと、が動画再生処理を行うものとする。
【００５７】
ユーザの操作部２７に対する所定の操作により、動画再生モードが設定されて、さらに再生される動画ファイルが選択されると、制御部１０は、ＲＯＭ１２に記憶されているプログラムを読み出して、このプログラムとの協働により動画再生処理を開始する。
【００５８】
まずステップＳＢ１において、表示制御部１０ｂは、第１フレーム画像を表示する。具体的には、制御部１０は、ユーザの操作により選択された動画ファイルの動画データを構成する第１フレーム画像を記録媒体２４から読み出す。そして、表示制御部１０ｂは、読み出された第１フレーム画像を表示部２６の液晶ディスプレイ２６ａに表示させる。
【００５９】
次にステップＳＢ２において、ＡＦカーブ生成部１０ｃは、フォーカスカーブを生成する。具体的には、ＡＦカーブ生成部１０ｃは、再生対象となっている動画ファイルのヘッダデータに記録されている、フレーム番号とＡＦ評価値との対応情報（例えば、図４に示される対応情報）を読み出してＲＡＭ１１に記憶させる。そして、ＡＦカーブ生成部１０ｃは、この対応情報に従って、フォーカスカーブを生成する。このフォーカスカーブは、フレーム番号とＡＦ評価値との対応関係を示すものである。
【００６０】
図７に、ＡＦカーブ生成部１０ｃがＲＡＭ１１上に生成したフォーカスカーブの一例が示されている。図中、横軸はフレーム番号を示し、縦軸はＡＦ評価値を示す。符号５１がフォーカスカーブを示す。また、図中の各黒い点は、各フレーム番号に対応するＡＦ評価値を示す。フォーカスカーブの生成に際して、ＡＦカーブ生成部１０ｃは、まず各フレーム番号に対応するＡＦ評価値を示す各点（図中の各黒い点）を、ＲＡＭ１１上に定義した座標平面上にプロットする。そして、このＡＦ評価値を示す各点を直線で結ぶことによりフォーカスカーブを生成する。
【００６１】
次にステップＳＢ３において、表示制御部１０ｂは、フォーカスカーブを表示する。具体的には、ステップＳＢ２の処理により生成されたフォーカスカーブを、液晶ディスプレイ２６ａに表示されている第１フレーム画像に重畳させて表示させる。
【００６２】
図８に、第１フレーム画像にフォーカスカーブが重畳表示されている液晶ディスプレイ２６ａの様子が示されている。図中、符号Ｐ１は第１フレーム画像を示す。符号６１は、第１フレーム画像に重畳表示されるフォーカスカーブを示す。矢印６２は、液晶ディスプレイ２６ａに現在表示されているフレーム画像から算出されたＡＦ評価値を指し示す指標である。
【００６３】
ユーザが十字ボタン２７ａの右ボタンまたは左ボタンを押下げ操作すると、操作部２７はこの操作を受け付け、受け付けた操作に応じた指示を示す信号を表示制御部１０ｂに供給する。
【００６４】
表示制御部１０ｂは、操作部２７から供給された信号が示す指示に応じて、記録媒体２４に記録されている動画データを構成する各フレーム画像をコマ送り表示する。ユーザが十字ボタン２７ａの右ボタンを押下げ操作し続ける限り、表示制御部１０ｂは、各フレーム画像を、各フレーム画像が撮影された順番でコマ送り表示させ続ける。一方、ユーザが十字ボタン２７ａの左ボタンを押下げ操作し続ける限り、表示制御部１０ｂは、各フレーム画像を、各フレーム画像が撮影された順番と逆の順番でコマ送り表示させ続ける。ユーザが十字ボタン２７ａの操作を解除している状態（ユーザが十字ボタン２７ａを操作していない状態）では、表示制御部１０ｂは、フレーム画像のコマ送り処理を停止させて、ユーザが十字ボタン２７ａを操作を解除する直前に液晶ディスプレイ２６ａに表示されていたフレーム画像を表示させ続ける。なお、本実施形態においては、フレーム画像のコマ送り処理の再生速度（表示フレームレート）は、動画の撮影フレームレートの３倍であり、早送りの再生速度である。
【００６５】
このように、本実施形態においては、操作部２７（十字ボタン２７ａ）が、液晶ディスプレイ２６ａに表示させる特定のフレーム画像を指定する指定手段として機能する。
【００６６】
また、表示制御部１０ｂは、操作部２７から供給された信号が示す指示に応じて、矢印６２が液晶ディスプレイ２６ａに現在表示されているフレーム画像（つまり、操作部２７に操作により指定されたフレーム画像）のフレーム番号に対応するＡＦ評価値を指し示すように、矢印６２をフォーカスカーブ６１上で左右方向に移動させる。ユーザが十字ボタン２７ａの右ボタンを押下げ操作し続ける限り、表示制御部１０ｂは、矢印６２をフォーカスカーブ６１上で右方向に移動させ続ける。一方、ユーザが十字ボタン２７ａの左ボタンを押下げ操作し続ける限り、表示制御部１０ｂは、矢印６２をフォーカスカーブ６１上で左方向に移動させ続ける。
【００６７】
次にステップＳＢ４において、表示制御部１０ｂは、ユーザの操作に基づき、記録媒体２４に記録されている動画データを構成するフレーム画像を表示する。つまり、表示制御部１０ｂは、ユーザによる上述の十字ボタン２７ａの操作に従って、記録媒体２４に記録されている動画ファイルに含まれる動画データを構成するフレーム画像を、コマ送り表示させる。
【００６８】
次にステップＳＢ５において、表示制御部１０ｂは、フォーカスカーブ上の矢印を移動させる。つまり、表示制御部１０ｂは、ユーザによる上述の十字ボタン２７ａの操作に従って、フォーカスカーブ上で、液晶ディスプレイ２６ａに現在表示されているフレーム画像（操作部２７に操作により指定されたフレーム画像）のフレーム番号に対応するＡＦ評価値を示す箇所まで、矢印を移動させる。このとき、表示制御部１０ｂは、矢印の下端をフォーカスカーブ６１に沿って移動させる。
【００６９】
図９に、フォーカスカーブにおけるＡＦ評価値が最大となるフレーム画像Ｐ２が、液晶ディスプレイ２６ａに表示されている様子が示されている。図９に示される被写体やフォーカスカーブ６１は図８に示されるものと同じである。ユーザは、フレーム画像Ｐ２が液晶ディスプレイ２６ａに表示されているときに、十字ボタン２７ａの操作を解除してフレーム画像のコマ送り処理を停止させることにより、動画を構成する全てのフレーム画像の中において合焦度合いが最も高いフレーム画像であるフレーム画像Ｐ２をじっくりと観賞することができる。
【００７０】
次にステップＳＢ６において、静止画取得部１０ｄは、ユーザによりシャッタボタン２７ｄが全押し操作されているか否かを判断する。具体的には、静止画取得部１０ｄは、操作部２７からのシャッタボタン２７ｄの全押し操作に応じた信号を監視することにより、ユーザによりシャッタボタン２７ｄが全押し操作されているか否かを判断する。静止画取得部１０ｄは、シャッタボタン２７ｄが全押し操作されていないと判断した場合（ステップＳＢ６；ＮＯ）、ステップＳＢ８に処理を進める。一方、静止画取得部１０ｄは、シャッタボタン２７ｄが全押し操作されていると判断した場合（ステップＳＢ６；ＹＥＳ）、ステップＳＢ７に処理を進める。
【００７１】
次にステップＳＢ７において、静止画取得部１０ｄは、静止画データを記録する。具体的には、静止画取得部１０ｄは、シャッタボタン２７ｄの全押し操作に応じた信号を受信した時点で液晶ディスプレイ２６ａに表示されていたフレーム画像を表現する画像データを、動画データから抽出する。そして、静止画取得部１０ｄは、抽出したフレーム画像を表現する画像データを、静止画データとして、既に記録されている動画ファイルとは独立させて記録媒体２４に記録する。
【００７２】
次にステップＳＢ８において、表示制御部１０ｂは、動画再生処理を終了させるか否かを判断する。具体的には、表示制御部１０ｂは、操作部２７からの動画再生処理を終了させる操作に応じた信号を受信したか否かや、動画の再生時間が満了したか否かを判断ことにより、動画再生処理を終了させるか否かを判断する。表示制御部１０ｂは、動画再生処理を終了させないと判断した場合（ステップＳＢ８；ＮＯ）、ステップＳＢ４に処理を戻す。一方、表示制御部１０ｂは、動画再生処理を終了させると判断した場合（ステップＳＢ８；ＹＥＳ）、動画再生処理を終了させる。
【００７３】
以上説明したように、本実施形態に係る画像処理装置１００は、動画の再生時に、動画を構成する全てのフレーム画像ごとのＡＦ評価値を示すフォーカスカーブを、フレーム画像とともに表示する。これにより、ユーザは、フォーカスカーブ上でＡＦ評価値が最大となるフレーム画像の時系列上での位置（フレーム番号）を容易に把握することができる。
【００７４】
このため、ユーザは、十字ボタン２７ａを操作して、フォーカスカーブ上で矢印が順次指し示すＡＦ評価値の遷移を確認しながらフレーム画像をコマ送り表示させて、ＡＦ評価値が最大となるフレーム画像を液晶ディスプレイ２６ａに表示させた状態でコマ送り処理を停止させることができる。つまり、ユーザは、フォーカスカーブが最大となる箇所を見れば、後はその箇所に矢印が移動するようにコマ送り処理の操作を行うだけで、動画の各フレーム画像の合焦度合い（明瞭さ）を１枚ずつ確認するという面倒な作業をすることなく、合焦度合いが最も高いフレーム画像を観賞ことができる。すなわち、本実施形態に係る画像処理装置１００によれば、ユーザは、動画を構成する全てのフレーム画像の中で合焦度合いが最も高いフレーム画像を容易に把握することができる。
【００７５】
また、ユーザは、ＡＦ評価値が最大となるフレーム画像が液晶ディスプレイ２６ａに表示されているときにシャッタボタン２７ｄを操作することにより、動画を構成する全てのフレーム画像の中において合焦度合いが最も高いフレーム画像を静止画として別個に記録することができる。これにより、ユーザは、記録された静止画を再生すれば、動画を構成する全てのフレーム画像の中において合焦度合いが最も高いフレーム画像を、静止画としてじっくりと観賞できる。
【００７６】
また、本実施形態に係る画像処理装置１００は、動画の再生時に、動画を構成する全てのフレーム画像と全てのフレーム画像ごとの焦点評価値との対応関係を、フォーカスカーブという図形によって表示するので、ユーザは、全てのフレーム画像における相対的な合焦度合いの高さを一目で把握できる。また、フレーム画像ごとの焦点評価値がフォーカスカーブという図形によって表示されるので、ユーザは全てのフレーム画像における相対的な合焦度合いの高さを直感的に把握できる。
【００７７】
なお、本実施形態に係る画像処理装置１００は、ユーザの操作部２７（十字ボタン２７ａ）の操作に基づき、動画のフレーム画像をコマ送り表示させるようにした。しかし、液晶ディスプレイ２６ａの全面にタッチパネルを配置することにより、このタッチパネルがユーザからフォーカスカーブ上におけるＡＦ評価値を示す任意の点に対するタッチ（指定）を受け付け、表示制御部１０ｂが、受け付けたタッチの位置に対応するＡＦ評価値に対応するフレーム画像を表示するようにしてもよい。この場合、タッチパネルが、液晶ディスプレイ２６ａに表示させるフレーム画像を指定する指定手段として機能する。
【００７８】
また、表示制御部１０ｂは、動画再生処理の開始直後に、全てのフレーム画像においてＡＦ評価値が最大となるフレーム画像を自動的に指定し、指定したフレーム画像を液晶ディスプレイ２６ａに表示するようにしてもよい。これによっても、ユーザは十字ボタン２７ａの操作を何らすることなく、動画を構成する全てのフレーム画像の中で合焦度合いが最も高いフレーム画像を容易に把握することができる。この場合、表示制御部１０ｂが、液晶ディスプレイ２６ａに表示させる特定のフレーム画像を指定する指定手段として機能する。
【００７９】
また、本実施形態に係る画像処理装置１００は、フォーカスカーブの生成に際して、各フレーム番号に対応するＡＦ評価値を示す各点をＲＡＭ１１上に定義した座標平面上にプロットした各点を直線で結ぶことによりフォーカスカーブを生成するようにした。しかし、各フレーム番号に対応するＡＦ評価値を示す各点を座標平面上にプロットした各点のみを、フォーカスカーブとしてフレーム画像として表示するようにしてもよい。
【００８０】
上記の実施形態は本発明の単なる例に過ぎず、本発明を限定する趣旨のものではない。したがって、本実施形態に対してなされ得る変形はすべて本発明に含まれるものである。例えば、本発明は、撮影手段を備えていないパーソナルコンピュータやデジタルフォトフレーム（デジタル写真立て）などにも適用し得る。
【符号の説明】
【００８１】
１００・・・画像処理装置、１０・・・制御部、１１・・・ＲＡＭ、１２・・・ＲＯＭ、１３・・・光学レンズ装置、１４・・・光学系制御部、１５・・・光学系駆動部、１６・・・シャッタ装置、１７・・・撮像素子、１８・・・ＴＧ、１９・・・撮像素子駆動部、２０・・・前処理部、２１・・・画像入力コントローラ、２２・・・画像メモリ、２３・・・画像処理部、２４・・・記録媒体、２５・・・表示駆動部、２６・・・表示部、２７・・・操作部、２８・・・ＡＦ評価部
【図１】
2010212966.tif 000003
【図２】
2010212966.tif 000004
【図３】
2010212966.tif 000005
【図４】
2010212966.tif 000006
【図５】
2010212966.tif 000007
【図６】
2010212966.tif 000008
【図７】
2010212966.tif 000009
【図８】
2010212966.tif 000010
【図９】
2010212966.tif 000011