(57)【特許請求の範囲】
【請求項１】
画像処理装置であって、
同一被写体に対して第１の合焦位置で撮影された第１静止画像と、第２の合焦位置で撮影された第２静止画像とを使用し、かつ合焦からのずれによって生じるぼけの程度を示すぼけ関数を用いることにより、
前記第１の合焦位置および前記第２の合焦位置とは別の第３の合焦位置で前記被写体を撮影した場合に得られるべき第３静止画像を演算によって生成する第１の画像生成手段と、
前記第３の合焦位置として複数の合焦位置を順次に設定しつつ前記第１の画像生成手段を能動化することにより、前記被写体のぼけ具合がフレーム番号順に段階的に異なる複数の第３静止画像を生成させ、当該複数の第３静止画像を用いて動画像を生成する第２の画像生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
静止画像を撮影する撮像手段、
をさらに備え、
前記撮像手段は、操作ボタンの操作に応答して前記第１静止画像と前記第２静止画像を時間的に連続して撮影することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記第１の画像生成手段は、前記第３静止画像の前記ぼけ関数においてぼけの程度を指定するパラメータを可変に設定するぼけパラメータ設定手段、を備えていることを特徴とする画像処理装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像処理装置において、
前記第２の画像生成手段は、前記動画像を構成する画像数を可変に設定する画像数設定手段、を備えていることを特徴とする画像処理装置。
【請求項５】
請求項１ないし４のいずれかに記載の画像処理装置において、
前記第２の画像生成手段は、前記動画像の表示速度を可変に設定する表示速度設定手段、を備えていることを特徴とする画像処理装置。
【請求項６】
表示装置であって、
同一被写体に対して第１の合焦位置で撮影された第１静止画像と、第２の合焦位置で撮影された第２静止画像とを使用し、かつ合焦からのずれによって生じるぼけの程度を示すぼけ関数を用いることにより、
前記第１の合焦位置および前記第２の合焦位置とは別の第３の合焦位置で前記被写体を撮影した場合に得られるべき第３静止画像を演算によって生成する画像生成手段と、
前記第３の合焦位置として複数の合焦位置を順次に設定しつつ前記画像生成手段を能動化することにより、前記被写体のぼけ具合がフレーム番号順に段階的に異なる複数の第３静止画像を生成させ、当該複数の第３静止画像を用いた動画像を出力して表示させる出力手段と、
を備えることを特徴とする表示装置。
【請求項７】
請求項６に記載の表示装置において、
静止画像を撮影する撮像手段、
をさらに備え、
前記撮像手段は、操作ボタンの操作に応答して前記第１静止画像と前記第２静止画像を時間的に連続して撮影することを特徴とする表示装置。
【請求項８】
画像処理装置に含まれるコンピュータによって実行されることにより、前記コンピュータに、
同一被写体に対して第１の合焦位置で撮影された第１静止画像と、第２の合焦位置で撮影された第２静止画像とを使用し、かつ合焦からのずれによって生じるぼけの程度を示すぼけ関数を用いることにより、
前記第１の合焦位置および前記第２の合焦位置とは別の第３の合焦位置で前記被写体を撮影した場合に得られるべき第３静止画像を演算によって生成する工程と、
前記第３の合焦位置として複数の合焦位置を順次に設定しつつ前記第１の画像生成手段を能動化することにより、前記被写体のぼけ具合がフレーム番号順に段階的に異なる複数の第３静止画像を生成させ、当該複数の第３静止画像を用いて動画像を生成する工程と、
を実行させることを特徴とするプログラム。
【請求項９】
請求項８に記載のプログラムを記録してあることを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数の静止画像から映像効果を有する動画像を生成する画像処理技術に関する。
【０００２】
【従来の技術】
従来より、デジタルカメラ等で撮影された静止画像から、様々な映像効果を有する動画像の画像ファイルを作成することが行われている。このような動画像の画像ファイルは、それぞれが１フレームにあたる複数の静止画像が連結されて構成される。これらの複数の静止画像はそれぞれの画像データ（図柄）が相対的に微少に相違しており、所定の時間間隔毎に連続的に表示されることによって、様々な映像効果が表現されることとなる。
【０００３】
【発明が解決しようとする課題】
ところで、このような動画像の画像ファイルで表現される映像効果として、遠景から近景に至って、あるいは、近景から遠景に至って徐々に合焦位置が変化するようなものが求められている。このような映像効果を有する動画像の画像ファイルを生成するには、同一の被写体に対して撮影され、かつ、合焦位置が相対的に微小変化した複数の静止画像を、動画像の画像ファイルを構成するフレーム数だけ用意する必要がある。つまり、表示される全ての合焦位置の静止画像がそれぞれ必要である。
【０００４】
しかしながら、従来、上記の複数の静止画像を取得するためには、撮影を行うデジタルカメラ等において必要なフレーム数と同回数撮影レンズの焦点位置を変化させて撮影を行わなければならなかった。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、少数の静止画像から、徐々に合焦位置が変化する映像効果を有する動画像の画像ファイルを作成することができる画像処理装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、請求項１の発明は、画像処理装置において、同一被写体に対して第１の合焦位置で撮影された第１静止画像と、第２の合焦位置で撮影された第２静止画像とを使用し、かつ合焦からのずれによって生じるぼけの程度を示すぼけ関数を用いることにより、前記第１の合焦位置および前記第２の合焦位置とは別の第３の合焦位置で前記被写体を撮影した場合に得られるべき第３静止画像を演算によって生成する第１の画像生成手段と、前記第３の合焦位置として複数の合焦位置を順次に設定しつつ前記第１の画像生成手段を能動化することにより、前記被写体のぼけ具合がフレーム番号順に段階的に異なる複数の第３静止画像を生成させ、当該複数の第３静止画像を用いて動画像を生成する第２の画像生成手段と、を備えている。
【０００７】
また、請求項２の発明は、請求項１の発明に係る画像処理装置において、静止画像を撮影する撮像手段、をさらに備え、前記撮像手段は、操作ボタンの操作に応答して前記第１静止画像と前記第２静止画像を時間的に連続して撮影することを特徴とする。
【０００８】
また、請求項３の発明は、請求項１または２の発明に係る画像処理装置において、前記第１の画像生成手段は、前記第３静止画像の前記ぼけ関数においてぼけの程度を指定するパラメータを可変に設定するぼけパラメータ設定手段、を備えている。
【０００９】
また、請求項４の発明は、請求項１ないし３のいずれかの発明に係る画像処理装置において、前記第２の画像生成手段は、前記動画像を構成する画像数を可変に設定する画像数設定手段、を備えている。
【００１０】
また、請求項５の発明は、請求項１ないし４のいずれかの発明に係る画像処理装置において、前記第２の画像生成手段は、前記動画像の表示速度を可変に設定する表示速度設定手段、を備えている。
【００１１】
また、請求項６の発明は、表示装置において、同一被写体に対して第１の合焦位置で撮影された第１静止画像と、第２の合焦位置で撮影された第２静止画像とを使用し、かつ合焦からのずれによって生じるぼけの程度を示すぼけ関数を用いることにより、前記第１の合焦位置および前記第２の合焦位置とは別の第３の合焦位置で前記被写体を撮影した場合に得られるべき第３静止画像を演算によって生成する画像生成手段と、前記第３の合焦位置として複数の合焦位置を順次に設定しつつ前記画像生成手段を能動化することにより、前記被写体のぼけ具合がフレーム番号順に段階的に異なる複数の第３静止画像を生成させ、当該複数の第３静止画像を用いた動画像を出力して表示させる出力手段と、を備えている。
【００１２】
また、請求項７の発明は、請求項６の発明に係る表示装置において、静止画像を撮影する撮像手段、をさらに備え、前記撮像手段は、操作ボタンの操作に応答して前記第１静止画像と前記第２静止画像を時間的に連続して撮影することを特徴とする。
【００１３】
また、請求項８の発明は、プログラムにおいて、画像処理装置に含まれるコンピュータによって実行されることにより、前記コンピュータに、同一被写体に対して第１の合焦位置で撮影された第１静止画像と、第２の合焦位置で撮影された第２静止画像とを使用し、かつ合焦からのずれによって生じるぼけの程度を示すぼけ関数を用いることにより、前記第１の合焦位置および前記第２の合焦位置とは別の第３の合焦位置で前記被写体を撮影した場合に得られるべき第３静止画像を演算によって生成する工程と、前記第３の合焦位置として複数の合焦位置を順次に設定しつつ前記第１の画像生成手段を能動化することにより、前記被写体のぼけ具合がフレーム番号順に段階的に異なる複数の第３静止画像を生成させ、当該複数の第３静止画像を用いて動画像を生成する工程と、を実行させる。
【００１４】
また、請求項９の発明は、記録媒体において、請求項８に記載のプログラムを記録してあることを特徴とする。
【００１５】
【発明の実施の形態】
以下、図面を参照しつつ本発明の実施の形態について詳細に説明する。
【００１６】
＜１．静止画像撮影＞
まず、動画像の生成に使用する静止画像を撮影する撮像手段を備えた画像処理装置であるデジタルカメラについて説明を行う。
【００１７】
図１〜図３は、デジタルカメラ１の要部構成を示す図であり、図１は平面図、図２は図１のII−II位置から見た断面図、図３は背面図に相当する。これらの図は必ずしも三角図法に則っているものではなく、デジタルカメラ１の要部構成を概念的に例示することを主眼としている。
【００１８】
これらの図に示すように、デジタルカメラ１は、略直方体状のカメラ本体部２と、撮像部３とに大別される構造である。カメラ本体部２には、撮影画像を記録するメモリカード８が脱着可能に収納される。また、デジタルカメラ１は、４本の単三形乾電池Ｅ１〜Ｅ４を直列接続してなる電源電池Ｅを駆動源としている。
【００１９】
撮像部３は、撮影レンズであるマクロ機能付きレンズ群３０の後方位置の適所にＣＣＤカラーエリアセンサ３０３を有する撮像回路３０２が設けられている。また、このレンズ群３０は、ズームレンズ３００と合焦レンズ３０１とを備えている。
【００２０】
一方、カメラ本体部２の内部には、ズームレンズ３００のズーム比の変更と収容位置、撮影位置間のレンズ移動を行うためのズームモータＭ１、および合焦レンズ３０１を駆動して焦点位置の変更を行うためのフォーカスモータＭ２とが設けられている。
【００２１】
カメラ本体部２の前面には、グリップ部Ｇが設けられ、カメラ本体部２上端部の適所にポップアップ形式の内蔵フラッシュ５が設けられている。なお、フラッシュ５は手動でポップアップしたり、収納したりできるものとなっている。また、カメラ本体部２の上面にはシャッタボタン９が設けられている。
【００２２】
一方、図３に示すように、カメラ本体部２の背面には、撮影画像のライブビュー表示及び記録画像を電子的に表示可能な液晶ディスプレイ（ＬＣＤ）１０と、電子ビューファインダ（ＥＶＦ）２０とが設けられている。ＥＶＦ２０は、接眼レンズを介して電子的に撮影画像の表示が可能となっているとともに、ＬＣＤ１０は、ＥＶＦ２０より大きな表示画面に電子的に撮影画像の表示が可能となっている。
【００２３】
カメラ本体部２の背面には、「記録モード」と「再生モード」とを切換設定する記録／再生モード設定ボタン１４が設けられている。記録モードは、写真撮影を行ないメモリカード８に撮影画像を記録するモードであり、再生モードは、メモリカード８に記録された撮影画像をＬＣＤ１０に再生表示するモードである。
【００２４】
デジタルカメラ１の背面右方には、４連ボタン３５が設けられており、ボタンＬ、Ｒを押すことにより、ズームモータＭ１が駆動しズーミングを行い、その他、ボタンＵ、Ｄ、Ｌ、Ｒで各種操作を行う。
【００２５】
また、カメラ本体部２の背面には、取消ボタン３３、確定ボタン３２、メニューボタン３４及びＬＣＤボタン３１が設けられている。メニューボタン３４は、ＬＣＤ１０にメニュー画面を表示するためのものである。このメニュー画面においては、４連ボタン３５などでユーザの操作入力によりデジタルカメラ１の機能に関するメニューの設定が行える。取消ボタン３３は、このメニュー画面で選択された内容を取り消すためのボタンであり、確定ボタン３２は、メニュー画面で選択された内容を確定するためのボタンである。また、ＬＣＤボタン３１は、ＬＣＤ１０表示のオフオフ切り替えのためのボタンである。
【００２６】
ユーザは、メニュー画面において記録モードにおける撮影モードを選択することが可能である。デジタルカメラ１の撮影モードには、通常の一枚毎の撮影を行う通常撮影モードと、ぼけ味調整モードとが含まれる。ぼけ味調整モードとは、１回のシャッタ操作で撮影レンズの焦点位置を変化させて連続して２回の撮影動作を行うことにより、近景に焦点を合わせた撮影画像と遠景に焦点を合わせた撮影画像とを取得するモードである。ぼけ味調整モードにおいて撮影された撮影画像は、後述する画像処理装置において、任意の合焦位置の静止画像を得るために使用される。
【００２７】
次に、デジタルカメラ１の内部構成について説明する。図５は、デジタルカメラ１の内部構成を示す概略ブロック図である。同図において、ＣＣＤ３０３は、レンズ群３０により結像された被写体の光像を、Ｒ（赤），Ｇ（緑），Ｂ（青）の色成分の画像信号（各画素で受光された画素信号の信号列からなる信号）に光電変換して出力する。タイミングジェネレータ３１４は、ＣＣＤ３０３の駆動を制御するための各種のタイミングパルスを生成するものである。
【００２８】
撮像部３における露出制御は、絞り制御ドライバ３０６によるレンズ群３０の絞りと、ＣＣＤ３０３の露光量、すなわち、シャッタスピードに相当するＣＣＤ３０３の電荷蓄積時間を調節して行なわれる。被写体輝度が低輝度時に適切なシャッタスピードが設定できない場合は、ＣＣＤ３０３から出力される画像信号のレベル調整を行なうことにより露光不足による不適正露出が補正される。すなわち、低輝度時は、シャッタスピードとゲイン調整とを組み合わせて露出制御が行なわれる。画像信号のレベル調整は、信号処理回路３１３内のＡＧＣ回路のゲイン調整において行なわれる。
【００２９】
タイミングジェネレータ３１４は、タイミング制御回路２０２から送信される基準クロック基づきＣＣＤ３０３の駆動制御信号を生成するものである。タイミングジェネレータ３１４は、例えば積分開始／終了（露出開始／終了）のタイミング信号、各画素の受光信号の読出制御信号（水平同期信号，垂直同期信号，転送信号等）等のクロック信号を生成し、ＣＣＤ３０３に出力する。
【００３０】
信号処理回路３１３は、ＣＣＤ３０３から出力される画像信号（アナログ信号）に所定のアナログ信号処理を施すものである。信号処理回路３１３は、ＣＤＳ（相関二重サンプリング）回路とＡＧＣ（オートゲインコントロール）回路とを有し、ＣＤＳ回路により画像信号のノイズの低減を行ない、ＡＧＣ回路のゲインを調整することにより画像信号のレベル調整を行なう。
【００３１】
調光回路３０４は、フラッシュ撮影における内蔵フラッシュ５の発光量を全体制御部２５０により設定された所定の発光量に制御するものである。フラッシュ撮影においては、露出開始と同時に被写体からのフラッシュ光の反射光が調光センサにより受光され、この受光量が所定の発光量に達すると、調光回路３０４から発光停止信号が出力され、この発光停止信号に応答して内蔵フラッシュ５の発光を強制的に停止し、これにより内蔵フラッシュ５の発光量が所定の発光量に制御される。
【００３２】
Ａ／Ｄ変換回路２０５は、画像信号の各画素信号を１０ビットのデジタル信号に変換するものである。Ａ／Ｄ変換回路２０５は、タイミング発生回路から入力されるＡ／Ｄ変換用のクロックに基づいて各画素信号（アナログ信号）を１０ビットのデジタル信号に変換する。
【００３３】
タイミングジェネレータ３１４には、Ａ／Ｄ変換回路２０５に対するクロックを生成するタイミング制御回路２０２が設けられている。タイミング制御回路２０２は、全体制御部２５０内の基準クロックにより制御される。
【００３４】
黒レベル補正回路２０６は、Ａ／Ｄ変換された画素信号の黒レベルを基準の黒レベルに補正するものである。また、ＷＢ（ホワイトバランス）回路２０７は、Ｒ，Ｇ，Ｂの各色成分の画素データのレベル変換を行なうものである。ＷＢ回路２０７は、全体制御部２５０から入力されるレベル変換テーブルを用いてＲ，Ｇ，Ｂの各色成分の画素データのレベルを変換する。なお、レベル変換テーブルの各色成分のパラメータ（特性の傾き）は全体制御部２５０により、オートまたはマニュアルで、撮影画像毎に設定される。γ補正回路２０８は、画素データの階調を補正するものである。
【００３５】
画像メモリ２０９は、信号処理の終了した画像データを一時記憶するメモリである。画像メモリ２０９は、少なくとも２フレーム分の画像データを記憶し得る容量を有している。これは、ぼけ味調整モードでは１回のシャッタ操作で２フレーム分の画像データが取り込まれるため、これらをそれぞれ記憶するためである。なお、１フレーム分の記憶容量は、ＣＣＤ３０３の画素数に対応する１６００×１２００画素分の画素データを記憶し得る容量である。
【００３６】
また、ぼけ味調整モードにおいては、全体制御部２５０の制御により、Ａ／Ｄ変換された画像データは上記黒レベル補正回路２０６、ＷＢ回路２０７及びγ補正回路２０８による所定の処理は行われずに画像メモリ２０９に記憶される。つまり、画像メモリ２０９には、Ａ／Ｄ変換されただけのＣＣＤ−ＲＡＷ形式の画像データが２フレーム分記憶されることとなる。これは、その後の画像処理（ぼけ味調整処理）に利用するため、画質の低下要因となり得る処理をできるだけ行わないようにするためである。
【００３７】
ＬＣＤＶＲＡＭ２１０は、ＬＣＤ１０に表示される画像データのバッファメモリである。ＬＣＤＶＲＡＭ２１０は、ＬＣＤ１０の画素数４００×３００に対応した画像データの記憶容量を有している。ＥＶＦＶＲＡＭ２２０は、ＥＶＦ２０に表示される画像データのバッファメモリである。ＥＶＦＶＲＡＭ２２０は、ＥＶＦ２０の画素数６４０×４８０に対応した画像データの記憶容量を有している。
【００３８】
また、撮影待機状態においては、撮像部３により１／３０（秒）毎に撮像された画像の各画素データがＡ／Ｄ変換回路２０５〜γ補正回路２０８により所定の信号処理を施された後、画像メモリ２０９に一時記憶されるとともに、全体制御部２５０を介してＬＣＤＶＲＡＭ２１０、ＥＶＦＶＲＡＭ２２０に転送され、ＬＣＤ１０やＥＶＦ２０に表示される（ライブビュー表示）。
【００３９】
これによって、ユーザは被写体像を視認することができる。また、再生モードにおいては、メモリカード８から読み出された画像が全体制御部２５０で所定の信号処理が施された後、ＬＣＤＶＲＡＭ２１０に転送され、ＬＣＤ１０に再生表示される。ＥＶＦ２０でも同様の表示が行われる。
【００４０】
カードＩ／Ｆ２１２は、メモリカード８への画像データの書込み及び画像データの読出しを行なうためのインターフィースである。また、通信用Ｉ／Ｆ２２４は、パーソナルコンピュータ２２５を通信可能に外部接続するための、例えばＵＳＢ規格に準拠したインターフェースである。このカードＩ／Ｆ２１２、通信用Ｉ／Ｆ２２４を介して、メモリカード８やＣＤ−ＲＯＭ等の記録媒体２２６に記録している制御プログラムを、全体制御部２５０のＲＯＭ２５１内に取り込むことができる。
【００４１】
ＲＴＣ２１９は、撮影日時を管理するするための時計回路である。図示しない別の電源で駆動される。
【００４２】
操作部２１１は、上述したシャッタボタン９、ＬＣＤボタン３１、確定ボタン３２などの各種ボタン、ボタンなどで構成されている。
【００４３】
シャッタボタン９は、銀塩カメラで採用されているような半押し状態（Ｓ１）と押し込んだ状態（Ｓ２）とが検出可能な２段階ボタンになっている。待機状態でシャッタボタン９をＳ１状態にすると、ＡＦのためのレンズ駆動を開始し、全体制御部２５０によって画像メモリ２０９内における画像のコントラストを評価しながら、コントラストがもっとも高くなるようにモータＭ１、Ｍ２により、レンズを駆動し停止させる。Ｓ１状態時の画像メモリ内の画像データのレベルを判定することで、シャッタースピード（ＳＳ）と絞り値を決定する。さらにホワイトバランスの補正値を決定する。
【００４４】
ズーム制御回路３０７はズームモータＭ１の駆動を制御するものである。全体制御部２５０から入力されるズーム制御信号に基づいてズームモータＭ１を駆動し、ズームレンズ３００をユーザによって指定された方向に移動させる。フォーカス制御回路３０８はフォーカスモータＭ２の駆動を制御するものである。全体制御部２５０から入力されるＡＦ制御信号に基づいてフォーカスモータＭ２の駆動量を制御し、合焦レンズ３０１を焦点位置に設定する。
【００４５】
全体制御部２５０は、マイクロコンピュータからなり、撮影機能及び再生機能を集中制御するものである。全体制御部２５０は、デジタルカメラ１の上述した各部材の駆動を制御したり取得された画像データを処理する制御プログラムが記憶されたＲＯＭ２５１と、制御プログラムに従って数々の演算作業を行うための作業領域となるＲＡＭ２５２を備えている。
【００４６】
図４において、露出設定部２５３、表示制御部２５４、記録制御部２５５、再生制御部２５６及び特殊撮影制御部２５７は、ＲＯＭ２５１に記憶された制御プログラムに従って全体制御部２５０のＣＰＵ等によって演算処理されることにより実現される機能を機能ブロックとして表したものである。
【００４７】
露出設定部２５３は、露出制御処理を行うもので、ライブビュー画像のＧの色成分の画像データを用いて被写体の輝度を判定し、その判定結果に基づいて露出制御値（シャッタスピード（ＳＳ）と絞り値）を設定する。
【００４８】
表示制御部２５４は、画像表示処理を行うもので、画像メモリ２０９に一時記憶されている画像データを読み出し、必要に応じて画像サイズを表示先の画像サイズに調整した後、ＶＲＡＭ２１０，２２０に転送する動作を行う。
【００４９】
記録制御部２５５は、記録処理を行うものである。通常撮影モードにおいて、記録制御部２５５は、撮影指示後に画像メモリ２０９に一時記憶された画像データをＲＡＭ２５２に読み出し、２次元ＤＴＣ変換、ハフマン符号化等のＪＰＥＧ方式による所定の圧縮処理を行って記録用の撮影画像データとして作成する。また、画像メモリ２０９から縦横両方向でそれぞれ８画素毎に画素データをＲＡＭ２５２に読み出すことで、サムネイル画像を作成する。さらに、これらの記録用データに付随して記録される撮影画像データに関するタグ情報を作成する。そして、記録制御部２５５は、圧縮された高解像度の撮影画像データ及びサムネイル画像にタグ情報を添付した静止画像ファイルを作成し、メモリカード８に記録する。
【００５０】
一方、ぼけ味調整モードにおいては、記録制御部２５５は、画像メモリ２０９に一時記憶された画像データ（Ａ／Ｄ変換されただけのＣＣＤ−ＲＡＷ形式データ）に対して、圧縮処理は行わず、そのまま記録用の撮影画像データとする。これは、上記ＪＰＥＧ方式による圧縮処理は、非可逆圧縮のため元画像の情報を損なうこととなり、処理後の画質が低下するためである。サムネイル画像及びタグ情報は通常撮影モードと同様に作成され、さらに、非圧縮のＣＣＤ−ＲＡＷ形式の撮影画像データ及びサムネイル画像にタグ情報を添付した静止画像ファイルが作成され、メモリカード８に記録される。ぼけ味調整モードにおいては、２枚の撮影画像データが生じるのでそれぞれの撮影画像データに対して静止画像ファイルが作成されてメモリカード８に記録される。
【００５１】
図５は、メモリカード８に記憶された静止画像ファイルの構成例を示すものである。図５において、「Ｐ０００００１．ＪＰＧ」「Ｐ０００００２．ＪＰＧ」等は、静止画像ファイル名を示している。同図の例においては静止画像ファイル名を「ＰＬ．Ｍ」で表記しており、「ＰＬ．Ｍ」の「Ｌ」は静止画像ファイルが作成された順番を示す６桁の番号であり、「Ｍ」は撮影画像データのデータ形式を示す拡張子である。「Ｍ」において「ＪＰＧ」はＪＰＥＧ形式で圧縮されて記録された撮影画像データであり、「ＲＡＷ」はＣＣＤ−ＲＡＷ形式で記録された撮影画像データである。通常撮影モードで撮影された撮影画像データは拡張子「ＪＰＧ」となっており、ぼけ味調整モードにおいて撮影された撮影画像データは拡張子「ＲＡＷ」となっている。
【００５２】
また、「１ｂ」，「２ｂ」は、ぼけ味調整モードで撮影された静止画像ファイルのフォルダ名を示している。ぼけ味調整モードでは、１回のシャッタ操作で２つの静止画像ファイルが作成されるため、両静止画像ファイルを１つのフォルダにまとめてメモリカード８に記録するようになっている。図５の例においては、フォルダ名は「Ｎｂ」で表記しており、「Ｎ」はぼけ味調整モードにおける撮影順を示す番号を示している。従って、「１ｂ」は、ぼけ味調整モードで最初に撮影された静止画像ファイルの組み合わせが格納されたフォルダであることを示している。
【００５３】
図６は、メモリカード８への静止画像ファイルの記録方法を示す図である。メモリカード８の先頭の記憶領域には、フォルダ情報と各フォルダに属する静止画像ファイルの情報とを記憶するインデックス領域が設けられ、その後の領域に各静止画像ファイルが撮影された順に記憶されている。メモリカード８における各静止画像ファイルの記憶領域は３つの領域からなり、上から順にタグ情報、撮影画像データ及びサムネイル画像が記憶される。図に示すように、タグ情報には、カメラ名称、レンズ名称、撮影時の焦点距離、撮影時のＦ値、撮影モード、焦点位置、ファイル名、被写体輝度、ホワイトバランス調整値等の情報が含まれる。ここで撮影モードは、通常撮影モードで撮影されたものであるか、ぼけ味調整モードで撮影されたものであるかの情報を示すこととなる。
【００５４】
再生制御部２５６は、メモリカード８に記録された撮影画像のＬＣＤ１０への再生処理を行うものである。再生制御部２５６は、記録／再生モード設定ボタン１４により再生モードが設定されると、メモリカード８に記録された各静止画像ファイルからサムネイル画像を読み出し、順次所定のインデックスフォーマットに従ってＬＣＤＶＲＡＭ２１０に記憶する。これにより、サムネイル画像がＬＣＤ１０にインデックス表示される。
【００５５】
インデックス表示されたサムネイル画像に対して再生すべきコマのサムネイル画像が４連ボタン３５等の操作によって指定されると、再生制御部２５６は、そのコマに対応する静止画像ファイルから撮影画像データを読み出す。読み出したコマが、通常撮影モードで撮影されたものである場合は、圧縮された撮影画像データに所定の伸長処理を行い、画像メモリ２０９に記憶する。一方、ぼけ味調整モードで撮影されたものである場合は、圧縮されていないので撮影画像データをそのまま画像メモリ２０９に記憶する。画像メモリ２０９に記憶された撮影画像データは、表示制御部２５４によって画像サイズが調整された後に、ＬＣＤＶＲＡＭ２１０に転送され、ＬＣＤ１０に表示されることとなる。
【００５６】
特殊撮影制御部２５７は、撮影モードがぼけ味調整モードに設定されている場合の、デジタルカメラ１の各部材の駆動を制御するものである。特殊撮影制御部２５７は、シャッタボタン９がＳ２状態となると、ぼけ味調整用の２枚の画像データを取り込むため、それぞれフォーカスモータを駆動して焦点位置を変化させて、所定間隔でＣＣＤ３０３の露光動作を２回繰り返すように制御を行う。さらに、黒レベル補正回路２０６、ＷＢ回路２０７及びγ補正回路２０８に対して所定の処理を行わないように制御を行う。
【００５７】
次に、上記のように構成されたデジタルカメラ１のぼけ味調整モードにおける撮影動作について説明する。図７は、ぼけ味調整モードでの静止画像の撮影手順を示すフローチャートである。
【００５８】
ステップＳ１１において、シャッタボタン９が半押し（Ｓ１状態）されるとデジタルカメラ１は静止画像の撮影のための準備を行う。まず、絞りの絞り値を開放絞り値（例えばＦ＝２．８）に設定する（ステップＳ１２）。ここで、絞り値を開放絞り値に設定するのは、被写界深度を浅くして合焦する対象距離以外の被写体をぼかすためである。
【００５９】
続いて、撮影レンズの焦点が無限大になるように制御される。さらに、シャッタスピードに相当するＣＣＤ３０３の露光時間が設定され、ホワイトバランス調整値が設定される（ステップＳ１３）。
【００６０】
この状態でステップＳ１４において、シャッタボタン９が全押し（Ｓ２状態）されると、ＣＣＤ３０３によって設定された露光時間だけ露光して被写体の静止画像が取り込まれる。露光の後、ＣＣＤ３０３から出力される画像信号は、信号処理回路３１３で所定のアナログ信号処理が施され、Ａ／Ｄ変換回路２０５において１０ビットの画素データに変換され、そのままＣＣＤ−ＲＡＷ形式で画像メモリ２０９に記憶される（ステップＳ１５）。この静止画像は、撮影レンズの焦点が無限大で撮影されたものであるため、背景等の遠景にピントが合っており近景はピンボケ状態となっている。
【００６１】
続いて、全体制御部２５０の記録制御部２５５によって、タグ情報及びサムネイル画像が作成され、これらと画像メモリ２０９に記憶されたＣＣＤ−ＲＡＷ形式の画像データから静止画像ファイルが作成される。そして、ぼけ味調整モードの撮影画像を格納するフォルダをメモリカード８に作成し、当該フォルダに生成された静止画像ファイルが記録される（ステップＳ１６）。この静止画像ファイルのタグ情報の撮影モードには、「ぼけ味調整モード１／２」のように、ぼけ味調整モードにおいて１回目に撮影されたものである情報が付与される。また、タグ情報の焦点位置には「無限大」という情報が付与される。
【００６２】
次に、撮影レンズの焦点が、近景の所定距離例えば１ｍ先の被写体が合焦するように制御される（ステップＳ１７）。なお、ＣＣＤ３０３の露光時間及びホワイトバランス調整値は、１枚目の撮影時から変更されず、そのままの設定が用いられる。
【００６３】
そして、ＣＣＤ３０３によって設定された露光時間だけ露光して被写体の静止画像が取り込まれる。露光の後、１枚目の撮影時と同様に、信号処理回路３１３及びＡ／Ｄ変換回路２０５で所定の処理が行われ、画像メモリ２０９に記憶される（ステップＳ１８）。この静止画像は、撮影レンズの焦点が１ｍ先に制御されているので、人物等の近景にピントがほぼ合っており、遠景はピンボケ状態である。
【００６４】
続いて、全体制御部２５０の記録制御部２５５によって、タグ情報及びサムネイル画像が作成され、これらと画像メモリ２０９に記憶されたＣＣＤ−ＲＡＷ形式の画像データから静止画像ファイルが作成される。そして、１枚目の静止画像ファイルが格納されたフォルダと同一のフォルダに、生成された静止画像ファイルが記録される（ステップＳ１９）。この静止画像ファイルのタグ情報の撮影モードには、「ぼけ味調整モード２／２」のように、ぼけ味調整モードにおいて２回目に撮影されたものである情報が付与される。また、タグ情報の焦点位置には「１ｍ」という情報が付与される。
【００６５】
なお、本実施の形態においては、１回目に遠景側に焦点を合わせた静止画像（遠景合焦画像）を撮影し、２回目に近景側に焦点を合わせた静止画像（近景合焦画像）を撮影しているが、撮影の順番はこの逆であってもよい。
【００６６】
＜２．ぼけ味調整処理＞
ここで、上記のように撮影レンズの焦点位置を変更して撮影された２枚の静止画像を用いて任意の合焦位置の静止画像（以下、「ぼけ味調整画像」）を取得するぼけ味調整処理について簡単に説明する。なお、ここでは映像情報メディア学会誌Vol.51,No.12,pp.2072〜2081「反復法に基づく複数画像からの任意焦点画像の生成」に示されている手法を適用するものとする。
【００６７】
図８は、ぼけ味調整処理に用いる２枚の静止画像を示したモデル図である。この説明においては、図８に示す２枚の画像Ｉｒ，Ｉｆを用いてぼけ味調整画像Ｉの作成を行うものとする。図８（ａ）は近景に合焦した近景合焦画像Ｉｒを示しており、図８（ｂ）は遠景に合焦した遠景合焦画像Ｉｆを示している。また、円形状のものは近景の被写体、六角形状のものは遠景の被写体を表し、それぞれ実線は合焦状態、波線はぼけ状態を表している。
【００６８】
ぼけ味調整処理は、基本的に、
（１）２枚の静止画像Ｉｒ，Ｉｆ間での位置合わせ処理
（２）所定の演算処理である画像合成処理によるぼけ味調整画像の作成
という２つの工程で行われる。以下、それぞれについて説明する。
【００６９】
位置合わせ処理は、使用する２枚の静止画像の同一の図柄を正確に合成するために、両静止画像の位置を合わせるものである。これは、２枚の静止画像間には、撮影タイミングの違いによって微少な位置的相違が発生するためである。この位置合わせ処理は、画像全体の位置合わせ処理と、局所的な位置合わせ処理の２段階で行われる。
【００７０】
画像全体の位置合わせ処理では、例えば近景合焦画像Ｉｒを基準として、遠景合焦画像Ｉｆにおける拡大率、平行移動量、回転角等のパラメータを変更させながら、両画像Ｉｒ，Ｉｆを比較して、両画像Ｉｒ，Ｉｆが最も一致するパラメータの組み合わせを算出する。より具体的には、両画像の対応する各画素レベル差の２乗平均値ΔＵを算出し、これらの総和ΣΔＵを指標として、この総和ΣΔＵが最小となるように最適な拡大率、平行移動量及び回転角等のパラメータの組み合わせを算出する。なお、近景合焦画像Ｉｒと遠景合焦画像Ｉｆでは撮影時の焦点位置が異なることから、両画像Ｉｒ，Ｉｆを直接比較すると誤差が生じる可能性がある。このため、最適なパラメータの組み合わせを求めるのに、階層化マッチング法を用いて算出する。算出されたパラメータで遠景合焦画像Ｉｆを変換すると、近景合焦画像Ｉｒに対して画像全体の位置合わせの行われた遠景合焦画像Ｉｆが得られる。
【００７１】
局所的な位置合わせ処理では、近景合焦画像Ｉｒと画像全体の位置合わせ処理を行った遠景合焦画像Ｉｆとの間で画素毎に位置ずれの補正を行う。この補正は近景合焦画像Ｉｒの画素位置（ｘ，ｙ）と、画像全体の位置合わせ処理を行った遠景合焦画像Ｉｆの画素位置（ｘ＋ｍ，ｙ＋ｎ）を中心に、ｒ×ｒ画素内の両画像の対応する画素レベル差の２乗平均値を算出し、さらにｒ×ｒ個の総和が最小となるパラメータ（ｍ，ｎ）を算出することによって行う。全ての画素に対してパラメータ（ｍ，ｎ）を算出し、このパラメータ（ｍ，ｎ）を用いて遠景合焦画像Ｉｆを補正すると、最終的に近景合焦画像Ｉｒに対して位置合わせの行われた遠景合焦画像Ｉｆが得られる。
【００７２】
画像合成処理としては種々の方法が知られているが、本実施の形態では反復法を採用するため以下の説明では反復法について説明する。
【００７３】
図８に示すように、近景合焦画像Ｉｒの合焦している近景領域を表す関数をｆ１(x,y)、遠景合焦画像Ｉｆの合焦している遠景領域を表す関数をｆ２(x,y)とし、遠景合焦画像Ｉｆの合焦していない近景領域のぼけ具合を表す関数をｈ１(x,y)、近景合焦画像Ｉｒの合焦していない遠景領域のぼけ具合を表す関数をｈ２(x,y)とすると、近景合焦画像Ｉｒを表す関数ｇ1(x,y)は
g1(x,y)=f1(x,y)+h2(x,y)*ｆ2(x,y)  …(1)
で表され、遠景合焦画像Ｉｆを表す関数ｇ２(x,y)は
g2(x,y)=h1(x,y)*f1(x,y)+ｆ2(x,y)  …(2)
で表される。なお、これらの式において＊はコンボリューションであり、以下の式においても同様である。
【００７４】
一方、ぼけ味調整画像Ｉは近景合焦画像Ｉｒの近景領域をぼけ関数ｈａ(x,y)でぼかした画像と、遠景合焦画像Ｉｆの遠景領域をぼけ関数ｈｂ(x,y)でぼかした画像とを合成して作成されるとすると、ぼけ味調整画像Ｉを表す関数ｆ(x,y)は、
f(x,y)＝ha(x,y)*f1(x,y)+hb(x,y)*f2(x,y)  …(3)
で表される。
【００７５】
ここで、元画像Ｉｒ，Ｉｆのぼけ関数ｈ１，ｈ２及びぼけ味調整画像Ｉのぼけ関数ｈａ，ｈｂは、
h(x,y)＝(1/πR2)・exp(-(x2＋y2)/R2)  …(4)
R；ぼけ量（ぼけ半径）
の二次元ガウス関数において、ぼけ関数ｈ１，ｈ２に対するぼけ量Ｒ１，Ｒ２をＲに代入して得られる。撮影画像の場合、ぼけ量Ｒ１，Ｒ２は撮影時の撮影レンズの焦点位置によって規定される値となる。このため本実施の形態では、撮影時の情報を示す静止画像ファイルのタグ情報から、撮影レンズの種類と撮影レンズの焦点位置の情報を得て、予め設定されたテーブルを参照することにより、ぼけ関数ｈ１，ｈ２を取得するようにしている。また、ぼけ関数ｈａ，ｈｂに対するぼけ量をそれぞれＲａ，Ｒｂとすると、ぼけ量Ｒａ，Ｒｂの設定値は、処理後に生成されるぼけ味調整画像Ｉのぼけ具合、すなわち、合焦位置を決定するものとなる。
【００７６】
(1)〜(3)式からｆ１(x,y)、ｆ２(x,y)を消去すると、近景合焦画像Ｉｒの関数ｇ１(x,y)、遠景合焦画像Ｉｆの関数ｇ２(x,y)、ぼけ味調整画像Ｉの関数ｆ(x,y)の関係式
(ha-hb*h1)*g1+(hb-ha*h2)*g2=(δ-h1*h2)*f  …(5)
が得られる。なお、(5)式でδはディラックのデルタ関数である。また、(5)式では便宜上、関数表記の変数(x,y)部分を省略している。
【００７７】
よって、(5)式を解くことによりぼけ味調整画像Ｉを示す関数ｆを得ることができる。反復法においては、(5)式において、左辺を
g=(ha-hb*h1)*g1+(hb-ha*h2)*g2  …(6)
とおき、ｆについてｋ回反復したものをｆ(k)とし、
f(k+1)=g+(h1*h2)*f(k)  …(7)
に示すように反復演算すると、ｋ→∞でｆ(∞)は式(5)を満足するｆに収束することから、この反復演算を繰り返すことにより、任意の合焦位置のぼけ味調整画像Ｉが算出されることとなる。なおここで、初期値ｆ(0)は、ｇ１，ｇ２，（ｇ１＋ｇ２）／２等でよい。
【００７８】
図９から図１５は、ぼけ味調整処理において、上記ぼけ量Ｒａ，Ｒｂを変更することにより取得されたぼけ味調整画像Ｉの例を示す図である。図９は合焦位置が無限大、図１０は合焦位置が２０ｍ、図１１は合焦位置が１０ｍ、図１２は合焦位置が５ｍ、図１３は合焦位置が２ｍ、図１４は合焦位置が１ｍ、図１５は合焦位置が０．５ｍにそれぞれ相当するぼけ味調整画像Ｉを示している。なお、これらの図のぼけ味調整画像Ｉにおいて、遠景の被写体である家屋Ａ１は撮影距離が２０ｍであり、中景の被写体である自動車Ａ２は撮影距離が５ｍであり、近景の被写体である人物Ａ３は撮影距離が１ｍである。
【００７９】
例えば、図１０（合焦位置２０ｍ）においては、撮影距離が２０ｍの被写体である家屋Ａ１に対して合焦状態となっているが、他の被写体に対してはピンボケ状態である。また、図１２（合焦位置５ｍ）においては、撮影距離が５ｍの被写体である自動車Ａ２に対して合焦状態になっているが、他の被写体に対してはピンボケ状態である。また、図１４（合焦位置１ｍ）においては、撮影距離が１ｍの被写体である人物Ａ３に対して合焦状態となっているが、他の被写体に対してはピンボケ状態である。
【００８０】
また、図９から図１５のぼけ味調整画像Ｉをこの順に比較すると、徐々に、遠景の被写体、中景の被写体、近景の被写体と合焦していくこととなる。つまり、遠景から近景に至って徐々に合焦位置が変化する動画像の画像ファイル（以下、「合焦変化動画」）は、図９から図１５の例に示したようなぼけ味調整画像Ｉを連結することにより作成することが可能となる。なおここでは、説明のため７枚のぼけ味調整画像Ｉを例示したが、例示していない合焦位置のぼけ味調整画像Ｉを取得することも可能であることは言うまでもない。
【００８１】
＜３．動画像作成＞
次に、前述したデジタルカメラ１のぼけ味調整モードにおいて撮影された２枚の静止画像（近景合焦画像及び遠景合焦画像）を用いてぼけ味調整処理を行い、合焦変化動画を作成する画像処理装置について説明する。
【００８２】
図１６は、合焦変化動画を作成する画像処理装置の構成を示す外観図である。図１６に示すように、画像処理装置５０は、パーソナルコンピュータ６０とその出力装置であるプリンタ７０とを備えている。
【００８３】
パーソナルコンピュータ６０は、コンピュータ本体６１と、各種情報の表示を行うディスプレイ６２と、ユーザからの入力を受け付けるキーボード６３及びマウス６４を備えている。また、コンピュータ本体６１は、ＣＤ−ＲＯＭ等の記録媒体９０から各種データの読み取りを行う読取装置６１ａ，６１ｃ及びデジタルカメラ等のメモリカードの読み取りを行うメモリカードリーダ６１ｂを備えている。
【００８４】
また、パーソナルコンピュータ６０は、コンピュータ本体６１内部の所定の記憶装置に、ぼけ味調整モードで撮影された２枚の静止画像から合焦変化動画を作成することが可能な処理プログラム（以下、「合焦変化動画作成プログラム」）を記憶している。パーソナルコンピュータ６０は、所定の記憶装置からこの合焦変化動画作成プログラム読み出して実行することにより画像処理装置として機能することとなる。この動画作成プログラムは、当該プログラムが記録されたＣＤ−ＲＯＭ等の記録媒体９０から読取装置６１ａまたは６１ｂを介してコンピュータ本体６１に予めインストールされている。なお、この合焦変化動画作成プログラムは、所定のサーバー記憶装置からインターネット等の通信回線を介してダウンロードされた後、インストールされるようになっていてもよい。
【００８５】
図１７は、パーソナルコンピュータ６０において、合焦変化動画作成プログラムを実行した場合におけるディスプレイ６２に表示される作業ウィンドウの一例を示す図である。作業ウィンドウ１００には合焦変化動画の作成処理に関係する画像データ等を表示する３つの表示領域１０１〜１０３と、処理内容や処理条件等を指示するためのコマンドボタン１０４〜１０８が表示される。
【００８６】
表示領域１０１及び表示領域１０２は画面上部に配置され、表示領域１０１には近景合焦画像のサムネイル画像が表示され、表示領域１０２には遠景合焦画像のサムネイル画像が表示される。また、表示領域１０３は表示領域１０１の下部に配置され、後述するぼけ味調整処理における処理結果が表示される。コマンドボタン１０４〜１０７は、表示領域１０２の下部に縦配列されて表示され、コマンドボタン１０８は表示領域１０１の下部に表示される。
【００８７】
「ファイル」の表記されたコマンドボタン（以下、「ファイルボタン」）１０４は、合焦変化動画を作成する元となる２枚の静止画像ファイルを指定するためのものである。このファイルボタン１０４をクリックすることにより、フォルダ指定ウィンドウが開き、メモリカードリーダ６１ｂに装着されたメモリカード等のぼけ味調整モードで撮影された静止画像ファイルが格納されたフォルダが表示される。ぼけ味調整モードで撮影された近景合焦画像及び遠景合焦画像は、同一フォルダ「Ｎｂ」内に含まれているため、フォルダの指定のみで両静止画像ファイルを指定することが可能である。
【００８８】
このフォルダ指定ウィンドウにおいてユーザにより開くべきフォルダが指定されると、指定されたフォルダ内に含まれる両静止画像ファイルのタグ情報を参照し、ぼけ味調整モードで撮影されたものであるか否かを判別するようになっている。ぼけ味調整モードで撮影された静止画像ファイルにおいては、タグ情報の撮影モードに「ぼけ味調整モード１／２」もしくは「ぼけ味調整モード２／２」という情報が含まれているため、この情報を参照することでぼけ味調整モードで撮影されたものであるということが判別される。ぼけ味調整モードで撮影されたもので無い場合はその後の処理を行うことができないため、所定のエラーメッセージの表示を行い再度ユーザに開くべきフォルダの指定をさせるようになっている。
【００８９】
「設定」と表記されたコマンドボタン（以下、「設定ボタン」）１０５は、作成する合焦変化動画の各種パラメータ設定を行うものである。設定ボタン１０５をクリックすると図１８の如き設定ウィンドウ１１０がディスプレイ６２に表示される。図１８に示すように、設定ウィンドウ１１０では、作成する合焦変化動画のぼけ具合、フレーム数、再生時間、表示速度の各パラメータを設定可能な設定フォーム１１１〜１１４が表示される。
【００９０】
ここで、本実施の形態で作成する合焦変化動画について簡単に説明する。図２３は、作成する合焦変化動画の構成を示す図である。図に示すように、合焦変化動画はｎ枚（ｎ＞１）のフレームが連結された構成となっており、フレームのそれぞれは１枚の静止画像データ（ぼけ味調整画像）に対応する。合焦変化動画の再生を行うと、これらの静止画像データが１枚目のフレームＦ１から順にｎ枚目のフレームＦｎまで表示される。
【００９１】
本実施の形態では、遠景から近景に徐々に合焦位置が変化する動画像を作成するため、１枚目のフレームＦ１は遠景に合焦した状態であり、近景は全てのフレーム中で最もぼけた状態となる。一方、ｎ枚目のフレームＦｎは近景に合焦した状態であり、遠景は全てのフレーム中で最もぼけた状態となる。
【００９２】
また、本実施の形態で作成される合焦変化動画は、再生時において各フレームを一定の時間Ｔ１秒毎に表示する。従って、合焦変化動画の再生時間Ｔ２秒はＴ２＝Ｔ１×ｎの関係にあり、１秒間あたりに表示するフレーム数（ｆｐｓ）すなわち表示速度Ｖは、Ｖ＝ｎ／Ｔ２の関係にある。また、各フレームの表示時間Ｔ１は、表示速度Ｖの逆数になる。
【００９３】
図１８に戻り、設定フォーム１１１は、合焦変化動画のぼけ具体を決定するパラメータとなる近景最大ぼけ量ｒａと遠景最大ぼけ量ｒｂを設定するためのものである。これは、作成する１枚目のフレームＦ１の近景領域のぼけ量（前述Ｒａに相当）を近景最大ぼけ量ｒａとして、ｎ枚目のフレームＦｎの遠景領域のぼけ量（前述Ｒｂに相当）を遠景最大ぼけ量ｒｂとして設定することとなる。
【００９４】
図１８に示すように、設定フォーム１１１は、２つのオプションボタン１１５，１１６と、２つの数値入力ボックス１１６ａ，１１６ｂとを備えている。「自動」と表記されたオプションボタン１１５が選択された場合は、近景最大ぼけ量ｒａ及び遠景最大ぼけ量ｒｂはそれぞれ予め設定されているデフォルト値、例えば「５」ピクセルと設定される。一方、「手動」と表記されたオプションボタン１１６が選択された場合は、数値入力ボックス１１６ａに入力された値が近景最大ぼけ量ｒａとして、数値入力ボックス１１６ｂに入力された値が遠景最大ぼけ量ｒｂとしてそれぞれ設定される。
【００９５】
設定フォーム１１２は合焦変化動画のフレーム数ｎ、設定フォーム１１３は合焦変化動画の再生時間Ｔ２、設定フォーム１１４は合焦変化動画の表示速度Ｖのそれぞれのパラメータを設定するためのものである。これらのパラメータは、設定フォーム１１２〜１１４のそれぞれに備えられた数値入力ボックスに値が入力されることにより可変に設定される。なお、前述したように、Ｖ＝ｎ／Ｔ２の関係にあるため、設定フォーム１１２〜１１４のうち２つの数値入力ボックスに値が入力されれば、残りの１つは演算されて自動的に数値入力ボックスに表示されるようになっている。
【００９６】
また、設定ウィンドウ１１０は、ＯＫボタン１１７とキャンセルボタン１１８をさらに備えている。ＯＫボタン１１７がクリックされた場合は、上記設定フォーム１１１〜１１７において入力された各パラメータが更新設定され、コンピュータ本体６１内部の所定の記憶装置に記憶される。一方、キャンセルボタン１１８がクリックされた場合は、各パラメータの更新は行われない。
【００９７】
図１７に戻り、「実行」と表示されたコマンドボタン（以下、「実行ボタン」）１０６は、ぼけ味調整モードで撮影された２枚の画像を用いて実際に合焦変化動画の作成処理を実行するためのものである。この合焦変化動画の作成処理の詳細については後述する。
【００９８】
「終了」と表示されたコマンドボタン（以下、「終了ボタン」）１０７は、合焦変化動画作成プログラムの実行を終了させるためのものである。この終了ボタン１０７がクリックされると、作業ウィンドウ１００がクローズし全ての処理が終了する。
【００９９】
「中止」と表示されたコマンドボタン（以下、「中止ボタン」）１０８は、合焦変化動画の作成処理を途中で中止させるためのものである。合焦変化動画の作成処理の処理時間は長時間となるため、何らかの理由によりユーザが強制的に処理を中止したい場合は、この中止ボタンをクリックすることにより中止することができる。
【０１００】
次に、図１９に示すフローチャートに従って、合焦変化動画の作成処理について説明する。
【０１０１】
まず、ユーザによりファイルボタン１０４がクリックされ、合焦変化動画の作成に使用する２枚の静止画像ファイルが格納されたフォルダの指定が行われる。開くべきフォルダが指定されると、指定されたフォルダに格納された２枚の静止画像ファイルからサムネイル画像がそれぞれ読み出され、作業ウィンドウ１００の表示領域１０１，１０２に表示される（ステップＳ２１，Ｓ２２）。
【０１０２】
次に、ユーザにより設定ボタン１０５がクリックされ、作成する合焦変化動画の各種パラメータ設定が行われる。すなわち、近景最大ぼけ量ｒａ、遠景最大ぼけ量ｒｂ、フレーム数ｎ、再生時間Ｔ２及び再生速度Ｖのパラメータが設定される（ステップＳ２３）。
【０１０３】
続いて、実行ボタン１０６が操作されたか否かが判別される（ステップＳ２４）。ここで、実行ボタン１０６の操作がなければ、サムネイル画像が２枚表示された状態で、待機状態となる。この状態においては、ステップＳ２３に戻り合焦変化動画の各種パラメータ設定を再度行うことが可能である。
【０１０４】
実行ボタン１０６が操作されると、二枚の指定された静止画像ファイルからそれぞれ撮影画像データ（近景合焦画像及び遠景合焦画像）が読み出される（ステップＳ２５）。
【０１０５】
さらに、二枚の静止画像ファイルからタグ情報が読み出され、タグ情報に含まれる撮影レンズの撮影レンズの種類と撮影レンズの焦点位置の情報が取得される。取得された情報に基づいて、予め所定の記憶装置に記憶されたテーブルを参照し、読み出された遠景合焦画像における近景領域のぼけ量Ｒ１及び近景合焦画像における遠景領域のぼけ量Ｒ２が設定される（ステップＳ２６）。
【０１０６】
続いて、まず、１枚目のフレームＦ１を作成するため、現在の作成しているフレーム番号を示すカウント値ｉ（ｉ＝１，２，３，・・・・，ｎ）が「１」にセットされる（ステップＳ２７）。
【０１０７】
続いて、近景合焦画像と遠景合焦画像とを用いてぼけ味調整処理を行い合焦変化動画のフレームとなるぼけ味調整画像が作成される（ステップＳ２８）。このフレーム作成処理は、作成するフレーム数ｎと同回数繰り返されることとなる。以下の説明においては、ｉ枚目のフレームＦｉを作成するものとして説明する。
【０１０８】
図２０は、このフレーム作成処理の流れを示すフローチャートである。まず、近景合焦画像と遠景合焦画像との前述した位置合わせ処理が行われ、最終的に近景合焦画像に対して位置合わせの行われた遠景合焦画像が得られる（ステップＳ４１）。なお、この位置合わせ処理においては処理速度を向上させるため、近景合焦画像を基準とした遠景合焦画像の平行移動のみで行われてもよい。また、２枚目以降のフレーム作成時（ｉ＞１）においては、１枚目のフレーム作成時（ｉ＝１）に位置合わせ処理が行われているためこの処理は省略されるようになっていてもよい。
【０１０９】
続いて、作成するｉ枚目のフレームにおける近景領域のぼけ量Ｒａと遠景領域のぼけ量Ｒｂが設定される（ステップＳ４２）。具体的には、ぼけ量Ｒａ，Ｒｂはそれぞれ、設定されたパラメータである最大ぼけ量ｒａ，ｒｂに基づく段階的な変化を規定する演算式
Ｒａ＝ｒａ・（ｎ−ｉ）／（ｎ−１）
Ｒｂ＝ｒｂ・（ｉ−１）／（ｎー１）
で算出されて設定される。
【０１１０】
例えば、ｉ＝１（１枚目のフレームＦ１）の場合は、Ｒａ＝ｒａ，Ｒｂ＝０となる。つまり、近景領域のぼけ量Ｒａは近景最大ぼけ量ｒａとなり、遠景領域のぼけ量Ｒｂは「０」となるため、遠景に合焦し近景は最もぼけた状態となるように設定される。一方、ｉ＝ｎ（ｎ枚目のフレームＦｎ）の場合は、Ｒａ＝０，Ｒｂ＝ｒｂとなる。つまり、近景領域のぼけ量Ｒａは「０」となり、遠景領域のぼけ量Ｒｂは遠景最大ぼけ量ｒｂとなるため、近景に合焦し遠景は最もぼけた状態となるように設定される。また、１＜ｉ＜ｎの場合は、フレームＦ１とフレームＦｎの中間的なぼけ状態となるようにそれぞれ設定が行われることとなる。
【０１１１】
続いて、反復法によりぼけ味調整画像を算出する際の反復演算回数をカウントするカウンタのカウント値ｊが「０」にセットされる（ステップＳ４３）。続いて、前述したぼけ味調整処理の反復法における１回目の演算が行われ（ステップＳ４４）、その演算結果のぼけ味調整画像が表示領域１０３に表示される（ステップＳ４５）。
【０１１２】
続いて、中止ボタン１０８による処理の中止が指示されているか否かが判別され（ステップＳ４６）、処理の中止が指示されている場合は、強制的に処理を中止し図１９のステップＳ２１に戻る。
【０１１３】
ステップＳ４６において処理の中止が指示されていない場合は、反復演算結果が収束しているか否か（ステップＳ４７）、反復演算回数のカウント値ｊが予め設定されている所定回数に達しているか否か（ステップＳ４８）が順次判別される。反復演算結果が収束しておらず、反復演算回数のカウント値ｊが所定回数に達していなければ、カウント値ｊが１だけインクリメントされて（ステップＳ４９）、ステップＳ４４に戻り、次のぼけ味調整演算が行われる。
【０１１４】
一方、反復演算結果が収束した場合、または、反復演算回数のカウント値ｊが所定回数に達した場合は、演算結果であるぼけ味調整画像をフレームＦｉとして、フレーム作成処理を終了する。
【０１１５】
フレームＦｉの作成処理が終了すると、図１９のステップＳ２９において、作成中の動画像データにフレームＦｉが連結される。つまり、フレームが作成される毎に動画像データに連結され、順次、合焦変化動画が作成されていくこととなる。また、このとき同時に、再生速度Ｖの逆数が、フレームＦｉの再生すべきタイミング情報として付加される。なお、ｉ＝１の場合は連結する動画像データが無いためこの処理が行われることはない。
【０１１６】
続いて、現在作成しているフレーム番号のカウント値ｉがフレーム数ｎに達したか否かが判別され（ステップＳ３０）、フレーム数ｎに達していなければ、カウント値ｉが１だけインクリメントされて（ステップＳ３１）、ステップＳ２８に戻り、次のフレームが作成されることとなる。
【０１１７】
図２１は、合焦変化動画を作成中の作業ウィンドウ１００の状態を示す図である。合焦変化動画の作成中においては、作業ウィンドウ１００の下部に作成処理の進行状況を示すプログレスバー１０９ａの表示とともに、合焦変化動画を作成中である旨のステイタス表示１０９ｂがなされる。ユーザは、この表示によって、作成処理の進行状況を認識することができる。なお、この作業ウィンドウ１００に表示される中止ボタン１０８をクリックすれば強制的にこの処理を中止することとなる。
【０１１８】
以下、同様の処理で順次フレームが作成され、作成されたフレームは作成中の動画像データに連結されていく。中止ボタン１０８による処理の中止が指示されなければ、ステップＳ３０においてフレーム番号のカウント値ｉがフレーム数ｎに達した時点で、合焦変化動画の作成が終了する。
【０１１９】
合焦変化動画が作成されると、図２２に示すようにディスプレイ６２に動画再生ウィンドウ１２０を表示させ、その表示領域１２１に作成された合焦変化動画が再生表示される（図１９ステップＳ３２）。動画再生ウィンドウ１２０の下部には、再生の進行状況を示すプログレスバー１２２ａと再生中である旨のステイタス表示１２２ｂがなされる。ユーザは、この動画再生ウィンドウ１２０により作成された合焦変化動画を確認することが可能である。つまり、画像処理装置５０は、合焦変化動画を表示する表示装置としても機能することとなる。
【０１２０】
続いて、合焦変化動画の再生が終了すると、当該合焦変化動画を保存するか否かを問い合わせる確認ダイアログが表示され、ユーザにより保存すると選択された場合は、当該合焦変化動画は所定の記憶手段に保存されることとなる（図１９ステップＳ３３，３４）。
【０１２１】
＜４．変形例＞
以上、本発明の実施の形態について説明したが、この発明は上記実施の形態に限定されるものではない。
【０１２２】
上記実施の形態においては、合焦変化動画の作成をパーソナルコンピュータ６０において合焦変化動画作成プログラムを実行させた画像処理装置５０を利用していたが、上述した撮像手段を備えた画像処理装置であるデジタルカメラ１のＲＯＭ２５１に合焦変化動画作成プログラムを記憶させ、デジタルカメラ１において当該プログラムを実行させて、合焦変化動画の作成を行うようにしてもよい。このような場合、作成された合焦変化動画がＬＣＤ１０に表示されることによりデジタルカメラ１は表示装置としても機能することとなる。
【０１２３】
また、上記実施の形態における合焦変化動画は、遠景から近景に至って徐々に合焦位置が変化するものであったが、逆に、近景から遠景に至って徐々に合焦位置が変化するようなものであってもよい。このような場合、図２０のステップＳ４２におけるぼけ量Ｒａ，Ｒｂを算出する演算式を逆にすれば簡単に実現可能である。また、「遠景から近景」または「近景から遠景」という合焦方向をユーザにより設定できるようになっていてもよい。
【０１２４】
また、上記実施の形態においては、合焦変化動画の各フレームは、全てぼけ味調整処理の演算結果であるぼけ味調整画像によって構成されていたが、元の撮影画像データを含むようにしてもよい。例えば、１枚目のフレームＦ１に撮影画像データである遠景合焦画像を利用し、ｎ枚目のフレームＦｎに撮影画像データである近景合焦画像を利用し、これらの中間にあたるフレームのみをぼけ味調整処理によって作成するようにしてもよい。合焦変化動画作成の処理時間は長時間となるが、このようにすれば、比較的処理時間を短くすることが可能である。
【０１２５】
【発明の効果】
以上、説明したように、請求項１ないし請求項５、請求項８および請求項９の発明によれば、それぞれ異なる合焦位置で撮影された２枚の静止画像から、徐々に合焦位置が変化する映像効果を有する動画像の画像ファイルを作成することができる。
【０１２６】
また、特に請求項２の発明によれば、操作ボタンの操作に応答して合焦位置を変化させ時間的に連続して撮影することができるため、異なる合焦位置の２枚の静止画像を簡易に取得することができる。
【０１２７】
また、特に請求項３の発明によれば、動画像の画像ファイルに含まれる静止画像のぼけ具合のパラメータを可変に設定することができるため、動画像の画像ファイルの映像効果におけるぼけ具合を可変に設定することができる。
【０１２８】
また、特に請求項４の発明によれば、動画像の画像ファイルを構成する静止画像群の画像数を可変に設定することができるため、動画像の画像ファイルの映像効果の段階を可変に設定することができる。
【０１２９】
また、特に請求項５の発明によれば、動画像の画像ファイルを構成する静止画像群の表示速度を可変に設定することができるため、動画像の画像ファイルの映像効果の表示速度を可変に設定することができる。
【０１３０】
また、請求項６および請求項７の発明によれば、それぞれ異なる合焦位置で撮影された２枚の静止画像から、徐々に合焦位置が変化する映像効果を表示することができる。
【０１３１】
また、特に請求項７の発明によれば、操作ボタンの操作に応答して合焦位置を変化させ時間的に連続して撮影することができるため、異なる合焦位置の２枚の静止画像を簡易に取得することができる。
【図面の簡単な説明】
【図１】静止画像を撮影するデジタルカメラの平面図である。
【図２】静止画像を撮影するデジタルカメラの断面図である。
【図３】静止画像を撮影するデジタルカメラの背面図である。
【図４】デジタルカメラの機能構成を示すブロック図である。
【図５】メモリカードへの静止画像ファイルの記録方法を示す図である。
【図６】メモリカードに記憶された静止画像ファイルの構成例を示す図である。
【図７】デジタルカメラのぼけ味調整モードにおける撮影手順を示す図である。
【図８】ぼけ味調整処理に使用される２枚の画像を示すモデル図である。
【図９】合焦位置無限大に相当するぼけ味調整画像の例を示す図である。
【図１０】合焦位置２０ｍに相当するぼけ味調整画像の例を示す図である。
【図１１】合焦位置１０ｍに相当するぼけ味調整画像の例を示す図である。
【図１２】合焦位置５ｍに相当するぼけ味調整画像の例を示す図である。
【図１３】合焦位置２ｍに相当するぼけ味調整画像の例を示す図である。
【図１４】合焦位置１ｍに相当するぼけ味調整画像の例を示す図である。
【図１５】合焦位置０．５ｍに相当する取得されたぼけ味調整画像の例を示す図である。
【図１６】本発明の実施の形態に係る画像処理装置の構成を示す外観図である。
【図１７】画像処理装置のディスプレイに表示された作業ウィンドウの一例を示す図である。
【図１８】画像処理装置のディスプレイに表示された設定ウィンドウの一例を示す図である。
【図１９】動画像の画像ファイルを作成する処理の手順を示す図である。
【図２０】動画像を構成する各フレームを作成する処理の手順を示す図である。
【図２１】動画像の画像ファイルを作成中の作業ウィンドウの状態を示す図である。
【図２２】画像処理装置のディスプレイに表示された動画再生ウィンドウの一例を示す図である。
【図２３】動画像の画像ファイルの構成を示す図である。
【符号の説明】
１      デジタルカメラ
８      メモリカード
９      シャッタボタン
５０      画像処理装置
６０      パーソナルコンピュータ
６１      コンピュータ本体
６２      ディスプレイ
７０      プリンタ
９０      記録媒体
１００      作業ウィンドウ
１１０      設定ウィンドウ
１２０      動画再生ウィンドウ
【図１】
0003678160.tif 000002
【図２】
0003678160.tif 000003
【図３】
0003678160.tif 000004
【図４】
0003678160.tif 000005
【図５】
0003678160.tif 000006
【図６】
0003678160.tif 000007
【図７】
0003678160.tif 000008
【図８】
0003678160.tif 000009
【図９】
0003678160.tif 000010
【図１０】
0003678160.tif 000011
【図１１】
0003678160.tif 000012
【図１２】
0003678160.tif 000013
【図１３】
0003678160.tif 000014
【図１４】
0003678160.tif 000015
【図１５】
0003678160.tif 000016
【図１６】
0003678160.tif 000017
【図１７】
0003678160.tif 000018
【図１８】
0003678160.tif 000019
【図１９】
0003678160.tif 000020
【図２０】
0003678160.tif 000021
【図２１】
0003678160.tif 000022
【図２２】
0003678160.tif 000023
【図２３】
0003678160.tif 000024