(57)【要約】 【課題】  撮影された複数の画像間に効果的な中間画像を挿入して再生することで、閲覧者は、当該画像が撮影されたときの状況を好適に把握できるようになる。【解決手段】  画像記録装置において、被写体を撮像して複数の画像データを生成するのと並行して、その間における画像記録装置の挙動に関する挙動履歴情報を記録し、複数の画像データとともに挙動履歴情報を記録媒体に記録しておく。一方で、画像再生装置において、画像データの再生処理時に、複数の像データと挙動履歴情報とを記録媒体から読み出し、複数の該画像データを生成した際の前記画像記録装置の挙動を反映した１以上の中間画像データを該挙動履歴情報に応じて生成し、複数の画像データと中間画像データとを時系列に沿って再生する。【選択図】  図１
2006174086.tif 000002
【特許請求の範囲】
【請求項１】
画像データを記録再生する画像記録再生装置であって、
被写体を撮像して該被写体の画像データを生成する画像生成手段と、
前記画像生成手段により複数の画像データを生成するのと並行して、その間における前記画像記録再生装置の挙動に関する挙動情報を記録する記録手段と、
複数の前記画像データと前記挙動情報とを記憶する記憶手段と、
前記画像データの再生処理時に、複数の前記画像データと前記挙動情報とを前記記憶手段から読み出し、複数の該画像データを生成した際の前記画像記録再生装置の挙動を反映した１以上の中間画像データを該挙動情報に応じて生成する中間画像生成手段と、
複数の前記画像データと前記中間画像データとを時系列に沿って再生する再生手段と
を含む画像記録再生装置。  
【請求項２】
前記中間画像生成手段において、複数の前記画像データから前記中間画像データを合成して生成する際に、前記挙動情報を元に合成手法を決定する合成手法決定手段をさらに含む、請求項１に記載の画像記録再生装置。
【請求項３】
前記合成手法の１つは、前記画像データと所定のタイトル画像データとを合成して前記中間画像データを合成生成する方法である、請求項２に記載の画像記録再生装置。
【請求項４】
前記合成手法の１つは、複数の前記画像データを任意の比率で加算させて前記中間画像データを合成生成する方法である、請求項２または３に記載の画像記録再生装置。
【請求項５】
前記挙動情報は、パン、チルト、ズーム制御、露出制御、色制御、合焦制御等に代表されるカメラ情報である、請求項１ないし４の何れかに記載の画像記録再生装置。
【請求項６】
前記挙動情報は、前記画像データが生成される前の所定の期間および生成後の所定期間の少なくとも一方について記録され、該画像データとともに画像ファイルとして前記記憶手段に記憶される、請求項１ないし５の何れかに記載の画像記録再生装置。
【請求項７】
前記挙動情報の一部として前記画像記録再生装置の背景音を記録する音声記録手段をさらに備える、請求項１ないし６の何れかに記載の画像記録再生装置。
【請求項８】
前記挙動情報のうち、前記背景音に関しては連続して記録し、その他の情報に関しては、前記複数の画像データの生成間隔よりも短い所定間隔置きに記録する、請求項７に記載の画像記録再生装置。
【請求項９】
画像データを記録再生する画像記録再生装置の画像記録再生方法であって、
被写体を撮像して該被写体の画像データを生成するステップと、
複数の前記画像データを生成するのと並行して、その間における前記画像記録再生装置の挙動に関する挙動情報を記録するステップと、
複数の前記画像データと前記挙動情報とを記録媒体に記録するステップと、
前記画像データの再生処理時に、複数の前記画像データと前記挙動情報とを前記記録媒体から読み出し、複数の該画像データを生成した際の前記画像記録再生装置の挙動を反映した１以上の中間画像データを該挙動情報に応じて生成するステップと、
複数の前記画像データと前記中間画像データとを時系列に沿って再生するステップと
を含む画像記録再生方法。
【請求項１０】
画像記録装置において生成された画像データを再生する画像再生装置であって、
前記画像記録装置において被写体を撮像して生成された複数の画像データと、複数の該画像データを生成するのと並行して、その間における前記画像記録装置の挙動に関する挙動情報とが記憶された記録媒体から、複数の前記画像データと前記挙動情報とを読み出し、複数の該画像データを生成した際の前記画像記録装置の挙動を反映した１以上の中間画像データを該挙動情報に応じて生成する中間画像生成手段と、
複数の前記画像データと前記中間画像データとを時系列に沿って再生する再生手段と
を含む画像再生装置。
【請求項１１】
画像記録装置において生成された画像データを再生する画像再生方法であって、
前記画像記録装置において被写体を撮像して生成された複数の画像データと、複数の該画像データを生成するのと並行して、その間における前記画像記録装置の挙動に関する挙動情報とが記録された記録媒体から、複数の前記画像データと前記挙動情報とを読み出し、複数の該画像データを生成した際の前記画像記録装置の挙動を反映した１以上の中間画像データを該挙動情報に応じて生成するステップと、
複数の前記画像データと前記中間画像データとを時系列に沿って再生するステップと
を含む画像再生方法。
【請求項１２】
画像記録装置において生成された画像データをコンピュータにおいて再生するコンピュータプログラムであって、
前記コンピュータに対して、
前記画像記録装置において被写体を撮像して生成された複数の画像データと、複数の該画像データを生成するのと並行して、その間における前記画像記録装置の挙動に関する挙動情報とが記録された記録媒体から、複数の前記画像データと前記挙動情報とを読み出し、複数の該画像データを生成した際の前記画像記録装置の挙動を反映した１以上の中間画像データを該挙動情報に応じて生成するステップと、
複数の前記画像データと前記中間画像データとを時系列に沿って再生するステップと
を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像記録再生技術に関し、とりわけ撮影された複数の画像の中間画像を合成生成する技術に関するものである。
【背景技術】
【０００２】
撮影終了した静止画像を効率的に閲覧する従来技術として、ユーザが選んだ複数の画像をスライドショーとして自動的に表示するものがある（特許文献１）。
【０００３】
この従来技術によれば、プレイリストによって決められた再生順序に従って複数の静止画像をスライドショーとして再生するものであるが、スライドショーの再生時に所定の操作が操作部になされると、自動的にプレイリストを修正し、新たな再生順序でスライドショーを再生する点で非常に優れている。
【特許文献１】特開２００２−２０９１９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の従来技術によれば、ある静止画像を撮影して後で他の静止画像を撮影した際に、その間の撮影状況がどのようなものだったか（例えば被写体にズーミングしながら撮影した等）を再生時に把握しにくかった。とりわけ、撮影者と閲覧者が異なる場合には、この問題が生じやすい。
【０００５】
また、従来技術ではないものの、第１の撮像手段で２つの静止画を撮影するのと並行して、第２の撮像手段でさらに細かな時間間隔で複数の静止画を撮影しておき、撮影された複数の静止画から詳細な動きベクトルを求め、第１の撮像手段によって得られた２つの静止画像間の中間画像を作成する解決手法も考えられる。この解決手法では、第１の撮像手段で撮影された２つの静止画の撮影間隔が短い場合には差分が少ないため、効率よく中間画像を作成できる。
【０００６】
しかしながら、解決手法によれば、２つの静止画の撮影間隔が長い場合や、撮影間隔が不規則な場合には、好適な中間画像を作成することは非常に困難である。また複数の撮像手段が必要となるため、機器の構成が複雑となる問題があった。
【０００７】
そこで、本発明は、このような課題および他の課題の少なくとも１つを解決することを目的とする。なお、他の課題については明細書の全体を通して理解できよう。
【課題を解決するための手段】
【０００８】
上記課題を解決すべく、本発明は、画像記録装置において、被写体を撮像して複数の画像データを生成するのと並行して、その間における画像記録装置の挙動に関する挙動履歴情報を記録し、複数の画像データとともに挙動履歴情報を記録媒体に記録しておく。
【０００９】
一方で、画像再生装置において、画像データの再生処理時に、複数の像データと挙動履歴情報とを記録媒体から読み出し、複数の該画像データを生成した際の前記画像記録装置の挙動を反映した１以上の中間画像データを該挙動履歴情報に応じて生成し、複数の画像データと中間画像データとを時系列に沿って再生する。
【００１０】
もちろん、このような画像記録装置と画像再生装置とを一体化して画像記録再生装置として提供できることは言うまでもない。
【発明の効果】
【００１１】
本発明によれば、撮影された複数の画像間に効果的な中間画像を挿入して再生することが可能になる。すなわち、閲覧者は当該画像が撮影されたときの状況を好適に把握しやすくなろう。
【発明を実施するための最良の形態】
【００１２】
以下に本発明の上位概念、中位概念および下位概念の理解に役立つ一実施形態を示す。なお、以下の実施形態に含まれる概念について、そのすべてが特許請求の範囲に記載されているとは限らない。ただし、これは特許発明の技術的範囲から意識的に除外したのではなく、特許発明と均等の関係にあるため特許請求の範囲には記載していない場合があることを理解していただきたい。
【００１３】
図１は、実施形態に係る画像記録再生装置に関する例示的なブロック図である。この例では、画像記録再生装置としてデジタルカメラ１００を取り上げている。なお、本発明に係る画像記録再生装置は、画像記録装置と画像再生装置とに分離して実現してもよいし、画像記録方法、画像再生方法として実現してもよいし、さらにはコンピュータプログラムとして実現してもよいことはいうまでもない。
【００１４】
本実施形態に係るデジタルカメラ１００は、撮像された画像データをＪＰＥＧ等の符号化方式に準拠して符号化し、メモリカード、磁気ディスク、または光磁気ディスク等の記録媒体に記録して再生を行うものである。
【００１５】
図１において、１０１は撮影者の手ぶれ等による振動を光学的に補正するバリアングルプリズム（以下、ＶＡＰと記す。）、１０２はズームレンズ、１０３は光量を調節する絞りである。なお、本実施形態に係るデジタルカメラ１００は、レンズ搭載型であってもよいし、レンズ交換型デジタルカメラであってもよいことはいうまでもない。レンズ交換型の場合は、ズームレンズ１０２、絞り１０３などがレンズ側に搭載されることになる。なお、ズームレンズ１０２に代えて、単焦点レンズを採用してもよいことはいうまでもない。
【００１６】
１０４はＣＣＤに代表される撮像素子である。１０５は撮像素子を駆動するタイミングジェネレータ（以下、ＴＧと記す）である。１０６はＣＣＤ１０４からの出力を２重相関サンプリング（ＣＤＳ）しゲインコントロール（ＡＧＣ）やＡ／Ｄ変換を行うＡ／Ｄ部である。１０７はＶＡＰ１０１、ズームレンズ１０２、および絞り１０３を駆動するドライブ回路である。なお、これらの駆動機構は、レンズ側に内蔵されていてもよいし、カメラボディ側に内蔵されていてもよいことはいうまでもない。
【００１７】
１０８はカメラの水平方向の動きを検出する加速度センサ（ＨＳ）である。１０９はカメラの垂直方向の動きを検出する加速度センサ（ＶＳ）である。１１０はデジタルカメラ１００全体を統合的に制御するＣＰＵでである。ＣＰＵ１１０の内部には挙動情報（後述するカメラ情報など）の取得を行うモジュール１１０ａが組み込まれている。モジュール１１０ａは、回路的に組み込まれていてもよいし、ソフトウエアとして組み込まれていてもよい。
【００１８】
１１１はデジタルカメラ１００に対し操作指示を入力するための各種スイッチが含まれる操作部である。１１２はＡ／Ｄ部１０６でＡ／Ｄ変換された画像データを処理するカメラ信号処理部である。１１３は画像データをＪＰＥＧ等の符号化形式に従って符号化／復号化するコーデック部（ＣＯＤＥＣ）である。１１４はカメラ情報に応じた中間画像などのエフェクト画像を合成生成する画像合成部である。
【００１９】
１１５は画像データ、音声データ、およびカメラ情報のデータ等の記録再生を行うＩ／Ｆ部である。１１６は磁気記録媒体、光磁気記録媒体またはメモリカード等の記録媒体を含む記録部である。１１７はＲＡＭなどのワークメモである。１１８はＬＣＤ１１９の表示動作を制御する表示制御部である。１１９は液晶パネル（ＬＣＤ）を含む画像データの表示を行う表示部である。１２０はデジタルカメラ１００の各ブロックの間で画像データや制御データの転送を行うためのシステムバスである。
【００２０】
音声入力部１２１は、マイクロフォン、増幅回路、アナログ／デジタル変換回路など含む、背景音の取得回路である。取得された背景音は、カメラ情報の一部として記録されるようにしても良い。
【００２１】
図２は、実施形態に係る操作部の主要な操作スイッチの一例を示す図である。図２において１１１ａはデジタルカメラの動作モードを設定する選択スイッチであり、これにより、画像を記録する記録モード、パワーオフ、記録された画像を再生する再生モードを選択できる。１１１ｂは記録や再生を通常のノーマルモードで行うか、後述するエフェクトモードで行うかを選択する選択スイッチである。１１１ｃは記録モードで画像を撮影するための撮影指示を入力するためのレリーズスイッチである。１１１ｄ、１１１ｅはそれぞれズームレンズのズーミング操作の指示を入力するためのスイッチである。１１１ｆ、１１１ｇは再生時に再生方向を指示するためのスイッチである。
【００２２】
以下、図２に示すように選択スイッチ１１１ａは記録モードに設定され、選択スイッチ１１１ｂはエフェクトモードに設定されている場合のデジタルカメラ１００の動作について図１〜図３を用いて説明する。
【００２３】
図３は、実施形態に係る記録モードでの例示的な動作を示すフローチャートである。これらの動作は、基本的に、ＣＰＵ１１０の制御によって実行される。
【００２４】
ステップＳ３０１において、ＣＰＵ１１０は、水平、垂直方向の加速度センサ１０８，１０９の出力を読み込み、撮影者による手ぶれやパンニングを検出する。手ぶれが検出された場合、ＣＰＵ１１０は、手ぶれ成分を補正する制御をＶＡＰ１０１に対して行う。
【００２５】
ステップＳ３０２において、ＣＰＵ１１０は、レリーズスイッチ１１１ｃの半押しを検出するとオートフォーカス制御（ＡＦ）を実行したり、操作部１１１のズームキーが押下されていることを検出すると押下されたスイッチに対応してズームレンズ１０２の制御をしたりする。
【００２６】
ステップＳ３０３において、ＣＰＵ１１０は、別途指定された露出条件に応じて絞り１０３、ＴＧ１０５、Ａ／Ｄ部１０６を制御し、所望の露出状態となるようにする。
【００２７】
ステップＳ３０４において、ＣＰＵ１１０は、選択スイッチ１１１ｂの状態を読み込み、記録をノーマルモードで行うか、後述するエフェクトモードで行うかを判定する。図２のようにエフェクトモードに設定されている場合はステップＳ３０５に進み、ノーマルモードに設定されている場合は、ステップＳ３０５をスキップしてステップＳ３０６に進む。
【００２８】
ステップＳ３０５において、ＣＰＵ１１０は、カメラ情報を取得してメモリ１１７に蓄積する。ここで蓄積されるカメラ情報は、たとえば、防振制御の過程で得られたパンニング検出情報、チルト情報、ズームＡＦ制御で得られるズーム操作情報、露出制御により得られた被写体の明るさ情報、カメラ信号処理の色制御において得られる色温度情報等であり、いずれもデジタルカメラ１００の挙動に関する履歴が蓄積された挙動情報と呼べるものである。いずれの情報もＣＰＵ１１０が各処理ブロックと連携して取得したものである。１１７ｂは、このようにして取得されたカメラ情報を示している。
【００２９】
ステップＳ３０６において、ＣＰＵ１１０は、画像記録を開始するレリーズスイッチ１１１ｃが押下されたかどうかを判定する。レリーズスイッチ１１１ｃの押下を検出した場合、Ｓ３０７に移行する。レリーズスイッチ１１１ｃが押下されていない場合、再びＳ３０１に戻りカメラ情報を蓄積する動作を行う。すなわち、レリーズスイッチが押下されない限りＳ３０１ないしＳ３０６までの一連の処理時間を単位周期としてカメラ情報を取得し、蓄積していく。このカメラ情報を取得するための単位周期は一般的な動画像のフレーム周期と同じ１／３０秒にしても良い。あるいは画像を記録撮影する間隔よりも短い任意の周期に設定しても良い。なお、各々のカメラ情報を取得する間隔は必ずしも一定でなくても良い。一方、Ｓ３０４にてエフェクトモードに設定されていなかった場合、Ｓ３０５のカメラ情報蓄積処理は迂回するようになっているので、カメラ情報の蓄積は行われない。
【００３０】
ステップＳ３０７において、ＣＰＵ１１０は、被写体の画像データを生成する処理を実行する。この生成処理では、ＣＣＤ１０４から出力された画像信号をＡ／Ｄ部１０６でデジタルデータに変換し、カメラ信号処理部１１２にて周知のカメラ信号処理を施し、システムバス１２０を介してメモリ１１７内に画像データ１１７ａを書き込む。
【００３１】
ステップＳ３０８において、ＣＰＵ１１０は、圧縮処理を制御する。たとえば、ＣＯＤＥＣ１１３がメモリ１１７から画像データ１１７ａを読み出し、ＪＰＥＧ等の所定形式に準拠して符号化圧縮を実行し、再びメモリ１１７に書き込む。
【００３２】
ステップＳ３０９において、ＣＰＵ１１０は、圧縮した画像データ１１７ａに対して、蓄積されているカメラ情報１１７ｂを付加する処理を行う。
【００３３】
ステップＳ３１０において、ＣＰＵ１１０は、カメラ情報の付加された画像データをＩ／Ｆ部１１５を介して記録部１１６に記録する。
【００３４】
ステップＳ３１１において、ＣＰＵ１１０は、新たなカメラ情報を蓄積するための準備として、記録部１１６へ記録し終えたカメラ情報をメモリの１１６ｂからクリアする。
【００３５】
ステップＳ３１２において、ＣＰＵ１１０は、撮影動作を継続するか否かを判定する。継続する場合は、再びＳ３０１に戻る。一方、撮影を終了する場合は、本フローチャートに関する処理を終了する。
【００３６】
このように本実施形態によれば、ＣＣＤ１０４、カメラ信号処理部１１２、ＣＯＤＥＣ１１３などによって複数の画像データを生成するのと並行して、カメラ情報としてその間におけるデジタルカメラの挙動の履歴に関する挙動履歴情報を記録部１１６に記録することができる。
【００３７】
図４は、実施形態に係る発明の概念を示した図である。この図では、デジタルカメラ１００をエフェクトモードに設定して静止画を撮影した場合の時間経過、画像データおよびカメラ情報の関係を示している。図４において、ＴＰ１、ＴＰ２はレリーズスイッチ１１１ｃが押下されたタイミングを示している。４０１ａ、４０２ａは各タイミングにおいてキャプチャされた画像データを示している。ＴＣはカメラ情報４０１ｂ、４０２ｂ、４０３ｂ…の取得間隔を示している。ＴＲは画像の記録間隔を示している。
【００３８】
４１００Ｂは、画像データ４０１ａに関して蓄積されたカメラ情報の集合データを示している。この例ではカメラ情報の集合データ４１００Ｂには個別のカメラ情報４０１ａ〜４０５ｂが蓄積されている。カメラ情報の集合データ４２００Ｂは、画像データ４０２ａに関して蓄積されたカメラ情報の集合データであり、個別のカメラ情報４０６ａ〜４１０ｂが蓄積されている。
【００３９】
ＴＰ１の時点で画像データ４０１ａが生成され、蓄積されているカメラ情報の集合データ４１００Ｂと一緒に記録媒体に記録される。同様にＴＰ２の時点では画像データ４０２ａが生成され、蓄積されたカメラ情報の集合データ４２００Ｂと一緒に記録媒体に記録される。以降、エフェクトモードでレリーズスイッチ１１１ｃが押下されるごとに、画像データと、蓄積されたカメラ情報とが記録部１１６の記録媒体に記録されていく。もしノーマルモードで記録する場合には、レリーズスイッチ１１１ｃが押下されると、画像データのみが記録部１１６の記録媒体に記録されていく。このように、エフェクトモードでだけカメラ情報を記録し、ノーマルモードではカメラ情報を記録しないように制御することで、記録媒体の記録容量を節約できる。
【００４０】
図５は、実施形態に係る画像データとカメラ情報を含む画象ファイルの構成例を示す図である。図５に示すように、圧縮された画像データの４０１ａ、４０２ａのヘッダデータとしてそれぞれカメラ情報の集合データ４１００Ｂや４２００Ｂが記録されている。ファイル番号は０００１、０００２・・・と各々のファイル番号が重ならないように付されている。なお、画像データを記録する記録フォーマットとしては日本電子工業振興協会（ＪＥＩＤＡ）によって制定されたＤＣＦ（Ｄｅｓｉｇｎ  ｒｕｌｅ  ｆｏｒ  Ｃａｍｅｒａ  Ｆｉｌｅ  ｓｙｓｔｅｍ）のような画像ファイルの管理ルールが提案されているが、本発明は、ＤＣＦ形式を採用してもよいし、各々のファイルが区別できる方法であれば他の形式を採用してもよい。
【００４１】
図６は、実施形態に係る操作部の他の設定状態を示す図である。図６を用いて、画像データの再生表示動作について説明する。図６によれば、選択スイッチ１１１ａは再生モードに設定されており、選択スイッチ１１１ｂはエフェクトモードに設定されている。
【００４２】
図７は、実施形態に係る画像データの再生処理に関する例示的なフローチャートである。再生処理は、基本的に、ＣＰＵ１１０の制御に応じて実行される。
【００４３】
ステップＳ７０１において、ＣＰＵ１１０は、記録部１１６の記録媒体に記録されているファイル番号Ｎ（Ｎは自然数）に関する画像データとカメラ情報をＩ／Ｆ部１１５を介しメモリ１１７に読み込む。
【００４４】
ステップＳ７０２において、ＣＰＵ１１０は、読み出された（圧縮）画像データをＣＯＤＥＣ１１３に供給して伸張させ、ベースバンドの画像データに復元する。
【００４５】
ステップＳ７０３において、選択スイッチ１１１ｂの設定状態を読み込み、再生表示動作を通常のノーマルモードで行うか、後述するエフェクトモードで行うかを判定する。図６のようにエフェクトモードに設定されている場合は、ステップＳ７０４に進む。ノーマルモードに設定されている場合は、ステップＳ７１２に進む。
【００４６】
ステップＳ７０４において、ＣＰＵ１１０は、メモリ１１７に読み込まれた画像ファイル内にカメラ情報が存在するかどうかを判定する。カメラ情報が存在する場合はＳ７０５に進む。カメラ情報が存在しない場合は、ステップＳ７１２に進む。
【００４７】
ステップＳ７０５において、ＣＰＵ１１０は、次のファイル番号（Ｎ＋１）の画像データとカメラ情報とを記録部１１６からメモリ１１７に読み出す。
【００４８】
ステップＳ７０６において、ＣＰＵ１１０は、Ｓ７０２と同様の方法にて画像データを伸張しベースバンドの画像データに復元する。
【００４９】
ステップＳ７０７において、ＣＰＵ１１０は、カメラ情報などの挙動履歴情報を元に合成手法を決定する。たとえば、ＣＰＵ１１０は、ファイル番号Ｎ，（Ｎ＋１）についての各カメラ情報をそれぞれ解析し、この解析結果に応じて、中間画像の合成手法（たとえばエフェクトの種類など）を決定する。中間画像は、再生時に、ファイル番号Ｎの画像とファイル番号（Ｎ＋１）の画像との間に挿入される。この決定方法についての具体例については後で詳細に説明する。
【００５０】
ステップＳ７０８において、ＣＰＵ１１０は、決定された合成手法を適用して中間画像を生成する。たとえば、画像合成部１１４は、ＣＰＵ１１０の制御に従い、メモリ１１７内にある画像データを読み込み、ＣＰＵ１１０からの指示に対応する合成処理を実行する。
【００５１】
ステップＳ７０９において、ＣＰＵ１１０は、伸張された画像と、生成された中間画像を、表示制御部１１８を介して表示部１１９に表示させる。
【００５２】
ステップＳ７１０において、ＣＰＵ１１０は、再生動作を継続するか否かを判定する。再生動作を継続する場合はＳ７１１に進み、そうでなければ本フローチャートに関する処理を終了する。
【００５３】
ステップＳ７１１において、ＣＰＵ１１０は、ファイル番号Ｎを１つインクリメントして、再びＳ７０１に戻り、再生動作を継続する。
【００５４】
ところで、Ｓ７０３でノーマルモードの再生を行うと判断された場合やＳ７０４で読み込んだファイル内にカメラ情報が存在しないを判定された場合、Ｓ７１２において、ＣＰＵ１１０は、表示制御部１１８を介してファイル番号Ｎの画像データを表示部１１９に表示させ、ステップＳ７１０に移行する。すなわちノーマルモードでの再生は記録部１１６に記録されている画像を１枚づつ単に再生する。一方、エフェクトモードで再生を行う場合には上述した手順により記録された画像を再生しつつ、複数の再生画像の間にカメラ情報に応じた中間画像を挿入して表示することになる。
【００５５】
このように本実施形態によれば、画像データの再生処理時に、複数の画像データと、カメラ情報に代表される挙動履歴情報とを記録部１１６の記録媒体から読み出し、読み出した挙動履歴情報に応じて、これら複数の画像データを生成した際の画像記録再生装置の挙動を反映した１以上の中間画像データを生成する。従って、撮影された複数の画像間に効果的な中間画像を挿入して再生することが可能になる。これにより、閲覧者は、当該画像が撮影されたときの状況を好適に把握しやすくなろう。
【００５６】
次に、図８ないし図１１を用いてエフェクトモードで記録された複数の画像データを、エフェクトモードで再生表示する例を説明する。
【００５７】
図８は、実施形態に係る画像記録処理についての実施例を示す図である。この例では、レリーズスイッチ１１１ｃがＴＰ１とＴＰ２のタイミングで押下された結果、それぞれ画像データ８０１と８０２とが生成されている。また、その間のカメラ情報としては、ＴＰ１ではズームレンズがワイド側であることを示すカメラ情報が取得され、ＴＰ１ないしＴＰ２間ではズームレンズがテレ側にズームインしたことを示すいくつかのカメラ情報が取得され、ＴＰ２ではズームレンズがテレ側であることを示すカメラ情報が取得された物として説明する。
【００５８】
図９は、実施形態に係る画像記録処理によって取得された２つの画像の実施例を示す図である。画像８０１は、ズームレンズがワイド側であるＴＰ１の時点で撮影された画像である。画像８０２は、ズームレンズがテレ側であるＴＰ２の時点で撮影された画像である。
【００５９】
前述したようにＴＰ１とＴＰ２の間で取得された複数のカメラ情報は、ズームインを示す情報である。従って、ＣＰＵ１１０は、カメラ情報からズームインを効果的に示すエフェクト効果を選択し（Ｓ７０７）、ズームインを示すエフェクトを施された中間画像が生成される。
【００６０】
図１０は、中間画像の生成に使用されるタイトル画像の実施例を示す図である。タイトル画像ＴＰｉｃ１０１、ＴＰｉｃ１０２は、それぞれズームインを効果的に表現するために使用される画像である。タイトル画像ＴＰｉｃ１０１には開口部１００１が設けられ、タイトル画像ＴＰｉｃ１０１にはそれよりも小さい開口部１００２が設けられている。この開口部の中に画像８０１または画像８０２が加算的に合成される。タイトル画像ＴＰｉｃ１０１、ＴＰｉｃ１０２の各開口部を比較すると、後者の開口部は画像の中心に向かってより小さくなっている。そのため、タイトル画像ＴＰｉｃ１０１を最初の中間画像に使用し、タイトル画像ＴＰｉｃ１０２を次の中間画像に使用すれば、ズームインを表現できる。反対に、タイトル画像ＴＰｉｃ１０２を最初の中間画像に使用し、タイトル画像ＴＰｉｃ１０１を次の中間画像に使用すれば、効果的にズームアウトを表現できる。複数のタイトル画像をどのように使用するかは、カメラ情報によって定まる合成手法に依存する。合成手法については、ルール化してＲＯＭなどに記憶しておけば、ＣＰＵ１１０によって利用できる。
【００６１】
ＣＰＵ１１０は、決定された合成手法に従って、タイトル画像の開口部１００１、１００３の大きさに応じて画像８０１を切り出し、切り出した部分画像を当該開口部にペーストすることで、中間画像を生成する。これによって、元の画像とタイトル画像とが合成されて、ズームイン動作を視覚的に把握しやすくなる中間画像が生成される。
【００６２】
図１１は、実施形態における画像再生処理についての実施例を示す図である。中間画像Ｐｉｃ１１００とＰｉｃ１１０１は、二つの画像８０１と８０２とを撮影する間に実行されたズームイン動作を表現するために生成された画像である。
【００６３】
ＣＰＵ１１０は、これらの画像を図１１に示す順序で経時的に表示させることになる。すなわち、ズーム前の画像８０１とズームイン動作後の画像８０２との間にズームイン動作を示す効果的な中間画像が挿入されて表示されることになる。よって、閲覧者は、画像８０１と画像８０２とがズームインの動作を行いながら撮影された画像であることを、効果的かつ容易に認識することが可能になろう。
【００６４】
次に、他のエフェクト効果の実施例について図１２〜図１４を用い説明する。
【００６５】
図１２は、実施形態に係る画像記録処理についての実施例を示す図である。図１２においてＴＰ１とＴＰ２のタイミングでレリーズスイッチ１１１ｃが押下され、それぞれ画像１２０１と１２０２が生成されたとする。また、ＴＰ１とＴＰ２の間にカメラが左から右へとパンニングされたことが、カメラ情報として記録されているものとして説明する。
【００６６】
図１３は、実施形態に係る画像記録処理によって取得された２つの画像の実施例を示す図である。画像１２０１は、パンニング前のＴＰ１の時点で撮影された画像である。画像１２０２は、パンニング後のＴＰ２の時点で撮影された画像である。前述したようにＴＰ１とＴＰ２の間のカメラ情報は水平パンニングを示す情報である。従って、ＣＰＵ１１０は、カメラ情報に応じてパンニングを効果的に示すエフェクト効果（合成手法）を決定し（Ｓ７０７）、これによりパンニングを示す中間画像が生成される（Ｓ７０８）。
【００６７】
図１４は、パンニングを効果的に示す中間画像の実施例を示す図である。この例では、記録画像１２０１、１２０２を再生する際に、その間に中間画像Ｐｉｃ１４００、Ｐｉｃ１４０１を合成生成して再生表示する。具体的には、図１４に示すように二つの画像１２０１と１２０２とが重なりながら徐々にフェードしていく中間画像が生成されて表示される。この場合の中間画像Ｐｉｃ１４００、１４０１は、画像１２０１と１２０２を任意の比率で加算することで合成される。とりわけ、図１４の例では、画像１２０１と１２０２とを異なる比率で加算している。
【００６８】
これらの画像を図１４に示す順序で経時的に表示させることで、パンニング前の画像１２０１とパンニング後の画像１２０２との間に、パンニングを示す効果的な中間画像が挿入されることになる。従って、閲覧者は、これらの記録画像１２０１、１２０２とがパンニングの動作を行いながら撮影された画像であることを効果的かつ容易に認識することが可能になろう。
【００６９】
次に本発明をフォーカス（合焦制御）動作のエフェクトに応用した実施例について図１９〜図２１を用い説明する。
【００７０】
図１９は、実施形態に係る画像記録処理についての実施例を示す図である。図１９においてＴＰ１とＴＰ２のタイミングでレリーズスイッチ１１１ｃが押下され、それぞれ画像２００１と２００２が生成されたとする。また、ＴＰ１とＴＰ２の間に被写体が大きく動きいてカメラのフォーカスが被写体からはずれて一度デフォーカスし、再び次の被写体にフォーカシングされたことがカメラ情報として記録されているものとして説明する。
【００７１】
図２０は、実施形態に係る画像記録処理によって取得された２つの画像の実施例を示す図である。画像２００１は、ＴＰ１の時点で撮影された画像である。画像２００２は、ＴＰ２の時点で撮影された画像である。前述したようにＴＰ１とＴＰ２の間のカメラ情報はフォーカスが合焦→非合焦→合焦と変化した事を示す情報である。従って、ＣＰＵ１１０は、カメラ情報に応じてデフォーカスによりぼやけた状態を効果的に示すエフェクト効果（合成手法）を決定し（Ｓ７０７）、これによりデフォーカスを示す中間画像が生成される（Ｓ７０８）。
【００７２】
図２１は、デフォーカスを効果的に示す中間画像の実施例を示す図である。この例では、記録画像２００１、２００２を再生する際に、その間に中間画像Ｐｉｃ２２００、Ｐｉｃ２２０１、Ｐｉｃ２２０２を合成生成して再生表示する。具体的には、図２１に示すように最初の画像２００１が徐々にフェードアウトしてＰｉｃ２２０１で完全にフェードし、その後Ｐｉｃ２２０２から２００２へと徐々にフェードインしていく中間画像が生成されて表示される。
【００７３】
これらの画像を図２１に示す順序で経時的に表示させることで、画像２００１と画像２００２との間に、一度デフォーカスがあった事を示す効果的な中間画像が挿入されることになる。従って、閲覧者は、これらの記録画像２００１、２００２の間にデフォーカス状態があった画像であることを効果的かつ容易に認識することが可能になろう。また、合焦の対象としている被写体がデフォーカス状態からフォーカス状態に徐々に変化する複数の中間画像を挿入することにより、より効果的な演出が可能になる。なお、図２１に示す例ではフェードイン、フェードアウトの中間画像を作成した。しかし特にフェードの処理でなくても、ワイプ処理等より効果的にデフォーカス状態を表現できるエフェクト効果であれば何でもよい。例えば、画像２００１の高周波成分を抑えるローパスフィルタ処理を行った画像をＰｉｃ２２００とし、画像２００２にも同様にローパスフィルタ処理を行って画像Ｐｉｃ２２０２を生成するようにしても良い。
【００７４】
また、上述したように実際に撮影された複数の画像について中間画像を作成して表示する場合、音声情報も連続して聞くことができればより効果的である。そこで、エフェクトモードで画像を記録する場合、ＣＰＵ１１０は、デジタルカメラ１００の音声情報を音声入力部１２１によって取得し、カメラ情報の一部としてメモリ１１７に記録するようにしてもよい。このように、音声情報も連続して記録媒体に記録しておき、画像再生時には、画像の再生と同期させて当該音声情報も出力することで、閲覧者が撮影時の状況をより一層把握し易くなろう。
【００７５】
なお、ＣＰＵ１１０は、音声情報に関しては連続して記録し、その他の挙動履歴情報に関しては複数の画像データの生成間隔よりも短い所定間隔でもって記録するように制御してもよい。すなわち、音声情報が会話などであれば、連続して記録しておかないと再生時に会話の内容を把握しにくくなるからである。また、上述のカメラ情報などは、少なくともある画像の撮影と次の画像の撮影との間に発生したデジタルカメラの挙動を把握できれば、閲覧者は、撮影時の状況を容易に把握できるからである。
【００７６】
上述の実施形態では中間画像の合成手法として、タイトル画像を使用する合成手法と、前後の画像を加算する合成手法とを一例として説明した。しかしながら、本発明はこれらの合成手法に限定されることはない。効果的な中間画像を合成できる手法であればどのような合成手法をも本発明は採用することができる。たとえば、ワイプ、モノトーン、モザイク、文字タイトル合成などの各種画像処理方法を合成手法として採用してもよい。
【００７７】
また同じ種類のカメラ情報の値でも、その値によって合成するレベルを変化させてもよい。たとえば、図１０においてはズーム動作において２段階のタイトル画像を使用して２つの中間画像を合成生成したが、ズーム倍率の高いズームレンズを用いる場合は、より多くのタイトル画像を用いて中間画像を合成生成してもよい。
【００７８】
図１５は、実施形態に係る他のタイトル画像の一例を示す図である。この例では、ズーム動作を閲覧者に認識させ易くするための４つのタイトル画像が示されている。Ｔｐｉｃ００１からＴｐｉｃ００４にかけて、開口部が徐々に小さくなっており、各開口部に実際に取得された画像の一部を切り出して合成し、４つの中間画像を生成することができる。
【００７９】
上述の実施形態においては、２枚の撮影された画像の中間画像として図１１、図１４、図１９のように２枚、または３枚の中間画像を合成生成したが、本発明は、合成生成される中間画像の枚数が２枚や３枚に限定されるわけではない。すなわち、中間画像は１枚であってもよいし、４枚以上であってもよい。何枚の中間画像を生成するかは、合成手法のルールにおいて規定しておけばよい。
【００８０】
また、上述の実施形態の一部では、カメラ情報の取得期間をある画像の撮影と次の画像の撮影との間の全期間として説明した。しかしながら、本発明はこれに限定されることはない。たとえば、ある画像を撮影してから次の画像を撮影するまでの間隔が、所定の閾値を超えるほど長くなったことをＣＰＵ１１０が検出すると、ＣＰＵ１１０は、撮影時刻の前後所定期間内にカメラ情報の取得期間を制限してもよい。
【００８１】
図１６は、実施形態に係るカメラ情報の取得期間の一例を示す図である。この例で、ＣＰＵ１１０は、撮影時刻前の期間ＴＡと、撮影時刻後の期間ＴＢについてカメラ情報を記録部１１６に記録するように制御する。なお、この制御方法は、撮影間隔が所定閾値を超えた場合に適用してもよいし、撮影間隔の如何に依存することなく適用してもよい。また、ＴＡだけ、またはＴＢだけについてカメラ情報を記録してもよいし、ＴＡおよびＴＢの双方の期間についてカメラ情報を記憶してもよい。すなわち、カメラ情報などの挙動履歴情報は、画像データが生成される前の所定の期間および生成後の所定期間の少なくとも一方について記録されればよい。
【００８２】
このように、カメラ情報などの挙動履歴情報を全期間に渡って記録するというよりは、効果的な一部の期間に限定して記録することで、記録媒体の記録容量を節約しつつ、効果的な情報を記録することができる。
【００８３】
以上説明したように、撮像間隔よりも細かな間隔でカメラ情報を取得し、取得したカメラ情報を撮像された画像データに付加して記録する記録し、カメラ情報を元に撮像された複数の画像の中間画像を合成し、撮影された画像と合成された中間画像を表示するような構成とすることで、画像間に効果的な中間画像を挿入することが可能になる。それにより閲覧者は画像が撮影された状況を効果的に把握する事ができる。また従来の再生方法のように単に静止画像を順番に再生する手法と比較して視覚的に変化に富む再生が可能になり、より楽しく閲覧する事が可能となる。
【００８４】
また、本形態では画像データのカメラ信号処理、符号化、復号化処理、画像合成処理等をハード構成にて実現したが、コンピュータを用いたソフトウェア処理にて実現してもよい。この場合、前記ソフトウェアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００８５】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態で説明機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等の共同して上述の実施の形態で示した機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００８６】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれる。
【００８７】
図１７は、実施形態に係る画像再生装置の例示的なブロック図である。本画像再生装置は、単体の画像再生装置として実現してもよいし、画像再生プログラムを実行するコンピュータとして実現されてもよい。
【００８８】
ＣＰＵ１７０１は、画像再生装置の各部を統括的に制御する制御回路である。ＲＡＭ１７０２は、一時的なデータを格納するために使用される記憶回路である。ＲＯＭ１７０３は、ブートプログラムなどを記憶する記憶回路である。表示制御部１７０４は、表示装置１７０５に表示するための画像信号を生成する回路である。記録媒体インターフェース１７０６は、上述の記録部１１６の記録媒体１７０７を接続して、画像データなどを読み書きするための制御回路である。ハードディスクドライブ１７１０は、画像再生プログラム１７１１、記録媒体１７０７から読み出した複数の画像データ１７１２、挙動履歴関連情報１７１３および中間画像データ１７１４を記憶する記憶装置である。
【００８９】
図１８は、実施形態に係る画像再生方法の例示的なフローチャートである。なお、本フローチャートに係る処理は、上述の図７において説明した処理と同様であることはいうまでもない。なお、以下では、予め、記録媒体１７０７から読み出した複数の画像データ１７１２と、挙動履歴情報１７１３とをハードディスクドライブ１７１０に書き込んだ上で処理するものとして説明するが、もちろん、記録媒体１７０７に直接アクセスしながら再生処理を実行してもよいことはいうまでもない。また、画像データ１７１２と挙動履歴情報１７１３とが画像ファイルを形成していてもよいことは、上述したとおりである。
【００９０】
ステップＳ１８０１において、ＣＰＵ１７０１は、エフェクトモードで再生するか否かを決定する。たとえば、ユーザによる設定情報に従って、エフェクトモードで再生するか、通常モードで再生するかを決定する。エフェクトモードが選択されていれば、ステップＳ１８０２に進み、そうでなければ、ステップＳ１８０５に進み、通常のスライドショー再生を実行する。
【００９１】
ステップＳ１８０２において、ＣＰＵ１７０１は、デジタルカメラ１００などの画像記録装置において被写体を撮像して生成された複数の画像データ１７１２と、これらの複数の画像データを生成するのと並行してその間におけるデジタルカメラ１００の挙動に関する挙動履歴情報１７１３とを、ハードディスクドライブ１７１０または記録媒体１７０７から読み出す。
【００９２】
ステップＳ１８０３において、ＣＰＵ１７０１は、読み出した挙動歴情報１７１３に応じて、複数の画像データ１７１２を生成した際のデジタルカメラ１００の挙動を反映した１以上の中間画像データ１７１４を生成する。中間画像データを生成する際の合成手法などは上述したとおりである。
【００９３】
ステップＳ１８０４において、ＣＰＵ１７０１は、複数の画像データ１７１２と、生成した中間画像データとを時系列に沿って再生する。
【００９４】
このように、本実施形態に係る画像再生方法は、画像を記録した画像記録再生装置において実行してもよいし、当該画像と挙動履歴情報とが記録された記録媒体を画像再生装置に接続することでも実行してもよい。また、図１８に画像再生方法を画像再生プログラム１７１１として実現できることもいうまでもない。
【図面の簡単な説明】
【００９５】
【図１】実施形態に係る画像記録再生装置に関する例示的なブロック図である。
【図２】実施形態に係る操作部の主要な操作スイッチの一例を示す図である。
【図３】実施形態に係る記録モードでの例示的な動作を示すフローチャートである。
【図４】実施形態に係る発明の概念を示した図である。
【図５】実施形態に係る画像データとカメラ情報を含む画象ファイルの構成例を示す図である。
【図６】実施形態に係る操作部の他の設定状態を示す図である。
【図７】実施形態に係る画像データの再生処理に関する例示的なフローチャートである。
【図８】実施形態に係る画像記録処理についての実施例を示す図である。
【図９】実施形態に係る画像記録処理によって取得された２つの画像の実施例を示す図である。
【図１０】中間画像の生成に使用されるタイトル画像の実施例を示す図である。
【図１１】実施形態における画象再生処理についての実施例を示す図である。
【図１２】実施形態に係る画像記録処理についての実施例を示す図である。
【図１３】実施形態に係る画像記録処理によって取得された２つの画像の実施例を示す図である。
【図１４】パンニングを効果的に示す中間画像の実施例を示す図である。
【図１５】実施形態に係る他のタイトル画像の一例を示す図である。
【図１６】実施形態に係るカメラ情報の取得期間の一例を示す図である。
【図１７】実施形態に係る画像再生装置の例示的なブロック図である。
【図１８】実施形態に係る画像再生方法の例示的なフローチャートである。
【図１９】実施形態に係る画像記録処理についての実施例を示す図である。
【図２０】実施形態に係る画像記録処理によって取得された２つの画像の実施例を示す図である。
【図２１】デフォーカス状態を効果的に示す中間画像の実施例を示す図である。
【符号の説明】
【００９６】
１００：デジタルカメラ
１０１：ＶＡＰ
１０２：ズームレンズ
１０３：絞り
１０４：ＣＣＤ（撮像素子）
１０５：タイミングジェネレータ
１０６：Ａ／Ｄ変換部
１０７：ドライブ回路
１０８：水平加速度センサ
１０９：垂直加速度センサ
１１０：ＣＰＵ
１１１：操作部
１１２：カメラ信号処理部
１１３：ＣＯＤＥＣ
１１４：エフェクト画像合成部
１１５：Ｉ／Ｆ部
１１６：記録部
１１７：メモリ
１１８：表示制御部
１１９：表示部
１２０：システムバス
１２１：音声入力部
【図１】
2006174086.tif 000003
【図２】
2006174086.tif 000004
【図３】
2006174086.tif 000005
【図４】
2006174086.tif 000006
【図５】
2006174086.tif 000007
【図６】
2006174086.tif 000008
【図７】
2006174086.tif 000009
【図８】
2006174086.tif 000010
【図９】
2006174086.tif 000011
【図１０】
2006174086.tif 000012
【図１１】
2006174086.tif 000013
【図１２】
2006174086.tif 000014
【図１３】
2006174086.tif 000015
【図１４】
2006174086.tif 000016
【図１５】
2006174086.tif 000017
【図１６】
2006174086.tif 000018
【図１７】
2006174086.tif 000019
【図１８】
2006174086.tif 000020
【図１９】
2006174086.tif 000021
【図２０】
2006174086.tif 000022
【図２１】
2006174086.tif 000023