(57)【要約】【課題】撮影画像を鑑賞する際に、撮影時の状況を再現し、臨場感のある画像表示の可能な画像表示装置、画像表示方法、画像再生装置、カメラ、および画像表示用プログラムを提供する。【解決手段】カメラは、撮影の前にカメラ姿勢変更情報等のカメラ動作情報を取得し、静止画の画像データと共に記録媒体２１に記録する。画像データの再生時には、カメラ動作情報と画像データを読み出し（Ｓ２３、Ｓ２４）、カメラ動作情報に従って、画像データに基づく画像を表示する（Ｓ２６）。このときカメラ姿勢変更情報が記録されている場合には、この情報に基づいてスクロール表示する。  【選択図】  図３
2009111554.tif 000002
【特許請求の範囲】
【請求項１】
静止画像を撮影する前または後の少なくとも一方の所定時間内における撮影動作とその時間的変化に関する動作情報を記録する動作情報記録部と、
前記動作情報に基づいて撮像されたのと同等の視覚効果を有する効果画像を生成する効果画像生成部と、
前記効果画像と前記静止画像を連続的に表示する表示部と、
を備えたことを特徴とする画像表示装置。
【請求項２】
前記動作情報は前記静止画像を撮影したカメラの撮影画角情報、ズーム倍率情報、ＡＦ情報、露出情報の中の少なくとも１つの情報であることを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記効果画像生成部は、前記動作情報に基づいて前記静止画像に所定の画像処理を施すことにより、前記動作情報に応じて撮像されたのと同等の視覚効果を有する効果画像を生成するものであることを特徴とする請求項１に記載の画像表示装置。
【請求項４】
前記効果画像生成部は、前記静止画像の撮影前後に撮影した画像と前記静止画像との合成画像を生成し、前記カメラの撮影画角情報に応じた画角の画像を切り取るものであることを特徴とする請求項１に記載の画像表示装置。
【請求項５】
静止画像を撮影する前または後の少なくとも一方の所定時間内における撮影動作とその時間的変化に関する動作情報を記録部から読み出すステップと、
前記動作情報に応じて撮像時と同等の視覚効果を有する効果画像を生成するステップと、
前記効果画像と前記静止画像を連続的に表示するステップと、
を備えたことを特徴とする画像表示方法。
【請求項６】
画像データに添付されている静止画像を撮影する前または後の少なくとも一方の所定時間内における撮影動作とその時間的変化に関する動作情報と、前記画像データを読み出すデータ読出部と、
読み出された前記動作情報と前記画像データに基づいて撮像時と同等の視覚効果を有する効果画像を生成する効果画像生成部と、
前記効果画像と前記静止画像を連続的に表示する表示部と、
を備えたことを特徴とする画像再生装置。
【請求項７】
臨場感再現撮影モードを設定するモード設定部と、
前記臨場感再現撮影モードが設定されていた場合に、カメラ動作情報を収集する情報収集部と、
被写体像に基づく画像データを取得する撮影部と、
前記カメラ動作情報と、前記画像データを記録する記録部と、
を備えたことを特徴とするカメラ。
【請求項８】
プリキャプチャー画像を取得するプリキャプチャー部を有し、前記記録部は前記記録にあたって前記プリキャプチャー画像も併せて記録することを特徴とする請求項７に記載のカメラ。
【請求項９】
画像データに添付されている静止画像を撮影する前または後の少なくとも一方の所定時間内における撮影動作とその時間的変化に関する動作情報と、前記画像データを読み出し、
読み出された前記動作情報と前記画像データに基づいて撮像時と同等の視覚効果を有する効果画像を生成し、
前記効果画像と前記静止画像を連続的に表示する、
ことを実行させるための画像再生用プログラム。
【請求項１０】
前記画像データの読み出し時に併せて前記画像データに添付されているプリキャプチャー画像を読み出し、
前記効果画像の生成にあたって、前記プリキャプチャー画像も用いて、効果画像を生成する
ことを特徴とする請求項９に記載の画像再生用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、画像表示方法、画像再生装置、カメラ、および画像表示用プログラムに関し、詳しくは、撮影された静止画像の画像表示装置、画像表示方法、画像再生装置、カメラ、および画像表示用プログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮影装置の普及と共に、静止画の画像データを容易に入手することができるようになってきた。また、最近では、取得した静止画像を見せるだけではなく、視覚効果を向上させるため、表示効果を伴った画像再生に関する提案がなされている。例えば、特許文献１および特許文献２には、複数の静止画ファイルに対して、フェードアウト、ワイプといった効果をもって表示し、これによってユーザー好みの再生を行うようにした画像再生装置が開示されている。
【特許文献１】特開２００６−１７４１３４号公報
【特許文献２】特開２０００−１２５１９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
これらの特許文献に開示の画像再生装置では、表示方法に変化をつけることができる。しかし、これだけでは撮影したときの現場の臨場感を味あうには不十分であった。すなわち、撮影にあたって、ユーザーはフレーミングのためにカメラを動かし、またズーム操作等、構図の検討過程や被写体の動きなどが静止画に現れないものがある。前述の特許文献に開示された画像再生装置では、これらの撮影時における動作等とは関係なく、表示効果がつけられ、臨場感に欠けた画像再生となっていた。
【０００４】
本願発明は、このような事情を鑑みてなされたものであり、撮影画像を鑑賞する際に、撮影時の状況を再現し、臨場感のある画像表示の可能な画像表示装置、画像表示方法、画像再生装置、カメラ、および画像表示用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記目的を達成するため第１の発明に係わる画像表示装置は、静止画像を撮影する前または後の少なくとも一方の所定時間内における撮影動作とその時間的変化に関する動作情報を記録する動作情報記録部と、前記動作情報に基づいて撮像されたのと同等の視覚効果を有する効果画像を生成する効果画像生成部と、前記効果画像と前記静止画像を連続的に表示する表示部を備える。
【０００６】
第２の発明に係わる画像表示装置は、前記第１の発明において、前記動作情報は前記静止画像を撮影したカメラの撮影画角情報、ズーム倍率情報、ＡＦ情報、露出情報の中の少なくとも１つの情報である。
また、第３の発明に係わる画像表示装置は、前記第１の発明において、前記効果画像生成部は、前記動作情報に基づいて前記静止画像に所定の画像処理を施すことにより、前記動作情報に応じて撮像されたのと同等の視覚効果を有する効果画像を生成する。
さらに、第４の発明に係わる画像表示装置は、前記第１の発明において、前記効果画像生成部は、前記静止画像の撮影前後に撮影した画像と前記静止画像との合成画像を生成し、前記カメラの撮影画角情報に応じた画角の画像を切り取るものである。
【０００７】
前記目的を達成するため第５の発明に係わる画像表示方法は、静止画像を撮影する前または後の少なくとも一方の所定時間内における撮影動作とその時間的変化に関する動作情報を記録部から読み出すステップと、前記動作情報に応じて撮像時と同等の視覚効果を有する効果画像を生成するステップと、前記効果画像と前記静止画像を連続的に表示するステップを備える。
【０００８】
第６の発明に係わる画像再生装置は、画像データに添付されている静止画像を撮影する前または後の少なくとも一方の所定時間内における撮影動作とその時間的変化に関する動作情報と、前記画像データを読み出すデータ読出部と、読み出された前記動作情報と前記画像データに基づいて撮像時と同等の視覚効果を有する効果画像を生成する効果画像生成部と、前記効果画像と前記静止画像を連続的に表示する表示部を備える。
【０００９】
第７の発明に係わるカメラは、臨場感再現撮影モードを設定するモード設定部と、前記臨場感再現撮影モードが設定されていた場合に、カメラ動作情報を収集する情報収集部と、
被写体像に基づく画像データを取得する撮影部と、前記カメラ動作情報と、前記画像データを記録する記録部を備える。
第８の発明に係わるカメラは、前記第７の発明において、プリキャプチャー画像を取得するプリキャプチャー部を有し、前記記録部は前記記録にあたって前記プリキャプチャー画像も併せて記録する。
【００１０】
第９の発明に係わる画像再生用プログラムは、画像データに添付されている静止画像を撮影する前または後の少なくとも一方の所定時間内における撮影動作とその時間的変化に関する動作情報と、前記画像データを読み出し、読み出された前記動作情報と前記画像データに基づいて撮像時と同等の視覚効果を有する効果画像を生成し、前記効果画像と前記静止画像を連続的に表示することを実行させる。
【００１１】
第１０の発明に係わる画像再生用プログラムは、前記第９の発明において、前記画像データの読み出し時に併せて前記画像データに添付されているプリキャプチャー画像を読み出し、前記効果画像の生成にあたって、前記プリキャプチャー画像も用いて、効果画像を生成する。
【発明の効果】
【００１２】
本発明によれば、撮影画像を鑑賞する際に、撮影時の状況を再現し、臨場感のある画像表示の可能な画像表示装置、画像表示方法、画像再生装置、カメラ、および画像表示用プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面に従って本発明を適用したデジタルカメラを用いて好ましい実施形態について説明する。このデジタルカメラは、被写体像を画像データに変換して記録媒体に記録可能である。また、このデジタルカメラは、撮影にあたって、カメラの動きや、撮影レンズのズーミングやピント合わせ、また、露出補正値等の露出制御値等、時間的に変化する動作情報を検出可能であり、画像データの記録にあたって、この動作情報も記録される。記録媒体に記録された画像データは、再生指示がなされると、液晶モニタ等の表示部に表示可能である。この再生表示にあたって、動作情報に基づいて画像に対して表示効果を施すようにしている。
【００１４】
図１は本発明の第１実施形態に係わるデジタルカメラの構成を示すブロック図である。このデジタルカメラ内には、被写体像を結像させるためのレンズ１が配置されており、このレンズ１の結像位置付近にＣＣＤ（電荷結合素子：Charge Coupled Device）３が設けられている。なお、このＣＣＤ３の他にＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の二次元撮像素子を用いてもよい。
【００１５】
ＣＣＤ３の出力は、画像信号の読み出しや増幅等を行う撮像回路５に接続されている。撮像回路５の出力は、アナログデジタル変換を行うＡ／Ｄ（Analog Digital）変換器７に接続されている。Ａ／Ｄ変換器７はデータバス９に接続されており、このデータバス９には、フレームメモリ１１、第２のＣＰＵ（Central Processing Unit）１３、記録バッファ１７およびＦＩＦＯ（First In First Out）メモリ２３が接続されている。
【００１６】
フレームメモリ１１は、Ａ／Ｄ変換器７から出力される画像データ等の一時記憶用のメモリであり、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のメモリによって構成される。このフレームメモリ１１は、プリキャプチャー画像一時保持機能１１ａを有する。
【００１７】
記録バッファ１７は、記録媒体Ｉ／Ｆ（インターフェース）１９に接続されており、また、記録媒体Ｉ／Ｆ１９は記録媒体２１に接続されている。記録媒体２１は、カメラ本体に内蔵、またはカメラ本体に対して装着自在であり、画像データの記録媒体である。記録バッファ１７および記録媒体Ｉ／Ｆ１９は、画像データの記録・制御を行う。
【００１８】
ＦＩＦＯメモリ２３は、フレームメモリ１１や記録媒体２１に記憶されている画像データを表示する際に使用されるタイミング調整用のメモリである。画像データの表示にあたって、特にタイミング調整が必要なければ、省略してもよい。ＦＩＦＯメモリ２３の出力は、ビデオ出力回路２５とＴＦＴ（Thin Film Transistor）液晶駆動回路３１に接続されている。
【００１９】
ビデオ出力回路２５は、外部出力用のビデオ信号を生成する回路であり、この出力はビデオ出力端子２７に接続されている。外部画像表示装置２９は、記録媒体２１等に記録されている画像データの表示装置であり、外部画像表示装置２９の入力端子はビデオ出力端子２７に接続可能である。
【００２０】
ＴＦＴ液晶駆動回路３１の出力は液晶表示モニタであるＴＦＴパネル３３に接続されており、ＦＩＦＯメモリ２３を通じて入力した画像データは、ＴＦＴパネル３３に表示される。記録媒体２１等に記録されている被写体像は、このＴＦＴパネル３３で再生表示される。また、構図決定用のファインダ表示としても使用される。ＴＦＴパネル３３の近傍には、照明用のバックライトユニット３５が配置されている。
【００２１】
カメラ内には、電源の供給源となる電池３９が配置されており、この電池３９の出力は電池状態検出回路３７に接続されている。この電池状態検出回路３７は、電池３９の出力電圧を検出し、この検出結果を第１のＣＰＵ１５に出力する。電池３９は電源回路４１に接続されており、この電源回路４１から各回路に電源が供給される。また、電源回路４１にはバックアップ電源４３が接続されている。バックアップ電源４３は、図示されない時計回路等に電源を供給するための電源である。
【００２２】
第１のＣＰＵ１５には、電源回路４１、ＬＣＤ（Liquid Crystal Display）表示回路４５、キーマトリックス４９、外部有線データＩ／Ｆ５１、手振れ補正用ジャイロセンサ５３、ＥＥＰＲＯＭ（Electrically Erasable
Programmable ROM）５５、レンズ用のアクチュエータ駆動回路５７および手振れ補正用アクチュエータ駆動回路６１が接続されている。ＬＣＤ表示回路４５は、ＬＣＤパネル４７に接続されている。このＬＣＤパネル４７には、第１のＣＰＵ１５から出力されるシャッタ速度や絞り値等の露出制御値や撮影モード等のカメラ制御に関連する情報が表示される。
【００２３】
キーマトリックス４９は、カメラ本体に設けられている各種操作釦、ダイヤル、検出用の各種スイッチ等を含み、ユーザーによる操作状態やカメラの状態を検出するためのスイッチ群である。このスイッチ群の中にメニューモード設定用の操作スイッチ類や、撮影モード設定用のダイヤルがあり、後述する臨場感撮影モードや臨場感再生モードは、このメニューモードまたは撮影モード設定ダイヤルを用いて設定される。また、ＴＦＴパネル３３に記録画像の再生表示を行う再生モードを指示する再生釦に連動するスイッチや、露出補正指示釦に連動するスイッチ、ズーミング釦に連動するスイッチ等も、スイッチ群に含まれる。外部有線データＩ／Ｆ５１は、ＵＳＢ（Universal Serial Bus）等の外部機器との接続用のデータ端子である。
【００２４】
手振れ補正用ジャイロセンサ５３は、カメラ本体の手振れ等の動きを検出するセンサである。この検出出力に基づいて、手振れ等の振動による影響を除去するように、ＣＣＤ３を移動させる。また、撮影の前後におけるカメラの動きを検出し、これを画像データと共に記録しておくことにより、画像の再生時には、撮影前後におけるカメラの動きを再現する。なお、この手振れ補正用ジャイロセンサ５３は、カメラ本体の動きを検出できるものであれば、ジャイロセンサに限らず、たとえば、角速度センサや加速度センサ等のセンサでもよい。
【００２５】
ＥＥＰＲＯＭ５５は、電気的に書き換え可能なメモリであり、フラッシュＲＯＭ等から構成されている。このＥＥＰＲＯＭ５５には、カメラの各種調整値や、第１および第２のＣＰＵ１３、１５の制御用のプログラムが記憶されている。また、後述するように、撮影動作前後のカメラの動き、ズーミング状況、自動焦点調節動作時のピント合わせ状況等のカメラ駆動来歴情報５５ａが一時的に書き込まれる。
【００２６】
レンズ用アクチュエータ駆動回路５７はアクチュエータ５９に接続されている。アクチュエータ５９は、レンズ１の焦点調節やズーミングを行うためのアクチュエータであり、ＤＣモータ、超音波モータ等によって構成される。手振れ補正用アクチュエータ駆動回路６１は第２のアクチュエータ６３に接続されている。この第２のアクチュエータ６３は、ＣＣＤ３をレンズ１の光軸に対して垂直な面内のｘ方向およびｙ方向に移動可能である。前述の手振れ補正用ジャイロセンサ５３の出力に基づいて、第２のアクチュエータ６３は手振れ等のカメラに加えられた振動（動き）を除去するように、ＣＣＤ３を移動させる。
【００２７】
第１のＣＰＵ１５は、このカメラの主としてシステムコントロール機能１５ａを果たしており、カメラ全体の基本動作の制御を行う。また、第１のＣＰＵ１５は、カメラ駆動管理機能１５ｂ、カメラ被写体画角管理機能１５ｃ、およびプリキャプチャー機能１５ｄ等の機能も有する。
【００２８】
カメラ駆動来歴管理機能１５ｂは、レンズ１の駆動用アクチュエータ５９によるズーミングや焦点調節動作等による駆動来歴を管理する機能であって、ここで得られた情報は、ＥＥＰＲＯＭ５５にカメラ駆動来歴情報５５ａとして一時的に記憶される。
【００２９】
カメラ被写体画角管理機能１５ｃは、手振れ補正用ジャイロセンサ５３や、第２のＣＰＵ１３内の被写体動き検出機能１３ｃによって検出されるカメラ被写体の動きの管理機能である。すなわち、この機能１３ｃは、被写体の動きに合わせてカメラを振ったり、また被写体の構図を決めるにあたってカメラを振った際の動きの検出を管理している。なお、ここで管理されるカメラ被写体画角情報は、ＥＥＰＲＯＭ５５に一時的に記憶される。
【００３０】
プリキャプチャー制御機能１３ｄは、カメラ駆動来歴情報５５ａやカメラ被写体画角情報に加えて、撮影前後の画像を取得するための機能である。プリキャプチャーを用いると、より臨場感をもった画像とすることができる。ここで管理されるプリキャプチャー画像は、フレームメモリ１１内のプリキャプチャー画像一時保持機能１１ａに記憶される。なお、プリキャプチャー機能は、後述する第２の実施形態において使用するので、第１実施形態においては省略してもよい。
【００３１】
第２のＣＰＵ１３は、このカメラの主として画像処理関係の制御を行うＣＰＵであり、表示画像加工機能１３ａ、画像圧縮伸張機能１３ｂ、被写体動き検出機能１３ｃ、および記録媒体アクセス機能１３ｄ等の各種機能を有している。
【００３２】
表示画像加工機能は、画像データと共に記録されているカメラ駆動来歴情報５５ａを用いて、画像の加工処理を行う。すなわち、カメラ駆動来歴情報５５ａとして、撮影時の前後で記録されたカメラの動き、ズーミング状況、自動焦点調節動作時のピント合わせ状況等が記録されており、この情報に基づいて、画像のスクロール、拡大・縮小およびピンボケ画像処理等の加工を行う。詳しくは図３に示す再生モードのフローチャートを用いて後述する。被写体動き検出機能１３ｃは、画像データを用いて被写体の動きを動きベクトル等によって検出する。
【００３３】
画像圧縮伸張機能１３ｂは、フレームメモリ１１に記憶された画像データを記録媒体２１に記録するにあたって画像データを圧縮処理する。また、この機能１３ｂは、記録媒体２１に記録されている圧縮形式の画像データをＴＦＴパネル３３に再生表示するにあたって、画像データを伸張処理する。記録媒体アクセス機能１３ｄは、記録媒体２１への画像データの記録および再生のための読み出しを行う。
【００３４】
以上の如く構成された第１実施形態に係わるデジタルカメラの動作について、図２および図３に示すフローチャートを用いて説明する。なお、このデジタルカメラは、露出制御、自動焦点調節、ズーミング動作等の種々の制御を行うが、ここでは画像再生とそのための情報取得に関係する処理を中心に説明する。
【００３５】
まず、撮影モードについて、図２に示すフローチャートを用いて説明する。この撮影モードに入ると、臨場感再現撮影モードが設定されているか否かを判定する（Ｓ１）。判定の結果、臨場感再現撮影モードが設定されていなかった場合には、ステップＳ４にジャンプし、臨場感撮影のための処理をスキップする。
【００３６】
一方、判定の結果、臨場感再現撮影モードが設定されていた場合には、カメラ動作情報の収集を行う。カメラ駆動来歴管理機能１５ｂおよびカメラ被写体画角管理機能１５ｃは、カメラ動作情報を収集する（Ｓ２）。カメラ動作としては、カメラ姿勢（画角）変更情報、ズーム倍率変更情報、ＡＦ（Auto Focus）動作情報、明るさ変更情報が収集される。
【００３７】
カメラ姿勢（画角）変更情報は、被写体構図を決定する等のためにカメラを動かした際の移動情報であり、手振れ補正用ジャイロセンサ５３の検出出力を基にして、移動時間とそのときの移動量（本実施形態においては、ＣＣＤ３のピクセル数換算値）として求める。ズーム倍率変更情報は焦点距離変更用のアクチュエータ５９による焦点距離の変更を基にして、広角焦点距離を基準に何倍かを求める。なお、デジタルズームを行っている際には、デジタルズームのための画像処理情報に基づいて求める。
【００３８】
ＡＦ動作情報としては、焦点調節用のアクチュエータ５９によるピント合わせのための駆動を基にして、ＡＦ駆動時間および合焦位置からの光学的ズレ量を求める。明るさ変更情報は、露出補正変更情報により、時間とそのときの補正値を求める。
【００３９】
ステップＳ２において、カメラ動作情報を収集すると、ここで求めたカメラ動作情報をＥＥＰＲＯＭ５５に一時的に保持する（Ｓ３）。続いてレリーズ釦の全押し、すなわち、２ｎｄレリーズが操作されたか否かを判定する（Ｓ４）。判定の結果、２ｎｄレリーズが操作されていなかった場合には、ステップＳ２に戻り、前述の動作を繰り返す。ＥＥＰＲＯＭ５５にカメラ動作情報を保持するのは、２ｎｄレリーズの操作直前の５秒間とし、それ以前のカメラ動作情報は上書きにより消去する。なお、このカメラ動作情報の保持時間は、５秒間に限らず、適宜変更することができる。
【００４０】
ステップＳ４における判定の結果、２ｎｄレリーズが操作された場合には、撮影動作を行う（Ｓ５）。撮影動作は、ＣＣＤ３上に結像した被写体像を光電変換し、この光電変換信号に基づく画像データを取得することにより行う。撮影動作が終わると、ＥＥＰＲＯＭ５５に保持されていたカメラ動作情報をファイルヘッダ記録形式に生成する（Ｓ６）。ファイルヘッダに記録されるカメラ動作情報の一例を、図５に示す。
【００４１】
ここで、ファイルヘッダ記録形式に生成するのは、撮影直前の５秒間の動作情報などのように、ある決められた時間の間に行われたカメラ動作情報を記録する。なお、ＥＥＰＲＯＭ５５には、ここで記録の対象となる時間よりも長い時間のカメラ動作情報を保持し、このステップにおいて、保持されたカメラ動作情報から記録用として抽出してもよい。
【００４２】
続いて、記録用の静止画の画像データとファイルヘッダから画像ファイルを生成する（Ｓ７）。画像ファイルは、図４に示すように、カメラ動作情報等が記録されるファイルヘッダと、画像データとから構成される。画像ファイルが生成されると、続いて、その画像ファイルを圧縮処理の上、記録媒体２１に記録する（Ｓ８）。記録が終了すると、撮影モードが終了か否かを判定し（Ｓ９）、撮影モードが終了していなければ、ステップＳ１に戻り、一方、判定の結果、撮影モードが終了であれば、撮影モードを終了する。
【００４３】
このように、撮影モードのフローにおいては、臨場感再現撮影モードが選択されていると、カメラ動作情報を収集・記録し、レリーズ釦の全押しがなされると撮影動作を行い、撮影動作終了後に画像データと共にカメラ動作情報を記録している。なお、レリーズ釦の半押し操作による１ｓｔレリーズを検出し、臨場感再現撮影モードが設定され、かつレリーズ釦の１ｓｔレリーズが操作されたときのみ、ステップＳ２、Ｓ３におけるカメラ動作情報の収集・記録を行うようにしてもよい。
【００４４】
次に、再生モードについて、図３に示すフローチャートを用いて説明する。この再生モードに入ると、まず、臨場感再現再生モードが設定されているか否かの判定を行う（Ｓ２１）。判定の結果、臨場感再現再生モードが設定されていなかった場合には、通常の再生モードであることから、画像再生処理シーケンスを「変化なし」として生成する（Ｓ２９）。生成が終わると、ステップＳ２４にジャンプする。
【００４５】
ステップＳ２１における判定の結果、臨場感再現再生モードであった場合には、選択された画像について、画像ファイルヘッダからカメラ動作情報の読み込みを行う（Ｓ２２）。そして、読み込まれたカメラ動作情報に基づいて、画像再生処理シーケンスを生成する（Ｓ２３）。
【００４６】
続いて、画像ファイルから静止画像の画像データの読み込みを行い（Ｓ２４）、静止画の画像データの伸張を行う（Ｓ２５）。記録媒体２１に記録されている画像ファイルは、圧縮形式で記録されているので、ここで伸張処理を行う。次に、ステップＳ２３またはステップＳ２９において生成した画像再生処理シーケンスに従って画像の再生表示を行う（Ｓ２６）。ここでの再生表示については、図６乃至図９を用いて後述する。
【００４７】
次に、コマ変更指示がなされたか否かの判定を行う（Ｓ２７）。判定の結果、変更指示がなされていれば、変更後の画像ファイルを読み込み（Ｓ２８）、ステップＳ２２に戻り、前述の処理を繰り返す。一方、判定の結果、コマ変更指示がなされていなかった場合には、再生処理を終了するか否かの判定を行い（Ｓ３０）、終了でなければ、ステップＳ２６に戻り、再生モードを続行し、終了であれば、終了のための処理を行う。
【００４８】
以上のように、本実施形態における再生モードにおいては、静止画の画像データと共に記録されているカメラ動作情報に基づいて、静止画を再生表示している。この再生表示と、再生表示を行うためのカメラ動作情報の収集について、図６乃至図９を用いて説明する。
【００４９】
まず、カメラ動作情報として、カメラ姿勢（画角）変更情報が記録されている場合には、図６に示されるように、撮影前に行った構図変更を再現するように画像のスクロール処理がなされる。図６（Ａ）の例は、カメラ１００による撮影時の様子を示したものであり、カメラ１００は右（点線の方向）から左（実線の方向）に向けて移動している。このときの移動の様子は手振れ補正用ジャイロセンサ５３によって検出され（Ｓ２、Ｓ３参照）、静止画の画像データの記録の際に画像ファイルのファイルヘッダに記録される（Ｓ６〜Ｓ８参照）。
【００５０】
このように記録されているカメラ動作情報を用いて再生する場合には（Ｓ２６参照）、右から左に向け、矢印Ａの方向に画像をスクロールさせる。すなわち、ＴＦＴパネル３３の表示面７１に対して、左側から右側に向けて画像８１をスクロールすると、丁度、撮影前に撮影者が構図決定のために、カメラ１００を動かしたのと同じ感覚を再現することができる。
【００５１】
次に、ズーム倍率変更動作を行った場合を図７に示す。この場合には、撮影前に行ったズーミングを再現するように画像の拡大または縮小処理がなされる。撮影モードにおいて、図７（Ａ）の例では、カメラ１００はズームダウン、すなわち、長焦点側から短焦点側に焦点距離を変更しており、最初、点線の範囲内の長焦点観察領域８２の被写体像を大きく表示していたが、短焦点側にズーミングすることにより、実線の範囲内の短焦点観察領域８３の被写体像を小さく表示している。
【００５２】
このような状態で被写体の構図を決める際に、カメラ駆動来歴管理機能１５ｂによってズーム倍率の変化が検出される（Ｓ２、Ｓ３参照）。２ｎｄレリーズが操作されると、領域８３に対応する静止画像が画像データとして取得され（Ｓ５）、撮影前のズーム倍率変更情報が画像ファイルのファイルヘッダに記録される（Ｓ６〜Ｓ８参照）。
【００５３】
再生モードにおいては、記録された画像データは、短焦点観察領域８３に対応する静止画像８４であり、また、撮影前にはズームダウンであったことから、画像の縮小処理を行っている。すなわち、再生表示の初めは、ＴＦＴパネル３３の表示面８１の全域に長焦点観察領域８２に対応する画像を表示し、それから静止画像８４を表示面８１のサイズまで縮小する。この表示処理によって、撮影前に撮影者が構図決定にあたって撮影レンズのズームダウンを行ったのと同じ感覚を再現することができる。
【００５４】
なお、ズームアップの場合には、長焦点側で静止画の画像データが取得されることから、最初、ＴＦＴパネル３３の表示面８１であって短焦点側の焦点距離に相当する範囲に、静止画像を縮小処理して表示する。この場合、縮小処理した静止画像の周囲の画像情報がないので、白色等とする。それから、この縮小処理されている画像を拡大し、最終的には、表示面８１の全域に静止画像を表示する。この表示処理によって、撮影前に撮影者が構図決定にあたって撮影レンズのズームアップを行ったのと同じ感覚を再現することができる。
【００５５】
次に、ＡＦ動作を行った場合を図８に示す。この場合には、撮影前に行ったＡＦ動作を再現するように画像のピンボケ状態から合焦状態への画像処理がなされる。図８（Ａ）の例では、最初、被写体に対して非合焦状態であり、ＡＦ動作を行うことにより合焦状態となる。このとき（Ｓ２、Ｓ３参照）、ＡＦ動作情報が記憶され、２ｎｄレリーズ操作に応じて、ピントのあった画像データが取得され（Ｓ５）、撮影前のＡＦ動作情報が画像ファイルのファイルヘッダに記録される（Ｓ６〜Ｓ８参照）。
【００５６】
再生モードにおいては、記録されている画像はピントがあったものであることから、最初、ＡＦ動作情報として記録されているＡＦ合焦位置からの光学的ズレ量に基づいて、ピンボケの画像を生成し、これを表示する（図８（Ｂ）参照）。それから、徐々に、ピントのあった画像を表示し、最終的には取得した静止画像に基づく画像を表示する（Ｓ８（Ｃ）参照）。この表示処理によって、撮影前に撮影者がＡＦ動作を行ったのと同じ感覚を再現することができる。
【００５７】
次に、露出補正動作を行った場合を図９に示す。この場合には、撮影前に行った露出補正動作を再現するように画像の明るさの変更を行う画像処理がなされる。図９（Ａ）の例では、カメラ１００によって露出補正操作がなされる。このときの露出補正操作の状態が検出・記憶される（Ｓ２、Ｓ３参照）。２ｎｄレリーズ操作に応じて、露出補正のなされた画像データが取得され（Ｓ５）、撮影前の露出補正情報が画像ファイルのファイルヘッダに記録される（Ｓ６〜Ｓ８参照）。
【００５８】
再生モードにおいては、記録画像は最終的な露出補正がなされた状態（補正値が±０もあり）の静止画像であることから、カメラ動作情報としてきろくされている最初の露出補正情報に基づいて、初期の露出補正状態での画像を生成し、これを表示する（図９（Ｂ）参照）。それから、露出補正の変更に応じた画像を表示し、最終的には取得した静止画像に基づく画像を表示する（図９（Ｃ）参照）。この表示処理によって、撮影前に撮影者が露出補正動作を行ったのと同じ感覚を再現することができる。
【００５９】
このように本発明の第１実施形態においては、静止画像の撮影前のカメラ動作情報を記録しておき、静止画像の再生にあたっては、カメラ動作情報に基づいて、効果画像を生成して表示するようにしている。このため、構図決定にあたってのカメラの動きを再現したり、ズーミング動作を再現したり、ＡＦ動作等を再現することができる。単なる静止画像の表示に比較して、撮影画像を鑑賞する際に、撮影時の状況を再現し、臨場感のある画像表示が可能となる。
【００６０】
次に、本発明の第２実施形態を、図１０乃至図１２を用いて説明する。第１実施形態は、撮影時にカメラ動作情報を収集・記録し、このカメラ動作情報を用いて再生表示を行っていた。第２実施形態は、カメラ動作情報の収集に加えてプリキャプチャー動作を行い、このプリキャプチャー画像を用いて、再生表示の際、画像処理を行っている。
【００６１】
この第２実施形態の構成は図１に示したブロック図と同様であり、撮影モードのフローを図１０に示すフローチャートに置き換え、再生モードのフローを図１１に示すフローチャートに置き換えている。第１実施形態との相違点を中心に説明する。
【００６２】
撮影モードに入ると、まず、ステップＳ１と同様に、臨場感再現撮影モードか否かの判定を行う（Ｓ４１）。判定の結果、臨場感再現撮影モードでなかった場合には、ステップＳ４７にジャンプする。一方、臨場感再現撮影モードであった場合には、プリキャプチャー動作を開始する（Ｓ４２）。プリキャプチャー動作は、プリキャプチャー制御機能１５ｄによって制御され、ＣＣＤ３の出力に基づいてプリキャプチャー画像データを取得するものである。プリキャプチャー画像データは撮影時の画像データに比較し、少ない画素数で構成される。
【００６３】
続いて、ステップＳ２と同様にカメラ動作情報の収集を行い（Ｓ４３）、ステップＳ３と同様にカメラ動作情報をＥＥＰＲＯＭ５５に記憶する（Ｓ４４）。次に、カメラ画角が大きく変更されたか否かの判定を行う（Ｓ４５）。これは、図６で示したように、カメラ１００を左右間、または上下間で移動させたか否かの判定である。この判定は、手振れ補正用ジャイロセンサ５３の検知出力に基づいて行う。
【００６４】
ステップＳ４５における判定の結果、カメラ画角が変化していない場合には、ステップＳ４７にジャンプする。一方、カメラ画角が変化していた場合には、変更される直前に撮影されたプリキャプチャーデータをフレームメモリ１１のプリキャプチャー画像一時保持機能１１ａに保持する（Ｓ４６）。
【００６５】
次に、ステップＳ４と同様に、２ｎｄレリーズが操作されたか否かの判定を行う（Ｓ４７）。判定の結果、２ｎｄレリーズが操作されていなかった場合には、ステップＳ４３に戻り、前述の処理を実行する。一方、２ｎｄレリーズ操作されたときには、ステップＳ５と同様に撮影動作を実行する（Ｓ４８）。このときＣＣＤ３の出力に基づいて静止画の画像データが取得される。
【００６６】
続いて、ステップＳ６と同様にカメラ動作情報をファイルヘッダ記録形式で生成する（Ｓ４９）。この後、プリキャプチャーデータをファイルヘッダ記録形式で生成する（Ｓ５０）。カメラ動作情報とプリキャプチャーデータのファイルヘッダ記録形式での生成が終わると、ステップＳ７同様に、静止画の画像データと生成したファイルヘッダから画像ファイルを生成する（Ｓ５１）。
【００６７】
第１実施形態の場合に比較し、ファイルヘッダにプリキャプチャーデータが追加される分、データ量が増大するが、プリキャプチャーデータは画素数を落としたデータである点、およびファイルヘッダの容量については特段制限がないことから、プリキャプチャーデータを記録することができる。
【００６８】
画像ファイルが生成されると、ステップＳ８と同様に画像ファイルを記録媒体２１に記録する（Ｓ５２）。続いて、ステップＳ９と同様に、撮影モードが終了か否かを判定し、終了していない場合には、ステップＳ４１に戻り撮影モードを続行し、一方、終了の場合には、撮影モードを終了する。
【００６９】
このように、本発明の第２実施形態においては、撮影モードの際に、臨場感再現撮影モードが設定されていると、カメラ動作情報に加えてプリキャプチャーデータを取得するようにしている。
【００７０】
次に、再生モードについて、図１１に示すフローチャートを用いて説明する。この再生モードに入ると、ステップ２１と同様に、臨場感再現再生モードが設定されているか否かの判定を行う（Ｓ６１）。判定の結果、臨場感再現再生モードが設定されていなかった場合には、通常の再生モードを実行するために、ステップＳ２９と同様に、画像再生処理シーケンスを「変化なし」として生成する（Ｓ７１）。続いて、記録媒体２１に記録されている画像ファイルから静止画の画像データを読み込み（Ｓ７２）、この静止画像データを伸張処理する（Ｓ７３）。伸張処理が終わると、ステップＳ６８に移行する。
【００７１】
ステップＳ６１における判定の結果、臨場感再現再生モードが設定されていた場合には、記録媒体２１に記録されている画像ファイルのファイルヘッダからプリキャプチャーデータを読み出し、また画像データの伸張を行う（Ｓ６２）。その後、ステップＳ２２と同様に、画像ファイルヘッダからカメラ動作情報を読み込む（Ｓ６３）。続いて、ステップＳ２３と同様に、動作情報から画像再生処理シーケンスを生成する（Ｓ６４）。
【００７２】
次に、ステップＳ２４と同様に、画像ファイルから静止画の画像データを読み込み（Ｓ６５）、ステップＳ２６と同様に、この静止画データを伸張処理する（Ｓ６６）。続いて、この静止画データと、ステップＳ６２に読み出したプリキャプチャーデータを用いて、画像合成を行う（Ｓ６７）。すなわち、カメラ画角が大きく変化した場合に、プリキャプチャーデータが取得されているので、このような場合のカメラの動きに合わせた画像を合成する。なお、この合成画像については、図１２を用いて後述する。
【００７３】
続いて、ステップＳ２６と同様に、再生処理シーケンスに従って画像を再生表示する（Ｓ６８）。この後、ステップＳ２７と同様に、コマ変更指示がなされたか否かの判定を行い（Ｓ６９）、変更指示がなされていた場合には、ステップＳ２８と同様に、変更後の画像ファイルを読み込み（Ｓ７０）、ステップＳ６２に戻る。一方、変更指示がなされていない場合には、ステップＳ３０と同様に再生処理終了かを判定し（Ｓ７４）、終了ではない場合にはステップＳ６８に戻り、一方、終了であった場合には、再生モードの終了処理を行う。
【００７４】
このように、再生モードにおいては、第１実施形態におけるカメラ動作情報を考慮した画像再生処理に加えて、画像ファイルにプリキャプチャーデータが記録されている場合には、このプリキャプチャーデータと静止画データとを画像合成して表示している。
【００７５】
次に、第２実施形態におけるカメラ姿勢（画角）変更の場合の撮影モードと再生モードについて、図１２を用いて説明する。撮影モードの際に、例として、図１２（Ａ）に示すように、カメラ１００を右（点線側）から左（実線側）に構図を変更したとする。すなわち、最初、右側領域８５にカメラ１００を向け、その後、左側に移動し、２ｎｄレリーズ時には左側領域８６で撮影動作を行う。
【００７６】
このカメラ１００の移動時には、プリキャプチャー動作が開始されていることから（Ｓ４２参照）、画角が変更される直前に取得したプリキャプチャー画像８８が、一時保持される（Ｓ４６参照）。また、このときのカメラ１００の動きは、手振れ補正用ジャイロセンサ５３によって検知され（Ｓ４３参照）、ＥＥＰＲＯＭ５５に記録される（Ｓ４４参照）。
【００７７】
ステップＳ４６において一時保持されたプリキャプチャー画像８８と、ステップＳ４８における撮影時に取得され、記録された静止画の撮影本画像８７は、ステップＳ６７において、図１２（Ｂ）に示すように、画像合成される。この合成された画像を用いて、ステップＳ６８において再生表示されるが、再生にあたってはカメラ動作情報として記録されているカメラ１００の動きに基づいて行う。
【００７８】
すなわち、図１２に示した例では、カメラ１００は右から左に向けて構図を変更しているので、まず、右側領域８５に対応する画像９０ａをＴＦＴパネル３３の表示面７１に表示する。この後、合成画像を矢印Ｂ方向にスクロール処理しながら、最終的には、左側領域８６に対応する画像９０ｂが表示面７１に表示される。なお、プリキャプチャー画像が複数ある場合には、プリキャプチャー画像を保持したタイミング情報に合わせて、表示し、また、スムーズに変化するように画像修正してもよい。
【００７９】
このように、本発明の第２実施形態においては、プリキャプチャー画像と撮影本画像を合成し、この合成画像をスクロール表示させることにより、切れ目なく画像をスクロール表示できる。このため、より臨場感のある画像表示を行うことができる。
【００８０】
なお、本実施形態においては、カメラ姿勢（画角）変更時のみ、プリキャプチャー画像を記録し、再生時に画像合成をしていたが、これに限らず、例えば、ズーミング動作する場合等においても、適用することができる。
【００８１】
以上説明したように、本発明の各実施形態においては、静止画を撮影するにあたって、撮影動作とその時間的変化に関する動作情報を記録し、静止画像の再生にあたっては、動作情報に基づいて撮像されたと同等の視覚効果を有する効果画像を生成している。このため、撮影画像を鑑賞する際に、撮影時の状況を再現し、臨場感のある画像表示の可能である。
【００８２】
また、各実施形態においては、カメラの動作情報として、カメラの撮影画角情報、ズーム倍率情報、ＡＦ情報、露出情報の中の少なくとも１つの情報を記憶しているので、これらの情報に基づいて、撮影時の状況を再現し、臨場感のある画像表示を行うことができる。さらに、第２実施形態においては、プリキャプチャー画像を撮影時に記憶し、これを用いて再生表示している。このため、より臨場感のある画像表示を行うことができる。
【００８３】
なお、本実施形態においては、カメラ動作情報は撮影前のみ収集していたが、撮影後のみ、または撮影前後で収集するようにしてもよい。撮影後も収集していた場合には、撮影後の様子を再現することができる。また、再生にあたっては、時間情報についてはリニアに再生する以外にも、時間軸をノンリニアで再生するようにしてもよい。
【００８４】
また、本発明の実施形態においては、画像表示装置として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。
【００８５】
さらに、デジタルカメラが再生表示を行っていたが、デジタルカメラ等で被写体像の撮影を行い、パーソナルコンピュータ等で再生表示を行うようにしてもよい。この場合には、デジタルカメラ等は、画像データに合わせてカメラ動作情報等も記録媒体に記録するだけの機能でも勿論かまわない。
【００８６】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００８７】
【図１】本発明の第１実施形態に係わるデジタルカメラの構成を示すブロック図である。
【図２】本発明の第１実施形態に係わるデジタルカメラの撮影モードを示すフローチャートである。
【図３】本発明の第１実施形態に係わるデジタルカメラの再生モードを示すフローチャートである。
【図４】本発明の第１実施形態に係わるデジタルカメラにおける画像ファイルのファイル構造を示す図である。
【図５】本発明の第１実施形態に係わるデジタルカメラにおいて、ファイルヘッダとして記録されるカメラ動作情報の一例を示す図である。
【図６】本発明の第１実施形態に係わるデジタルカメラにおいて、カメラ姿勢変更した場合の再生の一例を示す図である。
【図７】本発明の第１実施形態に係わるデジタルカメラにおいて、ズーム倍率変更動作を行った場合の再生の一例を示す図である。
【図８】本発明の第１実施形態に係わるデジタルカメラにおいて、ＡＦ動作を行った場合の再生の一例を示す図である。
【図９】本発明の第１実施形態に係わるデジタルカメラにおいて、露出補正動作を行った場合の再生の一例を示す図である。
【図１０】本発明の第２実施形態に係わるデジタルカメラの撮影モードを示すフローチャートである。
【図１１】本発明の第２実施形態に係わるデジタルカメラの再生モードを示すフローチャートである。
【図１２】本発明の第２実施形態に係わるデジタルカメラにおいて、カメラ姿勢変更した場合の再生の一例を示す図である。
【符号の説明】
【００８８】
１・・・レンズ、３・・・ＣＣＤ、５・・・撮像回路、７・・・Ａ／Ｄ変換器、９・・・データバス、１１・・・フレームメモリ、１１ａ・・・プリキャプチャー画像一時保持機能、１３・・・ＣＰＵ２、１３ａ・・・表示画像加工機能、１３ｂ・・・画像圧縮伸張機能、１３ｃ・・・被写体動き検出機能、１３ｄ・・・記録媒体アクセス機能、１５・・・ＣＰＵ１、１５ａ・・・システムコントロール機能、１５ｂ・・・カメラ駆動来歴管理機能、１５ｃ・・・カメラ被写体画角管理機能、１５ｄ・・・プリキャプチャー制御機能、１７・・・記録バッファ、１９・・・記録媒体Ｉ／Ｆ、２１・・・記録媒体、２３・・・ＦＩＦＯメモリ、２５・・・ビデオ出力回路、２７・・・ビデオ出力端子、２９・・・外部画像表示装置、３１・・・ＴＦＴ液晶駆動回路、３３・・・ＴＦＴパネル、３５・・・バックライトユニット、３７・・・電池状態検出回路、３９・・・電池、４１・・・電源回路、４３・・・バックアップ電源、４５・・・ＬＣＤ表示回路、４７・・・ＬＣＤパネル、４９・・・キーマトリックス、５１・・・外部優先データＩ／Ｆ、５３・・・手振れ補正用ジャイロセンサ、５５・・・ＥＥＰＲＯＭ、５５ａ・・・カメラ駆動来歴情報、５７・・・レンズ用アクチュエータ駆動回路、５９・・・アクチュエータ、６１・・・手振れ補正用アクチュエータ駆動回路、６３・・・アクチュエータ２、７１・・・（ＴＦＴパネルの）表示面、８１・・・画像、８２・・・長焦点観察領域、８３・・・短焦点観察領域、８４・・・静止画像、８５・・・右側領域、８６・・・左側領域、８７・・・撮影本画像、８８・・・プリキャプチャー画像、８９・・・合成画像、１００・・・カメラ
【図１】
2009111554.tif 000003
【図２】
2009111554.tif 000004
【図３】
2009111554.tif 000005
【図４】
2009111554.tif 000006
【図５】
2009111554.tif 000007
【図６】
2009111554.tif 000008
【図７】
2009111554.tif 000009
【図８】
2009111554.tif 000010
【図９】
2009111554.tif 000011
【図１０】
2009111554.tif 000012
【図１１】
2009111554.tif 000013
【図１２】
2009111554.tif 000014