(57)【要約】  ＡＲ取得用画像生成部４１は、画像データに基づいて現フレームのＡＲ取得用画像４４ａを生成する。表示用画像生成部４２は、画像データに基づいて現フレームの表示用画像５０ａ及び第１〜第４表示用補間画像５０ｃ〜５０ｆを生成する。画像パターン読取部４５は、現フレームのＡＲ取得用画像４４ａ上の特定画像パターン４３ａを読み取る。ＣＰＵ４０は、ＡＲ画像用メモリ４８の中から、特定画像パターン４３ａが対応付けられたＡＲ動画データを検索し、その１フレームを現フレームのＡＲ画像４９ａに変換する。ＡＲ画像重畳部５４は、各ＡＲ画像４９ａ，４９ｂに基づいて第１〜第４ＡＲ補間画像４９ｃ〜４９ｆを生成し、各画像４９ａ〜４９ｆを各画像５０ａ〜５０ｆのマーカー４３の部分に重畳した各ＡＲ重畳画像５５ａ，５５ｂ及び第１〜第４ＡＲ重畳補間画像５５ｃ〜５５ｆを生成して、ＬＣＤ２０に表示する。
2012002149.tif 000002
【特許請求の範囲】
【請求項１】
マーカーとともに被写体を撮影して、動画を構成する撮影画像を連続して取得する撮像部と、
前記撮影画像を取得する毎に、前記撮影画像に基づいて、動画表示時に被写体の動きを連続させるための表示用画像を生成する表示用画像生成部と、
前記撮影画像を取得する毎に、前記撮影画像に基づいて、前記表示用画像よりも被写体の表示ブレが小さく、前記表示用画像上に重畳する付加情報を取得するときに用いられる付加情報用画像を生成する付加情報用画像生成部と、
前記付加情報用画像上の前記マーカーを読み取る読取部と、
前記マーカーごとに対応した付加情報を記録した付加情報記録部と、
前記付加情報記録部に記録された複数の付加情報の中から、前記読取部で読み取ったマーカーに対応付けられた付加情報を検索して取得する付加情報取得部と、
前記表示用画像上の前記マーカーの部分に、前記付加情報取得部で取得された付加情報を重畳した付加情報重畳画像を生成する付加情報重畳画像生成部と、
前記付加情報重畳画像を表示する表示器と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記撮像部は、前記付加情報用画像の生成に適したシャッタスピードで撮影を行い、
前記表示用画像生成部は、連続する前記表示用画像の間に表示する複数の表示用補間画像も生成することを特徴とする請求の範囲第１項記載の画像処理装置。
【請求項３】
前記撮像部は、前記表示用画像の生成に適した第１シャッタスピードでの撮影と、前記第１シャッタスピードよりも高速で前記付加情報用画像の生成に適した第２シャッタスピードでの撮影とを交互に行い、
前記表示用画像生成部は、前記第１シャッタスピード撮影で取得された撮影画像に基づいて前記表示用画像を生成し、
前記付加情報用画像生成部は、前記第２シャッタスピード撮影で取得された撮影画像に基づいて前記付加情報用画像を生成することを特徴とする請求の範囲第１項記載の画像処理装置。
【請求項４】
前記撮像部は、前記表示用画像の生成に適した第１シャッタスピードでの撮影と、前記第１シャッタスピードよりも高速で前記付加情報用画像の生成に適した第２シャッタスピードでの撮影とを同時に行い、
前記表示用画像生成部は、前記第１シャッタスピード撮影で取得された撮影画像に基づいて前記表示用画像を生成し、
前記付加情報用画像生成部は、前記第２シャッタスピード撮影で取得された撮影画像に基づいて前記付加情報用画像を生成することを特徴とする請求の範囲第１項記載の画像処理装置。
【請求項５】
前記表示用画像及び付加情報用画像が生成されたそれぞれの時間の差に基づいて、前記表示用画像上の前記付加情報を重畳する位置を補正する位置補正部を備えることを特徴とする請求の範囲第３項記載の画像処理装置。
【請求項６】
前記表示用画像生成部は、高解像度で動画表示に適した色表現の前記表示用画像を生成し、
前記付加情報用画像生成部は、前記表示用画像に比べて高いＳＮ比、及び広いダイナミックレンジを有する前記付加情報用画像を生成することを特徴とする請求の範囲第１項ないし第５項いずれか１つ記載の画像処理装置。
【請求項７】
前記撮像部の移動速度を検出する検出部と、
前記検出部で検出された移動速度が、予め設定された閾値以下であるか否かを判定する判定部とを備え、
前記判定部で前記移動速度が前記閾値以下であると判定されたときには、前記付加情報用画像生成部は前記付加情報用画像を生成せず、前記読取部は、前記表示用画像内の前記マーカーを読み取ることを特徴とする請求の範囲第１項ないし第６項いずれか１つ記載の画像処理装置。
【請求項８】
前記マーカーの移動速度を検出するマーカー移動速度検出部と、
前記マーカー移動速度検出部で検出された移動速度が、予め設定された閾値以下であるか否かを判定するマーカー移動速度判定部とを備え、
前記マーカー移動速度判定部で前記移動速度が前記閾値以下であると判定されたときには、前記付加情報用画像生成部は前記付加情報用画像を生成せず、前記読取部は、前記表示用画像内の前記マーカーを読み取ることを特徴とする請求の範囲第１項ないし第７項いずれか１つ記載の画像処理装置。
【請求項９】
前記付加情報重畳画像を記録する付加情報重畳画像記録部を備えることを特徴とする請求の範囲第１項ないし第８項いずれか１つ記載の画像処理装置。
【請求項１０】
マーカーとともに被写体を撮影して、動画を構成する撮影画像を連続して取得する撮像ステップと、
前記撮影画像を取得する毎に、前記撮影画像に基づいて、動画表示時に被写体の動きを連続させるための表示用画像を生成する表示用画像生成ステップと、
前記撮影画像を取得する毎に、前記撮影画像に基づいて、前記表示用画像よりも被写体の表示ブレが小さく、前記表示用画像上に重畳する付加情報を取得するときに用いられる付加情報用画像を生成する付加情報用画像生成ステップと、
前記付加情報用画像上の前記マーカーを読み取る読取ステップと、
前記マーカーごとに対応した付加情報を記録した付加情報記録部の中から、前記読取部で読み取ったマーカーに対応付けられた付加情報を検索して取得する付加情報取得ステップと、
前記表示用画像上の前記マーカーの部分に、前記付加情報取得部で取得された付加情報を重畳した付加情報重畳画像を生成する付加情報重畳画像生成ステップと、
前記付加情報重畳画像を表示する表示ステップと、
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像に付加情報を重畳する画像処理方法及び装置に関するものである。
【背景技術】
【０００２】
動画を撮影するためのビデオカメラやデジタルカメラは、広く普及しており、例えば、遊園地等での子供の撮影等に用いられている。このビデオカメラやデジタルカメラは、撮像部と、撮影した画像データを記録する記録部と、撮影中の画像や録画した画像を表示するためのＬＣＤ等の表示器を備えている。また、殆どのビデオカメラやデジタルカメラは、動画の他に静止画の撮影機能を備えている。【０００３】
近年、撮像した現実空間画像（例えば、風景画像）に各種の付加情報（拡張現実（ＡＲ）情報）を重畳して表示する拡張現実表示機能を搭載したビデオカメラやデジタルカメラが知られている。特許文献１記載のシステムは、現実空間画像上に合成すべき仮想空間画像を生成するＣＧ生成部での生成完了予測時刻を求め、この生成完了予測時刻における視点の位置姿勢を予測している。そして、この予測した位置姿勢の視点から見える仮想空間画像をＣＧ生成部で生成して現実空間画像上に合成する。これにより、仮想空間画像の生成に時間を要する場合にも、現実空間画像上に仮想空間画像を違和感なく合成している。【０００４】
特許文献１記載のシステムでは、検出した位置姿勢情報に基づいてデータベースから仮想物体を検索している。位置姿勢情報の検出精度が低く、検出した位置姿勢情報が正しい位置姿勢からズレている場合には、正しい位置姿勢に応じた仮想物体ではなく、ズレた位置姿勢に応じた仮想物体が検索される。このため、現実空間画像に即していない仮想空間画像が合成されることがある。【０００５】
特許文献２記載の端末は、撮影画像上に表示されたＱＲコード（登録商標）等のデジタルコードを読み取り、読み取ったデジタルコードに基づいて付加情報を取得する。そして、この取得した付加情報を撮影画像に重畳させて表示器に表示している。これにより、撮影画像には、撮影画像上に表示されたデジタルコードに対応した付加情報だけが重畳され、撮影画像に即していない付加情報が重畳されることがない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−０３９５５６号公報
【特許文献２】特開２００８−１９３６４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
撮影画像を用いて付加情報を取得する場合、付加情報を確実に取得するためには、撮影画像上のデジタルコードの表示ブレが小さい撮影画像を取得することが必要である。一方で、連続した滑らかな動画表示とするためには、デジタルコード以外の被写体の表示ブレが適度にある撮影画像が必要である。付加情報の確実な取得と、滑らかな動画表示とでは、それぞれ適した撮影画像が異なっている。このため、特許文献２のように、表示器に表示する撮影画像を用いて付加情報の取得も行うものでは、付加情報の確実な取得と、滑らかな動画表示との両方を達成することは困難である。【０００８】
本発明の目的は、付加情報を確実に取得することができるとともに、連続した滑らかな動画表示を行うことができる画像処理方法及び装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の画像処理装置は、撮像部と、表示用画像生成部と、付加情報用画像生成部と、読取部と、付加情報記録部と、付加情報取得部と、付加情報重畳画像生成部と、表示器と、を備える。前記撮像部は、マーカーとともに被写体を撮影して、動画を構成する撮影画像を連続して取得する。前記表示用画像生成部は、前記撮影画像を取得する毎に、前記撮影画像に基づいて、動画表示時に被写体の動きを連続させるための表示用画像を生成する。前記付加情報用画像生成部は、前記撮影画像を取得する毎に、前記撮影画像に基づいて、前記表示用画像よりも被写体の表示ブレが小さく、前記表示用画像上に重畳する付加情報を取得するときに用いられる付加情報用画像を生成する。前記読取部は、前記付加情報用画像上の前記マーカーを読み取る。前記付加情報記録部には、前記マーカーごとに対応した付加情報が記録されている。前記付加情報取得部は、前記付加情報記録部に記録された複数の付加情報の中から、前記読取部で読み取ったマーカーに対応付けられた付加情報を検索して取得する。前記付加情報重畳画像生成部は、前記表示用画像上の前記マーカーの部分に、前記付加情報取得部で取得された付加情報を重畳した付加情報重畳画像を生成する。前記表示器は、前記付加情報重畳画像を表示する。なお、前記マーカーとしては、バーコード、ＱＲコード（登録商標）等を有するものが挙げられる。【００１０】
また、前記撮像部は、前記付加情報用画像の生成に適したシャッタスピードで撮影を行い、前記表示用画像生成部は、連続する前記表示用画像の間に表示する複数の表示用補間画像も生成することが好ましい。前記付加情報重畳画像生成部は、前記表示用補間画像上の前記マーカーの部分にも、前記付加情報取得部で取得された付加情報を重畳して、前記付加情報重畳画像を生成する。【００１１】
さらに、前記撮像部は、前記表示用画像の生成に適した第１シャッタスピードでの撮影と、前記第１シャッタスピードよりも高速で前記付加情報用画像の生成に適した第２シャッタスピードでの撮影とを交互に行うことが好ましい。前記表示用画像生成部は、前記第１シャッタスピード撮影で取得された撮影画像に基づいて前記表示用画像を生成する。前記付加情報用画像生成部は、前記第２シャッタスピード撮影で取得された撮影画像に基づいて前記付加情報用画像を生成する。【００１２】
また、前記撮像部は、前記表示用画像の生成に適した第１シャッタスピードでの撮影と、前記第１シャッタスピードよりも高速で前記付加情報用画像の生成に適した第２シャッタスピードでの撮影とを同時に行うことが好ましい。前記表示用画像生成部は、前記第１シャッタスピード撮影で取得された撮影画像に基づいて前記表示用画像を生成する。前記付加情報用画像生成部は、前記第２シャッタスピード撮影で取得された撮影画像に基づいて前記付加情報用画像を生成する。【００１３】
さらに、位置補正部を備えることが好ましい。前記位置補正部は、前記表示用画像及び付加情報用画像が生成されたそれぞれの時間の差に基づいて、前記表示用画像上の前記付加情報を重畳する位置を補正する。【００１４】
また、前記表示用画像生成部は、高解像度で動画表示に適した色表現の前記表示用画像を生成することが好ましい。前記付加情報用画像生成部は、前記表示用画像に比べて高いＳＮ比、及び広いダイナミックレンジを有する前記付加情報用画像を生成する。【００１５】
さらに、検出部と、判定部とを備えることが好ましい。前記検出部は、前記撮像部の移動速度を検出する。前記判定部は、前記検出部で検出された移動速度が、予め設定された閾値以下であるか否かを判定する。前記判定部で前記移動速度が前記閾値以下であると判定されたときには、前記付加情報用画像生成部は前記付加情報用画像を生成せず、前記読取部は、前記表示用画像内の前記マーカーを読み取る。【００１６】
また、マーカー移動速度検出部と、マーカー移動速度判定部とを備えることが好ましい。前記マーカー移動速度検出部は、前記マーカーの移動速度を検出する。前記マーカー移動速度判定部は、前記マーカー移動速度検出部で検出された移動速度が、予め設定された閾値以下であるか否かを判定する。前記マーカー移動速度判定部で前記移動速度が前記閾値以下であると判定されたときには、前記付加情報用画像生成部は前記付加情報用画像を生成せず、前記読取部は、前記表示用画像内の前記マーカーを読み取る。【００１７】
さらに、前記付加情報重畳画像を記録する付加情報重畳画像記録部を備えることが好ましい。【００１８】
本発明の画像処理方法は、撮像ステップと、表示用画像生成ステップと、付加情報用画像生成ステップと、読取ステップと、付加情報取得ステップと、付加情報重畳画像生成ステップと、表示ステップと、を備えることを特徴とする。前記撮像ステップは、マーカーとともに被写体を撮影して、動画を構成する撮影画像を連続して取得する。前記表示用画像生成ステップは、前記撮影画像を取得する毎に、前記撮影画像に基づいて、動画表示時に被写体の動きを連続させるための表示用画像を生成する。前記付加情報用画像生成ステップは、前記撮影画像を取得する毎に、前記撮影画像に基づいて、前記表示用画像よりも被写体の表示ブレが小さく、前記表示用画像上に重畳する付加情報を取得するときに用いられる付加情報用画像を生成する。前記読取ステップは、前記付加情報用画像上の前記マーカーを読み取る。前記付加情報取得ステップは、前記マーカーごとに対応した付加情報を記録した付加情報記録部の中から、前記読取部で読み取ったマーカーに対応付けられた付加情報を検索して取得する。前記付加情報重畳画像生成ステップは、前記表示用画像上の前記マーカーの部分に、前記付加情報取得部で取得された付加情報を重畳した付加情報重畳画像を生成する。前記表示ステップは、前記付加情報重畳画像を表示する。
【発明の効果】
【００１９】
本発明によれば、撮影画像に基づいて、付加情報の取得に適した付加情報用画像と、動画表示に適した表示用画像とを生成するから、付加情報を確実に取得することができるとともに、連続した滑らかな動画表示を行うことができる。【００２０】
また、１つの撮像部により取得した撮影画像に基づいて、付加情報用画像と表示用画像とを生成するから、付加情報用画像と表示用画像とを個別に取得するために２つの撮像部を設けるものに比べて、部品点数の増加を防止することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明を実施したデジタルカメラの正面斜視図である。
【図２】デジタルカメラの背面図である。
【図３】デジタルカメラの電気的構成を示すブロック図である。
【図４Ａ】現フレームのＡＲ取得用画像、表示用画像を示す説明図である。
【図４Ｂ】前フレームのＡＲ取得用画像、表示用画像を示す説明図である。
【図５Ａ】現フレームの表示用画像を示す説明図である。
【図５Ｂ】第１の表示用補間画像を示す説明図である。
【図５Ｃ】第２の表示用補間画像を示す説明図である。
【図５Ｄ】第３の表示用補間画像を示す説明図である。
【図５Ｅ】第４の表示用補間画像を示す説明図である。
【図５Ｆ】前フレームの表示用画像を示す説明図である。
【図６Ａ】現フレームのＡＲ重畳画像を示す説明図である。
【図６Ｂ】前フレームのＡＲ重畳画像を示す説明図である。
【図７Ａ】現フレームのＡＲ重畳画像を示す説明図である。
【図７Ｂ】第１のＡＲ重畳補間画像を示す説明図である。
【図７Ｃ】第２のＡＲ重畳補間画像を示す説明図である。
【図７Ｄ】第３のＡＲ重畳補間画像を示す説明図である。
【図７Ｅ】第４のＡＲ重畳補間画像を示す説明図である。
【図７Ｆ】前フレームのＡＲ重畳画像を示す説明図である。
【図８】ＡＲ重畳画像を表示するときの処理手順を示すフローチャートである。
【図９】低速シャッタスピード撮影と高速シャッタスピード撮影とを交互に行う第２実施形態におけるＡＲ重畳画像を表示する処理手順を示すフローチャートである。
【図１０】低速シャッタスピード撮影と高速シャッタスピード撮影とを同時に行う第３実施形態に係るデジタルカメラの電気的構成を示すブロック図である。
【図１１】第３実施形態においてＡＲ重畳画像を表示する処理手順を示すフローチャートである。
【図１２】ＡＲ画像を重畳する位置を補正する第４実施形態に係るデジタルカメラの電気的構成を示すブロック図である。
【図１３】第４実施形態においてＡＲ重畳画像を表示する処理手順を示すフローチャートである。
【図１４】カメラ移動速度に応じてシャッタスピードを変える第５実施形態に係るデジタルカメラの電気的構成を示すブロック図である。
【図１５】第５実施形態においてＡＲ重畳画像を表示する処理手順を示すフローチャートである。
【図１６】マーカー移動速度に応じてシャッタスピードを変える第６実施形態に係るデジタルカメラの電気的構成を示すブロック図である。
【図１７】第６実施形態におけるＡＲ取得用画像、表示用画像を示す説明図である。
【図１８】第６実施形態におけるＡＲ重畳画像を表示した状態を示す説明図である。
【図１９】第６実施形態においてＡＲ重畳画像を表示する処理手順を示すフローチャートである。
【発明を実施するための形態】
【００２２】
［第１実施形態］
図１に示すように、デジタルカメラ１０は、カメラ本体１０ａの前面に、レンズ鏡筒１１が設けられている。レンズ鏡筒１１には、撮像レンズ１２が組み込まれている。レンズ鏡筒１１は、デジタルカメラ１０が電源オフ状態にある際に、カメラ本体１０ａの内部に収納され、電源オン状態では、カメラ本体１０ａの前面から突出してワイド位置にセットされる。撮像レンズ１２として、変倍レンズ１２ａ、フォーカスレンズ１２ｂ（図３参照）を有するズームレンズが用いられる。
【００２３】
カメラ本体１０ａの前面には、フラッシュ発光部１５と、外部の音声をマイクロフォン６５（図３参照）に到達させるための集音開口１６とが設けられている。フラッシュ発光部１５は、ＣＰＵ４０（図３参照）によって作動され、被写体に向けてフラッシュ光を照射する。また、カメラ本体１０ａの上面には、電源ボタン１７、レリーズボタン１８等が設けられている。
【００２４】
デジタルカメラ１０は、静止画を撮影する静止画撮影モードと、例えば３０フレーム／秒で動画を撮影する動画撮影モードと、撮影した画像を再生表示する再生モードとが設けられている。動画撮影モードでは、レリーズボタン１８の全押しに伴って動画撮影が開始され、全押しの解除により終了する。
【００２５】
図２に示すように、カメラ本体１０ａの背面には、画像や各種設定条件が表示されるＬＣＤ２０、撮影条件の設定やモードの選択を行うためのメニューキー２１、撮像レンズ１２の倍率を変更するズームボタン２２が設けられている。ズームボタン２２の操作により、広角位置と望遠位置との間で変倍レンズ１２ａが移動され、画像の拡大及び縮小が行われる。また、カメラ本体１０ａの背面には、スピーカ６６（図３参照）から出力された音声を外部に発するスピーカ開口２５が設けられている。
【００２６】
図３に示すように、撮像レンズ１２の背後には、撮像レンズ１２を透過した被写体光が入射するカラーイメージセンサ、例えばＣＭＯＳセンサ３１が配置されている。このＣＭＯＳセンサ３１は、周知のように、被写体像を光電変換して時系列の３色信号を発生する。ＴＧ（タイミングジェネレータ）３３は、ＣＰＵ４０によって制御され、駆動タイミング信号を発生して、ＣＭＯＳセンサ３１を駆動する。このＣＭＯＳセンサ３１から発生された３色信号は、アナログ処理回路（図示せず）で３色信号のノイズ成分の除去と、増幅とが行われてから、Ａ／Ｄ変換器３２に送られる。
【００２７】
Ａ／Ｄ変換器３２は、３色信号をデジタル変換して３色画像データ（以下、単に画像データという）に変換する。ズーム用モータ３７ａ、フォーカス用モータ３７ｂは、モータドライバ（図示せず）を介してＣＰＵ４０により駆動され、変倍レンズ１２ａ、フォーカスレンズ１２ｂを移動してズーミングとフォーカシングとを行う。
【００２８】
ＣＰＵ４０には、周知のように、各種制御用のプログラムや設定情報などが記録されたＥＥＰＲＯＭ（図示せず）が接続されている。ＣＰＵ４０は、ＥＥＰＲＯＭ内のプログラムを読み取って、各部を制御する。本実施形態では、ＣＰＵ４０は、高速シャッタスピード撮影（例えば、１／２０００秒の露光時間）を行うように制御する。
【００２９】
画像入力コントローラ３８は、スルー画の表示中は、Ａ／Ｄ変換器３２からの画像データを、ビデオメモリ５１に送り、撮影中は、バッファメモリ５２に送る。
【００３０】
ＡＲ取得用画像生成部４１は、バッファメモリ５２内の撮影画像の画像データを取り込み、ＡＲ画像（付加情報）を取得するための現フレームのＡＲ取得用画像４４ａ（図４Ａ参照）を生成する。ＡＲ取得用画像生成部４１は、現フレームのＡＲ取得用画像４４ａを生成するときに、画素混合による高ＳＮ比処理を行うとともに、γ最適化による広ダイナミックレンジ処理を行う。これにより、現フレームのＡＲ取得用画像４４ａは、これらの処理を行わない画像に比べて、高いＳＮ比、及び広いダイナミックレンジを有する。本実施形態では、現フレームのＡＲ取得用画像４４ａは、主要被写体画像４６と、マーカー４３が設けられた柱画像４７とからなる。
【００３１】
ＡＲ取得用画像生成部４１からの現フレームのＡＲ取得用画像４４ａは、マーカー４３の特定画像パターン４３ａを読み取る画像パターン読取部４５に入力される。なお、本実施形態では、特定画像パターン４３ａは、２次元のデジタルコードから構成されている。
【００３２】
画像パターン読取部４５は、特定画像パターン４３ａを読み取るとともに、現フレームのＡＲ取得用画像４４ａにおけるマーカー４３の位置及びサイズを検出する。ＡＲ画像用メモリ４８には、特定画像パターン４３ａの種類ごとにそれぞれ対応付けられた複数のＡＲ動画データが記録されている。ＣＰＵ４０は、ＡＲ画像用メモリ４８内で、読み取った特定画像パターン４３ａが対応付けられたＡＲ動画データを検索する。
【００３３】
スルー画撮影では、解像度の低いスルー画の画像データがビデオメモリ５１に一時的に記録されている。このスルー画の画像データは、データバス３９を介してＬＣＤドライバ５３に送られ、スルー画がＬＣＤ２０に表示される。撮影時には、撮像された高解像度の画像データがバッファメモリ５２に一時的に記録される。表示用画像生成部４２は、バッファメモリ５２から読み出した高解像度の画像データに基づいて、高解像度で動画表示に適した色表現を再現する現フレームの動画表示用画像（以下、表示用画像）５０ａ（図５Ａ参照）を生成する。この現フレームの表示用画像５０ａは、主要被写体画像４６と、マーカー４３が設けられた柱画像４７とからなり、バッファメモリ５２に一時的に記録される。
【００３４】
また、表示用画像生成部４２は、現フレームの表示用画像５０ａ（図５Ａ参照）と、バッファメモリ５２に記録された１つ前のフレーム（前フレーム）の表示用画像５０ｂ（図５Ｆ参照）とを用いて、フレーム補間処理を行い、複数（例えば、４枚）の第１〜第４表示用補間画像５０ｃ〜５０ｆ（図５Ｂ〜図５Ｅ参照）を生成する。
【００３５】
表示用画像生成部４２は、フレーム補間を行うために、動き推定と動き補償を行う。先ず、動き推定を行うために、前フレームの表示用画像５０ｂを細かいブロック（例えば、２０ブロック）に分割し、各ブロックが現フレームの表示用画像５０ａのどこにあるかを検索する（ブロックマッチングをとる）。この検索結果に基づいて、各ブロックが、どの方向に、どの程度移動しているかを検出して、動きベクトルを算出する。
【００３６】
次に、表示用画像生成部４２は、動き補償を行うために、図５Ａに示す現フレームの表示用画像５０ａと、図５Ｆに示す前フレームの表示用画像５０ｂとの間に何枚のフレーム補間画像を表示するか（補間間隔）を決定する。そして、動きベクトル量を補間間隔（例えば、４枚）に応じて等分して、各フレームでの補償量を算出する。これを、各ブロックで行い、図５Ｂ〜図５Ｅに示すように、算出された補償量だけ各ブロックを移動させた第１〜第４表示用補間画像５０ｃ〜５０ｆを生成する。本実施形態では、現フレームの表示用画像５０ａと前フレームの表示用画像５０ｂとの間に、第１〜第４表示用補間画像５０ｃ〜５０ｆを生成及び表示するため、前フレームと現フレームとの間の動きベクトルを５等分した量が、各フレームでの補償量となる。
【００３７】
図６Ａに示すように、ＣＰＵ４０は、読み取った特定画像パターン４３ａに応じて検索した１フレーム分のＡＲ動画データを、現フレームのＡＲ画像４９ａに変換する。ＣＰＵ４０は、画像パターン読取部４５で検出されたマーカー４３のサイズに基づいて現フレームのＡＲ画像４９ａのサイズを変更する。本実施形態では、現フレームのＡＲ画像４９ａのサイズは、マーカー４３とほぼ同じサイズにしている。なお、変更後の現フレームのＡＲ画像４９ａのサイズは適宜変更可能であり、例えば、ＬＣＤ２０の高さに応じたサイズに変更してもよい。
【００３８】
ＡＲ画像重畳部５４は、現フレームのＡＲ画像４９ａを現フレームの表示用画像５０ａのマーカー４３の部分に重畳（合成）した現フレームのＡＲ重畳画像５５ａを生成する。この現フレームのＡＲ重畳画像５５ａは、ＬＣＤ２０に表示されるとともに、メモリコントローラ５６によって制御されるデータリーダにより、メモリカード５７に記録される。図６Ｂに示すように、前フレームの表示用画像５０ｂに前フレームのＡＲ画像４９ｂが重畳された前フレームのＡＲ重畳画像５５ｂは、メモリカード５７に記録されている。
【００３９】
ＡＲ画像重畳部５４は、表示用画像生成部４２での各表示用補間画像５０ｃ〜５０ｆの生成と同様に、画像入力コントローラ３８から新たなフレーム（現フレーム）の画像データがバッファメモリ５２に入力されたときに、この現フレームのＡＲ重畳画像５５ａ（図７Ａ参照）と、メモリカード５７に記録された前フレームのＡＲ重畳画像５５ｂ（図７Ｆ参照）との間に位置する４枚の第１〜第４ＡＲ補間画像４９ｃ〜４９ｆを生成する。そして、これらの第１〜第４ＡＲ補間画像４９ｃ〜４９ｆを第１〜第４表示用補間画像５０ｃ〜５０ｆに重畳した第１〜第４ＡＲ重畳補間画像５５ｃ〜５５ｆを生成する。この画像処理を連続して行うことにより、１秒間に１５０コマのＡＲ付加動画が生成される。このＡＲ付加動画は、高速シャッタスピード（１／２０００秒の露光時間）で撮影しながらも、低速シャッタスピード（例えば、１／６０秒の露光時間）の撮影で得た１秒間に３０コマの動画のように、動画表示時に被写体が連続して滑らかに表示される。第１〜第４ＡＲ重畳補間画像５５ｃ〜５５ｆは、メモリコントローラ５６を介してメモリカード５７に記録される。なお、メモリカード５７に代えて、メモリスティック等の着脱自在な外部記録媒体を用いてもよい。
【００４０】
図３に戻って、測光・測距部６１は、スルー画の画像データに基づいて、撮影される被写体の輝度、および被写体までの距離を検出し、この検出結果からホワイトバランス補正量、およびレンズ合焦距離を決定する。測光・測距部６１は、スルー画の表示中は所定のサイクルで作動している。なお、被写体距離は、周知の位相差検出によって測定することができる。
【００４１】
測光・測距部６１は、輝度および被写体距離の検出結果をＣＰＵ４０に逐次送信する。ＣＰＵ４０は、測光・測距部６１からのレンズ合焦距離に基づいて、フォーカスレンズ１２ｂを移動させる。また、ＣＰＵ４０は、測光・測距部６１からの輝度に基づいて、ＣＭＯＳセンサ３１のシャッタスピード（電荷蓄積時間）及びフラッシュ発光部１５の動作を制御する。
【００４２】
バッテリ５８は、デジタルカメラ１０の内部に収納され、ＬＣＤ２０やＣＰＵ４０などの各部へ電力を供給する。バッテリ５８の制御回路（図示せず）によって各部への電力供給が制御される。
【００４３】
マイクロフォン６５は、音を音声データ（電気信号）に変換するトランスデューサ（図示せず）を備え、動画撮影時にシーンの音を集音し、集音した音を音声データに変換する。この音声データは、各画像５５ａ〜５５ｆと一緒にメモリカード５７に記録される。スピーカ６６は、動画再生時に、記録された音声データを出力する。
【００４４】
次に、上記第１実施形態の作用について、図８のフローチャートを参照して説明する。動画撮影モードにセットしてからレリーズボタン１８を全押しして、高速シャッタスピード（１／２０００秒の露光時間）での動画撮影を行う（ステップ（以下、Ｓ）１）。得られた画像データは、バッファメモリ５２を介してＡＲ取得用画像生成部４１、表示用画像生成部４２に入力される（Ｓ２）。ＡＲ取得用画像生成部４１は、画像データに対して、高ＳＮ比処理及び広ダイナミックレンジ処理を行って現フレームのＡＲ取得用画像４４ａを生成する（Ｓ３）。この現フレームのＡＲ取得用画像４４ａは、画像パターン読取部４５に入力される。ここでは、撮影開始直後の第１フレームの画像データ（前フレームのＡＲ重畳画像５５ｂ）が存在する状態での第２フレーム以降の画像処理について説明する。
【００４５】
これと同時に、表示用画像生成部４２は、新たに入力された現フレームの高解像度の画像データに基づいて、図５Ａに示す現フレームの表示用画像５０ａを生成する（Ｓ４）。そして、表示用画像生成部４２は、現フレームの表示用画像５０ａと、バッファメモリ５２に記録された、図５Ｆに示す前フレームの表示用画像５０ｂとを用いて、フレーム補間処理を行い、動画表示時に被写体が連続して滑らかに表示されるようにするための４枚の第１〜第４表示用補間画像５０ｃ〜５０ｆを生成する（Ｓ５）。この作成後に、現フレームの表示用画像５０ａは、前フレームの表示用画像５０ｂとしてバッファメモリ５２に記録される。
【００４６】
画像パターン読取部４５で現フレームのＡＲ取得用画像４４ａ上の特定画像パターン４３ａが読み取られると（Ｓ６でＹ）、現フレームのＡＲ取得用画像４４ａにおけるマーカー４３の位置及びサイズが検出され、現フレームのＡＲ画像４９ａの重畳位置が決定される（Ｓ７）。本実施形態では、現フレームのＡＲ画像４９ａの重畳位置は、マーカー４３の表示部分となる。現フレームのＡＲ取得用画像４４ａは、高速シャッタスピード撮影により得られた画像データを用いて生成され、さらには、高ＳＮ比処理及び広ダイナミックレンジ処理されている。これにより、上記各処理が施されていない画像や、低速シャッタスピード撮影により得られた画像データを用いて生成した画像に比べて、特定画像パターン４３ａの読取精度が向上する。
【００４７】
ＣＰＵ４０は、ＡＲ画像用メモリ４８内で、画像パターン読取部４５で読み取った特定画像パターン４３ａが対応付けられたＡＲ動画データを検索する（Ｓ８）。ＣＰＵ４０は、検索した１フレーム分のＡＲ動画データをＡＲ画像用メモリ４８から読み出し、画像パターン読取部４５で検出されたマーカー４３のサイズに基づいて、マーカー４３とほぼ同じサイズの現フレームのＡＲ画像４９ａに変換する（Ｓ９）。
【００４８】
ＡＲ画像重畳部５４は、現フレームのＡＲ画像４９ａと、前フレームのＡＲ画像４９ｂとの間に表示するための４枚の第１〜第４ＡＲ補間画像４９ｃ〜４９ｆを生成する（Ｓ１０）。ＡＲ画像重畳部５４は、現フレームのＡＲ画像４９ａ及び第１〜第４ＡＲ補間画像４９ｃ〜４９ｆを、現フレームの表示用画像５０ａ及び第１〜第４表示用補間画像５０ｃ
〜５０ｆのマーカー４３の部分に重畳する。この重畳により、図７Ａ〜図７Ｅに示すように、現フレームのＡＲ重畳画像５５ａ、第１〜第４ＡＲ重畳補間画像５５ｃ〜５５ｆが生成される（Ｓ１１）。そして、前フレームのＡＲ重畳画像５５ｂ、第４ＡＲ重畳補間画像５５ｆ、第３ＡＲ重畳補間画像５５ｅ、第２ＡＲ重畳補間画像５５ｄ、第１ＡＲ重畳補間画像５５ｃ、現フレームのＡＲ重畳画像５５ａの順にＬＣＤ２０に表示されるとともに、これらは、メモリコントローラ５６を介してメモリカード５７に記録される（Ｓ１２）。
【００４９】
撮影を終了していないとき（Ｓ１３でＮ）には、再度Ｓ１以降が実行され、この画像処理を各フレームに対して連続して行うことにより、ＡＲ付加動画が生成、表示及び記録される。
【００５０】
一方、現フレームのＡＲ取得用画像４４ａ上に特定画像パターン４３ａがないため、画像パターン読取部４５で特定画像パターン４３ａが読み取れなかった場合（Ｓ６でＮ）、各表示用画像５０ａ，５０ｂ及び第１〜第４表示用補間画像５０ｃ〜５０ｆがＬＣＤ２０に表示されるとともにメモリカード５７に記録される（Ｓ１４）。
【００５１】
なお、撮影開始直後の第１フレームの画像データ取得時には、Ｓ１０が行われず、Ｓ１１では、ＡＲ画像重畳部５４は、現フレームのＡＲ画像４９ａを現フレームの表示用画像５０ａのマーカー４３の部分に重畳し、現フレームのＡＲ重畳画像５５ａを生成する。
【００５２】
［第２実施形態］
図９に示す第２実施形態は、低速シャッタスピード撮影（例えば、１／６０秒の露光時間）と高速シャッタスピード撮影（例えば、１／２０００秒の露光時間）とが１フレームごとに交互に行われる。なお、第１実施形態と同じものには同じ符号を付し、その説明を省略する。
【００５３】
動画撮影モードでレリーズボタン１８が全押しされると、ＣＰＵ４０は、低速シャッタスピード撮影と高速シャッタスピード撮影とを交互に行うように制御する。本実施形態では、最初に低速シャッタスピード撮影を行い、次に高速シャッタスピード撮影を行い、以降、交互に撮影を行う。
【００５４】
画像入力コントローラ３８は、高速シャッタスピード撮影時に得られた画像データ（以下、高速画像データ）と、低速シャッタスピード撮影時に得られた画像データ（以下、低速画像データ）とをバッファメモリ５２に入力する。ＣＰＵ４０は、高速画像データをＡＲ取得用画像生成部４１に入力し、低速画像データを表示用画像生成部４２に入力する。
【００５５】
ＡＲ取得用画像生成部４１は、高速画像データに対して、高ＳＮ比処理及び広ダイナミックレンジ処理を行って現フレームのＡＲ取得用画像４４ａを生成する。この現フレームのＡＲ取得用画像４４ａは画像パターン読取部４５に入力される。ＡＲ取得用画像生成部４１は、低速画像データに対しては、現フレームのＡＲ取得用画像４４ａを作成しないので、低速シャッタスピードのフレームでは、直前に生成した前フレームのＡＲ取得用画像４４ｂを現フレームのＡＲ取得用画像４４ａとして再度使用する。これにより、１秒間に３０フレーム分のＡＲ取得用画像４４ａ，４４ｂが生成される。
【００５６】
表示用画像生成部４２は、低速画像データに対して、高解像度で動画表示に適した色表現を再現するための各種画像処理を行い、現フレームの表示用画像５０ａを生成する。表示用画像生成部４２は、高速シャッタスピードのフレームでは、現フレームの表示用画像５０ａを作成しないので、直前に生成した前フレームの表示用画像５０ｂを、現フレームの表示用画像５０ａとして再度使用する。これにより、１秒間に３０フレーム分の表示用画像５０ａ，５０ｂが生成される。なお、本実施形態では、各表示用補間画像５０ｃ〜５０ｆ、各ＡＲ補間画像４９ｃ〜４９ｆ、各ＡＲ重畳補間画像５５ｃ〜５５ｆの生成及び表示は行わない。
【００５７】
また、撮影開始時に最初に低速シャッタスピード撮影を行うので、直前に生成された前フレームのＡＲ取得用画像４４ｂがなく、ＡＲ動画データの検索及び現フレームのＡＲ画像４９ａの重畳を行うことができない。そこで、現フレームの表示用画像５０ａもＬＣＤ２０に表示しない。なお、現フレームの表示用画像５０ａのみをＬＣＤ２０に表示してもよい。
【００５８】
次に、上記第２実施形態の作用について、図９のフローチャートを用いて説明を行う。動画撮影モードでレリーズボタン１８を全押しすると、低速シャッタスピード撮影と高速シャッタスピード撮影とが交互に行われる（Ｓ１０１）。最初は低速シャッタスピード撮影であるから、低速画像データが得られる（Ｓ１０２でＹ）。この場合には、この低速画像データは表示用画像生成部４２に入力される（Ｓ１０３）。表示用画像生成部４２は、低速画像データに対して、高解像度で動画表示に適した色表現を再現するための各種画像処理を行い、現フレームの表示用画像５０ａを生成する（Ｓ１０４）。ＡＲ取得用画像生成部４１は、低速シャッタスピードのフレームでは、現フレームのＡＲ取得用画像４４ａを生成しないので、直前に生成した前フレームのＡＲ取得用画像４４ｂを、現フレームのＡＲ取得用画像４４ａとして再度使用する。
【００５９】
一方、高速シャッタスピード撮影により高速画像データが得られた場合（Ｓ１０２でＮ）には、この高速画像データはＡＲ取得用画像生成部４１に入力される（Ｓ１０５）。ＡＲ取得用画像生成部４１は、高速画像データに対して、高ＳＮ比処理及び広ダイナミックレンジ処理を行って現フレームのＡＲ取得用画像４４ａを生成する（Ｓ１０６）。この現フレームのＡＲ取得用画像４４ａは画像パターン読取部４５に入力される。表示用画像生成部４２は、高速シャッタスピードのフレームでは、現フレームの表示用画像５０ａを生成しないので、直前に生成した前フレームの表示用画像５０ｂを、現フレームの表示用画像５０ａとして再度使用する。なお、Ｓ１０７〜Ｓ１１０は、第１実施形態のＳ６〜Ｓ９と同様であるから、説明を省略する。
【００６０】
ＡＲ画像重畳部５４は、現フレームのＡＲ画像４９ａを、現フレームの表示用画像５０ａのマーカー４３の部分に重畳して、現フレームのＡＲ重畳画像５５ａを生成する（Ｓ１１１）。現フレームのＡＲ重畳画像５５ａは、ＬＣＤ２０に表示されるとともに、メモリカード５７に記録される（Ｓ１１２）。なお、Ｓ１１３及びＳ１１４は、第１実施形態のＳ１３及びＳ１４と同様であるから、説明を省略する。
【００６１】
［第３実施形態］
図１０及び図１１に示す第３実施形態のデジタルカメラ７０は、低速シャッタスピード撮影と高速シャッタスピード撮影とを同時に行う。なお、第１，第２実施形態と同じものには同じ符号を付し、その説明を省略する。
【００６２】
撮影レンズ１２の背後には、ＣＣＤセンサ（以下、ＣＣＤ）７１が配置されている。このＣＣＤ７１は、低速シャッタスピード撮影と高速シャッタスピード撮影とを同時に行うことができるＣＣＤ、例えば、スーパーＣＣＤハニカム（登録商標）ＥＸＲ（商品名）から構成されている。動画撮影モードでレリーズボタン１８が全押しされると、ＣＣＤ７１のセル毎にシャッタ速度（電荷蓄積時間）を考えて、低速シャッタスピード撮影と高速シャッタスピード撮影とを同時に行う。
【００６３】
ＣＣＤ７１から読み出された時系列の３色信号は、相関二重サンプリング回路（ＣＤＳ）７２に送られ、ノイズ成分が除去され、各セルの蓄積電荷量に正確に対応した３色信号に変換される。ＣＤＳ７２から出力された３色信号は、ＩＳＯ感度に応じて増幅器（ＡＭＰ）７３で増幅され、Ａ／Ｄ変換器３２で画像データに変換される。
【００６４】
画像入力コントローラ３８は、セルの種類に応じて画像データを振り分け、高速画像データと低速画像データを作成する。この２種類の画像データは、バッファメモリ５２を介してから、高速画像データがＡＲ取得用画像生成部４１に送られ、低速画像データが表示用画像生成部４２に送られる。
【００６５】
ＡＲ取得用画像生成部４１は、高速画像データに基づいて現フレームのＡＲ取得用画像４４ａを生成して、画像パターン読取部４５に入力する。表示用画像生成部４２は、低速画像データに対して各種画像処理を行い、現フレームの表示用画像５０ａを生成する。
【００６６】
次に、上記第３実施形態の作用について、図１１のフローチャートを参照して説明する。動画撮影モードでレリーズボタン１８を全押しすると、低速シャッタスピード撮影と高速シャッタスピード撮影とが同時に行われ、低速画像データ及び高速画像データが得られる（Ｓ２０１）。低速高速画像データは表示用画像生成部４２に入力され、高速画像データはＡＲ取得用画像生成部４１に入力される（Ｓ２０２）。
【００６７】
ＡＲ取得用画像生成部４１は、高速画像データに対して、高ＳＮ比処理及び広ダイナミックレンジ処理を行って現フレームのＡＲ取得用画像４４ａを生成する（Ｓ２０３）。この現フレームのＡＲ取得用画像４４ａは画像パターン読取部４５に入力される。
【００６８】
表示用画像生成部４２は、低速画像データに基づいて、現フレームの表示用画像５０ａを生成する（Ｓ２０４）。なお、Ｓ２０５〜Ｓ２１２は、第２実施形態のＳ１０７〜Ｓ１１４と同様であるから、説明を省略する。
【００６９】
［第４実施形態］
図１２及び図１３に示す第４実施形態のデジタルカメラ８０は、現フレームのＡＲ取得用画像４４ａ及び現フレームの表示用画像５０ａが生成されたそれぞれの時間の差に基づいて、ＡＲ画像の重畳位置を修正する。なお、第２実施形態と同じものには同じ符号を付し、その説明を省略する。
【００７０】
動画撮影モードでレリーズボタン１８が全押しされると、ＣＰＵ４０は、低速シャッタスピード撮影と高速シャッタスピード撮影とを交互に行う。高速シャッタスピード撮影が行われたときには、現フレームの表示用画像５０ａを生成しないので、直前に生成された前フレームの表示用画像５０ｂを現フレームの表示用画像５０ａとして再度使用する。また、高速画像データに基づいて生成した最新の現フレームのＡＲ取得用画像４４ａを用いて、現フレームのＡＲ画像４９ａの重畳位置（マーカー４３の位置）を決定する。撮影者が動いている場合等には、再度使用する前フレームの表示用画像５０ｂと現フレームのＡＲ取得用画像４４ａとで、マーカー４３の位置が異なる。このため、前フレームの表示用画像５０ｂ上のマーカー４３の位置と、上記のように決定された現フレームのＡＲ画像４９ａの重畳位置とでズレが生じ、決定された重畳位置にそのまま現フレームのＡＲ画像４９ａを重畳すると、マーカー４３とはズレた位置に現フレームのＡＲ画像４９ａが重畳される。
【００７１】
重畳位置補正部８１は、複数の高速画像データに基づいて、画像内の同じ特徴点の動きを検出して、特徴点の移動速度（ｍｍ／秒）を検出する。そして、重畳位置補正部８１は、特徴点の移動速度と、各フレーム間の時間（１／３０秒）との積で求められるＡＲ画像重畳位置の補正量を算出する。
【００７２】
ＡＲ画像重畳部５４は、現フレームのＡＲ画像４９ａを重畳して現フレームのＡＲ重畳画像５５ａを生成するときに、重畳位置補正部８１で算出された補正量分ずらした位置に現フレームのＡＲ画像４９ａを重畳する。
【００７３】
次に、上記第４実施形態の作用について、図１３のフローチャートを参照して説明する。動画撮影モードでレリーズボタン１８を全押しすると、低速シャッタスピード撮影と高速シャッタスピード撮影とが交互に行われる（Ｓ３０１）。なお、Ｓ３０２〜Ｓ３０７は、第２実施形態のＳ１０２〜Ｓ１０７と同様であるから、説明を省略する。
【００７４】
画像パターン読取部４５で現フレームのＡＲ取得用画像４４ａ上の特定画像パターン４３ａが読み取られると（Ｓ３０７でＹ）、現フレームのＡＲ取得用画像４４ａにおけるマーカー４３の位置及びサイズが検出され、ＡＲ画像の仮表示位置が算出される（Ｓ３０８）。
【００７５】
重畳位置補正部８１は、画像パターン読取部４５で特定画像パターン４３ａが検出される前に、複数の高速画像データを比較して、画像内の同じ特徴点の移動速度を検出する。そして、特徴点の移動速度と各フレーム間の時間（１／３０秒）との積で求められるＡＲ画像重畳位置の補正量を算出する（Ｓ３０９）。
【００７６】
ＣＰＵ４０は、ＡＲ画像用メモリ４８内の複数のＡＲ動画データの中から、読み取った特定画像パターン４３ａが対応付けられたＡＲ動画データを検索する（Ｓ３１０）。ＣＰＵ４０は、検索したＡＲ動画データの１フレームを、画像パターン読取部４５で検出されたマーカー４３のサイズに基づいて、マーカー４３とほぼ同じサイズの現フレームのＡＲ画像４９ａに変換する（Ｓ３１１）。
【００７７】
ＡＲ画像重畳部５４は、現フレームのＡＲ画像４９ａを重畳して現フレームのＡＲ重畳画像５５ａを生成するときに、重畳位置補正部８１で算出された補正量分、仮表示位置からずらした位置に現フレームのＡＲ画像４９ａを重畳して現フレームのＡＲ重畳画像５５ａを生成する（Ｓ３１２）。なお、Ｓ３１３〜Ｓ３１５は、第２実施形態のＳ１１２〜Ｓ１１４と同様であるから、説明を省略する。
【００７８】
［第５実施形態］
図１４及び図１５に示す第５実施形態のデジタルカメラ９０は、加速度センサ９１を備えている。加速度センサ９１は、デジタルカメラ９０の加速度を検出する。ＣＰＵ４０は、検出された加速度に基づいて、デジタルカメラ９０の移動速度（ｍｍ／秒）を算出し、このカメラ移動速度が閾値（例えば、１００ｍｍ／秒）以下であるか否かを判定する。ＣＰＵ４０は、動画撮影モードでレリーズボタン１８が全押しされたときに、カメラ移動速度が閾値以下であると判定した場合には、標準シャッタスピード撮影（例えば、１／６０秒の露光時間）を行う。
【００７９】
また、ＣＰＵ４０は、カメラ移動速度が閾値を超えていると判定した場合には、低速シャッタスピード撮影と高速シャッタスピード撮影とを交互に行う。なお、デジタルカメラ９０を持つ撮影者が止まっている状態で、且つ手ブレが小さいときには、カメラ移動速度が閾値以下であると判定される。また、撮影者が動いているときや、手ブレが大きいときには、カメラ移動速度が閾値を超えていると判定される。
【００８０】
標準シャッタスピード撮影を行ったときには、得られた画像データ（以下、標準画像データ）が表示用画像生成部４２に入力される。また、低速シャッタスピード撮影と高速シャッタスピード撮影とを交互に行ったときには、高速画像データがＡＲ取得用画像生成部４１に入力され、低速画像データが表示用画像生成部４２に入力される。
【００８１】
表示用画像生成部４２は、標準画像データまたは低速画像データに対して、各種画像処理を行い、現フレームの表示用画像５０ａを生成する。
【００８２】
ＡＲ取得用画像生成部４１は、低速シャッタスピード撮影と高速シャッタスピード撮影とを交互に行う場合は、高速画像データに基づいて現フレームのＡＲ取得用画像４４ａを生成する。他方、標準シャッタスピード撮影のときは、ＡＲ取得用画像生成部４１は現フレームのＡＲ取得用画像４４ａの生成処理を行わないから、現フレームの表示用画像５０ａを現フレームのＡＲ取得用画像４４ａと兼用する。この場合、画像パターン読取部４５は、現フレームの表示用画像５０ａ上の特定画像パターン４３ａを読み取るとともに、現フレームの表示用画像５０ａにおけるマーカー４３の位置及びサイズを検出する。
【００８３】
次に、上記第５実施形態の作用について、図１５のフローチャートを参照して説明する。加速度センサ９１はデジタルカメラ９０の加速度を検出する。ＣＰＵ４０は、検出された加速度に基づいてカメラ移動速度を算出する。このカメラ移動速度が閾値以下であるとき（Ｓ４０１でＹ）に、動画撮影モードでレリーズボタン１８が全押しされると、標準シャッタスピード撮影が行われる（Ｓ４０２）。標準画像データは、表示用画像生成部４２に入力される（Ｓ４０３）。表示用画像生成部４２は、標準画像データに基づいて現フレームの表示用画像５０ａを生成する。ＡＲ取得用画像生成部４１は、現フレームのＡＲ取得用画像４４ａの生成処理を行わずに、現フレームの表示用画像５０ａを現フレームのＡＲ取得用画像４４ａと兼用する（Ｓ４０４）。撮影者が止まっている状態で、且つ手ブレが小さくい場合も、カメラ移動速度が閾値以下であると判断される。この状態では、ＡＲ取得用画像生成部４１は作動しないため、画像処理時間が抑制され、消費電力も抑制される。
【００８４】
一方、カメラ移動速度が閾値を超えているとき（Ｓ４０１でＹ）に、レリーズボタン１８が全押しされると、低速シャッタスピード撮影と高速シャッタスピード撮影とが交互に行われる（Ｓ４０５）。なお、Ｓ４０６〜Ｓ４１８は、第２実施形態のＳ１０２〜Ｓ１１４と同様であるから、説明を省略する。
【００８５】
［第６実施形態］
図１６〜図１９に示す第６実施形態のデジタルカメラ１００は、マーカーの移動速度を検出するマーカー移動速度検出部１０１を備えている。マーカー移動速度検出部１０１は、複数のスルー画の画像データに基づいて、マーカー１０３の動きを検出してその移動速度（ｍｍ／秒）を検出する。本実施形態では、マーカー１０３が動く被写体である車に設けられている。ＣＰＵ４０は、検出されたマーカー移動速度が閾値（例えば、１００ｍｍ／秒）以下であるか否かを判定する。ＣＰＵ４０は、マーカー移動速度が閾値以下であると判定したときには、標準シャッタスピード撮影を行い、マーカー移動速度が閾値を超えていると判定したときには、低速シャッタスピード撮影と高速シャッタスピード撮影とを交互に行う。
【００８６】
標準画像データは表示用画像生成部４２に入力される。また、高速画像データはＡＲ取得用画像生成部４１に入力され、低速画像データは表示用画像生成部４２に入力される。
【００８７】
表示用画像生成部４２は、標準画像データまたは低速画像データに対して、各種画像処理を行い、現フレームの表示用画像１１０（図１７参照）を生成する。
【００８８】
高速シャッタスピード撮影が行われたときには、ＡＲ取得用画像生成部４１は、高速画像データに基づいて、現フレームのＡＲ取得用画像を生成する。一方、標準シャッタスピード撮影が行われたときには、ＡＲ取得用画像生成部４１は、現フレームのＡＲ取得用画像の生成処理を行わないから、現フレームの表示用画像１１０を現フレームのＡＲ取得用画像と兼用する。本実施形態では、現フレームのＡＲ取得用画像及び現フレームの表示用画像１１０は、主要被写体画像４６と、マーカー１０３が設けられた車画像１０６とからなる。
【００８９】
画像パターン読取部４５は、標準シャッタスピード撮影が行われたときには、現フレームの表示用画像１１０上の特定画像パターン１０３ａを読み取る。そして、現フレームの表示用画像１１０におけるマーカー１０３の位置及びサイズを検出する。また、画像パターン読取部４５は、低速または高速シャッタスピード撮影が行われたときには、現フレームのＡＲ取得用画像上の特定画像パターン１０３ａを読み取る。そして、現フレームのＡＲ取得用画像におけるマーカー１０３の位置及びサイズを検出する。ＣＰＵ４０は、ＡＲ画像用メモリ４８内の複数のＡＲ動画データの中から、読み取った特定画像パターン１０３ａが対応付けられたＡＲ動画データを検索する。
【００９０】
図１８に示すように、ＣＰＵ４０は、検索したＡＲ動画データの１フレームを、画像パターン読取部４５で検出されたマーカー１０３のサイズに基づいて、現フレームのＡＲ画像１１３に変換する。本実施形態では、マーカー１０３とほぼ同じサイズの現フレームのＡＲ画像１１３に変換する。
【００９１】
ＣＰＵ４０は、現フレームのＡＲ画像１１３を現フレームの表示用画像１１０のマーカー１０３の部分に重畳した現フレームのＡＲ重畳画像１１５を生成する。この現フレームのＡＲ重畳画像１１５は、ＬＣＤ２０に表示されるとともに、前フレームのＡＲ重畳画像としてメモリカード５７に記録される。
【００９２】
次に、上記第６実施形態の作用について、図１９のフローチャートを参照して説明する。マーカー移動速度検出部１０１は、複数のスルー画の画像データに基づいて、マーカー１０３の移動速度（マーカー１０３が設けられた車画像１０６の移動速度）を検出する。このマーカー移動速度が閾値以下であるとき（Ｓ５０１でＹ）に、動画撮影モードでレリーズボタン１８が全押しされると、標準シャッタスピード撮影が行われる（Ｓ５０２）。標準画像データは、表示用画像生成部４２に入力される（Ｓ５０３）。表示用画像生成部４２は、標準画像データに基づいて現フレームの表示用画像１１０を生成する。ＡＲ取得用画像生成部４１は、ＡＲ取得用画像１０５の生成処理を行わないから、現フレームの表示用画像１１０を現フレームのＡＲ取得用画像と兼用する（Ｓ５０４）。マーカー移動速度が小さいときには、ＡＲ取得用画像生成部４１は作動しないから、画像処理時間が抑制され、消費電力も抑制される。
【００９３】
一方、マーカー移動速度が閾値を超えているとき（Ｓ５０１でＮ）には、低速シャッタスピード撮影と高速シャッタスピード撮影とが交互に行われる（Ｓ５０５）。なお、Ｓ５０６〜Ｓ５１８は、第２実施形態のＳ１０２〜Ｓ１１４と同様であるから、説明を省略する。
【００９４】
なお、上記実施形態では、デジタルカメラについて説明しているが、デジタルカメラ及びパソコン等から構成される画像記録装置（システム）にも、本発明を適用することができる。この場合、撮像部としてのデジタルカメラで撮像された撮影画像に基づいて、パソコンで、表示用画像の生成、付加情報用画像の生成、特定画像パターンの読み取り、付加情報の取得、付加情報重畳画像の生成を行う。さらには、本発明は、カメラ付き携帯電話やカメラ付きヘッドマウントディスプレイ装置等にも、本発明を適用することができる。
【００９５】
また、本発明は、メモリカード等の記録媒体に記録される動画に限らず、ライブビュー等の動画にも適用することができる。
【００９６】
また、上記実施形態では、ＡＲ画像用メモリに、複数のＡＲ動画データを記録しておき、これら複数のＡＲ動画データの中から、読み取った特定画像パターンが対応付けられた１フレームを検索しているが、サーバに複数のＡＲ動画データを記録しておき、サーバにアクセスして、読み取った特定画像パターンが対応付けられたＡＲ画像を取得してもよい。
【００９７】
さらに、上記実施形態では、ＡＲ画像としてイラストを表示しているが、文字や記号を表示してもよい。
【符号の説明】
【００９８】
４３，１０３  マーカー
４４ａ  現フレームのＡＲ取得用画像
４４ｂ  前フレームのＡＲ取得用画像
４６  主要被写体画像
４７  柱画像
４９ａ，１１３  現フレームのＡＲ画像
４９ｂ  前フレームのＡＲ画像
４９ｃ〜４９ｆ  第１〜第４ＡＲ補間画像
５０ａ，１１０  現フレームの表示用画像
５０ｂ  前フレームの表示用画像
５０ｃ〜５０ｆ  第１〜第４表示用補間画像
５５ａ，１１５  現フレームのＡＲ重畳画像
５５ｂ  前フレームのＡＲ重畳画像
５５ｃ〜５５ｆ  第１〜第４ＡＲ重畳補間画像
【図１】
2012002149.tif 000003
【図２】
2012002149.tif 000004
【図３】
2012002149.tif 000005
【図４Ａ】
2012002149.tif 000006
【図４Ｂ】
2012002149.tif 000007
【図５Ａ】
2012002149.tif 000008
【図５Ｂ】
2012002149.tif 000009
【図５Ｃ】
2012002149.tif 000010
【図５Ｄ】
2012002149.tif 000011
【図５Ｅ】
2012002149.tif 000012
【図５Ｆ】
2012002149.tif 000013
【図６Ａ】
2012002149.tif 000014
【図６Ｂ】
2012002149.tif 000015
【図７Ａ】
2012002149.tif 000016
【図７Ｂ】
2012002149.tif 000017
【図７Ｃ】
2012002149.tif 000018
【図７Ｄ】
2012002149.tif 000019
【図７Ｅ】
2012002149.tif 000020
【図７Ｆ】
2012002149.tif 000021
【図８】
2012002149.tif 000022
【図９】
2012002149.tif 000023
【図１０】
2012002149.tif 000024
【図１１】
2012002149.tif 000025
【図１２】
2012002149.tif 000026
【図１３】
2012002149.tif 000027
【図１４】
2012002149.tif 000028
【図１５】
2012002149.tif 000029
【図１６】
2012002149.tif 000030
【図１７】
2012002149.tif 000031
【図１８】
2012002149.tif 000032
【図１９】
2012002149.tif 000033
【国際調査報告】
2012002149.tif 000034
2012002149.tif 000035
2012002149.tif 000036
2012002149.tif 000037