(57)【要約】【課題】  単調になり易い動画等の画像データを再生に、画像データに各種の演出用の画像処理を付加して価値の高い画像再生を可能とすること。【解決手段】  撮像により取得された画像データを表示する表示部と、撮像により取得された画像データを記録すると共に、当該画像データの取得と共に録音される撮像時の音声データを記録するデータ記録部と、撮像時のシーンモードを設定するシーンモード設定部と、シーンモード設定部により設定されたシーンモードに応じてデータ記録部に記録されている音声データ中から検出対象の音の少なくとも発生時刻を解析する音声解析部と、音声解析部の解析により取得された音声解析データに従って画像データに対して撮像時のシーンモードに応じた各種の演出用画像処理を行う画像処理部とを具備し、画像処理部の演出用画像処理により得られた画像データを表示部に表示する記録再生装置である。【選択図】図１
2012191502.tif 000002
【特許請求の範囲】
【請求項１】
撮像により取得された画像データを記録すると共に、当該画像データの取得と共に録音される前記撮像時の音声データを記録するデータ記録部と、
前記撮像時のシーンモードを設定するシーンモード設定部と、
前記シーンモード設定部により設定された前記シーンモードに応じて前記データ記録部に記録されている前記音声データから検出対象の音の少なくとも発生時刻を解析する音声解析部と、
を具備することを特徴とする記録装置。
【請求項２】
前記音声解析部は、前記シーンモードに応じた種類の前記検出対象の音別に前記音声データを解析することを特徴とする請求項１記載の記録装置。
【請求項３】
前記音声解析部は、前記シーンモードの種類別に設定された前記検出対象の音の検出条件に従って前記音声データを解析することを特徴とする請求項２記載の記録装置。
【請求項４】
前記音声解析部は、複数チャネルの前記音声データ中の前記検出対象の音の少なくとも前記発生時刻を前記各チャネル別に解析することを特徴とする請求項１記載の記録装置。
【請求項５】
前記音声解析部は、前記シーンモードに応じた種類の前記検出対象の音別で、かつ前記シーンモードの種類別に設定された前記検出対象の音の検出条件に従って前記音声データを解析して前記検出対象の音の少なくとも発生時刻を取得することを特徴とする請求項１記載の記録装置。
【請求項６】
前記音声解析部の解析により取得された前記検出対象の音の少なくとも発生時刻に基づいて前記データ記録部に記録された前記画像データを再生するときに、前記シーンモードに応じた各種の演出用画像処理を前記画像データに付加するためのタイミングリストを作成する画像処理部、
を備えたことを特徴とする請求項１記載の記録装置。
【請求項７】
前記画像データは、動画データを含むことを特徴とする請求項１記載の記録装置。
【請求項８】
撮像により取得された画像データを表示する表示部と、
前記画像データの取得と共に収集される前記撮像時の音声データを解析して取得される検出対象の音の少なくとも発生時刻を含む音声解析データに従って前記表示部に表示中の前記画像データに対して前記撮像時のシーンモードに応じた各種の演出用画像処理を行う画像処理部と、
を具備し、
前記演出用画像処理により得られた前記画像データを前記表示部に表示することを特徴とする再生装置。
【請求項９】
前記シーンモードに応じて前記音声データ中の前記検出対象の音の少なくとも発生時刻を解析する音声解析部を有することを特徴とする請求項８記載の再生装置。
【請求項１０】
前記音声解析部は、前記画像データを前記表示部に再生表示するときに、前記音声データから前記検出対象の音の少なくとも発生時刻を解析することを特徴とする請求項８記載の再生装置。
【請求項１１】
前記音声解析部は、前記シーンモードの種類別に、前記検出対象の音と、当該検出対象の音を検出するための検出条件とが予め設定されていることを特徴とする請求項９記載の再生装置。
【請求項１２】
前記音声解析部は、前記検出対象の音の少なくとも発生時刻を前記画像データに添付することを特徴とする請求項９記載の再生装置。
【請求項１３】
前記画像処理部は、前記表示部への前記画像データの表示中に、前記検出対象の音の前記発生時刻に近付くと、前記画像データに対して前記シーンモードに応じた前記演出用画像処理を行って前記表示部に表示することを特徴とする請求項８又は９記載の再生装置。
【請求項１４】
前記画像処理部は、前記検出対象の音の前記発生時刻を含む前又は後の時間帯のうちいずれか一方又は両方の時間帯に前記演出用画像処理を行うことを特徴とする請求項１３記載の再生装置。
【請求項１５】
前記画像処理部は、前記シーンモードに応じた前記演出用画像処理として前記画像データに対して時間的変化、色の三要素の変化、又は空間的な大きさの変化のうち少なくとも１つの変化を含む画像処理を行うことを特徴とする請求項８又は９記載の再生装置。
【請求項１６】
前記画像処理部は、前記演出用画像処理として前記画像データによる動画を一時的に静止する処理と、前記動画の再生スピードを変化させる処理と、前記画像データの輝度を変化させる処理と、前記画像データを拡大・縮小する処理とのうち少なくとも１を含む処理を行うことを特徴とする請求項１５記載の再生装置。
【請求項１７】
前記画像データの取得と共に、音声を収集して前記音声データとして出力する少なくとも１つのマイクロフォーンを有し、
前記音声解析部は、前記マイクロフォーンから出力される前記検出対象の音の少なくとも前記発生時刻を解析する、
ことを特徴とする請求項８記載の再生装置。
【請求項１８】
前記マイクロフォーンは、２つ設けられ、
前記音声解析部は、前記２つのマイクロフォーンからそれぞれ出力される前記検出対象の各音の前記各発生時刻を解析すると共に、前記２つのマイクロフォーンのうち前記音声データに基づく音圧の大きい前記マイクロフォーンを解析する、
ことを特徴とする請求項１７記載の再生装置。
【請求項１９】
前記画像処理部は、前記音声解析部により解析された前記音圧の大きい前記マイクロフォーンに対応する前記画像データ中の画像部分に対して前記演出用画像処理を行うことを特徴とする請求項１８記載の再生装置。
【請求項２０】
前記画像処理部は、前記音声解析部により解析された前記音圧の大きい前記マイクロフォーン側に向かって前記画像データをスクロールすることを特徴とする請求項１７記載の再生装置。
【請求項２１】
撮像により取得された画像データを表示する表示部と、
撮像により取得された画像データを記録すると共に、当該画像データの取得と共に録音される前記撮像時の音声データを記録するデータ記録部と、
前記撮像時のシーンモードを設定するシーンモード設定部と、
前記シーンモード設定部により設定された前記シーンモードに応じて前記データ記録部に記録されている前記音声データ中から検出対象の音の少なくとも発生時刻を解析する音声解析部と、
前記音声解析部の解析により取得された前記音声解析データに従って前記画像データに対して前記撮像時のシーンモードに応じた各種の演出用画像処理を行う画像処理部と、
を具備し、
前記画像処理部の前記演出用画像処理により得られた前記画像データを前記表示部に表示する、
を具備することを特徴とする記録再生装置。
【請求項２２】
前記音声解析部は、前記シーンモードに応じた種類の前記検出対象の音別に前記音声データを解析することを特徴とする請求項２１記載の記録再生装置。
【請求項２３】
前記音声解析部は、前記シーンモードの種類別に設定された前記検出対象の音の検出条件に従って前記音声データを解析することを特徴とする請求項２２記載の記録再生装置。
【請求項２４】
前記音声解析部は、前記画像データを記録するときに、前記音声データから前記検出対象の音の少なくとも発生時刻を解析することを特徴とする請求項２１記載の記録再生装置。
【請求項２５】
前記音声解析部は、前記画像データを前記表示部に再生表示するときに、前記音声データから前記検出対象の音の少なくとも発生時刻を解析することを特徴とする請求項２１記載の記録再生装置。
【請求項２６】
前記音声解析部は、複数チャネルの前記検出対象の音の少なくとも前記発生時刻を前記各チャネル別に解析することを特徴とする請求項２１記載の記録再生装置。
【請求項２７】
前記音声解析部は、前記シーンモードに応じた種類の前記検出対象の音別で、かつ前記シーンモードの種類別に設定された前記検出対象の音の検出条件に従って前記音声データを解析して前記検出対象の音の少なくとも発生時刻を取得することを特徴とする請求項２１記載の記録再生装置。
【請求項２８】
前記画像処理部は、前記音声解析部の解析により取得された前記検出対象の音の少なくとも発生時刻に基づいて前記データ記録部に記録された前記画像データを再生するときに、前記シーンモードに応じた各種の演出用画像処理を前記画像データに付加するためのタイミングリストを作成することを特徴とする請求項２１記載の記録再生装置。
【請求項２９】
前記画像データは、動画データを含むことを特徴とする請求項２１記載の記録再生装置。
【請求項３０】
前記画像処理部は、前記表示部への前記画像データの表示中に、前記検出対象の音の前記発生時刻に近付くと、前記画像データに対して前記シーンモードに応じた前記演出用画像処理を行って前記表示部に表示することを特徴とする請求項２１記載の記録再生装置。
【請求項３１】
前記画像処理部は、前記検出対象の音の前記発生時刻を含む前又は後の時間帯のうちいずれか一方又は両方の時間帯に前記演出用画像処理を行うことを特徴とする請求項３０記載の記録再生装置。
【請求項３２】
前記画像処理部は、前記シーンモードに応じた前記演出用画像処理として前記画像データに対して時間的変化、色の三要素の変化、又は空間的な大きさの変化のうち少なくとも１つの変化を含む画像処理を行うことを特徴とする請求項２１記載の記録再生装置。
【請求項３３】
前記画像処理部は、前記演出用画像処理として前記画像データによる動画を一時的に静止する処理、前記動画の再生速度を変化させる処理、前記画像データの輝度を変化させる処理、前記画像データを拡大・縮小する処理のうち少なくとも１を含む処理を行うことを特徴とする請求項３２記載の記録再生装置。
【請求項３４】
前記音声解析部は、前記シーンモードの種類別に、前記検出対象の音と、当該前記検出対象の音を検出するための検出条件とが予め設定されていることを特徴とする請求項２１記載の記録再生装置。
【請求項３５】
前記音声解析部は、前記検出対象の音の少なくとも発生時刻を前記画像データに添付することを特徴とする請求項２１記載の記録再生装置。
【請求項３６】
前記画像データの取得と共に、音声を収集して前記音声データとして出力する少なくとも１つのマイクロフォーンを有し、
前記音声解析部は、前記マイクロフォーンから出力される前記音声データの少なくとも前記発生時刻を解析する、
ことを特徴とする請求項２１記載の記録再生装置。
【請求項３７】
前記マイクロフォーンは、２つ設けられ、
前記音声解析部は、前記２つのマイクロフォーンからそれぞれ出力される前記各音声データの前記各発生時刻を解析すると共に、前記２つのマイクロフォーンのうち前記音声データに基づく音圧の大きい前記マイクロフォーンを解析する、
ことを特徴とする請求項３６記載の記録再生装置。
【請求項３８】
前記画像処理部は、前記音声解析部により解析された前記音圧の大きい前記マイクロフォーンに対応する前記画像データ中の画像部分に対して前記演出用画像処理を行うことを特徴とする請求項３７記載の記録再生装置。
【請求項３９】
前記画像処理部は、前記音声解析部により解析された前記音圧の大きい前記マイクロフォーン側に向かって前記画像データをスクロールすることを特徴とする請求項３７記載の再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に演出を加えて再生することを可能とする記録装置、再生装置及び記録再生装置に関する。
【背景技術】
【０００２】
動画等の画像データの再生では、例えばレコーダにより音声データ等を使用して被写体の場面の盛り上がりを検出し、この盛り上がった場面の動画を重点的に再生する技術が知られている。又、動画等の画像データを再生する技術としては、音声のみを解析し、この解析結果に応じて動画の再生スピードを変化させるＤＶＤレコーダや、再生している静止画又は動画に音楽を演奏しているような雰囲気を付加する空オケ（歌のないオーケストラ）の装置等がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−４９７３号公報
【特許文献２】特開平８−１５３３５０号公報
【特許文献３】特開２０００−３５２９６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、動画等の画像データを再生するときに、盛り上がった場面の動画を重点的に再生したり、動画の再生スピードを変化させる、音楽を付加するなどでは、再生する動画等の画像データを鑑賞するのに単調になり易い。  
本発明の目的は、単調になり易い動画等の画像データを再生する時に、撮影画像データそのものに撮影時の状況に合った各種の演出用の画像処理を付加して価値の高い画像再生を可能とする記録装置、再生装置及び記録再生装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明の主要な局面に係る記録装置は、撮像により取得された画像データを記録すると共に、当該画像データの取得と共に録音される前記撮像時の音声データを記録するデータ記録部と、前記撮像時のシーンモードを設定するシーンモード設定部と、前記シーンモード設定部により設定された前記シーンモードに応じて前記データ記録部に記録されている前記音声データの少なくとも発生時刻を解析する音声解析部とを具備する。
【０００６】
本発明の主要な局面に係る再生装置は、撮像により取得された画像データを表示する表示部と、前記画像データの取得と共に収集される前記撮像時の音声データを解析して取得される少なくとも発生時刻を含む音声解析データに従って前記表示部に表示中の前記画像データに対して前記撮像時のシーンモードに応じた各種の演出用画像処理を行う画像処理部と、前記画像処理部の前記演出用画像処理により得られた前記画像データを前記表示部に表示する再表示部とを具備する。
【０００７】
本発明の主要な局面に係る記録再生装置は、撮像により取得された画像データを表示する表示部と、撮像により取得された画像データを記録すると共に、当該画像データの取得と共に録音される前記撮像時の音声データを記録するデータ記録部と、前記撮像時のシーンモードを設定するシーンモード設定部と、前記シーンモード設定部により設定された前記シーンモードに応じて前記データ記録部に記録されている前記音声データの少なくとも発生時刻を解析する音声解析部と、前記音声解析部の解析により取得された前記音声解析データに従って前記画像データに対して前記撮像時のシーンモードに応じた各種の演出用画像処理を行う画像処理部と、前記画像処理部の前記演出用画像処理により得られた前記画像データを前記表示部に表示する再表示部とを具備する。
【発明の効果】
【０００８】
本発明によれば、単調になり易い動画等の画像データを再生する時に、撮影画像データそのものに撮影時の状況に合った各種の演出用の画像処理を付加して価値の高い画像再生を可能とする記録装置、再生装置及び記録再生装置を提供できる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る記録再生装置の第１の実施の形態を示す構成図。
【図２】同装置における音声解析パラメータデータベースを示す摸式図。
【図３】同装置における動画ファイルのファイル構造を示す摸式図。
【図４】同装置における音情報解析結果リストが付加された動画ファイルを示す摸式図。
【図５】同装置における音情報解析結果リストを示す摸式図。
【図６】同装置におけるカメラ撮影モードの動作フローチャート。
【図７】同装置における撮影動作フローチャート。
【図８】同装置における再生動作フローチャート。
【図９】同装置における演出効果を付加する動画再生モードのフローチャート。
【図１０】本発明に係る記録再生装置の第２の実施の形態における撮影動作フローチャート。
【図１１】同装置における演出効果を付加する動画再生モードのフローチャート。
【図１２】本発明に係る記録再生装置の第３の実施の形態における音声解析パラメータデータベースを示す摸式図。
【図１３】同装置における音情報解析結果リストを示す摸式図。
【図１４】同装置における演出効果を付加する動画再生モードのフローチャート。
【図１５】本発明に係る記録再生装置の第４の実施の形態における音情報解析結果リストを示す摸式図。
【図１６】同装置における撮影動作フローチャート。
【図１７】同装置における動画再生モードのフローチャート。
【図１８】同装置における通常の動画データの再生と拡大縮小の演出効果を付加した動画データと対比を模式的に示す図。
【図１９】同装置における演出手法の変形例であるスポットライト効果の一例を示す図。
【発明を実施するための形態】
【００１０】
［第１の実施の形態］  
以下、本発明の第１の実施の形態について図面を参照して説明する。  
図１は記録再生装置の構成図を示す。レンズユニット１は、撮影レンズやフォーカスレンズを含み、被写体からの光をＣＣＤ等から成る撮像素子２に結像する。このレンズユニット１のフォーカスレンズは、アクチュエータ２の動作によって当該レンズユニット１の光軸方向に移動する。アクチュエータ駆動回路３は、アクチュエータ２を駆動してフォーカスレンズを光軸方向に移動させる。  
撮像素子４は、レンズユニット１により結像された被写体像を映像信号として出力する。撮像回路５は、撮像素子４から出力された映像信号のゲインを調整し、アナログ−デジタル変換し、画像データとして出力する。この撮像回路５から出力された画像データは、ＣＰＵ６に送られる。
【００１１】
このＣＰＵ６は、本装置における記録再生の一連の動作の制御を行う。このＣＰＵ６には、キーマトリクス７と、フレームメモリ８と、記録媒体９と、予め記録再生プログラム等を記憶するためのＥＥＰＲＯＭ１０と、フラッシュランプを含む発光回路１１と、本装置の周囲環境の音響をステレオで集音するためのステレオマイクロフォーン１２と、手振れ補正用ジャイロセンサ１３と、スピーカ１４と、ＬＣＤ表示回路１５と、ＴＦＴ液晶駆動回路１６と、映像出力回路１７と、バックライトユニット１８と、電源回路１９と、電池状態検出回路２０とが接続されている。
【００１２】
キーマトリクス７は、動画ボタン７−１と、レリーズボタン７−２とを備えると共に、その他に、例えば電源スイッチ、静止画の撮影モード等の各種動作モードの動作モードボタン、各種のシーンモードの設定用のボタン、バッテリー交換ボタン等を備える。動作モードボタンは、静止画の撮影モードや、動画の撮影モード、静止画の再生モード、動画の再生モード等を設定する。シーンモードの設定用のボタンは、例えばスポーツ、ポートレート、花火、風景、ペット等のシーンモードを設定する。又、キーマトリクス７は、再生モード時に、再生する静止画ファイル又は動画ファイルを選択するための再生選択ボタンを備える。
【００１３】
フレームメモリ８は、撮像回路５からＣＰＵ６に送られた画像データから１フレームの画像データを一時的に記憶する。  
記録媒体９は、ＣＰＵ６の画像処理により取得された例えば静止画ファイルや動画ファイル、音声ファイルを記録する。  
ＥＥＰＲＯＭ１０には、本装置における記録再生の一連の動作を制御するための記録再生プログラムが予め記憶されている。又、この記録再生プログラムは、撮像により取得された画像ファイルを記録すると共に、この画像ファイルの取得と共に録音される撮像時の音声ファイルを記録し、撮像時のシーンモードに応じて音声ファイルの少なくとも発生時刻を解析する。
【００１４】
発光回路１１は、フラッシュランプを閃光発光する。  
ステレオマイクロフォーン１２は、本装置の周囲環境の音響をステレオで集音するために例えば２つのマイクロフォーンを有する。
手振れ補正用ジャイロセンサ１３は、本装置に加えられる振動を検出し、その振動検出信号を出力する。  
スピーカ１４は、本装置の記録されている音声ファイル中の音声データを音響に変換出力する。  
ＬＣＤ表示回路１５には、例えばファインダ用の液晶ディスプレイ（ＬＣＤ）パネル２１が接続されている。このＬＣＤ表示回路１５は、ファインダ用のＬＣＤパネル２１にファインダ用の画像を表示する。  
薄型フィルムトランジスタ（ＴＦＴ）駆動回路１６には、表示部としてのＴＦＴパネル２２が接続されている。このＴＦＴ駆動回路１６は、ＣＰＵ６から送られてくる画像ファイルをＴＦＴパネル２２に表示するための表示データに変換してＴＦＴパネル２２に送り、このＴＦＴパネル２２に例えばスルー画像や、静止画ファイル中の静止画データ、動画ファイル中の動画データ等を表示する。  
映像出力回路１７は、ＣＰＵ６から送られてくる画像データを外部画像表示装置２３に送るための映像信号に変換する。この映像出力回路１７は、映像出力端子２４を介して外部画像表示装置２３に接続される。
【００１５】
バックライトユニット１８は、ＴＦＴパネル２２の背面側に配置され、バックライトユニット１８の背面側からバックライト光を照明する。  
電源回路１９は、ＣＰＵ６等の本装置の各回路に電力を供給する。この電源回路１９は、交換可能な電池２５が接続されている。電池状態検出回路２０は、電池２５の出力電圧を検出し、例えば電池２５の出力電圧が予め設定された電圧値以下になると、電圧低下の検出信号をＣＰＵ６に送る。又、電源回路１９には、バックアップ電源２６が接続されている。
【００１６】
ＥＥＰＲＯＭ１０には、音声解析パラメータのデータベースＶＤＢが形成されている。この音声解析パラメータデータベースＶＤＢには、音声解析パラメータが記憶されている。図２は音声解析パラメータデータベースＶＤＢの摸式図を示す。この音声解析パラメータデータベースＶＤＢには、例えばスポーツ、ポートレート、花火、風景、ペット等の各種シーンモードと、これらシーンモード毎に予め設定された各検出音と、これら検出音を解析するための各検出条件とを対応させて記憶する。例えば、シーンモードがスポーツであれば、検出音はピストル音と歓声とである。検出条件は、ピストル音に対して当該ピストル音を検出した時であり、歓声に対して一定以上の歓声の音量を検出した時である。
【００１７】
ＣＰＵ６は、例えば、静止画の撮影モード又は動画の撮影モードに応じた一連の撮影動作の制御や、静止画の再生モード又は動画の再生モードに応じた一連の再生動作の制御を行うもので、シーンモード設定部３０と、ファイル生成・管理部３１と、静止画記録・再生部３２と、動画記録・再生部３３と、音声解析部３４と、再生演出効果付加部３５と、演出タイミング管理部３６と、画像圧縮伸張部３７と、記録媒体アクセス部３８と、再表示部３９とを有する。  
シーンモード設定部３０は、キーマトリクス７のシーンモードの設定用のボタンにより設定されたシーンモード、例えばスポーツ、ポートレート、花火、風景又はペット等のシーンモードを読み取り、このシーンモードに応じた露光量等を設定して静止画又は動画の撮影動作等の制御を行う。
【００１８】
ファイル生成・管理部３１は、データ記録部として機能するもので、静止画又は動画の撮影動作時に、撮像素子４により撮像され、撮像回路５から出力される画像データに対してシーンモードを示すシーンパラメータＳｐ等を付加して静止画ファイル又は動画ファイルを生成し、これら静止画ファイル又は動画ファイルを記録媒体９に記録し、管理する。  
静止画記録・再生部３２は、静止画の撮影モード時、撮像素子４により撮像され、撮像回路５から出力される画像データを入力し、この画像データをＴＦＴ駆動回路１６によってＴＦＴパネル２２にスルー画像として表示し、レリーズボタン７−２が押し操作されると、この押し操作時に静止画の画像データを作成する。この静止画記録・再生部３２により作成された静止画の画像データは、ファイル生成・管理部３１によって静止画ファイルとして記録媒体９に記録される。この静止画ファイルは、シーンパラメータＳｐ等を記述するファイルヘッドと静止画の画像データとを含む。  
静止画記録・再生部３２は、静止画の再生モード時、記録媒体９に記録されている静止画ファイルを読み出し、この静止画ファイルに含まれる静止画の画像データをＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２に表示する。
【００１９】
動画記録・再生部３３は、動画ボタン７−１が押し操作された動画の撮影モード時、撮像素子４により撮像され、撮像回路５から出力される画像データを入力し、この画像データをＴＦＴ駆動回路１６によってＴＦＴパネル２２に動画として表示し、これと共に動画の画像データを作成する。この動画の画像データは、ファイル生成・管理部３１によってシーンパラメータＳｐ等を記述したファイルヘッダと共に動画ファイルとして記録媒体９に記録される。  
図３は動画ファイルのファイル構造の摸式図を示す。この動画ファイルＦａは、ファイルヘッダＦａ１と、動画データＦａ２とを有する。ファイルヘッダＦａ１には、シーンパラメータＳｐが含まれる。このシーンパラメータＳｐは、例えばスポーツ、ポートレート、花火、風景、ペット等の各種シーンモードのいずれか１つが記述される。
【００２０】
動画記録・再生部３３は、動画の撮影モード時、ステレオマイクロフォーン１２から出力されせる音声信号をデジタル変換して音声データを作成する。この動画記録・再生部３３により作成された音声データは、ファイル生成・管理部３１によって音声ファイルとして記録媒体９に記録される。このときファイル生成・管理部３１は、動画ファイル中の動画データを経過時間の情報と共に記録媒体９に記録し、かつ音声ファイル中の音声データを経過時間の情報と共に記録媒体９に記録する。  
動画記録・再生部３３は、動画の再生モード時、記録媒体９に記録されている動画ファイルＦａを読み出し、この動画ファイルＦａに含まれる動画データＦａ２をＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２に動画表示すると共に、記録媒体９に記録されている音声ファイルを読み出し、この音声ファイル中の音声データをスピーカ１４に送って動画記録時の音声を再生する。
【００２１】
音声解析部３４は、動画の再生モード時に、シーンモード設定部３０により設定されたシーンモードに応じて記録媒体９に記録されている音声ファイル中の音声データの少なくとも発生時刻を解析する。この音声解析部３４は、シーンモードに応じた種類の音声別に音声データを解析する。すなわち、音声解析部３４は、図２に示す音声解析パラメータデータベースＶＤＢの記憶されているシーンモードの種類別に設定された音声の検出条件に従って音声データを解析する。例えば、シーンモードがスポーツであれば、音声解析部３４は、音声データからピストル音と歓声とを検出する。このときの検出条件は、ピストル音に対して当該ピストル音を検出した時であり、歓声に対して一定以上の歓声の音量を検出した時である。なお、音声解析パラメータデータベースＶＤＢは、ＥＥＰＲＯＭ１０に記憶されているが、当該音声解析パラメータデータベースＶＤＢを用いるのは、音声解析部３４であるので、当該音声解析部３４に含まれるものとする。
【００２２】
再生演出効果付加部３５は、動画の再生モード時に、音声解析部３４の解析により取得された音声データに従って記録媒体９に記録されている動画ファイルＦａ中の動画データＦａ２に対して撮像時のシーンモードに応じた各種の演出用画像処理を付加する。ここで、シーンモードに応じた各種の演出用画像処理は、例えば、動画データＦａ２に対して時間的変化、色の三要素の変化、又は空間的な大きさの変化のうち少なくとも１つの変化を含む画像処理である。このうち動画データＦａ２に対する時間的変化は、例えば、当該動画データＦａ２を一時的に静止する画像処理、又は動画データＦａ２の再生速度を変化させる画像処理等である。色の三要素の変化は、例えば、動画データＦａ２の輝度を変化させる画像処理等である。動画データＦａ２の再生速度を変化させる処理は、例えば、動画データＦａ２を拡大・縮小する画像処理等である。
【００２３】
演出タイミング管理部３６は、動画の再生モード時に、音声解析部３４によって音声解析された音声データの発生時刻から成る音情報解析結果リストを作成し、この音情報解析結果リストを動画ファイルＦａに添付する。図４は動画ファイルＦａの摸式図を示す。この動画ファイルＦａは、フィルイヘッダＦａ１中に音情報解析結果リストＲが添付されている。この音情報解析結果リストＲは、音声解析部３４によって音声解析された音声データの発生時刻のリストが記録されている。
【００２４】
図５は音情報解析結果リストＲの摸式図を示す。この音情報解析結果リストＲは、各音声データ別に作成される。この音情報解析結果リストＲは、例えば動画の撮影により検出された音声データの検出タイミングを記録するための検出タイミングリストＲａを有する。この音情報解析結果リストＲは、例えば動画の撮影中に５回の音声データが発生している。例えば、シーンモードがスポーツであれば、ピストル音を検出した時と、一定以上の歓声の音量を検出した時とが合わせて動画の撮影中に５回あったことを示す。例えば、１回目のピストル音又は一定の音量以上の歓声を検出した検出タイミングの時刻（Ｎｏ．１）は、「０：００：０３．２０」である。このタイミングの時刻（Ｎｏ．１）は、動画の撮影開始の時刻「０：００：００：０．００」からの経過時間を示す。同図の音情報解析結果リストＲは、１つの動画ファイルＦａに対して添付されるもので、動画ファイルＦａが複数存在すれば、これら動画ファイルＦａ毎にそれぞれ音情報解析結果リストＲが添付される。
【００２５】
演出タイミング管理部３６は、ＴＦＴパネル２２に動画データＦａ２を動画表示中に、音情報解析結果リストＲに記録された音声データの発生時刻になると、この音声データの発生時刻から動画データＦａ２に対して演出用画像処理を開始し、予め設定された演出用時間、例えば２秒間を経過すると、演出用画像処理を終了する。  
従って、再生演出効果付加部３５は、演出タイミング管理部３６により作成された図５に示す音情報解析結果リストＲ中のタイミングの時刻、例えばＮｏ．１〜Ｎｏ．５のタイミングの時刻から予め設定された演出用時間、例えば２秒間経過するまで、動画ファイルＦａ中の動画データＦａ２に対して撮像時のシーンモードに応じた各種の演出用画像処理、例えば動画データＦａ２を一時的に静止する、動画データＦａ２の再生速度を変化させる、動画データＦａ２の輝度を変化させる、動画データＦａ２の再生速度を変化させる、又は動画データＦａ２を拡大・縮小する等の画像処理を付加する。
【００２６】
以上の再生演出効果付加部３５、演出タイミング管理部３６及び画像圧縮伸張部３７は、それぞれ動画ファイルＦａ中の動画データＦａ２に圧縮や伸張等の演出用画像処理を行って動画の動きに印象的な演出を与えるための演出効果を付加するためのものとなる。これら再生演出効果付加部３５、演出タイミング管理部３６及び画像圧縮伸張部３７は、それぞれＣＰＵ６の画像処理機能によって行われる。このＣＰＵ６の画像処理機能は、音声解析部３４の解析により取得された音声データに従って記録媒体９に記録されている動画ファイルＦａ中の動画データＦａ２に対して撮像時のシーンモードに応じた各種の演出用画像処理を行う。  
画像圧縮伸張部３７は、記録媒体９に記録されている動画ファイルＦａ中の動画データＦａ２に対して画像圧縮処理又は伸張処理を行う。  
記録媒体アクセス部３８は、記録媒体９に静止画ファイルや動画ファイル、音声ファイル等を記録し、かつ記録媒体９に記録されている静止画ファイルや動画ファイル、音声ファイル等を読み出す。  
再表示部３９は、再生演出効果付加部３５によって演出用画像処理が付加された動画データＦａ２をＴＦＴ駆動回路１６を介してＴＦＴパネル２２に再表示する。
【００２７】
次に、上記の如く構成された装置のカメラ撮影モードの動作について図６に示すカメラ撮影モードの動作フローチャートに従って説明する。  
電源が投入（ＯＮ）され、このときカメラ撮影モードが設定されていると、ＣＰＵ６は、ステップＳ１において、初期化を行い、ステップＳ２において、シーンモード設定部３０によりシーンモードの設定を行う。このシーンモード設定部３０は、キーマトリクス７のシーンモードの設定用のボタンに対するユーザの操作を受け、このシーンモードの設定用ボタンから入力された例えばスポーツ、ポートレート、花火、風景、又はペット等のシーンモードを設定する。
【００２８】
ＣＰＵ６は、ステップＳ３において、撮影を行うための待機状態となり、次のステップＳ４において、撮影動作を行うか否かを判断する。この判断の結果、撮影動作を行うのであれば、ＣＰＵ６は、ステップＳ５に移って撮影動作を行う。  
ＣＰＵ６は、ステップＳ６において、電源が遮断（ＯＦＦ）されたか否かを判断し、遮断（ＯＦＦ）されなければ、ステップＳ２に戻り、シーンモードの設定を行う。電源が遮断（ＯＦＦ）されると、ＣＰＵ６は、ステップＳ７に移り、電源遮断（ＯＦＦ）の処理を行う。
【００２９】
次に、本装置の撮影動作（上記ステップＳ５）について図７に示す撮影動作フローチャートに従って説明する。  
ＣＰＵ６は、ステップＳ１０において、レリーズボタン又は動画ボタンが押し操作（ＯＮ）されたか否かを判断する。この判断の結果、レリーズボタンが押し操作（ＯＮ）されると、ＣＰＵ６の静止画記録・再生部３２は、ステップＳ１１に移り、静止画の撮影を行う。この静止画の撮影では、撮像素子４は、レンズユニット１により結像された被写体像を映像信号として出力する。撮像回路５は、撮像素子４から出力された映像信号のゲインを調整し、このゲイン調整後の映像信号をアナログ−デジタル変換し、静止画の画像データとして出力する。この静止画の画像データは、ＣＰＵ６に送られる。このＣＰＵ６の静止画記録・再生部３２は、撮像回路５から出力される静止画の画像データを記録媒体９に記録する。
【００３０】
ファイル生成・管理部３１は、ステップＳ１２において、記録媒体９に記録された静止画の画像データとシーンモードの情報等から静止画ファイルを生成し、ステップＳ１３において、静止画ファイルを記録媒体９に記録し、管理する。なお、静止画記録・再生部３２は、静止画の撮影モード時、レリーズボタンが押し操作（ＯＮ）されていないとき、撮像素子４により撮像され、撮像回路５から出力される画像データをＴＦＴ駆動回路１６によってＴＦＴパネル２２にスルー画像として表示する。
【００３１】
一方、動画ボタンが押し操作（ＯＮ）されると、動画記録・再生部３３は、ステップＳ１０からステップＳ１４に移り、動画の撮影動作を開始する。この動画の撮影動作中において、撮像素子４は、レンズユニット１により結像された被写体像を映像信号として出力する。撮像回路５は、撮像素子４から出力された映像信号のゲインを調整し、このゲイン調整後の映像信号をアナログ−デジタル変換し、画像データとして出力する。この撮像回路５から出力された画像データは、ＣＰＵ６に送られる。このＣＰＵ６の動画記録・再生部３３は、ステップＳ１２において、撮像回路５から出力される画像データを１フレーム毎にフレームメモリ８に一時的に記憶してから順次記録媒体９に記憶する。これと共に、動画記録・再生部３３は、ステレオマイクロフォーン１２から出力される音声信号をアナログ−デジタル変換し、音声データを含む音声ファイルとして順次記録媒体９に記憶する。
【００３２】
動画記録・再生部３３は、動画の撮影動作中、ステップＳ１５において、再度、動画ボタンが押し操作（ＯＮ）されたか否かを判断する。この判断の結果、動画ボタンが再度押し操作（ＯＮ）されなければ、ＣＰＵ６は、動画の撮影を続ける。動画ボタンが再度押し操作（ＯＮ）されると、ＣＰＵ６は、ステップＳ１６に移り、動画の撮影動作を終了する。  
ファイル生成・管理部３１は、ステップＳ１７において、記録媒体９に記録された動画の画像データとシーンモードの情報等から図４に示すようなファイルヘッダＫａ１に例えばスポーツ、ポートレート、花火、風景、ペット等のシーンモードを示すシーンパラメータＳｐをファイルヘッダＦａ１に記述した動画ファイルＦａを生成し、この動画ファイルＦａをステップＳ１３において記録媒体９に記録し、管理する。
【００３３】
次に、本装置の再生動作について図８に示す再生動作フローチャートに従って説明する。  
電源が投入され、再生モードに設定されていると、ＣＰＵ６は、ステップＳ２０において、カメラの初期化を行い、次のステップＳ２１において、キーマトリクス７の再生選択ボタンの操作を受けて、再生を行う静止画ファイル又は動画ファイルの選択（再生コマ選択）を受ける。  
ＣＰＵ６は、ステップＳ２２において、キーマトリクス７に対する操作により静止画再生モード又は動画再生モードのいずれかが設定されたかを判断する。この判断の結果、静止画再生モードが選択されると、静止画記録・再生部３２は、ステップＳ２３において、静止画の再生モード時、記録媒体９に記録されている静止画ファイルを読み出し、この静止画ファイルに含まれる静止画の画像データをＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２に表示する。
【００３４】
一方、動画再生モードが選択されると、動画記録・再生部３３は、通常の動画の再生モード時、記録媒体９に記録されている動画ファイルＦａを読み出し、この動画ファイルＦａに含まれる動画データＦａ２をＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２に動画表示する。これと共に、動画記録・再生部３３は、記録媒体９に記録されている音声ファイルを読み出し、この音声ファイル中の音声データをスピーカ１４に送って動画記録時の音声を再生する。
【００３５】
ＣＰＵ６は、ステップＳ２５において、モードの変更があるか否かを判断し、例えばカメラ撮影モードへの変更があると、上記図６に示すカメラ撮影モードの動作フローチャートに移る。モードの変更がなければ、ＣＰＵ６は、ステップＳ２６において、電源が遮断（ＯＦＦ）されたか否かを判断し、遮断（ＯＦＦ）されなければ、ステップＳ２２に戻り、再び、再生を行う静止画ファイル又は動画ファイルの選択（再生コマ選択）を行う。電源が遮断（ＯＦＦ）されると、ＣＰＵ６は、ステップＳ２７に移り、電源遮断（ＯＦＦ）の処理を行う。
【００３６】
次に、演出効果を付加した動画再生モードの動作について図９に示す動画再生モードのフローチャートを参照して説明する。  
動画記録・再生部３３は、動画の再生モード時、ステップＳ３０において、記録媒体９に記録されている例えば図４に示すような動画ファイルＦａを読み出し、この動画ファイルＦａに含まれるシーンパラメータＳｐを読み込む。  
動画記録・再生部３３は、ステップＳ３１において、シーンパラメータＳｐから例えば図２に示す音声解析パラメータデータベースを参照してシーンパラメータＳｐに記述されているシーンモード、例えばシーンモードがスポーツであれば、当該スポーツに対応する検出音としてピストル音、歓声と、検出条件としてピストル音を検出したとき、歓声の音量が一定以上の音量を検出した時を設定する。
【００３７】
動画記録・再生部３３は、ステップＳ３２において、動画ファイルＦａに添付されている音声データを読み込む。
音声解析部３４は、ステップＳ３３において、動画ファイルＦａから読み込んだ音声データに対して例えば検出音としてピストル音、歓声で、これらピストル音、歓声を検出したときの音量が一定以上の音量を検出した時を検出条件としてピストル音、歓声が発生したときの時刻を解析する。この音声解析部３４は、例えば音声データの周波数成分からピストル音、歓声に対応する各周波数成分を検出し、かつこれら周波数成分の現れる時刻を検出する。
【００３８】
演出タイミング管理部３６は、ステップＳ３４において、音声解析部３４によって音声解析された音声データの発生時刻から成る音情報解析結果リストＲを作成し、この音情報解析結果リストＲを動画ファイルＦａに添付する。例えば、演出タイミング管理部３６は、例えば図５に示すような動画の撮影中に５回のピストル音や歓声が発生している各時刻を記録した音情報解析結果リストＲを作成する。この音情報解析結果リストＲは、ピストル音や一定の音量以上の歓声を検出した検出タイミングの時刻（Ｎｏ．１〜Ｎｏ．５）をリスト化している。これらピストル音や一定の音量以上の歓声を検出した検出タイミングの時刻（Ｎｏ．１〜Ｎｏ．５）は、５回である。
【００３９】
動画記録・再生部３３は、ステップＳ３５において、動画の再生モード時、記録媒体９に記録されている動画ファイルＦａを読み出し、この動画ファイルＦａに含まれる動画データＦａ２をＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２に動画の表示を開始する。これと共に、動画記録・再生部３３は、記録媒体９に記録されている音声ファイルを読み出し、この音声ファイル中の音声データをスピーカ１４に送って動画記録時の音声の再生を開始する。
【００４０】
演出タイミング管理部３６は、ステップＳ３６において、動画ファイルＦａに添付した音情報解析結果リストＲからピストル音や歓声が発生している検出タイミングの時刻（Ｎｏ．１〜Ｎｏ．５）になったか否かを判断する。この判断の結果、ピストル音や歓声が発生している検出タイミングの時刻（Ｎｏ．１）になると、演出タイミング管理部３６は、動画ファイルＦａの動画データＦａ２に演出効果を付加する旨を再生演出効果付加部３５に送る。
【００４１】
この再生演出効果付加部３５は、ピストル音や歓声が発生している検出タイミングの時刻（Ｎｏ．１）から予め設定された演出用時間の間に、動画ファイルＦａ中の動画データＦａ２に圧縮や伸張等の演出用画像処理を行って動画の動きに印象的な演出を与えるための演出効果を付加する。例えば、再生演出効果付加部３５は、検出タイミングの時刻（Ｎｏ．１）から予め設定された演出用時間の間に、動画データＦａ２の再生を一時停止し、当該動画データＦａ２を例えば拡大処理し、続いて縮小処理して元の画像サイズに戻す。この動画データＦａ２の拡大・縮小処理は、例えば予め設定された演出用時間、例えば２秒間で行う。この後、再生演出効果付加部３５は、再び、動画データＦａ２の再生を行う。
【００４２】
動画記録・再生部３３は、ステップＳ３８において、動画データＦａ２の再生が終了したか否かを判断する。動画データＦａ２の再生が終了でなければ、演出タイミング管理部３６は、ステップＳ３６に戻り、動画ファイルＦａに添付した音情報解析結果リストＲからピストル音や歓声が発生している各検出タイミングの時刻（Ｎｏ．２〜Ｎｏ．５）になったか否かを判断する。この判断の結果、各検出タイミングの時刻（Ｎｏ．２〜Ｎｏ．５）になる毎に、再生演出効果付加部３５は、上記同様に、動画データＦａ２の再生を一時停止し、当該動画データＦａ２を例えば拡大処理し、続いて縮小処理して元の画像サイズに戻す。
【００４３】
このように上記第１の実施の形態によれば、動画の再生モード時に、シーンモードに応じて音声ファイル中の音声データの少なくとも発生時刻、例えばピストル音や歓声が発生している検出タイミングの時刻を記録した音情報解析結果リストＲを作成し、このタイミングの時刻になると、動画ファイルＦａの動画データＦａ２に演出効果を付加、例えば動画データＦａ２を拡大縮小処理する。かかる動画の再生モード時の処理であれば、当該動画等の画像データを再生するときに、単調になり易い動画等の画像データを再生に、拡大縮小等の今までに無い演出効果を付加して価値の高い画像再生をすることが出来き、動画等の画像データを単調にならずに鑑賞できる。  
動画データＦａ２に付加する演出効果は、図２に示す音声解析パラメータのように例えばスポーツ、ポートレート、花火、風景、ペット等の各種シーンモードに応じてそれぞれ異なる検出音、検出条件で音声データを解析して音情報解析結果リストＲを作成するので、各種シーンモードに応じたタイミング時刻で拡大縮小等の演出効果を付加できる。
［第２の実施の形態］  
次に、本発明の第２の実施の形態について説明する。なお、本実施の形態は、図１に示す構成と同一構成を有するもので、その説明では図１を援用し、相違する部分について説明する。  
シーンモード設定部３０は、動画ボタンが押し操作（ＯＮ）されると、ＥＥＰＲＯＭ１０に記憶されている音声解析パラメータのデータベース３０からキーマトリクス７のシーンモードの設定用のボタンにより設定されたシーンモード、例えばスポーツ、ポートレート、花火、風景又はペット等のシーンモードをシーンパラメータＳｐとして読み込む。
【００４４】
音声解析部３４は、撮影動作のモード時に、シーンモード設定部３０により設定されたシーンモードに応じて記録媒体９に記録されている音声ファイル中の音声データの少なくとも発生時刻を解析する。この音声解析部３４は、シーンモードに応じた種類の音声別に音声データを解析する。
【００４５】
再生演出効果付加部３５は、撮影動作のモード時に、音声解析部３４の解析により取得された音声データに従って記録媒体９に記録されている動画ファイルＦａ中の動画データＦａ２に対して撮像時のシーンモードに応じた各種の演出用画像処理を付加する。
【００４６】
演出タイミング管理部３６は、撮影動作のモード時に、音声解析部３４によって音声解析された音声データの発生時刻から成る図４に示すような音情報解析結果リストＲを作成し、この音情報解析結果リストＲを動画ファイルＦａに添付する。この演出タイミング管理部３６は、ＴＦＴパネル２２に動画データＦａ２を動画表示中に、音声データの発生時刻になると、この音声データの発生時刻から動画データＦａ２に対して演出用画像処理を開始し、予め設定された演出用時間、例えば２秒間を経過すると、演出用画像処理を終了する。
【００４７】
次に、本装置の撮影動作（上記ステップＳ５）について図１０に示す撮影動作フローチャートに従って説明する。  
ＣＰＵ６は、ステップＳ１０において、レリーズボタン又は動画ボタンが押し操作（ＯＮ）されたか否かを判断する。この判断の結果、レリーズボタンが押し操作（ＯＮ）されると、ＣＰＵ６の静止画記録・再生部３２は、ステップＳ１１に移り、上記同様に、静止画の撮影を行う。  
ファイル生成・管理部３１は、ステップＳ１２において、記録媒体９に記録された静止画の画像データとシーンモードの情報等から静止画ファイルを生成し、ステップＳ１３において、静止画ファイルを記録媒体９に記録し、管理する。なお、静止画記録・再生部３２は、静止画の撮影モード時、レリーズボタンが押し操作（ＯＮ）されていないとき、撮像素子４により撮像され、撮像回路５から出力される画像データをＴＦＴ駆動回路１６によってＴＦＴパネル２２にスルー画像として表示する。
【００４８】
一方、動画ボタンが押し操作（ＯＮ）されると、シーンモード設定部３０は、ステップＳ４０において、ＥＥＰＲＯＭ１０に記憶されている音声解析パラメータのデータベース３０からキーマトリクス７のシーンモードの設定用のボタンにより設定されたシーンモード、例えばスポーツ、ポートレート、花火、風景又はペット等のシーンモードをシーンパラメータＳｐとして読み込む。例えば、上記同様に、シーンモードがスポーツであれば、検出音はピストル音と歓声とである。検出条件は、ピストル音に対して当該ピストル音を検出した時であり、歓声に対して一定以上の歓声の音量を検出した時である。
【００４９】
動画記録・再生部３３は、ステップＳ４１において、シーンパラメータＳｐから例えば図２に示す音声解析パラメータデータベースを参照してシーンパラメータＳｐに記述されているシーンモード、例えばシーンモードがスポーツであれば、当該スポーツに対応する検出音としてピストル音、歓声と、検出条件としてピストル音を検出したとき、歓声の音量が一定以上の音量を検出した時を設定する。
【００５０】
動画記録・再生部３３は、ステップＳ４２において、動画の撮影動作を開始する。この動画の撮影動作中において、撮像素子４は、レンズユニット１により結像された被写体像を映像信号として出力する。撮像回路５は、撮像素子４から出力された映像信号のゲインを調整し、このゲイン調整後の映像信号をアナログ−デジタル変換し、画像データとして出力する。この撮像回路５から出力された画像データは、ＣＰＵ６に送られる。このＣＰＵ６の動画記録・再生部３３は、撮像回路５から出力される画像データを１フレーム毎にフレームメモリ８に一時的に記憶してから順次記録媒体９に記憶する。この動画記録・再生部３３は、撮像素子４により撮像され、撮像回路５から出力される画像データを入力し、この画像データをＴＦＴ駆動回路１６によってＴＦＴパネル２２に動画として表示する。
【００５１】
音声解析部３４は、ステップＳ４３において、動画ファイルＦａから読み込んだ音声データに対して例えば検出音としてピストル音、歓声で、これらピストル音、歓声を検出したときの音量が一定以上の音量を検出した時を検出条件としてピストル音、歓声が発生したときの時刻を解析する。この音声解析部３４は、例えば音声データの周波数成分からピストル音、歓声に対応する各周波数成分を検出し、かつこれら周波数成分の現れる時刻を検出する。
【００５２】
ＣＰＵ６は、動画の撮影動作中、ステップＳ４４において、再度、動画ボタンが押し操作（ＯＮ）されたか否かを判断する。この判断の結果、動画ボタンが再度押し操作（ＯＮ）されなければ、ＣＰＵ６は、ステップＳ４２に戻り、動画の撮影を続ける。動画ボタンが再度押し操作（ＯＮ）されると、ＣＰＵ６は、ステップＳ４３に移り、動画の撮影動作を終了する。  
動画の撮影動作が終了すると、動画記録・再生部３３は、ステップＳ４６において、上記の通り撮像素子４により撮像され、撮像回路５から出力される画像データを入力し、これと共に動画の画像データを作成する。この動画の画像データは、図４に示すようにファイル生成・管理部３１によってシーンパラメータＳｐ等を記述したファイルヘッダと共に動画ファイルＦａとして記録媒体９に記録される。  
これと共に、演出タイミング管理部３６は、音声解析部３４によって音声解析された音声データの発生時刻から成る音情報解析結果リストＲ、例えば図５に示すような動画の撮影中に５回のピストル音や歓声が発生している各時刻を記録した音情報解析結果リストＲを作成し、この音情報解析結果リストＲを動画ファイルＦａに添付する。
【００５３】
次に、フラッシングの演出効果を付加した動画再生モードの動作について図１１に示す動画再生モードのフローチャートを参照して説明する。  
演出タイミング管理部３６は、ステップＳ５０において、動画ファイルＦａに添付した音情報解析結果リストＲを読み込む。例えば、演出タイミング管理部３６は、音情報解析結果リストＲから例えば図５に示すような動画の撮影中に５回のピストル音や歓声が発生している各検出タイミングの時刻（Ｎｏ．１〜Ｎｏ．５）をリスト化する。  
動画記録・再生部３３は、ステップＳ３５において、動画の再生モード時、記録媒体９に記録されている動画ファイルＦａを読み出し、この動画ファイルＦａに含まれる動画データＦａ２をＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２に動画の表示を開始する。これと共に、動画記録・再生部３３は、記録媒体９に記録されている音声ファイルを読み出し、この音声ファイル中の音声データをスピーカ１４に送って動画記録時の音声の再生を開始する。
【００５４】
演出タイミング管理部３６は、ステップＳ３６において、動画ファイルＦａに添付した音情報解析結果リストＲからピストル音や歓声が発生している検出タイミングの時刻（Ｎｏ．１〜Ｎｏ．５）になったか否かを判断する。この判断の結果、ピストル音や歓声が発生している検出タイミングの時刻（Ｎｏ．１）になると、演出タイミング管理部３６は、動画ファイルＦａの動画データＦａ２に演出効果を付加する旨を再生演出効果付加部３５に送る。
【００５５】
この再生演出効果付加部３５は、ピストル音や歓声が発生している検出タイミングの時刻（Ｎｏ．１）に動画データＦａ２の再生を一時停止し、フラッシングの演出用画像処理を行い、動画の動きに印象的な演出を与えるための演出効果を付加する。この再生演出効果付加部３５は、フラッシングの演出用画像処理を行って例えば２秒経過すると、再び、動画データＦａ２の再生を再開する。
【００５６】
動画記録・再生部３３は、ステップＳ３８において、動画データＦａ２の再生が終了したか否かを判断する。動画データＦａ２の再生が終了でなければ、演出タイミング管理部３６は、ステップＳ３６に戻り、動画ファイルＦａに添付した音情報解析結果リストＲからピストル音や歓声が発生している各検出タイミングの時刻（Ｎｏ．２〜Ｎｏ．５）になったか否かを判断する。この判断の結果、各検出タイミングの時刻（Ｎｏ．２〜Ｎｏ．５）になる毎に、再生演出効果付加部３５は、上記同様に、動画データＦａ２の再生を一時停止し、フラッシングの演出用画像処理を行い、例えば２秒経過すると、再び、動画データＦａ２の再生を再開する。
【００５７】
このように上記第２の実施の形態によれば、撮影動作のモード時に、シーンモードに応じて音声ファイル中の音声データの少なくとも発生時刻、例えばピストル音や歓声が発生している検出タイミングの時刻を記録した音情報解析結果リストＲを作成し、動画の再生モード時に、動画ファイルＦａに添付した音情報解析結果リストＲからピストル音や歓声が発生している検出タイミングの時刻（Ｎｏ．１〜Ｎｏ．５）になったか否かを判断し、この検出タイミングの時刻になると、動画ファイルＦａの動画データＦａ２に演出効果を付加、例えばフラッシングの演出用画像処理を行うので、動画等の画像データを再生するときに、上記第１の実施の形態と同様に、当該動画等の画像データを再生するときに、単調になり易い動画等の画像データを再生に、フラッシング等の今までに無い演出効果を付加して価値の高い画像再生をすることが出来き、動画等の画像データを単調にならずに鑑賞できるなどの効果を奏することができる。
［第３の実施の形態］  
次に、本発明の第３の実施の形態について説明する。なお、本実施の形態は、図１に示す構成と同一構成を有するもので、その説明では図１を援用し、相違する部分について説明する。  
図１２は音声解析パラメータデータベースＶＤＢの摸式図を示す。この音声解析パラメータデータベースＶＤＢは、例えばスポーツ、ポートレート、花火、風景、ペット等の各種シーンモードと、これらシーンモード毎に予め設定された各検出音と、これら検出音を解析するための各検出条件と、動画データの演出手法とを対応させて記憶する。例えば、シーンモードがスポーツであれば、検出音はピストル音と歓声とである。検出条件は、ピストル音に対して当該ピストル音を検出した時であり、歓声に対して一定以上の歓声の音量を検出した時である。演出手法は、ピストル音又は歓声を検出したときの時刻の前後の３秒間に亘って動画データをスローで再生するである。
【００５８】
図１３は音情報解析結果リストＲの摸式図を示す。この音情報解析結果リストＲは、各音声データ別に作成される。この音情報解析結果リストＲは、例えば動画の撮影中に５回の音声データが発生している。この音情報解析結果リストＲは、検出タイミングリストＲａと、演出タイミングリストＲｂとを有する。この音情報解析結果リストＲは、例えば、シーンモードがスポーツであれば、ピストル音を検出した時と、一定以上の歓声の音量を検出した時とが合わせて動画の撮影中に５回あったことを示す。例えば、１回目のピストル音又は一定の音量以上の歓声を検出した検出タイミングの時刻（Ｎｏ．１）は、「０：００：０３．２０」である。この検出タイミングの時刻（Ｎｏ．１）は、動画の撮影開始の時刻「０：００：００：０．００」からの経過時間を示す。この検出タイミングの時刻（Ｎｏ．１）に対する演出タイミングは、検出タイミングの時刻「０：００：０３．２０」に対して例えば前後３秒（合計６秒）を加算した演出タイミングリストＲｂの時間帯「０：００：０３．１７〜０：００：０３．２３」に設定されている。
【００５９】
演出タイミング管理部３６は、音声解析部３４によって音声解析された音声データの発生時刻、例えばピストル音を検出した検出タイミングの時刻に対して予め設定された前後の設定時間、例えば前後３秒（合計６秒）を予め記憶し、音声解析部３４によって音声解析された音声データの発生時刻に予め設定された前後の設定時間、例えば前後３秒（合計６秒）を加算して演出タイミングリストＲｂの時間帯を作成する。
【００６０】
次に、本装置の動画の撮影動作における図１３に示す音情報解析結果リストＲの作成について説明する。  
動画ボタンが押し操作（ＯＮ）されると、シーンモード設定部３０は、例えば、上記図１０に示すステップＳ４０において、図１２に示す音声解析パラメータデータベースＶＤＢからキーマトリクス７のシーンモードの設定用のボタンにより設定されたシーンモード、例えばスポーツ、ポートレート、花火、風景又はペット等のシーンモードをシーンパラメータＳｐとして読み込む。ここで、シーンモードが上記同様にスポーツであれば、検出音はピストル音と歓声とである。検出条件は、ピストル音に対して当該ピストル音を検出した時と、歓声に対して一定以上の歓声の音量を検出した時とである。演出手法は、ピストル音又は歓声を検出したときの時刻の前後の３秒間に亘って動画データをスローで再生するである。
【００６１】
動画記録・再生部３３は、上記ステップＳ４１において、上記図１２に示す音声解析パラメータデータベースを参照してシーンパラメータＳｐに記述されているシーンモード、例えばシーンモードがスポーツであれば、当該スポーツに対応する検出音としてピストル音及び歓声と、検出条件としてピストル音を検出したときと、歓声の音量が一定以上の音量を検出した時と、演出手法としてピストル音又は歓声を検出したときの時刻の前後の３秒間に亘って動画データをスローで再生するを設定する。
【００６２】
動画記録・再生部３３は、上記ステップＳ４２において、動画の撮影動作を開始し、撮像素子４により撮像され、撮像回路５から出力される画像データを入力し、この画像データをＴＦＴ駆動回路１６によってＴＦＴパネル２２に動画として表示する。  
音声解析部３４は、上記ステップＳ４３において、音声ファイルから読み込んだ音声データに対して例えば検出音としてピストル音や歓声で、これらピストル音、歓声を検出したときの音量が一定以上の音量を検出した時を検出条件としてピストル音や歓声が発生したときの時刻を解析する。この音声解析部３４は、例えば音声データの周波数成分からピストル音や歓声に対応する各周波数成分を検出し、かつこれら周波数成分の現れる時刻を検出する。
【００６３】
ＣＰＵ６は、動画の撮影動作中、ステップＳ４４において、再度、動画ボタンが押し操作（ＯＮ）されたか否かを判断する。この判断の結果、動画ボタンが再度押し操作（ＯＮ）されなければ、ＣＰＵ６は、ステップＳ４２に戻り、動画の撮影を続ける。動画ボタンが再度押し操作（ＯＮ）されると、ＣＰＵ６は、ステップＳ４５に移り、動画の撮影動作を終了する。  
動画の撮影動作が終了すると、動画記録・再生部３３は、ステップＳ４６において、上記の通り撮像素子４により撮像され、撮像回路５から出力される画像データを入力し、これと共に動画の画像データを作成する。この動画の画像データは、図４に示すようにファイル生成・管理部３１によってシーンパラメータＳｐ等を記述したファイルヘッダと共に動画ファイルＦａとして記録媒体９に記録される。  
これと共に、演出タイミング管理部３６は、音声解析部３４によって音声解析された音声データの発生時刻から成る音情報解析結果リストＲ、例えば図１３に示すような動画の撮影中に５回のピストル音や歓声が発生している各時刻を記録した検出タイミングリストＲａと、ピストル音や歓声の発生時刻に予め設定された前後の設定時間、例えば前後３秒（合計６秒）とを加算して演出タイミングリストＲｂを作成する。例えば、検出タイミングの時刻（Ｎｏ．１）に対する演出タイミングは、検出タイミングの時刻「０：００：０３．２０」に対して例えば前後３秒（合計６秒）を加算した演出タイミングリストＲｂの時間帯「０：００：０３．１７〜０：００：０３．２３」に設定される。
【００６４】
次に、スロー再生の演出効果を付加した動画再生モードの動作について図１４に示す動画再生モードのフローチャートを参照して説明する。  
演出タイミング管理部３６は、ステップＳ５０において、図１２に示す音声解析パラメータのデータベースＶＤＢに記憶されている音情報解析結果リストＲを読み込む。例えば、演出タイミング管理部３６は、図１３に示す音情報解析結果リストＲから例えば動画の撮影中に５回のピストル音や歓声が発生している各演出タイミングの時刻（Ｎｏ．１〜Ｎｏ．５）をリスト化する。このリストは、例えば、検出タイミングの時刻（Ｎｏ．１）に対する演出タイミングであれば、検出タイミングの時刻「０：００：０３．２０」に対して例えば前後３秒（合計６秒）を加算した演出タイミングリストＲｂの時間帯「０：００：０３．１７〜０：００：０３．２３」に設定される。
【００６５】
動画記録・再生部３３は、ステップＳ３５において、動画の再生モード時、記録媒体９に記録されている動画ファイルＦａを読み出し、この動画ファイルＦａに含まれる動画データＦａ２をＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２に動画の表示を開始する。これと共に、動画記録・再生部３３は、記録媒体９に記録されている音声ファイルを読み出し、この音声ファイル中の音声データをスピーカ１４に送って動画記録時の音声の再生を開始する。  
演出タイミング管理部３６は、ステップＳ３６において、動画ファイルＦａに添付した音情報解析結果リストＲからピストル音や歓声が発生している演出タイミングの開始時刻（Ｎｏ．１〜Ｎｏ．５）になったか否かを判断する。この判断の結果、演出タイミングの開始時刻（Ｎｏ．１）「０：００：０３．１７」になると、演出タイミング管理部３６は、動画データＦａ２をスロー再生する演出効果を付加する旨を再生演出効果付加部３５に送る。
【００６６】
この再生演出効果付加部３５は、ステップＳ５１において、動画データＦａ２をスローで再生する演出用画像処理を行う。動画記録・再生部３３は、スローで再生する演出用画像処理が行われた動画データＦａ２をＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２にスローで再生される動画データＦａ２の動画を表示する。  
演出タイミング管理部３６は、ステップＳ５２において、動画データＦａ２の再生が終了したか否かを判断する。動画データＦａ２の再生が終了でなければ、演出タイミング管理部３６は、ステップＳ３６に戻り、演出タイミングの開始時刻（Ｎｏ．１）「０：００：０３．１７」になったか否かの判断を行うが、ここでは既に演出タイミング（Ｎｏ．１）でのスロー再生を行っているので、ステップＳ３６からステップＳ５３に映り、演出タイミングの終了時刻（Ｎｏ．１）「０：００：０３．２３」になったか否かを判断する。
【００６７】
この判断の結果、検出タイミングの時刻「０：００：０３．２０」に対して例えば前後３秒（合計６秒）の演出タイミングリストＲｂの時間帯「０：００：０３．１７〜０：００：０３．２３」が経過し、演出タイミングの終了時刻（Ｎｏ．１）「０：００：０３．２３」になると、再生演出効果付加部３５は、ステップＳ５４において、動画データＦａ２をスローで再生する演出用画像処理を終了する。スローで再生する演出用画像処理の終了の直後から動画記録・再生部３３は、通常の動画データＦａ２の再生、すなわち動画データＦａ２をＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２に動画の表示を行い、かつ音声ファイル中の音声データをスピーカ１４に送って動画記録時の音声の再生を行う。  
演出タイミング管理部３６は、ステップＳ５２において、動画データＦａ２の再生が終了したか否かを判断し、動画データＦａ２の再生が終了であれば、動画データＦａ２の再生を終了する。
【００６８】
このように上記第３の実施の形態によれば、シーンモード毎に予め設定された各検出音と、これら検出音を解析するための各検出条件と、動画データの演出手法とを対応させた音声解析パラメータデータベースＶＤＢを有し、かつピストル音等の検出音の発生している各時刻を記録した検出タイミングリストＲａと、検出音の発生時刻に予め設定された前後の設定時間、例えば前後３秒（合計６秒）を加算した演出タイミングリストＲｂとから成る音情報解析結果リストＲを作成し、動画データＦａ２の再生中に、演出タイミングリストＲｂに記録された検出音の発生時刻に予め設定された前後の設定時間を加算した時間帯に、例えばスローで再生する演出用画像処理を行うので、動画等の画像データを再生するときに、上記第１の実施の形態と同様に、当該動画等の画像データを再生するときに、単調になり易い動画等の画像データを再生に、スローで再生等の今までに無い演出効果を付加して価値の高い画像再生をすることが出来き、動画等の画像データを単調にならずに鑑賞できるなどの効果を奏することができる。
【００６９】
動画データＦａ２に付加する演出手法は、図１２に示す音声解析パラメータのように例えばスポーツ、ポートレート、花火、風景、ペット等の各種シーンモードに応じてそれぞれ異なる検出音、検出条件で音声データを解析し、かつ各種シーンモードに応じたスロー再生等の演出手法で動画データに演出効果を付加できる。なお、演出手法は、例えばスポーツ、ポートレート、花火、風景、ペット等の各種シーンモードに応じて例えば主要被写体をズームアップ、被写体以外の明るさを変更、音の発生に合わせて画面をスクロール等により演出効果を付加できる。  
演出タイミングリストＲｂの時間帯は、検出タイミングの時刻に対して予め設定された前後の設定時間、例えば前後３秒（合計６秒）を加算して作成しているが、予め設定された前後の設定時間は、任意に変更可能である。又、演出タイミングリストＲｂの時間帯は、検出タイミングの時刻に対して予め設定された前後に限らず、検出タイミングの時刻の前又は後の時間帯のみであってもよい。
［第４の実施の形態］  
次に、本発明の第４の実施の形態について説明する。なお、本実施の形態は、図１に示す構成と同一構成を有するもので、その説明では図１を援用し、相違する部分について説明する。  
ステレオマイクロフォーン１２は、左右の２つのマイクロフォーンを有する。これらマイクロフォーンは、本装置の周囲環境の音響をステレオで集音し、その音声信号を出力する。  
音声解析部３４は、音声データが複数チャネル、例えば２チャネルでステレオの音響を構築すれば、これらチャネル別にシーンモードに応じた種類の音声別に音声データを解析する。すなわち、音声解析部３４は、２つのマイクロフォーンからそれぞれ出力される各音声データの各発生時刻を解析すると共に、２つのマイクロフォーンの各音声データに基づく音圧レベルを解析すると共に、２つのマイクロフォーンのうち音圧レベルの大きいマイクロフォーンを解析する。
【００７０】
図１５は音情報解析結果リストＲの摸式図を示す。この音情報解析結果リストＲは、各音声データ別に作成される。この音情報解析結果リストＲは、例えば動画の撮影中に５回の音声データが発生している。この音情報解析結果リストＲは、検出タイミングリストＲａと、演出タイミングリストＲｂと、左側の音圧レベルＲｃと、右側の音圧レベルＲｃとを有する。左側の音圧レベルＲｃは、ステレオマイクロフォーン１２における左側のマイクロフォーンから出力される音声データにおける検出音の音圧レベルである。例えば、リスト番号（Ｎｏ．１）の左側の音圧レベルＲｃは、検出タイミングリストＲａ（Ｎｏ．１）「０：００：０３．２０」に検出した検出音の音圧レベルである。同リスト番号（Ｎｏ．１）の右側の音圧レベルＲｄは、検出タイミングリストＲａ（Ｎｏ．１）「０：００：０３．２０」に検出した検出音の音圧レベルである。
【００７１】
次に、図１５に示す音情報解析結果リストＲの作成について図１６に示す撮影動作フローチャートを参照して説明する。  
動画ボタンが押し操作（ＯＮ）されると、シーンモード設定部３０は、ステップＳ４０において、例えば図１２に示す音声解析パラメータデータベースＶＤＢからキーマトリクス７のシーンモードの設定用のボタンにより設定されたシーンモード、例えばスポーツ、ポートレート、花火、風景又はペット等のシーンモードをシーンパラメータＳｐとして読み込む。
【００７２】
動画記録・再生部３３は、ステップＳ４１において、上記音声解析パラメータデータベースＶＤＢを参照してシーンパラメータＳｐに記述されているシーンモード、例えばシーンモードがスポーツであれば、当該スポーツに対応する検出音としてピストル音及び歓声と、検出条件としてピストル音を検出したときと、歓声の音量が一定以上の音量を検出した時と、演出手法としてピストル音又は歓声を検出したときの時刻の前後の３秒間に亘って動画データをスローで再生するを設定する。
【００７３】
動画記録・再生部３３は、ステップＳ４２において、動画の撮影動作を開始し、撮像素子４により撮像され、撮像回路５から出力される画像データを入力し、この画像データをＴＦＴ駆動回路１６によってＴＦＴパネル２２に動画として表示する。  
音声解析部３４は、ステップＳ４３において、２つのマイクロフォーンに対応する左右の各音声データに対してそれぞれ例えば検出音としてピストル音や歓声で、これらピストル音、歓声を検出したときの音量が一定以上の音量を検出した時を検出条件としてピストル音や歓声が発生したときの時刻を解析する。この音声解析部３４は、例えば左右の各音声データの各周波数成分からそれぞれピストル音や歓声に対応する各周波数成分を検出し、かつこれら周波数成分の現れる時刻を検出する。
【００７４】
又、音声解析部３４は、２つのマイクロフォーンからそれぞれ出力される各音声データの各発生時刻を解析すると共に、２つのマイクロフォーンの各音声データに基づく音圧レベルを解析すると共に、２つのマイクロフォーンのうち音圧レベルの大きいマイクロフォーンを解析する。音圧レベルの解析結果は、図１５に示す音情報解析結果リストＲにおける左側の音圧レベルＲｃと右側の音圧レベルＲｃとに記録される。
【００７５】
ＣＰＵ６は、動画の撮影動作中、ステップＳ４４において、再度、動画ボタンが押し操作（ＯＮ）されたか否かを判断し、動画ボタンが再度押し操作（ＯＮ）されなければ、ステップＳ４２に戻り、動画の撮影を続ける。動画ボタンが再度押し操作（ＯＮ）されると、ＣＰＵ６は、ステップＳ４５に移り、動画の撮影動作を終了する。  
動画の撮影動作が終了すると、動画記録・再生部３３は、ステップＳ４６において、上記の通り撮像素子４により撮像され、撮像回路５から出力される画像データを入力し、これと共に動画の画像データを作成する。この動画の画像データは、図４に示すようにファイル生成・管理部３１によってシーンパラメータＳｐ等を記述したファイルヘッダと共に動画ファイルＦａとして記録媒体９に記録される。  
これと共に、演出タイミング管理部３６は、音声解析部３４によって音声解析された音声データの発生時刻から成る音情報解析結果リストＲ、例えば図１５に示すような動画の撮影中に５回のピストル音や歓声が発生している各時刻を記録した検出タイミングリストＲａと、ピストル音や歓声の発生時刻に予め設定された前後の設定時間、例えば前後３秒（合計６秒）を加算して演出タイミングリストＲｂを作成する。例えば、検出タイミングの時刻（Ｎｏ．１）に対する演出タイミングは、検出タイミングの時刻「０：００：０３．２０」に対して例えば前後３秒（合計６秒）を加算した演出タイミングリストＲｂの時間帯「０：００：０３．１７〜０：００：０３．２３」に設定される。
【００７６】
次に、ズーム再生の演出効果を付加した動画再生モードの動作について図１７に示す動画再生モードのフローチャートを参照して説明する。  
演出タイミング管理部３６は、ステップＳ５０において、図１５に示す音声解析パラメータのデータベースＶＤＢに記憶されている音情報解析結果リストＲを読み込む。例えば、演出タイミング管理部３６は、図１５に示す音情報解析結果リストＲから例えば動画の撮影中に５回のピストル音や歓声が発生している各演出タイミングの時刻（Ｎｏ．１〜Ｎｏ．５）をリスト化する。このリストは、例えば、検出タイミングの時刻（Ｎｏ．１）に対する演出タイミングであれば、検出タイミングの時刻「０：００：０３．２０」に対して例えば前後３秒（合計６秒）を加算した演出タイミングリストＲｂの時間帯「０：００：０３．１７〜０：００：０３．２３」に設定される。
【００７７】
動画記録・再生部３３は、ステップＳ３５において、通常の動画の再生モード時、記録媒体９に記録されている動画ファイルＦａを読み出し、ＴＦＴパネル２２に動画の表示を開始すると共に、記録媒体９に記録されている音声ファイルを読み出し、この音声ファイル中の音声データをスピーカ１４に送って動画記録時の音声の再生を開始する。
【００７８】
演出タイミング管理部３６は、ステップＳ６０において、動画ファイルＦａに添付した音情報解析結果リストＲからピストル音や歓声が発生している演出タイミングの開始時刻（Ｎｏ．１〜Ｎｏ．５）、すなわち演出効果付加区間になったか否かを判断する。この判断の結果、演出効果付加区間の開始時刻（Ｎｏ．１）「０：００：０３．１７」になると、演出タイミング管理部３６は、ステップＳ６１において、演出効果付加区間の開始時刻から３秒経過したか否かを判断する。すなわち、演出タイミング管理部３６は、検出タイミングの時刻「０：００：０３．２０」よりも以前の時刻「０：００：０３．１７」から３秒が経過したか否かを判断する。
【００７９】
この判断の結果、当該時刻「０：００：０３．１７」から３秒が経過していなければ、演出タイミング管理部３６は、動画データＦａ２を拡大ズーム再生する演出効果を付加する旨を再生演出効果付加部３５に送る。  
この再生演出効果付加部３５は、ステップＳ６２において、通常の動画データＦａ２の再生を停止し、動画データＦａ２の例えば１コマの画像データを例えば１秒当たり１．２倍の拡大ズームする演出用画像処理を行う。動画記録・再生部３３は、拡大ズームで再生する演出用画像処理が行われた動画データＦａ２をＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２に拡大ズームで動画データＦａ２の動画を表示する。  
又、再生演出効果付加部３５は、ステップＳ６３において、動画データＦａ２を例えば１秒当たり１．２倍の拡大ズームを行うと共に、図１５に示す音情報解析結果リストＲにおける左右側の各音圧レベルＲｃ、Ｒｃのうち音圧レベルの大きな方向、例えば左側の音圧レベルＲｃが「５」であり、右側の音圧レベルＲｃが「３」であるので、左側の方に動画データＦａ２をスクロールする。このスクロールによりＴＦＴパネル２２に表示される動画データＦａ２は、例えばピストル音や歓声が発生している音源の方向の画像がＴＦＴパネル２２の表示画面の中央部にスクロール移動する。スクロールの移動速度は、例えば１秒当たり１０ピクセルである。
【００８０】
演出タイミング管理部３６は、ステップＳ６４において、動画データＦａ２の再生が終了したか否かを判断する。動画データＦａ２の再生が終了でなければ、演出タイミング管理部３６は、ステップＳ６０に戻り、演出効果付加区間になったか否かを判断する。ここでは演出効果付加区間中であるので、演出タイミング管理部３６は、再びステップＳ６１において、演出効果付加区間の開始時刻から３秒経過したか否かを判断する。
【００８１】
この判断の結果、演出効果付加区間の開始時刻から３秒経過すると、演出タイミング管理部３６は、動画データＦａ２を縮小ズーム再生する演出効果を付加する旨を再生演出効果付加部３５に送る。  
この再生演出効果付加部３５は、ステップＳ６５において、動画データＦａ２を例えば１秒当たり１／１．２倍の縮小ズームする演出用画像処理を行う。動画記録・再生部３３は、縮小ズームで再生する演出用画像処理が行われた動画データＦａ２をＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２に縮小ズームで動画データＦａ２の動画を表示する。  
又、再生演出効果付加部３５は、ステップＳ６３において、動画データＦａ２を例えば１秒当たり１／１．２倍の縮小ズームを行うと共に、図１５に示す音情報解析結果リストＲにおける左右側の各音圧レベルＲｃ、Ｒｃのうち音圧レベルの小さな方向、例えば左側の音圧レベルＲｃが「５」であり、右側の音圧レベルＲｃが「３」であるので、右側の方に動画データＦａ２をスクロールする。このスクロールによりＴＦＴパネル２２に表示される動画データＦａ２は、ステップＳ６２で、スクロールする前の画像に戻る。スクロールの移動速度は、例えば１秒当たり１０ピクセルである。
【００８２】
図１８（ａ）は通常の動画データＦａ２の再生を模式的に示す。これに対して図１８（ｂ）は拡大縮小の演出効果を付加した動画データＦａ２の再生を模式的に示す。演出効果付加区間になると、通常の動画データＦａ２の再生が一時的に停止し、動画データＦａ２の例えば１コマの画像データを例えば１秒当たり１．２倍の拡大ズームし、続いて１秒当たり１／１．２倍で縮小ズームする。  
スクロールする前の画像に戻ると、動画記録・再生部３３は、通常の動画の再生モードに戻る。
【００８３】
演出タイミング管理部３６は、ステップＳ６４において、動画データＦａ２の再生が終了したか否かを判断し、動画データＦａ２の再生が終了であれば、動画データＦａ２の再生を終了する。  
このように上記第４の実施の形態によれば、２つのマイクロフォーンからそれぞれ出力される各音声データの各発生時刻を解析すると共に、２つのマイクロフォーンの各音声データに基づく音圧レベルを解析すると共に、２つのマイクロフォーンのうち音圧レベルの大きいマイクロフォーンを解析し、動画データＦａ２を拡大縮小のズームを行うと共に、左右側の各音圧レベルＲｃ、Ｒｃのうち音圧レベルの大きな方向に動画データＦａ２をスクロールするので、上記第１の実施の形態と同様に、当該動画等の画像データを再生するときに、単調になり易い動画等の画像データの再生に、拡大縮小と音源の方向へのスクロール移動との今までに無い演出効果を付加して価値の高い画像再生をすることができ、動画等の画像データを単調にならずに鑑賞できる。
【００８４】
なお、図１２に示す音声解析パラメータデータベースＶＤＢ中の演出手法は、例えば被写体にスポットライトを照射したようなスポットライト効果を付加するようにしても良い。図１９はスポットライト効果の一例を示す。このスポットライト効果は、動画データＦａ２中から被写体である例えば人物の顔部を検出し、この顔部を中心としてスポットライトを照射したような動画データＦａ２を作成する。動画記録・再生部３３は、当該動画データＦａ２をＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２に拡大ズームで動画データＦａ２の動画を表示する。
【００８５】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００８６】
１：レンズユニット、２：アクチュエータ、３：アクチュエータ駆動回路、４：撮像素子、５：撮像回路、６：ＣＰＵ、７：キーマトリクス、７−１：動画ボタン、７−２：レリーズボタン、８：フレームメモリ、９：記録媒体、１０：ＥＥＰＲＯＭ、１１：発光回路、１２：ステレオマイクロフォーン、１３：手振れ補正用ジャイロセンサ、１４：スピーカ、１５：ＬＣＤ表示回路、１６：ＴＦＴ液晶駆動回路、１７：映像出力回路、１８：バックライトユニット、１９：電源回路、２０：電池状態検出回路、２１：ファインダ用の液晶ディスプレイ（ＬＣＤ）パネル、２２：表示部としてのＴＦＴパネル、２３：外部画像表示装置、２５：電池、２６：バックアップ電源、ＶＤＢ：音声解析パラメータのデータベース、３０：シーンモード設定部、３１：ファイル生成・管理部、３２：静止画記録・再生部、３３：動画記録・再生部、３４：音声解析部、３５：再生演出効果付加部、３６：演出タイミング管理部、３７：画像圧縮伸張部、３８：記録媒体アクセス部、３９：再表示部。
【図１】
2012191502.tif 000003
【図２】
2012191502.tif 000004
【図３】
2012191502.tif 000005
【図４】
2012191502.tif 000006
【図５】
2012191502.tif 000007
【図６】
2012191502.tif 000008
【図７】
2012191502.tif 000009
【図８】
2012191502.tif 000010
【図９】
2012191502.tif 000011
【図１０】
2012191502.tif 000012
【図１１】
2012191502.tif 000013
【図１２】
2012191502.tif 000014
【図１３】
2012191502.tif 000015
【図１４】
2012191502.tif 000016
【図１５】
2012191502.tif 000017
【図１６】
2012191502.tif 000018
【図１７】
2012191502.tif 000019
【図１８】
2012191502.tif 000020
【図１９】
2012191502.tif 000021