(57)【特許請求の範囲】
【請求項１】
動画ファイルに含まれる画像データに基づく画像を表示する表示手段と、  前記動画ファイルに含まれる音声データに基づく音声を出力する音声出力手段と、  所定の動画再生モードを設定する設定手段と、  当該装置の周囲環境音を取得する音声入力手段と、 前記音声入力手段により取得した前記周囲環境音の音量が所定値以上かどうかを判定する周囲環境音量判定手段と、  前記設定手段により所定の動画再生モードが設定されているときに、前記音声データに基づく音声の波形を前記表示手段に表示させる表示制御手段とを具備し、 前記周囲環境音量判定手段により、前記周囲環境音の音量が所定値以上と判定された場合、前記設定手段により所定の動画再生モードに設定することを特徴とする動画再生装置。
【請求項２】
前記音声の波形は、前記動画ファイルの再生時間と前記音声データに基づく音声の音量との対応関係を示す波形であることを特徴とする請求項１記載の動画再生装置。
【請求項３】
前記動画ファイルに含まれる焦点距離情報に基づき、被写体像が記録された時間と当該被写体が発した音を記録した時間のずれであるタイムラグを算出する算出手段を備え、  前記表示制御手段は、前記表示手段に表示されている音声の波形を、前記算出手段により算出されたタイムラグに対応する時間分だけ、前記再生時間を示す時間軸上において移動させて表示させる  ことを特徴とする請求項２記載の動画再生装置。
【請求項４】
前記音声の波形は、前記前記音声データに基づく音声信号の周波数と信号強度との対応関係を示す波形であることを特徴とする請求項１記載の動画再生装置。
【請求項５】
前記音声の波形に対して、特定の前記周波数と特定の前記信号強度との関係により定まる音声情報である音域を指定する指定手段を備え、  前記表示制御手段は、前記指定手段により指定された音域を含む音声データに対応付けられた画像データのみを、前記表示手段に表示させる  ことを特徴とする請求項４記載の動画再生装置。
【請求項６】
動画ファイルに含まれる画像データに基づく画像を表示する表示手段と、前記動画ファイルに含まれる音声データに基づく音声を出力する音声出力手段とを備える携帯機器の動画再生方法であって、  所定の動画再生モードを設定する設定ステップと、  当該機器の周囲環境音を取得する音声入力ステップと、 前記音声入力ステップにて取得した前記周囲環境音の音量が所定値以上かどうかを判定するステップと、  前記設定ステップにて所定の動画再生モードが設定されているときに、前記音声データに基づく音声の波形を前記表示手段に表示させる表示制御ステップとを含み、 前記周囲環境音量判定ステップにより、前記周囲環境音の音量が所定値以上と判定された場合、前記設定ステップにて所定の動画再生モードに設定することを特徴とする動画再生方法。
【請求項７】
動画ファイルに含まれる画像データに基づく画像を表示する表示手段と、前記動画ファイルに含まれる音声データに基づく音声を出力する音声出力手段とを備える携帯機器のコンピュータを、  所定の動画再生モードを設定する設定手段、  当該機器の周囲環境音を取得する音声入力手段、 前記音声入力手段により取得した前記周囲環境音の音量が所定値以上かどうかを判定する周囲環境音量判定手段、  前記設定手段により所定の動画再生モードが設定されているときに、前記音声データに基づく音声の波形を前記表示手段に表示させる表示制御手段、  前記周囲環境音量判定手段により、前記周囲環境音の音量が所定値以上と判定された場合、前記設定手段により所定の動画再生モードに設定する再生モード設定手段、  として機能させることを特徴とするプログラム。 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声データを含む動画ファイルを再生する動画再生装置、動画再生方法、及びプログラムに関する。
【背景技術】
【０００２】
従来より、画像データの再生時に、当該画像データとともに音声データを音声波形として表示するマルチメディア文書作成装置が提案されている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開平９−２９７７４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、ビデオカメラや、デジタルスチルカメラ等の携帯機器において、自機で取得した音声付の動画像を確認のために屋外などで再生する場合がある。しかしながらこの場合、周囲の騒音が大きいために、ユーザが再生された音声を聞き取れないという場合がある。また、例えば、電車等の公共施設内で音声付の動画像を再生する場合も、他の乗客の迷惑となるために、音声を再生することがはばかれるという場合がある。上記の特許文献１では、音声データを波形表示させることは開示されているが、周囲の環境を考慮した再生方法については何ら提示されていない。
【０００５】
そこで本発明は、周囲の環境によらず、再生する動画に同期した音声出力の状況をユーザに確認させることができる動画再生装置、動画再生方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的達成のため、請求項１記載の発明による動画再生装置は、動画ファイルに含まれる画像データに基づく画像を表示する表示手段と、前記動画ファイルに含まれる音声データに基づく音声を出力する音声出力手段と、所定の動画再生モードを設定する設定手段と、当該装置の周囲環境音を取得する音声入力手段と、前記音声入力手段により取得した前記周囲環境音の音量が所定値以上かどうかを判定する周囲環境音量判定手段と、前記設定手段により所定の動画再生モードが設定されているときに、前記音声データに基づく音声の波形を前記表示手段に表示させる表示制御手段とを具備し、前記周囲環境音量判定手段により、前記周囲環境音の音量が所定値以上と判定された場合、前記設定手段により所定の動画再生モードに設定することを特徴とする。 
【０００７】
また、請求項２記載の発明は、請求項１記載の動画再生装置において、前記音声の波形は、前記動画ファイルの再生時間と前記音声データに基づく音声の音量との対応関係を示す波形であることを特徴とする。 
【０００８】
また、請求項３記載の発明は、請求項２記載の動画再生装置において、前記動画ファイルに含まれる焦点距離情報に基づき、被写体像が記録された時間と当該被写体が発した音を記録した時間のずれであるタイムラグを算出する算出手段を備え、前記表示制御手段は、前記表示手段に表示されている音声の波形を、前記算出手段により算出されたタイムラグに対応する時間分だけ、前記再生時間を示す時間軸上において移動させて表示させることを特徴とする。 
【０００９】
また、請求項４記載の発明は、請求項１記載の動画再生装置において、前記音声の波形は、前記前記音声データに基づく音声信号の周波数と信号強度との対応関係を示す波形であることを特徴とする。
【００１０】
また、請求項５記載の発明は、請求項４記載の動画再生装置において、前記音声の波形に対して、特定の前記周波数と特定の前記信号強度との関係により定まる音声情報である音域を指定する指定手段を備え、前記表示制御手段は、前記指定手段により指定された音域を含む音声データに対応付けられた画像データのみを、前記表示手段に表示させることを特徴とする。
【００１１】
上記目的達成のため、請求項６記載の発明による動画再生方法は、動画ファイルに含まれる画像データに基づく画像を表示する表示手段と、前記動画ファイルに含まれる音声データに基づく音声を出力する音声出力手段とを備える携帯機器の動画再生方法であって、所定の動画再生モードを設定する設定ステップと、当該機器の周囲環境音を取得する音声入力ステップと、前記音声入力ステップにて取得した前記周囲環境音の音量が所定値以上かどうかを判定するステップと、前記設定ステップにて所定の動画再生モードが設定されているときに、前記音声データに基づく音声の波形を前記表示手段に表示させる表示制御ステップとを含み、前記周囲環境音量判定ステップにより、前記周囲環境音の音量が所定値以上と判定された場合、前記設定ステップにて所定の動画再生モードに設定することを特徴とする。 
【００１２】
上記目的達成のため、請求項７記載の発明によるプログラムは、動画ファイルに含まれる画像データに基づく画像を表示する表示手段と、前記動画ファイルに含まれる音声データに基づく音声を出力する音声出力手段とを備える携帯機器のコンピュータを、所定の動画再生モードを設定する設定手段、当該機器の周囲環境音を取得する音声入力手段、前記音声入力手段により取得した前記周囲環境音の音量が所定値以上かどうかを判定する周囲環境音量判定手段、前記設定手段により所定の動画再生モードが設定されているときに、前記音声データに基づく音声の波形を前記表示手段に表示させる表示制御手段、前記周囲環境音量判定手段により、前記周囲環境音の音量が所定値以上と判定された場合、前記設定手段により所定の動画再生モードに設定する再生モード設定手段、として機能させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、音声出力を停止させると共に、画像データが表示されているときに、当該表示されている画像データに対応付けられて記憶されている音声データに基づく音声の波形を表示するので、周囲の環境によらず、動画に付帯する音声をユーザに確認させることができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態を、図面を参照して説明する。
【００１５】
Ａ．実施形態の構成
図１は、本発明の実施形態による、携帯型のデジタルカメラの構成を示すブロック図である。図において、レンズブロック１０は、複数枚の光学レンズ群から構成され、ＣＣＤ１１上に映像を結像させる。ＣＣＤ１１は、被写体画像（イメージ）を結像し、ＲＧＢの各色の光の強さを、電流値に変換する。ＣＤＳ／ＡＤ１２は、ＣＣＤ１１からの映像信号をデジタル信号に変換し、画像処理部１３に供給する。画像処理部１３は、ホワイトバランス処理や、色処理、階調処理、輸郭強調、ガンマ補正などの画像処理を施し、ＬＣＤ１４や、バスを介してＲＡＭに供給する。ＬＣＤ１４は、液晶表示器であり、ＣＣＤ１１からの映像（スルー表示）や、ＲＡＭに記憶された撮影後の映像などを表示する。ＢＬ１５は、バックライトであり、ＬＣＤ１４の背面に設置されている。
【００１６】
モータ１６は、フォーカシングや、ズーミングなどを行うためにレンズブロックを駆動する。モータドライバ１７は、モータ１６を駆動する。垂直／水平ドライバ１８は、ＣＣＤ１１を走査する。ストロボ１９は、撮影時に発光する。ＴＧ２０は、タイミングジェネレータであり、モータドライバ１７や、垂直／水平ドライバ１８、ストロボ１９の動作を制御するためのタイミング信号を発生して各部に供給する。
【００１７】
外部メモリ２１には、動画データ（複数の静止画データで構成されるデータ）とこの動画データの再生に同期して出力する音声データとを含む動画ファイルが複数記録されている。外部メモリ２１は、コンパクトフラッシュ（登録商標）、メモリースティック、ＳＤカード等の着脱可能な記録メディアである。ＲＡＭ２２は、後述するＣＰＵの動作に伴う各種データなどを記憶する。フラッシュメモリ２３は、撮像した映像を保持する内蔵メモリである。また、フラッシュメモリ２３には、ＣＰＵ２４を動作させる所定のプログラムが格納されている。ＣＰＵ２４は、前記プログラムに基づいてデジタルカメラ（動画再生装置）の全体を制御する。特に、本実施形態では、ＣＰＵ２４は、所定の動画再生モードが選択された場合、動画データの再生に同期させて、その動画ファイルに含まれる音声データの特徴（音量を示す音声波形）を表示するよう制御する。音声処理部２５は、撮影時にマイク２６からの音声信号を音声データにデジタル変換して取り込むとともに、動画再生時に動画ファイルに含ませる音声データをアナログ変換してスピーカ２７から出力する。
【００１８】
キー入力部２８は、記録／再生モードの切り換えキー、十字キー、メニューキー等からなる。バッテリ２９は、再充電可能な二次電池からなる。電源３０は、バッテリ２９の出力電圧を安定化して各部に電力を供給する。マイコン３１は、キー入力部２８のキー入力を判別したり、バッテリ２９の残量検知、電源オン／オフ操作による電源３０の電源供給などを制御する。ＣＰＵ２４とマイコン３１とは、相互にデータを送受信可能となっている。
【００１９】
Ｂ．実施形態の動作
次に、上述した実施形態の動作（動画再生動作）について説明する。
【００２０】
Ｂ−１．第１動作例
まず、本実施形態の第１動作例について説明する。
図２は、本実施形態によるデジタルカメラの第１動作例を説明するためのフローチャートである。ユーザが、電源をオンにした後、キー入力部２８に設けられているメニューキー等を操作すると、ＣＰＵ２４は、フラッシュメモリ２３から前記プログラムを読み出し、これに従って動作することにより図２のフローチャートに示すように処理を実行する。まず、再生する動画ファイルが選択される（ステップＳ１０）。動画ファイルの選択は、保存されている動画ファイルの一覧をＬＣＤ１４に表示し、その一覧の中からユーザのキー入力部２８の操作に応答して選択される。次に、外部メモリ２１から選択された動画ファイルが読み出される。次に、ユーザのキー入力部２８における切り換えキー等の操作に応答して動画再生モードが選択され（ステップＳ１２）、第１音声波形表示モードが選択されたか、通常再生モードが選択されたかを判断する（ステップＳ１４）。
【００２１】
そして、第１音声波形表示モードが選択されると、動画再生モードとして第１音声波形表示モードが設定される。次に、スピーカ２７から音声を出力中であるか否かを判断し（ステップＳ１６）、スピーカ２７から音声を出力中である場合には（ステップＳ１６；ＹＥＳ）、スピーカ２７からの音声出力を停止する（ステップＳ１８）。後述する通常再生モードにおいてはスピーカ２７から音声が常時出力されるため、通常再生モードでの動画ファイルの再生中に、設定される動画再生モードが第１音声波形表示モードに切り換わった場合に、スピーカ２７からの音声出力が停止されることになる。一方、スピーカ２７から音声を出力中でない場合には（ステップＳ１６；ＮＯ）、そのまま次に進む。
【００２２】
いずれの場合も、図３に示すように、第１音声波形表示モードが設定された時点以降の動画データの再生の経過に合わせて順次表示されるフレームに同期させて、音声データに基づく音声波形Ｖ１をモニタ（ＬＣＤ１４）に表示させる（ステップＳ２０）。音声波形Ｖ１は、再生経過時間に沿った、音声データに基づく音量を示す波形であり、音声の特徴を示す指標である。また、この音声波形Ｖ１において、横軸は再生経過時間を示す時間軸Ｖ１１、縦軸は音量を示す音量軸Ｖ１２である。時間軸Ｖ１１上において、時間軸Ｖ１１と音量軸Ｖ１２とが交差する位置が、現在の再生経過時間を示す位置となる。その後、動画ファイルの再生が終了したか否かを判断し（ステップＳ２８）、動画ファイルの再生が終了していなければ（ステップＳ２８；ＮＯ）、ステップＳ１２に戻り、上述した処理を繰り返す。一方、動画ファイルの再生が終了すれば（ステップＳ２８；ＹＥＳ）、当該処理を終了する。
【００２３】
また、通常再生モードが選択された場合には、動画再生モードとして通常再生モードが設定される。次に、モニタ（ＬＣＤ１４）に音声波形Ｖ１を表示中であるか否かを判断し（ステップＳ２２）、モニタ（ＬＣＤ１４）に音声波形Ｖ１を表示中である場合には（ステップＳ２２；ＹＥＳ）、この表示されている音声波形Ｖ１を消去する（ステップＳ２４）。第１音声波形表示モードにおいては音声波形Ｖ１がモニタ（ＬＣＤ１４）に常時表示されるため、第１音声波形表示モードでの動画ファイルの再生中に、設定される動画再生モードが通常再生モードに切り換わった場合に、モニタ（ＬＣＤ１４）での音声波形Ｖ１が消去されることになる。
【００２４】
一方、モニタ（ＬＣＤ１４）に音声波形Ｖ１を表示していない場合には（ステップＳ２２；ＮＯ）、ステップＳ２６に進む。いずれの場合も、通常再生モード選択後は、動画データをモニタ（ＬＣＤ１４）に再生し、この再生の経過に同期させて音声データに基づく音声をスピーカ２７から出力する（ステップＳ２６）。その後、動画ファイルの再生が終了したか否かを判断し（ステップＳ２８）、動画ファイルの再生が終了していなければ（ステップＳ２８；ＮＯ）、ステップＳ１２に戻り、上述した処理を繰り返す。一方、動画ファイルの再生が終了すれば（ステップＳ２８；ＹＥＳ）、ＣＰＵ２４は、図２に示すフローチャートに基づく動作を終了する。
【００２５】
上述した第１動作例によれば、第１音声波形表示モードが設定されているときには、音声出力を停止させ、音声波形Ｖ１を表示させるようにした。そのため、第１音声波形表示モードが設定されれば、周囲の環境に左右されることなく、再生中の動画の音声の状況を確実にユーザに確認させることができる。
【００２６】
また、動画ファイルの再生途中において、音声の特徴を示す指標を表示するモードから通常再生モードに切り換えた場合には、この指標を消去して音声データに基づく音声を出力するようにしたので、この指標が通常再生時においても再生される動画データの障害にならないという効果を得ることができる。
【００２７】
Ｂ−２．第２動作例
次に、本実施形態の第２動作例について説明する。
一般に、遠方の被写体を撮影する場合、被写体が発する音は、この被写体像がＣＣＤ１１で結像される時点より遅れてマイク２６で集音される。そのため、この被写体像を含むフレームを記録し始めるタイミングと、この被写体の発した音を記録し始めるタイミングとがずれてしまう。したがって、遠方の被写体を撮影して得た動画ファイルを再生する場合、この被写体像を含むフレームが表示し始めるタイミングとこの被写体が発した音を出力し始めるタイミングとがずれてしまうこととなり、ユーザは違和感を抱くことになる。そこで、本第２動作例は、この違和感を解消しようとするものである。
【００２８】
図４は、遠方の被写体として花火４１を撮影して得た動画ファイルの構成を説明するための概念図である。一般に、遠方の花火をデジタルカメラで撮影した場合、花火の爆発音は、花火の像がＣＣＤ１１で結像される時点より遅れてマイク２６で集音される。図４に示す例では、記録される動画データの各フレーム（花火４１の像）Ｆ１、Ｆ２、・・・Ｆｎ−１、Ｆｎ、Ｆｎ+１と、花火４１の爆発音の音量との時間軸Ｖ４１上での対応関係を示している。時間軸Ｖ４１は、デジタルカメラにより花火４１を動画撮影した際の撮影経過時間を示しており、右向きに設定されている。フレームＦ１は、時間軸Ｖ４１上で最初に撮影された１枚目のフレームであり、フレームＦｎ+１は、時間軸Ｖ４１上で最後に撮影されたｎ＋１枚目のフレームである。
【００２９】
つまり、フレームは、Ｆ１、Ｆ２、・・・Ｆｎ−１、Ｆｎ、Ｆｎ+１の順に時間を追ってデジタルカメラに記録されている。花火４１が爆発音を発した瞬間を結像したフレームＦ２が記録される。フレームＦ２が記録された時点から約２秒後のタイムラグをおいて、フレームＦｎが記録されている。図４では、フレームＦ１においては花火４１が打ち上げられる像が、フレームＦ２においては花火４１が爆発して徐々に広がっている像が示されている。実際には、フレームＦ２が記録された時間に、花火４１の爆発音が発せられている。しかし、花火４１とこの花火を撮影したデジタルカメラ（ユーザ）との間に相応の距離があるため、フレームＦｎが記録された時間に、花火の爆発音が記録されている。
【００３０】
図５は、本実施形態によるデジタルカメラの第２動作例を説明するためのフローチャートである。ユーザが、電源をオンにした後、キー入力部２８に設けられているメニューキー等を操作すると、ＣＰＵ２４は、フラッシュメモリ２３から前記プログラムを読み出し、これに従って動作することにより図５のフローチャートに示すように処理を実行する。まず、再生する動画ファイルが選択される（ステップＳ３０）。動画ファイルの選択は、保存されている動画ファイルの一覧をＬＣＤ１４に表示し、その一覧の中から選択される。本第２動作例においては、図４にその構成を示した動画ファイルが選択されるものとする。動画ファイルが選択されると、次に、動画再生モードが選択され（ステップＳ３２）、第２音声波形表示モードが選択されたか、通常再生モードが選択されたかを判断する（ステップＳ３４）。
【００３１】
第２音声波形表示モードが選択されると、動画再生モードとして第２音声波形表示モードが設定される。次に、スピーカ２７から音声を出力中であるか否かを判断し（ステップＳ３６）、スピーカ２７から音声を出力中である場合には（ステップＳ３６；ＹＥＳ）、スピーカ２７からの音声出力を停止する（ステップＳ３８）。一方、スピーカ２７から音声を出力中でない場合には（ステップＳ３６；ＮＯ）、ステップ４０に進む。いずれの場合も、図６に示すように第２音声波形表示モードが設定された時点以降の動画データの再生の経過に合わせて順次表示されるフレームに同期させて、音声データに基づく音声波形Ｖ２をモニタ（ＬＣＤ１４）に表示させる（ステップＳ４０）。音声波形Ｖ２は、再生経過時間に沿った、音声データに基づく音量を示す波形であり、音声の特徴を示す指標である。また、この音声波形Ｖ２において、横軸は再生経過時間を示す時間軸Ｖ２１、縦軸は音量を示す音量軸Ｖ２２である。時間軸Ｖ２１上において、時間軸Ｖ２１と音量軸Ｖ２２とが交差する位置が、現在の再生経過時間を示す位置となる。
【００３２】
ここで、ステップＳ４０においては、動画ファイルにＥｘｉｆ形式等により付帯する焦点距離情報（被写体にピントが合うときのデジタルカメラと被写体との間の距離情報）を、撮影時におけるデジタルカメラと被写体との距離情報として読み出す。そして、読み出した距離情報に基づく距離を、音速（３４０ｍ／ｓ）で除することにより、被写体像を記録したタイミングと、被写体の発した音を記録したタイミングとのずれを示す時間であるタイムラグを算出する。図４にその構成を示した動画ファイルでは、このタイムラグは上述の通り約２秒となる。そして、時間軸Ｖ２１において、音声波形Ｖ２を、算出したタイムラグに相当する分だけ左方向へ移動させてモニタ（ＬＣＤ１４）に表示する。その後、動画ファイルの再生が終了したか否かを判断し（ステップＳ４８）、動画ファイルの再生が終了していなければ（ステップＳ４８；ＮＯ）、ステップＳ３２に戻り、上述した処理を繰り返す。一方、動画ファイルの再生が終了すれば（ステップＳ４８；ＹＥＳ）、当該処理を終了する。
【００３３】
また、動画再生モードとして、通常再生モードが選択された場合には、動画再生モードとして通常再生モードが設定される。次に、モニタ（ＬＣＤ１４）に音声波形Ｖ２が表示されているか否かを判断し（ステップＳ４２）、表示されている場合には、音声波形Ｖ２を消去する（ステップＳ４４）。一方、モニタに音声波形Ｖ２を表示していない場合には、そのまま次に進む。いずれの場合も、通常再生モード選択後は、動画データをモニタ（ＬＣＤ１４）に再生し、この再生の経過に同期させて音声データに基づく音声をスピーカ２７から出力する（ステップＳ４６）。その後、動画ファイルの再生が終了したか否かを判断し（ステップＳ４８）、動画ファイルの再生が終了していなければ（ステップＳ４８；ＮＯ）、ステップＳ３２に戻り、上述した処理を繰り返す。一方、動画ファイルの再生が終了すれば（ステップＳ４８；ＹＥＳ）、ＣＰＵ２４は、図５に示すフローチャートに基づく処理を終了する。
【００３４】
上述した第２動作例によれば、算出したタイムラグの分だけ、音声波形Ｖ２を時間軸Ｖ２１上で移動させた。これにより、再生時において動画データを再生するタイミングと音声データを出力するタイミングとの時間的な関係が、撮影時における被写体（花火４１）の動作（爆発）のタイミングと被写体が音（爆発音）を発するタイミングとの時間的な関係とずれてしまうことをなくし、ユーザが抱く違和感を解消することができる。
【００３５】
Ｂ−３．第３動作例
次に、本実施形態の第３動作例について説明する。
本第３動作例では、上述した第１、第２動作例と同様に、動画と共に音声波形（本第３動作例では音声スペクトル）を表示するが、ユーザが動画再生中に任意のタイミングで音域を指定すると、該指定された音域を含む音声データに対応付けられているフレームを検索して再生することを特徴としている。
【００３６】
図７及び図８は、本実施形態によるデジタルカメラの第３動作例を説明するためのフローチャートである。ユーザが、電源をオンにした後、キー入力部２８に設けられているメニューキー等を操作すると、ＣＰＵ２４は、フラッシュメモリ２３から前記プログラムを読み出し、これに従って動作することにより図７及び図８のフローチャートに示すように処理を実行する。まず、再生する動画ファイルが選択される（ステップＳ５０）。動画ファイルの選択は、保存されている動画ファイルの一覧をＬＣＤ１４に表示し、その一覧の中から選択される。動画ファイルが選択されると、次に、動画再生モードを選択され（ステップＳ５２）、第３音声波形表示モードが選択されたか、通常再生モードが選択されたかを判断する（ステップＳ５４）。
【００３７】
第３音声波形表示モードが選択されると、動画再生モードとして第３音声波形表示モードが設定される。次に、スピーカ２７から音声を出力中であるか否かを判断し（ステップＳ５６）、スピーカ２７から音声を出力中である場合には（ステップＳ５６；ＹＥＳ）、スピーカ２７からの音声出力を停止する（ステップＳ５８）。一方、スピーカ２７から音声を出力中でない場合には（ステップＳ５６；ＮＯ）、そのまま次に進む。いずれの場合も、第３音声波形表示モード選択後のフレームに関し、図９に示すように、画像データに基づく動画と共に、音声データに基づく音声スペクトルＶ３をモニタ（ＬＣＤ１４）に表示開始し（ステップＳ６０）、音声スペクトルに対する音域の選択入力を検知したか否かを判断する（ステップＳ６２）。
【００３８】
ここで、音声スペクトルＶ３においては、横軸は音声データに基づく音声信号の周波数を示す周波数軸Ｖ３１、縦軸は音声データに基づく音声信号の信号強度を示すパワー軸Ｖ３２である。ユーザは、図９に示すように、キー入力部２８の十字キーにより周波数選択カーソルＣ１、パワー選択カーソルＣ２を移動させるなどして、動画再生中の任意のタイミングでモニタ（ＬＣＤ１４）に表示されている音声スペクトルから所望する音域Ｖ３３を指定する。つまり、音域Ｖ３３とは、各カーソルＣ１、Ｃ２で指定された周波数と信号強度との対応関係によって定まるものであり、音声の特徴（周波数と信号強度）を示す指標である。
【００３９】
そして、ユーザによる音声スペクトルに対する音域の選択入力を検知した場合には、図１０に示すように、選択された音域を含む音声データに対応付けられているフレームのみを再生する（ステップＳ６４）。詳細には、音域選択が検知された時点以降の動画ファイルの再生時間におけるフレームに関し、この処理を施す。図示の例では、再生されている動画ファイルのフレームＦ１〜Ｆ４のうち、ユーザにより選択された音域を含む音声データに対応付けられているフレームＦ２、Ｆ３のみ再生する（実際には、さらに多くの対応するフレームが再生される）。その後、動画ファイルの再生が終了したか否かを判断し（ステップＳ７２）、動画ファイルの再生が終了していなければ（ステップＳ７２；ＮＯ）、ステップＳ５２に戻り、上述した処理を繰り返す。一方、動画ファイルの再生が終了すれば（ステップＳ７２；ＹＥＳ）、当該処理を終了する。
【００４０】
また、ユーザによる音声スペクトルに対する音域の選択入力を検知しない場合には、通常通り、動画ファイルの再生を行い、動画ファイルの再生が終了したか否かを判断し（ステップＳ７２）、動画ファイルの再生が終了していなければ（ステップＳ７２；ＮＯ）、ステップＳ５２に戻り、上述した処理を繰り返す。一方、動画ファイルの再生が終了すれば（ステップＳ７２；ＹＥＳ）、当該処理を終了する。
【００４１】
また、通常再生モードが選択された場合には、動画再生モードとして通常再生モードが設定される。次に、モニタ（ＬＣＤ１４）に音声波形Ｖ３が表示されているか否かを判断し（ステップＳ６６）、表示されている場合には、音声波形Ｖ３を消去する（ステップＳ６８）。一方、モニタに音声波形Ｖ３を表示していない場合には、そのまま次に進む。いずれの場合も、通常再生モード選択後は、動画データをモニタ（ＬＣＤ１４）に再生し、この再生の経過に同期させて音声データに基づく音声をスピーカ２７から出力する（ステップＳ７０）。その後、動画ファイルの再生が終了したか否かを判断し（ステップＳ７２）、動画ファイルの再生が終了していなければ（ステップＳ７２；ＮＯ）、ステップＳ５２に戻り、上述した処理を繰り返す。一方、動画ファイルの再生が終了すれば（ステップＳ７２；ＹＥＳ）、（ステップＳ７２；ＹＥＳ）、ＣＰＵ２４は、図７に示すフローチャートに基づく動作を終了する。
【００４２】
上述した第３動作例によれば、ユーザにより指定された音域に対応する画像を選択的に再生することができる。
【００４３】
尚、本実施の形態においては、ユーザの選択操作を検出することにより通常再生モードと第１〜第３音声波形表示モードとの切り替えを行なっていたが、通常再生モードによる再生時に常時マイク２６で周囲環境音を取得し、この音量が所定値以上であれば、自動的に第１〜第３音声波形表示モードに切り替え、逆に、第１〜第３音声波形表示モードによる再生時にマイク２６で取得した周囲環境音の音量が所定値以下であれば、通常再生モードに切り替えるようにしても良い。こうすることにより、ユーザは動画再生時に周囲環境に気を使うことなく動画の再生に同期した音声出力を確認することができる。
【００４４】
本発明は、前述した実施の形態において説明したデジタルカメラに限定されるものではなく、動画再生機能を有した携帯機器、例えば、携帯電話機、ＰＤＡ（personal
digital assistant）、メディアコンテンツ再生装置等に適用することができる。また、本発明は、上記の実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲で、種々の設計変更ができる。
【図面の簡単な説明】
【００４５】
【図１】本発明の実施形態によるデジタルカメラの構成を示すブロック図である。
【図２】本実施形態によるデジタルカメラの第１動作例を説明するためのフローチャートである。
【図３】本実施形態によるデジタルカメラの第１動作例における表示例を示す模式図である。
【図４】遠方の撮影対象を撮影した際の映像と音声とのタイムラグを説明するための概念図である。
【図５】本実施形態によるデジタルカメラの第２動作例を説明するためのフローチャートである。
【図６】本実施形態によるデジタルカメラの第２動作例における表示例を示す模式図である。
【図７】本実施形態によるデジタルカメラの第３動作例を説明するためのフローチャートである。
【図８】本実施形態によるデジタルカメラの第３動作例を説明するためのフローチャートである。
【図９】本実施形態によるデジタルカメラの第３動作例における表示例を示す模式図である。
【図１０】本実施形態によるデジタルカメラの第３動作例における表示例を示す模式図である。
【符号の説明】
【００４６】
１０  レンズブロック
１１  ＣＣＤ
１２  ＣＤＳ／ＡＤ
１３  画像処理部
１４  ＬＣＤ
１５  ＢＬ
１６  モータ
１７  モータドライバ
１８  垂直／水平ドライバ
１９  ストロボ
２０  ＴＧ
２１  外部メモリ
２２  ＲＡＭ
２３  フラッシュメモリ
２４  ＣＰＵ
２５  音声処理部
２６  マイク
２７  スピーカ
２８  キー入力部
２９  バッテリ
３０  電源
３１  マイコン
【図１】
0005061955.tif 000002
【図２】
0005061955.tif 000003
【図３】
0005061955.tif 000004
【図４】
0005061955.tif 000005
【図５】
0005061955.tif 000006
【図６】
0005061955.tif 000007
【図７】
0005061955.tif 000008
【図８】
0005061955.tif 000009
【図９】
0005061955.tif 000010
【図１０】
0005061955.tif 000011