(57)【要約】【課題】  音声データの録音中に撮影した静止画データに従って録音した音声データを容易にかつ柔軟に再生制御する。【解決手段】  制御部２０は、音声データの記録中に静止画の撮影条件を満たす音声変化があった場合、画像取得部１０から得られた画像データを静止画として記録し、静止画データと撮影時刻（音声データの録音開始からの経過時間）とを関連付けるマーキング情報を記憶し、指定されたファイル形式で、録音された音声データおよびマーキング情報をファイル内に格納して保存する。記録した音声データの再生時には、制御部２０は、記録した静止画データを一覧表示し、選択された静止画データの撮影時刻に従って音声データの再生開始位置を制御する。【選択図】  図１
2006279737.tif 000002
【特許請求の範囲】
【請求項１】
音声を録音して音声データとして取り込む録音手段と、
前記録音手段による音声データの録音中の音声変化を検知する音声変化検知手段と、
前記音声変化検知手段により所定の静止画撮影条件を満たす音声変化が検知される度に、静止画を撮影して静止画データとして取り込む撮影手段と、
前記撮影手段により静止画が撮影された撮影時刻を取得する撮影時刻取得手段と、
前記撮影手段により取り込まれた静止画データと前記撮影時刻取得手段により取得された撮影時刻とを、前記録音手段により取り込まれた音声データに対応付けて記録する記録手段と
を具備することを特徴とする記録装置。
【請求項２】
前記撮影時刻取得手段は、前記録音手段による録音開始からの録音経過時間を計時し、前記撮影手段により静止画が撮影された時点における録音経過時間を、前記静止画の撮影時刻として取得することを特徴とする請求項１記載の記録装置。
【請求項３】
前記撮影手段は、前記音声変化検知手段により、前記所定の静止画撮影条件を満たす音声変化として、音量変化、周波数帯変化、または音声方向変化の少なくともいずれかであることが検知されると、静止画を撮影して静止画データとして取り込むことを特徴とする請求項１または２に記載の記録装置。
【請求項４】
前記音声変化検知手段により前記撮影手段の撮影パラメータの変更条件を満たす音声変化が検知されると、該音声変化に基づいて前記撮影手段の撮影パラメータを変更する撮影パラメータ変更手段をさらに具備し、
前記撮影手段は、前記音声変化検知手段により所定の静止画撮影条件を満たす音声変化が検知されると、前記撮影パラメータ変更手段により変更された撮影パラメータに基づいて静止画を撮影して静止画データとして取り込むことを特徴とする請求項１ないし３のいずれかに記載の記録装置。
【請求項５】
前記撮影パラメータ変更手段は、前記撮影パラメータの変更条件として、前記音声変化検知手段により音声発生源の方向が所定角度以上変化したことが検知されると、前記撮影手段の撮影方向を音声発生源の方向に向けるように撮影パラメータを変更し、
前記撮影パラメータに基づいて前記撮影手段による撮影方向を音声発生源の方向に向ける撮影方向変更手段をさらに具備することを特徴とする請求項４記載の記録装置。
【請求項６】
前記撮影パラメータ変更手段は、前記撮影パラメータの変更条件として、前記音声変化検知手段により所定以上の音量を有する周波数帯の音声方向が所定角度以上変化したことが検知されると、前記撮影手段の撮影方向を変更するように撮影パラメータを変更し、
前記撮影パラメータ変更手段により変更された撮影パラメータに基づいて、前記撮影手段による撮影方向を音声発生源の方向に向ける撮影方向変更手段をさらに具備することを特徴とする請求項４記載の記録装置。
【請求項７】
前記音声変化検知手段により所定の静止画撮影条件を満たす音声変化が音声発生源の方向変化である場合、該音声発生源の方向で過去に撮影された静止画データが存在するか否かを判別する判別手段をさらに具備し、
前記判別手段により前記音声発生源の方向で過去に撮影された静止画データが存在すると判別された場合、前記撮影手段により取り込むべき静止画データに代えて、当該過去に撮影された静止画データを前記音声変化に対する静止画データとすることを特徴とする請求項１ないし３のいずれかに記載の記録装置。
【請求項８】
前記撮影手段は、前記過去に撮影された静止画データに対応する音声データと前記録音手段により取り込まれた音声データとの間に、所定の静止画撮影条件を満たす音声変化がある場合、静止画を撮影して新たな静止画データとして取り込むことを特徴とする請求項７記載の記録装置。
【請求項９】
音声データの録音中に音声変化を検知し、所定の静止画撮影条件を満たす音声変化が検知される度に、静止画を撮影して静止画データとして取り込み、静止画が撮影された撮影時刻を取得し、前記取り込まれた静止画データと前記取得された撮影時刻とを、前記録音中の音声データに対応付けて記録することを特徴とする記録方法。
【請求項１０】
音声を録音して音声データとして取り込むステップと、
前記音声データの音声変化を検知するステップと、
所定の静止画撮影条件を満たす音声変化が検知される度に、静止画を撮影して静止画データとして取り込むステップと、
前記静止画が撮影された撮影時刻を取得するステップと、
前記取り込まれた静止画データと前記取得された撮影時刻とを、前記取り込まれた音声データに対応付けて記録するステップと
をコンピュータに実行させることを特徴とする記録プログラム。
【請求項１１】
音声データを再生する再生手段と、
前記音声データに対応付けられて記憶されている静止画データの撮影時刻に基づいて、前記再生手段による前記音声データの再生位置を制御する再生制御手段を具備することを特徴とする再生装置。
【請求項１２】
前記撮影時刻は、前記音声データの先頭位置からの経過時間に対応付けられていることを特徴とする請求項１１記載の再生装置。
【請求項１３】
インデックス表示領域と静止画表示領域とを有する表示手段と、
前記再生手段による音声データの再生に先立って、前記音声データに対応付けられて記憶されている静止画データの一覧を前記表示手段のインデックス表示領域に表示する表示制御手段と、
前記表示手段のインデックス表示領域に表示されている静止画データの一覧から任意の静止画データを選択する選択手段とを具備し、
前記再生制御手段は、前記音声データの再生位置を、前記選択手段により選択された静止画データの撮影時刻に対応させることを特徴とする請求項１１または１２記載の再生装置。
【請求項１４】
前記表示制御手段は、前記再生手段による音声データの再生時に、再生位置に対応する静止画データを前記表示手段の静止画表示領域に表示することを特徴とする請求項１３記載の再生装置。
【請求項１５】
音声データの再生に先立って、前記音声データに対応付けられて記憶されている静止画データの一覧を表示部のインデックス表示領域に表示し、
前記表示部のインデックス表示領域に表示されている静止画データの一覧から任意の静止画データが選択されると、選択された静止画データの撮影時刻に基づいて、前記音声データの再生位置を制御することを特徴とする再生方法。
【請求項１６】
音声データの再生に先立って、前記音声データに対応付けられて記憶されている静止画データの一覧を表示部のインデックス表示領域に表示するステップと、
前記表示部のインデックス表示領域に表示されている静止画データの一覧から任意の静止画データを選択するステップと、
選択された静止画データの撮影時刻に基づいて、前記音声データの再生位置を制御して前記音声データを再生するステップと
をコンピュータに実行させることを特徴とする再生プログラム。
【請求項１７】
音声を録音して音声データとして取り込む録音手段と、
前記録音手段による音声データの録音中の音声変化を検知する音声変化検知手段と、
前記音声変化検知手段により所定の静止画撮影条件を満たす音声変化が検知される度に、静止画を撮影して静止画データとして取り込む撮影手段と、
前記撮影手段により静止画が撮影された撮影時刻を取得する撮影時刻取得手段と、
前記撮影手段により取り込まれた静止画データと前記撮影時刻取得手段により取得された撮影時刻とを、前記録音手段により取り込まれた音声データに対応付けて記録する記録手段と、
前記記録手段に記録されている音声データを再生する再生手段と、
前記音声データに対応付けられて記憶されている静止画データの撮影時刻に基づいて、前記再生手段による前記音声データの再生位置を制御する再生制御手段を具備することを特徴とする記録再生装置。
【請求項１８】
前記撮影時刻は、前記音声データの先頭位置からの経過時間に対応付けられていることを特徴とする請求項１７記載の記録再生装置。
【請求項１９】
インデックス表示領域と静止画表示領域とを有する表示手段と、
前記再生手段による音声データの再生に先立って、前記音声データに対応付けられて記憶されている静止画データの一覧を前記表示手段のインデックス表示領域に表示する表示制御手段と、
前記表示手段のインデックス表示領域に表示されている静止画データの一覧から任意の静止画データを選択する選択手段とを具備し、
前記再生制御手段は、前記音声データの再生位置を、前記選択手段により選択された静止画データの撮影時刻に対応させることを特徴とする請求項１７または１８記載の記録再生装置。
【請求項２０】
前記表示制御手段は、前記再生手段による音声データの再生時に、再生位置に対応する静止画データを前記表示手段の静止画表示領域に表示することを特徴とする請求項１９記載の記録再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録装置、記録方法、記録プログラム、再生装置、再生方法、再生プログラムおよび記録再生装置に関する。
【背景技術】
【０００２】
会議などにおいては、会議内容を記録するためにビデオなどにより動画を記録しておくことも可能であるが、動画の場合、データ容量が大きくなるため、長時間に渡っての撮影は困難である。そこで、音声だけでも全て記録しておきたい。しかし、音声だけでは情報が足りず、会議の様子、例えば誰が話しているのかなどを知ることができない、あるいは思い出すことができないなど課題がある。
【０００３】
そこで、従来、音声と静止画とを関連付けて記録する技術が提案されている。例えば、音声データの録音中に音量が変化した場合のみ、静止画を撮影記録するようにした技術（例えば特許文献１参照）や、音声を検出した方向にカメラを向けて撮影を行う技術（例えば特許文献２参照）が知られている。
【特許文献１】特開２００４−１３５２３３号公報
【特許文献２】特開平０７−０５７１９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術においては、音声データを利用して静止画の撮影を行うことを目的とした技術であり、音声データの再生時に撮影された静止画データを利用することはできない。つまり、音声データを再生する場合には、先頭から再生するか、おおよその感で早送りや巻き戻し操作を行って再生開始位置を決めて再生するしかなく、所望する位置から再生しようとしても操作が煩雑になるという問題があった。
【０００５】
そこで本発明は、音声データの録音中に撮影した静止画データを該音声データの再生制御のために用いることで、容易かつ柔軟に音声データの再生制御を行うことができる記録装置、記録方法、記録プログラム、再生装置、再生方法、再生プログラムおよび記録再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的達成のため、請求項１記載の発明による記録装置は、音声を録音して音声データとして取り込む録音手段と、前記録音手段による音声データの録音中の音声変化を検知する音声変化検知手段と、前記音声変化検知手段により所定の静止画撮影条件を満たす音声変化が検知される度に、静止画を撮影して静止画データとして取り込む撮影手段と、前記撮影手段により静止画が撮影された撮影時刻を取得する撮影時刻取得手段と、前記撮影手段により取り込まれた静止画データと前記撮影時刻取得手段により取得された撮影時刻とを、前記録音手段により取り込まれた音声データに対応付けて記録する記録手段とを具備することを特徴とする。
【０００７】
また、好ましい態様として、例えば請求項２記載のように、請求項１記載の記録装置において、前記撮影時刻取得手段は、前記録音手段による録音開始からの録音経過時間を計時し、前記撮影手段により静止画が撮影された時点における録音経過時間を、前記静止画の撮影時刻として取得するようにしてもよい。
【０００８】
また、好ましい態様として、例えば請求項３記載のように、請求項１または２に記載の記録装置において、前記撮影手段は、前記音声変化検知手段により、前記所定の静止画撮影条件を満たす音声変化として、音量変化、周波数帯変化、または音声方向変化の少なくともいずれかであることが検知されると、静止画を撮影して静止画データとして取り込むようにしてもよい。
【０００９】
また、好ましい態様として、例えば請求項４記載のように、請求項１ないし３のいずれかに記載の記録装置において、前記音声変化検知手段により前記撮影手段の撮影パラメータの変更条件を満たす音声変化が検知されると、該音声変化に基づいて前記撮影手段の撮影パラメータを変更する撮影パラメータ変更手段をさらに具備し、前記撮影手段は、前記音声変化検知手段により所定の静止画撮影条件を満たす音声変化が検知されると、前記撮影パラメータ変更手段により変更された撮影パラメータに基づいて静止画を撮影して静止画データとして取り込むようにしてもよい。
【００１０】
また、好ましい態様として、例えば請求項５記載のように、請求項４記載の記録装置において、前記撮影パラメータ変更手段は、前記撮影パラメータの変更条件として、前記音声変化検知手段により音声発生源の方向が所定角度以上変化したことが検知されると、前記撮影手段の撮影方向を音声発生源の方向に向けるように撮影パラメータを変更し、前記撮影パラメータに基づいて前記撮影手段による撮影方向を音声発生源の方向に向ける撮影方向変更手段をさらに具備するようにしてもよい。
【００１１】
また、好ましい態様として、例えば請求項６記載のように、請求項４記載の記録装置において、前記撮影パラメータ変更手段は、前記撮影パラメータの変更条件として、前記音声変化検知手段により所定以上の音量を有する周波数帯の音声方向が所定角度以上変化したことが検知されると、前記撮影手段の撮影方向を変更するように撮影パラメータを変更し、前記撮影パラメータ変更手段により変更された撮影パラメータに基づいて、前記撮影手段による撮影方向を音声発生源の方向に向ける撮影方向変更手段をさらに具備するようにしてもよい。
【００１２】
また、好ましい態様として、例えば請求項７記載のように、請求項１ないし３のいずれかに記載の記録装置において、前記音声変化検知手段により所定の静止画撮影条件を満たす音声変化が音声発生源の方向変化である場合、該音声発生源の方向で過去に撮影された静止画データが存在するか否かを判別する判別手段をさらに具備し、前記判別手段により前記音声発生源の方向で過去に撮影された静止画データが存在すると判別された場合、前記撮影手段により取り込むべき静止画データに代えて、当該過去に撮影された静止画データを前記音声変化に対する静止画データとするようにしてもよい。
【００１３】
また、好ましい態様として、例えば請求項８記載のように、請求項７記載の記録装置において、前記撮影手段は、前記過去に撮影された静止画データに対応する音声データと前記録音手段により取り込まれた音声データとの間に、所定の静止画撮影条件を満たす音声変化がある場合、静止画を撮影して新たな静止画データとして取り込むようにしてもよい。
【００１４】
また、上記目的達成のため、請求項９記載の発明による記録方法は、音声データの録音中に音声変化を検知し、所定の静止画撮影条件を満たす音声変化が検知される度に、静止画を撮影して静止画データとして取り込み、静止画が撮影された撮影時刻を取得し、前記取り込まれた静止画データと前記取得された撮影時刻とを、前記録音中の音声データに対応付けて記録することを特徴とする。
【００１５】
また、上記目的達成のため、請求項１０記載の発明による記録プログラムは、音声を録音して音声データとして取り込むステップと、前記音声データの音声変化を検知するステップと、所定の静止画撮影条件を満たす音声変化が検知される度に、静止画を撮影して静止画データとして取り込むステップと、前記静止画が撮影された撮影時刻を取得するステップと、前記取り込まれた静止画データと前記取得された撮影時刻とを、前記取り込まれた音声データに対応付けて記録するステップとをコンピュータに実行させることを特徴とする。
【００１６】
また、上記目的達成のため、請求項１１記載の発明による再生装置は、音声データを再生する再生手段と、前記音声データに対応付けられて記憶されている静止画データの撮影時刻に基づいて、前記再生手段による前記音声データの再生位置を制御する再生制御手段を具備することを特徴とする。
【００１７】
また、好ましい態様として、例えば請求項１２記載のように、請求項１１記載の再生装置において、前記撮影時刻は、前記音声データの先頭位置からの経過時間に対応付けられているようにしてもよい。
【００１８】
また、好ましい態様として、例えば請求項１３記載のように、請求項１１または１２記載の再生装置において、インデックス表示領域と静止画表示領域とを有する表示手段と、前記再生手段による音声データの再生に先立って、前記音声データに対応付けられて記憶されている静止画データの一覧を前記表示手段のインデックス表示領域に表示する表示制御手段と、前記表示手段のインデックス表示領域に表示されている静止画データの一覧から任意の静止画データを選択する選択手段とを具備し、前記再生制御手段は、前記音声データの再生位置を、前記選択手段により選択された静止画データの撮影時刻に対応させるようにしてもよい。
【００１９】
また、好ましい態様として、例えば請求項１４記載のように、請求項１３記載の再生装置において、前記表示制御手段は、前記再生手段による音声データの再生時に、再生位置に対応する静止画データを前記表示手段の静止画表示領域に表示するようにしてもよい。
【００２０】
また、上記目的達成のため、請求項１５記載の発明による再生方法は、音声データの再生に先立って、前記音声データに対応付けられて記憶されている静止画データの一覧を表示部のインデックス表示領域に表示し、前記表示部のインデックス表示領域に表示されている静止画データの一覧から任意の静止画データが選択されると、選択された静止画データの撮影時刻に基づいて、前記音声データの再生位置を制御することを特徴とする。
【００２１】
また、上記目的達成のため、請求項１６記載の発明による再生プログラムは、音声データの再生に先立って、前記音声データに対応付けられて記憶されている静止画データの一覧を表示部のインデックス表示領域に表示するステップと、前記表示部のインデックス表示領域に表示されている静止画データの一覧から任意の静止画データを選択するステップと、選択された静止画データの撮影時刻に基づいて、前記音声データの再生位置を制御して前記音声データを再生するステップとをコンピュータに実行させることを特徴とする。
【００２２】
また、上記目的達成のため、請求項１７記載の発明による記録再生装置は、音声を録音して音声データとして取り込む録音手段と、前記録音手段による音声データの録音中の音声変化を検知する音声変化検知手段と、前記音声変化検知手段により所定の静止画撮影条件を満たす音声変化が検知される度に、静止画を撮影して静止画データとして取り込む撮影手段と、前記撮影手段により静止画が撮影された撮影時刻を取得する撮影時刻取得手段と、前記撮影手段により取り込まれた静止画データと前記撮影時刻取得手段により取得された撮影時刻とを、前記録音手段により取り込まれた音声データに対応付けて記録する記録手段と、前記記録手段に記録されている音声データを再生する再生手段と、前記音声データに対応付けられて記憶されている静止画データの撮影時刻に基づいて、前記再生手段による前記音声データの再生位置を制御する再生制御手段を具備することを特徴とする。
【００２３】
また、好ましい態様として、例えば請求項１８記載のように、請求項１７記載の記録再生装置において、前記撮影時刻は、前記音声データの先頭位置からの経過時間に対応付けられていてもよい。
【００２４】
また、好ましい態様として、例えば請求項１９記載のように、請求項１７または１８記載の記録再生装置において、インデックス表示領域と静止画表示領域とを有する表示手段と、前記再生手段による音声データの再生に先立って、前記音声データに対応付けられて記憶されている静止画データの一覧を前記表示手段のインデックス表示領域に表示する表示制御手段と、前記表示手段のインデックス表示領域に表示されている静止画データの一覧から任意の静止画データを選択する選択手段とを具備し、前記再生制御手段は、前記音声データの再生位置を、前記選択手段により選択された静止画データの撮影時刻に対応させるようにしてもよい。
【００２５】
また、好ましい態様として、例えば請求項２０記載のように、請求項１９記載の記録再生装置において、前記表示制御手段は、前記再生手段による音声データの再生時に、再生位置に対応する静止画データを前記表示手段の静止画表示領域に表示するようにしてもよい。
【発明の効果】
【００２６】
請求項１記載の発明によれば、音声変化検知手段により、前記録音手段による音声データの録音中に該音声データの音声変化を検知し、前記音声変化検知手段により所定の静止画撮影条件を満たす音声変化が検知される度に、撮影手段により、静止画を撮影して静止画データとして取り込み、撮影時刻取得手段により、静止画が撮影された撮影時刻を取得し、記録手段により、前記撮影手段により取り込まれた静止画データと前記撮影時刻取得手段により取得された撮影時刻とを、前記録音手段により取り込まれた音声データに対応付けて記録するようにしたので、静止画データの撮影時刻を該音声データの再生制御に用いれば、容易かつ柔軟に音声データの再生制御を行うことができるという利点が得られる。
【００２７】
また、請求項２記載の発明によれば、前記撮影時刻取得手段により、前記録音手段による録音開始からの録音経過時間を計時し、前記撮影手段により静止画が撮影された時点における録音経過時間を、前記静止画の撮影時刻として取得するようにしたので、音声データの録音開始からの経過時間と静止画データの撮影時刻とを関連付けて記録することができ、静止画データを該音声データの再生制御に用いれば、容易かつ柔軟に音声データの再生制御を行うことができるという利点が得られる。
【００２８】
また、請求項３記載の発明によれば、前記音声変化検知手段により、前記所定の静止画撮影条件を満たす音声変化として、音量変化、周波数帯変化、または音声方向変化の少なくともいずれかであることが検知されると、前記撮影手段により、静止画を撮影して静止画データとして取り込むようにしたので、音声発生源の変化に応じた静止画データを音声データに対応付けて記録することができ、静止画データを該音声データの再生制御に用いれば、容易かつ柔軟に音声データの再生制御を行うことができるという利点が得られる。
【００２９】
また、請求項４記載の発明によれば、撮影手段の撮影パラメータの変更条件を満たす音声変化が検知されると、撮影パラメータ変更手段により、該音声変化に基づいて前記撮影手段の撮影パラメータを変更し、所定の静止画撮影条件を満たす音声変化が検知されると、前記撮影手段により、前記撮影パラメータ変更手段により変更された撮影パラメータに基づいて静止画を撮影して静止画データとして取り込むようにしたので、音声発生源の変化に応じた撮影パラメータで撮影した静止画データを音声データに対応付けて記録することができ、該静止画データを該音声データの再生制御に用いれば、容易かつ柔軟に音声データの再生制御を行うことができるという利点が得られる。
【００３０】
また、請求項５記載によれば、前記撮影パラメータの変更条件として、前記音声変化検知手段により音声発生源の方向が所定角度以上変化したことが検知されると、前記撮影パラメータ変更手段により、前記撮影手段の撮影方向を音声発生源の方向に向けるように撮影パラメータを変更し、撮影方向変更手段により、前記撮影パラメータに基づいて前記撮影手段による撮影方向を音声発生源の方向に向けるようにしたので、音声発生源が移動しても、該音声発生源に関連する静止画データを音声データに対応付けて記録することができ、該静止画データを該音声データの再生制御に用いれば、容易かつ柔軟に音声データの再生制御を行うことができるという利点が得られる。
【００３１】
また、請求項６記載の発明によれば、前記撮影パラメータの変更条件として、前記音声変化検知手段により所定以上の音量を有する周波数帯の音声方向が所定角度以上変化したことが検知されると、前記撮影パラメータ変更手段により、前記撮影手段の撮影方向を変更するように撮影パラメータを変更し、撮影方向変更手段により、前記撮影パラメータ変更手段により変更された撮影パラメータに基づいて、前記撮影手段による撮影方向を音声発生源の方向に向けるようにしたので、音声発生源が移動しても、該音声発生源に関連する静止画データを音声データに対応付けて記録することができ、該静止画データを該音声データの再生制御に用いれば、容易かつ柔軟に音声データの再生制御を行うことができるという利点が得られる。
【００３２】
また、請求項７記載の発明によれば、前記音声変化検知手段により所定の静止画撮影条件を満たす音声変化が音声発生源の方向変化である場合、判別手段により、該音声発生源の方向で過去に撮影された静止画データが存在するか否かを判別し、前記音声発生源の方向で過去に撮影された静止画データが存在すると判別された場合、前記撮影手段により取り込むべき静止画データに代えて、当該過去に撮影された静止画データを前記音声変化に対する静止画データとするようにしたので、音声発生源の方向で過去に撮影した既存の静止画データを流用することでデータ容量を小さくすることができるという利点が得られる。
【００３３】
また、請求項８記載によれば、前記過去に撮影された静止画データに対応する音声データと前記録音手段により取り込まれた音声データとの間に、所定の静止画撮影条件を満たす音声変化がある場合、前記撮影手段により、静止画を撮影して新たな静止画データを取り込むするようにしたので、最新の静止画データを音声データに対応付けて記録することができるという利点が得られる。
【００３４】
また、請求項９記載の発明によれば、音声データの録音中に音声変化を検知し、所定の静止画撮影条件を満たす音声変化が検知される度に、静止画を撮影して静止画データとして取り込み、静止画が撮影された撮影時刻を取得し、前記取り込まれた静止画データと前記取得された撮影時刻とを、前記録音中の音声データに対応付けて記録するようにしたので、静止画データの撮影時刻を該音声データの再生制御に用いれば、容易かつ柔軟に音声データの再生制御を行うことができるという利点が得られる。
【００３５】
また、請求項１０記載の発明によれば、音声を録音して音声データとして取り込むステップと、前記音声データの音声変化を検知するステップと、所定の静止画撮影条件を満たす音声変化が検知される度に、静止画を撮影して静止画データとして取り込むステップと、前記静止画が撮影された撮影時刻を取得するステップと、前記取り込まれた静止画データと前記取得された撮影時刻とを、前記取り込まれた音声データに対応付けて記録するステップとをコンピュータに実行させるようにしたので、静止画データの撮影時刻を該音声データの再生制御に用いれば、容易かつ柔軟に音声データの再生制御を行うことができるという利点が得られる。
【００３６】
また、請求項１１記載によれば、再生制御手段により、前記音声データに対応付けられて記憶されている静止画データの撮影時刻に基づいて、前記再生手段による前記音声データの再生位置を制御するようにしたので、音声データの録音中に撮影した静止画データを該音声データの再生制御に用いることで、容易かつ柔軟に音声データの再生制御を行うことができるという利点が得られる。
【００３７】
また、請求項１２記載の発明によれば、前記撮影時刻を、前記音声データの先頭位置からの経過時間に対応付けるようにしたので、音声データの録音中に撮影した静止画データを該音声データの再生制御に用いることで、容易かつ柔軟に音声データの再生制御を行うことができるという利点が得られる。
【００３８】
また、請求項１３記載の発明によれば、表示制御手段により、前記再生手段による音声データの再生に先立って、前記音声データに対応付けられて記憶されている静止画データの一覧を前記表示手段のインデックス表示領域に表示し、選択手段により、前記表示手段のインデックス表示領域に表示されている静止画データの一覧から任意の静止画データを選択されると、前記再生制御手段により、前記音声データの再生位置を、選択された静止画データの撮影時刻に対応させるするようにしたので、静止画データを選択することで音声データの再生位置を容易に指定することができるという利点が得られる。
【００３９】
また、請求項１４記載によれば、前記表示制御手段により、前記再生手段による音声データの再生時に、再生位置に対応する静止画データを前記表示手段の静止画表示領域に表示するようにしたので、再生中の音声データを録音したときの現場の状況を容易に把握することができるという利点が得られる。
【００４０】
また、請求項１５記載の発明によれば、音声データの再生に先立って、前記音声データに対応付けられて記憶されている静止画データの一覧を表示部のインデックス表示領域に表示し、前記表示部のインデックス表示領域に表示されている静止画データの一覧から任意の静止画データが選択されると、選択された静止画データの撮影時刻に基づいて、前記音声データの再生位置を制御するようにしたので、静止画データを選択することで音声データの再生位置を容易に指定することができるという利点が得られる。
【００４１】
また、請求項１６記載の発明によれば、音声データの再生に先立って、前記音声データに対応付けられて記憶されている静止画データの一覧を表示部のインデックス表示領域に表示するステップと、前記表示部のインデックス表示領域に表示されている静止画データの一覧から任意の静止画データを選択するステップと、選択された静止画データの撮影時刻に基づいて、前記音声データの再生位置を制御して前記音声データを再生するステップとをコンピュータに実行させるようにしたので、静止画データを選択することで音声データの再生位置を容易に指定することができるという利点が得られる。
【００４２】
また、請求項１７記載の発明によれば、音声変化検知手段により、前記録音手段による音声データの録音中に該音声データの音声変化を検知し、前記音声変化検知手段により所定の静止画撮影条件を満たす音声変化が検知される度に、撮影手段により、静止画を撮影して静止画データとして取り込み、撮影時刻取得手段により、静止画が撮影された撮影時刻を取得し、記録手段により、前記撮影手段により取り込まれた静止画データと前記撮影時刻取得手段により取得された撮影時刻とを、前記録音手段により取り込まれた音声データに対応付けて記録し、再生制御手段により、前記音声データに対応付けられて記憶されている静止画データの撮影時刻に基づいて、前記再生手段による前記音声データの再生位置を制御するようにしたので、音声データの録音中に撮影した静止画データを該音声データの再生制御に用いることで、容易かつ柔軟に音声データの再生制御を行うことができるという利点が得られる。
【００４３】
また、請求項１８記載の発明によれば、前記撮影時刻を、前記音声データの先頭位置からの経過時間に対応付けるようにしたので、音声データの録音中に撮影した静止画データを該音声データの再生位置を指定するためのインデックスとして用いることができ、容易かつ柔軟に音声データの再生制御を行うことができるという利点が得られる。
【００４４】
また、請求項１９記載の発明によれば、表示制御手段により、前記再生手段による音声データの再生に先立って、前記音声データに対応付けられて記憶されている静止画データの一覧を前記表示手段のインデックス表示領域に表示し、選択手段により、前記表示手段のインデックス表示領域に表示されている静止画データの一覧から任意の静止画データを選択されると、前記再生制御手段により、前記音声データの再生位置を、選択された静止画データの撮影時刻に対応させるするようにしたので、静止画データを選択することで音声データの再生位置を容易に指定することができるという利点が得られる。
【００４５】
また、請求項２０記載の発明によれば、前記表示制御手段により、前記再生手段による音声データの再生時に、再生位置に対応する静止画データを前記表示手段の静止画表示領域に表示するようにしたので、再生中の音声データを録音したときの現場の状況を容易に把握することができるという利点が得られる。
【発明を実施するための最良の形態】
【００４６】
以下、本発明の実施の形態を、図面を参照して説明する。
【００４７】
Ａ．第１実施形態
Ａ−１．第１実施形態の構成
図１は、本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。図において、画像取得部１０は、レンズ１１、シャッター１２、ＬＰＦ１３からなる。レンズ１１は、通常の光学レンズであり、非球面レンズを重ねたレンズ群からなる。シャッター１２は、シャッタボタンが操作されると、制御部２０によって駆動されるドライバ１４により動作する、所謂メカニカルシャッタである。なお、デジタルカメラによっては、メカニカルシャッタを備えない場合もあり、沈胴式のレンズ構造、メカニカルズームを搭載する機種の場合、これらの駆動制御もドライバ１４で行う。ＬＰＦ１３は、水晶ローパスフィルタであり、モアレの発生を防ぐために搭載されている。
【００４８】
次に、アナログ信号処理部１５は、撮像センサ（ＣＣＤ，ＣＭＯＳ）１６、サンプリング／信号増幅処理部１７、Ａ／Ｄコンバータ１８からなる。撮像センサ１６は、被写体画像（イメージ）を結像し、ＲＧＢの各色の光の強さを、電流値に変換する。サンプリング／信号増幅処理部１７は、ノイズや色むらを抑えるための相関二重サンプリング処理や信号増幅処理を行う。Ａ／Ｄコンバータ１８は、アナログフロントエンドとも呼ばれ、サンプリング・増幅したアナログ信号をデジタル信号に変換する（ＲＧＢ，ＣＭＹＧ各色について１２ｂｉｔデータに変換してバスラインに出力する）。
【００４９】
次に、制御部（ＣＰＵ）２０は、後述するプログラムメモリ格納されるプログラムに従ってデジタルカメラ１（撮像装置）の全体を制御する。特に、本第１実施形態では、音声データの録音中に、静止画の撮影条件を満たす音声変化があった場合に静止画を撮影し、その撮影時刻（音声データの録音開始からの経過時間）と静止画データとを、音声データと共に記録保存する一方、記録した音声データの再生時には、静止画データの撮影時刻（音声データの録音開始からの経過時間＝音声データの再生開始からの経過時間）に従って、音声データの再生開始位置を制御するようになっている。
【００５０】
プレビューエンジン２２は、録画モード（記録モード、撮影モードともいう）において、画像取得部１０、アナログ信号処理部１５を介して入力されたデジタルデータ、もしくはシャッター操作検出直後、イメージバッファ２６に格納されたデジタルデータ、および、画像メモリ３１に格納されたデジタルデータを表示部２５に表示させるために間引き処理を行う。Ｄ／Ａコンバータ２３は、プレビューエンジン２２により間引き処理されたデジタルデータを変換し、後段のドライバ２４に出力する。ドライバ２４は、後段の表示部２５に表示されるデジタルデータを一時記憶するバッファ領域を備え、キー操作部２７、制御部２０を介して入力された制御信号に基づいて表示部２５を駆動させる。表示部２５は、カラーＴＦＴ液晶や、ＳＴＮ液晶などからなり、プレビュー画像や、撮影後の画像データ、設定メニューなどを表示する。
【００５１】
イメージバッファ２６は、アナログ信号処理部１５、もしくはデジタル信号処理部２８を介して入力され、デジタル信号処理部２８に渡すまで一時的に撮影直後のデジタルデータを格納する。キー操作部２７は、シャッタボタンや、記録／再生モード選択スライドスイッチ、メニューボタン、十字キー（中央押しで決定）などからなる。
【００５２】
デジタル信号処理部２８は、アナログ信号処理部１５を介して入力されたデジタルデータに対して、ホワイトバランス処理、色処理、階調処理、輸郭強調、ＲＧＢ形式からＹＵＶ形式への変換、ＹＵＶ形式からＪＰＥＧ形式への変換を行う。また、デジタル信号処理部２８は、画像取得部１０およびアナログ信号処理部１５により取り込んだ画像データからＥｘｉｆ規格に従った画像ファイルを生成する。画像圧縮／伸張処理部２９は、デジタル信号処理部２８を介して入力されたデジタルデータをＪＰＥＧ方式に圧縮符号化したり、再生モードにおいては、ＪＰＥＧ形式のファイルを伸張したりする。
【００５３】
プログラムメモリ３０は、制御部２０にロードされる各種プログラムや、ベストショット機能におけるＥＶ値、色補正情報などを格納する。画像メモリ３１は、イメージバッファ２６に一時的に保持された画像データや、各種ファイル形式に変換されたデジタルデータを格納する。カードＩ／Ｆ３２は、外部記録媒体３３と撮像装置本体との間のデータ交換を制御する。外部記録媒体３３は、コンパクトフラッシュ（登録商標）、メモリースティック、ＳＤカード等からなる着脱可能な記録媒体である。外部接続用Ｉ／Ｆ３４は、ＵＳＢコネクター用スロットなどからなり、パーソナルコンピュータなどと接続され、撮影した画像データの転送などに用いられる。電池３５は、使い捨ての一次電池や、充電可能な二次電池などからなり、上述した各部を駆動するための電力を供給する。
【００５４】
Ａ−２．第１実施形態の動作
次に、上述した第１実施形態の動作について説明する。
（１）録音処理
図２は、本第１実施形態によるデジタルカメラ１の録音処理における動作を説明するためのフローチャートである。まず、録音開始の指示があったか否かを判断し（ステップＳ１０）、録音開始の指示があると、マイクから新たに入力される音声データを記録する（ステップＳ１２）。次に、音声データの記録中に、静止画の撮影条件を満たす音声変化があったか否かを判断する（ステップＳ１４）。
【００５５】
ここで、本第１実施形態では、上記静止画の撮影条件としては、図４に示すように、音量の変化が１０ｄＢ以上あった場合、周波数帯の変化が２ｋＨｚ以上あった場合、音声方向の変化が１０度以上あった場合などを想定している。例示した撮影条件のいずれか１つでも該当するか、あるいは２つ以上の組み合わせに該当した場合に静止画を撮影する。また、これらの撮影条件、およびその組み合わせは、ユーザにより任意に登録可能であってもよい。
【００５６】
そして、静止画の撮影条件を満たす音声変化がない場合には、録音終了の指示があったか否かを判断し（ステップＳ２０）、録音終了の指示がなければ、ステップＳ１４へ戻り、音声データの記録を継続する。
【００５７】
一方、音声データの記録中に、上述した静止画の撮影条件を満たす音声変化があった場合には、撮像素子から得られた画像データを静止画として記録し（ステップＳ１６）、静止画データと撮影時刻（音声データの録音開始からの経過時間）とを関連付けるマーキング情報を記憶する（ステップＳ１８）。そして、上述したように、録音終了の指示があったか否かを判断し（ステップＳ２０）、録音終了の指示がなければ、ステップＳ１４へ戻り、音声データの記録を継続する。
【００５８】
以降、音声データの記録中に、静止画の撮影条件を満たす音声変化があった場合には、撮像素子から得られた画像データを静止画として記録し（ステップＳ１６）、静止画データと撮影時刻（音声データの録音開始からの経過時間）とを関連付けるマーキング情報を記憶する（ステップＳ１８）、という動作を繰り返す。
【００５９】
そして、録音終了の指示があると、保存ファイル形式（ＷＡＶ形式やＭｏｔｉｏｎ−ＪＰＥＧ形式など）を指定し（ステップＳ２２）、指定されたファイル形式で、録音された音声データおよびマーキング情報をファイル内に格納して保存する（ステップＳ２４）。そして、当該録音処理を終了する。
【００６０】
（２）再生処理
次に、図３は、本第１実施形態によるデジタルカメラ１の再生処理における動作を説明するためのフローチャートである。まず、ユーザは、再生対象となる音声データのファイルを指定する（ステップＳ３０）。音声データが指定されると、指定された音声データのファイル内のマーキング情報に基づいて、各静止画データを縮小して、図５に示すように、表示部２５のインデックス表示領域２５１に一覧表示する（ステップＳ３２）。
【００６１】
次に、音声データの再生位置を先頭時刻に設定し（ステップＳ３４）、インデックス表示領域において静止画データが選択されたか否かを判断する（ステップＳ３６）。すなわち、ユーザは、インデックス表示領域に一覧表示された静止画データを見て、音声データの再生位置を指示するために、再生位置（再生時刻）に対応する静止画データを選択する。
【００６２】
そして、ユーザによりいずれかの静止画データが選択された場合には、選択された静止画データの撮影時刻（音声データの録音開始からの経過時間）を音声データの再生位置として設定し（ステップＳ３８）、該再生位置から音声データを再生する（ステップＳ４０）。一方、静止画データが選択されなかった場合には、ステップＳ３４で設定した音声データの先頭を再生位置として音声データを再生する（ステップＳ４０）。
【００６３】
次に、再生位置の直近にあるマーキング情報が変化したか否かを判断し（ステップＳ４２）、マーキング情報が変化した場合には、該マーキング情報に対応する静止画データを表示部２５の静止画表示領域２５２に表示する（ステップＳ４４）。次に、再生終了の指示があったか否かを判断し（ステップＳ４６）、再生終了の指示がなければ、ステップＳ３６へ戻り、上述した処理を繰り返す。
【００６４】
すなわち、音声データの再生途中で、インデックス表示領域に一覧表示されている静止画データのうち、いずれかの静止画データが選択される度に、その静止画データの撮影時刻（音声データの録音開始からの経過時間）を音声データの再生位置に設定し、該再生位置から音声データを再生する、という一連の処理を実行する。そして、再生終了の指示があった場合には、音声データの再生を終了し、当該処理を終了する。
【００６５】
上述した第１実施形態によれば、音声データの録音中に、静止画の撮影条件を満たす音声変化があった場合に静止画を撮影し、その撮影時刻（音声データの録音開始からの経過時間）と静止画データとを、音声データと共に記録保存する一方、記録した音声データの再生時には、静止画データの撮影時刻（音声データの録音開始からの経過時間＝音声データの再生開始からの経過時間）に従って音声データの再生開始位置を制御するようにしたので、容易に、かつ柔軟に再生制御を行うことができるようになる。
【００６６】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。本第２実施形態は、後述するようにデジタルカメラにも適用可能であるが、特に、撮影方向を変える機構を備える監視カメラやウェブカメラに有用な技術である。本第２実施形態では、撮影パラメータ（撮影方向、ズーム倍率など）の変更条件を満たす音声変化を検知すると、該音声変化に応じた撮影パラメータに変更し、静止画の撮影条件を満たす音声変化があると、その時点の静止画を撮影パラメータに従って撮影するようになっている。
【００６７】
Ｂ−１．第２実施形態の構成
図６は、本第２実施形態による監視カメラ４０の構成を示すブロック図である。図において、画像取得部４１は、レンズ４２、ＬＰＦ４３からなる。レンズ４２は、通常の光学レンズであり、非球面レンズを重ねたレンズ群からなる。ＬＰＦ４３は、水晶ローパスフィルタであり、モアレの発生を防ぐために搭載されている。
【００６８】
次に、アナログ信号処理部４５は、撮像センサ（ＣＣＤ，ＣＭＯＳ）４６、サンプリング／信号増幅処理部４７、Ａ／Ｄコンバータ４８からなる。撮像センサ４６は、被写体画像（イメージ）を結像し、ＲＧＢの各色の光の強さを、電流値に変換する。サンプリング／信号増幅処理部４７は、ノイズや色むらを抑えるための相関二重サンプリング処理や信号増幅処理を行う。Ａ／Ｄコンバータ４８は、アナログフロントエンドとも呼ばれ、サンプリング・増幅したアナログ信号をデジタル信号に変換する（ＲＧＢ，ＣＭＹＧ各色について１２ｂｉｔデータに変換してバスラインに出力する）。ドライバ４９は、制御部５０の制御の下、画像取得部４０およびアナログ信号処理部４５を駆動する。
メカニカルズーム
【００６９】
次に、制御部（ＣＰＵ）５０は、後述するプログラムメモリ格納されるプログラムに従って監視カメラ４０（撮像装置）の全体を制御する。特に、本第２実施形態では、音声データの録音中に、撮影パラメータの変更条件を満たす音声変化があると、該音声変化に応じて撮影パラメータを変更し、かつ、静止画の撮影条件を満たす音声変化があると、撮影パラメータに従って静止画を撮影し、その撮影時刻（音声データの録音開始からの経過時間）と静止画データとを、音声データと共に記録保存する一方、記録した音声データの再生時には、静止画データの撮影時刻に従って、音声データの再生開始位置を制御するようになっている。
【００７０】
プログラムメモリ５１は、制御部５０にロードされる各種プログラムなどを格納する。イメージバッファ５２は、アナログ信号処理部４５からの撮影直後のデジタルデータを、デジタル信号処理部５３に渡すまで一時的に格納する。デジタル信号処理部５３は、アナログ信号処理部４５から供給される撮像データに対して各種画像処理を施す。なお、該デジタル信号処理部５３による処理は、該監視カメラ４０が接続されるコンピュータ側で行うようにしてもよい。
【００７１】
マイク５４は、画像取得部４１の近傍に配置され、外部音を集音する。音声処理部５５は、マイク５４により集音された音声信号をデジタルデータである音声データに変換する。ズーム駆動部５６は、制御部５０の制御の下、画像取得部４のレンズ４２を駆動し、メカニカルズームを行う。なお、ズームをデジタル処理のみで行うことも可能であり、この場合、レンズ部４２を駆動することなく、前述したデジタル信号処理部５３、もしくは該監視カメラ４０が接続されるコンピュータ側で行うようにしてもよい。
【００７２】
パーン駆動部５７は、制御部５０の制御の下、画像取得部４１を駆動して、水平方向または／および垂直方向へ回動する、いわゆるパーン駆動を行う。なお、パーンに関してもズームと同様に広角レンズで撮影した静止画データをトリミングすることで実現するようにしてもよい。外部接続用Ｉ／Ｆ５８は、ＵＳＢコネクター用スロットなどからなり、パーソナルコンピュータなどと接続され、撮影した画像データおよび音声データの転送に用いられる。
【００７３】
ここで、図７は、本第２実施形態における撮影パラメータの変更条件、および撮影パラメータの変更内容の一例を示す概念図である。例えば、音声方向の変化が２０度以上であった場合には、音声方向にカメラ（画像取得部）をパーンしたり、音量が５０ｄＢ以上の周波数帯の音声方向が１０度以上変化した場合には、ズーム倍率を広角側に１段階変更したりする。
【００７４】
Ｂ−２．第２実施形態の動作
次に、上述した第２実施形態の動作について説明する。以下では、前述した第１実施形態と異なる部分についてのみ説明し、特に説明しない部分については前述した第１実施形態と同様の処理を実行する。ここで、図８は、本第２実施形態によるデジタル監視カメラ４０の録音処理における一部動作を説明するためのフローチャートである。
【００７５】
まず、録音開始の指示があると、マイク５４から新たに入力される音声データを記録する（ステップＳ１２）。次に、音声データの記録中に、撮影パラメータの変更条件を満たす音声変化があったか否かを判断する（ステップＳ５０）。そして、撮影パラメータの変更条件を満たす音声変化がない場合には、撮影パラメータを変更することなく、静止画の撮影条件を満たす音声変化があったか否かを判断し（ステップＳ１４）、以下、前述した第１実施形態と同様の処理を実行する。したがって、この場合、静止画の撮影条件を満たす音声変化があった場合には、同じ撮影パラメータで静止画を撮影し、その撮影時刻（音声データの録音開始からの経過時間）と静止画データとを、音声データと共に記録保存する。
【００７６】
一方、撮影パラメータの変更条件を満たす音声変化があった場合には、撮影パラメータを、該音声変化に応じた撮影パラメータに変更し（ステップＳ５２）、静止画の撮影条件を満たす音声変化があったか否かを判断し（ステップＳ１４）、以下、前述した第１実施形態と同様の処理を実行する。撮影パラメータの変更条件を満たす音声変化があった場合、例えば、音声方向が２０度以上変化した場合には、画像取得部４１（カメラ部分）が音声方向にパーンすることになる。
【００７７】
そして、この状態で、前述した第１実施形態で説明したように、静止画の撮影条件を満たす音声変化があった場合には、パーンした方向における静止画を撮影することになる。これにより、話者などの音声の発生源方向の静止画が撮影されることになる。静止画の撮影後、その撮影時刻（音声データの録音開始からの経過時間）と静止画データとを、音声データと共に記録保存する。
【００７８】
再生動作については、前述した第１実施形態と同様であるので説明を省略する。
【００７９】
なお、上述した第２実施形態では、パーン機能やズーム機能を有する監視カメラとしたが、これに限らず、パーン機能については、前述したように、画像取得部を機械的にパーンせずに、広角レンズで撮影した静止画データから音声方向に対応する部分をトリミングすることで実現したり、ズーム機能については、撮影した静止画データに対してデジタル処理によりズーム倍率の変更を実現するようにしてもよい。これにより、本第２実施形態を、機械的なパーン機能やズーム機能を備えていないデジタルカメラにも適用することが可能となる。また、パーン、ズーム以外にも、絞りやシャッター速度などの撮影パラメータを変更するようにしてもよい。
【００８０】
上述した第２実施形態によれば撮影パラメータ（撮影方向、ズーム倍率など）の変更条件を満たす音声変化を検知すると、該音声変化に応じた撮影パラメータに変更し、静止画の撮影条件を満たす音声変化があると、その時点の静止画を撮影パラメータに従って撮影するようにしたので、静止画データを音声データの発生源に関連するものとすることができ、音声データの再生位置をより容易に把握することができる。
【００８１】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。本第３実施形態では、静止画の撮影条件を満たす音声変化があった場合、該音声変化が音声方向の変化であり、かつその方向で過去に撮影された静止画データが既に存在する場合には、静止画を新たに撮影するのでなく、その時点の音声データの録音開始からの経過時間を撮影時刻として（実際に撮影しない）、該撮影時刻と既存の静止画データとを、音声データと共に記録保存するようになっている。
【００８２】
本第３実施形態は、前述した第１実施形態によるデジタルカメラ、あるいは第２実施形態による監視カメラのいずれにも適用することが可能であり、その構成は図１あるいは図６と同様であるので説明を省略する。以下では、デジタルカメラに適用した例について説明する。
【００８３】
Ｃ−１．第３実施形態の動作
次に、本第３実施形態の動作について説明する。以下では、前述した第１または第２実施形態と異なる部分についてのみ説明し、特に説明しない部分については前述した第１または第２実施形態と同様の処理を実行する。ここで、図９は、本第３実施形態によるデジタルカメラ１の録音処理における一部動作を説明するためのフローチャートである。
【００８４】
まず、録音開始の指示があると、マイク５４から新たに入力される音声データの記録を開始し、該音声データの記録中に、静止画の撮影条件を満たす音声変化があったか否かを判断し（ステップＳ１４）、静止画の撮影条件を満たす音声変化がない場合には、図１に示すステップＳ２０へ進み、前述した第１実施形態と同様の処理を実行する。
【００８５】
一方、静止画の撮影条件を満たす音声変化があった場合には、該音声変化が音声方向の変化であるか否かを判断し（ステップＳ６２）、音声方向の変化でない場合には、撮像素子から新たに得られた画像データを静止画として記録し（ステップＳ１６）、静止画データと撮影時刻（音声データの録音開始からの経過時間）とを関連付けるマーキング情報を記憶する（ステップＳ１８）。その後、図１に示すステップＳ２０へ進み、前述した第１実施形態と同様の処理を実行する。
【００８６】
さらに、静止画の撮影条件を満たす音声変化があり、かつ該音声変化が音声方向の変化であった場合には、該音声方向で過去に撮影された既存の静止画データがあるか否かを判断し（ステップＳ６４）、同じ音声方向の既存の静止画データがない場合には、前述したように、撮像素子から新たに得られた画像データを静止画として記録し（ステップＳ１６）、静止画データと撮影時刻（音声データの録音開始からの経過時間）とを関連付けるマーキング情報を記憶する（ステップＳ１８）。その後、図１に示すステップＳ２０へ進み、前述した第１実施形態と同様の処理を実行する。
【００８７】
一方、静止画の撮影条件を満たす音声変化があり、かつ該音声変化が音声方向の変化であり、さらに同じ音声方向の既存の静止画データがあった場合には、当該既存の静止画データを撮影したときの音声と今回の音声とを比較し、撮影条件を満たす音声変化があるか否かを判断する（ステップＳ６６）。そして、双方を比較した結果、撮影条件を満たす音声変化があった場合、すなわち過去の撮影時の音声変化と今回の音声変化とが大きく変わった場合には、前述したように、撮像素子から新たに得られた画像データを静止画として記録し（ステップＳ１６）、静止画データと撮影時刻（音声データの録音開始からの経過時間）とを関連付けるマーキング情報を記憶する（ステップＳ１８）。その後、図１に示すステップＳ２０へ進み、前述した第１実施形態と同様の処理を実行する。
【００８８】
一方、双方を比較した結果、撮影条件を満たす音声変化がなかった場合、すなわち過去の撮影時の音声変化と今回の音声変化とが大きく変わらない場合には、当該既存の静止画データを今回の撮影すべき静止画データに代用し（ステップＳ６８）、新たに画像データを撮影することなく、上記既存の静止画データと撮影時刻（音声データの録音開始からの経過時間）とを関連付けるマーキング情報を記憶する（ステップＳ１８）。その後、図１に示すステップＳ２０へ進み、前述した第１実施形態と同様の処理を実行する。
【００８９】
なお、再生動作については、前述した第１実施形態と同様であるので説明を省略する。
【００９０】
上述した第３実施形態によれば、静止画の撮影条件を満たす音声変化があった場合、該音声変化が音声方向の変化であり、かつその方向で過去に撮影された静止画データが既に存在する場合には、静止画を新たに撮影するのでなく、その時点の音声データの録音開始からの経過時間を撮影時刻として（実際に撮影しない）、該撮影時刻と既存の静止画データとを、音声データと共に記録保存するようにしたので、記憶容量を節約することができる。
【００９１】
なお、上述した第１ないし第３実施形態においては、音声データの記録中に音声変化を検知して音声データの録音経過時間と関連付けて静止画データを記録するようにした。これは、音声付動画撮影では、データ容量が大きくなるため、長時間に渡っての記録が困難になるという前提があったためである。しかしながら、近年、記録媒体の大容量化、動画データの高圧縮化技術が実現されつつあるため、かなりの長時間に渡っての動画記録が可能となってきている。
【００９２】
そこで、上述した第１ないし第３実施形態は、音声付動画撮影中に音声変化を検知した場合、音声付動画の録画経過時間と関連付けて静止画データを記録するようにしてもよい。この場合、動画から音声変化検知時の１フレームを取り出して静止画データとしてもよい。あるいは、記録時には、音声変化検知時にマーキング情報（タイムスタンプ）のみを記録しておき、再生時に、マーキング情報に従って、記録した音声付動画から静止画データを生成し、インデックス表示領域に一覧表示するようにしてもよい。
【図面の簡単な説明】
【００９３】
【図１】本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。
【図２】本第１実施形態によるデジタルカメラ１の録音処理における動作を説明するためのフローチャートである。
【図３】本第１実施形態によるデジタルカメラ１の再生処理における動作を説明するためのフローチャートである。
【図４】静止画の撮影条件の一例を示す概念図である。
【図５】記録した音声データ再生時の表示画面例を示す模式図である。
【図６】本第２実施形態による監視カメラ４０の構成を示すブロック図である。
【図７】本第２実施形態における撮影パラメータの変更条件、および撮影パラメータの変更内容の一例を示す概念図である。
【図８】本第２実施形態によるデジタル監視カメラ４０の録音処理における一部動作を説明するためのフローチャートである。
【図９】本第３実施形態によるデジタルカメラ１の録音処理における一部動作を説明するためのフローチャートである。
【符号の説明】
【００９４】
１  デジタルカメラ（撮像装置）
１０  画像取得部
１１  レンズ
１２  シャッター
１３  ＬＰＦ
１４  ドライバ
１５アナログ信号処理部
１６  撮像センサ（ＣＣＤ，ＣＭＯＳ）
１７  サンプリング／信号増幅処理部
１８  Ａ／Ｄコンバータ
２０  制御部
２２  プレビューエンジン
２３  Ｄ／Ａコンバータ
２４  ドライバ
２５  表示部
２６  イメージバッファ
２７  キー操作部
２８  デジタル信号処理部
２９  画像圧縮／伸張処理部
３０  プログラムメモリ
３１  画像メモリ
３２  カードＩ／Ｆ
３３  外部記録媒体
３４  外部接続用Ｉ／Ｆ
３５  電池
４０  監視カメラ（撮像装置）
４１  画像取得部
４２  レンズ
４３  ＬＰＦ
４５  アナログ信号処理部
４６  撮像センサ（ＣＣＤ，ＣＭＯＳ）
４７  サンプリング／信号増幅処理部
４８  Ａ／Ｄコンバータ
４９  ドライバ
５０  制御部
５１  プログラムメモリ
５２  イメージバッファ
５３  デジタル信号処理部
５４  マイク
５５  音声処理部
５６  ズーム駆動部
５７  パーン駆動部
５８  外部接続用Ｉ／Ｆ
【図１】
2006279737.tif 000003
【図２】
2006279737.tif 000004
【図３】
2006279737.tif 000005
【図４】
2006279737.tif 000006
【図５】
2006279737.tif 000007
【図６】
2006279737.tif 000008
【図７】
2006279737.tif 000009
【図８】
2006279737.tif 000010
【図９】
2006279737.tif 000011