(57)【要約】【課題】データ量の増加を抑制しながらも、音声に係るデータを画像データに付加する。【解決手段】撮影モード中、ＣＰＵ２０は、音声データを音声メモリ２９に記憶する。レリーズボタン８を半押しすると、ＣＰＵ２０は、フォーカスモータ３２によるフォーカス調整を行う。レリーズボタン８を全押しすると、撮影を行い、撮影した画像データをバッファメモリ２４に一時的に記憶するとともに、特徴抽出部３１は、撮影時点を中心に、前後１秒ずつの計２秒の期間に音声メモリ２９に記憶された音声データの実効音圧量を計測する。ＣＰＵ２０は、計測した音圧データを、バッファメモリ２４に記憶された画像データに付加し、音圧データが付加された画像データをＲＡＭ２６に記憶する。【選択図】図５
2008091978.tif 000002
【特許請求の範囲】
【請求項１】
撮影を行う撮影手段と、
外部の音声を音声データとして記憶する音声記憶手段と、を備えた撮像装置において、
前記音声記憶手段に記憶された音声データから特徴となる特徴データを抽出する特徴抽出手段と、
前記撮影手段で撮影した画像データと前記特徴抽出手段で抽出した特徴データとを関連付けて記憶する関連データ記憶手段と、を備えたことを特徴とする撮像装置。
【請求項２】
前記撮影手段で撮影を行う撮影モードと撮影以外の制御を行う制御モードとの切り換えを行うモード切換手段を備え、
前記音声記憶手段は、前記撮影モード中に前記音声データを記憶し、前記制御モード中に前記音声データを記憶しないことを特徴とする請求項１記載の撮像装置。
【請求項３】
操作可能に設けられた操作部材と、
前記操作部材が操作されたときに操作音を発生する操作音発生手段と、
前記撮影モード中に前記操作部材が操作されたときに、前記操作音発生手段による操作音の発生を停止する操作音停止手段と、を備えたことを特徴とする請求項２記載の撮像装置。
【請求項４】
押圧可能に設けられ、半押ししたときに撮影準備動作を行わせ、前記半押し状態からさらに押し込んで全押ししたときに前記撮影手段による撮影を行わせる撮影ボタンを備え、
前記音声記憶手段は、前記撮影ボタンが半押しされたことに応答して、前記音声データの記憶を開始することを特徴とする請求項１ないし３いずれか１つ記載の撮像装置。
【請求項５】
前記特徴抽出手段は、前記撮影手段により撮影が行われたときの第１の所定時間前から、前記撮影手段により撮影が行われたときの第２の所定時間後までの期間に記憶された音声データから前記特徴データを抽出することを特徴とする請求項１ないし４いずれか１つ記載の撮像装置。
【請求項６】
前記特徴抽出手段は、前記撮影手段により撮影が行われたときから第３の所定時間前までの期間に記憶された音声データから前記特徴データを抽出することを特徴とする請求項１ないし４いずれか１つ記載の撮像装置。
【請求項７】
前記撮影手段により撮影を行う前にフォーカスレンズを移動させてフォーカス調整を行う調整部材を備え、
前記特徴抽出手段は、前記調整部材によるフォーカス調整が終了したときから第４の所定時間後までの期間に記憶された音声データから前記特徴データを抽出することを特徴とする請求項１ないし４いずれか１つ記載の撮像装置。
【請求項８】
前記第４の所定時間は、少なくとも前記調整部材によるフォーカス調整が終了したときから前記撮影手段により撮影が行われるまでの時間であることを特徴とする請求項７記載の撮像装置。
【請求項９】
前記音声記憶手段に記憶された音声データのうち、第５の所定時間経過した音声データを消去する音声データ消去手段を備えたことを特徴とする請求項１ないし８いずれか１つ記載の撮像装置。
【請求項１０】
前記特徴抽出手段は、前記音声記憶手段に記憶された音声データから音圧を前記特徴データとして抽出することを特徴とする請求項１ないし９いずれか１つ記載の撮像装置。
【請求項１１】
前記特徴抽出手段は、前記音声記憶手段に記憶された音声データが、音声の特徴毎に予め分類された複数の音声モデルデータのうちのいずれに最も類似しているかを検出してその類似レベルを算出し、算出した類似レベルを前記特徴データとして抽出することを特徴とする請求項１ないし９いずれか１つ記載の撮像装置。
【請求項１２】
前記特徴抽出手段は、前記音声記憶手段に記憶された音声データのうちの予め設定された割合のデータを前記特徴データとして抽出することを特徴とする請求項１ないし９いずれか１つ記載の撮像装置。
【請求項１３】
前記複数の音声モデルデータを記憶するモデルデータ記憶手段を備えたことを特徴とする請求項１１記載の撮像装置。
【請求項１４】
前記特徴データに基づいて、前記関連データ記憶手段に記憶された画像データから、指定された前記特徴データが関連付けられた画像データを検索する画像データ検索手段を備えたことを特徴とする請求項１ないし１３いずれか１つ記載の撮像装置。
【請求項１５】
前記画像データ検索手段で検索された画像データを再生表示する表示手段を備えたことを特徴とする請求項１４記載の撮像装置。
【請求項１６】
請求項１ないし１５いずれか１つ記載の撮像装置は、デジタルカメラであることを特徴とする撮像装置。
【請求項１７】
撮影を行うときに外部の音声を音声データとして記憶し、
記憶した外部の音声データから特徴となる特徴データを抽出し、
撮影した画像データと抽出した特徴データとを関連付けて記憶することを特徴とする画像記憶方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び画像記憶方法に関するものである。
【背景技術】
【０００２】
近年、撮影した画像を画像データとして記憶し、記憶した画像データをＬＣＤ等で表示させることにより、撮影画像を印刷することなく撮影画像を見ることができるデジタルカメラが広く普及している。印刷したプリント写真は、アルバム等に整理することにより、効率よく分類及び検索を行うことができる。一方、デジタルカメラで撮影した画像データは、プリント写真に比べて劣化しないというメリットがあるが、分類及び検索する手間がかかるという問題があった。そこで、記憶した画像データの分類及び検索を容易に行うことができるようにするための技術が提案されている（例えば、特許文献１〜３参照）。
【０００３】
特許文献１では、撮像された画像データと、画像データの被写体を説明する説明データとを関連付ける撮像装置、その制御方法、及び制御プログラムが提案されている。説明データとしては、静止画データ、テキストデータ、音声データ、オーディオデータ、動画データが記載されている。
【０００４】
特許文献２では、撮影時に被写体の音声を録音し、この録音データを被写体の画面内位置情報と関連付けて画像ファイルに記憶する電子カメラおよび画像表示装置および画像表示方法が記載されている。
【０００５】
特許文献３では、シャッタボタンを操作して撮影を行ったときに、音声を取り込み、画像データと音声データとを関連付けてメモリに格納するデジタルカメラが提案されている。
【特許文献１】特開２００３−１９８９０９号公報
【特許文献２】特開２００３−１７４５７８号公報
【特許文献３】特開２００３−２８３９０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１〜３では、音声データをそのまま記憶しているため、データ量が大きくなり、メモリに記憶することができる画像データの量が少なくなるという問題があった。
【０００７】
本発明は、上記課題を解決するためになされたものであり、データ量の増加を抑制しながらも、音声に係るデータを画像データに付加することができる撮像装置及び画像記憶方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の撮像装置は、撮影を行う撮影手段と、外部の音声を音声データとして記憶する音声記憶手段と、を備えた撮像装置において、前記音声記憶手段に記憶された音声データから特徴となる特徴データを抽出する特徴抽出手段と、前記撮影手段で撮影した画像データと前記特徴抽出手段で抽出した特徴データとを関連付けて記憶する関連データ記憶手段と、を備えたことを特徴とする。なお、前記特徴データは、音声データよりもデータ量が小さいことが好ましい。
【０００９】
また、前記撮影手段で撮影を行う撮影モードと撮影以外の制御を行う制御モードとの切り換えを行うモード切換手段を備え、前記音声記憶手段は、前記撮影モード中に前記音声データを記憶し、前記制御モード中に前記音声データを記憶しないことが好ましい。なお、前記制御モードとしては、撮影した画像データを再生する再生モード、撮像装置の各種設定を行う設定モード、電力消費を抑える省電力モード等が挙げられ、再生モードは、撮像装置がＬＣＤ等の表示手段を有する場合には、ＬＣＤに画像データを再生表示し、撮像装置がＬＣＤを有していない場合には、撮像装置に接続されたＰＣ（パーソナル  コンピュータ）に画像データを送り、ＰＣのモニタに画像データを再生表示するものである。
【００１０】
さらに、操作可能に設けられた操作部材と、前記操作部材が操作されたときに操作音を発生する操作音発生手段と、前記撮影モード中に前記操作部材が操作されたときに、前記操作音発生手段による操作音の発生を停止する操作音停止手段と、を備えることが好ましい。
【００１１】
また、押圧可能に設けられ、半押ししたときに撮影準備動作を行わせ、前記半押し状態からさらに押し込んで全押ししたときに前記撮影手段による撮影を行わせる撮影ボタンを備え、前記音声記憶手段は、前記撮影ボタンが半押しされたことに応答して、前記音声データの記憶を開始する
ことが好ましい。
【００１２】
さらに、前記特徴抽出手段は、前記撮影手段により撮影が行われたときの第１の所定時間前から、前記撮影手段により撮影が行われたときの第２の所定時間後までの期間に記憶された音声データから前記特徴データを抽出することが好ましい。
【００１３】
また、前記特徴抽出手段は、前記特徴抽出手段は、前記撮影手段により撮影が行われたときから第３の所定時間前までの期間に記憶された音声データから前記特徴データを抽出することが好ましい。
【００１４】
さらに、前記撮影手段により撮影を行う前にフォーカスレンズを移動させてフォーカス調整を行う調整部材を備え、前記特徴抽出手段は、前記調整部材によるフォーカス調整が終了したときから第４の所定時間後までの期間に記憶された音声データから前記特徴データを抽出することが好ましい。
【００１５】
また、前記第４の所定時間は、少なくとも前記調整部材によるフォーカス調整が終了したときから前記撮影手段により撮影が行われるまでの時間であることが好ましい。
【００１６】
さらに、前記音声記憶手段に記憶された音声データのうち、第５の所定時間経過した音声データを消去する音声データ消去手段を備えることが好ましい。
【００１７】
さらに、前記特徴抽出手段は、前記音声記憶手段に記憶された音声データから音圧を特徴データとして抽出することが好ましい。なお、前記音圧としては、音圧（Ｎ／ｍ2 ）、音圧レベル（ｄＢ）等が挙げられる。
【００１８】
また、前記特徴抽出手段は、前記音声記憶手段に記憶された音声データが、音声の特徴毎に予め分類された複数の音声モデルデータのうちのいずれに最も類似しているかを検出してその類似レベルを算出し、算出した類似レベルを前記特徴データとして抽出することが好ましい。なお、前記類似レベルは、前記複数の音声モデルデータのうちの前記音声データが最も類似している１つの音声モデルデータ名と、類似レベルをパーセンテージで表したときの数値と、を含むものであることが好ましい。また、前記音声モデルデータとしては、自動車内の音声を示す自動車内音声モデルデータ、列車内の音声を示す列車内音声モデルデータ、サッカー場の音声を示すサッカー場音声モデルデータ等が挙げられる。
【００１９】
さらに、前記特徴抽出手段は、前記音声記憶手段に記憶された音声データのうちの予め設定された割合のデータを前記特徴データとして抽出することが好ましい。
【００２０】
このように、前記特徴抽出手段により音声データから抽出する特徴データは、音圧（音圧（Ｎ／ｍ2 ）、音圧レベル（ｄＢ）等）、複数の音声モデルデータに対する類似レベル、音声データのうちの予め設定された割合のデータ、のいずれか１つであることが好ましいが、音声データよりもデータ量が小さく特徴となるデータであればよく、適宜変更可能である。
【００２１】
また、前記複数の音声モデルデータを記憶するモデルデータ記憶手段を備えることが好ましい。
【００２２】
さらに、前記特徴データに基づいて、前記関連データ記憶手段に記憶された画像データから、指定された前記特徴データが関連付けられた画像データを検索する画像データ検索手段を備えることが好ましい。
【００２３】
また、前記画像データ検索手段で検索された画像データを再生表示する表示手段を備えることが好ましい。
【００２４】
さらに、上記撮像装置は、デジタルカメラであることが好ましい。
【００２５】
また、本発明の画像記憶方法は、撮影を行うときに外部の音声を音声データとして記憶し、記憶した外部の音声データから特徴となる特徴データを抽出し、撮影した画像データと抽出した特徴データとを関連付けて記憶することを特徴とする。
【発明の効果】
【００２６】
本発明の撮像装置によれば、音声記憶手段に記憶された音声データから特徴となる特徴データを抽出し、撮影した画像データと抽出した特徴データとを関連付けて記憶するから、音声データをそのまま記憶するタイプに比べて、記憶するデータ量を抑制しながらも、音声に係るデータと画像データとを関連付けることができる。
【００２７】
また、制御モード中には音声データを記憶せず、撮影モード中にのみ音声データを記憶するから、音声データの記憶に係る電力消費を抑制することができる。
【００２８】
さらに、撮影ボタンが半押しされたことに応答して、音声データの記憶を開始するから、音声データの記憶に係る電力消費をより一層抑制することができる。
【００２９】
さらに、本発明の画像記憶方法によれば、撮影を行うときに記憶した外部の音声データから特徴を特徴データとして抽出し、撮影した画像データと抽出した特徴データとを関連付けて記憶するから、音声データをそのまま記憶するタイプに比べて、記憶するデータ量を抑制しながらも、音声に係るデータと画像データとを関連付けることができる。
【発明を実施するための最良の形態】
【００３０】
図１及び図２に示すように、本発明を実施したデジタルカメラ２は、カメラボディ３の前面に、複数の撮影レンズ４が組み込まれたレンズ鏡筒５、音声を取り込むマイク６等が設けられている。カメラボディ３の上面には、電源のオン／オフ時に押圧操作される電源ボタン７、撮影時に押圧操作されるレリーズボタン（撮影ボタン）８、デジタルカメラ２を、撮影を行う撮影モードと撮影した画像を再生表示する再生モード（制御モード）とで切り換えるモード切換スイッチ（モード切換手段）９等が設けられている。レンズ鏡筒５は、デジタルカメラ２が電源オフ状態にある際に、カメラボディ３の内部に収納され、電源オンとともにカメラボディ３の前面から突出する。モード切換スイッチ９は回転自在に設けられており、回転することにより、デジタルカメラ２のモードが変更されるようにされている。
【００３１】
レリーズボタン８は、２段押しの構造とされている。レリーズボタン８を軽く押圧（半押し）すると、フォーカシングなどの撮影準備動作が行われる。この状態でさらに押圧（全押し）すると、撮影動作が行われる。
【００３２】
カメラボディ３の背面には、撮影画像や各種設定条件が表示されるＬＣＤ（表示手段）１０、各種設定及び表示画像の切り換えを行うためのメニューキー（操作部材）１１、ＬＣＤ１０に表示する画像を拡大及び縮小ズームさせるズームボタン（操作部材）１２、スピーカ（操作音発生手段）１３等が設けられている。
【００３３】
ＬＣＤ１０、メニューキー１１、ズームボタン１２、スピーカ１３は、デジタルカメラ２の駆動を制御するＣＰＵ２０（図３参照）に接続されている。デジタルカメラ２が再生モードのときに、ユーザがメニューキー１１及びズームボタン１２を操作すると、ＣＰＵ２０は、メニューキー１１及びズームボタン１２が操作されたことを示す操作音を、スピーカ１３から発するように制御する。デジタルカメラ２が撮影モードのときには、ＣＰＵ２０は、上記操作音を発しないように制御する。これにより、後述する音声取り込み時に、上記操作音が取り込まれることがなく、デジタルカメラ２の外部の音声のみを取り込むことができる。本実施形態では、ＣＰＵ２０は、撮影モード中にメニューキー１１及びズームボタン１２が操作されたときに、スピーカ１３からの操作音の発生を停止する操作音停止手段としても機能する。
【００３４】
図３は、デジタルカメラ２内部の電気的構成を示すブロック図であり、撮影レンズ４の背後には、撮影レンズ４を透過した被写体光が撮像されるＣＣＤ１４が配置されている。このＣＣＤ１４には、ＣＰＵ２０によって制御されるタイミングジェネレータ１９からタイミング信号（クロック信号）が入力される。ＣＣＤ１４から出力された信号は、相関二重サンプリング回路（ＣＤＳ）１５に入力され、ＣＣＤ１４の各セルの蓄積電荷量に正確に対応したＲ、Ｇ、Ｂの画像データとして出力される。ＣＤＳ１５から出力された画像データは、増幅器（ＡＭＰ）１６で増幅され、Ａ／Ｄ変換器１７でデジタルデータに変換される。
【００３５】
画像入力コントローラ１８は、データバス２１を介してＣＰＵ２０に接続されており、ＣＰＵ２０の命令によってＣＣＤ１４，ＣＤＳ１５，ＡＭＰ１６，Ａ／Ｄ変換器１７を制御する。また、Ａ／Ｄ変換器１７から出力された画像データをビデオメモリ２２、あるいはバッファメモリ２４に書き込む。
【００３６】
ビデオメモリ２２は、ＬＣＤ１０をビューファインダとして使用する際に、解像度の低い画像データが一時的に記憶される。ビデオメモリ２２に記憶された画像データは、データバス２１を介してＬＣＤドライバ２３に送られ、ＬＣＤ１０に表示される。バッファメモリ２４は、撮像された高解像度の画像データが一時的に記憶される。このバッファメモリ２４から読み出された画像データは、メモリコントローラ２５によって駆動制御されるデータリーダによりＲＡＭ２６に記憶される。
【００３７】
画像信号処理回路２７は、撮像された高解像度の画像データがバッファメモリ２４内に記憶されている間に、例えば階調変換、色変換、画像の超低周波濃度成分の階調を圧縮するハイパートーン処理、粒状を抑制しながらシャープネスを強調するハイパーシャープネス処理等の画像処理を施す。
【００３８】
マイク６は、音声を取り込み、取り込んだアナログの音声データをＡ／Ｄ変換器２８に送る。Ａ／Ｄ変換器２８は、送られてきたアナログの音声データをデジタルの音声データに変換する。ＣＰＵ２０は、デジタルの音声データを、データバス２１を介して一時的に音声メモリ（音声記憶手段）２９に記憶する。本実施形態では、ＣＰＵ２０は、デジタルカメラ２が撮影モードであるときに、音声データを音声メモリ２９に記憶し、デジタルカメラ２が再生モードであるときに、音声データを音声メモリ２９に記憶しないようにされている。すなわち、再生モードから撮影モードに切り換えられたことに応答して音声メモリ２９に音声データの記憶を開始し、撮影モードから再生モードに切り換えられたことに応答して音声データの記憶を停止する。
【００３９】
特徴抽出部（特徴抽出手段）３１は、音声メモリ２９に記憶されている音声データの特徴として、音圧レベル（ｄＢ）を公知の計測方法により計測する。ＣＰＵ２０は、計測した音圧レベルデータを、バッファメモリ２４に記憶された画像データに付加し、音圧レベルデータが付加された画像データをＲＡＭ（関連データ記憶手段）２６に記憶する。
【００４０】
ＣＰＵ２０は、レリーズボタン８が全押しされたことに応答して、データバス２１を介して、特徴抽出部３１に抽出信号を出力する。本実施形態では、特徴抽出部３１は、抽出信号が入力されたことに応答して、撮影が行われたとき（レリーズボタン８が全押しされた時点）を基点として、基点の１秒（第１の所定時間）前から、基点の１秒（第２の所定時間）後までの期間（計２秒）に音声メモリ２９に記憶された音声データの音圧レベルを計測する。このため、音声メモリ２９は、少なくとも２秒以上音声データを記憶することができる記憶容量とされている。本実施形態では、音声メモリ２９は、音声データを５秒記憶することができる記憶容量とされている。なお、上記した秒数（１秒）は適宜変更可能である。
【００４１】
ＣＰＵ２０は、記憶されてから４秒（第５の所定時間）経過した音声メモリ２９内の音声データを消去する。これにより、音声メモリ２９に記憶した音声データを恒久的に保存するタイプに比べて、音声メモリ２９の記憶容量を小さくすることができる。本実施形態では、ＣＰＵ２０は、音声メモリ２９に記憶された音声データのうち、４秒（第５の所定時間）経過した音声データを消去する音声データ消去手段としても機能する。
【００４２】
フォーカスモータ（調整部材）３２は、撮影を行う前に複数の撮影レンズ４を移動させてフォーカス調整を行うものであり、モータドライバ（図示せず）を介してＣＰＵ２０により駆動が制御される。ＣＰＵ２０は、レリーズボタン８が半押しされたことに応答して、フォーカスモータ３２を駆動し、撮影レンズ４を移動させてフォーカス調整を行う。
【００４３】
図４に示すように、デジタルカメラ２を再生モードにすると、ＣＰＵ２０は、ＬＣＤ１０に表示方法選択画面３５を表示する。表示方法選択画面３５には、「画像表示方法を選択して下さい」という選択コメント画像４０が表示され、この選択コメント画像４０の下方には、「撮影順に表示」という第１コメント画像４１と、「音圧レベル順に表示」という第２コメント画像４２と、「音圧レベルを指定して検索表示」という第３コメント画像４３と、が表示され、第３コメント画像４３の下方には、音圧レベルを入力する入力部４４と、検索開始ボタン部４５と、が設けられている。
【００４４】
ユーザは、メニューキー１１を操作して上記した第１〜第３コメント画像４１〜４３のいずれかを選択する。ユーザが第１コメント画像４１を選択した場合には、ＣＰＵ２０は、ＲＡＭ２６に記憶された画像データを検索し、画像データを撮影順にＬＣＤ１０に表示するように制御する。なお、ＬＣＤ１０に表示する画像データを切り換える場合には、メニューキー１１を操作して行う。
【００４５】
ユーザが第２コメント画像４２を選択した場合には、ＣＰＵ２０は、ＲＡＭ２６に記憶された画像データを検索し、画像データを音圧レベル順（大→小）にＬＣＤ１０に表示するように制御する。
【００４６】
ユーザが第３コメント画像４３を選択した場合には、ＣＰＵ２０は、入力部４４に数値を入力することが可能となるように制御し、ユーザがメニューキー１１を操作して入力部４４に数値を入力すると、ＣＰＵ２０は、検索開始ボタン部４５を有効化するように制御する。そして、ユーザが、メニューキー１１を操作して検索開始ボタン部４５を操作すると、ＣＰＵ２０は、ＲＡＭ２６に記憶された画像データを検索し、付加された音圧レベルデータが入力数値（入力部４４に入力された数値）に近い順に、画像データをＬＣＤ１０に表示するように制御する。例えば、ＲＡＭ２６に記憶された５つの画像データに付加された音圧レベルデータの音圧レベル（ｄＢ）が、７０、７５、８０、８５、９０であり、入力数値が１００の場合には、ＣＰＵ２０は、音圧レベル９０の画像データ→音圧レベル８５の画像データ→音圧レベル８０の画像データ→音圧レベル７５の画像データ、音圧レベル７０の画像データの順に、表示する。
【００４７】
なお、本実施形態では、ＣＰＵ２０は、ＲＡＭ２６に記憶された画像データから、指定された特徴データ（音圧レベル）が関連付けられた画像データを検索する画像データ検索手段としても機能する。
【００４８】
上記のように構成されたデジタルカメラ２の作用について、図５のフローチャートを用いて説明を行う。デジタルカメラ２で撮影を行う場合には、デジタルカメラ２を撮影モードにする（ステップ（以下、Ｓ）１でＹ）。撮影モードであるときには、ＣＰＵ２０は、マイク６で取り込まれ、Ａ／Ｄ変換器２８でデジタルデータに変換された音声データを、音声メモリ２９に記憶する（Ｓ２）。
【００４９】
ユーザは、レリーズボタン８を操作して撮影を行う。レリーズボタン８が半押しされたこと（Ｓ３でＹ）に応答して、ＣＰＵ２０は、フォーカスモータ３２によるフォーカス調整を行う（Ｓ４）。そして、レリーズボタン８が全押しされたこと（Ｓ５でＹ）に応答して、撮影を行い、撮影した画像データをバッファメモリ２４に一時的に記憶するとともに、データバス２１を介して、特徴抽出部３１に抽出信号を出力する。特徴抽出部３１は、抽出信号が入力されたことに応答して、撮影が行われたとき（レリーズボタン８が全押しされた時点）を基点として、基点の１秒前から、基点の１秒後までの期間（計２秒）に音声メモリ２９に記憶された音声データの音圧レベルを計測する（Ｓ６）。ＣＰＵ２０は、計測した音圧レベルデータを、バッファメモリ２４に記憶された画像データに付加し（Ｓ７）、音圧レベルデータが付加された画像データをＲＡＭ２６に記憶する（Ｓ８）。
【００５０】
次に、デジタルカメラ２が再生モードのときの画像表示方法を選択する流れについて、図６に示すフローチャートを用いて説明を行う。
【００５１】
デジタルカメラ２を再生モードにする（Ｓ１でＹ）と、ＣＰＵ２０は、ＬＣＤ１０に表示方法選択画面３５を表示する（Ｓ２）。ユーザは、メニューキー１１を操作して、表示方法選択画面３５に表示された第１〜第３コメント画像４１〜４３のいずれかを選択する。ユーザが第１コメント画像４１を選択した場合（Ｓ３でＹ）には、ＣＰＵ２０は、ＲＡＭ２６に記憶された画像データを、撮影順にＬＣＤ１０に表示するように制御する（Ｓ４）。
【００５２】
ユーザが第２コメント画像４２を選択した場合（Ｓ５でＹ）には、ＣＰＵ２０は、ＲＡＭ２６に記憶された画像データを、音圧レベル順（大→小）にＬＣＤ１０に表示するように制御する（Ｓ６）。
【００５３】
ユーザが第３コメント画像４３を選択した場合（Ｓ７でＹ）には、ユーザが入力部４４に数値を入力し（Ｓ８でＹ）、検索開始ボタン部４５を操作する（Ｓ９でＹ）と、ＣＰＵ２０は、付加された音圧レベルデータが入力数値（入力部４４に入力された数値）に近い順に、画像データをＬＣＤ１０に表示するように制御する（Ｓ１０）。
【００５４】
このように、ＣＰＵ２０は、計測した音圧レベルデータを付加した画像データをＲＡＭ２６に記憶するから、音声データをそのままＲＡＭ２６に記憶するタイプに比べて、ＲＡＭ２６に記憶するデータ量を抑制しながらも、音声に係るデータと画像データとを関連付けることができる。
【００５５】
また、画像データを、音圧レベル順にＬＣＤ１０に表示することができ、さらには、任意の音圧レベルに近い画像データを検索することができる。
【００５６】
さらに、ＣＰＵ２０は、デジタルカメラ２が再生モードであるときには音声メモリ２９に音声データを記憶せず、撮影モードであるときにのみ音声データを記憶するから、音声データの記憶に係る電力消費を抑制することができる。
【００５７】
また、音圧レベルを計測する期間を２秒とし、さらには、記憶されてから４秒経過した音声メモリ２９内の音声データを消去するから、音声メモリ２９の記憶容量を、音声データを５秒記憶可能な記憶容量にすることができ、音声メモリ２９の記憶容量を小さくすることができる。
【００５８】
なお、上記実施形態では、音圧レベルを計測する期間を、撮影が行われたとき（レリーズボタン８が全押しされた時点）を基点として、基点の１秒前から、基点の１秒（後までの期間（計２秒）としたが、音圧レベルを計測する期間は適宜変更可能である。
【００５９】
また、上記実施形態では、ＲＡＭ２６に画像データを記憶するようにしたが、デジタルカメラ２にメモリカードを挿入するメモリカードスロットを設け、メモリカードスロットに挿入されたメモリカードに画像データを記憶するようにしてもよい。
【００６０】
さらに、上記実施形態では、デジタルカメラ２にＬＣＤ１０を設けたが、デジタルカメラ２にＬＣＤ１０を設けずに、再生モード時にはデジタルカメラ２をＰＣに接続し、ＲＡＭ２６に記憶した画像データをＰＣに送り、ＰＣのモニタに画像データを再生表示するようにしてもよい。
【００６１】
図７及び図８に他の実施形態を示す。図１〜図６に示す実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を簡略化する。この実施形態では、ＣＰＵ２０は、レリーズボタン８が半押しされたことに応答して、音声メモリ２９への音声データの記憶を開始し、レリーズボタン８が全押しされたことに応答して、音声メモリ２９への音声データの記憶を停止するようにされている。ＲＡＭ２６には、音声の特徴毎に予め分類された複数の音声モデルデータ（例えば、自動車内の音声を示す自動車内音声モデルデータ、列車内の音声を示す列車内音声モデルデータ、サッカー場の音声を示すサッカー場音声モデルデータ等）が記憶されている。本実施形態では、ＲＡＭ２６は、複数の音声モデルデータを記憶するモデルデータ記憶手段としても機能する。なお、ＲＡＭ２６に記憶する音声モデルデータは、適宜変更可能である。
【００６２】
デジタルカメラ２で撮影を行う場合には、デジタルカメラ２を撮影モードにする（Ｓ１でＹ）。ユーザが、レリーズボタン８を半押ししたこと（Ｓ２でＹ）に応答して、ＣＰＵ２０は、フォーカスモータ３２によるフォーカス調整を行う（Ｓ３）と同時に、マイク６で取り込まれ、Ａ／Ｄ変換器２８でデジタルデータに変換された音声データの音声メモリ２９への記憶を開始する（Ｓ４）。本実施形態では、サッカー場で撮影を行ったときの処理の流れについて説明を行う。
【００６３】
レリーズボタン８の半押しで音声データの記憶を開始してから、全押しするまでに半押しが解除される（Ｓ５でＹ）と、ＣＰＵ２０は、音声データの音声メモリ２９への記憶を停止する（Ｓ６）。なお、半押しが解除された場合、それまでに記憶した音声データを消去するようにしてもよい。
【００６４】
ユーザが、レリーズボタン８の半押しを解除していない（Ｓ５でＮ）状態でレリーズボタン８を全押しする（Ｓ７でＹ）と、ＣＰＵ２０は、撮影を行い、撮影した画像データをバッファメモリ２４に一時的に記憶するとともに、データバス２１を介して、特徴抽出部３１に抽出信号を出力する。本実施形態では、特徴抽出部３１は、抽出信号が入力されたことに応答して、撮影時点（レリーズボタン８が全押しされ、撮影が行われたとき）から、撮影時点の１秒（第３の所定時間）前までの期間に音声メモリ２９に記憶された音声データが、ＲＡＭ２６に記憶された複数の音声モデルデータのうちのいずれに最も類似しているかを公知の検出方法（声紋による分析、音声周波数による分析、音量による分析等）により検出（サッカー場音声モデルデータが最も類似していることを検出）し、その類似レベルを公知の算出方法（声紋による分析、音声周波数による分析、音量による分析等）により算出（例えば、８０％）し（Ｓ８）、算出した類似レベルデータ（サッカー場音声モデルデータ、類似レベル８０％）をバッファメモリ２４に記憶された画像データに付加し（Ｓ９）、類似レベルデータが付加された画像データをＲＡＭ２６に記憶する（Ｓ１０）。
【００６５】
なお、上記した類似レベルデータは、複数の音声モデルデータのうちの音声データが最も類似している１つの音声モデルデータ名と、類似レベルをパーセンテージで表したときの数値と、を含むものである。例えば、サッカー場音声モデルデータの音量データとして、観客の歓声が大きいときの音量データが記憶されている場合には、サッカー場で撮影を行ったときに、観客の歓声が大きいとき（類似レベルの数値が高い、例えば９０％）と、観客の歓声が小さいとき（類似レベルの数値が低い、例えば５０％）とでは、類似レベルを示す数値が異なることとなる。
【００６６】
図８に示すように、デジタルカメラ２を再生モードにすると、ＣＰＵ２０は、ＬＣＤ１０に表示方法選択画面４９を表示する。表示方法選択画面４９には、「画像表示方法を選択して下さい」という選択コメント画像５０が表示され、この選択コメント画像５０の下方には、「撮影順に表示」という第１コメント画像５１と、「類似する音声モデルデータ毎に表示」という第２コメント画像５２と、が表示される。
【００６７】
ユーザは、メニューキー１１を操作して上記した第１，第２コメント画像５１，５２のいずれかを選択する。ユーザが第１コメント画像５１を選択した場合には、ＣＰＵ２０は、ＲＡＭ２６に記憶された画像データを検索し、画像データを撮影順にＬＣＤ１０に表示するように制御する。なお、ＬＣＤ１０に表示する画像データを切り換える場合には、メニューキー１１を操作して行う。
【００６８】
ユーザが第２コメント画像５２を選択した場合には、ＣＰＵ２０は、ＲＡＭ２６に記憶された画像データを検索し、画像データを類似する音声モデルデータ毎にＬＣＤ１０に表示するように制御する。このとき、ＣＰＵ２０は、類似レベルの数値（％）が高い順に表示するように制御する。
【００６９】
このように、ＣＰＵ２０は、レリーズボタン８が半押しされたことに応答して、音声メモリ２９への音声データの記憶を開始するから、音声データの記憶に係る電力消費を抑制することができる。
【００７０】
また、音声データが、ＲＡＭ２６に記憶された音声モデルデータのうちのいずれに最も類似しているかを検出及び算出し、算出した類似レベルデータを付加した画像データをＲＡＭ２６に記憶するから、画像データを、類似する音声モデルデータ毎に分類することができ、さらには、画像データを、類似する音声モデルデータ毎にＬＣＤ１０に表示することができる。
【００７１】
さらに、ＣＰＵ２０は、撮影時点から、撮影時点の１秒前までの期間に音声メモリ２９に記憶された音声データに基づいて、上記した検出及び算出を行うから、デジタルカメラ２で連写を行った場合にも、対応することができる。
【００７２】
なお、上記実施形態では、レリーズボタン８が半押しされたことに応答して、ＣＰＵ２０は、音声メモリ２９への音声データの記憶を開始したが、音声データの記憶を開始するタイミングは適宜変更可能である。
【００７３】
また、上記実施形態では、ＣＰＵ２０は、撮影時点から、撮影時点の１秒前までの期間に音声メモリ２９に記憶された音声データに基づいて、上記した検出及び算出を行ったが、検出及び算出を行う音声データの期間は適宜変更可能である。
【００７４】
さらに、上記実施形態では、ＲＡＭ２６に音声モデルデータを記憶したが、デジタルカメラ２に、インターネットを介して音声モデルデータを記憶したデータサーバーに接続可能な通信部を設けるようにしてもよく、この場合には、ＣＰＵ２０は、通信部及びインターネットを介してデータサーバーに接続し、上記した検出及び算出を行う。
【００７５】
図９に他の実施形態を示す。図１〜図６に示す実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を簡略化する。この実施形態では、ＣＰＵ２０は、レリーズボタン８が全押しされたことに応答して、データバス２１を介して、特徴抽出部３１に抽出信号を出力する。特徴抽出部３１は、抽出信号が入力されたことに応答して、レリーズボタン８半押し時のフォーカス調整が終了したときから、レリーズボタン８の全押しによる撮影後２秒経過した時点までの期間（第４の所定時間）に音声メモリ２９に記憶された音声データのうちの例えば３０％（予め設定された割合）のデータ（以下、限定音声データと称する）を特徴データとして抽出する。特徴抽出部３１は、音声データのうち周波数の最も高い音声から順に３０％分の音声データを、限定音声データとして抽出する。
【００７６】
なお、音声データから限定音声データを抽出する方法は、上記したような高い周波数の音声を抽出する方法に限定されることなく、記憶された音声データを例えば０．５秒毎に分割し、分割した各データのうちの音圧レベル（ｄＢ）が高いデータを３０％分だけ抽出するようにしてもよく、適宜変更可能である。また、限定音声データを抽出する期間は、フォーカス調整が終了したときから所定時間後までの期間であればよく、少なくともフォーカス調整が終了したときから撮影が行われるまでの期間であることが好ましいが、適宜変更可能である。
【００７７】
デジタルカメラ２で撮影を行う場合には、デジタルカメラ２を撮影モードにする（Ｓ１でＹ）。撮影モードであるときには、ＣＰＵ２０は、マイク６で取り込まれ、Ａ／Ｄ変換器２８でデジタルデータに変換された音声データを、音声メモリ２９に記憶する（Ｓ２）。
【００７８】
ユーザが、レリーズボタン８を半押しする（Ｓ３でＹ）と、フォーカスモータ３２によるフォーカス調整が行われる（Ｓ４）。そして、ユーザが、レリーズボタン８を全押ししたこと（Ｓ５でＹ）に応答して、ＣＰＵ２０は、撮影を行い、撮影した画像データをバッファメモリ２４に一時的に記憶するとともに、データバス２１を介して、特徴抽出部３１に抽出信号を出力する。特徴抽出部３１は、抽出信号が入力されたことに応答して、フォーカス調整が終了したときから撮影後２秒経過した時点までの期間に音声メモリ２９に記憶された音声データから限定音声データを抽出する（Ｓ６）。
【００７９】
ＣＰＵ２０は、抽出した限定音声データを、バッファメモリ２４に記憶された画像データに付加し（Ｓ７）、限定音声データが付加された画像データをＲＡＭ２６に記憶する（Ｓ８）。
【００８０】
また、本実施形態では、ＣＰＵ２０は、ＲＡＭ２６に記憶された画像データをＬＣＤ１０に表示するときに、表示する画像データに付加された限定音声データを再生してスピーカ１３から出力するようにされている。
【００８１】
このように、フォーカス調整が終了したときから撮影後２秒経過した時点までの期間に音声メモリ２９に記憶された音声データから限定音声データを抽出するから、限定音声データを抽出する音声データには、フォーカス調整時のフォーカスモータ３２の駆動音が記憶されていないため、デジタルカメラ２の外部の音声のみから限定音声データを抽出することができる。
【００８２】
また、ＣＰＵ２０は、抽出した限定音声データを付加した画像データをＲＡＭ２６に記憶するから、音声データをそのままＲＡＭ２６に記憶するタイプに比べて、ＲＡＭ２６に記憶するデータ量を抑制しながらも、音声データを再生して撮影時の音声を確認することができ、さらには、音声データをそのまま記憶するタイプに比べて、音声データを再生するときのＣＰＵ２０の消費電力を抑制することができる。
【図面の簡単な説明】
【００８３】
【図１】本発明を実施したデジタルカメラを示す正面斜視図である。
【図２】デジタルカメラを示す背面斜視図である。
【図３】デジタルカメラ内部の電気的構成を示すブロック図である。
【図４】表示方法選択画面を示す説明図である。
【図５】撮影時の処理の流れを示すフローチャートである。
【図６】画像データの表示における処理の流れを示すフローチャートである。
【図７】レリーズボタンが半押しされたことに応答して、音声メモリへの音声データの記憶を開始する実施形態の撮影時の処理の流れを示すフローチャートである。
【図８】図７に示す実施形態の表示方法選択画面示す説明図である。
【図９】フォーカス調整が終了したときから、撮影終了後２秒経過した時点までの期間に音声メモリに記憶された音声データから限定音声データを抽出する実施形態の撮影時の処理の流れを示すフローチャートである。
【符号の説明】
【００８４】
２  デジタルカメラ
８  レリーズボタン（撮影ボタン）
９  モード切換スイッチ（モード切換手段）
１０  ＬＣＤ（表示手段）
１１  メニューキー（操作部材）
１２  ズームボタン（操作部材）
１３  スピーカ（操作音発生手段）
２０  ＣＰＵ
２６  ＲＡＭ（関連データ記憶手段）
２９  音声メモリ（音声記憶手段）
３１  特徴抽出部（特徴抽出手段）
３２  フォーカスモータ（調整部材）
【図１】
2008091978.tif 000003
【図２】
2008091978.tif 000004
【図３】
2008091978.tif 000005
【図４】
2008091978.tif 000006
【図５】
2008091978.tif 000007
【図６】
2008091978.tif 000008
【図７】
2008091978.tif 000009
【図８】
2008091978.tif 000010
【図９】
2008091978.tif 000011