(57)【要約】【課題】録音時の操作音などの雑音を低減する手段を提供する。【解決手段】音声を取得する音声取得手段と、音声付動画記録中又は録音中における撮像レンズを駆動するモータの駆動及び／又はユーザからの操作に係わる操作部材の操作と、駆動及び／又は操作の時間と、を検出する検出手段と、検出手段にて検出された駆動及び／又は操作の履歴を、音声付動画記録又は音声録音の時間と関連付けて履歴データとして保存する履歴保存手段と、を備え、履歴データと、音声付動画または音声と、を関連付けて保存する。【選択図】図３
2010193053.tif 000002
【特許請求の範囲】
【請求項１】
音声を取得する音声取得手段と、
音声付動画記録中又は録音中における撮像レンズを駆動するモータの駆動及び／又はユーザからの操作に係わる操作部材の操作と、前記駆動及び／又は前記操作の時間と、を検出する検出手段と、
前記検出手段にて検出された前記駆動及び／又は前記操作の履歴を、前記音声付動画記録又は音声録音の時間と関連付けて履歴データとして保存する履歴保存手段と、を備え、
前記履歴データと、前記音声付動画または前記音声と、を関連付けて保存することを特徴とする撮像装置。
【請求項２】
前記モータ駆動時及び／又は前記操作部材の操作時の音のノイズ特性データを保存するノイズ特性データ保存手段と、
前記音声付動画または前記音声を保存する際に、前記履歴保存手段にて保存された履歴データと、前記ノイズ特性データ保存手段にて保存されたノイズ特性データと、を用いて前記音声取得手段により取得した音声データからノイズ成分を低減するノイズ低減手段と、を備え、
ノイズ成分が低減された前記音声付動画または前記音声を不揮発性メモリに記録することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記不揮発性メモリに保存された前記音声付動画または前記音声を再生する再生手段を備え、
前記ノイズ低減手段は、前記再生手段により前記音声付動画または前記音声を再生する際に、前記履歴保存手段にて保存された履歴データと、前記ノイズ特性データ保存手段にて保存されたノイズ特性データと、を用いて前記音声取得手段により取得した音声データからノイズ成分を低減することを特徴とする請求項２記載の撮像装置。
【請求項４】
前記ノイズ特性データは、前記モータ駆動時及び／又は前記操作部材の操作時の音の周波数特性であり、
前記ノイズ低減手段は、特性にあわせてバンドパスフィルタの周波数特性を切り換えること特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記ノイズ特性データは、前記モータ駆動時及び／又は前記操作部材の操作時の音の音圧レベルであり、
ノイズ低減手段は、特性にあわせて音圧レベルの減衰量を切り換えること特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項６】
履歴保存手段は、ユーザにより無効化されることを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
音声付動画撮影中に光学ズームの駆動を禁止する光学ズーム禁止手段を備えることを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
【請求項８】
ＡＧＣ(オートゲインコントロール)、イコライザ、デジタルボリューム等の音声処理機能を有することを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
【請求項９】
前記モータ駆動時及び／又は前記操作部材の操作時のノイズ特性を取得するノイズ特性取得手段を備え、
前記ノイズ特性データ保存手段は、前記モータ及び／又は操作部材の動作操作音の主要周波数成分が録音時のサンプリングレートｆｓの１／２を超える周波数の場合は、データとして登録しないことを特徴とする請求項２から８のいずれか１項記載の撮像装置。
【請求項１０】
音声を取得する音声取得ステップと、
音声付動画記録中又は録音中における撮像レンズを駆動するモータの駆動及び／又はユーザからの操作に係わる操作部材の操作と、前記駆動及び／又は前記操作の時間と、を検出する検出ステップと、
前記検出ステップにて検出された前記駆動及び／又は前記操作の履歴を、前記音声付動画記録又は音声録音の時間と関連付けて履歴データとして保存する履歴保存ステップと、を備え、
前記履歴データと、前記音声付動画または前記音声と、を関連付けて保存することを特徴とするノイズ低減方法。
【請求項１１】
前記モータ駆動時及び／又は前記操作部材の操作時の音のノイズ特性データを保存するノイズ特性データ保存ステップと、
前記音声付動画または前記音声を保存する際に、前記履歴保存ステップにて保存された履歴データと、前記ノイズ特性データ保存ステップにて保存されたノイズ特性データと、を用いて前記音声取得手段により取得した音声データからノイズ成分を低減するノイズ低減ステップと、
ノイズ成分が低減された前記音声付動画または前記音声を不揮発性メモリに記録するステップと、を備えることを特徴とする請求項１０記載のノイズ低減方法。
【請求項１２】
前記不揮発性メモリに保存された前記音声付動画または前記音声を再生する再生ステップを備え、
前記ノイズ低減ステップは、前記再生ステップにより前記音声付動画または前記音声を再生する際に、前記履歴保存ステップにて保存された履歴データと、前記ノイズ特性データ保存ステップにて保存されたノイズ特性データと、を用いて前記音声取得ステップにより取得した音声データからノイズ成分を低減することを特徴とする請求項１１記載のノイズ低減方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、録音の際に生じる、操作音などの雑音を軽減する撮像装置及びノイズ低減方法に関する。
【背景技術】
【０００２】
光学ズームを有するデジタルスチルカメラは、レンズの小型化を図るため鏡筒が伸縮する沈胴タイプのレンズを採用している場合が多い。小型化が図れる一方で、このタイプのレンズは、駆動トルクが大きいためモータやギアなどから発生する雑音が大きい。
【０００３】
また、光学ズームを搭載していない場合でも、フォーカスモータを駆動する際にも、同様に雑音が発生する。このように、コンパクトに設計されたデジタルスチルカメラのレンズは、駆動時に発生する雑音が大きい。
【０００４】
また、音声付動画機能を有するデジタルスチルカメラでは、動画像を記録する際、ズームモータ、フォーカスモータからの雑音が入らないように光学ズームやフォーカス動作を禁止してデジタルズームのみにするか、音声に入る雑音を許容して光学ズーム等を動作させるか、のどちらかを採用している場合が多い。しかしながら、ボタン操作によるクリック音においてはそれを許容して、なおかつこれらを考慮したマイクの設置は、構造上の制約から困難である。
【０００５】
デジタルカメラ及びボイスレコーダによる音声録音時の機械的駆動音、クリック音の対策としては、以下のような方法が従来より提案されている。
【０００６】
１．動画撮影時は光学ズームを動かさず、デジタルズームのみ行う。
【０００７】
２．動画撮影時、レンズ、フォーカス等の駆動時、録音レベルを、下げるまたは０にして無音として録音する。
【０００８】
３．複数のマイクロホンを配置し、ズームレンズ駆動モータ又はフォーカスレンズ駆動モータが騒音を発生している期間には、ズームレンズ駆動モータ及びフォーカスレンズ駆動モータの騒音を最も集音しないように配置された第２マイクロホンが集音した音声をメモリに記憶させる。（特許文献１参照）
【０００９】
４．動画撮影時、機械的振動ノイズ発生時にキャンセルさせるような逆位相を掛ける。（特許文献２参照）
【００１０】
５．録音用マイク、雑音集音用マイクを配置し、録音時に録音用マイクのデータから雑音集音用マイクのデータを減算することでレンズ等の雑音低減を実現する。（特許文献３参照）
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、音声付動画撮影時にフォーカス、ズーム駆動を禁止する撮影方法では撮影シーンが限定されてしまう。また、ズーム駆動、フォーカス駆動時の録音レベルを下げる、０にする等の方法は、収音された音声が不自然になってしまう。
【００１２】
また、特許文献１や特許文献３に記載の技術では、モノラル音声録音でも、複数の収音マイクを有する必要が在り、コスト、実装面積ともに大きくなってしまう。
【００１３】
また、特許文献２のように録音時にフィルタ処理、逆位相を掛ける等の方法では、ＣＰＵの性能によってはデータのアンダーフローの危険性や処理が間に合わない等、時間的制約が絶対の音声処理において実現不可能な場合があった。
【００１４】
そこで本発明は、上記問題点に鑑みてなされたもので、録音時の操作音などの雑音を低減する手段を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するため、本発明における撮像装置は、音声を取得する音声取得手段と、音声付動画記録中又は録音中における撮像レンズを駆動するモータの駆動及び／又はユーザからの操作に係わる操作部材の操作と、駆動及び／又は操作の時間と、を検出する検出手段と、検出手段にて検出された駆動及び／又は操作の履歴を、音声付動画記録又は音声録音の時間と関連付けて履歴データとして保存する履歴保存手段と、を備え、履歴データと、音声付動画または音声と、を関連付けて保存することを特徴とする。
【００１６】
モータ駆動時及び／又は操作部材の操作時の音のノイズ特性データを保存するノイズ特性データ保存手段と、音声付動画または音声を不揮発性メモリに保存する際に、履歴保存手段にて保存された履歴データと、ノイズ特性データ保存手段にて保存されたノイズ特性データと、を用いて音声取得手段により取得した音声データからノイズ成分を低減するノイズ低減手段と、を備え、ノイズ成分が低減された音声付動画または音声を不揮発性メモリに記録することを特徴とする。
【００１７】
不揮発性メモリに保存された音声付動画または音声を再生する再生手段を備え、ノイズ低減手段は、再生手段により音声付動画または音声を再生する際に、履歴保存手段にて保存された履歴データと、ノイズ特性データ保存手段にて保存されたノイズ特性データと、を用いて音声取得手段により取得した音声データからノイズ成分を低減することを特徴とする。
【００１８】
また、本発明におけるノイズ低減方法は、音声を取得する音声取得ステップと、音声付動画記録中又は録音中における撮像レンズを駆動するモータの駆動及び／又はユーザからの操作に係わる操作部材の操作と、駆動及び／又は操作の時間と、を検出する検出ステップと、検出ステップにて検出された駆動及び／又は操作の履歴を、音声付動画記録又は音声録音の時間と関連付けて履歴データとして保存する履歴保存ステップと、を備え、履歴データと、音声付動画または音声と、を関連付けて不揮発性メモリに保存することを特徴とする。
【００１９】
モータ駆動時及び／又は操作部材の操作時の音のノイズ特性データを保存するノイズ特性データ保存ステップと、音声付動画または音声を不揮発性メモリに保存する際に、履歴保存ステップにて保存された履歴データと、ノイズ特性データ保存ステップにて保存されたノイズ特性データと、を用いて音声取得手段により取得した音声データからノイズ成分を低減するノイズ低減ステップと、ノイズ成分が低減された音声付動画または音声を不揮発性メモリに記録するステップと、を備えることを特徴とする。
【００２０】
不揮発性メモリに保存された音声付動画または音声を再生する再生ステップを備え、ノイズ低減ステップは、再生ステップにより音声付動画または音声を再生する際に、履歴保存ステップにて保存された履歴データと、ノイズ特性データ保存ステップにて保存されたノイズ特性データと、を用いて音声取得ステップにより取得した音声データからノイズ成分を低減することを特徴とする。
【発明の効果】
【００２１】
本発明により、複数のマイクを備えるなど、特別な部材なしで、録音時の操作音などの雑音を低減する手段を提供することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係るデジタルカメラの構成図である。
【図２】本発明の実施形態に係るデジタルカメラの機能ブロック図である。
【図３】本発明の実施形態に係るデジタルカメラの操作部材、駆動部材の音声の特性データ登録方法を示すフローチャート図である。
【図４】本発明の実施形態に係るデジタルカメラの音声付動画撮影時の撮影方法を示すフローチャート図である。
【図５】録音データの一例を示す図である。
【図６】本発明の実施形態に係るデジタルカメラの音声付動画再生時のフローチャート図である。
【図７】２ｃｈ録音(ステレオ録音)の場合における収集データに標本化定理を利用した場合の実施例である。
【発明を実施するための形態】
【００２３】
次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。なお、本実施形態は、撮像装置をデジタルスチルカメラシステムとしているが、これに限るものではなく、音声録音、音声付動画撮影が可能な撮像装置について適用可能である。
【００２４】
図１は、本発明の実施形態におけるデジタルカメラの構成図である。本デジタルカメラは、全体の動作を中央処理装置（ＣＰＵ）１によって統括制御されている。
【００２５】
ＣＰＵ１は、操作部２４（ＰＯＷＥＲ（電源）ボタン、シャッタボタン、ズームレバー（望遠）／（広角）、モード切替スイッチ、再生ボタン、ＡＤＪ．ボタン、削除／セルフタイマーボタン、↑／ＭＯＤＥボタン、→／クイックレビューボタン、ＭＥＮＵ／ＯＫボタン、↓／マクロボタン、←／フラッシュボタン、ＤＩＳＰ．ボタン２０）から入力される操作信号に基き、所定の制御プログラムに従ってデジタルカメラの全体を統括制御する。
【００２６】
バス２を介してＣＰＵ１と接続されたフラッシュＲＯＭ３には、ＣＰＵが実行する制御プログラム及び制御に必要な各種データ、ユーザ設定情報などのデジタルカメラの動作に関する各種設定情報等が格納されている。
【００２７】
メモリ（ＳＤＲＡＭ）４は、ＣＰＵ１の演算作業用領域、画像データ（Ｒａｗ−ＲＧＢ画像データ、ＹＵＶ画像データ、圧縮伸張画像データ）等の一時記憶領域として利用される。
【００２８】
鏡胴ユニット５は、被写体の光学画像を取り込むズームレンズ５１と、フォーカスレンズ５２と、それらを制御するレンズ駆動部６と、絞り５３と、それらを制御する絞り駆動部７と、メカシャッタ５４と、メカシャッタを制御するシャッタ駆動部８と、からなる。
【００２９】
シャッタ駆動部６、絞り駆動部７と、レンズ駆動部８とは、ＣＰＵ１からの駆動指令により駆動制御される。
【００３０】
デジタルカメラの電源がオン状態になると、制御プログラムはメモリ（ＳＤＲＡＭ）４にロードされ、ＣＰＵ１はその制御プログラムに従い、装置各部の動作を制御する。それとともに制御に必要なデータ等を、一時的にメモリ（ＳＤＲＡＭ）４に保存する。
【００３１】
フラッシュＲＯＭ３は、書き換え可能な半不揮発性メモリなので、制御プログラムや制御に必要な各種データ、ユーザ設定情報を変更することが可能となり、機能のバージョンアップが容易に行える。
【００３２】
デジタルカメラは、ＰＯＷＥＲ（電源）ボタンを撮影位置に合わせることで、撮影モードに設定され、撮影が可能になる。そして、撮影モードに設定されることにより、レンズが繰り出され、撮影スタンバイ状態になる。
【００３３】
この撮影モードの下、レンズを通過した被写体光は、絞りを介して固体撮像素子の受光面に結像される。
【００３４】
固体撮像素子は、ＣＣＤ９で構成されており、その受光面には、所定の配列構造（ベイヤー、Ｇストライプなど）で配列された赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタを介して多数のフォトダイオード（受光素子）が二次元的に配置されている。
【００３５】
レンズを通過した被写体光は、各フォトダイオードによって受光され、入射光量に応じた量の信号電荷に変換される。
【００３６】
各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ（ＴＧ）から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出され、アナログ処理部（ＣＤＳ／ＡＭＰ）１１に加えられる。
【００３７】
アナログ処理部（ＣＤＳ／ＡＭＰ）１１は、入力された画素ごとのＲＧＢ信号をサンプリングホールド（相関二重サンプリング処理）するとともに、増幅し、Ａ／Ｄ変換器１２に出力する。
【００３８】
Ａ／Ｄ変換器１２は、アナログ処理部（ＣＤＳ／ＡＭＰ）１１から出力されたアナログＲＧＢ信号をデジタルＲＧＢ信号に変換して出力し、このＡ／Ｄ変換器から出力されたデジタルのＲＧＢ信号が、センサ入力制御部１３を介し、Ｒａｗ−ＲＧＢ画像データとしてメモリ（ＳＤＲＡＭ）４に取り込まれる。
【００３９】
画像信号処理部１４は、メモリに取り込まれたＲａｗ−ＲＧＢ画像データをＣＰＵ１の指令に従って処理し、輝度信号（Ｙ信号）及び色差信号（Ｃr、Ｃb信号）へ変換し、ＹＵＶ画像データを生成する。
【００４０】
すなわち、画像信号処理部１４は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、ＣＰＵ１からの指令に従って、メモリ（ＳＤＲＡＭ）４を活用しながら入力されたＲＧＢ信号を信号処理することにより、輝度信号及び色差信号（輝度／色差信号）を生成する。生成された輝度／色差信号は、ＹＵＶ画像データとしてメモリ（ＳＤＲＡＭ）４に格納される。
【００４１】
撮影画像を液晶モニタ１７に出力する場合は、ＹＵＶ画像データが、メモリ（ＳＤＲＡＭ）４からＯＳＤＭＩＸ部１５に送られる。
【００４２】
ＯＳＤＭＩＸ部１５は、入力されたＹＵＶ画像データの輝度／色差信号に文字や図形などのオンスクリーンディスプレイデータを重ね合わせて合成され、ビデオエンコーダおよび液晶モニタ信号処理部に出力する。これにより、所要の撮影情報等が画像データに重ねて表示される。
【００４３】
ビデオエンコーダ１８は、入力されたＹＵＶ画像データの輝度／色差信号を表示用のデジタル表示出力信号（たとえばＮＴＳＣ方式のカラー複合映像信号）に変換し、Ｄ／Ａ変換器１９にてデジタル表示出力信号をアナログビデオ出力信号に変換する。
【００４４】
ビデオＡＭＰ２０は、Ｄ／Ａ変換器１９から出力されたアナログビデオ信号を、７５Ωインピーダンス変換し、テレビなどの外部表示機器と接続するためのＡＶ出力端子２１へ出力する。これにより、ＣＣＤで撮像された画像がテレビなどの外部表示機器に表示される。
【００４５】
一方、液晶モニタ信号処理部１６は、入力されたＹＵＶ画像データの輝度／色差信号を液晶モニタ１７の入力信号形式であるＲＧＢ信号へ変換し、液晶モニタ１７へ出力する。これにより、ＣＣＤで撮像された画像が液晶モニタ１７に表示される。
【００４６】
ＣＣＤから画像信号を定期的に取り込み、その画像信号から生成される輝度／色差信号によってメモリ（ＳＤＲＡＭ）４内のＹＵＶ画像データを定期的に書き換え、液晶モニタ１７およびＡＶ出力端子２１に出力することにより、ＣＣＤで撮像される画像がリアルタイムに表示される。撮影者は、液晶モニタ１７にリアルタイムに表示される画像（ライブビュー画像）を見ることにより、撮影画角を確認することができる。
【００４７】
オーディオＣＯＤＥＣ２３は、ＡＬＣ(オートレベルコントロール)、ＰＧＡ(プログラマブルゲインアンプ)、ＡＤＣおよびＤＡＣを有し、ＡＤＣ、ＤＡＣその両方で使用可能なイコライザ、ハイパスフィルタ、ローパスフィルタ、デジタルボリュームを有し、それらの機能をＣＰＵ１からのシリアル通信により制御が可能である。
【００４８】
マイク２５から入力された音声はオーディオＣＯＤＥＣ２３内でＡＧＣ、ＨＰＦ等の各種アナログフロントエンドブロックを通過後、Ａ／Ｄ変換によりデジタルデータに変換されて音声信号処理部２２へ送られ、ＤＭＡもしくはＣＰＵを介してメモリ（ＳＤＲＡＭ）４へ転送される。
【００４９】
音声信号処理部２２から送られた音声データは、オーディオＣＯＤＥＣ２３のＤＡＣに送信されアナログデータに変換後、スピーカ２６から出力される
【００５０】
図２は、本発明の実施形態におけるデジタルカメラの機能ブロック図である。本デジタルカメラは、撮像部１０１と、音声取得部１０２と、操作検出部１０３と、記憶部１０４と、を有して構成される。
【００５１】
撮像部１０１は、被写体の撮像を行い、音声取得部１０２とともに動作することで、音声付動画記録が可能となっている。なお音声取得部１０２は、音声を音声データと取得する。
【００５２】
操作検出部１０３は、撮像レンズを駆動するモータの駆動やデジタルカメラを操作するための操作部材の操作を検出し、また、そのときの時間を検出する。
【００５３】
記憶部１０４は、撮像部１０１及び／又は音声取得部１０２で取得されたデータや、操作検出部１０３で検出された操作履歴を関連付けて記憶している。また、モータの駆動や操作音によるノイズ特性のデータを保持する。
【００５４】
次に本発明の実施形態における録音制御について詳細に説明する。まず、操作部材のクリック音、駆動音の特性データの取得に関して説明する。
【００５５】
図３は、本発明の実施形態おける操作部材、駆動部材の音声の特性データの登録方法を示すフローチャート図である。
【００５６】
操作部材のクリック音、駆動部の音声測定において実機で任意の操作部材、駆動部材の動作音、クリック音、をリニアＰＣＭ等でサンプリングし、ＷＡＶＥ形式などのファイル形式で録音する。録音したデジタルデータから周波数成分、ピークをスペクトルアナライザ等で抽出する（ステップＳ２０１）。
【００５７】
抽出後、表１に示すような測定結果テーブルを作成し、
【００５８】
【表１】
2010193053.tif 000003
【００５９】
表１から表２に示すようなプログラム組み込み用のテーブル（操作部材駆動部材音声特性ＬＵＴ（Ｌｏｏｋ  Ｕｐ  Ｔａｂｌｅ））を作成する（ステップＳ２０２）。
【００６０】
【表２】
2010193053.tif 000004
【００６１】
ＬＵＴは、データを圧縮するための一手段である。表２に示すデータは、任意の形で不揮発メモリに登録される。ここで、部材ＩＤは任意に決定される。
【００６２】
表１のデータを基に該当する操作部材、駆動部が操作、駆動した際に減衰させる音圧レベルを規定し、表２の減衰量(ｄＢ)と減衰量(元データに掛ける係数)とを記録する。撮像装置、録音装置内部では表２における操作部材又は駆動部と、部材ＩＤと、Ｆｃ周波数（遮断周波数）と、主要周波数帯域幅と、減衰量（ｄＢ）又は減衰量（元データに掛ける係数)と、を不揮発性メモリに記憶させ保持する。
【００６３】
図４は、本発明の実施形態における音声付動画撮影時の撮影方法を示すフローチャート図である。
【００６４】
シャッタボタン押下などにより、音声付動画撮影が開始されると（ステップＳ３０１）、操作部、駆動部の操作、動作音などの低減のための同駆動履歴、同操作履歴を記憶するか否か（ノイズ低減録画機能）がユーザにより設定されているか判断を行う（ステップＳ３０２）。
【００６５】
ノイズ低減録画機能がＯＮになっていれば、操作部材、駆動部材の動作又は駆動が有るか否かの判断を行う（ステップＳ３０３）。
【００６６】
操作部材、駆動部材の動作又は駆動が有れば、駆動ステータスを監視するプログラム、制御からの情報を基に表３に示すような操作部の操作、及び駆動部駆動履歴データを保存する（ステップＳ３０４）。
【００６７】
【表３】
2010193053.tif 000005
【００６８】
表３は、操作部材の操作履歴、駆動部の駆動履歴として、フレーム数もしくは経過秒数と動作または操作された部材を表２の部材ＩＤに置き換え、ＳＤＲＡＭもしくは不揮発性メモリにデータとして保存される。
【００６９】
表３におけるフレーム数は、差分値を持つことでデータ量を圧縮が可能である。また、表３における現在のフレーム数は、（フレーム数/フレームレート）により秒数に変換可能で余りを切り捨てることで履歴のサンプル数そのものを減らすことが可能である。また、表３の履歴データの取得の間隔は可変で、秒単位、ＶＯＰ単位、フレーム単位と処理の負荷に応じて選択する。
【００７０】
ユーザによる音声付動画撮影の終了操作、もしくは記憶容量がなくなることによる当該撮像装置、録音装置の自発的な音声付動画撮影完了判定が行われたか否かを判断し（ステップＳ３０５）、終了判断がされれば、動画撮影の完了処理を行う（ステップＳ３０６）。
【００７１】
完了処理とは、ファイルのクローズ及びトランケート等のファイルの終端処理であり、表３の履歴データを当該動画ファイルに埋め込む場合はその処理を行う。操作部、駆動部、操作駆動履歴を当該動画ファイルと別ファイルとして保存する場合は、そのクローズ処理を行う。
【００７２】
動画撮影中の各部材の操作又は駆動履歴があるか否かを判断し（ステップＳ３０７）、無い場合はそのまま終了する。一方、動画撮影中の各部材の操作又は駆動履歴がある場合には、フレーム数から対応する音声データを探索する、部材ＩＤから表２の操作部材駆動部材音声特性ＬＵＴの周波数、レベル情報を取り出し、探索した音声データに対して（不自然な音声に為らないようＦｅｎｄ−Ｆｓｔａｒｔの期間が１秒未満の場合は、そのフレームを含む前後の１ＶＯＰ単位で最低でも１秒分の音声データに対し）、バンドリジェクトフィルタ（バンドパスフィルタ）を施す、またはゲインを下げる、又はその両方を施す等、その操作音、駆動音を低減させるような音声データの変換、補正を行う（ステップＳ３０８）。
【００７３】
なお、ステップＳ３０２、Ｓ３０３、Ｓ３０４において、「ノイズ低減録画機能の設定判断、及びその記憶処理」は、前記操作部材、駆動部材の動作、操作音の主要周波数成分が、録音の際のサンプリングレートｆｓの１／２を超える周波数である場合は、標本化定理により完全復元不可能であるため前記駆動履歴、操作履歴情報の記憶処理は行わないようにしてもよい。
【００７４】
また、音声付動画撮影中は光学ズームの駆動を禁止し、オートフォーカスのみを許可する（物理的な駆動音が発生しない電子ズームは許可する）ようにしても良い。これにより、オートフォーカス時のフォーカスモータの音のノイズ低減のみに前記実施形態を注力でき、より原データに近い形でノイズ低減が図れる、等の効果を享受できる。
【００７５】
図５は、録音データの一例を示す図である。図５は、表３に示すデータと対応する。
【００７６】
音声付動画撮影時に同時に生成した表３から始めに３９０フレーム目〜５４０フレーム目まで部材ＩＤ＝６が動作していたことが判るため、当該音声付動画ファイルから３９０〜５４０フレーム目までの間の音声データをサーチする（図４破線区間）。
【００７７】
次に、表２からＩＤ＝６が動作した場合に減衰させるべき減衰量を探索する、つまり０．５倍の値を当該音声付動画ファイルにおける３９０〜５４０フレーム目までの間の音声データの値を一律０．５倍する(ゲインを下げる)。
【００７８】
または、表２の部材ＩＤとＦｃ周波数を用いて、バンドリジェクトフィルタ等のフィルタリングにより主要成分の音圧レベルをカットまたは減衰させることで、ＩＤ＝６の駆動音、操作音を減衰させる。
【００７９】
図６は、本発明の実施形態におけるデジタルカメラの音声付動画再生時のフローチャート図である。
【００８０】
ユーザから動画再生の開始要求があると（ステップＳ５０１）、表３に示す操作又は駆動履歴データの情報があるかどうかの判断を行う（ステップＳ５０２）。このデータは当該動画ファイルのメタデータ部として、もしくは動画ファイルに関するファイルとして、たとえば同名異拡張子のファイルの何れかの形で存在する。存在しない場合はその後通常の動画再生を行う。
【００８１】
ｘフレーム目の動画フレームの復号化処理を行う（ステップＳ５０３）。
【００８２】
表３と同等の当該動画ファイルの埋め込みデータ、もしくは関連する別ファイルに存在する表３相当のデータから現在のフレーム数と同じＦｓｔａｒｔの値があるか否かを判断する（ステップＳ５０４）
【００８３】
現在のフレーム数と同じＦｓｔａｒｔの値があれば、オーディオコーデックが持つ機能、ＡＧＣ(オートゲインコントロール)、デジタルボリューム、イコライザ、フィルタ等を利用し、その部材の動作、操作音を低減するように任意の設定をする（ステップＳ５０５）。その任意の設定は表３の部材ＩＤから表２の情報を取り出し、その情報を参考に設定を決定する。
【００８４】
表３と同等の当該動画ファイルの埋め込みデータ、もしくは関連する別ファイルに存在する表３相当のデータから現在のフレーム数と同じＦｅｎｄの値があるか否かを判断する（ステップＳ５０６）。
【００８５】
現在のフレーム数と同じＦｅｎｄの値があれば、この段階で実行している操作音、駆動音低減処理を停止する（ステップＳ５０７）。なお、実行していない場合は何もしない。
【００８６】
ここまでで、ｘフレーム目の復号化は完了しているので、フレームのカウントをインクリメントする（ステップＳ５０８）。なお、音声ビットストリームの再生は映像ビットストリームと平行してリアルタイムにデコードされている。
【００８７】
ｘが最終フレームの値と同等になるか、停止操作が行われるまで上記操作を繰り返し（ステップＳ５０９）、音声付動画の再生は完了となる。
【００８８】
図７は、２ｃｈ録音(ステレオ録音)の場合における表３の収集データに標本化定理を利用した場合の実施例である。
【００８９】
ノイズ元の主要周波数ｆｎ、サンプリングレートｆｓとした時に、
ｆｓ＜２ｆｎ
となるように、ｃｈ２のオリジナルデータに対して、エンコード時もしくはデコード時にｃｈ１のデータからｃｈ２のデータに対して定周期でｃｈ１のデータを基に算出した値（＊１）をコピーすることにより、ノイズ元に寄り近いほうのマイクｃｈ２のデータのサンプリングレートを擬似的に変更し、ノイズ元の主要周波数の復元を抑制する方法である。
【００９０】
＊１においてコピーする際コピー元のデータのＡ／Ｄ値  ＡＤＤＡＴ_ＳＲＣとコピー先のデータのＡ／Ｄ値ＡＤＤＡＴ_ＤＳＴの差
ΔＡＤＤＡＴ=｜ＡＤＤＡＴ_ＳＲＣ−ＡＤＤＡＴ_ＤＳＴ｜
がある一定量を超える場合、ＡＤＤＡＴ_ＤＳＴ＝｜ＡＤＤＡＴ_ＳＲＣ−ＡＤＤＡＴ_ＤＳＴ｜／２として平均化する、もしくはＡＤＤＡＴ_ＤＳＴ＝（ＡＤＤＡＴ_ＤＳＴ±Ｘ）と一定量の減算、加算を行う。
【００９１】
図７において、サンプリングレート：８ｋＨｚ、チャンネル数：２、ｃｈ１：ｃｈ２とは別の位置に取り付けられたマイクから取得した音声データのＡ／Ｄ出力、ｃｈ２：ズームモータ等のノイズ元により近い位置に配置されたマイクから取得した音声データのＡ／Ｄ出力をそれぞれ示す。
【００９２】
ノイズ発生期間Ｔｎにおけるｃｈ２のＡ／Ｄ値：ＡＤＤＤＡＴ_ＣＨ２＝３００、主要周波数成分２ｋＨｚとすると、ノイズ発生期間ＴｎのＡＤＤＡＴ_ＣＨ２のデータをｃｈ１のＡ／Ｄ値：ＡＤＤＡＴ_ＣＨ１のデータを用いて、オリジナルデータのＡＤＤＡＴ_ＣＨ２のデータに注目した際にサンプリングクロックが擬似的に１／４に成るように（＊２参照）定周期で値Ｙに変換する。
【００９３】
本例では、
【００９４】
ΔＡＤＤＡＴ＝｜ＡＤＤＡＴ_ＣＨ１−ＡＤＤＡＴ_ＣＨ２｜
【００９５】
ｚ＝５０とすると、
【００９６】
IF(ΔADDAT>Z)
Y=(ADDAT_CH1+ADDAT_CH2)/2=(300+220)/2=260
ELSE
Y=ADDAT_CH1
【００９７】
これにより、ノイズ元の原信号ｆｎ＝２ｋＨｚのデータの復元に必要なサンプリング周波数ｆｓｒは、
【００９８】
ｆｓｒ＝２×ｆｎ＝４ｋＨｚ
【００９９】
Ｔｎ期間の変換後データイメージのＡＤＤＡＴ_ＣＨ２のオリジナルデータの出現周期は＊２から擬似的にサンプリングクロックの１／４の２ｋＨｚになることでＴｎ期間のノイズ発生時の音声データを自然な形で抑制できる。
【０１００】
図７によれば、デジタルカメラなどの小型機器のように比較的二つのマイクが物理的に近い位置に配置されている場合、擬似的にサンプリングレートを下げることにより、原データ（元のオリジナル）を極力残す形でノイズデータの復元を阻止できる。
【０１０１】
本発明の実施形態によれば、デジタルカメラの製造の工程もしくは設計段階での各部材のクリック音、駆動音、動作音の特性データを持ち、音声録音中に、どの操作部材が押下されたか、どの駆動部材が動いたか、などの情報を録音中に別のメタデータとしてログを取り、このデータを用いて音声録音完了時もしくは音声再生時に音声データを変換する。
【０１０２】
音声、音声付動画の記録中に駆動部、操作部の操作履歴、駆動履歴を同時に記録し、その履歴情報を用いて記録された音声データのゲインや周波数特性を変えてノイズを低減する、または履歴データを下に再生時に音声デバイスの機能を用いてＤＡＣのボリュームを変更する等で再生時にその操作音動作のノイズを低減するため、従来の技術のように複数のマイク等本課題を解消するための部品、部材なしで、動画音声、音声録音時にノイズとして認識されるボタンのクリック音を抑制できる。
【０１０３】
また、操作音などのノイズの低減により、録音中制限されていた、録音レベルの変更、ズーム操作等の操作が可能になるため仕様上の制限が無くなり仕様の幅が広がる効果が期待できる。
【０１０４】
また、録音完了時もしくは再生時に行う処理により実現するため、ＣＰＵのスペックによってタイミングがシビアな録音時に従来技術の様な複雑な処理を行わなくて良いためデータのアンダーフロー等を防ぐことが可能である。
【０１０５】
以上、実施の形態を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨および範囲から逸脱することなく、これら実施の形態や具体例に様々な修正および変更が可能である。
【符号の説明】
【０１０６】
１０１    撮像部
１０２    音声取得部
１０３    操作検出部
１０４    記憶部
【先行技術文献】
【特許文献】
【０１０７】
【特許文献１】特開２００５−０２６９５７号公報
【特許文献２】特開２００２−３４４７８７号公報
【特許文献３】特開２００５−２４４６１３号公報
【図１】
2010193053.tif 000006
【図２】
2010193053.tif 000007
【図３】
2010193053.tif 000008
【図４】
2010193053.tif 000009
【図５】
2010193053.tif 000010
【図６】
2010193053.tif 000011
【図７】
2010193053.tif 000012