(57)【要約】      （修正有）【課題】音声の出力と集音を同時に行う場合の記録音の品位低下を防止することができる撮像装置を提供する。【解決手段】記録媒体より、動画データと動画データに関連する音声データを再生する再生手段を持つ撮像装置で、動画データの再生中に、マイクユニットにより集音した音声については、音声処理手段により、動画データの再生音と、スピーカからマイクまでの伝達特性とに基づいて処理をすることで、動画データの再生音の影響を低減する。【選択図】図３
2013251638.tif 000002
【特許請求の範囲】
【請求項１】
記録媒体より画像データと前記画像データに関連する音声データを再生する再生手段と、
前記再生手段により再生された画像データに対応する画像を表示する表示手段と、
前記再生手段により再生された音声データに対応する音声を出力する出力手段と、
前記表示手段の視聴者を撮像する第１の撮像手段と、
前記第１の撮像手段により撮像された画像に基づいて画像データを生成する生成手段と、
音声を集音する集音手段と、
前記集音手段により集音された音声を示す音声信号を処理する音声処理手段と、
前記生成手段により生成された画像データと前記音声処理手段により処理された音声信号とを関連づけて記録媒体に記録する記録手段とを有し、
前記音声処理手段は、前記再生手段により再生された画像データに対応する音声と、前記出力手段から前記集音手段までの音声の伝達特性とに基づいて、前記音声信号を処理することを特徴とする撮像装置。
【請求項２】
前記音声処理手段は、前記出力手段による音声レベルを制御することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記表示手段の視聴者の方向とは異なる方向を撮像する第２の撮像手段を有し、
前記表示装置に前記再生手段により再生された動画データに対応する動画を表示しているときに、前記第２の撮像手段の撮像動作を禁止することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
記録媒体に記録された音声を含むコンテンツを再生する再生手段と、
前記再生手段により再生されたコンテンツの音声を出力する出力手段と、
音声を集音する集音手段と、
前記再生手段により再生されたコンテンツの音声と、前記出力手段から前記集音手段までの音声の伝達特性とに基づいて、前記集音手段により得られた音声信号を処理する音声処理手段とを有することを特徴とする音声処理装置。
【請求項５】
前記再生手段は、前記記録媒体に記録された動画コンテンツを再生し、
さらに、前記動画コンテンツの動画を表示する表示手段を有することを特徴とする請求項４記載の音声処理装置。
【請求項６】
前記表示手段の視聴者を撮像する第１の撮像手段を有することを特徴とする請求項５記載の音声処理装置。
【請求項７】
前記第１の撮像手段は、前記動画コンテンツの動画を表示している間に撮像を行うことを特徴とする請求項６記載の音声処理装置。
【請求項８】
前記表示手段の視聴者とは異なる方向を撮像する第２の撮像手段を有し、
前記動画コンテンツの動画を表示している間に前記第２の撮像手段の撮像を禁止することを特徴とする請求項５から７のいずれか１項に記載の音声処理装置。
【請求項９】
記録媒体より画像データと前記画像データに関連する音声データを再生する再生手段と、前記再生手段により再生された画像データに対応する画像を表示する表示手段と、前記再生手段により再生された音声データに対応する音声を出力する出力手段と、前記表示手段の視聴者を撮像する第１の撮像手段と、前記第１の撮像手段により撮像された画像に基づいて画像データを生成する生成手段と、音声を集音する集音手段と、前記生成手段により生成された画像データと前記集音手段により得られた音声信号とを関連づけて記録媒体に記録する記録手段とを有する音声処理装置の制御方法であって、
前記再生手段により音声データに対応する音声を出力しているときに、前記再生手段により再生された画像データに対応する音声と、前記出力手段から前記集音手段までの音声の伝達特性とに基づいて、前記集音手段により集音された音声信号を処理することを特徴とする制御方法。
【請求項１０】
記録媒体に記録された音声を含むコンテンツを再生する再生手段と、前記再生手段により再生されたコンテンツの音声を出力する出力手段と、音声を集音する集音手段と、を有する音声処理装置の制御方法であって、
前記再生手段により再生されたコンテンツの音声を出力しているときに、前記再生手段により再生されたコンテンツの音声と、前記出力手段から前記集音手段までの音声の伝達特性とに基づいて、前記集音手段により得られた音声信号を処理する音声処理手段とを有することを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置、音声処理装置に関する。
【背景技術】
【０００２】
従来、撮像部により静止画を撮像し、撮像して得られた静止画を記録媒体に記録することができる撮像装置が知られている。これらの撮像装置は一般に、さらに表示部を備え、記録媒体から再生した静止画を表示部に表示することができる。
【０００３】
これらの撮像装置の中には、静止画をスライドショー表示し、スライドショー表示中に撮像部による撮像を行い、表示されていた画像を関連づけて記録することができる機能を搭載したものが登場してきている（例えば、特許文献１）。また、特許文献１においては、スライドショーの代わりに動画を再生し、動画再生中に動画撮影を行っても良いことが示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２１８９５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の撮像装置において、動画を再生する際に音声も出力し、同時に動画撮影時にも音声を集音する場合を考えると、以下の問題が生じる。すなわち、動画再生音が集音されてしまうので、記録される音声における、動画を視聴している状況を示す周囲の音声のＳＮ比が低下してしまうという問題が生じる。
【０００６】
そこで本発明は、音声の出力と集音を同時に行う場合の記録音の品位低下を防止することができる撮像装置、音声処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、記録媒体より画像データと前記画像データに関連する音声データを再生する再生手段と、前記再生手段により再生された画像データに対応する画像を表示する表示手段と、前記再生手段により再生された音声データに対応する音声を出力する出力手段と、前記表示手段の視聴者を撮像する第１の撮像手段と、前記第１の撮像手段により撮像された画像に基づいて画像データを生成する生成手段と、音声を集音する集音手段と、前記集音手段により集音された音声を示す音声信号を処理する音声処理手段と、前記生成手段により生成された画像データと前記音声処理手段により処理された音声信号とを関連づけて記録媒体に記録する記録手段とを有し、前記音声処理手段は、前記再生手段により再生された画像データに対応する音声と、前記出力手段から前記集音手段までの音声の伝達特性とに基づいて、前記音声信号を処理することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、音声の出力と集音を同時に行う場合の記録音の品位低下を防止することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施例の撮像装置１００のブロック図である。
【図２】本実施例の撮像装置１００の正面図および背面図である。
【図３】本実施例の音声処理部１２１のブロック図である。
【図４】本実施例の再生補正プロファイルを説明するための図である。
【図５】本実施例の抑制部における減衰動作の説明をするための図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施形態について詳細に説明するが、本発明は以下の実施形態に限定されるものではない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
【００１１】
なお、本実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。
【実施例１】
【００１２】
本実施例においては、撮像装置を例にとって説明する。本実施例の撮像装置１００は、記録媒体に記録された音声付き動画データを再生して、動画データに対応する動画を表示部に表示し、動画データに対応する音声をスピーカユニットより出力する。また、動画データの再生中に、表示部の方向を撮影するサブ撮像部を有し、動画データを再生している間に表示部の表示方向の被写体を撮像するとともに、マイクユニットにより音声を集音する。また、動画データの再生中に、マイクユニットにより集音した音声については、動画データの再生音と、スピーカからマイクまでの伝達特性とに基づいて処理をすることで、動画データの再生音の影響を低減した音声信号を得る。
【００１３】
以下、このような撮像装置について説明する。
【００１４】
図１は、本実施例の撮像装置１００の構成を示すブロック図であり、図２は本実施例の撮像装置１００の正面図及び背面図である。
【００１５】
本実施例の撮像装置１００は、図１に示すように、ＣＰＵ１０１と、ＲＡＭ１０２と、ＲＯＭ１０３と、操作部１０４とを有する。また、撮像装置１００は、メイン撮像部１１０と、画像処理部１１１と、サブ撮像部１１２と、マイクユニット１２０と、音声処理部１２１と、スピーカユニット１２２とを有する。また、撮像装置１００は、符号化復号化処理部１３０と、表示部１４０と、表示制御部１４１と、記録再生部１５０と、記録媒体１５１と、通信部１６０とを有する。すなわち本実施例の撮像装置１００は、第１の撮像部と、第２の撮像部とを有する。
【００１６】
なお、ＣＰＵは、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略称である。ＲＡＭは、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略称である。
【００１７】
また、図２に示すように、本実施例の撮像装置１００において、装置の前面にメイン撮像部１１０、マイクユニット１２０を備えている。また、装置の背面に、表示部１４０、サブ撮像部１１２、スピーカユニット１２２を備えている。なお、マイクユニットのマイクの位置は、装置の前面に配置される必要はなく、たとえば上面や背面、下面、側面であっても構わない。
【００１８】
本実施例において、スピーカ（集音部）からマイク（音声出力部）までの伝達特性とは、たとえば、所定の音声をスピーカから出力し、その音をマイクにより集音した場合の周波数毎の減衰量等に基づいて生成される。
【００１９】
本実施例の撮像装置１００において、ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとしてＲＯＭ１０３に記録された各種プログラムをＲＡＭ１０２に展開し、プログラムに応じて撮像装置１００の各ブロックを制御する。操作部１０４は、例えば、電源ボタン、記録ボタン、ズーム調整ボタン、オートフォーカスボタン、メニュー表示ボタン、モード切替スイッチ、決定ボタン等の各種操作を入力するスイッチ類を有する。また、カーソルキー、ポインティングデバイス、タッチパネル、ダイヤル等のどのようなタイプの操作子であってもよい。操作部１０４は、ユーザによりこれらのキーやボタン、タッチパネルが操作されるとＣＰＵ１０１に操作信号を送信する。操作部１０４の各操作部材は、表示部に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部に表示される。利用者は、表示部に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。なお、操作部１０４は、表示部に対する接触を検知可能なタッチパネルであってもよい。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。
【００２０】
メイン撮像部１１０は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、得られたアナログ画像信号をデジタル画像信号に変換して一時的にＲＡＭ１０２に記憶する。ＲＡＭ１０２に記憶されたデジタル画像信号は、その後、画像処理部１１１に送信される。画像処理部１１１は、デジタル画像信号のホワイトバランスや色、明るさなどをユーザに設定された設定値や画像の特性から自動的に判定した設定値に基づいて調整する画質調整処理を行い、処理をしたデジタル画像信号を再びＲＡＭ１０２に記憶する。また、画質調整処理済みまたは未処理のデジタル画像信号を、後述の表示制御部１４１に送信し、表示部１４０に撮像中の画像として表示することもできる。また、再生時においては、画像処理部１１１は、記録媒体１５１から記録再生部１５０によって読出され、符号化復号化処理部１３０において復号化された静止画ファイルや動画ファイルに含まれる画像データの画質調整等を行う。そして、画質調整済みまたは未処理のデジタル画像信号を、後述の表示制御部１４１に送信し、表示部１４０に画像として表示することもできる。
【００２１】
また、サブ撮像部１１２は、メイン撮像部１１０と同様の構成であるものとする。しかし、レンズの種類や数やサイズ、絞り段数、撮像素子のサイズ等は全く同一である必要はなく、撮像を行うことができればどのような構成であってもかまわない。
【００２２】
符号化復号化処理部１３０では、記録時においては、画像処理部１１１により処理されＲＡＭ１０２に記憶されたデジタル画像信号に対して、画像圧縮処理を行い、圧縮された動画データや静止画データを生成し、ＲＡＭ１０２に一時的に記憶する処理を行う。また、再生時においては、記録媒体１５１から読出された画像ファイルの圧縮された動画データや静止画データを復号してデジタル画像信号を抽出し、ＲＡＭ１０２に記憶していく処理を行う。
【００２３】
マイクユニット１２０は、たとえば、撮像装置１００のハウジング内に内蔵された無指向性のマイクとＡＤ変換部を有する。マイクユニット１２０では、マイクにより周囲の音声を集音（収音）し、取得したアナログ音声信号をＡＤ変換部で、デジタル信号に変換してＲＡＭ１０２に一時的に記憶させる。ＲＡＭ１０２に記憶されたデジタル音声信号は、その後、音声処理部１２１に送信される。音声処理部１２１では、記録時においては、ＲＡＭ１０２に記憶されたデジタル音声信号の、レベルの適正化処理や雑音低減処理等の処理を行い、処理をしたデジタル音声信号を再びＲＡＭ１０２に記憶する。また、必要に応じて、音声信号を圧縮する処理を行う。音声圧縮方式については、ＡＣ３、ＡＡＣ等の公知の一般的な音声圧縮方式を用いているため説明を省略する。また、再生時においては、記録媒体１５１から記録再生部１５０によって読出された音声ファイルや動画ファイルに含まれる圧縮音声データ復号する処理や音声レベルの適正化処理、なども行い、順次ＲＡＭ１０２に記憶する処理も行う。スピーカユニット１２２は、スピーカとＤＡ変換部とを有する。スピーカユニット１２２では、音声処理部１２１によりＲＡＭ１０２に記憶されたデジタル音声信号を読出してアナログ音声信号に変換し、アナログ音声信号によりスピーカから音声を出力する。
【００２４】
なお、本実施例の撮像装置１００は、記録媒体１５１から読み出された音声ファイルや動画ファイルの音声を再生してスピーカから音声を出力する際に、同時にマイクにより集音を行うことがある。この場合、音声処理部１２１は、マイクにより集音された音声信号から、再生音の影響を低減する処理を行う。この処理については後述する。
【００２５】
表示部１４０は、例えば、液晶パネルとバックライトとからなり、表示制御部１４１の制御により画像を表示する。表示部１４０は液晶表示装置に限られず、例えば有機ＥＬディスプレイ、ＬＥＤディスプレイなど、ユーザに画像を提供することができればどのようなものであっても良い。表示制御部１４１では、画像処理部１１１により処理され、ＲＡＭ１０２に記憶されたデジタル画像信号に基づいて、表示部１４０に画像を表示する。
【００２６】
記録再生部１５０では、動画記録時においては、ＲＡＭ１０２に記憶されている、符号化復号化処理部１３０により生成された圧縮動画データ及び、音声処理部１２１で生成された音声データ、撮影日等の各種情報とともに、動画ファイルとして記録媒体１５１に書き込む。また静止画記録時においては、ＲＡＭ１０２に記憶されている静止画データを撮影日等の各種情報とともに静止画ファイルとして記録媒体１５１に記録する。動画ファイルを記録媒体１５１に記録する際は、圧縮動画データと音声データとからなるデータストリームを形成し、順次記録媒体１５１に記録していき、ファイルヘッダ等を付加してＦＡＴやｅｘＦＡＴ等のファイルフォーマットに適合した形で動画ファイルを記録媒体に記録する。また、再生時においては、記録媒体１５１に記録された動画ファイルや静止画ファイルを前述のファイルフォーマットに従って読出す。読出された動画ファイルや静止画ファイルは、ＣＰＵ１０１によりヘッダが解析され、圧縮された動画データ、静止画データが抽出される。抽出された圧縮動画データ、静止画データは、ＲＡＭ１０２に記憶されて、符号化復号化処理部１３０により復号される。
【００２７】
また、記録媒体１５１は、撮像装置に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。取り外し可能な記録媒体を用いる場合には、記録再生部１５０は、それらの取り外し可能な記録媒体を装着、排出するための機構を含む。
【００２８】
また、通信部１６０は、撮像装置１００とは異なる外部装置との間で、制御信号や動画ファイル、静止画ファイル、各種データ等を送受信するものであり、有線接続、無線接続を問わず接続可能である。なお、通信方式はどのような方式であっても良い。
【００２９】
ここで、前述の画像処理部１１１、音声処理部１２１、符号化復号化処理部１３０、表示し制御部１４１、記録再生部１５０は、それぞれ、前述の各機能を実行するプログラムを搭載したマイクロコンピュータであってもよい。また、ＣＰＵ１０１がＲＯＭ１０３に記録された前述の処理を実行する為のプログラムをＲＡＭ１０２に展開して実行するようにしてもよい。
【００３０】
ここで、本実施例の撮像装置１００の通常の動作について説明する。
【００３１】
本実施例の撮像装置１００は、ユーザによって操作部１０４を操作して電源を投入する指示が出されたことに応じて、不図示の電源供給部から、撮像装置の各ブロックに電源を供給する。
【００３２】
電源が供給されると、ＣＰＵ１０１は、操作部１０４により設定されたカメラのモードが、再生モードであるか、動画記録モードであるかを判定する。なお、本実施例の撮像装置１００は静止画記録モードも有するが、特徴的な構成に関わらないので説明を割愛する。
【００３３】
判定の結果、動画記録モードである場合は、ＣＰＵ１０１は、撮影待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせる。
【００３４】
メイン撮像部１１０は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換を行い、得られた画像データをＲＡＭ１０２に記憶する。画像処理部１１１では、ＲＡＭ１０２に記憶されたデジタル画像信号の画像の画角の変更や、ホワイトバランス調整、色補正、ガンマ補正等の各種画像調整処理などを行う。ここで処理されたデジタル画像信号は、順次表示制御部１４１に送信され、表示制御部１４１は、受信したデジタル画像信号に基づく画像を表示部１４０に表示させる。
【００３５】
ユーザはこのようにして表示部１４０に表示された画像を見ながら、撮影に必要な設定等を行うための操作を操作部１０４を通して行う。
【００３６】
次に、ユーザが操作部１０４の記録ボタンを操作することにより撮影開始の指示信号がＣＰＵ１０１に送信されると、ＣＰＵ１０１は、撮像装置１００の各ブロックに撮影開始の指示信号を送信し、以下のような動作をさせる。
【００３７】
メイン撮像部１１０は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換を行い、得られた画像データをＲＡＭ１０２に記憶する。画像処理部１１１では、ＲＡＭ１０２に記憶されたデジタル画像信号の画像の画角の変更や、ホワイトバランス調整、色補正、ガンマ補正等の各種画像調整処理などを行う。ここで処理されたデジタル画像信号は、順次表示制御部１４１に送信され、表示制御部１４１は、受信したデジタル画像信号に基づく画像を表示部１４０に表示させる。また、画像処理部１１１で処理されたデジタル画像信号は、符号化復号化処理部１３０に送信され、順次圧縮符号化処理が施される。そして、符号化復号化処理部１３０により圧縮符号化された動画データはＲＡＭ１０２に一時的に記憶される。本実施例においては、例えばＭＰＥＧ、Ｈ．２６４等の圧縮符号化方式でデジタル画像信号が圧縮符号化されるものとするが、どのような方式であっても構わない。
【００３８】
一方、マイクユニット１２０は、マイクにより周囲の音声を集音（収音）し、取得したアナログ音声信号をＡＤ変換部で、デジタル信号に変換してＲＡＭ１０２に一時的に記憶させる。そして、音声処理部１２１では、ＲＡＭ１０２に記憶されたデジタル音声信号を読出して、レベルの適正化処理や雑音低減処理等の処理を行い、処理をしたデジタル音声信号を再びＲＡＭ１０２に記憶させる。また、必要に応じて、音声信号を圧縮する処理を行う。音声圧縮方式については、ＡＣ３、ＡＡＣ等の公知の一般的な音声圧縮方式を用いているため説明を省略する。
【００３９】
そして、記録再生部１５０は、ＲＡＭ１０２に記憶された動画データと、音声データとからなるデータストリームを、ＵＤＦ、ＦＡＴ、ｅｘＦＡＴ等のファイルシステム管理のもとに、一つの動画ファイルとして記録媒体１５１に記録させる。
【００４０】
ＣＰＵ１０１は、以上の動作をユーザが操作部１０４の停止ボタンを操作することにより撮影停止の指示信号が送信されるまでの間、継続する。
【００４１】
次に、再生モードでは、ＣＰＵ１０１は、再生待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせる。
【００４２】
記録再生部１５０により記録媒体１５１に記録されている動画ファイルおよびまたは静止画ファイルのファイル名と、サムネイル画像とを読出して画像処理部１１１に送信し、各サムネイル画像のサイズ変更処理等を行わせる。そして、サイズ変更処理等が施されたサムネイル画像はＣＰＵ１０１によって、動画ファイルを示す一覧画面の代表画像として画面内に配置されて、表示制御部１４１に送信される。このようにして、動画ファイルおよびまたは静止画ファイルを示す一覧画面（インデックス画面）を表示部１４０に表示する。
【００４３】
次に、操作部１０４により、一覧画面上のファイルが選択され、再生の指示が入力されると、ＣＰＵ１０１は、選択されたファイルを記録媒体１５１から読み出すように記録再生部１５０を制御する。次に読出したファイルの画像データを符号化復号化処理部１３０に送信し、圧縮符号化された動画データ、静止画データを復号し、得られたデジタル画像信号をＲＡＭ１０２に記憶する。動画データである場合には、復号されたデジタル画像信号を順次表示制御部１４１に送信し、動画データの各フレームにあたるデジタル画像信号を表示部１４０に順次画像を表示させる。静止画データである場合には、復号されたデジタル画像信号の示す画像を表示制御部１４１に送信し、表示部１４０に表示し続ける。
【００４４】
一方、動画ファイルを再生する場合には、ＣＰＵ１０１は、読出した動画ファイルに含まれる音声データをＲＡＭ１０２を経由して、音声処理部１２１に送信し、音声レベルの適正化処理などを行うように、音声処理部１２１を制御する。音声処理部１２１で処理されたデジタル音声信号は、ＲＡＭ１０２を経由して、スピーカユニット１２２に送信され、ＤＡ変換部でアナログ信号に変換され、スピーカより音声として出力される。
【００４５】
このように、動画ファイル、静止画ファイルを再生して、ファイルの画像データの画像を表示したり、音声データの音声を出力したりする。
【００４６】
なお、本実施例の撮像装置１００は、各ファイルを連続して再生するスライドショーモードにおいては、ＣＰＵ１０１は、ＲＯＭ１０３や記録媒体１５１に記録された音声データを再生して、動画ファイルの音声データと同様に音声として出力する。
【００４７】
本実施例の撮像装置１００は、ユーザによる操作部１０４の操作によって、再生モード中に、再生中の画像データの画像や音声データの音声を視聴している視聴者側の様子を記録するように設定することが可能である。設定されない場合は、再生のみを行い、設定された場合は、ＣＰＵ１０１は、さらに、以下のように撮像装置１００の各ブロックを制御する。すなわち、再生モードにおいて、ファイルの画像や音声を再生すると共に、サブ撮像部１１２により撮像を行い、マイクユニット１２０により音声の集音を行う。そしてサブ撮像部１１２により得られた画像に基づいて、動画撮影モードと同様に動画データを生成したり、静止画データを生成したりして、マイクユニット１２０により得られた音声データと共に記録媒体に記録する。再生モードにおいて、撮影およびまたは集音によって得られた画像データおよびまたは音声データの記録先の記録媒体は、再生中の記録媒体１５１であっても、他の記録媒体であっても良い。そして、再生中に得られた音声データを含むファイルを、記録媒体に記録する場合には、再生中の動画ファイルや静止画ファイルに対して関連付けるための情報を記録媒体に記録するものとする。
【００４８】
本実施例においては、視聴者側の様子を記録するように設定がされた場合、所定のファイルの画像や音声を再生している間に、少なくとも、マイクユニット１２０により集音を行う。
【００４９】
次に、本実施例の撮像装置１００の再生モードにおける音声信号の処理について説明する。本実施例において、マイクユニット１２０のＤＡ変換部は、マイクにより得られたアナログ音声信号を、４８ｋＨｚのサンプリングレートでサンプリングを行い、１サンプルを１６ｂｉｔのデジタル信号に変換するものとする。また、記録媒体から再生されるデジタル音声信号も、サンプリングレート４８ｋＨｚ、ビットレート１６ｂｉｔの信号であるものとして、説明を行う。
【００５０】
図３は、本実施例の音声処理に関する構成を示すブロック図である。
【００５１】
図３に示すように、本実施例の音声処理部１２１は、ＦＦＴ部３０１、抑圧部３０２、ｉＦＦＴ部３０３、ＡＬＣ３０４、記録処理部３０５を有する。また、音声処理部１２１は、再生処理部３１０、ＡＬＣ３１１、ＦＦＴ部３１２、補正プロファイルメモリ３２０、補正部３２１、遅延部３２２を有する。
【００５２】
図３において、ＦＦＴ部３０１は、マイクユニット１２０により得られた時間領域のデジタル音声信号を高速フーリエ変換して周波数領域のデジタル信号に変換する。また抑圧部３０２は、ＦＦＴ部３０１でフーリエ変換された周波数領域のデジタル信号の複数の周波数帯においてレベルを抑圧する処理を行う。なお、抑圧部３０２の動作は後述する。ｉＦＦＴ部３０３は、抑圧部３０２で処理された周波数領域のデジタル信号を時間領域のデジタル信号に変換する。ＡＬＣ３０４は、時間領域のデジタル信号のレベルが所定のレベルを超えないように信号を変換する。記録処理部３０５は、記録時に必要なその他のフィルタ処理や位相変換処理などをデジタル音声信号に対して施す。
【００５３】
また、再生処理部３１０は、再生に必要なフィルタ処理や位相変換処理をデジタル音声信号に対して施す。また、必要に応じて出力されるデジタル音声信号の音声レベルを制御する。ＡＬＣ３１１は、デジタル音声信号のレベルが所定のレベルを超えないように信号を変換する。ＦＦＴ部３１２は、ＡＬＣ３１１から出力された時間領域のデジタル音声信号を高速フーリエ変換して周波数領域のデジタル信号に変換する。
【００５４】
また、補正プロファイルメモリ３２０は、スピーカからマイクへの伝達特性を補正する「再生データ補正周波数スペクトル」を記憶したメモリである。本実施例においては、このスペクトルデータを再生補正プロファイルとして説明を行う。補正部３２１は、補正プロファイルメモリ３２０に記憶された再生補正プロファイルを用いて、ＦＦＴ部３１２により得られた周波数領域のデジタル信号を補正する。そして、遅延部３２２は、スピーカから出力された信号がマイクにより再び集音されるまでの時間を調整するために信号を遅延させる。
【００５５】
ここで、補正プロファイルメモリ３２０に記憶されている再生補正プロファイルについて説明する。図４（ａ）におけるスペクトルデータＡ１は、補正プロファイルメモリ３２０に記憶された再生補正プロファイルを示すスペクトルデータの例である。これは、テスト信号音をスピーカユニット１２２のスピーカから出力させた場合に、再生させたテスト音声信号（再生信号）の周波数スペクトルからスピーカユニット１２２で再生されたテスト音声をマイクユニット１２０のマイクで集音して得られた音声信号（録音信号）の周波数スペクトル差し引いたデータである。図４（ｂ）の、スペクトルデータＢ１は、テスト信号のスペクトルを示すものであり、スペクトルデータＣ１は、マイクにより集音された音声信号のスペクトルを示す。すなわち、図４（ｂ）のスペクトルデータＢ１からスペクトルデータＣ１を差し引くことで得られるスペクトルデータＡ１が、再生補正プロファイルである。すなわち、スピーカユニット１２２のスピーカから、マイクユニット１２０のマイクへの音の伝達特性を示している。なお、伝達特性は、例えば、スペクトルデータＢ１からスペクトルデータＣ１を、例えば、５１２箇所の周波数帯における差分を用いて生成されたものである。例えば、２０Ｈｚから２００Ｈｚまでは１０Ｈｚ毎に、２００Ｈｚから１ｋＨｚまでは、２０Ｈｚ毎に、１ｋＨｚから１０ｋＨｚまでは、５０Ｈｚ毎に、１０ｋＨｚから３８ｋＨｚまでは１００Ｈｚ毎に、それぞれの周波数帯におけるレベルの差分を用いる。なお、周波数帯については、この周波数帯に限られるものではない。
【００５６】
補正部３２１では、スピーカから出力される再生音がマイクにより集音されて得られる音声信号を、再生音の音声信号と再生補正プロファイルとからあらかじめ算出するのである。
【００５７】
なお、この再生補正プロファイルは、工場出荷前に撮像装置のマイクより予め決められたテスト音声信号を出力させ、スピーカで取得した音声信号を取得して、差分を求めて再生補正プロファイルとして予め補正プロファイルメモリ３２０に記憶しておくことが望ましい。しかし、調整モード等を設けて、任意のタイミングでユーザが調整モードに設定し、ＣＰＵ１０１により、テスト信号の出力と、集音の動作を制御して、再生補正プロファイルを再作成できるようにしても良い。本実施例においては、テスト信号をスピーカにて再生している期間、ある一定の短期間においてスペクトルの信号レベルを１０２４サンプルずつＦＦＴ部３０１および、ＦＦＴ部３１２で、周波数領域のデジタル信号に変換している。なお、ＦＦＴ部３０１、ＦＦＴ部３１２における周波数変換は、１０２４サンプルずつ変換するものとしたが、２０４８サンプル、４０９６サンプルずつでも、どのようなサンプル数で変換を行っても良い。
【００５８】
ここで、本実施例の撮像装置１００の再生モードにおける音声信号の処理について説明する。以下の動作は、ＣＰＵ１０１が、音声処理部１２１等の各ブロックを制御することにより動作するものである。
【００５９】
ユーザの操作により記録媒体１５１から音声データを含む動画ファイルや音声ファイル（動画コンテンツや音声コンテンツ）が再生され、音声データのデジタル音声信号がＲＡＭ１０２に一時的に記憶される。そして、再生処理部３１０は、ＲＡＭ１０２に記憶されたデジタル音声信号に対して、所定のフィルタ処理、位相変換処理等を施し、ＡＬＣ３１１にデジタル音声信号を送信する。ＡＬＣ３１１は、処理されたデジタル音声信号のレベルが所定のレベルを超えないようにレベル変換処理を行う。そして、ＡＬＣ３１１でレベル調整されたデジタル音声信号はスピーカユニット１２２に送信される。スピーカユニット１２２では入力されたデジタル音声信号をＤＡ変換部にてアナログ音声信号に変換しスピーカから音声として出力する。
【００６０】
ここで、本実施例の撮像装置１００の再生モードにおいて、音声の出力と同時にマイクユニット１２０により音声の集音も行う場合について説明する。
【００６１】
この場合、マイクユニット１２０のマイクにより周囲の音声を集音し、得られたアナログ音声信号をＡＤ変換部において、デジタル音声信号に変換する。マイクユニット１２０により得られたデジタル音声信号はＦＦＴ部３０１に入力され、周波数領域のデジタル信号に変換される。図５におけるスペクトルデータＤ１は、マイクユニット１２０により得られたデジタル音声信号のスペクトルデータである。そして、ＦＦＴ部３０１で変換された周波数領域のデジタル信号は抑圧部３０２に入力される。
【００６２】
一方、抑圧部３０２には遅延部３２２からの信号も入力されている。この信号は、再生された音声データに対応するデジタル音声信号に基づく信号である。
【００６３】
そのためには、まず、ＡＬＣ３１１でレベル調整された再生された音声データに対応するデジタル音声信号をＦＦＴ部３１２で周波数領域のデジタル音声信号に変換する。次に、補正部３２１において、補正プロファイルメモリ３２０に記憶されている再生補正プロファイルに基づいて、ＦＦＴ部３１２により得られた周波数領域のデジタル音声信号を補正する。具体的には、ＦＦＴ部３１２により得られた周波数領域のデジタル音声信号を、補正プロファイルメモリ３２０に記憶されている再生補正プロファイルに従って、各周波数ごとにレベルを補正（減衰）させる。図５のスペクトルデータＡ２は、補正部３２１で補正された後の、周波数領域のデジタル音声信号の補正後の信号を示している。これは、周囲に音声が発生していないときに、純粋にスピーカより出力された音声をマイクにより集音した場合の音声とほぼ等価と見なすことができる。
【００６４】
そして、補正部３２１で補正された音声信号は、遅延部３２２に一時的に記憶され、スピーカから出力された音声がマイクに到達するまでの時間に合わせて遅延させてから、抑圧部３０２に入力される。なお、遅延部３２２における遅延量は、スピーカとマイクとの位置関係からあらかじめ設定されている。なお、装置周辺の温度を検出する温度計を備え、その温度に応じて遅延量を変更しても良い。
【００６５】
次に、抑圧部３０２においては、ＦＦＴ部３０１より入力された周波数領域のデジタル音声信号（図５スペクトルデータＤ１）と、遅延部３２２より入力された周波数領域のデジタル音声信号（図５のスペクトルデータＡ２）とを比較する。この信号の比較は、例えば、５１２箇所の周波数帯において行われる。
【００６６】
そして、遅延部３２２より入力された信号との一致度を各周波数帯ごとに判定し、一致度が高い周波数ほど、ＦＦＴ部３０１より入力された周波数領域のデジタル音声信号（Ｄ１）のレベルを抑圧する。
【００６７】
例えば、図５において、周波数Ｓ１では、集音された音声信号のレベル（Ｄ１側）が、再生された音声信号の補正信号のレベル（Ａ２）よりもかなり大きい。この場合は、スピーカから出力された音声の影響が小さいので、減衰を行わない。例えば、比較の結果、差分が１５ｄＢより大きい周波数帯においては、集音された音声信号のレベルを減衰させない。
【００６８】
例えば、周波数Ｓ２では、集音された音声信号のレベル（Ｄ１側）が、再生された音声信号の補正信号のレベル（Ａ２）とほぼ一致する。この場合は、スピーカから出力された音声の影響が大きいと見なし、集音された音声信号のレベルを例えば、４８ｄＢ減衰させる。例えば、比較の結果、差分が１ｄＢより小さい周波数帯においては、集音された音声信号のレベルを４８ｄＢ減衰させる。
【００６９】
例えば、周波数Ｓ３では、集音された音声信号のレベル（Ｄ１側）が、再生された音声信号の補正信号のレベル（Ａ２）よりも５ｄＢ程度大きい。この場合は、スピーカから出力された音声の影響がある程度大きいと見なし、集音された音声信号のレベルを例えば、３６ｄＢ減衰させる。
【００７０】
例えば、周波数Ｓ４では、集音された音声信号のレベル（Ｄ１側）が、再生された音声信号の補正信号のレベル（Ａ２）よりも１０ｄＢ程度大きい。この場合は、スピーカから出力された音声の影響がある程度無視できない程度含まれると見なし、集音された音声信号のレベルを例えば、２４ｄＢ減衰させる。
【００７１】
このように、前述したように５１２箇所の周波数帯において、ＦＦＴ部３０１からの周波数領域のデジタル音声信号（図５スペクトルデータＤ１）と、遅延部３２２より入力された周波数領域のデジタル音声信号（図５のスペクトルデータＡ２）とを比較する。そして、各周波数帯において、一致度が高いほど、ＦＦＴ部３０１からの周波数領域のデジタル音声信号を減衰させるようにしている。なお、減衰量は、ここに示す値を用いなくても良いし、５１２箇所に限らず、さらに多くの周波数帯または少ない周波数帯において、比較を行い、一致度に応じた減衰量を決定しても良い。
【００７２】
なお、比較を行わなかった他の周波数帯については、これらの決定された減衰量に応じて、減衰量を補間して決定しても良い。
【００７３】
このようにして、抑圧部３０２においては、ＦＦＴ部３０１より入力された周波数領域のデジタル音声信号のレベルを周波数ごとに抑圧（減衰）されたデジタル音声信号は、ｉＦＦＴ部３０３に入力される。ｉＦＦＴ部３０３においては、入力された周波数領域のデジタル音声信号を、時間領域のデジタル音声信号に変換する。ＡＬＣ３０４は、ｉＦＦＴ部３０３で変換された時間領域のデジタル音声信号のレベルが所定のレベルを超えないように信号を変換する。記録処理部３０５は、記録時に必要なその他のフィルタ処理や位相変換処理などをＡＬＣ３０４で変換されたデジタル音声信号に対して施す。
【００７４】
記録処理部３０５によって処理されたデジタル音声信号は、動画記録モードと同様に、ＲＡＭ１０２に一時的に記憶され、順次記録媒体に記録される。このとき、サブ撮像部１１１２による撮像を行っている場合には、その撮影により得られた静止画データや動画データとともに記録媒体１５１に記録される。
【００７５】
なお、本実施例においては、ＦＦＴ部３０１とＦＦＴ部３１２は、異なるブロックとして説明したが、同一のブロックであってもよい。また、記録処理部３０５と再生処理部３１０は、異なるブロックとして説明したが、同一のブロックであってもよい。また、ＡＬＣ３０４と、ＡＬＣ３１１は、異なるブロックとして説明したが、同一のブロックであってもよい。
【００７６】
本実施例の撮像装置１００においては、再生する音声信号を、スピーカからマイクまでの音の伝達特性に応じて補正し、マイクにより得られた音声信号と比較させ、一致度の高い周波数において、マイクにより集音された音声のレベルを減衰させるようにしている。このように、本実施例の撮像装置１００は、音声データを含むファイルを再生し、音声をスピーカより出力しているときに、マイクにより集音を行っても得られた音声信号から、再生音の影響を低減させることができる。なお、音声については、記録媒体に記録されたファイルから再生させる必要はなく、たとえばＲＯＭ１０３に記憶されている音声データを出力しても良い。
【００７７】
また、本実施例においては、１系統の音声の処理について説明したが、チャンネル数が複数であっても良い。
【００７８】
また、再生モードにおいて音声がスピーカから出力されない状態（音声データがない、ミュート状態である、ボリュームが所定より小さい）であれば、抑圧部における抑圧（減衰）動作を行わないようにしても良い。
【００７９】
また、本実施例において説明した再生モードにおいては、記録媒体に記録されたファイルを再生している間、サブ撮像部１１２には撮像を行わせるが、メイン撮像部１１０は撮像動作を禁止してもよい。
【００８０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００８１】
本実施例においては、撮像装置を一例として説明したが、音声信号を処理することができる装置であればどのような装置であっても良い。例えば、コンピュータ、携帯電話、ゲーム機、ＩＣレコーダなどであっても良い。また、コンピュータに上述した処理を実行させる為のプログラムも本発明の思想に含まれる。
【００８２】
（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【００８３】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００８４】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【００８５】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図１】
2013251638.tif 000003
【図２】
2013251638.tif 000004
【図３】
2013251638.tif 000005
【図４】
2013251638.tif 000006
【図５】
2013251638.tif 000007