(57)【要約】【課題】  リアルタイム処理が難しい高音質な雑音低減を適用した音声記録を実現する。【解決手段】  記録中は、簡易ＬＰＣ処理部２０２が音声入力部１７１からの入力音声データの雑音を低減し、記録再生部１５１が、雑音低減された音声データを記録媒体１５２に記録する。記録停止後、制御部１７２は、記録媒体１５２に記録したばかりの音声データの再生を記録再生部１５１に指示し、記録再生部１５１は再生した音声データを音声バッファ２１０を介して高音質ＬＰＣ処理部２０４に供給する。高音質ＬＰＣ処理部２０４は、高音質の雑音低減処理を音声バッファ２１０からの音声データに適用する。記録再生部１５１は、高音質ＬＰＣ処理部２０４で処理された音背信号を記録媒体１５２に記録し、簡易ＬＰＣ処理部２０２で処理された音声データを記録媒体１５２から削除する。【選択図】  図２
2017175584.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像し、ＲＡＷ画像データを生成する撮像手段と、
リアルタイムにＲＡＷ画像データを現像する第１の現像処理と、前記第１の現像処理よりも高い画質でＲＡＷ画像データを現像する第２の現像処理を実行できる現像手段と、
音声入力手段と、
前記音声入力手段により入力される音声データの雑音を低減する音声処理手段であって、リアルタイムに雑音を低減できる第１の雑音低減処理と、前記第１の雑音低減処理よりも高い音質で雑音を低減できる第２の雑音低減処理を実行できる音声処理手段と、
前記撮像手段から出力されるＲＡＷ画像データ、前記現像手段から出力される画像データ、及び、前記音声処理手段から出力される音声データを記録媒体に記録し、前記記録媒体に記録されるＲＡＷ画像データを再生して前記現像手段に供給し、前記記録媒体に記録される音声データを再生して前記音声処理手段に供給する記録再生手段と、
（１）前記撮影中では、前記現像手段が、前記撮像手段から出力される画像データを前記第１の現像処理で現像し、前記音声処理手段が前記音声入力手段により入力される音声データを前記第１の雑音低減処理で処理し、前記記録再生手段が、前記撮像手段から出力されるＲＡＷ画像データ、前記現像手段から出力される画像データ、及び、前記音声処理手段から出力される音声データを記録媒体に記録し、（２）記録停止後には、前記記録再生手段が、前記記録媒体に記録されたＲＡＷ画像データを前記記録媒体から読み出して前記現像手段に供給し、前記記録媒体に記録された前記第１の雑音低減処理で処理された音声データを前記記録媒体から読み出して前記音声処理手段に供給し、前記現像手段が、前記記録再生手段からのＲＡＷ画像データを前記第２の現像処理で現像し、前記音声処理手段が前記記録再生手段からの音声データを前記第２の雑音低減処理で処理し、前記記録再生手段が前記現像手段から出力される前記第２の現像処理で現像された画像データ、及び、前記音声処理手段から出力される前記第２の雑音低減処理で処理された音声データを記録媒体に記録するように、前記現像手段、前記音声処理手段及び前記記録再生手段を制御する制御手段
とを有することを特徴とする撮像装置。
【請求項２】
前記現像手段が、前記第１の現像処理を実行する第１の現像処理手段と、前記第２の現像処理を実行する第２の現像処理手段と、前記撮影中か前記記録停止後かに従い、前記第１の現像処理手段または前記第２の現像処理手段を選択するスイッチとからなることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記音声処理手段が、前記第１の雑音低減処理を実行する第１の雑音低減処理手段と、前記第２の雑音低減処理を実行する第２の雑音低減処理手段と、前記撮影中か前記記録停止後かに従い、前記第１の雑音低減処理手段または前記第２の雑音低減処理手段を選択するスイッチとからなることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記第１及び第２の雑音低減処理は、ＬＰＣ処理により雑音を低減する処理であることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記ＬＰＣ処理は、雑音区間より時間的に前の学習区間から予測された信号で前記雑音区間の信号を補間することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記ＬＰＣ処理は、雑音区間より時間的に前の学習区間と、前記雑音区間より時間的に後の学習区間とから予測された信号で前記雑音区間の信号を補間することを特徴とする請求項４に記載の撮像装置。
【請求項７】
前記雑音区間が、前記雑音を発生する駆動手段を駆動する制御信号に従い決定されることを特徴とする請求項５または６に記載の撮像装置。
【請求項８】
前記第１の雑音低減処理は、処理前の音声データを間引いた信号から雑音を低減し、前記第１の雑音低減処理は、前記処理前の音声データから雑音を低減することを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
【請求項９】
音声入力手段と、
前記音声入力手段により入力される音声データの雑音を低減する音声処理手段であって、リアルタイムに雑音を低減できる第１の雑音低減処理と、前記第１の雑音低減処理よりも高い音質で雑音を低減できる第２の雑音低減処理を実行できる音声処理手段と、
前記音声処理手段から出力される音声データを記録媒体に記録し、前記記録媒体に記録される音声データを再生して前記音声処理手段に供給する記録再生手段と、
記録中では、前記音声処理手段が前記音声入力手段により入力される音声データを前記第１の雑音低減処理で処理し、前記記録再生手段が、前記音声処理手段から出力される音声データを記録媒体に記録し、（２）記録停止後には、前記記録再生手段が、前記記録媒体に記録された前記第１の雑音低減処理で処理された音声データを前記記録媒体から読み出して前記音声処理手段に供給し、前記音声処理手段が前記記録再生手段からの音声データを前記第２の雑音低減処理で処理し、前記記録再生手段が前記音声処理手段から出力される前記第２の雑音低減処理で処理された音声データを記録媒体に記録するように、前記音声処理手段及び前記記録再生手段を制御する制御手段
とを有することを特徴とする音声記録装置。
【請求項１０】
前記音声処理手段が、前記第１の雑音低減処理を実行する第１の雑音低減処理手段と、前記第２の雑音低減処理を実行する第２の雑音低減処理手段と、前記撮影中か前記記録停止後かに従い、前記第１の雑音低減処理手段または前記第２の雑音低減処理手段を選択するスイッチとからなることを特徴とする請求項９に記載の音声記録装置。
【請求項１１】
前記第１及び第２の雑音低減処理は、ＬＰＣ処理により雑音を低減する処理であることを特徴とする請求項９または１０に記載の音声記録装置。
【請求項１２】
前記ＬＰＣ処理は、雑音区間より時間的に前の学習区間から予測された信号で前記雑音区間の信号を補間することを特徴とする請求項１１に記載の音声記録装置。
【請求項１３】
前記ＬＰＣ処理は、雑音区間より時間的に前の学習区間と、前記雑音区間より時間的に後の学習区間とから予測された信号で前記雑音区間の信号を補間することを特徴とする請求項１２に記載の音声記録装置。
【請求項１４】
前記雑音区間が、前記雑音を発生する駆動手段を駆動する制御信号に従い決定されることを特徴とする請求項１２または１３に記載の音声記録装置。
【請求項１５】
前記第１の雑音低減処理は、処理前の音声データを間引いた信号から雑音を低減し、前記第１の雑音低減処理は、前記処理前の音声データから雑音を低減することを特徴とする請求項９から１４のいずれか１項に記載の音声記録装置。
【請求項１６】
被写体を撮像し、ＲＡＷ画像データを生成する撮像手段と、
リアルタイムにＲＡＷ画像データを現像する第１の現像処理と、前記第１の現像処理よりも高い画質でＲＡＷ画像データを現像する第２の現像処理を実行できる現像手段と、
画像出力手段と、
音声入力手段と、
前記音声入力手段により入力される音声データの雑音を低減する音声処理手段であって、リアルタイムに雑音を低減できる第１の雑音低減処理と、前記第１の雑音低減処理よりも高い音質で雑音を低減できる第２の雑音低減処理を実行できる音声処理手段と、
音声出力手段と、
画像データ及び音声データを記録媒体に記録再生する記録再生手段と、
（１）前記撮影中では、前記現像手段が、前記撮像手段から出力されるＲＡＷ画像データを前記第１の現像処理で現像して前記画像出力手段に出力し、前記音声処理手段が前記音声入力手段により入力される音声データを前記第１の雑音低減処理で処理して前記音声出力手段に出力し、前記記録再生手段が、前記撮像手段から出力されるＲＡＷ画像データ、及び、前記音声処理手段から出力される音声データを記録媒体に記録し、（２）記録停止後には、前記記録再生手段が、前記記録媒体に記録されたＲＡＷ画像データを前記記録媒体から読み出して前記現像手段に供給し、前記記録媒体に記録された前記第１の雑音低減処理で処理された音声データを前記記録媒体から読み出して前記音声処理手段に供給し、前記現像手段が、前記記録再生手段からのＲＡＷ画像データを前記第２の現像処理で現像し、前記音声処理手段が前記記録再生手段からの音声を前記第２の雑音低減処理で処理し、前記記録再生手段が前記現像手段から出力される前記第２の現像処理で現像された画像データ、及び、前記音声処理手段から出力される前記第２の雑音低減処理で処理された音声データを記録媒体に記録するように、前記現像手段、前記音声処理手段及び前記記録再生手段を制御する制御手段
とを有することを特徴とする撮像装置。
【請求項１７】
音声入力手段と、
前記音声入力手段により入力される音声データの雑音を低減する音声処理手段であって、リアルタイムに雑音を低減できる第１の雑音低減処理と、前記第１の雑音低減処理よりも高い音質で雑音を低減できる第２の雑音低減処理を実行できる音声処理手段と、
音声出力手段と、
記録媒体に音声データを記録再生する記録再生手段と、
記録中では、前記音声処理手段が前記音声入力手段により入力される音声データを前記第１の雑音低減処理で処理して前記音声出力手段に出力し、前記記録再生手段が、前記音声入力手段により入力される音声データを記録媒体に記録し、（２）記録停止後には、前記記録再生手段が、前記記録媒体に記録された音声データを前記記録媒体から読み出して前記音声処理手段に供給し、前記音声処理手段が前記記録再生手段からの音声データを前記第２の雑音低減処理で処理し、前記記録再生手段が前記音声処理手段から出力される前記第２の雑音低減処理で処理された音声データを記録媒体に記録するように、前記音声処理手段及び前記記録再生手段を制御する制御手段
とを有することを特徴とする音声記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び音声記録装置に関し、動画撮影時に特に音声信号に含まれる雑音を低減する撮像装置及び、このような撮像装置に組み込まれ得る音声記録装置に関する。
【背景技術】
【０００２】
近年、動画を音声付きで撮影可能なカメラが知られている。記録される音声に対しては、カメラ内の駆動部の駆動による駆動音（雑音）の影響を受けないことが望まれる。
【０００３】
このための雑音低減方法が提案されている。特許文献１には、雑音源の種類に応じて、適切なフィルタ（雑音低減手段）を選択することが開示されている。特許文献２には、雑音の発生時間に応じて複数の雑音低減手段を使い分けることが開示されている。特許文献３には、ハードディスクの駆動雑音に対して、雑音発生期間の音声信号を、雑音発生期間の前後の音声信号に基づいて算出した信号で置換する予測処理技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０４−２３３８７３号公報
【特許文献２】特開２００６−２０３３７６号公報
【特許文献３】特開２００６−２６２２４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の雑音低減処理を実際に製品に組み込もうとすると、いずれも大量の演算が必要となる。その結果、演算手段で実現する場合に、演算処理性能の制約上、機能を限定せざるを得ない。例えば、騒音低減処理のアルゴリズムを高音質でリアルタイムに処理するためには高コスト回路を要し、回路規模が大きくなる。また、音声データのサンプル数を間引き、そのデータから線形予測を行うと、予測精度が落ちてしまい、本来求められる波形とは異なる波形を予測してしまう可能性がある。
【０００６】
本発明は、上記課題に鑑みてなされ、その目的は、高コスト回路を必要とせず、高音質な音声処理を実現できる撮像装置及び音声記録装置を提示することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る撮像装置は、被写体を撮像し、ＲＡＷ画像データを生成する撮像手段と、リアルタイムにＲＡＷ画像データを現像する第１の現像処理と、前記第１の現像処理よりも高い画質でＲＡＷ画像データを現像する第２の現像処理を実行できる現像手段と、音声入力手段と、前記音声入力手段により入力される音声データの雑音を低減する音声処理手段であって、リアルタイムに雑音を低減できる第１の雑音低減処理と、前記第１の雑音低減処理よりも高い音質で雑音を低減できる第２の雑音低減処理を実行できる音声処理手段と、前記撮像手段から出力されるＲＡＷ画像データ、前記現像手段から出力される画像データ、及び、前記音声処理手段から出力される音声データを記録媒体に記録し、前記記録媒体に記録されるＲＡＷ画像データを再生して前記現像手段に供給し、前記記録媒体に記録される音声データを再生して前記音声処理手段に供給する記録再生手段と、（１）前記撮影中では、前記現像手段が、前記撮像手段から出力される画像データを前記第１の現像処理で現像し、前記音声処理手段が前記音声入力手段により入力される音声データを前記第１の雑音低減処理で処理し、前記記録再生手段が、前記撮像手段から出力されるＲＡＷ画像データ、前記現像手段から出力される画像データ、及び、前記音声処理手段から出力される音声データを記録媒体に記録し、（２）記録停止後には、前記記録再生手段が、前記記録媒体に記録されたＲＡＷ画像データを前記記録媒体から読み出して前記現像手段に供給し、前記記録媒体に記録された前記第１の雑音低減処理で処理された音声データを前記記録媒体から読み出して前記音声処理手段に供給し、前記現像手段が、前記記録再生手段からのＲＡＷ画像データを前記第２の現像処理で現像し、前記音声処理手段が前記記録再生手段からの音声データを前記第２の雑音低減処理で処理し、前記記録再生手段が前記現像手段から出力される前記第２の現像処理で現像された画像データ、及び、前記音声処理手段から出力される前記第２の雑音低減処理で処理された音声データを記録媒体に記録するように、前記現像手段、前記音声処理手段及び前記記録再生手段を制御する制御手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、リアルタイム性を確保しつつ、リアルタイムでの実現が困難な高品質な雑音低減処理を行える。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施例の概略構成ブロック図である。
【図２】本実施例の音声処理部の概略構成ブロック図である。
【図３】各種音声処理部の概略構成ブロック図である。
【図４】ＬＰＣ処理を説明する波形例である。
【図５】簡易ＬＰＣ処理のための間引きの説明図である。
【図６】簡易ＬＰＣ処理または高音質ＬＰＣ処理を選択する処理のフローチャートである。
【図７】高音質ＬＰＣ処理を説明する波形例である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１１】
図１は、本発明に係る撮像装置の一実施例の概略構成ブロック図を示す。図１に示す撮像装置１００は、被写体を撮像して得られた画像情報を記録媒体に記録するだけでなく、画像情報を記録媒体から再生し、現像処理して表示する機能、及び、画像情報を外部の装置やサーバ（クラウド）等と送受信する機能を有する。
【００１２】
制御部１６１は、ＣＰＵと、当該ＣＰＵが実行する制御プログラムを格納するメモリを含み、撮像装置１００の全体の処理を制御する。操作部１６２は、ユーザが撮像装置１００に対して指示を与えるために用いるキー、ボタン及びタッチパネルなどの入力デバイスを含む。操作部１６２からの操作信号は、制御部１６１によって検出され、制御部１６１は、操作に応じた動作が実行されるよう各部を制御する。表示部１２３は、撮影画像、再生画像、メニュー画面及び各種情報等を表示する液晶ディスプレイ（ＬＣＤ）等を含む。
【００１３】
操作部１６２によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、撮像光学部１０１を介して入力され、撮像センサ１０２上に結像する。撮像光学部１０１は、レンズや絞り、及び、フォーカス制御やズーム制御のためのレンズ駆動部、更に、絞りの駆動部を含む。撮像センサ１０２は、光学像を対応する強度分布の画像信号に変換する撮像素子である。撮影時、カメラ制御部１０４が、撮像光学部１０１及び撮像センサ１０２の動作を、評価値算出部１０５により取得される絞り、フォーカス及び手ぶれ等の評価値算出結果並びに認識部１３１によって抽出される被写体情報に従い制御する。即ち、カメラ制御部１０４は、フォーカス或いはズーム制御のため、撮像光学部１０１のレンズ駆動部に制御信号を出力し、レンズ駆動部を動作させる。また、カメラ制御部１０４は、絞り制御のため、撮像光学部１０１の絞り駆動部に制御信号を出力し、絞り駆動部を動作させる。これら、レンズ駆動部や絞り駆動部が駆動した際、駆動による雑音が発生し、音声入力部１７１により取得される。
【００１４】
撮像センサ１０２は、画素毎に配置される赤（Ｒ）、緑（Ｇ）及び青（Ｂ）のカラーフィルタを透過した光を電気信号に変換する。カラーフィルタは例えば、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）が画素毎にモザイク状に配置され、２×２の４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このような画素の配置は、一般にベイヤ-配列と呼ばれる。
【００１５】
撮像センサ１０２によって変換された電気信号は、センサ信号処理部１０３によって画素の修復処理が施される。修復処理は、撮像センサ１０２における欠落画素及び信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理を含む。本実施例では、センサ信号処理部１０３から出力される画像情報を生の画像（未現像の画像）を意味するＲＡＷ画像と称す。
【００１６】
ＲＡＷ画像データは、現像部１１０で現像処理される。現像部１１０は、第１の現像部としての簡易現像部１１１と、第２の現像部としての高画質現像部１１２と、簡易現像部１１１の出力と高画質現像部１１２の出力の一方を選択するスイッチ部１２１とからなる。簡易現像部１１１及び高画質現像部１１２は共に、簡易か高画質かの相違はあるが、ＲＡＷ画像データを現像処理する。現像処理は、ＲＡＷ画像データに対するデベイヤー処理（デモザイク処理）、輝度／色差形式への変換、各色成分信号に含まれるノイズの除去、光学的歪の補正、及び画像適正化の各処理を含む。
【００１７】
高画質現像部１１２は、簡易現像部１１１よりも各処理を高精度に行うことができる。高精度であるため、簡易現像部１１１よりも高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。そこで、高画質現像部１１２は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後に時間をかけて分散処理を行うことが可能な構成になっている。このように高画質現像を撮影時ではなく、時間をかけて後から行うようにすることで、回路規模を小さくでき消費電力の増大（ピーク）を低く抑えることができる。
【００１８】
他方、簡易現像部１１１は、高画質現像部１１２よりも、画質は低いものの、撮影中に高速に現像処理を行えるよう、高画質現像よりも現像に係る処理量が少なくなるように構成されている。簡易現像部１１１の処理負荷は小さいので、撮影動作と並行したリアルタイムの現像の際には簡易現像部１１１を用いるようにする。
【００１９】
スイッチ部１２１は、操作部１６２によりユーザから指示された操作内容及び実行中の動作モードに応じた制御に従い、制御部１６１によって切り替えられる。即ち、記録モードでは、ユーザからの指示により設定される条件に従い、簡易現像部１１１によりリアルタイムに現像処理を行い、動画または静止画のＲＡＷ画像データと簡易現像の画像データの両方を記録媒体１５２に記録する。また、記録媒体１５２への記録後には、制御部１６１は、記録媒体１５２から自動的にＲＡＷ画像データを読み出し、高画質現像部１１２に転送し、高画質現像部１１２に高画質の現像処理を適用させる。高画質現像部１１２により現像処理された画像データは、記録媒体１５２に記録される。制御部１６１は、高画質現像された画像データが記録媒体１５２に記録された後、この高画質現像の画像データに対応する簡易現像の画像データを記録媒体１５２から消去する。
【００２０】
理解を容易にするために、現像部１１０として簡易現像部１１１と高画質現像部１１２が独立に設けているが、単一の現像部が簡易現像処理と高画質現像処理を排他的に実行する構成であってもよい。
【００２１】
表示処理部１２２は、現像部１１０によって現像処理された画像データに所定の表示処理を施して表示用画像信号を生成し、表示部１２３に供給する。これにより、現像処理された画像が表示される。また、現像処理された画像データは、映像出力端子１２４により、外部に接続された表示機器に出力されうる。映像出力端子１２４は、例えばＨＤＭＩ（登録商標）又はＳＤＩのような汎用インタフェースを含む。表示処理部１２２及び映像出力端子１２４は、画像出力手段として機能する。
【００２２】
現像部１１０によって現像処理された画像データは、評価値算出部１０５にも供給される。評価値算出部１０５は、入力する画像データからフォーカス状態及び露出状態などの評価値を算出する。
【００２３】
現像部１１０によって現像処理された画像データは、認識部１３１にも供給される。認識部１３１は、画像情報中の被写体情報を検出及び認識する機能を有する。例えば、認識部１３１は、画像データによって表される画面内における顔を検出し、顔がある場合は顔の位置を示す情報を出力し、顔などの特徴情報に基づいて特定の人物の認証などを行う。
【００２４】
現像部１１０によって現像処理された画像データは、静止画圧縮部１４１及び動画圧縮部１４２にも供給される。画像データを静止画として圧縮する場合、静止画圧縮部１４１を用いる。画像データを動画として圧縮する場合、動画圧縮部１４２を用いる。静止画圧縮部１４１及び動画圧縮部１４２は、それぞれ対象となる画像データを高能率符号化（圧縮符号化）し、情報量が圧縮された画像データを生成して、画像ファイル（静止画ファイル又は動画ファイル）に変換する。静止画圧縮にはＪＰＥＧなどを、動画圧縮にはＭＰＥＧ−２、Ｈ．２６４又はＨ．２６５等を用いることができる。
【００２５】
ＲＡＷ圧縮部１１３は、センサ信号処理部１０３が出力したＲＡＷ画像データを、ウエーブレット変換又は差分符号化等の技術を用いて高能率符号化し、圧縮された状態のＲＡＷファイルに変換して、バッファ（記憶手段）１１５に格納する。ＲＡＷファイルは、バッファ１１５に残しておいて再び読み出すことができるが、バッファ１１５に格納された後、別の記録媒体に移動して記録する場合に、バッファ１１５から削除するようにしても良い。
【００２６】
ＲＡＷファイル、静止画ファイル及び動画ファイルは、記録再生部１５１によって記録媒体１５２に記録される。記録媒体１５２は、内蔵式の大容量メモリ、ハードディスク又は着脱式のメモリカード等である。記録再生部１５１は、記録媒体１５２から静止画ファイル、動画ファイル及びＲＡＷファイルを読み出すことができる。
【００２７】
記録再生部１５１は、通信部１５３を介して、外部のストレージ及びサーバに各種ファイルを読み書きできる。通信部１５３は、通信端子１５４を介して、無線通信又は有線通信によりインターネット及び外部機器にアクセスできる。
【００２８】
再生動作が開始されると、記録再生部１５１は、記録媒体１５２から又は通信部１５３を介して、所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルの場合、記録再生部１５１は、取得したＲＡＷファイルをバッファ１１５に格納する。再生対象のファイルが静止画ファイルの場合、記録再生部１５１は、取得した静止画ファイルを静止画伸長部１４３に供給する。再生対象のファイルが動画ファイルの場合、記録再生部１５１は、取得した動画ファイルを動画伸長部１４４に供給する。
【００２９】
ＲＡＷ伸長部１１４は、バッファ１１５に格納されているＲＡＷファイルを読み出し、圧縮状態のＲＡＷファイルを復号して伸長する。ＲＡＷ伸長部１１４によって伸長されたＲＡＷファイルは、現像部１１０の簡易現像部１１１又は高画質現像部１１２に供給される。
【００３０】
静止画伸長部１４３は、入力された静止画ファイルを復号して伸長し、静止画の再生画像として表示処理部１２２に供給する。動画伸長部１４４は、入力された動画ファイルを復号して伸長し、動画の再生画像として表示処理部１２２に供給する。
【００３１】
次に音声信号の処理を説明する。音声入力部１７１は、内蔵されたマイクロホンまたは音声入力端子を介して接続された外部マイク等である。撮影時の音声収録では、音声処理部１７２は、装置周囲の音声を集音したアナログ音声信号をデジタル信号に変換して、レベルの適正処理及び特定周波数の低減処理等の音声に関する処理を行い、記録再生部１５１に供給する。記録再生部１５１は、音声処理部１７２からの音声データを記録媒体１５２の音声データ領域に記録する。記録再生部１５１は、通信部１５３から記録媒体１５２の音声データ領域に記録された音声データを読み出して音声処理部１７２に同様な処理を施させた音声データを、再度、記録媒体１５２の音声データ領域に記録することもできる。
【００３２】
音声出力部１７３は、例えば、音声出力端子からなり、映像用と統合された１つの端子、例えば、ＨＤＭＩ（登録商標）端子であっても良い。記録媒体１５２の音声データ領域に記録されている音声データは、記録再生部１５１及び音声処理部１７２を介して、音声出力部１７３に接続するイヤホンまたはスピーカ等に供給され、音声出力される。音声出力部１７３は、撮像装置１００に内蔵されるスピーカであっても良い。
【００３３】
図２は、音声処理部１７２の概略構成ブロック図を示す。音声処理部１７２は、線形予測分析（Linear Predictive Coding）により音声データの雑音を低減する簡易ＬＰＣ処理部２０２及び高音質ＬＰＣ処理部２０４を有する。簡易ＬＰＣ処理部２０２は、音声入力部１７１からの音声データに低音質の簡易的な雑音低減処理（簡易ＬＰＣ処理）を施す。高音質ＬＰＣ処理部２０４は、記録再生部１５１により記録媒体１５２により再生された音声データに高音質の雑音低減処理（高音質ＬＰＣ処理）を施す。スイッチ２０６は、簡易ＬＰＣ処理部２０２または高音質ＬＰＣ処理部２０４の出力音声データを選択して、各種音声処理部２０８に供給する。
【００３４】
各種音声処理部２０８は、図３に示すように、ウィンドカット回路３０２、指向性強調回路３０４及びＡＬＣ（オートレベルコントロール）回路３０６から構成されている。ウィンドカット回路３０２は、スイッチ２０６からの音声データから風雑音を低減する。風雑音は、左右の音声データの位相差が大きく、低域周波数（約５０Ｈｚ〜数ｋＨｚ）に集中するという特徴を有する。ウィンドカット回路３０２は、入力音声データからこのような特徴を有する成分を抑圧することで、風雑音を低減する。ＡＬＣ回路３０６は、音声レベルを一定の音量になるように入力音声データの振幅を調整する。例えば、マイクロホンで収音された音声が小さい時には、振幅を増幅し、適正な音量の場合には振幅の増幅率を元に戻す。また、一般的には、増幅率には上限が設けられている。
【００３５】
各種音声処理部２０８により処理された音声データは、音声バッファ２１０とスイッチ２１２に出力される。スイッチ２１２は、制御部１６１の制御下に、各種音声処理部２０８からの音声データと音声バッファ２１０からの音声データの一方を選択して音声出力部１７３に供給する。
【００３６】
音声バッファ２１０は、各種音声処理部２０８からの音声データ及び記録再生部１５１からの音声データを一時記憶し、記憶する音声データを制御部１６１の制御下でスイッチ２１２及び／または高音質ＬＰＣ処理部２０４に出力する。音声バッファ２１０に記憶された音声データは記録再生部１５１により記録媒体に記録される。また、再生時には、記録再生部１５１により再生された音声データが一旦、音声バッファ２１０に記憶され、スイッチ２１２を介して音声出力部１７３に出力される。また、後述のように、簡易ＬＰＣ処理された音声データに対して高音質ＬＰＣ処理を行う場合、音声バッファ２１０に記憶された音声データが、高音質ＬＰＣ処理部２０４に出力される。
【００３７】
音声バッファ２１０は、高速でランダムアクセス可能なダイナミックＲＡＭからなる。音声バッファ２１０の記憶領域は音声データ領域と制御信号領域に区分される。音声データ領域に記憶された音声データと、タイミング信号領域のタイミング信号は、フレーム毎にどの時刻のデータであるかを識別可能に管理されている。
【００３８】
図４に示す波形例を参照して、高音質ＬＰＣ処理部２０４による高音質ＬＰＣ処理を説明する。図４（ａ）は処理前の音声信号波形を示す。図４（ｂ）は、図４（ａ）に示す信号をＬＰＣ処理する途中の段階での音声信号の波形を示す。図４（ｃ）は、図４（ａ）に示す音声信号をＬＰＣ処理する途中の段階での音声信号の波形を示す。図４（ｄ）は、図４（ａ）に示す信号をＬＰＣ処理し、処理した音声を補間する音声信号を示す。いずれも、横軸は時間を示し、縦軸は音声出力量（デシベル：ｄＢ）を示す。図４に示す波形例では、音声入力部１７１により取り込んだ外部または周囲の音声に、撮像光学部１０１のレンズ駆動部や絞り駆動部の駆動により発生する駆動音が重畳している。
【００３９】
ＬＰＣ処理は、まず、図４（ｂ）に示すように、カメラ駆動音が存在する区間の音声信号を破棄する。次に、音声予測に用いる線形予測係数の導出（学習動作）と線形予測係数を用いた信号の予測（予測動作）を行い、予測動作により求めた信号で、雑音が存在する雑音区間（予測区間）の音声信号を埋めていく。図４（ｃ）は、雑音区間を予測信号でうめていく途中の波形を示す。ＬＰＣ処理は、予測区間の信号を捨てる前の学習区間から、補間に使用する信号（予測信号）を生成するので、雑音の大きさ自体は問題にならない。予測区間が短いほど、より良い結果を得ることができ、ＬＰＣ処理としては性能が良いということになる。
【００４０】
線形予測を用いるにあたっては、現在の信号とこれに隣接する有限個（ここではｐ個とする）の標本値との間に次の様な線形1次結合関係を仮定する。
【数１】
2017175584.tif 000003
但し、式（１）において、εｔは平均値０、分散σ２の互いに無相関な確率変数である。ここで、ｘｔが過去の値から予測されるように式（１）を変形すると、次のようになる。すなわち、
【数２】
2017175584.tif 000004
式（２）によると、εｔが十分に小さい場合、近傍ｐ個の線形和によって現在の値が表現される。ｘｔを上記の予測によって求めた後、更にその近似が十分に良ければ、ｘｔ＋１も同じく近傍ｐ個の線形和によって求められる。このように、εｔを十分に小さくすることが出来れば、順次、値を予測して信号を求める事が出来る。そこで、εｔを最小にする様なαｉの求め方を考える。ここでは、εｔを最小にするようなαｉを求める動作が学習動作に相当する。
【００４１】
学習区間においてεｔの２乗和を最小化すれば良いので、学習の開始時刻ｔ０、終了時刻をｔ１とすると、
【数３】
2017175584.tif 000005
但し、αｉ＝１である。ここで式を簡単にするために、
【数４】
2017175584.tif 000006
とする。式（３）を最小化する様にαｉを決める為には、式（３）のαｊ（ｊ＝１，２、・・・・、ｐ）に関する偏微分を０として解けば良い。この結果、
【数５】
2017175584.tif 000007
式（５）は、ｐ個の線形連立一次方程式を解くことで、αｉを決定出来る事を示している。式（５）の内、ｃｉｊはｘｉ−ｊ（ｉ＝１、２、・・・・、ｐ）から求める事ができる。すなわち、式（５）からαｉを求める事ができる。
【００４２】
式（５）に従ってαｉを決定した場合、εｔの２乗和は最小化されている。このとき、式（２）から、ｘｔの値はｘ＾ｔを予測信号として用いる事ができる。更にｘｔ＋１についても同様に近傍のｐ−１個と予測によって求めた信号から近似値を得ることが出来る。これを順次繰り返す事で、予測区間の信号を生成できる。ここでは、求められたαｉから予測区間の近似を求める動作を予測動作と呼ぶ。
【００４３】
好適な学習動作と予測動作を説明する。図４に示すように、学習動作に予測区間近傍の信号を用いる。これは、音声信号が短時間の領域に着目すると比較的繰り返し性が高い性質を利用している。図４に示すように、雑音が存在する区間（雑音区間）より時間的に前の隣接区間を学習区間１とし、学習区間１に対して学習動作と予測動作の計算を実行する。学習区間１での学習動作に基づき予測区間の信号を生成することを前方予測と呼ぶ。前方予測の予測区間の後半では、図４（ｄ）に示すように、予測区間の後方になるにつれて予測信号が小さくなり、かつ、元の音声信号が大きくなるような重み付けの加算平均をとることで、元の音声信号と滑らかに接続できる。
【００４４】
高音質ＬＰＣ処理部２０４の処理は、上述の通り、演算負荷が大きい。特に、ＣＰＵを使う場合、積和演算の繰り返しが高負荷となり、リアルタイムを損ねる。そこで、本実施例では、リアルタイム処理が可能になるほどにＬＰＣ処理を簡易化した簡易ＬＰＣ処理部２０２を設け、記録時には、簡易ＬＰＣ処理部２０２を使い、記録後に高音質ＬＰＣ処理部２０４を使うようにした。
【００４５】
簡易ＬＰＣ処理部２０２は、図５に示すように、学習区間の音声データを間引くことで，学習動作の演算処理量を削減する。さらに、簡易ＬＰＣ処理部２０２は、図４で示す学習区間２を用いた学習動作は行わず、学習区間１を用いた学習動作のみを行う。このように演算処理を削減することで、相対的に演算速度が遅いＣＰＵであっても、リアルタイムで行う雑音を除去できる。ただし、学習区間の音声データの一部を間引いて予測信号を生成するので、ＬＰＣの予測精度が低下する。
【００４６】
本実施例では、ユーザからの記録指示による撮影時には、簡易ＬＰＣ処理部２０２が、リアルタイムにＬＰＣによるノイズ除去の処理を行う。そして、ユーザの記録停止指示によるＲＡＷ画像データ及び音声の記録停止後に、制御部１６１は、高音質ＬＰＣ処理部２０４により記録媒体１５２の直前に記録された音声データにノイズ除去処理を行わせ、記録媒体１５２に記録し直す。制御部１６１は、高音質ＬＰＣ処理された音声データが記録媒体１５２に記録された後、もとの簡易ＬＰＣ処理された音声データを記録媒体１５２から消去する。高音質なＬＰＣ処理は、記録媒体１５２に記録されたＲＡＷ画像データを、記録停止後に高画質現像部１１２により高画質現像処理を行うタイミングで、同時に実行される。
【００４７】
カメラ制御部１０４が、撮像光学部１０１に絞り動作を行うように制御するとき、制御部１６１に絞り動作の発生タイミングを通知するのが好ましい。制御部１６１は、絞り動作の発生タイミングに応じて簡易ＬＰＣ処理部２０２に絞り駆動期間を知らせることができ、これにより、簡易ＬＰＣ処理部２０２は雑音区間をより短く決定でき、適正なタイミングでＬＰＣ処理を行える。光学ズームのズーム駆動音及び合焦のためのフォーカス駆動音についても同様である。
【００４８】
制御部１６１は、ＲＡＷ画像と共に簡易ＬＰＣ処理された音声を記録する際、絞りの駆動期間を示す情報を記録媒体１５２に記録する。高音質ＬＰＣ処理部２０４は、記録媒体１５２に記録される絞り駆動期間の情報を参照することで、雑音区間をより適切に短い期間で決定でき、ＬＰＣ処理で雑音を適切に低減できる。
【００４９】
図６は、簡易ＬＰＣ処理部２０２と高音質ＬＰＣ処理部２０４を切り替える制御部１６１のスイッチ２０６を制御する動作のフローチャートを示す。Ｓ６０１で、制御部１６１は、ユーザからの指示によるＲＡＷ動画と音声の記録中（撮影中）か否かを判別する。撮影中（音声記録の場合には、音声記録中）である場合（Ｓ６０１）、Ｓ６０２で、制御部１６１は、簡易ＬＰＣ処理部２０２にリアルタイムＬＰＣ処理を行わせる。具体的には、制御部１６１は、スイッチ２０６に簡易ＬＰＣ処理部２０２の出力を選択させ、高音質ＬＰＣ処理部２０４の動作を停止させる。撮影中でない場合（Ｓ６０２）、Ｓ６０３で、制御部１６１は、高音質ＬＰＣ処理部２０４にＬＰＣ処理を行わせる。具体的には、制御部１６１は、スイッチ２０６に高音質ＬＰＣ処理部２０４の出力を選択させ、簡易ＬＰＣ処理部２０２の動作を停止させる。
【００５０】
このように、本実施例ではリアルタイムでは困難なノイズ低減処理を音声信号に適用して記録することができる。
【実施例２】
【００５１】
高音質ＬＰＣ処理部２０４のＬＰＣ処理として、雑音区間より時間的に後の隣接区間を学習区間２とし、学習区間１，２に対して学習動作と予測動作の計算を実行するようにしてもよい。学習区間２での学習動作に基づき予測区間の信号を生成することを後方予測と呼ぶ。
【００５２】
図７に示す波形例を参照して、前方予測と後方予測を併用するＬＰＣ処理を説明する。図７（ａ）は処理前の音声信号波形を示す。図７（ｂ）は、図７（ａ）に示す信号をＬＰＣ処理する途中の段階での音声信号の波形を示す。図７（ｃ）は、図７（ａ）に示す音声信号をＬＰＣ処理する途中の段階での音声信号の波形を示す。図７（ｄ）は、図７（ａ）に示す信号をＬＰＣ処理し、処理した音声を補間する音声信号を示す。いずれも、横軸は時間を示し、縦軸は音声出力量（デシベル：ｄＢ）を示す。図７に示す波形例では、音声入力部１７１により取り込んだ外部または周囲の音声に、撮像装置１００の駆動音が重畳している。
【００５３】
学習区間１を使って学習動作及び予測動作を行い、学習区間２を使って学習動作と予測動作を行う。前者で得られる予測信号と後者で得られる予測信号を傾斜した重みを付けて加重平均する。予測区間の学習区間１に近いところでは、前者で得られる予測信号に対する重みを大きくし、予測区間の学習区間２に近いところでは、前者で得られる予測信号に対する重みを大きくする。
【図１】
2017175584.tif 000008
【図２】
2017175584.tif 000009
【図３】
2017175584.tif 000010
【図４】
2017175584.tif 000011
【図５】
2017175584.tif 000012
【図６】
2017175584.tif 000013
【図７】
2017175584.tif 000014