(57)【要約】【課題】  処理負担を上げずに高品質な音声処理を実装する。【解決手段】  音声入力部１７１による入力音声信号は、撮影中では、簡易音声信号処理部１７２により音声処理され、記録再生部１７６により記録媒体１５２に記録される。撮影終了後、記録再生部１７６は、記録媒体１５２から簡易音声処理された音声信号を読み出し、バッファ１７４を介して高音質音声信号処理部１７３に供給する。高音質音声信号処理部１７３は、簡易音声信号処理部１７２よりも高品質の音声処理を施す。記録再生部１７６は、高音質音声信号処理部１７３で処理された音声信号を記録媒体１５２に記録する。【選択図】  図１
2016082256.tif 000002
【特許請求の範囲】
【請求項１】
光学像から画像信号を生成する撮像手段と、
音声を音声信号に変換する音声入力手段と、
前記画像信号及び前記音声信号を記憶する記憶手段と、
前記画像信号を撮影時に現像処理を行う第１の現像手段と、
前記記憶手段に記憶された画像信号を読み出して現像処理する第２の現像手段であって、前記第１の現像手段よりも高画質な画像を得るための現像処理を行う第２の現像手段と、
前記第１の現像手段及び前記第２の現像手段の何れかによって現像処理された画像情報から表示用画像信号を生成する表示処理手段と、
前記音声信号に音声処理を施す第１の音声信号処理手段と、
前記記憶手段に記憶された音声信号を読み出し、前記第１の音声信号処理手段よりも高音質な音声処理を施す第２の音声信号処理手段と、
前記第１の音声信号処理手段及び前記第２の音声信号処理手段の何れかによって音声処理された音声信号を出力する音声出力手段と、
前記撮像手段による撮影動作を行っているときに撮影中の画像を表示する場合には、前記第１の現像手段によって現像処理された画像情報を前記表示処理手段に供給し、前記撮像手段による撮影動作を終えた後では、前記第２の現像手段によって現像処理された画像情報を前記表示処理手段に供給するように制御し、前記撮像手段による撮影動作を行っているときに音声信号を前記音声出力手段に出力する場合には、前記第１の音声信号処理手段によって音声処理された音声信号を前記音声出力手段に供給し、前記撮像手段による撮影動作を終えた後では、前記第２の音声信号処理手段によって音声処理された音声を前記音声出力手段に供給するよう制御する制御手段
とを有することを特徴とする撮像装置。
【請求項２】
前記制御手段は、所定の時間の画像および音声に対して、前記第２の現像手段の処理時間より前記第２の音声信号処理手段の処理時間が短くなるように、前記第２の音声信号処理手段の処理内容を変更することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の音声信号処理手段は、シリアルに接続される風雑音除去手段、指向性強調部及びＡＬＣ（オートレベルコントロール）手段を具備することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記第１の音声信号処理手段は、シリアルに接続されるノイズキャンセル手段、風雑音除去手段、指向性強調部及びＡＬＣ（オートレベルコントロール）手段を具備することを特徴とする請求項１から３の何れか１項に記載の撮像装置。
【請求項５】
前記ノイズキャンセル手段は、所定のノイズを周波数領域で低減する手段を具備することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記ノイズキャンセル手段は、所定のノイズを周波数領域で低減する手段と、ノイズの乗った部分を時間的に直前の部分で置換する手段とを具備することを特徴とする請求項４に記載の撮像装置。
【請求項７】
前記画像信号がＲＡＷ画像の画像信号であることを特徴とする請求項１から６の何れか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、動画撮影時に高音質な音声収録を行う撮像装置に関する。
【背景技術】
【０００２】
動画撮影時に、より明瞭で高音質な音声収録が求められ、さまざまな音声信号処理をプロセッサなどを用いた信号処理で実現する方法が知られている。
【０００３】
より明瞭で高音質な音声収録のために、風騒音及び機器の機械的騒音などを除去する必要があり、このような処理を行うにはＦＦＴ処理など膨大な演算処理が必要とされている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１４７７４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
高音質を求める場合、さらにプロセッサの処理能力を必要とするなど、リアルタイムで処理を行うためには，高コストな回路を必要とする課題がある。
【０００６】
特にノイズキャンセルは、より多くの処理能力を必要とし、複数のノイズキャンセルを実現するには、より高コストな回路を必要とする課題がある。
【０００７】
本発明は、このような課題を解決する撮像装置を提示することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、光学像から画像信号を生成する撮像手段と、音声を音声信号に変換する音声入力手段と、前記画像信号及び前記音声信号を記憶する記憶手段と、前記画像信号を撮影時に現像処理を行う第１の現像手段と、前記記憶手段に記憶された画像信号を読み出して現像処理する第２の現像手段であって、前記第１の現像手段よりも高画質な画像を得るための現像処理を行う第２の現像手段と、前記第１の現像手段及び前記第２の現像手段の何れかによって現像処理された画像情報から表示用画像信号を生成する表示処理手段と、前記音声信号に音声処理を施す第１の音声信号処理手段と、前記記憶手段に記憶された音声信号を読み出し、前記第１の音声信号処理手段よりも高音質な音声処理を施す第２の音声信号処理手段と、前記第１の音声信号処理手段及び前記第２の音声信号処理手段の何れかによって音声処理された音声信号を出力する音声出力手段と、前記撮像手段による撮影動作を行っているときに撮影中の画像を表示する場合には、前記第１の現像手段によって現像処理された画像情報を前記表示処理手段に供給し、前記撮像手段による撮影動作を終えた後では、前記第２の現像手段によって現像処理された画像情報を前記表示処理手段に供給するように制御し、前記撮像手段による撮影動作を行っているときに音声信号を前記音声出力手段に出力する場合には、前記第１の音声信号処理手段によって音声処理された音声信号を前記音声出力手段に供給し、前記撮像手段による撮影動作を終えた後では、前記第２の音声信号処理手段によって音声処理された音声を前記音声出力手段に供給するよう制御する制御手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、高コスト回路を必要とせずに、膨大な演算処理の高音質処理を行うことができ、高音質な音声処理を行うことが出来る。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施例の概略構成ブロック図である。
【図２】本実施例の音声処理部の概略構成ブロック図である。
【図３】第１のノイズキャンセル回路の概略構成ブロック図である。
【図４】第２のノイズキャンセル回路の概略構成ブロック図である。
【図５】第２のノイズキャンセル回路の動作説明図である。
【図６】画像処理と音声処理の処理時間の長短を説明する図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１２】
図１は、本発明の実施例１の撮像装置の概略構成ブロック図である。図１に示す撮像装置１００は、被写体を撮像して得られた画像情報を記録媒体に記録するだけでなく、画像情報を記録媒体から再生し、現像処理して表示する機能、及び、画像情報を外部の装置やサーバ（クラウド）等と送受信する機能を有する。従って、撮像装置１００の特徴的な機能は、その用途に従い画像処理装置、記録装置、再生装置、記録再生装置、通信装置等として実装されうる。
【００１３】
制御部１６１は、ＣＰＵと、当該ＣＰＵが実行する制御プログラムを格納するメモリを含み、撮像装置１００の全体の処理を制御する。操作部１６２は、ユーザが撮像装置１００に対して指示を与えるために用いるキー、ボタン及びタッチパネルなどの入力デバイスを含む。操作部１６２からの操作信号は、制御部１６１によって検出され、制御部１６１は、操作に応じた動作が実行されるよう各部を制御する。表示部１２３は、撮影画像、再生画像、メニュー画面及び各種情報等を表示する液晶ディスプレイ（ＬＣＤ）等を含む。
【００１４】
操作部１６２によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、撮像光学部１０１を介して入力され、撮像センサ１０２上に結像する。撮像センサ１０２は、光学像を対応する強度分布の画像信号に変換する撮像素子である。撮影時、カメラ制御部１０４が、撮像光学部１０１及び撮像センサ１０２の動作を、評価値算出部１０５により取得される絞り、フォーカス及び手ぶれ等の評価値算出結果並びに認識部１３１によって抽出される被写体情報に従い制御する。
【００１５】
撮像センサ１０２によって変換された電気信号は、センサ信号処理部１０３によって画素の修復処理が施される。修復処理は、撮像センサ１０２における欠落画素及び信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理を含む。本実施例では、センサ信号処理部１０３から出力される画像情報を生の画像（未現像の画像）を意味するＲＡＷ画像と称す。
【００１６】
ＲＡＷ画像は、現像部１１０で現像処理される。現像部１１０は、複数の異なる現像処理部を有し、第１の現像部としての簡易現像部１１１と、第２の現像部としての高画質現像部１１２とから成り、それらの出力を選択するスイッチ部１２１を含んで構成される。簡易現像部１１１及び高画質現像部１１２は共に、簡易か高画質かの相違はあるが、ＲＡＷ画像を現像処理する。現像処理は、ＲＡＷ画像に対するデベイヤー処理（デモザイク処理）、輝度／色差形式への変換、各色成分信号に含まれるノイズの除去、光学的歪の補正、及び画像適正化の各処理を含む。
【００１７】
特に、高画質現像部１１２は、簡易現像部１１１よりも各処理を高精度に行うことができる。高精度であるため、簡易現像部１１１よりも高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。そこで、高画質現像部１１２は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後に時間をかけて分散処理を行うことが可能な構成になっている。このように高画質現像を撮影時ではなく、時間をかけて後から行うようにすることで、回路規模を小さくでき消費電力の増大（ピーク）を低く抑えることができる。
【００１８】
他方、簡易現像部１１１は、高画質現像部１１２よりも、画質は低いものの、撮影中に高速に現像処理を行えるよう、高画質現像よりも現像に係る処理量が少なくなるように構成されている。簡易現像部１１１の処理負荷は小さいので、撮影動作と並行したリアルタイムの現像の際には簡易現像部１１１を用いるようにする。
【００１９】
スイッチ部１２１は、操作部１６２によりユーザから指示された操作内容及び実行中の動作モードに応じた制御に従い制御部１６１によって切り替えられる。
【００２０】
図１では、理解を容易にするために現像部１１０を簡易現像部１１１と高画質現像部１１２を個別に有する構成としているが、一つの現像部が簡易現像処理と高画質現像処理を排他的に行う構成であってもよい。
【００２１】
表示処理部１２２は、現像部１１０によって現像処理された画像情報に所定の表示処理を施して表示用画像信号を生成し、表示部１２３に供給する。これにより、現像処理された画像が表示される。また、現像処理された画像情報は、映像出力端子１２４により、外部に接続された表示機器に出力されうる。映像出力端子１２４は、例えばＨＤＭＩ（登録商標）又はＳＤＩのような汎用インタフェースを含む。
【００２２】
現像部１１０によって現像処理された画像情報は、評価値算出部１０５にも供給される。評価値算出部１０５は、画像情報からフォーカス状態及び露出状態などの評価値を算出する。
【００２３】
現像部１１０によって現像処理された画像情報は、認識部１３１にも供給される。認識部１３１は、画像情報中の被写体情報を検出及び認識する機能を有する。例えば、画像情報によって表される画面内における顔を検出し、顔がある場合は顔の位置を示す情報を出力し、さらに顔などの特徴情報に基づいて特定の人物の認証などを行う。
【００２４】
現像部１１０によって現像処理された画像情報は、静止画圧縮部１４１及び動画圧縮部１４２にも供給される。画像情報を静止画として圧縮する場合は、静止画圧縮部１４１を用いる。画像情報を動画として圧縮する場合は、動画圧縮部１４２を用いる。静止画圧縮部１４１及び動画圧縮部１４２は、それぞれ対象となる画像情報を高能率符号化（圧縮符号化）し、情報量が圧縮された画像情報を生成して、画像ファイル（静止画ファイル又は動画ファイル）に変換する。静止画圧縮にはＪＰＥＧなどを、動画圧縮にはＭＰＥＧ−２、Ｈ．２６４又はＨ．２６５等を用いることができる。
【００２５】
ＲＡＷ圧縮部１１３は、センサ信号処理部１０３が出力したＲＡＷ画像を、ウエーブレット変換又は差分符号化等の技術を用いて高能率符号化し、圧縮された状態のＲＡＷファイルに変換して、バッファ（記憶手段）１１５に格納する。ＲＡＷファイルは、バッファ１１５に残しておいて再び読み出すことができるが、バッファ１１５に格納された後、別の記録媒体に移動して記録する場合に、バッファ１１５から削除するようにしても良い。
【００２６】
ＲＡＷファイルと静止画ファイル及び動画ファイルは、記録再生部１５１によって記録媒体１５２に記録される。記録媒体１５２は、内蔵式の大容量メモリ、ハードディスク又は着脱式のメモリカード等である。記録再生部１５１は、記録媒体１５２から静止画ファイル、動画ファイル及びＲＡＷファイルを読み出すことができる。
【００２７】
記録再生部１５１は、通信部１５３を介して、外部のストレージ及びサーバに各種ファイルを読み書きできる。通信部１５３は、通信端子１５４を用いて、無線通信又は有線通信によりインターネット及び外部機器にアクセスできる。
【００２８】
再生動作が開始されると、記録再生部１５１は、記録媒体１５２から又は通信部１５３を介して、所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルの場合、記録再生部１５１は、取得したＲＡＷファイルをバッファ１１５に格納する。再生対象のファイルが静止画ファイルの場合、記録再生部１５１は、取得した静止画ファイルを静止画伸長部１４３に供給する。再生対象のファイルが動画ファイルの場合、記録再生部１５１は、取得した動画ファイルを動画伸長部１４４に供給する。
【００２９】
ＲＡＷ伸長部１１４は、バッファ１１５に格納されているＲＡＷファイルを読み出し、圧縮状態のＲＡＷファイルを復号して伸長する。ＲＡＷ伸長部１１４によって伸長されたＲＡＷファイルは、現像部１１０の簡易現像部１１１又は高画質現像部１１２に供給される。
【００３０】
静止画伸長部１４３は、入力された静止画ファイルを復号して伸長し、静止画の再生画像として表示処理部１２２に供給する。動画伸長部１４４は、入力された動画ファイルを復号して伸長し、動画の再生画像として表示処理部１２２に供給する。
【００３１】
次に音声信号の処理を説明する。音声入力部１７１は、内蔵されたマイクロホンまたは音声入力端子を介して接続された外部マイク等である。撮影時の音声収録では、音声入力部１７１は、装置周囲の音声を集音したアナログ音声信号をデジタル信号に変換して、バッファ（記憶手段）１７４に蓄積する。記録再生部１７６は、バッファ１７４の音声データをファイルに変換して、記録媒体１５２の音声生データ領域に記録する。
【００３２】
バッファ１７４は、高速でランダムアクセス可能なダイナミックＲＡＭからなる。バッファ１７４の記憶領域は音声データ領域と制御信号領域に区分される。音声データ領域に記憶された音声データと、タイミング信号領域のタイミング信号は、フレーム毎にどの時刻のデータであるかを識別可能に管理されている。バッファ１１５とバッファ１７４は、物理的には一体のメモリをそれぞれの用途に分けて利用されるものであってもよい。
【００３３】
バッファ１７４への格納と同時に、音声入力部１７１からのデジタル音声信号は簡易音声信号処理部１７２で信号処理され、信号選択部１７５と信号選択部１７７とを経由して音声出力部１７８に出力される。音声出力部１７８は、例えば、音声出力端子からなり、撮像装置１００に接続されたイヤホン又はスピーカ等から音声を出力する為に音声信号を出力する。また、音声出力部１７８は、撮像装置１００に内蔵され、音声信号に応じた音声を出力するスピーカであっても良い。また、音声出力部１７８は、統合された１つの端子、例えば、ＨＤＭＩ（High Definition Multimedia Interface：登録商標）のような端子であっても良い。
【００３４】
記録再生部１７６は、信号選択部１７５からの音声データを記録媒体１５２の簡易質音声データ領域に記録する。
【００３５】
簡易音声信号処理部１７２の処理を説明する。説明例として、音声入力部１７１の音声が、近接されたステレオ（２ｃｈ）の無指向性マイクから取り込んだものであるとする。
【００３６】
図２（ａ）は簡易音声信号処理部１７２の構成例を示す概略構成ブロック図である。簡易音声信号処理部１７２は、風雑音除去部２０１、指向性強調部２０２及びＡＬＣ部（オートレベルコントロール部）２０３がこの順にシリアルに接続された構成からなる。風雑音除去部２０１は、風雑音の特徴である、左右の音声データの位相差が大きい、また低域周波数（約５０Ｈｚ〜数ｋＨｚ）に集中していることを利用して、風雑音を低減する。指向性強調部２０２では、音源からマイクまでの到達時間差を利用して、ステレオ感を強調する。ＡＬＣ部（オートレベルコントロール部）２０３は、一定の音量になる様に音量レベルを調整する。例えば、マイクロホンで収音された音声が小さい時には、音声信号を増幅し、適正な音量の場合には振幅増幅率を元に戻す。また、一般的には、増幅率には上限が設けられている。
【００３７】
高画質現像部１１２は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後に時間をかけて分散処理を行うことが可能な構成になっており、高画質現像を撮影時ではなく、時間をかけて後から行うことが可能である。本実施例では、高画質現像部１１２が現像を行う場合、音声信号処理部では、より高音質な音声を得ることができる音声信号処理を高音質音声信号処理部１７３で行うよう動作する。以下、高音質音声信号処理の動作を説明する。
【００３８】
記録再生部１７６は、高画質現像部１１２が現像中の画像と同時刻の音声生データを、記録媒体１５２の音声生データ領域から読み出し、バッファ１７４に蓄積する。高音質音声信号処理部１７３は、バッファ１７４の音声生データを高音質音声信号処理し、処理済みの音声データを１７５の信号選択部１７５を経由して記録再生部１７６に送る。記録再生部１７６は、高音質音声信号処理部１７３で処理され信号選択部１７５を介して入力する高音質音声データを記録媒体１５２の高音質音声データ領域に記録する。
【００３９】
図２（ｃ）は、高音質音声信号処理部１７３の構成例を示す概略構成ブロック図である。高音質音声信号処理部１７３は、第１のノイズキャンセル回路２０４、第２のノイズキャンセル回路２０５、風雑音除去部２０１、指向性強調部２０２及びＡＬＣ部２０３から構成されている。風雑音除去部２０１、指向性強調部２０２及びＡＬＣ部２０３の機能は先に説明した通りであり、これらは簡易音声信号処理部１７２と共用される。
【００４０】
第１のノイズキャンセル回路２０４は、周波数領域でモータ音などの長期間の騒音（ノイズ）を除去するもので、図３に示す構成からなる。音声信号３０１は、ＦＦＴ（高速フーリエ変換）回路３０２により周波数毎の振幅と位相の周波数領域のデータに変換される。ノイズプロファイル３０４は、予め測定された騒音（ノイズ）情報であって、周波数毎のノイズの振幅データである。減算部３０３は、ＦＦＴ回路３０２の出力から、ノイズプロファイル３０４からのノイズ成分を減算する。ＩＦＦＴ（逆高速フーリエ変換）回路３０５は、減算部３０３から出力される周波数領域の音声データを時間領域に逆ＦＦＴ変換する。このような構成で、ノイズキャンセル回路２０４は、ノイズプロファイル３０４に応じたノイズを低減又は削除することができる。
【００４１】
第２のノイズキャンセル回路２０５は、衝撃音などの短期の騒音（ノイズ）を除去するもので、図４に示す構成からなる。図４に示す構成では、騒音部分を時間的に直前の音声で補間する。音声信号４０１が、４０３は所定時間のデータ遅延を行うディレイ部４０３と、切り換え回路４０２に入力する。切り換え回路４０２は、音声信号４０１とディレイ部４０３からの音声信号を切り切り換える。フィルタ部４０４は、切り換え部４０２で発生する切り換えノイズを低減するローパスフィルタである。
【００４２】
高音質音声信号処理部１７３としては、第２のノイズキャンセル回路２０５を省略した図２（ｂ）に示す構成でも、必要により図２（ｂ）に示す構成と図２（ｃ）に示す構成を切り換え可能な構成であっても良い。例えば、現像処理の負荷が高い場合には、図２（ｂ）に示す構成を適用し、現像処理の負荷が相対的に低い場合には、図２（ｃ）に示す構成を適用する。
【００４３】
図４に示す回路構成では、図５（ａ）に示すような音声信号４０１が入力する場合、音声信号を所定の時間Ｔ６ごとに分割する。ディレイ部４０３の遅延時間はＴ６である。音声（ｉ＋４）にノイズがあるとすると、切り換え部４０２は、図５（ｂ）に示すように、音声（ｉ＋４）を直前の音声（ｉ＋３）で置換する。図５（ｂ）に示す切り換え信号がローレベルの場合、切り換え部４０２は、音声信号４０１を選択し、ハイレベルの場合、ディレイ部４０３からの音声信号を選択する。
【００４４】
音声再生時、記録再生部１７６は、記録媒体１５２の簡易音声データ領域または高音質音声データ領域から音声データを読み出して信号選択部１７７に供給する。信号選択部１７７は、記録再生部１７６からの音声データを音声出力部１７８に出力する。
【００４５】
記録再生部１７６は、高音質音声データ領域に音声データが存在する場合は、こちらを優先的に再生出力する。記録再生部１７６は、高音質音声データ領域に音声データが存在する場合は、その音声に相当する簡易音声データ領域の音声データ及び音声生データ領域の音声データを消去する。これにより、記録媒体１５２の記録済み容量を削減できる。
【００４６】
このように、本実施例では、処理負荷の大きな、高音質処理をリアルタイムではなく、収録後に時間をかけて処理を行うことで、低コストの処理回路で高音質な音声を得ることができる。
【００４７】
高画質現像部１１２の現像処理時間より、高音質音声信号処理部１７３の処理時間が長くなることがある場合の動作を説明する。
【００４８】
図６は、所定の期間の画像を高画質現像部１１２で現像処理するのに必要な処理時間と、音声を高音質音声信号処理部１７３で高音質処理するのに必要な処理時間の例を示した図である。
【００４９】
高画質現像部１１２によって行われる現像処理を図６の画像処理１（処理時間Ｔ１）とし、高音質音声信号処理部１７３によって行われる高音質処理を図６の音声処理２（処理時間Ｔ４）とする。この場合、図６のように、高画質現像部１１２による画像処理時間が高音質音声信号処理部１７３による音声処理時間よりも長くなれば、上記のようにそれぞれの処理を行う。
【００５０】
高画質現像部１１２によって行われる現像処理を図６の画像処理２（処理時間Ｔ２）とし、高音質音声信号処理部１７３によって行われる高音質処理を図６の音声処理２（処理時間Ｔ４）とする。このように、高画質現像部１１２による画像処理時間が高音質音声信号処理部１７３による音声処理時間よりも短くなる場合がありうる。この場合、制御部１６１は、高音質音声信号処理部１７３による音声処理時間が音声処理１（処理時間Ｔ３）のような処理時間になるように、高音質音声信号処理部１７３での処理内容を変更する。
【００５１】
このように高音質音声信号処理部の１７３処理内容を高画質現像部１１２の現像処理時間に応じて変更することで、現像処理の破綻を防止しつつ、高音質の音声処理も確保できる。
【図１】
2016082256.tif 000003
【図２】
2016082256.tif 000004
【図３】
2016082256.tif 000005
【図４】
2016082256.tif 000006
【図５】
2016082256.tif 000007
【図６】
2016082256.tif 000008