(57)【要約】【課題】動画の撮像機能を有する電子装置において、録音される音声に、光学系の駆動音が入ることを抑制する。【解決手段】光学系２１０は、駆動機構２２０により駆動される。駆動機構２２０が光学系２１０を駆動している間、駆動機構２２０からノイズ音が発生する。撮像部１１０は、光学系２１０を介して入射した光に基づいて画像データを生成する。音声データ生成部は、外部の音声を音声データに変換する。音源分離部３３０は、音声データを音源別に分離して音源別音声データを生成する。ノイズ除去部３４０は、駆動機構２２０を音源とした音源別音声データを音声データから除いたノイズ除去済音声データを生成する。【選択図】図１
2012173629.tif 000002
【特許請求の範囲】
【請求項１】
光学系と、
前記光学系を介して入射した光に基づいて画像データを生成する画像データ生成手段と、
前記光学系を駆動する駆動機構と、
外部の音声を音声データに変換する音声データ生成手段と、
前記音声データを音源別に分離して音源別音声データを生成する音源分離手段と、
前記駆動機構を音源とした前記音源別音声データを前記音声データから除いたノイズ除去済音声データを生成するノイズ除去手段と、
を備える電子装置。
【請求項２】
請求項１に記載の電子装置において、
前記音源分離手段は、ＳＡＦＩＡ（sound source Segregation based on estimating incident Angle of each Frequency component of Input signals Acquired by multiple microphones）方式で音源分離を行う電子装置。
【請求項３】
請求項１〜３のいずれか一項に記載の電子装置において、
前記音源分離手段及び前記ノイズ除去手段は、前記駆動機構が駆動しているときに動作する電子装置。
【請求項４】
請求項１又は２に記載の電子装置において、
前記電子装置は携帯通信端末である電子装置。
【請求項５】
光学系と、前記光学系を介して入射した光に基づいて画像データを生成する画像データ生成手段と、前記光学系を駆動する駆動機構とを有する電子装置におけるノイズ除去方法であって、
外部の音声を音声データに変換し、
コンピュータが、前記音声データを音源別に分離して音源別音声データを生成し、
前記コンピュータが、前記音声データから、前記駆動機構を音源とした前記音源別音声データを除いたノイズ除去済音声データを生成するノイズ除去方法。
【請求項６】
コンピュータを、電子装置が生成した音声データのノイズ除去を行う装置として機能させるためのプログラムであって、
前記電子装置は、光学系と、前記光学系を介して入射した光に基づいて画像データを生成する画像データ生成手段と、前記光学系を駆動する駆動機構とを有しており、
コンピュータに、
前記音声データを音源別に分離して音源別音声データを生成する機能と、
前記音声データから、前記駆動機構を音源とした前記音源別音声データを除いたノイズ除去済音声データを生成する機能と、
を持たせるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画の撮像機能を有する電子装置、ノイズ除去方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、動画の撮像機能を有する電子機器の普及が進んでいる。このような電子機器では、光学ズームなどの光学系が搭載されているのが一般的である。
【０００３】
一方、近年は、例えば特許文献１及び２に記載するように、音源分離技術の研究が進められている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２３４２４６号公報
【特許文献２】特開２００９−３０２９８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動画を撮像するためには、画像データを生成して記録する録画機能とともに、音声の録音機能が必要となる。しかし、画像データの生成のための光学系は、一般的にはモータ等の駆動機構を用いて駆動される。従って、録音される音声に、光学系の駆動音が入る可能性があった。
【０００６】
本発明の目的は、動画の撮像機能を有する電子装置において、録音される音声に、光学系の駆動音が入ることを抑制することにある。
【課題を解決するための手段】
【０００７】
本発明によれば、光学系と、
前記光学系を介して入射した光に基づいて画像データを生成する画像データ生成手段と、
前記光学系を駆動する駆動機構と、
外部の音声を音声データに変換する音声データ生成手段と、
前記音声データを音源別に分離して音源別音声データを生成する音源分離手段と、
前記音声データから、前記駆動機構を音源とした前記音源別音声データを除いたノイズ除去済音声データを生成するノイズ除去手段と、
を備える電子装置が提供される。
【０００８】
本発明によれば、光学系と、前記光学系を介して入射した光に基づいて画像データを生成する画像データ生成手段と、前記光学系を駆動する駆動機構とを有する電子装置におけるノイズ除去方法であって、
外部の音声を音声データに変換し、
コンピュータが、前記音声データを音源別に分離して音源別音声データを生成し、
前記コンピュータが、前記音声データから、前記駆動機構を音源とした前記音源別音声データを除いたノイズ除去済音声データを生成するノイズ除去方法が提供される。
【０００９】
本発明によれば、コンピュータを、電子装置が生成した音声データのノイズ除去を行う装置として機能させるためのプログラムであって、
前記電子装置は、光学系と、前記光学系を介して入射した光に基づいて画像データを生成する画像データ生成手段と、前記光学系を駆動する駆動機構とを有しており、
コンピュータに、
前記音声データを音源別に分離して音源別音声データを生成する機能と、
前記音声データから、前記駆動機構を音源とした前記音源別音声データを除いたノイズ除去済音声データを生成する機能と、
を持たせるプログラムが提供される。
【発明の効果】
【００１０】
本発明によれば、動画の撮像機能を有する電子装置において、録音される音声に、光学系の駆動音が入ることを抑制できる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係る電子機器の機能構成を示すブロック図である。
【図２】図１に示した電子機器の動作を示すフローチャートである。
【図３】第２の実施形態に係る電子機器の機能構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００１３】
（第１の実施形態）
図１は、第１の実施形態に係る電子機器の機能構成を示すブロック図である。この電子機器は、光学系２１０、駆動機構２２０、撮像部１１０、音声データ生成部（マイク３１０，３１２及びＡＤ変換部３２０）、音源分離部３３０、及びノイズ除去部３４０を備えている。光学系２１０は、撮像部１１０が生成する画像データのフォーカスを移動させるために使用され、少なくとも一つの光学レンズを有している。この光学レンズを含め、光学系２１０は、駆動機構２２０により駆動される。撮像部１１０は、光学系２１０を介して入射した光に基づいて画像データを生成する。音声データ生成部は、外部の音声を音声データに変換する。音源分離部３３０は、音声データを音源別に分離して音源別音声データを生成する。ノイズ除去部３４０は、駆動機構２２０を音源とした音源別音声データを音声データから除いたノイズ除去済音声データを生成する。図１に示す電子機器は、例えば撮像機能付の携帯通信端末であるが、固定式のテレビ電話システムであってもよい。以下、詳細に説明する。
【００１４】
撮像部１１０は撮像素子を有しており、光学系２１０を介して入射した光を光電変換することにより、画像データを一定の時間間隔で生成する。光学系２１０は駆動機構２２０により駆動される。駆動機構２２０はモータ等の動力源及び動力伝達機構を有している。このため、駆動機構２２０が光学系２１０を駆動している間、駆動機構２２０からノイズ音が発生する。
【００１５】
マイク３１０，３１２は、無指向性のマイクであり、音波をアナログの電気信号に変換する。これらアナログの電気信号は、アンプ（図示せず）によって増幅された後、ＡＤ変換部３２０によって、デジタルデータからなる音声データに変換される。この音声データは、ステレオ方式の音声データである。音源分離部３３０は、ＡＤ変換部３２０で生成した音声データを処理することにより、この音声データを音源別に分離して音源別音声データを生成する。この音源分離処理は、例えば、ＳＡＦＩＡ（sound source Segregation based on estimating incident Angle of each Frequency component of Input signals Acquired by multiple microphones）方式で行われる。ただし、本実施形態で採用できる音源分離処理は、ＳＡＦＩＡ方式には限定されない。
【００１６】
ノイズ除去部３４０は、音源別音声データ別に音源の位置を認識することにより、音源別音声データのうち駆動機構２２０が音源と思われる音源を有する音声データを認識する。そしてノイズ除去部３４０は、駆動機構２２０が音源であると認識した音源別音声データを元の音声データから除去したノイズ除去済音声データを生成する。例えば音源分離処理がＳＡＦＩＡ方式である場合、ノイズ除去部３４０は、相対的に近い音源を有する音源別音声データを、駆動機構２２０を音源とする音源別音声データと認識する。そしてノイズ除去部３４０は、相対的に遠い音源を有する音源別音声データを、ノイズ除去済音声データと認識する。なお、ノイズ除去部３４０は、音源分離前の音声データに対し、駆動機構２２０を音源とする音源別音声データの逆位相の音声データを加算することにより、ノイズ除去済音声データを生成しても良い。
【００１７】
符号化部３５０は、ノイズ除去部３４０が生成したノイズ除去済音声データに対して符号化処理を行う。
【００１８】
そして撮像部１１０が生成した画像データ、及び符号化部３５０が符号化したノイズ除去済音声データは、動画データとしてデータ記憶部１２０に記憶される。
【００１９】
なお、図１に示したＡＤ変換部３２０、音源分離部３３０、ノイズ除去部３４０、及び符号化部３５０の各構成要素は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。これらのうち少なくとも音源分離部３３０、ノイズ除去部３４０、及び符号化部３５０は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶ユニット、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置には様々な変形例がある。
【００２０】
図２は、図１に示した電子装置の動作を示すフローチャートである。ユーザが録画開始の入力を行うと、撮像部１１０は画像データの生成を開始する。これに伴い、マイク３１０，３１２及びＡＤ変換部３２０は動作を開始し、音声データの生成を開始する（ステップＳ１０）。生成した音声データは、逐次音源分離部３３０に出力される。音源分離部３３０では、音源分離処理を逐次行う（ステップＳ２０）。そしてノイズ除去部３４０は、音源別音声データのうち駆動機構２２０が音源と思われる音源を有する音声データを認識する（ステップＳ３０）。そしてノイズ除去部３４０は、駆動機構２２０が音源であると認識した音源別音声データを元の音声データから除去したノイズ除去済音声データを生成する（ステップＳ４０）。静止した音声データは、逐次画像データとともにデータ記憶部１２０に記憶される。
【００２１】
以上、本実施形態によれば、光学系２１０の駆動機構２２０を音源としたノイズを音声データから除去することができる。特に音声分離処理としてＳＡＦＩＡ方式を用いた場合、相対的に近い音源を有する音源別音声データがノイズであることが明らかであるため、容易にノイズを除去したノイズ除去済音声データを得ることができる。また、マイク３１０，３１２が一般の無指向性のマイクであっても、ノイズ除去を行うことができる。
【００２２】
また、駆動機構２２０を音源としたノイズは、比較的高音である場合が多い。ノイズを抑制する方式の一つであるアクティブノイズコントロール方式は、高音のノイズを抑制しにくいという欠点を有する。これに対して本実施形態では、音声分離技術を用いてノイズを除去しているため、駆動機構２２０を音源としたノイズを十分に除去することができる。
【００２３】
（第２の実施形態）
図３は、第２の実施形態に係る電子装置の機能構成を示すブロック図である。本実施形態に係る電子装置は、制御部２３０を有している点を除いて、第１の実施形態に係る電子装置と同様の構成である。制御部２３０は、駆動機構２２０の動作を制御する。またＡＤ変換部３２０は、制御部２３０が駆動機構２２０を駆動していない間は、音源分離部３３０及びノイズ除去部３４０を経由せずに符号化部３５０に音声データを出力する。またＡＤ変換部３２０は、制御部２３０が駆動機構２２０を駆動している間は、第１の実施形態に示した処理を行う。
【００２４】
制御部２３０は、ユーザからの入力に従って駆動機構２２０を制御(マニュアル制御)してもよいし、駆動機構２２０を介して光学系２１０をオートフォーカス制御してもよい。後者の場合、電子装置は、第１の実施形態に示したように、常にノイズ除去処理を行っても良い。
【００２５】
本実施形態によっても、第１の実施形態と同様の効果を得ることができる。
【００２６】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。例えば上記した各実施形態に示した処理と、アクティブノイズコントロールを併用しても良い。
【符号の説明】
【００２７】
１１０ 撮像部
１２０ データ記憶部
２１０ 光学系
２２０ 駆動機構
２３０ 制御部
３１０，３１２ マイク
３２０ ＡＤ変換部
３３０ 音源分離部
３４０ ノイズ除去部
３５０ 符号化部
【図１】
2012173629.tif 000003
【図２】
2012173629.tif 000004
【図３】
2012173629.tif 000005