(57)【要約】【課題】機械音を除去した低雑音の音声信号を取得することが可能な集音装置等を提供する。【解決手段】機械音取得条件判定部１０２は、予め定めた時刻になると機械音の集音を行うための条件を満たしているか否かを判定する。条件を満たしていると判定すると、機械音取得処理部１０３がＡＦ駆動部１７１を一定時間駆動させ、機械音をマイクロホン１５で集音する。集音した機械音を基に、機械音除去フィルタ生成部１０４が機械音除去フィルタを生成し、機械音除去フィルタ記憶部１０５は、生成した機械音除去フィルタを記憶部１２に記憶する。機械音除去処理部１０６は、ＡＦ機能を使用しながら動画撮影する際に、記憶部１２に記憶されている機械音除去フィルタを用いて、マイクロホン１５で集音する音声信号から、機械音を除去する処理を行う。【選択図】図２
2012182755.tif 000002
【特許請求の範囲】
【請求項１】
機械音を発生しながら駆動する駆動部と、
マイクロホンと、
前記駆動部が発生する機械音を集音する状態が、予め定めた集音条件を満たすか否かを判定する集音条件判定部と、
前記集音条件判定部が、前記集音条件を満たしていると判定した場合に、前記駆動部を駆動させ、その時発生する機械音を前記マイクロホンで集音した音声信号を取得する機械音取得部と、
前記機械音取得部が取得した音声信号に基づいて、機械音を除去する機械音除去フィルタを生成する機械音除去フィルタ生成部と、
前記機械音除去フィルタ生成部で生成した機械音除去フィルタを記憶する記憶部と、
前記記憶部に記憶された機械音除去フィルタを用いて、前記マイクロホンの入力音声信号から機械音を除去する機械音除去処理部と、
を有することを特徴とする集音装置。
【請求項２】
前記集音条件判定部は、予め定めた時刻に達した時に、前記集音条件を満たしていると判定する、
ことを特徴とする請求項１に記載の集音装置。
【請求項３】
前記集音条件判定部は、前記マイクロホンで集音した音声信号を予め定めた時間記録し、前記マイクロホンで集音した音声信号の強度が予め定めた雑音レベルを下回っている時に、前記集音条件を満たしていると判定する、
ことを特徴とする請求項１又は２に記載の集音装置。
【請求項４】
前記集音条件判定部は、前記集音装置が静止状態で、かつ、無操作状態である時に、前記集音条件を満たしていると判定する、
ことを特徴とする請求項１乃至３のいずれかに記載の集音装置。
【請求項５】
前記機械音取得部は前記駆動部を駆動させて前記機械音を前記マイクロホンで集音している間に、前記集音装置が移動したことを検知した場合は、予め定めた時間の後、再度前記駆動部を駆動させ、前記機械音を前記マイクロホンで集音した音声信号を再度取得する、
ことを特徴とする請求項１乃至４のいずれかに記載の集音装置。
【請求項６】
前記機械音除去フィルタは、前記機械音取得部が取得した音声信号の周波数依存性を示す機械音スペクトル信号に、予め定めた定数を乗じた雑音スペクトル信号であって、
前記機械音除去処理部は、前記マイクロホンの入力音声信号を、前記入力音声信号の周波数依存性を示す入力スペクトル信号に変換したものから、前記雑音スペクトル信号を減算して算出された出力スペクトル信号を、音声信号に逆変換して出力する、
ことを特徴とする請求項１乃至５のいずれかに記載の集音装置。
【請求項７】
請求項１乃至６のいずれかに記載の集音装置を備える携帯端末であって、
前記機械音取得部は前記駆動部を駆動させて前記機械音を前記マイクロホンで集音している間に、着信またはメール受信またはデータ受信が発生した場合は、予め定めた時間の後、再度前記駆動部を駆動させ、前記機械音を前記マイクロホンで集音した音声信号を再度取得する、
ことを特徴とする携帯端末。
【請求項８】
請求項１乃至６のいずれかに記載の集音装置を備えるデジタルカメラであって、
前記集音条件判定部は、前記デジタルカメラが予め定めた方向を向いている時に、前記集音条件を満たしていると判定する、
ことを特徴とするデジタルカメラ。
【請求項９】
駆動部が発生する機械音を集音する状態が、予め定めた集音条件を満たすか否かを判定する集音条件判定ステップと、
前記集音条件判定ステップが、前記集音条件を満たしていると判定した場合に、前記駆動部を駆動させ、その時発生する機械音をマイクロホンで集音した音声信号を取得する機械音取得ステップと、
前記機械音取得ステップが取得した音声信号に基づいて、機械音を除去する機械音除去フィルタを生成する機械音除去フィルタ生成ステップと、
前記機械音除去フィルタ生成ステップで生成した機械音除去フィルタを記憶する記憶ステップと、
前記記憶ステップで記憶された前記機械音除去フィルタを用いて、前記マイクロホンの入力音声信号から機械音を除去する機械音除去処理ステップと、
を有することを特徴とする集音方法。
【請求項１０】
コンピュータに、
駆動部が発生する機械音を集音する状態が、予め定めた集音条件を満たすか否かを判定する集音条件判定手順と、
前記集音条件判定手順が、前記集音条件を満たしていると判定した場合に、前記駆動部を駆動させ、その時発生する機械音をマイクロホンで集音した音声信号を取得する機械音取得手順と、
前記機械音取得手順が取得した音声信号に基づいて、機械音を除去する機械音除去フィルタを生成する機械音除去フィルタ生成手順と、
前記機械音除去フィルタ生成手順で生成した機械音除去フィルタを記憶する記憶手順と、
前記記憶手順で記憶された前記機械音除去フィルタを用いて、前記マイクロホンの入力音声信号から機械音を除去する機械音除去処理手順と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、集音装置、集音装置を有する携帯端末、デジタルカメラ、集音方法、及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ、携帯電話等での動画撮影時において、被写体を拡大するためのズーム動作や、被写体にピントを合わせるためのオートフォーカス動作等が行われる。この際、カメラのレンズ部ではズーム動作やオートフォーカス動作を行うためにモータを駆動させるため、装置内部ではモータ動作音や振動等による雑音（機械音）が生じる。機械音は、動画撮影時において、装置に備えられたマイクロホンで音声を集音する際に混入されてしまう。
【０００３】
このような問題に対して、特許文献１では予め撮影動作に伴ってモータから発生するモータ動作音強度の周波数依存性を示すモータ動作音スペクトルを記憶しておく。そして、撮影中にモータが駆動された際に、マイクロホンが集音する音声信号に対しフーリエ変換を行い、記憶しているモータ動作音スペクトルを減算し、逆フーリエ変換を行うことで、モータ音を除去した音声を取得する方式が提案されている。
【０００４】
また、特許文献２では、機械音を発生する各種制御の時間や種類を管理し、撮影中機械音を発生している時間帯の音データを取得する。この取得した音データと、予め記憶されている機械音除去フィルタの同一の周波数成分を比較した結果に基づいて機械音除去フィルタを更新する。そして、更新されたフィルタを用いて、マイクロホンが集音する音声信号から機械音を除去する方式が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２７９１８５号公報
【特許文献２】特開２００３−２８４１８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
デジタルカメラや携帯電話等の装置を長い間使用し続けることにより、モータ部分の動作音が変化したり、筺体が変形し振動の仕方が変化する等して、機械音の経年変化が起こることが考えられる。
【０００７】
特許文献１のように、あらかじめ機械音のスペクトルを記憶しておく方式の場合は、定期的に最新の機械音スペクトルを取得しなくてはならない。また、特許文献２の方式では、撮影時の音データに基づいて機械音除去フィルタを更新することは、機械音以外の音も混入しているため必ずしも高精度な機械音除去フィルタが生成されるとは限らない。
【０００８】
また、機械音スペクトルの取得や高精度な機械音除去フィルタを生成するためには、機械音以外の音が発生していない静音な環境下において、機械音を集音しそれを基に機械音スペクトルの保存やフィルタを生成することが望ましい。理想的には、無音響室にて機械音を発生させ、それを集音することが望ましく、この無音響室での集音により純粋な機械音が取得でき、的確な機械音スペクトルの保存、高精度な機械音除去フィルタを生成することができると考えられる。
【０００９】
しかしながら、既にユーザが使用している装置を用いて、定期的に無音響室で機械音を集音することは、ユーザや作業者（サービスマン）等による集音作業を必要とし、現実的でない。
【００１０】
本発明は、上記実情に鑑みてなされたものであり、機械音を除去した低雑音の音声信号を取得することが可能な集音装置、携帯端末、デジタルカメラ、集音方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の第１の観点に係る集音装置は、
機械音を発生しながら駆動する駆動部と、
マイクロホンと、
前記駆動部が発生する機械音を集音する状態が、予め定めた集音条件を満たすか否かを判定する集音条件判定部と、
前記集音条件判定部が、前記集音条件を満たしていると判定した場合に、前記駆動部を駆動させ、その時発生する機械音を前記マイクロホンで集音した音声信号を取得する機械音取得部と、
前記機械音取得部が取得した音声信号に基づいて、機械音を除去する機械音除去フィルタを生成する機械音除去フィルタ生成部と、
前記機械音除去フィルタ生成部で生成した機械音除去フィルタを記憶する記憶部と、
前記記憶部に記憶された機械音除去フィルタを用いて、前記マイクロホンの入力音声信号から機械音を除去する機械音除去処理部と、
を有することを特徴とする。
【００１２】
また、本発明の第２の観点に係る携帯端末は、
前記第１の観点に係る集音装置を備える携帯端末であって、
前記機械音取得部は前記駆動部を駆動させて前記機械音を前記マイクロホンで集音している間に、着信またはメール受信またはデータ受信が発生した場合は、予め定めた時間の後、再度前記駆動部を駆動させ、前記機械音を前記マイクロホンで集音した音声信号を再度取得する、
ことを特徴とする。
【００１３】
また、本発明の第３の観点に係るデジタルカメラは、
前記第１の観点に係る集音装置を備えるデジタルカメラであって、
前記集音条件判定部は、前記デジタルカメラが予め定めた方向を向いている時に、前記集音条件を満たしていると判定する、
ことを特徴とする。
【００１４】
また、本発明の第４の観点に係る集音方法は、
駆動部が発生する機械音を集音する状態が、予め定めた集音条件を満たすか否かを判定する集音条件判定ステップと、
前記集音条件判定ステップが、前記集音条件を満たしていると判定した場合に、前記駆動部を駆動させ、その時発生する機械音をマイクロホンで集音した音声信号を取得する機械音取得ステップと、
前記機械音取得ステップが取得した音声信号に基づいて、機械音を除去する機械音除去フィルタを生成する機械音除去フィルタ生成ステップと、
前記機械音除去フィルタ生成ステップで生成した機械音除去フィルタを記憶する記憶ステップと、
前記記憶ステップで記憶された前記機械音除去フィルタを用いて、前記マイクロホンの入力音声信号から機械音を除去する機械音除去処理ステップと、
を有することを特徴とする。
【００１５】
また、本発明の第５の観点に係るプログラムは、
コンピュータに、
駆動部が発生する機械音を集音する状態が、予め定めた集音条件を満たすか否かを判定する集音条件判定手順と、
前記集音条件判定手順が、前記集音条件を満たしていると判定した場合に、前記駆動部を駆動させ、その時発生する機械音をマイクロホンで集音した音声信号を取得する機械音取得手順と、
前記機械音取得手順が取得した音声信号に基づいて、機械音を除去する機械音除去フィルタを生成する機械音除去フィルタ生成手順と、
前記機械音除去フィルタ生成手順で生成した機械音除去フィルタを記憶する記憶手順と、
前記記憶手順で記憶された前記機械音除去フィルタを用いて、前記マイクロホンの入力音声信号から機械音を除去する機械音除去処理手順と、
を実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、機械音を除去した低雑音の音声信号を取得することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態１に係る携帯端末の内部構成を示すブロック図である。
【図２】本発明の実施形態１に係る携帯端末の機械音除去処理に係る機能部を示す機能ブロック図である。
【図３】本発明の実施形態１に係る機械音除去フィルタ生成・保存処理手順を示すフローチャートである。
【図４】機械音集音時の音環境を説明するための図である。
【図５】本発明の実施形態２に係るデジタルカメラの内部構成を示すブロック図である。
【図６】本発明の実施形態２に係るデジタルカメラの機械音除去処理に係る機能部を示す機能ブロック図である。
【図７】本発明の実施形態２に係る機械音除去フィルタ生成・保存処理手順を示すフローチャートである。
【図８】機械音集音時のデジタルカメラの設置状況を説明するための図である。
【発明を実施するための形態】
【００１８】
（実施形態１）
以下、本発明の実施形態１について図１乃至４を参照して詳細に説明する。
【００１９】
本実施形態１に係る携帯端末１は、電話や電子メールなどの通信機能を有するとともに、静止画及び動画を撮影／録画する機能、撮影と同時に音声を録音する機能等を有する情報端末である。携帯端末１は、図１に示すようにＣＰＵ１０、メモリ１１、記憶部１２、表示部１３、通信部１４、マイクロホン１５、音声処理部１６、撮像部１７、センサ部１８、タイマー１９、操作部２０を備える。
【００２０】
ＣＰＵ（Central Processing Unit）１０は演算装置、制御装置等から構成され、携帯端末１の各構成部を制御すると共に、記憶部１２に記憶されている各種プログラムを実行することにより、データ通信機能、画像撮像機能、集音機能や、本実施形態特有の機械音除去フィルタ生成機能、機械音除去処理機能や、その他の携帯端末１の有する機能を実現する。
【００２１】
メモリ１１は、ワーク領域を有する内部メモリで、ＤＲＡＭ (Direct Random Access Memory) 、ＳＤＲＡＭ (Synchronous DRAM) などから構成されており、携帯端末１の有する各機能により入出力するデータを一時記憶する。
【００２２】
記憶部１２は、例えば、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリから構成され、機械音を取得する際の判定条件や、取得した機械音に基づいて生成した機械音除去フィルタのパターンデータ等を記憶する。これらの記憶されたデータはユーザの操作やＣＰＵ１０の制御により書き換え可能である。
また、記憶部１２は、機械音除去処理機能等の携帯端末１が有する機能を実現するためにＣＰＵ１０が実行する各種プログラムも記憶する。
【００２３】
表示部１３は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro -Luminescence）ディスプレイ等の表示デバイスから構成され、撮像した画像や、図形、文字、記号などの情報表示出力を行う。
通信部１４は、所定の通信方式にて、無線基地局、他の通信端末、情報処理装置とデータの送受信を行う。
【００２４】
音声処理部１６は、マイクロホン１５で集音した音声信号を低雑音増幅、フィルタリング処理、ＡＤ変換するなどして、ＣＰＵ１０で処理可能なデータ信号に変換する。
【００２５】
撮像部１７は、撮像レンズ、ＡＦ（Auto focus）部、シャッタ・絞りなどの露出制御部、撮像素子、撮像素子の駆動及び読み出し回路等から構成される。撮影時には被写体にピントを合わせるようレンズを移動しオートフォーカス動作を行う。そして、撮像レンズによって形成された被写体像を撮像素子によって画像データに変換して出力する。
【００２６】
センサ部１８は、加速度センサ等の各種センサとセンサ出力検出回路から構成され、各種センサが検出した出力信号をＣＰＵ１０に出力する。
【００２７】
タイマー１９は、発振回路と計測回路等から構成され、現在時刻の出力、及びＣＰＵからの開始信号入力時からの時間を計測し、予め定めた時間が経過した時にタイムアップ信号の出力を行う。
【００２８】
操作部２０は、レンズのズーム制御ボタン、シャッタボタン、方向キー・決定キー・ファンクションキー等の各種のキーボタンやダイヤル等から構成され、ユーザからの操作入力を受け付け、受け付けた操作入力に係る信号をＣＰＵ１０に送出する。操作部２０はユーザから、シャッタ操作、ＡＦ操作、画像保存操作や、機械音取得条件等の入力操作等を受け付ける。
【００２９】
次に、以上のように構成された携帯端末１による機械音除去処理機能の動作を、図２乃至図４を参照して説明する。
図２は、ＣＰＵ１０により実現する各機能のうち、機械音除去処理機能に関連する機能部のみを抽出して示した機能ブロック図である。
【００３０】
図２に示すように、携帯端末１のＣＰＵ１０は、携帯端末基幹部１０１と、機械音取得条件判定部１０２と、機械音取得処理部１０３と、機械音除去フィルタ生成部１０４と、機械音除去フィルタ記憶部１０５と、機械音除去処理部１０６と、を含む。
【００３１】
撮像部１７はオートフォーカスのためのレンズ調整を行うＡＦ駆動部１７１を有し、センサ部１８は加速度センサ１８１を備えている。
【００３２】
撮像部１７でＡＦ機能を使用しながら動画撮影すると同時に音声を集音する場合には、ＡＦ駆動部１７１よる機械音がマイクロホン１５で取得する音声信号に混入する。
よって、本実施形態は、定期的に静音環境下で集音した機械音を取得し、それに基づいて機械音除去フィルタを生成、記憶しておく。そして、ＡＦ機能を使用しながら動画撮影する際に、その機械音除去フィルタを用いて、マイクロホン１５で集音する音声信号から、機械音を除去する処理を行う。以下、具体的な処理を説明する。
【００３３】
まず、機械音取得条件判定部１０２は、機械音除去フィルタ生成に用いる機械音の集音を行うための条件を満たしているか否かを判定する。つまり静音環境下にあるか判定する。
機械音取得処理部１０３は、機械音取得条件判定部１０２が機械音を集音するための条件を満たしていると判定した場合に、ＡＦ駆動部１７１を一定時間駆動させ、機械音を集音する。
【００３４】
機械音除去フィルタ生成部１０４は、機械音取得処理部１０３が集音した機械音を基に、機械音除去フィルタを生成する。そして、機械音除去フィルタ記憶部１０５が、生成した機械音除去フィルタを記憶部１２に記憶する。
【００３５】
機械音除去処理部１０６は、ＡＦ機能を使用しながら動画撮影する際に、記憶部１２に記憶されている機械音除去フィルタを用いて、マイクロホン１５で集音する音声信号から機械音を除去する処理を行い、携帯端末基幹部１０１に出力する。
【００３６】
以下、機械音除去フィルタ生成・保存処理について、図３のフローチャートに沿って詳細に説明する。
【００３７】
機械音取得条件判定部１０２で判定する条件は、設計者又はユーザが任意に設定できるが、本実施形態では、以下の５つの条件を設定した場合について説明する。
（１）時刻が午前２時になったこと。
（２）携帯端末１を操作していないこと。
（３）携帯端末１が静止状態であること
（４）ＡＦ駆動部１７１を駆動する前及び駆動した後に１分間集音して取得した音、つまり、ＡＦ駆動部１７１を駆動していない時の騒音のマイクロホン入力レベルの平均値が３０ｄＢ以下であり、かつそのときの音圧変動が±３ｄＢ以下であること。
（５）ＡＦ駆動部１７１を１０秒間駆動しつつ集音した際に外乱がないこと。
【００３８】
機械音取得条件判定部１０２は、タイマー１９から午前２時になったことを示す信号が入力されると、図３のフローチャートを開始する。
【００３９】
まず、機械音取得条件判定部１０２は、携帯端末１が「通話中や操作中ではない状態」で、かつ、「端末が静止状態」であることの両条件を満たしているかどうかの判定を行う（ステップＳ１０１）。ここで、端末が静止状態であることは、例えば、加速度センサ１８１から予測する端末の移動量が閾値以下であることから判定できる。
【００４０】
ステップＳ１０１の条件を満たしていない場合（ステップＳ１０１：Ｎｏ）は、一定時間後（本実施形態では１時間後とする）にフローチャートの最初から処理を再実行する（ステップＳ１１０）。
【００４１】
ステップＳ１０１の条件を満たしている場合（ステップ１０１：Ｙｅｓ）は、マイクロホン１５による集音を１分間行う（ステップＳ１０２）。集音した期間における、集音した音声信号の平均騒音レベルを算出し、この値が３０ｄＢを下回っているかどうかを判別し、さらに、集音期間の１秒区間毎の騒音レベルが全て上述した平均騒音レベルの±３ｄＢ以下に収まっているかどうかも判別し、両条件が満たされているかどうかを判定する（ステップＳ１０３）。
【００４２】
ステップＳ１０３の処理の具体例を図４（ａ）〜（ｃ）を用いて説明する。
まず、図４（ａ）は本条件が成立する場合の入力信号の例であり、集音期間における平均の騒音レベルが２７ｄＢであり、かつその変動は±３ｄＢ以下に収まっている。一方、図４（ｂ）は平均の騒音レベルが６０ｄＢであり、本条件は成立しない。また図４（ｃ）は平均の騒音レベルが３０ｄＢを下回っているが、区間毎の変動が±３ｄＢを上回っているため、条件は成立しない。
【００４３】
この条件判定において条件が成立しない場合（ステップＳ１０３：Ｎｏ）は、１時間後にフローチャートの最初から処理を再実行する（ステップＳ１１０）。一方、条件が成立している場合（ステップＳ１０３：Ｙｅｓ）は、ＡＦ駆動部１７１の駆動を開始する（ステップＳ１０４）。ＡＦ駆動部１７１を１０秒間駆動し、その間、マイクロホン１５による集音を行う（ステップＳ１０５）。
【００４４】
集音中において、外乱が発生したかどうかの判定を行う（ステップＳ１０６）。外乱とは具体的には、着信やメール受信があった場合や、加速度センサ１８１の情報に変化があった場合を指す。外乱が発生した場合（ステップＳ１０６：Ｎｏ）、その時点で集音を中止して１時間後にフローチャートの最初から処理を再実行する（ステップＳ１１０）。
【００４５】
一方、集音中に外乱が発生しなかった場合（ステップＳ１０６：Ｙｅｓ）、マイクロホン１５での集音をさらに１分間行い（ステップＳ１０７）、ステップＳ１０３と同内容の判定を行う（ステップＳ１０８）。
この条件判定において条件が満たされていない場合（ステップＳ１０８：Ｎｏ）は、１時間後にフローチャートの最初から処理を再実行し（ステップＳ１１０）、条件が満たされている場合（ステップＳ１０８：Ｙｅｓ）は、ステップＳ１０７で集音した音声データを基に、機械音除去フィルタ生成部１０４が機械音除去フィルタの生成を行う。そして、機械音除去フィルタ記憶部１０５が、生成した機械音除去フィルタを記憶部１２に保存する（ステップＳ１０９）。
【００４６】
ここで、ステップＳ１０９で生成・保存した機械音除去フィルタは、例えば、マイクロホン１５に入力される機械音の信号強度をフーリエ変換して得られる周波数依存性を示すスペクトル信号に、予め定めた乗数を乗じた雑音スペクトル信号である。これは、機械音に起因する雑音強度の周波数依存性を示すものである。
【００４７】
なお、ステップＳ１０１、Ｓ１０３、Ｓ１０６、Ｓ１０８で条件を満たさなかった場合に、１時間後にフローチャートの最初から処理を再実行するとしたが（ステップ１１０）、再実行する時間の期限をあらかじめ設定しておく（本実施例では午前５時までとする）。その期限を越えた場合は、処理を終了する。
【００４８】
機械音除去処理部１０６は、動画撮影時に、ＡＦ機能を使用したことを認識すると、生成した機械音除去フィルタを用いて、マイクロホン１５に入力された音声信号から機械音を除去した音声信号を生成し出力する。除去方法は、例えば、マイクロホン１５に入力された音声信号をフーリエ変換した入力スペクトル信号から、機械音除去フィルタとして保存している雑音スペクトル信号を減算処理し、逆フーリエ変換を行う方法等がある。
【００４９】
以上説明したように、本実施形態においては、携帯端末１は、静音環境下、無操作状態、静止状態のときにＡＦ駆動部１７１を駆動させて取得した機械音に基づいて、機械音除去フィルタを生成し、その生成したフィルタを用いることにより、動画撮影時のマイクロホン１５の入力信号から、機械音を除去した低雑音の音声信号を取得することができる。
【００５０】
（実施形態２）
以下、本発明の実施形態２について図５乃至８を参照して詳細に説明する。
【００５１】
本実施形態２に係るデジタルカメラ３は、静止画及び動画を撮影／録画する機能、撮影と同時に音声を録音する機能等を有する。デジタルカメラ３は、図５、６に示すように、実施形態１の携帯端末と共通の構成を有するため、共通する構成部については、同じ番号を付し、説明を省略する。
【００５２】
デジタルカメラ３のＣＰＵ３０は、静止画及び動画を撮影／録画する機能、撮影と同時に音声を録音する等のデジタルカメラとしての基本的な動作を行うデジタルカメラ基幹部３０１を有している。また、撮像部３１は、実施形態１における携帯端末１の撮像部１７の構成に加えて、ズームレンズをさらに有する。よって、撮像部３１でＡＦ機能及びズーム機能を使用しながら動画撮影するのと同時に音声を録音する場合には、ＡＦ駆動部３１１及びレンズ駆動部３１２よる機械音が、マイクロホン１５が集音する音声信号に混入する。
【００５３】
これに対し、デジタルカメラ３のＣＰＵ３０は、定期的に静音環境下で集音した機械音を取得し、それに基づいて機械音除去フィルタを生成、記憶しておく。そして、ＡＦ機能及びズーム機能を使用しながら動画撮影する際に、その機械音除去フィルタを用いて、マイクロホン１５で集音する音声信号から、機械音を除去する処理を行う。
【００５４】
以下、ＣＰＵ３０が実行する機械音除去フィルタ生成・保存処理について、図７のフローチャートに沿って詳細に説明する。
【００５５】
機械音取得条件判定部１０２で判定する条件は、設計者又はユーザが任意に設定できるが、本実施形態では、以下の５つの条件を設定した場合について説明する。
（１）時刻が午前２時になったこと。
（２）デジタルカメラ３を操作していないこと。
（３）デジタルカメラ３のレンズ側が地面を向いておらず、かつ静止状態であること
（４）ＡＦ駆動部３１１及びレンズ駆動部３１２を駆動する前及び駆動した後に１分間集音して取得した音、つまり、両駆動部を駆動していない時の騒音のマイクロホン入力レベルの平均値が３０ｄＢ以下であり、かつそのときの音圧変動が±３ｄＢ以下であること。
（５）ＡＦ駆動部３１１及びレンズ駆動部３１２をそれぞれ１０秒間ずつ駆動しつつ集音した際に外乱がないこと。
【００５６】
機械音取得条件判定部１０２は、タイマー１９から午前２時になったことを示す信号が入力されると、図７のフローチャートを開始する。
【００５７】
まず、機械音取得条件判定部１０２は、デジタルカメラ３が写真（静止画）撮影、動画撮影、データ閲覧等の操作中ではない状態であるかどうかの判定を行う（ステップＳ３０１）。Ｓ３０１の条件を満たしていない場合（ステップＳ３０１：Ｎｏ）は、１時間後にフローチャートの最初から処理を再実行する（ステップＳ３１４）。
【００５８】
無操作状態である場合（ステップＳ３０１：Ｙｅｓ）、音声処理部１６と加速度センサ１８１の電源を入れる（ステップＳ３０２）。次に、「デジタルカメラ３のレンズ側が地面の方向を向いていない」かつ「静止状態である」の両条件を満たしているかどうかの判定を行う（ステップＳ３０３）。
【００５９】
ここで、デジタルカメラ３のレンズがない側面が地面の方向を向いているか否かは、加速度センサ１８１が検出する極性及び数値に基づいて、重力方向がレンズ面に向かっているか否かで判定する。また、静止状態であるか否かは、例えば、加速度センサ１８１の検出量の変化から予測する端末の移動量が閾値以下であることから判定できる。
【００６０】
図８（ａ）と（ｂ）を用いて加速度センサの情報を用いてデジタルカメラ３の向きを判定する方法を説明する。
まず、加速度センサ１８１の正極の方向は、デジタルカメラ３の撮像部３１がある方の面から、撮像部３１がない方の面に向かう方向（図８の実線矢印の方向）に設定しておく。
【００６１】
図８（ａ）は、地面に水平な床３２の上にデジタルカメラ３が撮像部３１を上に向けた状態で置かれている様子である。この時加速度センサ１８１が示す正極の方向３３は重力方向（図８の破線矢印の方向）と同じ方向を示すため、加速度センサ１８１の検出値は正の値を示すことになる。この検出値の極性からレンズ面は地面方向を向いていないと判定できる。
【００６２】
一方、図６（ｂ）は撮像部３１を地面に水平な床３２に接して置かれている様子である。この時加速度センサ１８１が示す正極の方向３３は重力方向と逆の方向を示すため、加速度センサ１８１の検出値は負の値を示すことになる。この検出値の極性からレンズ面は地面方向を向いていると判定できる。
【００６３】
この加速度センサ１８１の検出値の極性に基づいて判定したデジタルカメラ３の向きがＳ３０３の条件を満たしていない場合は、センサ類の電源を切り（ステップＳ３１３）、１時間後にフローチャートの最初から処理を再実行する（ステップＳ３１４）。
【００６４】
Ｓ３０３の条件が成立している場合（ステップＳ３０３：Ｙｅｓ）は、マイクロホン１５による集音を１分間行う（ステップＳ３０４）。集音した期間における、集音した音声信号の平均騒音レベルを算出し、この値が３０ｄＢを下回っているかどうかを判別し、さらに、集音期間の１秒区間毎の騒音レベルが全て平均騒音レベルの±３ｄＢ以下に収まっているかどうかも判別し、両条件が満たされているかどうかを判定する（ステップＳ３０５）。
【００６５】
この条件判定において条件が成立しない場合（ステップＳ３０５：Ｎｏ）は、ステップＳ３１３に進み、１時間後にフローチャートの最初から処理を再実行する（ステップＳ３１４）。一方、条件が成立している場合（ステップＳ３０５：Ｙｅｓ）は、ＡＦ駆動部３１１とレンズ駆動部３１２の駆動を開始する（ステップＳ３０６）。これらをそれぞれ１０秒間駆動し、その間、マイクロホン１５による集音を行う（ステップＳ３０７）。
【００６６】
集音中において、外乱が発生したかどうかの判定を行う（ステップＳ３０８）。ここでの外乱とは具体的には、加速度センサ１８１の情報に変化がある場合等をさす。外乱が発生した場合（ステップＳ３０８：Ｎｏ）は、その時点で集音を中止してＳ３１３に進み、１時間後にフローチャートの最初から処理を再実行する（ステップＳ３１４）。一方、外乱が発生しなかった場合（ステップＳ３０８：Ｙｅｓ）は、マイクロホン１５での集音をさらに１分間行う（ステップＳ３０９）。Ｓ３０５と同内容の判定を行う（ステップＳ３１０）。
【００６７】
この条件判定において条件が満たされていない場合（ステップＳ３１０：Ｎｏ）は、Ｓ３１３に進み、１時間後にフローチャートの最初から処理を再実行する（ステップＳ３１４）。一方、条件が満たされている場合（ステップＳ３１０：Ｙｅｓ）は、ステップＳ３０７で集音した音声データを基に、機械音除去フィルタ生成部１０７が機械音除去フィルタの生成を行い、機械音除去フィルタ記憶部１０５が、機械音除去フィルタを記憶部１２に保存する（ステップＳ３１１）。
その後、センサ類の電源を切り（ステップＳ３１２）、処理を終了する。
【００６８】
ここで、Ｓ３１１で生成・保存した機械音除去フィルタは、例えば、マイクロホン１５に入力される機械音の信号強度をフーリエ変換して得られる周波数依存性を示すスペクトル信号に、予め定めた乗数を乗じた雑音スペクトル信号である。これは、機械音に起因する雑音強度の周波数依存性を示すものである。
【００６９】
なお、ステップＳ３０１、Ｓ３０３、Ｓ３０５、Ｓ３０８、Ｓ３１０で条件を満たさなかった場合に、１時間後に図７のフローチャートの最初から処理を再実行するとしたが、再実行する時間の期限をあらかじめ設定しておく（本実施例では午前５時までとする）。その期限を越えた場合は、処理を終了する。
【００７０】
機械音除去処理部１０６は、動画撮影時に、ＡＦ機能、又はズーム機能を使用したことを認識すると、生成した機械音除去フィルタを用いて、マイクロホン１５に入力された音声信号から機械音を除去した音声信号を生成し出力する。除去方法は、例えば、マイクロホン１５に入力された音声信号をフーリエ変換した入力スペクトル信号から、機械音除去フィルタとして保存している雑音スペクトル信号を減算処理し、逆フーリエ変換を行う方法等がある。
【００７１】
以上説明したように、本実施形態においては、デジタルカメラ３は、静音環境下、無操作状態、静止状態で、且つ、撮像部が地面を向いていないときにＡＦ駆動部３１１及びレンズ駆動部３１２を駆動させて取得した機械音に基づいて、機械音除去フィルタを生成する。この時、ズームレンズを駆動させることによりレンズが地面に接触し、レンズに傷がつくのを回避することができる。また、生成した機械音除去フィルタを用いて、動画撮影時のマイクロホン１５の入力信号から、機械音を除去した低雑音の音声信号を取得することができる。
【００７２】
このように本発明は、予め定めた時刻に静音環境下、無操作状態、静止状態であるときに、駆動部を駆動させて集音した機械音に基づいて機械音除去フィルタを生成して保存することとした。そして、生成した機械音除去フィルタを用いて、動画撮影と同時に音声を集音する際に、マイクロホン１５の入力信号から機械音を除去した音声信号を取得することとした。
これによりユーザやサービスマン等に特別な作業を要することなく、適切な環境で集音した機械音の音声信号に基づいて、動画撮影時に集音した音声信号から機械音を除去した低雑音の音声信号を取得することが可能となる。
【００７３】
なお、本発明は、上記実施の形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。
【００７４】
例えば、本実施形態では、ＡＦ駆動部１７１、３１１などを駆動させて集音した音声信号を基に、機械音除去フィルタを生成し保存するとしたが、音声信号をフーリエ変換した周波数依存性を示す機械音スペクトルそのものを保存しておき、動画撮影時に集音した音声信号をフーリエ変換した入力スペクトルから機械音スペクトルを減算したものを、逆フーリエ変換して音声信号を取得するとしてもよい。このようにすることで、ＣＰＵの処理を簡易化することができる。
【００７５】
また、機械音を集音するための条件項目、集音時間、集音した音声信号の騒音レベル、待機時間等は、任意に設定可能であり、ユーザが任意に変更可能なように構成しても良い。
【００７６】
また、予め定めた時刻（本実施形態では午前２時）に携帯端末１の電源が切れている場合には、自動的に電源を入れるような構成としても良いし、その日のスケジュールをスキップする構成としても良い。
【００７７】
また、本実施形態おいて機械音を集音している途中に外乱が発生した場合は、１時間後に本動作をやり直す構成としたが、環境音集音時、機械音集音時には、着信音の発生及びバイブレータ動作を行わないようにする構成としても良い。
【００７８】
また、本実施形態では、各条件を全て満たした場合に、集音した機械音から機械音除去用フィルタを生成するとしたが、各条件の成立／不成立に関わらず、集音した機械音から機械音除去フィルタを生成し（これを仮フィルタとする）、仮フィルタを使用した場合に、一定の機械音除去効果が見られる場合は、この仮フィルタを機械音除去フィルタ記憶部に保存するような構成としても良い。
【００７９】
また、本動作は携帯端末１のバッテリー残量が一定量以下の場合は、その日におけるスケジュールはスキップされ、次の日にバッテリー残量が一定量以上である場合に本動作を開始する構成としても良い。
【００８０】
また、上記実施形態のＣＰＵが実行したプログラムを、既存の携帯端末、デジタルカメラに適用することで、当該携帯端末、デジタルカメラを本発明に係る携帯端末、デジタルカメラとして機能させることも可能である。
【００８１】
このようなプログラムの配布方法は任意であり、例えば、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical Disk）、メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、携帯電話網やインターネット等の通信ネットワークを介して配布してもよい。
【００８２】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００８３】
（付記１）
機械音を発生しながら駆動する駆動部と、
マイクロホンと、
前記駆動部が発生する機械音を集音する状態が、予め定めた集音条件を満たすか否かを判定する集音条件判定部と、
前記集音条件判定部が、前記集音条件を満たしていると判定した場合に、前記駆動部を駆動させ、その時発生する機械音を前記マイクロホンで集音した音声信号を取得する機械音取得部と、
前記機械音取得部が取得した音声信号に基づいて、機械音を除去する機械音除去フィルタを生成する機械音除去フィルタ生成部と、
前記機械音除去フィルタ生成部で生成した機械音除去フィルタを記憶する記憶部と、
前記記憶部に記憶された機械音除去フィルタを用いて、前記マイクロホンの入力音声信号から機械音を除去する機械音除去処理部と、
を有することを特徴とする集音装置。
【００８４】
（付記２）
前記集音条件判定部は、予め定めた時刻に達した時に、前記集音条件を満たしていると判定する、
ことを特徴とする付記１に記載の集音装置。
【００８５】
（付記３）
前記集音条件判定部は、前記マイクロホンで集音した音声信号を予め定めた時間記録し、前記マイクロホンで集音した音声信号の強度が予め定めた雑音レベルを下回っている時に、前記集音条件を満たしていると判定する、
ことを特徴とする付記１又は２に記載の集音装置。
【００８６】
（付記４）
前記集音条件判定部は、前記集音装置が静止状態で、かつ、無操作状態である時に、前記集音条件を満たしていると判定する、
ことを特徴とする付記１乃至３のいずれかに記載の集音装置。
【００８７】
（付記５）
前記機械音取得部は前記駆動部を駆動させて前記機械音を前記マイクロホンで集音している間に、前記集音装置が移動したことを検知した場合は、予め定めた時間の後、再度前記駆動部を駆動させ、前記機械音を前記マイクロホンで集音した音声信号を再度取得する、
ことを特徴とする付記１乃至４のいずれかに記載の集音装置。
【００８８】
（付記６）
前記機械音除去フィルタは、前記機械音取得部が取得した音声信号の周波数依存性を示す機械音スペクトル信号に、予め定めた定数を乗じた雑音スペクトル信号であって、
前記機械音除去処理部は、前記マイクロホンの入力音声信号を、前記入力音声信号の周波数依存性を示す入力スペクトル信号に変換したものから、前記雑音スペクトル信号を減算して算出された出力スペクトル信号を、音声信号に逆変換して出力する、
ことを特徴とする付記１乃至５のいずれかに記載の集音装置。
【００８９】
（付記７）
付記１乃至６のいずれかに記載の集音装置を備える携帯端末であって、
前記機械音取得部は前記駆動部を駆動させて前記機械音を前記マイクロホンで集音している間に、着信またはメール受信またはデータ受信が発生した場合は、予め定めた時間の後、再度前記駆動部を駆動させ、前記機械音を前記マイクロホンで集音した音声信号を再度取得する、
ことを特徴とする携帯端末。
【００９０】
（付記８）
付記１乃至６のいずれかに記載の集音装置を備えるデジタルカメラであって、
前記集音条件判定部は、前記デジタルカメラが予め定めた方向を向いている時に、前記集音条件を満たしていると判定する、
ことを特徴とするデジタルカメラ。
【００９１】
（付記９）
駆動部が発生する機械音を集音する状態が、予め定めた集音条件を満たすか否かを判定する集音条件判定ステップと、
前記集音条件判定ステップが、前記集音条件を満たしていると判定した場合に、前記駆動部を駆動させ、その時発生する機械音をマイクロホンで集音した音声信号を取得する機械音取得ステップと、
前記機械音取得ステップが取得した音声信号に基づいて、機械音を除去する機械音除去フィルタを生成する機械音除去フィルタ生成ステップと、
前記機械音除去フィルタ生成ステップで生成した機械音除去フィルタを記憶する記憶ステップと、
前記記憶ステップで記憶された前記機械音除去フィルタを用いて、前記マイクロホンの入力音声信号から機械音を除去する機械音除去処理ステップと、
を有することを特徴とする集音方法。
【００９２】
（付記１０）
コンピュータに、
駆動部が発生する機械音を集音する状態が、予め定めた集音条件を満たすか否かを判定する集音条件判定手順と、
前記集音条件判定手順が、前記集音条件を満たしていると判定した場合に、前記駆動部を駆動させ、その時発生する機械音をマイクロホンで集音した音声信号を取得する機械音取得手順と、
前記機械音取得手順が取得した音声信号に基づいて、機械音を除去する機械音除去フィルタを生成する機械音除去フィルタ生成手順と、
前記機械音除去フィルタ生成手順で生成した機械音除去フィルタを記憶する記憶手順と、
前記記憶手順で記憶された前記機械音除去フィルタを用いて、前記マイクロホンの入力音声信号から機械音を除去する機械音除去処理手順と、
を実行させるためのプログラム。
【符号の説明】
【００９３】
１…携帯端末
１０…ＣＰＵ
１１…メモリ
１２…記憶部
１３…表示部
１４…通信部
１５…マイクロホン
１６…音声処理部
１７…撮像部
１８…センサ部
１９…タイマー
２０…操作部
１０１…携帯端末基幹部
１０２…機械音取得条件判定部
１０３…機械音取得処理部
１０４…機械音除去フィルタ生成部
１０５…機械音除去フィルタ記憶部
１０６…機械音除去処理部
１７１…ＡＦ駆動部
１８１…加速度センサ
３…デジタルカメラ
３０…ＣＰＵ
３１…撮像部
３０１…デジタルカメラ基幹部
３１１…ＡＦ駆動部
３１２…レンズ駆動部
３２…水平床
３３…加速度センサの正極の方向
【図１】
2012182755.tif 000003
【図２】
2012182755.tif 000004
【図３】
2012182755.tif 000005
【図４】
2012182755.tif 000006
【図５】
2012182755.tif 000007
【図６】
2012182755.tif 000008
【図７】
2012182755.tif 000009
【図８】
2012182755.tif 000010