(57)【要約】【課題】異なる特性のマイクを用いて、種々の音源から発せられた混合音声を分離して所望の割合で再混合する。【解決手段】音声処理装置１０は、第１の入力装置から入力される第１の入力音声の特性と、第１の入力音声と特性の異なる第２の入力装置から入力される第２の入力音声の特性の相違を補正する入力補正部１０４と、入力補正部により補正された第１の入力音声と第２の入力音声とを複数の音声に分離する音声分離部１１２と、音声分離部により分離された複数の音声の音声種別を推定する音声種別推定部１２２と、音声種別推定部により推定された音声種別に応じて各音声の混合比を算出する混合比算出部１２０と、混合比算出部により算出された混合比で音声分離部により分離された複数の音声を混合する音声混合部１２４と、を備える。【選択図】図１
2010112996.tif 000002
【特許請求の範囲】
【請求項１】
第１の入力装置から入力される第１の入力音声の特性と、前記第１の入力音声と特性の異なる第２の入力装置から入力される第２の入力音声の特性の相違を補正する入力補正部と、
前記入力補正部により補正された前記第１の入力音声と前記第２の入力音声とを複数の音声に分離する音声分離部と、
前記音声分離部により分離された複数の音声の音声種別を推定する音声種別推定部と、
前記音声種別推定部により推定された音声種別に応じて各音声の混合比を算出する混合比算出部と、
前記混合比算出部により算出された混合比で前記音声分離部により分離された前記複数の音声を混合する音声混合部と、
を備える、音声処理装置。
【請求項２】
前記第１の入力装置は通話マイクであり、前記第２の入力装置は撮像マイクである、請求項１に記載の音声処理装置。
【請求項３】
前記入力補正部は、前記通話マイクおよび／または前記撮像マイクの特性が不十分な帯域にフラグを設定し、
前記音声分離部は、前記入力補正部によりフラグが設定された帯域の音声を分離しない、請求項２に記載の音声処理装置。
【請求項４】
前記入力補正部は、前記第１の入力音声および／または前記第２の入力音声の周波数特性および／またはダイナミックレンジを補正する、請求項１〜３のいずれかに記載の音声処理装置。
【請求項５】
前記入力補正部は、前記第１の入力音声および／または前記第２の入力音声のサンプリングレート変換を行う、請求項１〜４のいずれかに記載の音声処理装置。
【請求項６】
前記入力補正部は、前記第１の入力音声と前記第２の入力音声とのＡ／Ｄ変換による遅延の相違を補正する、請求項１〜５のいずれかに記載の音声処理装置。
【請求項７】
前記音声分離部は、ブロック単位で前記入力音声を複数の音声に分離し、
前記音声分離部により分離された音声が複数のブロック間で同一か否かを判断する同一性判断部と、
前記音声分離部により分離された音声をブロック単位で記録する記録部と、
を備える、請求項１〜６のいずれかに記載の音声処理装置。
【請求項８】
前記音声分離部は、音声の統計的な独立性と空間伝達特性の相違を用いて、前記入力音声を複数の音声に分離する、請求項１〜７のいずれかに記載の音声処理装置。
【請求項９】
前記音声分離部は、音源の時間周波数成分間の重なりの少なさを用いて特定音源から発せられた音声とそれ以外の音声とを分離する、請求項１〜８のいずれかに記載の音声処理装置。
【請求項１０】
前記音声種別推定部は、前記入力音声の離散時間における振幅情報の分布、方向、音量、ゼロ交差数等を用いて、前記入力音声が定常音声か非定常音声かを推定する、請求項１〜９のいずれかに記載の音声処理装置。
【請求項１１】
前記音声種別推定部は、前記非定常音声であると推定された音声がノイズ音声か人の発した音声かを推定する、請求項１０に記載の音声処理装置。
【請求項１２】
前記混合比算出部は、前記音声種別推定部により、定常音声であると推定された音声の音量が大きく変化しない混合比を算出する、請求項１０に記載の音声処理装置。
【請求項１３】
前記混合比算出部は、前記音声種別推定部によりノイズ音声であると推定された音声の音量を低減し、人の発した音声であると推定された音声の音量を低減しない混合比を算出する、請求項１１に記載の音声処理装置。
【請求項１４】
第１の入力装置から入力される第１の入力音声の特性と、前記第１の入力音声と特性の異なる第２の入力装置から入力される第２の入力音声の特性の相違を補正するステップと、
前記補正された前記第１の入力音声と前記第２の入力音声とを複数の音声に分離するステップと、
前記分離された複数の音声の音声種別を推定するステップと、
前記推定された音声種別に応じて各音声の混合比を算出するステップと、
前記算出された混合比で前記分離された前記複数の音声を混合するステップと、
を含む、音声処理方法。
【請求項１５】
コンピュータを、
第１の入力装置から入力される第１の入力音声の特性と、前記第１の入力音声と特性の異なる第２の入力装置から入力される第２の入力音声の特性の相違を補正する入力補正部と、
前記入力補正部により補正された前記第１の入力音声と前記第２の入力音声とを複数の音声に分離する音声分離部と、
前記音声分離部により分離された複数の音声の音声種別を推定する音声種別推定部と、
前記音声種別推定部により推定された音声種別に応じて各音声の混合比を算出する混合比算出部と、
前記混合比算出部により算出された混合比で前記音声分離部により分離された前記複数の音声を混合する音声混合部と、
を備える、音声処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理装置、音声処理方法およびプログラムに関し、特に、通話マイクを撮像マイクに流用して音声を調整する音声処理装置、音声処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、携帯電話等の通信装置に撮像アプリケーション機能が備わることが多くなってきている。通信装置に撮像機能が備えられている場合には、通話用のマイクと撮像用のマイクとが通信装置に備えられることとなる。これらのマイクは、通話時には通話用のマイクが用いられ、撮像時には撮像用のマイクが各々独立して用いられる。
【０００３】
しかし、撮像時に、撮像用のマイクだけでなく通話用のマイクを流用すれば、撮像音声を高音質化することが可能となる。例えば、撮像マイクがモノラルの場合には、新たにマイク間の空間伝達特性を利用した音源分離などの高機能化を図ることが可能となる。また、撮像マイクがステレオの場合もさらなる音源分離により、より正確に音源方向を判別等して高機能化を図ることができる。
【０００４】
例えば、複数の音源から発せられた音声を分離して、通話音声のみを強調する方法が考えられる。音声を強調する方法として、複数のパートからなる音楽信号について、各パートに分離して重要なパートを強調し、分離された音声を再混合する方法が挙げられる（例えば、特許文献１）。
【０００５】
【特許文献１】特開２００２−２３６４９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１は、音楽信号を対象としており、撮像音声を対象とする技術ではない。また、通話マイクの特性は、撮像マイクの特性と大きく異なることが多く、各マイクの配置が必ずしも通話音声の高音質化に最適なものとなっていないという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、異なる特性のマイクを用いて、種々の音源から発せられた混合音声を分離して所望の割合で再混合することが可能な、新規かつ改良された音声処理装置、音声処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、第１の入力装置から入力される第１の入力音声の特性と、第１の入力音声と特性の異なる第２の入力装置から入力される第２の入力音声の特性の相違を補正する入力補正部と、入力補正部により補正された第１の入力音声と第２の入力音声とを複数の音声に分離する音声分離部と、音声分離部により分離された複数の音声の音声種別を推定する音声種別推定部と、音声種別推定部により推定された音声種別に応じて各音声の混合比を算出する混合比算出部と、混合比算出部により算出された混合比で音声分離部により分離された複数の音声を混合する音声混合部と、を備える、音声処理装置が提供される。
【０００８】
かかる構成によれば、音声処理装置の第１の入力装置から入力される第１の入力音声の特性と、第２の入力装置から入力される第２の入力音声の特性の相違を補正する。入力補正された第１の入力音声と第２の入力音声は、複数の音源から発生された音声に分離され、分離された複数の音声種別が推定される。そして、推定された音声種別に応じて各音声の混合比が算出され、該混合比で分離された各音声が再混合される。そして、再混合された混合音声を用いて、特性補正がなされた第１の入力音声から通話音声が抽出される。
【０００９】
これにより、第１の装置を第２の装置に流用し、種々の音源から発せられた混合音声を分離して所望の割合で再混合することができる。また、撮像装置を備える音声処理装置において、撮像時に、撮像マイクだけでなく通話マイクを追加的に利用して、種々の状況で録音された音声を、ユーザによる音量操作なしに連続的に快適に聴くことが可能となる。
【００１０】
また、第１の入力装置は通話マイクであり、第２の入力装置は撮像マイクであってもよい。
【００１１】
また、入力補正部は、通話マイクおよび／または撮像マイクの特性が不十分な帯域にフラグを設定し、音声分離部は、入力補正部によりフラグが設定された帯域の音声を分離しないようにしてもよい。
【００１２】
入力補正部は、第１の入力音声および／または第２の入力音声の周波数特性および／またはダイナミックレンジを補正するようにしてもよい。
【００１３】
また、入力補正部は、第１の入力音声および／または第２の入力音声のサンプリングレート変換を行ってもよい。
【００１４】
また、入力補正部は、第１の入力音声と第２の入力音声とのＡ／Ｄ変換による遅延の相違を補正してもよい。
【００１５】
また、音声分離部は、ブロック単位で入力音声を複数の音声に分離し、音声分離部により分離された音声が複数のブロック間で同一か否かを判断する同一性判断部と、音声分離部により分離された音声をブロック単位で記録する記録部と、を備えてもよい。
【００１６】
また、音声分離部は、音声の統計的な独立性と空間伝達特性の相違を用いて、入力音声を複数の音声に分離してもよい。
【００１７】
音声分離部は、音源の時間周波数成分間の重なりの少なさを用いて特定音源から発せられた音声とそれ以外の音声とを分離してもよい。
【００１８】
音声種別推定部は、入力音声の離散時間における振幅情報の分布、方向、音量、ゼロ交差数等を用いて、入力音声が定常音声か非定常音声かを推定するようにしてもよい。
【００１９】
また、音声種別推定部は、非定常音声であると推定された音声がノイズ音声か人の発した音声かを推定してもよい。
【００２０】
混合比算出部は、音声種別推定部により、定常音声であると推定された音声の音量が大きく変化しない混合比を算出してもよい。
【００２１】
混合比算出部は、音声種別推定部によりノイズ音声であると推定された音声の音量を低減し、人の発した音声であると推定された音声の音量を低減しない混合比を算出してもよい。
【００２２】
また、上記課題を解決するために、本発明の別の観点によれば、第１の入力装置から入力される第１の入力音声の特性と、第１の入力音声と特性の異なる第２の入力装置から入力される第２の入力音声の特性の相違を補正するステップと、補正された第１の入力音声と第２の入力音声とを複数の音声に分離するステップと、分離された複数の音声の音声種別を推定するステップと、推定された音声種別に応じて各音声の混合比を算出するステップと、算出された混合比で分離された複数の音声を混合するステップと、を含む、音声処理方法が提供される。
【００２３】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、第１の入力装置から入力される第１の入力音声の特性と、第１の入力音声と特性の異なる第２の入力装置から入力される第２の入力音声の特性の相違を補正する入力補正部と、  入力補正部により補正された第１の入力音声と第２の入力音声とを複数の音声に分離する音声分離部と、音声分離部により分離された複数の音声の音声種別を推定する音声種別推定部と、音声種別推定部により推定された音声種別に応じて各音声の混合比を算出する混合比算出部と、混合比算出部により算出された混合比で音声分離部により分離された複数の音声を混合する音声混合部と、を備える、音声処理装置として機能させるためのプログラムが提供される。
【発明の効果】
【００２４】
以上説明したように本発明によれば、異なる特性のマイクを用いて、種々の音源から発せられた混合音声を分離して所望の割合で再混合することができる。
【発明を実施するための最良の形態】
【００２５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２６】
また、以下に示す順序に従って、当該「発明を実施するための最良の形態」を説明する。
〔１〕本実施形態の目的
〔２〕音声処理装置の機能構成
〔３〕音声処理装置の動作
【００２７】
本実施形態の目的
まず、本実施形態の目的について説明する。近年、携帯電話等の通信装置に撮像アプリケーション機能が備わることが多くなってきている。通信装置に撮像機能が備えられている場合には、通話用のマイクと撮像用のマイクとが通信装置に備えられることとなる。これらのマイクは、通話時には通話用のマイクが用いられ、撮像時には撮像用のマイクが各々独立して用いられる。
【００２８】
しかし、撮像時に、撮像用のマイクだけでなく通話用のマイクを流用すれば、撮像音声を高音質化することが可能となる。例えば、撮像マイクがモノラルの場合には、新たにマイク間の空間伝達特性を利用した音源分離などの高機能化を図ることが可能となる。また、撮像マイクがステレオの場合もさらなる音源分離により、より正確に音源方向を判別等して高機能化を図ることができる。
【００２９】
しかし、通話マイクの特性は、撮像マイクの特性と大きく異なることが多く、各マイクの配置が必ずしも通話音声の高音質化に最適なものとなっていないという問題があった。そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる音声処理装置１０が創作されるに至った。本実施形態にかかる音声処理装置１０によれば、通話マイクを撮像マイクに流用し、種々の音源から発せられた混合音声を分離して所望の割合で再混合することができる。
【００３０】
〔２〕音声処理装置の機能構成
次に、図１を参照して、音声処理装置１０の機能構成について説明する。本実施形態にかかる音声処理装置１０は、例えば、通信機能および撮像機能を有する携帯電話等を例示できる。通話機能および撮像機能を有する携帯電話等において、撮像する場合、所望の音源が発する音声が他の音源の発する音声によりマスキングされ、操作者の意図した適切な音量バランスで所望の音源が発する音声を記録できない場合が多い。また、移動中や非連続的な種々の状況で録音を行う場合、それぞれの録音の音量レベルに大きなばらつきが存在し、一定の再生音量で連続して快適に音声を聴くことが困難な場合が多かった。しかし、本実施形態にかかる音声処理装置１０によれば、撮像用マイクに追加して通話用マイクも併用することで、複数音源の存在を検知して、適応的に音源間の音量バランスを調整し、かつ、複数の録音素材の音量レベルを調整することが可能となる。
【００３１】
図１は、本実施形態にかかる音声処理装置１０の機能構成を示したブロック図である。図１に示したように、音声処理装置１０は、第１音声収音部１０２、入力補正部１０４と、第２音声収音部１１０と、音声分離部１１２と、記録部１１４と、記憶部１１６と、同一性判断部１１８と、混合比算出部１２０と、音声種別推定部１２２と、音声混合部１２４などを備える。
【００３２】
第１音声収音部１０２は、音声を収音し、収音した音声を離散量子化する機能を有する。また、第１音声収音部１０２は、本発明の第１の入力装置の一例であって、例えば通話マイクなどである。第１音声収音部１０２は、物理的に分離された２以上の収音部（例えば、マイクロホン）を含む。第１音声収音部１０２は、左音声を収音する収音部と右音声を収音する収音部の２つを含むようにしてもよい。また、第１音声収音部１０２は、離散量子化した音声を入力音声として入力補正部１０４に提供する。第１音声収音部１０２は、入力音声を所定長のブロック単位で入力補正部１０４に提供してもよい。
【００３３】
入力補正部１０４は、特性の異なる通話マイクの特性を補正する機能を有する。すなわち、第１の入力装置である通話マイクから入力される第１の入力音声（通話音声）の特性と、第２の入力装置である撮像マイクから入力される第２の入力音声（撮像時の音声）の特性の相違を補正する。入力音声の補正とは、例えば、サンプリング周波数が他のマイクと異なる場合はレート変換を行い、周波数特性が異なる場合は周波数特性の逆特性の適用を行うことである。また、Ａ／Ｄ変換等による遅延量が異なる場合は、当該遅延量の補正を行ってもよい。
【００３４】
ここで、入力補正部１０４による補正の一例について、図２を参照して説明する。図２は、入力補正部１０４による補正の一例を説明する説明図である。図２に示したように、検出器２０８によって、第２の入力装置である撮像マイクに通話音声のみが支配的に入力され、かつ、第１の入力装置である通話マイクにも十分な音量の通話音声が入力されている区間（単一音源が支配的な区間）が検出される。
【００３５】
ここで、撮像マイクおよび通話マイク入力のいずれかにＤｅｌａｙをかけることにより、両者の位相は揃えられていることとする。さらに、通話マイク入力にダイナミックレンジ変換およびＦＩＲフィルタをかけた出力と、撮像マイク入力との例えば差分、２乗誤差を評価関数とする。そして、当該評価関数が最も最小化されるように、適応的にＦＩＲフィルタ係数およびダイナミックレンジ変換カーブの傾きを更新することで、両マイク入力の特性を揃える。
【００３６】
このとき、入力補正部１０４は、補正した結果、十分な特性が得られなかったり、元々のマイクの特性が不十分だったりする帯域にフラグを設定してもよい。当該フラグが設定された帯域については、後述する音声分離部１１２による分離処理を行わないようにしてもよい。
【００３７】
ここで、図３を参照して、入力補正部１０４によるフラグ設定について説明する。図３は、入力補正部１０４によるフラグ設定処理を示したフローチャートである。図３に示したように、まず、最初の周波数のブロック（周波数ｆ）を０に設定する（Ｓ１０２）。
【００３８】
次に、周波数ｆが終端周波数であるか否かを判定する（Ｓ１０４）。ステップＳ１０４において、周波数ｆが終端周波数であった場合には、処理を終了する。ステップＳ１０４において、周波数ｆが終端周波数でなかった場合には、特定補正の評価関数が十分収束しているか否かを判定する（Ｓ１０６）。すなわち、入力補正部１０４による補正の結果、十分な特性が得られているか否かを判定する。
【００３９】
ステップＳ１０６において、特定補正の評価関数が十分収束していると判定された場合には、フラグ（Ｆｌａｇ）を１に設定する（Ｓ１０８）。この場合、音声分離処理が実行される。一方、ステップＳ１０６において、特定補正の評価関数が十分収束していないと判定された場合には、フラグ（Ｆｌａｇ）を０に設定する（Ｓ１１０）。この場合、音声分離処理は実行されない。そして、次の周波数（ｆ＋＋）のブロックを処理する（Ｓ１１２）。
【００４０】
図１に戻り、第２音声収音部１１０は、音声を収音し、収音した音声を離散量子化する機能を有する。また、第２音声収音部１１０は、本発明の第２の入力装置の一例であって、例えば撮像マイクなどである。また、第２音声収音部１１０は、物理的に分離された２以上の収音部（例えば、マイクロホン）を含む。第２音声収音部１１０は、左音声を収音する収音部と右音声を収音する収音部の２つを含むようにしてもよい。また、第２音声収音部１１０は、離散量子化した音声を入力音声として音声分離部１１２に提供する。また、第２音声収音部１１０は、入力音声を所定長のブロック単位で音声分離部１１２に提供してもよい。
【００４１】
音声分離部１１２は、入力音声を複数の音源から発生された複数の音声に分離する機能を有する。具体的には、第２音声収音部１１０から提供された入力音声を音源の統計的な独立性と空間伝達特性の相違を用いて分離する。上記したように、第２音声収音部１１０から所定長のブロック単位で入力音声が提供される場合には、当該ブロック単位で音声を分離するようにしてもよい。
【００４２】
音声分離部１１２による音源を分離するための具体的手法としては、例えば、独立成分解析を用いた手法（論文１：Y.Mori, H.Saruwatari, T.Takatani, S.Ukai, K.Shikano, T.hiekata, T.Morita,  Real-Time Implementation of Two-Stage Blind Source Separation Combining SIMO-ICA and Binary  Masking, Proceedings of IWAENC2005, (2005).）を用いることができる。また、音の時間周波数成分間の重なりの少なさを利用する手法（論文２：O.Yilmaz and S.Richard, Blind Separation of Speech Mixtures via Time-Frequency Masking, IEEE TRANSACTIONS ON SIGNAL PROCESSING, VOL.52, NO.7, JULY(2004).）を用いてもよい。
【００４３】
また、マイクの配置に起因する空間エリアシングが高域で起こる場合は、空間エリアシングの発生しない低域での音源方向情報と、該方向からの音声の各マイクへの経路差を利用することにより音声分離を行ってもよい。また、上記した入力補正部１０４によりフラグが設定された特性の不十分な帯域については、音声分離処理を行わないようにしてもよい。この場合、フラグが設定された帯域に隣接する帯域の分離音声に基づいて得られる音源方向情報を用いて入力補正部１０４により補正が行われる。
【００４４】
同一性判断部１１８は、音声分離部１１２によりブロック単位で入力音声が複数の音声に分離された場合に、当該分離された音声が複数のブロック間で同一か否かを判断する機能を有する。例えば、音声分離部１１２から提供された分離音声の離散時間における振幅情報の分布、音量、方向情報などを用いて、前後ブロック間で同一の音源から発生された分離音声であるか否かを判断する。
【００４５】
記録部１１４は、音声分離部により分離された音声の音量情報をブロック単位で記憶部１１６に記録する機能を有する。記憶部１１６に記録される音量情報としては、例えば、同一性判断部１１８により取得される各分離音声の音声種別情報や、音声分離部１１２により取得される分離音声の音量の平均値、最大値、分散値等などが挙げられる。また、リアルタイムの音声のみならず、過去に音声処理された分離音声の音量平均値を記録してもよい。また、入力音声の音量情報等が入力音声よりも先に取得可能な場合には、当該音量情報を記録するようにしてもよい。
【００４６】
音声種別推定部１２２は、音声分離部１１２により分離された複数の音声の音声種別を推定する機能を有する。例えば、分離音声の音量、振幅情報の分布、最大値、平均値、分散値、ゼロ交差数などから得られる音声情報と、方向距離情報から、音声種別（定常または非定常、ノイズまたは音声）を推定する。ここで、音声種別推定部１２２の詳細な機能について説明する。以下では、撮像装置に音声処理装置１０が搭載されている場合について説明する。音声種別推定部１２２は、撮像装置の操作者の音声または操作者の動作に起因するノイズなど撮像装置の近傍から発せられた音声が含まれているか否かを判定する。これにより、どの音源から発生された音声なのか否かを推定することができる。
【００４７】
図４は、音声種別推定部１２２の構成を示した機能ブロック図である。音声種別推定部１２２は、音量検出器１３２、平均音量検出器１３４および最大音量検出器１３６からなる音量検出部１３０と、スペクトル検出器１４０および音質検出器１４２からなる音質検出部１３８と、距離方向推定器１４４と、音声推定器１４６と、を備える。
【００４８】
音量検出器１３２は、所定長さのフレーム単位（例えば、数１０ｍｓｅｃ）で与えられる入力音声の音量値列（振幅）を検出し、検出した入力音声の音量値列を平均音量検出器１３４、最大音量検出器１３６、音質検出器１４２および距離方向推定器１４４に出力する。
【００４９】
平均音量検出器１３４は、音量検出器１３２から入力されるフレーム単位の音量値列に基づいて、入力音声の音量平均値を例えばフレームごとに検出する。また、平均音量検出器１３４は、検出した音量平均値を音質検出器１４２および音声推定器１４６に出力する。
【００５０】
最大音量検出器１３６は、音量検出器１３２から入力されるフレーム単位の音量値列に基づいて、入力音声の音量最大値を例えばフレームごとに検出する。また、最大音量検出器１３６は、検出した入力音声の音量最大値を音質検出器１４２および音声推定器１４６に出力する。
【００５１】
スペクトル検出器１４０は、入力音声に例えばＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）処理を施し、入力音声の周波数領域における各スペクトルを検出する。スペクトル検出器１４０は、検出したスペクトルを音質検出器１４２および距離方向推定器１４４に出力する。
【００５２】
音質検出器１４２は、入力音声、音量平均値、音量最大値およびスペクトルが入力され、かかる入力に基づいて入力音声の人間の音声らしさ、音楽らしさ、定常性、インパルス性などを検出し、音声推定器１４６に出力する。人間の音声らしさは、入力音声の一部または全体が人間の音声と一致するか否か、あるいは人間の音声とどの程度近似するかなどを示す情報であってもよい。また、音楽らしさは、入力音声の一部または全体が音楽であるか否か、あるいは音楽とどの程度近似するかなどを示す情報であってもよい。
【００５３】
定常性は、例えば空調音のように時間的にそれほど音声の統計的性質が変化しない性質を指す。インパルス性は、例えば打撃音、破裂音のように短時間にエネルギーが集中した雑音性の強い性質を指す。
【００５４】
例えば、音質検出器１４２は、入力音声のスペクトル分布と人間の音声のスペクトル分布との一致度に基づいて人間の音声らしさを検出することができる。また、音質検出器１４２は、フレームごとの音量最大値を比較し、他のフレームと比較して音量最大値が大きいほどインパルス性が高いことを検出してもよい。
【００５５】
なお、音質検出器１４２は、ゼロクロッシング法、ＬＰＣ（Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｖｅ  Ｃｏｄｉｎｇ）分析などの信号処理技術を用いて入力音声の音質を分析してもよい。ゼロクロッシング法によれば入力音声の基本周期が検出されるため、音質検出器１４２は該基本周期が人間の音声の基本周期（例えば１００〜２００Ｈｚ）に含まれるか否かに基づいて人間の音声らしさを検出してもよい。
【００５６】
距離方向推定器１４４には、入力音声、入力音声の音量値列、入力音声のスペクトルなどが入力される。距離方向推定器１４４は、該入力に基づいて入力音声の音源または入力音声に含まれる支配的な音声が発せられた音源の方向情報および距離情報などの位置情報を推定する位置情報算出部としての機能を有する。かかる距離方向推定器１４４は、入力音声の位相、音量、音量値列、過去の平均音量値、最大音量値などによる音源の位置情報の推定方法を組み合わせることで、残響や撮像装置本体による音声の反射の影響が大きい場合でも総合的に音源位置を推定することができる。距離方向推定器１４４による方向情報および距離情報の推定方法の一例を図５〜図８を参照して説明する。
【００５７】
図５は、２つの入力音声の位相差に基づいて入力音声の音源位置を推定する様子を示した説明図である。音源が点音源であると仮定すると、第２音声収音部１１０を構成するマイクロホンＭ１およびマイクロホンＭ２に到達する各入力音声の位相と各入力音声の位相差が測定できる。さらに、位相差と、入力音声の周波数ｆおよび音速ｃの値から、入力音声の音源位置までのマイクロホンＭ１からの距離とマイクロホンＭ２からの距離との差を算出できる。音源は、当該距離差が一定である点の集合上に存在する。このような距離差が一定である点の集合は、双曲線となることが知られている。
【００５８】
例えば、マイクロホンＭ１が（ｘ１、０）に位置し、マイクロホンＭ１が（ｘ２、０）に位置すると仮定する（このように仮定しても一般性を失わない）。また、求める音源位置の集合上の点を（ｘ、ｙ）とおき、上記距離差をｄとおくと、以下の数式１が成り立つ。
【数１】
2010112996.tif 000003
（数式１）
【００５９】
さらに、数式１は数式２のように展開でき、数式２を整理すると双曲線を表す数式３が導かれる。
【数２】
2010112996.tif 000004
（数式２）
【数３】
2010112996.tif 000005
（数式３）
【００６０】
また、距離方向推定器１４４は、マイクロホンＭ１およびマイクロホンＭ２の各々が収音した入力音声の音量差に基づいて音源がマイクロホンＭ１およびマイクロホンＭ２のどちらの近傍であるかを判定できる。これにより、例えば図５に示したようにマイクロホンＭ２に近い双曲線１上に音源が存在すると判定することができる。
【００６１】
なお、位相差算出に用いる入力音声の周波数ｆは、マイクロホンＭ１およびマイクロホンＭ２間の距離に対して下記の数式４の条件を満たす必要がある。
【数４】
2010112996.tif 000006
（数式４）
【００６２】
図６は、３つの入力音声の位相差に基づいて入力音声の音源位置を推定する様子を示した説明図である。図６に示したような第２音声収音部１１０を構成するマイクロホンＭ３、マイクロホンＭ４およびマイクロホンＭ５の配置を想定する。マイクロホンＭ３およびマイクロホンＭ４に到達する入力音声の位相に比較してマイクロホンＭ５に到達する入力音声の位相が遅れる場合がある。この場合、距離方向推定器１４４は、音源がマイクロホンＭ４およびマイクロホンＭ５を結ぶ直線１に対してマイクロホンＭ５の逆側に位置すると判定できる（前後判定）。
【００６３】
さらに、距離方向推定器１４４は、マイクロホンＭ３およびマイクロホンＭ４の各々に到達する入力音声の位相差に基づいて音源が存在し得る双曲線２を算出する。そして、マイクロホンＭ４およびマイクロホンＭ５の各々に到達する入力音声の位相差に基づいて音源が存在し得る双曲線３を算出することができる。その結果、距離方向推定器１４４は、双曲線２および双曲線３の交点Ｐ１を音源位置として推定することができる。
【００６４】
図７は、２つの入力音声の音量に基づいて入力音声の音源位置を推定する様子を示した説明図である。音源が点音源であると仮定すると、逆二乗則よりある点で観測される音量は距離の二乗に反比例する。図７に示したような第２音声収音部１１０を構成するマイクロホンＭ６およびマイクロホンＭ７を想定した場合、マイクロホンＭ６およびマイクロホンＭ７に到達する音量比が一定となる点の集合は円となる。距離方向推定器１４４は、音量検出器１３２から入力される音量の値から音量比を求め、音源の存在する円の半径及び中心位置を算出できる。
【００６５】
図７に示したように、マイクロホンＭ６が（ｘ３、０）に位置し、マイクロホンＭ７が（ｘ４、０）に位置する。この場合（このように仮定しても一般性を失わない）、求める音源位置の集合上の点を（ｘ、ｙ）と置くと、各マイクロホンから音源までの距離ｒ１、ｒ２は以下の数式５のように表せる。
【数５】
2010112996.tif 000007
2010112996.tif 000008
（数式５）
【００６６】
ここで、逆二乗則より以下の数式６が成り立つ。
【数６】
2010112996.tif 000009
（数式６）
【００６７】
数式６は正の定数ｄ（例えば４）を用いて数式７にように変形される。
【数７】
2010112996.tif 000010
（数式７）
【００６８】
数式７をｒ１およびｒ２に代入し、整理すると以下の数式８が導かれる。
【数８】
2010112996.tif 000011
2010112996.tif 000012
（数式８）
【００６９】
数式８より、距離方向推定器１４４は、図７に示したように、中心の座標が数式９で表され半径が数式１０で表される円１上に音源が存在すると推定できる。
【数９】
2010112996.tif 000013
（数式９）
【数１０】
2010112996.tif 000014
（数式１０）
【００７０】
図８は、３つの入力音声の音量に基づいて入力音声の音源位置を推定する様子を示した説明図である。図８に示したような第２音声収音部１１０を構成するマイクロホンＭ３、マイクロホンＭ４およびマイクロホンＭ５の配置を想定する。マイクロホンＭ３およびマイクロホンＭ４に到達する入力音声の位相に比較してマイクロホンＭ５に到達する入力音声の位相が遅れる場合がある。この場合、距離方向推定器１４４は、音源がマイクロホンＭ４およびマイクロホンＭ５を結ぶ直線２に対してマイクロホンＭ５の逆側に位置すると判定できる（前後判定）。
【００７１】
さらに、距離方向推定器１４４は、マイクロホンＭ３およびマイクロホンＭ４の各々に到達する入力音声の音量比に基づいて音源が存在し得る円２を算出する。そして、マイクロホンＭ４およびマイクロホンＭ５の各々に到達する入力音声の音量比に基づいて音源が存在し得る円３を算出することができる。その結果、距離方向推定器１４４は、円２および円３の交点Ｐ２を音源位置として推定することができる。なお、４つ以上のマイクロホンを使用した場合には、距離方向推定器１４４は、空間的な音源の配置を含め、より精度の高い推定が可能となる。
【００７２】
距離方向推定器１４４は、上記のように各入力音声の位相差や音量比に基づいて入力音声の音源の位置を推定し、推定した音源の方向情報や距離情報を音声推定器１４６に出力する。以下の表１に、上述した音量検出部１３０、音質検出部１３８および距離方向推定器１４４の各構成の入出力をまとめた。
【表１】
2010112996.tif 000015
【００７３】
なお、入力音声に複数の音源から発せられた音声が重畳されている場合、距離方向推定器１４４は入力音声に支配的に含まれている音声の音源位置を正確に推定することは困難である。しかし、距離方向推定器１４４は入力音声に支配的に含まれている音声の音源位置に近い位置を推定することは可能である。また、当該推定された音源位置は音声分離部１１２において音声分離のための初期値として利用してもよいため、距離方向推定器１４４が推定する音源位置に誤差があっても当該音声処理装置１０は所望の動作をすることができる。
【００７４】
図４を参照して音声種別推定部１２２の構成の説明に戻る。音声推定器１４６は、入力音声の音量、音質または位置情報の少なくともいずれかに基づき、入力音声に操作者の音声または操作者の動作に起因するノイズなど音声処理装置１０の近傍である特定音源から発せられた近傍音声が含まれているか否かを総合的に判定する。また、音声推定器１４６は、入力音声に近傍音声が含まれていると判定した場合、音声分離部１１２に入力音声に近傍音声が含まれる旨（操作者音声存在情報）や距離方向推定器１４４により推定された位置情報などを出力する音声判定部としての機能を有する。
【００７５】
具体的には、音声推定器１４６は、入力音声の音源の位置が映像を撮像する撮像部（図示せず。）の撮像方向の後方であると距離方向推定器１４４に推定され、入力音声が人間の音声と一致または近似する音質である場合、入力音声に近傍音声が含まれていると判定してもよい。
【００７６】
音声推定器１４６は、入力音声の音源の位置が撮像部の撮像方向の後方であり、入力音声が人間の音声と一致または近似する音質である場合、入力音声に近傍音声として操作者の音声が支配的に含まれていると判定するようにしてもよい。その結果、後述の音声混合部１２４により操作者の音声の音量比率が低減された混合音声を得ることができる。
【００７７】
また、音声推定器１４６は、入力音声の音源の位置が収音位置から設定距離（例えば、音声処理装置１０の１ｍ以内など音声処理装置１０の近傍）の範囲内である。また、入力音声にインパルス音が含まれ、入力音声が過去の平均音量と比較して大きい場合、入力音声に特定音源から発せられた近傍音声が含まれていると判定してもよい。ここで、撮像装置の操作者が当該撮像装置に備わるボタンを操作したり撮像装置を持ち替えると「パチン」、「バン」などのインパルス音が発生したりする場合が多い。また、該インパルス音は音声処理装置１０を搭載した撮像装置において発生するため、比較的大きな音量で収音される可能性が高い。
【００７８】
したがって、音声推定器１４６は、入力音声の音源の位置が収音位置から設定距離の範囲内である。また、入力音声にインパルス音が含まれ、入力音声が過去の平均音量と比較して大きい場合、入力音声に近傍音声として操作者の動作に起因するノイズが支配的に含まれていると判定することができる。その結果、後述の音声混合部１２４により操作者の動作に起因するノイズの音量比率が低減された混合音声を得ることができる。
【００７９】
その他、音声推定器１４６に入力される情報と、入力される情報に基づく音声推定器１４６の判定結果の一例を以下の表２にまとめた。なお、近接センサー、温度センサーなどを組み合わせて用いて音声推定器１４６における判定の精度をあげることも可能である。
【表２】
2010112996.tif 000016
【００８０】
図１に戻り、混合比算出部１２０は、音声種別推定部１２２により推定された音声種別に応じて、各音声の混合比を算出する機能を有する。例えば、音声分離部１１２により分離された分離音声と、音声種別推定部１２２により音声種別情報と記録部１１４に記録された音量情報を用いて、支配的な音声の音量を低減する混合比を算出する。
【００８１】
また、音声種別推定部１２２の出力情報を参照して、音声種別がより定常的である場合は、前後ブロックでの音量情報が大きく変化しないような混合比を算出する。また、混合比算出部１２０は、音声種別が定常的ではなく（非定常）、ノイズの可能性が高い場合には、当該音声の音量を低減する。一方、音声種別が非定常であり、人が発した音声である可能性が高い場合には、当該音声の音量をノイズ音声に比較してそれほど低減しない。
【００８２】
音声混合部１２４は、混合比算出部１２０により提供された混合比で音声分離部１１２により分離された複数の音声を混合する機能を有する。音声混合部１２４は、例えば、音声処理装置１０の近傍音声および収音対称音声を、近傍音声が占める音量比率が、入力音声に占める近傍音声の音量比率より低減されるように混合するようにしてもよい。これにより、入力音声のうち、近傍音声の音量が不要に大きい場合、収音対象音声が占める音量比率が入力音声に占める収音対象音声の音量比率より増大した混合音声を得ることができる。その結果、収音対象音声が近傍音声に埋もれてしまうことが防止することができる。
【００８３】
〔３〕音声処理装置の動作
以上、本実施形態にかかる音声処理装置１０の機能構成について説明した。次に、図９を参照して、音声処理装置１０において実行される音声処理方法について説明する。図９は、本実施形態にかかる音声処理装置１０において実行される音声処理方法の処理の流れを示したフローチャートである。図９に示したように、まず、音声処理装置１０の第１音声収音部１０２は、第１の入力音声である通話音声を収音する。また第２音声収音部１１０は、第２の入力音声である撮像時の音声を収音する（Ｓ２０２）。
【００８４】
次に、第１の入力音声が入力されたか、第２の入力音声が入力されたか否かを判定する（Ｓ２０４）。ステップＳ２０４において、第１の入力音声も第２の入力音声もなかった場合には処理を終了する。
【００８５】
ステップＳ２０４において、第１の入力音声があったと判定された場合には、入力補正部１０４は、第１の入力音声の特性と、第２の入力音声の特性の相違を補正する（Ｓ２０６）。ステップＳ２０６において、入力補正部１０４は、補正した結果、十分な特性が得られなかったり、元々のマイクの特性が不十分だったりする帯域にフラグを設定する（Ｓ２０８）。
【００８６】
次に、音声分離部１１２は、分離するブロックの帯域にフラグが設定されているか否かを判定する（Ｓ２１０）。ステップＳ２０８において、フラグが設定されている（フラグ＝１）と判定された場合には、音声分離部１１２は入力音声を分離する。ステップＳ２０８において、音声分離部１１２は、所定長のブロック単位で入力音声を分離するようにしてもよい。ステップＳ２０８において、フラグが設定されていない（フラグ＝０）と判定された場合には、入力音声の分離を実行せずにステップＳ２１２の処理を実行する。
【００８７】
そして、同一性判断部１１８は、ステップＳ２１０において所定長のブロック単位で分離された第２の入力音声が複数のブロック間で同一か否かを判断する（Ｓ２１２）。同一性判断部１１８は、ステップＳ２１０において分離されたブロック単位の音声の離散時間における振幅情報の分布、音量、方向情報などを用いて同一性を判断するようにしてもよい。
【００８８】
次に、音声種別推定部１２２は、各ブロックの音量情報を算出し（Ｓ２１４）、各ブロックの音声種別を推定する（Ｓ２１６）。ステップＳ２１６において、音声種別推定部１２２は、操作者の発した音声、被写体の発した音声、操作者の動作に起因するノイズ、インパルス音、定常的な環境音などに音声を分離する。
【００８９】
次に、混合比算出部１２０は、ステップＳ２１６において推定された音声種別に応じて、各音声の混合比を算出する（Ｓ２１８）。混合比算出部１２０は、ステップＳ２１４において算出した音量情報と、ステップＳ２１６において算出した音声種別情報を元に、支配的な音声の音量を低減する混合比を算出する。
【００９０】
そして、ステップＳ２１８において算出された各音声の混合比を用いて、ステップＳ２１０において分離された複数の音声を混合する（Ｓ２２０）。以上、音声処理装置１０において実行される音声処理方法について説明した。
【００９１】
以上説明したように、上記実施形態によれば、音声処理装置１０の通話マイクから入力される第１の入力音声の特性と、撮像マイクから入力される第２の入力音声の特性の相違を補正する。入力補正された第１の入力音声と第２の入力音声は、複数の音源から発生された音声に分離され、分離された複数の音声種別が推定される。そして、推定された音声種別に応じて各音声の混合比が算出され、該混合比で分離された各音声が再混合される。そして、再混合された混合音声を用いて、特性補正がなされた第１の入力音声から通話音声が抽出される。
【００９２】
これにより、通話マイクを撮像マイクに流用し、種々の音源から発せられた混合音声を分離して所望の割合で再混合することができる。また、撮像装置を備える音声処理装置１０において、撮像時に、撮像マイクだけでなく通話マイクを追加的に利用して、種々の状況で録音された音声を、ユーザによる音量操作なしに連続的に快適に聴くことが可能となる。また、録画時に主要な個別音源の音量を独立して調整することが可能となる。さらに、撮像時に通話マイクを追加的に利用することにより、録画アプリケーションにて録音された音声のうち、音量の大きい音源にマスキングされ、所望の音声が該音量より音量の大きい音声にマスキングされて聴くことが困難となることを防止できる。また、従来と比較して少ないマイク数で複数音源の混合音から、個別音源を抽出し、ユーザが所望する音量に自動で再混合することができる。
【００９３】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【図面の簡単な説明】
【００９４】
【図１】本発明の一実施形態にかかる音声処理装置の機能構成を示したブロック図である。
【図２】同実施形態にかかる入力補正部による補正の一例を説明する説明図である。
【図３】同実施形態にかかる入力補正部によるフラグ設定処理を示したフローチャートである。
【図４】同実施形態にかかる音声種別推定部の構成を示した機能ブロック図である。
【図５】２つの入力音声の位相差に基づいて入力音声の音源位置を推定する様子を示した説明図である。
【図６】３つの入力音声の位相差に基づいて入力音声の音源位置を推定する様子を示した説明図である。
【図７】２つの入力音声の音量に基づいて入力音声の音源位置を推定する様子を示した説明図である。
【図８】３つの入力音声の音量に基づいて入力音声の音源位置を推定する様子を示した説明図である。
【図９】同実施形態にかかる音声処理装置において実行される音声処理方法について説明する。
【符号の説明】
【００９５】
１０      音声処理装置
１０２    第１音声収音部
１０４    入力補正部
１１０    第２音声収音部
１１２    音声分離部
１１４    記録部
１１６    記憶部
１１８    同一性判断部
１２０    混合比算出部
１２２    音声種別推定部
１２４    音声混合部
【図１】
2010112996.tif 000017
【図２】
2010112996.tif 000018
【図３】
2010112996.tif 000019
【図４】
2010112996.tif 000020
【図５】
2010112996.tif 000021
【図６】
2010112996.tif 000022
【図７】
2010112996.tif 000023
【図８】
2010112996.tif 000024
【図９】
2010112996.tif 000025