(57)【要約】      （修正有）【課題】事前処理をすることなく、種々の音源から発せられた混合音声を分離して所望の割合で再混合する。【解決手段】音声処理装置１０は、入力音声を複数の音源から発生された複数の音声に分離する音声分離部１１２と、前記音声分離部１１２により分離された複数の音声の音声種別を推定する音声種別推定部１２２と、前記音声種別推定部１２２により推定された音声種別に応じて各音声の混合比を算出する混合比算出部１２０と、前記混合比算出部１２０により算出された混合比で前記音声分離部１１２により分離された前記複数の音声を混合する音声混合部１２４と、を備える。【選択図】図１
2010112994.tif 000002
【特許請求の範囲】
【請求項１】
入力音声を複数の音源から発生された複数の音声に分離する音声分離部と、
前記音声分離部により分離された複数の音声の音声種別を推定する音声種別推定部と、
前記音声種別推定部により推定された音声種別に応じて各音声の混合比を算出する混合比算出部と、
前記混合比算出部により算出された混合比で前記音声分離部により分離された前記複数の音声を混合する音声混合部と、
を備える、音声処理装置。
【請求項２】
前記音声分離部は、所定長のブロック単位で前記入力音声を複数の音声に分離し、
前記音声分離部により分離された音声が複数のブロック間で同一か否かを判断する同一性判断部と、
前記音声分離部により分離された音声の音量情報を前記ブロック単位で記録する記録部と、
を備える、請求項１に記載の音声処理装置。
【請求項３】
前記音声分離部は、音声の統計的な独立性と空間伝達特性の相違を用いて、前記入力音声を複数の音声に分離する、請求項１または２のいずれかに記載の音声処理装置。
【請求項４】
前記音声分離部は、音源の時間周波数成分間の重なりの少なさを用いて特定音源から発せられた音声とそれ以外の音声とを分離する、請求項１〜３のいずれかに記載の音声処理装置。
【請求項５】
前記音声種別推定部は、前記入力音声の離散時間における振幅情報の分布、方向、音量、ゼロ交差数等を用いて、前記入力音声が定常音声か非定常音声かを推定する、請求項１〜４のいずれかに記載の音声処理装置。
【請求項６】
前記音声種別推定部は、前記非定常音声であると推定された音声がノイズ音声か人の発した音声かを推定する、請求項５に記載の音声処理装置。
【請求項７】
前記混合比算出部は、前記音声種別推定部により、定常音声であると推定された音声の音量が大きく変化しない混合比を算出する、請求項５に記載の音声処理装置。
【請求項８】
前記混合比算出部は、前記音声種別推定部によりノイズ音声であると推定された音声の音量を低減し、人の発した音声であると推定された音声の音量を低減しない混合比を算出する、請求項７に記載の音声処理装置。
【請求項９】
音声処理装置に入力された入力音声を複数の音声に分離するステップと、
前記分離された複数の音声の音声種別を推定するステップと、
前記推定された音声種別に応じて各音声の混合比を算出するステップと、
前記算出された混合比で、前記分離された前記複数の音声を混合するステップと、
を含む、音声処理方法。
【請求項１０】
コンピュータを、
入力音声を複数の音声に分離する音声分離部と、
前記音声分離部により分離された複数の音声の音声種別を推定する音声種別推定部と、
前記音声種別推定部により推定された音声種別に応じて各音声の混合比を算出する混合比算出部と、
前記混合比算出部により算出された混合比で前記音声分離部により分離された前記複数の音声を混合する音声混合部と、
を備える、音声処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理装置、音声処理方法およびプログラムに関し、特に、入力音声の特徴に基づいて分離された音声を再混合する音声処理装置、音声処理方法およびプログラムに関する。
【背景技術】
【０００２】
携帯電話やカムコーダ等音声を記録可能な音声記録装置を搭載した機器により、通話音声や撮像対象の音声等の収録が一般的に行われている。音声記録装置に収録された音声には、人の発生した音声や、周囲の雑音等を含む背景音等種々の音源から発せられた音声が混在している。このように種々の音源から発せられた音声が混在し、所望する音源から発せられた音声がその他の音源から発せられた音声よりも相対的に小さく記録されている場合には、所望の音声の内容を判別し難くなるという問題があった。
【０００３】
そこで、種々の音源から発せられる音声が混在している混合音声を分離して、分離された各音声について所望の音量で再混合する技術が開示されている（例えば特許文献１および特許文献２）。特許文献１によれば、音声らしさ、音楽らしさを表す特徴データについて事前学習を行って、ナレーション信号が重畳された音楽信号に対して、音声信号と音楽信号との混合比を推定して所望の音声を強調することができる。また、特許文献２によれば、音声信号と背景音を分離するための付加情報が予め付加された放送音声について、該放送音声受信後に音声信号と背景音を分離して、所望の音量で再混合することができる。
【０００４】
【特許文献１】特開２００３−１３１６８６号公報
【特許文献２】特開平５−５６００７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記特許文献１では、事前学習をしなければ混合音声を分離することが出来ないという問題があった。また、特許文献２では、事前に情報を付加しなければ、所望の割合で音声を再混合したりすることができないという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、事前処理をすることなく、種々の音源から発せられた混合音声を分離して所望の割合で再混合することが可能な、新規かつ改良された音声処理装置、音声処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、入力音声を複数の音源から発生された複数の音声に分離する音声分離部と、前記音声分離部により分離された複数の音声の音声種別を推定する音声種別推定部と、前記音声種別推定部により推定された音声種別に応じて各音声の混合比を算出する混合比算出部と、前記混合比算出部により算出された混合比で前記音声分離部により分離された前記複数の音声を混合する音声混合部と、を備える、音声処理装置が提供される。
【０００７】
かかる構成によれば、音声処理装置に入力された入力音声を複数の音源から発生された音声に分離し、分離された複数の音声種別を推定する。そして、推定された音声種別に応じて各音声の混合比を算出し、該混合比で分離された各音声を再混合する。これにより、種々の音源から発せられた混合音声を分離して所望の割合で再混合して、異なる音源から発せられる音量を独立的にコントロールすることが可能となる。また、所望の音声が該音量より音量の大きい音声にマスキングされて、所望の音声を聴くことが困難となることを防止できる。また、異なる音源毎にマイク等を設置しなくとも、各音源から発せられる音量を所望の音量に調整することが可能となる。
【０００８】
また、上記音声分離部は、所定長のブロック単位で前記入力音声を複数の音声に分離し、前記音声分離部により分離された音声が複数のブロック間で同一か否かを判断する同一性判断部と、前記音声分離部により分離された音声の音量情報をブロック単位で記録する記録部と、を備えてもよい。
【０００９】
また、上記音声分離部は、音声の統計的な独立性と空間伝達特性の相違を用いて、前記入力音声を複数の音声に分離してもよい。
【００１０】
また、上記音声分離部は、音源の時間周波数成分間の重なりの少なさを用いて特定音源から発せられた音声とそれ以外の音声とを分離してもよい。
【００１１】
また、上記音声種別推定部は、前記入力音声の離散時間における振幅情報の分布、方向、音量、ゼロ交差数等を用いて、前記入力音声が定常音声か非定常音声かを推定してもよい。
【００１２】
また、上記音声種別推定部は、前記非定常音声であると推定された音声がノイズ音声か人の発した音声かを推定してもよい。
【００１３】
また、上記混合比算出部は、前記音声種別推定部により、定常音声であると推定された音声の音量が大きく変化しない混合比を算出してもよい。
【００１４】
また、上記混合比算出部は、前記音声種別推定部によりノイズ音声であると推定された音声の音量を低減し、人の発した音声であると推定された音声の音量を低減しない混合比を算出してもよい。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、音声処理装置に入力された入力音声を複数の音声に分離するステップと、前記分離された複数の音声の音声種別を推定するステップと、前記推定された音声種別に応じて各音声の混合比を算出するステップと、前記算出された混合比で、前記分離された前記複数の音声を混合するステップと、を含む、音声処理方法が提供される。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、入力音声を複数の音声に分離する音声分離部と、前記音声分離部により分離された複数の音声の音声種別を推定する音声種別推定部と、前記音声種別推定部により推定された音声種別に応じて各音声の混合比を算出する混合比算出部と、前記混合比算出部により算出された混合比で前記音声分離部により分離された前記複数の音声を混合する音声混合部と、を備える、音声処理装置として機能させるためのプログラムが提供される。
【発明の効果】
【００１７】
以上説明したように本発明によれば、事前処理をすることなく、種々の音源から発せられた混合音声を分離して所望の割合で再混合することができる。
【発明を実施するための最良の形態】
【００１８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１９】
また、以下に示す順序に従って、当該「発明を実施するための最良の形態」を説明する。
〔１〕本実施形態の目的
〔２〕音声処理装置の機能構成
〔３〕音声処理装置の動作
【００２０】
〔１〕本実施形態の目的
まず、本発明の実施形態の目的について説明する。携帯電話やカムコーダ等音声を記録可能な音声記録装置を搭載した機器により、通話音声や撮像対象の音声等の収録が一般的に行われている。音声記録装置に収録された音声には、人の発生した音声や、周囲の雑音等を含む背景音等種々の音源から発せられた音声が混在している。このように種々の音源から発せられた音声が混在し、所望する音源から発せられた音声がその他の音源から発せられた音声よりも相対的に小さく記録されている場合には、所望の音声の内容を判別し難くなるという問題があった。
【００２１】
そこで、種々の音源から発せられる音声が混在している混合音声を分離して、分離された各音声について所望の音量で再混合する技術が開示されている。例えば、音声らしさ、音楽らしさを表す特徴データについて事前学習を行って、ナレーション信号が重畳された音楽信号に対して、音声信号と音楽信号との混合比を推定して所望の音声を強調する技術が挙げられる。また、音声信号と背景音を分離するための付加情報が予め付加された放送音声について、該放送音声受信後に音声信号と背景音を分離して、所望の音量で再混合する技術が挙げられる。
【００２２】
しかし、従来の技術では事前学習をしたり、事前に情報を付加したりしなければ、混合音声を分離したり所望の割合で音声を再混合したりすることができないという問題があった。すなわち、リアルタイムに入力される音声や放送音声等ではなく、個人的に撮影等されたコンテンツ等の場合には事前学習をしたり事前に情報を付加したりすることが困難であるため、所望の音声を取得できなかった。そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる音声処理装置１０が創作されるに至った。本実施形態にかかる音声処理装置１０によれば、事前処理をすることなく、種々の音源から発せられた混合音声を分離して所望の割合で再混合することができる。
【００２３】
〔２〕音声処理装置の機能構成
次に、図１を参照して、音声処理装置１０の機能構成について説明する。本実施形態にかかる音声処理装置１０は、上記したように、事前処理をすることなく、種々の音源から発せられた混合音声を分離して所望の割合で再混合することができる。音声処理装置１０は、例えば、撮像装置に搭載される音声記録／再生装置等を例示できる。
【００２４】
撮像装置に搭載された音声処理装置で音声信号を録音する場合には、所望の音源が発する音声が他の音源の発する音声によりマスキングされ、撮像装置の操作者の意図した適切な音量バランスで所望の音源が発する音声を記録できないことがある。また、複数の状況で録音された音声の再生を行う場合には、録音レベルに大きなばらつきが生じ、一定の再生音量で快適に音声を聴くことが困難な場合が多かった。しかし、本実施形態にかかる音声処理装置１０によれば、操作者の意図した適切な音量バランスで所望の音源が発する音声を記録したり、一定の再生音量で記録して快適に音声を聞いたりすることが可能となる。
【００２５】
図１は、本実施形態にかかる音声処理装置１０の機能構成を示したブロック図である。図１に示したように、音声処理装置１０は、音声収音部１１０と、音声分離部１１２と、記録部１１４と、記憶部１１６と、同一性判断部１１８と、音声種別推定部１２２と、混合比算出部１２０と、音声混合部１２４などを備える。
【００２６】
音声収音部１１０は、音声を収音し、収音した音声を離散量子化する。また、音声収音部１１０は、物理的に分離された２以上の収音部（例えば、マイクロホン）を含む。音声収音部１１０は、左音声を収音する収音部と右音声を収音する収音部の２つを含むようにしてもよい。音声収音部１１０は、離散量子化した音声を入力音声として音声分離部１１２に提供する。音声収音部１１０は、入力音声を所定長のブロック単位で音声分離部１１２に提供するようにしてもよい。
【００２７】
音声分離部１１２は、入力音声を複数の音源から発生された複数の音声に分離する機能を有する。具体的には、音声収音部１１０から提供された入力音声を音源の統計的な独立性と空間伝達特性の相違を用いて分離する。上記したように、音声収音部１１０から所定長のブロック単位で入力音声が提供される場合には、当該ブロック単位で音声を分離するようにしてもよい。
【００２８】
音声分離部１１２による音源を分離するための具体的手法としては、例えば、独立成分解析を用いた手法（論文１：Y.Mori, H.Saruwatari, T.Takatani, S.Ukai, K.Shikano, T.hiekata, T.Morita,  Real-Time Implementation of Two-Stage Blind Source Separation Combining SIMO-ICA and Binary  Masking, Proceedings of IWAENC2005, (2005).）を用いることができる。また、音の時間周波数成分間の重なりの少なさを利用する手法（論文２：O.Yilmaz and S.Richard, Blind Separation of Speech Mixtures via Time-Frequency Masking, IEEE TRANSACTIONS ON SIGNAL PROCESSING, VOL.52, NO.7, JULY(2004).）を用いてもよい。
【００２９】
同一性判断部１１８は、音声分離部１１２によりブロック単位で入力音声が複数の音声に分離された場合に、当該分離された音声が複数のブロック間で同一か否かを判断する機能を有する。例えば、音声分離部１１２から提供された分離音声の離散時間における振幅情報の分布、音量、方向情報などを用いて、前後ブロック間で同一の音源から発生された分離音声であるか否かを判断する。
【００３０】
記録部１１４は、音声分離部により分離された音声の音量情報をブロック単位で記憶部１１６に記録する機能を有する。記憶部１１６に記録される音量情報としては、例えば、同一性判断部１１８により取得される各分離音声の音声種別情報や、音声分離部１１２により取得される分離音声の音量の平均値、最大値、分散値等などが挙げられる。また、リアルタイムの音声のみならず、過去に音声処理された分離音声の音量平均値を記録してもよい。また、入力音声の音量情報等が入力音声よりも先に取得可能な場合には、当該音量情報を記録するようにしてもよい。
【００３１】
音声種別推定部１２２は、音声分離部１１２により分離された複数の音声の音声種別を推定する機能を有する。例えば、分離音声の音量、振幅情報の分布、最大値、平均値、分散値、ゼロ交差数などから得られる音声情報と、方向距離情報から、音声種別（定常または非定常、ノイズまたは音声）を推定する。ここで、音声種別推定部１２２の詳細な機能について説明する。以下では、撮像装置に音声処理装置１０が搭載されている場合について説明する。音声種別推定部１２２は、撮像装置の操作者の音声または操作者の動作に起因するノイズなど撮像装置の近傍から発せられた音声が含まれているか否かを判定する。これにより、どの音源から発生された音声なのか否かを推定することができる。
【００３２】
図２は、音声種別推定部１２２の構成を示した機能ブロック図である。音声種別推定部１２２は、音量検出器１３２、平均音量検出器１３４および最大音量検出器１３６からなる音量検出部１３０と、スペクトル検出器１４０および音質検出器１４２からなる音質検出部１３８と、距離方向推定器１４４と、音声推定器１４６と、を備える。
【００３３】
音量検出器１３２は、所定長さのフレーム単位（例えば、数１０ｍｓｅｃ）で与えられる入力音声の音量値列（振幅）を検出し、検出した入力音声の音量値列を平均音量検出器１３４、最大音量検出器１３６、音質検出器１４２および距離方向推定器１４４に出力する。
【００３４】
平均音量検出器１３４は、音量検出器１３２から入力されるフレーム単位の音量値列に基づいて、入力音声の音量平均値を例えばフレームごとに検出する。また、平均音量検出器１３４は、検出した音量平均値を音質検出器１４２および音声推定器１４６に出力する。
【００３５】
最大音量検出器１３６は、音量検出器１３２から入力されるフレーム単位の音量値列に基づいて、入力音声の音量最大値を例えばフレームごとに検出する。また、最大音量検出器１３６は、検出した入力音声の音量最大値を音質検出器１４２および音声推定器１４６に出力する。
【００３６】
スペクトル検出器１４０は、入力音声に例えばＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）処理を施し、入力音声の周波数領域における各スペクトルを検出する。スペクトル検出器１４０は、検出したスペクトルを音質検出器１４２および距離方向推定器１４４に出力する。
【００３７】
音質検出器１４２は、入力音声、音量平均値、音量最大値およびスペクトルが入力され、かかる入力に基づいて入力音声の人間の音声らしさ、音楽らしさ、定常性、インパルス性などを検出し、音声推定器１４６に出力する。人間の音声らしさは、入力音声の一部または全体が人間の音声と一致するか否か、あるいは人間の音声とどの程度近似するかなどを示す情報であってもよい。また、音楽らしさは、入力音声の一部または全体が音楽であるか否か、あるいは音楽とどの程度近似するかなどを示す情報であってもよい。
【００３８】
定常性は、例えば空調音のように時間的にそれほど音声の統計的性質が変化しない性質を指す。インパルス性は、例えば打撃音、破裂音のように短時間にエネルギーが集中した雑音性の強い性質を指す。
【００３９】
例えば、音質検出器１４２は、入力音声のスペクトル分布と人間の音声のスペクトル分布との一致度に基づいて人間の音声らしさを検出することができる。また、音質検出器１４２は、フレームごとの音量最大値を比較し、他のフレームと比較して音量最大値が大きいほどインパルス性が高いことを検出してもよい。
【００４０】
なお、音質検出器１４２は、ゼロクロッシング法、ＬＰＣ（Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｖｅ  Ｃｏｄｉｎｇ）分析などの信号処理技術を用いて入力音声の音質を分析してもよい。ゼロクロッシング法によれば入力音声の基本周期が検出されるため、音質検出器１４２は該基本周期が人間の音声の基本周期（例えば１００〜２００Ｈｚ）に含まれるか否かに基づいて人間の音声らしさを検出してもよい。
【００４１】
距離方向推定器１４４には、入力音声、入力音声の音量値列、入力音声のスペクトルなどが入力される。距離方向推定器１４４は、該入力に基づいて入力音声の音源または入力音声に含まれる支配的な音声が発せられた音源の方向情報および距離情報などの位置情報を推定する位置情報算出部としての機能を有する。かかる距離方向推定器１４４は、入力音声の位相、音量、音量値列、過去の平均音量値、最大音量値などによる音源の位置情報の推定方法を組み合わせることで、残響や撮像装置本体による音声の反射の影響が大きい場合でも総合的に音源位置を推定することができる。距離方向推定器１４４による方向情報および距離情報の推定方法の一例を図３〜図６を参照して説明する。
【００４２】
図３は、２つの入力音声の位相差に基づいて入力音声の音源位置を推定する様子を示した説明図である。音源が点音源であると仮定すると、音声収音部１１０を構成するマイクロホンＭ１およびマイクロホンＭ２に到達する各入力音声の位相と各入力音声の位相差が測定できる。さらに、位相差と、入力音声の周波数ｆおよび音速ｃの値から、入力音声の音源位置までのマイクロホンＭ１からの距離とマイクロホンＭ２からの距離との差を算出できる。音源は、当該距離差が一定である点の集合上に存在する。このような距離差が一定である点の集合は、双曲線となることが知られている。
【００４３】
例えば、マイクロホンＭ１が（ｘ１、０）に位置し、マイクロホンＭ１が（ｘ２、０）に位置すると仮定する（このように仮定しても一般性を失わない）。また、求める音源位置の集合上の点を（ｘ、ｙ）とおき、上記距離差をｄとおくと、以下の数式１が成り立つ。
【数１】
2010112994.tif 000003
（数式１）
【００４４】
さらに、数式１は数式２のように展開でき、数式２を整理すると双曲線を表す数式３が導かれる。
【数２】
2010112994.tif 000004
（数式２）
【数３】
2010112994.tif 000005
（数式３）
【００４５】
また、距離方向推定器１４４は、マイクロホンＭ１およびマイクロホンＭ２の各々が収音した入力音声の音量差に基づいて音源がマイクロホンＭ１およびマイクロホンＭ２のどちらの近傍であるかを判定できる。これにより、例えば図３に示したようにマイクロホンＭ２に近い双曲線１上に音源が存在すると判定することができる。
【００４６】
なお、位相差算出に用いる入力音声の周波数ｆは、マイクロホンＭ１およびマイクロホンＭ２間の距離に対して下記の数式４の条件を満たす必要がある。
【数４】
2010112994.tif 000006
（数式４）
【００４７】
図４は、３つの入力音声の位相差に基づいて入力音声の音源位置を推定する様子を示した説明図である。図４に示したような音声収音部１１０を構成するマイクロホンＭ３、マイクロホンＭ４およびマイクロホンＭ５の配置を想定する。マイクロホンＭ３およびマイクロホンＭ４に到達する入力音声の位相に比較してマイクロホンＭ５に到達する入力音声の位相が遅れる場合がある。この場合、距離方向推定器１４４は、音源がマイクロホンＭ４およびマイクロホンＭ５を結ぶ直線１に対してマイクロホンＭ５の逆側に位置すると判定できる（前後判定）。
【００４８】
さらに、距離方向推定器１４４は、マイクロホンＭ３およびマイクロホンＭ４の各々に到達する入力音声の位相差に基づいて音源が存在し得る双曲線２を算出する。そして、マイクロホンＭ４およびマイクロホンＭ５の各々に到達する入力音声の位相差に基づいて音源が存在し得る双曲線３を算出することができる。その結果、距離方向推定器１４４は、双曲線２および双曲線３の交点Ｐ１を音源位置として推定することができる。
【００４９】
図５は、２つの入力音声の音量に基づいて入力音声の音源位置を推定する様子を示した説明図である。音源が点音源であると仮定すると、逆二乗則よりある点で観測される音量は距離の二乗に反比例する。図５に示したような音声収音部１１０を構成するマイクロホンＭ６およびマイクロホンＭ７を想定した場合、マイクロホンＭ６およびマイクロホンＭ７に到達する音量比が一定となる点の集合は円となる。距離方向推定器１４４は、音量検出器１３２から入力される音量の値から音量比を求め、音源の存在する円の半径及び中心位置を算出できる。
【００５０】
図５に示したように、マイクロホンＭ６が（ｘ３、０）に位置し、マイクロホンＭ７が（ｘ４、０）に位置する。この場合（このように仮定しても一般性を失わない）、求める音源位置の集合上の点を（ｘ、ｙ）と置くと、各マイクロホンから音源までの距離ｒ１、ｒ２は以下の数式５のように表せる。
【数５】
2010112994.tif 000007
2010112994.tif 000008
（数式５）
【００５１】
ここで、逆二乗則より以下の数式６が成り立つ。
【数６】
2010112994.tif 000009
（数式６）
【００５２】
数式６は正の定数ｄ（例えば４）を用いて数式７にように変形される。
【数７】
2010112994.tif 000010
（数式７）
【００５３】
数式７をｒ１およびｒ２に代入し、整理すると以下の数式８が導かれる。
【数８】
2010112994.tif 000011
2010112994.tif 000012
（数式８）
【００５４】
数式８より、距離方向推定器１４４は、図５に示したように、中心の座標が数式９で表され半径が数式１０で表される円１上に音源が存在すると推定できる。
【数９】
2010112994.tif 000013
（数式９）
【数１０】
2010112994.tif 000014
（数式１０）
【００５５】
図６は、３つの入力音声の音量に基づいて入力音声の音源位置を推定する様子を示した説明図である。図６に示したような音声収音部１１０を構成するマイクロホンＭ３、マイクロホンＭ４およびマイクロホンＭ５の配置を想定する。マイクロホンＭ３およびマイクロホンＭ４に到達する入力音声の位相に比較してマイクロホンＭ５に到達する入力音声の位相が遅れる場合がある。この場合、距離方向推定器１４４は、音源がマイクロホンＭ４およびマイクロホンＭ５を結ぶ直線２に対してマイクロホンＭ５の逆側に位置すると判定できる（前後判定）。
【００５６】
さらに、距離方向推定器１４４は、マイクロホンＭ３およびマイクロホンＭ４の各々に到達する入力音声の音量比に基づいて音源が存在し得る円２を算出する。そして、マイクロホンＭ４およびマイクロホンＭ５の各々に到達する入力音声の音量比に基づいて音源が存在し得る円３を算出することができる。その結果、距離方向推定器１４４は、円２および円３の交点Ｐ２を音源位置として推定することができる。なお、４つ以上のマイクロホンを使用した場合には、距離方向推定器１４４は、空間的な音源の配置を含め、より精度の高い推定が可能となる。
【００５７】
距離方向推定器１４４は、上記のように各入力音声の位相差や音量比に基づいて入力音声の音源の位置を推定し、推定した音源の方向情報や距離情報を音声推定器１４６に出力する。以下の表１に、上述した音量検出部１３０、音質検出部１３８および距離方向推定器１４４の各構成の入出力をまとめた。
【表１】
2010112994.tif 000015
【００５８】
なお、入力音声に複数の音源から発せられた音声が重畳されている場合、距離方向推定器１４４は入力音声に支配的に含まれている音声の音源位置を正確に推定することは困難である。しかし、距離方向推定器１４４は入力音声に支配的に含まれている音声の音源位置に近い位置を推定することは可能である。また、当該推定された音源位置は音声分離部１１２において音声分離のための初期値として利用してもよいため、距離方向推定器１４４が推定する音源位置に誤差があっても当該音声処理装置１０は所望の動作をすることができる。
【００５９】
図２を参照して音声種別推定部１２２の構成の説明に戻る。音声推定器１４６は、入力音声の音量、音質または位置情報の少なくともいずれかに基づき、入力音声に操作者の音声または操作者の動作に起因するノイズなど音声処理装置１０の近傍である特定音源から発せられた近傍音声が含まれているか否かを総合的に判定する。また、音声推定器１４６は、入力音声に近傍音声が含まれていると判定した場合、音声分離部１１２に入力音声に近傍音声が含まれる旨（操作者音声存在情報）や距離方向推定器１４４により推定された位置情報などを出力する音声判定部としての機能を有する。
【００６０】
具体的には、音声推定器１４６は、入力音声の音源の位置が映像を撮像する撮像部（図示せず。）の撮像方向の後方であると距離方向推定器１４４に推定され、入力音声が人間の音声と一致または近似する音質である場合、入力音声に近傍音声が含まれていると判定してもよい。
【００６１】
音声推定器１４６は、入力音声の音源の位置が撮像部の撮像方向の後方であり、入力音声が人間の音声と一致または近似する音質である場合、入力音声に近傍音声として操作者の音声が支配的に含まれていると判定するようにしてもよい。その結果、後述の音声混合部１２４により操作者の音声の音量比率が低減された混合音声を得ることができる。
【００６２】
また、音声推定器１４６は、入力音声の音源の位置が収音位置から設定距離（例えば、音声処理装置１０の１ｍ以内など音声処理装置１０の近傍）の範囲内である。また、入力音声にインパルス音が含まれ、入力音声が過去の平均音量と比較して大きい場合、入力音声に特定音源から発せられた近傍音声が含まれていると判定してもよい。ここで、撮像装置の操作者が当該撮像装置に備わるボタンを操作したり撮像装置を持ち替えると「パチン」、「バン」などのインパルス音が発生したりする場合が多い。また、該インパルス音は音声処理装置１０を搭載した撮像装置において発生するため、比較的大きな音量で収音される可能性が高い。
【００６３】
したがって、音声推定器１４６は、入力音声の音源の位置が収音位置から設定距離の範囲内である。また、入力音声にインパルス音が含まれ、入力音声が過去の平均音量と比較して大きい場合、入力音声に近傍音声として操作者の動作に起因するノイズが支配的に含まれていると判定することができる。その結果、後述の音声混合部１２４により操作者の動作に起因するノイズの音量比率が低減された混合音声を得ることができる。
【００６４】
その他、音声推定器１４６に入力される情報と、入力される情報に基づく音声推定器１４６の判定結果の一例を以下の表２にまとめた。なお、近接センサー、温度センサーなどを組み合わせて用いて音声推定器１４６における判定の精度をあげることも可能である。
【表２】
2010112994.tif 000016
【００６５】
図１に戻り、混合比算出部１２０は、音声種別推定部１２２により推定された音声種別に応じて、各音声の混合比を算出する機能を有する。例えば、音声分離部１１２により分離された分離音声と、音声種別推定部１２２により音声種別情報と記録部１１４ニ記録された音量情報を用いて、支配的な音声の音量を低減する混合比を算出する。
【００６６】
また、音声種別推定部１２２の出力情報を参照して、音声種別がより定常的である場合は、前後ブロックでの音量情報が大きく変化しないような混合比を算出する。また、混合比算出部１２０は、音声種別が定常的ではなく（非定常）、ノイズの可能性が高い場合には、当該音声の音量を低減する。一方、音声種別が非定常であり、人が発した音声である可能性が高い場合には、当該音声の音量をノイズ音声に比較してそれほど低減しない。
【００６７】
ここで、図７を参照して、低減率を微調整する方法について説明する。低減率を微調整する方法としては、人間の聴覚の周波数特性（ラウドネス特性）、マスキング効果などを利用することができる。具体的には以下の方法が考えられる。人間の聴覚特性では、２〜４ｋＨｚの周波数成分の感度が高い。音量が支配的な分離音声にこの帯域が多く含まれている場合は、当該帯域を他の帯域と比較して相対的に大きく抑圧するような傾斜をつけて混合比を設定する。
【００６８】
図７に示したように、人間が知覚しやすい帯域である２〜４ｋＨｚ（帯域ａ）において、他の帯域よりも相対的に小さな混合比を設定する。これにより、支配的な音量の分離音声によって他の分離音声がマスキングされることを回避することができる。また、分離精度の悪い周波数帯域（帯域ｂ）においては、混合比を相対的に低減する。
【００６９】
また、スペクトルマスキング効果（ある時間のある周波数に大きな音があると近傍の周波数の音はマスキングされて聞こえないという現象）を考慮する。この場合、音声分離部１１２による分離の精度が十分確保できていない周波数帯域（帯域ｂ）の音声の混合比を相対的に低減する。これにより、近傍の（分離精度が十分確保された）周波数の音声にマスキングされるような傾斜をつけた混合比を設定することができる。
【００７０】
上記手法を利用することにより、低振幅であるために支配的な音源によってマスキングされていた音声を聴くことが可能となるような分離音声の再混合比を自動算出する。このとき、分離音声の音量情報および再混合比から求められる各音源の前ブロックと現在のブロックの音量が大きく変化せず、時間方向に滑らかにつながる範囲でトータルの音量がなるべく一定となるようにしてもよい。また、ユーザにより指定される設定に応じて、特定の音源を大きく低減するような混合比を算出するようにしてもよい。
【００７１】
図１に戻り、音声混合部１２４は、混合比算出部１２０により提供された混合比で音声分離部１１２により分離された複数の音声を混合する機能を有する。音声混合部１２４は、例えば、音声処理装置１０の近傍音声および収音対称音声を、近傍音声が占める音量比率が、入力音声に占める近傍音声の音量比率より低減されるように混合するようにしてもよい。これにより、入力音声のうち、近傍音声の音量が不要に大きい場合、収音対象音声が占める音量比率が入力音声に占める収音対象音声の音量比率より増大した混合音声を得ることができる。その結果、収音対象音声が近傍音声に埋もれてしまうことが防止することができる。
【００７２】
〔３〕音声処理装置の動作
以上、本実施形態にかかる音声処理装置１０の機能構成について説明した。次に、図８を参照して、音声処理装置１０において実行される音声処理方法について説明する。図８は、本実施形態にかかる音声処理装置１０において実行される音声処理方法の処理の流れを示したフローチャートである。図８に示したように、まず、音声処理装置１０の音声収音部１１０は音声を収音する（Ｓ１０２）。
【００７３】
次に、音声が入力されたか否かを判定する（Ｓ１０４）。ステップＳ１０４において、入力音声がなかった場合には処理を終了する。ステップＳ１０４において、入力音声があった場合には音声分離部１１２は入力音声を複数の音声に分離する（Ｓ１０６）。ステップＳ１０６において、音声分離部１１２は、所定長のブロック単位で入力音声を分離するようにしてもよい。
【００７４】
そして、同一性判断部１１８は、ステップＳ１０６において所定長のブロック単位で分離された入力音声が複数のブロック間で同一か否かを判断する（Ｓ１０６）。同一性判断部１１８は、ステップＳ１０４において分離されたブロック単位の音声の離散時間における振幅情報の分布、音量、方向情報などを用いて同一性を判断するようにしてもよい。
【００７５】
次に、音声種別推定部１２２は、各ブロックの音量情報を算出し（Ｓ１１０）、各ブロックの音声種別を推定する（Ｓ１１２）。ステップＳ１１２において、音声種別推定部１２２は、操作者の発した音声、被写体の発した音声、操作者の動作に起因するノイズ、インパルス音、定常的な環境音などに音声を分離する。
【００７６】
次に、混合比算出部１２０は、ステップＳ１１２において推定された音声種別に応じて、各音声の混合比を算出する（Ｓ１１４）。混合比算出部１２０は、ステップＳ１１０において算出した音量情報と、ステップＳ１１２において算出した音声種別情報を元に、支配的な音声の音量を低減する混合比を算出する。
【００７７】
そして、ステップＳ１１４において算出された各音声の混合比を用いて、ステップＳ１０６において分離された複数の音声を混合する（Ｓ１１６）。以上、音声処理装置１０において実行される音声処理方法について説明した。
【００７８】
以上説明したように、上記実施形態によれば、音声処理装置１０に入力された入力音声を複数の音源から発生された音声に分離し、分離された複数の音声種別を推定する。そして、推定された音声種別に応じて各音声の混合比を算出し、該混合比で分離された各音声を再混合する。これにより、異なる音源から発せられる音量を独立的にコントロールすることが可能となる。また、所望の音声が、該音量より音量の大きい音声にマスキングされて聴くことが困難となることを防止できる。また、異なる音源毎にマイク等を設置しなくとも、各音源から発せられる音量を所望の音量に調整することが可能となる。さらに、所望の音声の音量が所定長のブロック間で異なる場合でも、ユーザによる音量操作無しに該音量を自動的に調整することが可能となった。
【００７９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００８０】
例えば、上記実施形態では、音声処理装置１０を搭載した撮像装置に本発明を適用して説明したが、本発明はかかる例に限定されない。例えば、撮像機能を有さない音声録音装置全般、またはコミュニケーション装置に適用してもよい。
【図面の簡単な説明】
【００８１】
【図１】本発明の一実施形態にかかる音声処理装置の機能構成を示すブロック図である。
【図２】同実施形態にかかる音声種別推定部の構成を示した機能ブロック図である。
【図３】２つの入力音声の位相差に基づいて入力音声の音源位置を推定する様子を示した説明図である。
【図４】３つの入力音声の位相差に基づいて入力音声の音源位置を推定する様子を示した説明図である。
【図５】２つの入力音声の音量に基づいて入力音声の音源位置を推定する様子を示した説明図である。
【図６】３つの入力音声の音量に基づいて入力音声の音源位置を推定する様子を示した説明図である。
【図７】同実施形態にかかる低減率を微調整する方法について説明する説明図である。
【図８】同実施形態にかかる音声処理装置において実行される音声処理方法の流れを示したフローチャートである。
【符号の説明】
【００８２】
１０      音声処理装置
１１０    音声収音部
１１２    音声分離部
１１４    記録部
１１６    記憶部
１１８    同一性判断部
１２０    混合比算出部
１２２    音声種別推定部
１２４    音声混合部
１３０    音量検出部
１３２    音量検出器
１３４    平均音量検出器
１３６    最大音量検出器
１３８    音質検出部
１４０    スペクトル検出器
１４２    音質検出器
１４４    距離方向推定器
１４６    音声推定器
【図１】
2010112994.tif 000017
【図２】
2010112994.tif 000018
【図３】
2010112994.tif 000019
【図４】
2010112994.tif 000020
【図５】
2010112994.tif 000021
【図６】
2010112994.tif 000022
【図７】
2010112994.tif 000023
【図８】
2010112994.tif 000024