(57)【要約】【課題】複数のユーザにより利用される音声処理装置において、発話者の音声を適切に取得すること。【解決手段】音声処理装置は、マイクにより集音される音声を受け付ける音声受付部と、撮像部により撮像される撮像画像を取得する画像取得部と、前記画像取得部により取得される前記撮像画像から、複数の人物と前記複数の人物のそれぞれの位置とを検出する検出処理部と、前記検出処理部により検出される前記複数の人物のそれぞれの位置に基づいて、前記マイクの前記複数の人物のそれぞれの位置に対する指向性を設定する指向性調整部と、を備え、前記音声受付部は、前記指向性調整部により設定される前記指向性に基づいて前記音声を受け付ける。【選択図】図８
2020178150.tif 000002
【特許請求の範囲】
【請求項１】
マイクにより集音される音声を受け付ける音声受付部と、
撮像部により撮像される撮像画像を取得する画像取得部と、
前記画像取得部により取得される前記撮像画像から、複数の人物と前記複数の人物のそれぞれの位置とを検出する検出処理部と、
前記検出処理部により検出される前記複数の人物のそれぞれの位置に基づいて、前記マイクの前記複数の人物のそれぞれの位置に対する指向性を設定する指向性調整部と、
を備え、
前記音声受付部は、前記指向性調整部により設定される前記指向性に基づいて前記音声を受け付ける、音声処理装置。
【請求項２】
前記検出処理部は、前記音声処理装置から前記複数の人物のそれぞれの位置までの距離を検出し、
前記指向性調整部は、前記距離が長い程、前記指向性の強度を強め、前記距離が短い程、前記指向性の強度を弱める、
請求項１に記載の音声処理装置。
【請求項３】
前記音声受付部により受け付けられた前記音声の音源位置が、前記指向性調整部により前記指向性が設定された位置と同一である場合に、前記音声を記憶する一方、
前記音声受付部により受け付けられた前記音声の音源位置が、前記指向性調整部により前記指向性が設定された位置と異なる場合に、前記音声を削除する、
請求項１又は請求項２に記載の音声処理装置。
【請求項４】
前記指向性調整部は、前記音声受付部により受け付けられた前記音声の音源位置が、前記指向性調整部により前記指向性が設定された位置と同一である場合に、当該音源位置に対する前記指向性の強度を強める、
請求項１から請求項３のいずれか１項に記載の音声処理装置。
【請求項５】
前記指向性調整部は、さらに、前記音源位置とは異なる位置に対する前記指向性の強度を弱める、
請求項４に記載の音声処理装置。
【請求項６】
前記指向性調整部は、前記音声受付部により受け付けられた前記音声の音源が複数存在する場合に、それぞれの前記音源の音源位置に応じて、それぞれの前記音源位置に対する前記指向性を調整する、
請求項１から請求項５のいずれか１項に記載の音声処理装置。
【請求項７】
前記音声受付部により受け付けられた前記音声が、前記検出処理部により検出された前記複数の人物のうちいずれかの人物から発話された音声であるか否かを判定する判定処理部をさらに備え、
前記判定処理部により前記音声受付部により受け付けられた前記音声が前記複数の人物のうちいずれかの人物から発話された音声でないと判定された場合に、前記音声を削除する、
請求項１から請求項６のいずれか１項に記載の音声処理装置。
【請求項８】
前記音声受付部により受け付けられた前記音声の音量に対するゲイン値を設定するゲイン調整部をさらに備え、
前記ゲイン調整部は、前記音声の音源が複数存在する場合に、複数の音源のそれぞれの音声の音量比に基づいて、前記複数の音源のそれぞれの音量に対応する前記ゲイン値を設定する、
請求項１から請求項７のいずれか１項に記載の音声処理装置。
【請求項９】
前記マイクと前記撮像部とをさらに備える、
請求項１から請求項８のいずれか１項に記載の音声処理装置。
【請求項１０】
マイクにより集音される音声を受け付ける音声受付ステップと、
撮像部により撮像される撮像画像を取得する画像取得ステップと、
前記画像取得ステップにより取得される前記撮像画像から、複数の人物と前記複数の人物のそれぞれの位置とを検出する検出ステップと、
前記検出ステップにより検出される前記複数の人物のそれぞれの位置に基づいて、前記マイクの前記複数の人物のそれぞれの位置に対する指向性を設定する指向性調整ステップと、
を含み、
前記音声受付ステップでは、前記指向性調整ステップにより設定される前記指向性に基づいて前記音声を受け付ける、音声処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理装置及び音声処理方法に関する。
【背景技術】
【０００２】
発話者の音声を取得して、音声データを保存したり、他の情報処理装置に送信したりすることが可能な音声処理装置が知られている。この種の音声処理装置は、例えば、複数のユーザが参加する会議、遠隔地をネットワーク接続して複数のユーザが参加するリモート会議などに利用可能である。
【０００３】
例えば特許文献１には、携帯端末の推定部が、カメラで撮影された動画像データ内における撮影対象者の位置と、カメラが撮影に用いるパラメータ情報とに基づき、携帯端末に対する撮影対象者の相対位置を推定し、調整部が相対位置に向けてマイクの指向性を調整する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−４１０９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、前記従来の技術では、携帯端末を利用するユーザ１人を対象として前記指向性を調整するものである。このため、例えば会議などのように音声処理装置に対して複数のユーザが存在する場合には、複数のユーザの中から発話者を確実に特定することが困難である。また複数のユーザが同時に発話者となる場合には、マイクの指向性を適切に調整することが困難である。このように、音声処理装置を複数のユーザが利用する場合に、発話者の音声を適切に取得することは困難である。
【０００６】
本発明の目的は、複数のユーザにより利用される音声処理装置において、発話者の音声を適切に取得することにある。
【課題を解決するための手段】
【０００７】
本発明の一の態様に係る音声処理装置は、マイクにより集音される音声を受け付ける音声受付部と、撮像部により撮像される撮像画像を取得する画像取得部と、前記画像取得部により取得される前記撮像画像から、複数の人物と前記複数の人物のそれぞれの位置とを検出する検出処理部と、前記検出処理部により検出される前記複数の人物のそれぞれの位置に基づいて、前記マイクの前記複数の人物のそれぞれの位置に対する指向性を設定する指向性調整部と、を備え、前記音声受付部は、前記指向性調整部により設定される前記指向性に基づいて前記音声を受け付ける。
【０００８】
本発明の他の態様に係る音声処理方法は、マイクにより集音される音声を受け付ける音声受付ステップと、撮像部により撮像される撮像画像を取得する画像取得ステップと、前記画像取得ステップにより取得される前記撮像画像から、複数の人物と前記複数の人物のそれぞれの位置とを検出する検出ステップと、前記検出ステップにより検出される前記複数の人物のそれぞれの位置に基づいて、前記マイクの前記複数の人物のそれぞれの位置に対する指向性を設定する指向性調整ステップと、を含み、前記音声受付ステップでは、前記指向性調整ステップにより設定される前記指向性に基づいて前記音声を受け付ける。
【発明の効果】
【０００９】
本発明によれば、複数のユーザにより利用される音声処理装置において、発話者の音声を適切に取得することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の実施形態に係る音声処理装置が適用される会議を模式的に示す図である。
【図２】図２は、本発明の実施形態に係る音声処理装置の構成を示す機能ブロック図である。
【図３】図３は、本発明の実施形態に係る音声処理装置において利用されるパラメータ情報の一例を示す図である。
【図４Ａ】図４Ａは、本発明の実施形態に係る音声処理装置において設定される指向性パラメータの設定例を示すグラフである。
【図４Ｂ】図４Ｂは、本発明の実施形態に係る音声処理装置において設定される指向性パラメータの設定例を示すグラフである。
【図４Ｃ】図４Ｃは、本発明の実施形態に係る音声処理装置において設定される指向性パラメータの設定例を示すグラフである。
【図４Ｄ】図４Ｄは、本発明の実施形態に係る音声処理装置において設定される指向性パラメータの設定例を示すグラフである。
【図５】図５は、本発明の実施形態に係る音声処理装置において利用されるパラメータ情報の他の例を示すグラフである。
【図６】図６は、本発明の実施形態に係る音声処理装置において利用されるパラメータ情報の他の例を示すグラフである。
【図７】図７は、本発明の実施形態に係る音声処理装置おける音声処理の初期設定処理の手順の一例を説明するためのフローチャートである。
【図８】図８は、本発明の実施形態に係る音声処理装置おける音声処理の音声入力処理の手順の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照しながら、本発明の実施形態について説明する。尚、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格を有さない。
【００１２】
本発明に係る音声処理装置は、例えばオフィスの会議室に設置され、複数のユーザが参加する会議、遠隔地をネットワーク接続して複数のユーザが参加するリモート会議に適用される。図１には、前記会議が行われる会議室の一例を模式的に示している。図１に示す会議室には、テーブルの上に配置された音声処理装置１と、テーブルを囲うようにして着席した４人の会議参加者であるユーザＡ〜Ｄと、空席の椅子２と、電子ボード、ホワイトボード、黒板などのボード３とが含まれている。
【００１３】
ここで例えば、音声処理装置１に対するユーザＤが位置する方向（角度）を基準（０度）とする。この場合、例えばユーザＣの位置は、音声処理装置１に対して３０度の位置であり、ユーザＢの位置は、音声処理装置１に対して６０度の位置であり、ユーザＡの位置は、音声処理装置１に対して１２０度の位置である。また、椅子２の位置は、音声処理装置１に対して１６０度の位置であり、ボード３の位置は、音声処理装置１に対して２５０度の位置である。また図１では、音声処理装置１からユーザＤまでの距離がＤｄであり、音声処理装置１からユーザＣまでの距離がＤｃであり、音声処理装置１からユーザＢまでの距離がＤｂであり、音声処理装置１からユーザＡまでの距離がＤａであり、音声処理装置１から椅子２までの距離がＤｘであり、音声処理装置１からボード３までの距離がＤｙであるとする。
【００１４】
図１に示す会議において、音声処理装置１は、例えばユーザＡ〜Ｄが発話した音声をマイクで集音し、集音した音声の音声データを記憶部１２に記憶する。記憶された音声データは、例えば会議の議事録データとして保存される。なお、前記会議が、遠隔地の他の会議室とネットワーク接続されたリモート会議である場合には、音声処理装置１は、前記音声データを他の会議室に配置された音声処理装置１に送信したり、他の会議室で発話された音声の音声データを受信したりすることも可能である。
【００１５】
また音声処理装置１は、ユーザの指示に基づいて各種コマンドを実行する機能を備えてもよい。この場合、音声処理装置１は、ユーザの指示に応じたコマンド音声をクラウドサーバ（不図示）に送信し、クラウドサーバにおいて実行されたコマンドに対応する応答（コマンド応答）をクラウドサーバから取得し、当該コマンド応答を音声処理装置１のスピーカから出力させる。
【００１６】
［音声処理装置１］
図２に示すように、音声処理装置１は、制御部１１、記憶部１２、カメラ１３、マイク１４、スピーカ１５、通信インターフェース１６などを備える。音声処理装置１は、例えば表示装置、又はパーソナルコンピュータのような情報処理装置であってもよい。音声処理装置１は、本発明の音声処理装置の一例である。本発明の音声処理装置は、カメラ１３、マイク１４、及びスピーカ１５が省略されたサーバであってもよい。
【００１７】
通信インターフェース１６は、音声処理装置１を有線又は無線でネットワークに接続し、前記ネットワークを介して他の外部機器（例えば他の音声処理装置１）との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。
【００１８】
スピーカ１５は、音声処理装置１が取得する音声を外部に出力する。本発明の音声処理装置は、スピーカ１５を備えていなくてもよい。
【００１９】
マイク１４は、音声処理装置１の周囲の音声を集音する。マイク１４は、音声処理装置１の周囲３６０度の範囲の音声を受信可能である。またマイク１４は、音声を集音する際に音源方向の指向性を高める機能（ビームフォーミング）に対応しており、制御部１１により設定される指向性パラメータの設定値に基づいて音声を集音する。
【００２０】
カメラ１３は、被写体の画像を撮像してデジタル画像データとして出力するデジタルカメラである。例えばカメラ１３は、音声処理装置１の上面に設けられ、音声処理装置１の周囲３６０度の範囲を撮像可能である。図１に示す例では、カメラ１３は、会議室の室内全体を撮像することが可能である。カメラ１３は、本発明の撮像部の一例である。
【００２１】
記憶部１２は、各種の情報を記憶する半導体メモリ、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）などを含む不揮発性の記憶部である。例えば、記憶部１２には、制御部１１に後述の音声処理（図７及び図８参照）を実行させるための音声処理プログラムなどの制御プログラムが記憶されている。例えば、前記音声処理プログラムは、ＵＳＢ、ＣＤ又はＤＶＤ（何れも登録商標）などのコンピュータ読取可能な記録媒体に非一時的に記録されており、音声処理装置１に電気的に接続されるＵＳＢドライブ、ＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部１２に記憶される。前記音声処理プログラムは、ネットワークを介して外部機器からダウンロードされて記憶部１２に記憶されてもよい。
【００２２】
また、記憶部１２には、画像情報１２１と、パラメータ情報１２２とが記憶されている。画像情報１２１には、カメラ１３により撮像される撮像データが記憶される。また、記憶部１２には、マイク１４により集音された音声が制御部１１の指示に従って記憶される。
【００２３】
図３にはパラメータ情報１２２の一例を示している。パラメータ情報１２２には、撮像画像に含まれる検出対象ごとに、角度、距離、指向性パラメータ、ゲインパラメータなどの情報が登録される。「検出対象」は、図１に示す例では、人（ユーザＡ〜Ｄ）、椅子２、ボード３である。前記検出対象は、予め記憶部に記憶されてもよい。前記検出対象の他の例としては、会議室に存在するテーブル、会議室の壁、表示パネルなどが挙げられる。「角度」は、音声処理装置１から前記検出対象の位置に向かう方向の前記基準（０度）に対する角度である。「距離」は、音声処理装置１（例えばマイク１４）から前記検出対象の位置までの距離である。前記検出対象、前記角度及び前記距離は、制御部１１（対象検出部１１２）により検出される。
【００２４】
「指向性パラメータ」は、マイク１４の指向性（ビームフォーミング）の強度に対応する設定値である。例えば、集音対象の発話者に対して指向性パラメータが強い値に設定され、発話者以外のユーザに対して指向性パラメータが弱い値に設定される。また指向性パラメータは、前記距離に応じた値に設定される。例えば、音声処理装置１からユーザまでの距離が長い程、指向性が強くなるように指向性パラメータが設定され、音声処理装置１からユーザまでの距離が短い程、指向性が弱くなるように指向性パラメータが設定される。指向性パラメータは、制御部１１（指向性調整部１１３）により設定される。
【００２５】
「ゲインパラメータ」は、マイク１４を介して音声処理装置１に入力された音声の音量に対する調整値（ゲイン値）である。例えば一人の発話者の音声が入力された場合、ゲインパラメータは１００％に設定される（図５参照）。また、例えば二人の発話者の音声が入力されて、一方の発話者（例えばユーザＣ）及び他方の発話者（例えばユーザＢ）の音量比が７：３である場合、ユーザＣの音声に対してゲインパラメータは３０％に設定され、ユーザＢの音声に対してゲインパラメータは７０％に設定される（図６参照）。ゲインパラメータは、制御部１１（ゲイン調整部１１６）により設定される。
【００２６】
制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムを予め記憶する。前記ＲＡＭは、各種の情報を記憶し、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部１１は、前記ＲＯＭ又は記憶部１２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより音声処理装置１を制御する。
【００２７】
具体的に、制御部１１は、画像取得部１１１、対象検出部１１２、指向性調整部１１３、音声受付部１１４、判定処理部１１５、ゲイン調整部１１６などの各種の処理部を含む。尚、制御部１１は、前記ＣＰＵで前記音声処理プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部１１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。尚、前記音声処理プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。
【００２８】
画像取得部１１１は、カメラ１３により撮像された撮像画像を取得する。画像取得部１１１は、本発明の画像取得部の一例である。例えば、会議室においてカメラ１３により音声処理装置１の周囲が撮像された場合に、画像取得部１１１は、音声処理装置１の周囲の撮像画像を取得する。例えば画像取得部１１１は、カメラ１３により所定のフレームレートで撮像されたフレーム画像を順次取得する。画像取得部１１１は、取得した撮像画像の画像データを記憶部１２に記憶する。
【００２９】
対象検出部１１２は、画像取得部１１１により取得される前記撮像画像に基づいて、所定の検出対象を検出する。対象検出部１１２は、本発明の検出処理部の一例である。例えば対象検出部１１２は、前記撮像画像を画像解析して、人物（ユーザＡ〜Ｄ）、椅子２、又はボード３を検出する。また、対象検出部１１２は、検出した前記検出対象の位置（前記角度及び前記距離）を検出する。対象検出部１１２は、検出した前記検出対象、前記角度、及び前記距離の情報を記憶部１２のパラメータ情報１２２（図３参照）に登録する。なお、検出した撮像画像から所定の物体を検出する方法、及び、検出した前記物体の位置（角度、距離）を検出する方法は、周知の技術を適用することができる。
【００３０】
指向性調整部１１３は、対象検出部１１２により検出された複数の人物のそれぞれの位置に対するマイク１４の指向性を設定（調整）する。指向性調整部１１３は、本発明の指向性調整部の一例である。具体的には、指向性調整部１１３は、マイク１４の指向性パラメータを設定する。例えば、初期設定処理（初期設定モード）（図７参照）において、指向性調整部１１３は、対象検出部１１２により検出された検出対象の位置（角度、距離）に基づいて指向性パラメータを設定する。例えば、指向性調整部１１３は、音声処理装置１のマイク１４からの距離を「近距離」、「中距離」、「長距離」の３段階に区別し、当該距離の段階に応じて指向性パラメータを「弱」、「中」、「強」の３段階で設定する。なお、指向性調整部１１３は、指向性パラメータを、前記距離に応じて追従的に変化するように設定してもよい。
【００３１】
図４Ａ及び図４Ｂは、前記初期設定処理において設定される指向性パラメータの一例を示すグラフである。例えば、図１に示す会議室について、対象検出部１１２により、人物（ユーザＡ〜Ｄ）、椅子２、及びボード３と、それぞれの位置（角度、距離）が検出されると、指向性調整部１１３は、４人のユーザＡ〜Ｄの距離に応じた指向性パラメータを設定する。具体的には、指向性調整部１１３は、音声処理装置１からユーザまでの距離が長い程、指向性パラメータが強くなるように設定し、音声処理装置１からユーザまでの距離が短い程、指向性パラメータが弱くなるように設定する。ここでは、角度「０度」かつ距離「Ｄｄ」のユーザＤに対して、指向性パラメータを「Ｂｐ１」（弱）に設定し、角度「３０度」かつ距離「Ｄｃ」のユーザＣに対して、指向性パラメータを「Ｂｐ２」（中）に設定し、角度「６０度」かつ距離「Ｄｂ」のユーザＢに対して、指向性パラメータを「Ｂｐ４」（強）に設定し、角度「１２０度」かつ距離「Ｄａ」のユーザＡに対して、指向性パラメータを「Ｂｐ３」（強）に設定する。ここで、距離は、「Ｄｂ＞Ｄａ＞Ｄｃ＞Ｄｄ」の関係を満たす。このため、指向性パラメータ距離は、「Ｂｐ４＞Ｂｐ３＞Ｂｐ２＞Ｂｐ１」の関係を満たす。また、指向性調整部１１３は、椅子２及びボード３については、指向性パラメータを「０」（ノイズ用パラメータ）に設定する。指向性調整部１１３は、設定した各指向性パラメータをパラメータ情報１２２（図３参照）に登録する。
【００３２】
音声受付部１１４は、マイク１４により集音される音声を受け付ける。音声受付部１１４は、本発明の音声受付部の一例である。例えば、音声受付部１１４は、対象検出部１１２により検出された複数の人物から発話される音声を受け付ける。また、音声受付部１１４は、例えば、会議に参加していない第三者が発話した音声、前記人物及び第三者が発話した音声が物体（椅子２、ボード３など）に反射した音声、その他の雑音なども受け付ける。すなわち、発話者の音声、第三者の音声、反射音声、雑音などは、音源となる。なお、これら第三者の音声、反射音声、雑音などの音源位置は、対象検出部１１２により検出される人物の位置とは異なる位置となる。
【００３３】
音声受付部１１４は、前記初期設定処理（初期設定モード）において複数の人物（ユーザＡ〜Ｄ）のそれぞれの位置に対する指向性が設定された後、音声入力モードに移行すると、音声の受け付けを開始する。音声受付部１１４は、指向性調整部１１３により設定された前記指向性に基づいて前記音声を受け付ける。音声受付部１１４が音声を受け付けると、指向性調整部１１３は、当該音声の音源位置に基づいて、初期設定処理において設定した指向性を再調整する。具体的には、指向性調整部１１３は、前記音源位置に基づいて、前記指向性パラメータを再設定する。具体的には、対象検出部１１２により検出される音声処理装置１から複数の音源位置それぞれまでの距離に応じて、前記指向性パラメータを再設定して前記指向性を調整する。例えば指向性調整部１１３は、前記距離が長い程、前記指向性が強くなるように前記指向性パラメータを再設定し、前記距離が短い程、前記指向性が弱くなるように前記指向性パラメータを再設定する。
【００３４】
例えば、指向性調整部１１３は、音声受付部１１４により受け付けられた音声の音源位置が、指向性調整部１１３により前記指向性が設定された位置（図３参照）と同一である場合に、当該音源位置に対する前記指向性の強度を強める。例えば、図３及び図４Ｂに示すように指向性パラメータが設定された場合において、ユーザＢが発話した場合、指向性調整部１１３は、音源位置であるユーザＢの位置がパラメータ情報１２２に登録された位置（角度「６０度」、距離「Ｄｂ」）と同一であるため、指向性調整部１１３は、例えば図４Ｃに示すように、当該音源位置に対する前記指向性パラメータを「Ｂｐ４」から最大値（「Ｂｐｍａｘ」）に再設定する。この場合、指向性調整部１１３は、さらに、前記音源位置とは異なる位置に対する前記指向性の強度を弱める。例えば、指向性調整部１１３は、前記音源位置とは異なるユーザＡ，Ｃ，Ｄの位置に対する前記指向性パラメータを弱い値（例えば、「Ｂｐ３１」、「Ｂｐ２１」、「Ｂｐ１１」）に再設定する。指向性調整部１１３は、前記指向性パラメータを再設定すると、パラメータ情報１２２を更新する（図５参照）。
【００３５】
さらに、指向性調整部１１３は、音声受付部１１４により受け付けられた前記音声の音源が複数存在する場合に、それぞれの前記音源の音源位置に応じて、それぞれの前記音源位置に対する前記指向性を調整する。例えば、図４Ｃに示すようにユーザＢが発話中にユーザＣが発話した場合、前記音源は、ユーザＢの位置とユーザＣの位置の複数存在することになる。この場合、指向性調整部１１３は、ユーザＢの位置及びユーザＣの位置に応じて、それぞれの音源位置に対する指向性を調整（割り振る）する。具体的には、音声処理装置１からの距離が長いユーザＢの音源位置に対する前記指向性パラメータを「Ｂｐｍａｘ」から「Ｂｐ４２」に再設定し、音声処理装置１からの距離が短いユーザＣの音源位置に対する前記指向性パラメータを「Ｂｐ２１」から「Ｂｐ２２」に再設定する（図４Ｄ参照）。ここで、「Ｂｐ２２」は、「Ｂｐ４２」より弱い（小さい）値である。指向性調整部１１３は、前記指向性パラメータを再設定すると、パラメータ情報１２２を更新する（図６参照）。なお、ここではユーザＡ及びユーザＤは発話していないため、「Ｂｐ１２」は「Ｂｐ１１」（図５参照）と同一の値であってもよく、「Ｂｐ３２」は「Ｂｐ３１」（図５参照）と同一の値であってもよい。
【００３６】
ここで、音声受付部１１４は、受け付けた前記音声の音源位置が、指向性調整部１１３により前記指向性が設定された位置と同一である場合に、前記音声を記憶部１２に記憶する。一方、音声受付部１１４は、受け付けた前記音声の音源位置が、指向性調整部１１３により前記指向性が設定された位置と異なる場合には、前記音声を削除する。
【００３７】
判定処理部１１５は、音声受付部１１４により受け付けられた前記音声が、対象検出部１１２により検出された前記複数の人物のうちいずれかの人物から発話された音声であるか否かを判定する。すなわち、判定処理部１１５は、撮像画像に基づいて発話者を特定する。例えば、判定処理部１１５は、撮影画像に含まれる人物の口の動きを検出し、口の動きを検出した方向からの音声をマイク１４が集音した場合に、当該方向の人物を発話者として特定し、当該音声を当該人物から発話された音声であると判定する。これにより、判定処理部１１５は、例えば会議に参加するユーザＡ〜Ｄが発話した音声であるか、第三者の音声、反射音、及びその他の雑音であるかを判定することができる。判定処理部１１５は、本発明の判定処理部の一例である。
【００３８】
ゲイン調整部１１６は、音声処理装置１に入力された音声の音量に対するゲイン値（ゲインパラメータ）を設定する。ゲイン調整部１１６は、設定したゲインパラメータをパラメータ情報１２２に登録する。具体的には、ゲイン調整部１１６は、前記音声の音源が複数存在する場合に、複数の音源のそれぞれの音声の音量比に基づいて、前記複数の音源のそれぞれの音量に対応するゲインパラメータを設定する。例えば、図４Ｃに示すように、一人のユーザＢが発話している場合、ゲイン調整部１１６は、ユーザＢの音声に対するゲインパラメータを「１００％」に設定する（図５参照）。また図４Ｄに示すように、二人のユーザＢ及びユーザＣが発話している場合であって、ユーザＢ及びユーザＣそれぞれの音声の音量比が「３：７」である場合、ゲイン調整部１１６は、ユーザＢの音声に対するゲインパラメータを「７０％」に設定し、ユーザＣの音声に対するゲインパラメータを「３０％」に設定する（図６参照）。このように、ゲイン調整部１１６は、複数の発話者それぞれの音声に対するゲインパラメータを、複数の発話者それぞれの音声の音量比に反比例する値に設定する。これにより、記憶部１２に記憶される音声の音量を均一化することができる。なお、ゲイン調整部１１６は、音源が発話者でない場合、すなわち音源が椅子２、ボード３などである場合、ゲインパラメータを「０」に設定する。
【００３９】
［音声処理］
以下、図７及び図８を参照しつつ、音声処理装置１の制御部１１によって実行される音声処理の手順の一例について説明する。前記音声処理には、初期設定モードにおいて初期設定を行う初期設定処理（図７参照）と、初期設定後の音声入力モードにおいて音声入力を行う音声入力処理とが含まれる（図８参照）。例えば、音声処理装置１の制御部１１は、音声処理装置１の電源がオン状態になることにより前記初期設定処理プログラムの実行を開始することによって、前記初期設定処理の実行を開始する。
【００４０】
なお、本発明は、前記音声処理に含まれる一又は複数のステップを実行する音声処理方法の発明として捉えることができる。また、ここで説明する前記音声処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記音声処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部１１によって前記音声処理における各ステップが実行される場合を例に挙げて説明するが、他の実施形態では、複数のプロセッサーによって前記音声処理における各ステップが分散して実行されてもよい。
【００４１】
先ず図７を参照しつつ、前記初期設定処理の手順の一例について説明する。
【００４２】
ステップＳ１１において、制御部１１は、カメラ１３により撮像される撮像画像を取得したか否かを判定する。例えば、会議室（図１参照）においてカメラ１３により音声処理装置１の周囲が撮像された場合に、制御部１１は、音声処理装置１の周囲の撮像画像を取得する。制御部１１により撮像画像が取得された場合（Ｓ１１：ＹＥＳ）、処理はステップＳ１２に移行する。ステップＳ１１は、本発明の画像取得ステップの一例である。
【００４３】
ステップＳ１２において、制御部１１は、人物を検出したか否かを判定する。具体的には、制御部１１は、前記撮像画像を画像解析して、人物、椅子２、ボード３などの所定の検出対象を検出する。制御部１１により人物が検出された場合（Ｓ１２：ＹＥＳ）、処理はステップＳ１３に移行する。一方、制御部１１により人物が検出されなかった場合（Ｓ１２：ＮＯ）、すなわち前記撮像画像に人物が含まれない場合、処理はステップＳ１５に移行する。
【００４４】
ステップＳ１３において、制御部１１は、人物の位置を検出する。具体的には、制御部１１は、音声処理装置１から、検出した人物までの距離及び角度を検出する。制御部１１は、検出した検出対象（「人物」）、距離、及び角度を撮像画像に対応付けてパラメータ情報１２２（図３参照）に登録する。ステップＳ１２、Ｓ１３は、本発明の検出ステップの一例である。
【００４５】
次にステップＳ１４において、制御部１１は、検出された人物の位置に対するマイク１４の指向性を設定（調整）する。具体的には、制御部１１は、検出された人物の位置（角度、距離）に基づいて指向性パラメータを設定する。制御部１１は、複数の人物を検出した場合、各人物の位置に応じた指向性パラメータを設定する（図４Ｂ参照）。制御部１１は、設定した指向性パラメータを撮像画像に対応付けてパラメータ情報１２２（図３参照）に登録する。
【００４６】
一方、ステップＳ１５において、制御部１１は、物体の位置を検出する。具体的には、制御部１１は、音声処理装置１から、検出した物体（椅子２、ボード３など）までの距離及び角度を検出する。制御部１１は、検出した検出対象（「椅子」、「ボード」）、距離、及び角度を撮像画像に対応付けてパラメータ情報１２２（図３参照）に登録する。
【００４７】
次にステップＳ１６において、制御部１１は、検出された物体の位置に対するマイク１４の指向性を設定（調整）する。具体的には、制御部１１は、物体（「椅子」、「ボード」）の位置に対して、指向性パラメータを、ノイズ用パラメータである「０」に設定する（図３参照）。制御部１１は、設定したノイズ用パラメータを撮像画像に対応付けてパラメータ情報１２２（図３参照）に登録する。ステップＳ１４、Ｓ１６は、本発明の指向性調整ステップの一例である。
【００４８】
以上のようにして、前記初期設定処理が行われる。前記初期設定処理が完了すると、以下に示す音声入力処理が行われる。図８を参照しつつ、前記音声入力処理の手順の一例について説明する。
【００４９】
ステップＳ２１において、制御部１１は、マイク１４を介して音声を受け付けたか否かを判定する。制御部１１により音声が受け付けられた場合（Ｓ２１：ＹＥＳ）、処理はステップＳ２２に移行する。ステップＳ２１は、本発明の音声受付ステップの一例である。
【００５０】
ステップＳ２２において、制御部１１は、受け付けた前記音声の音源位置（距離、角度）が、指向性パラメータが設定された位置（距離、角度）（図３参照）と同一であるか否かを判定する。制御部１１により前記音源位置が前記指向性パラメータの設定位置と同一であると判定されると（Ｓ２２：ＹＥＳ）、処理はステップＳ２３に移行する。一方、前記音源位置が前記指向性パラメータの設定位置と同一でないと判定されると（Ｓ２２：ＮＯ）、処理はステップＳ２９に移行する。
【００５１】
ステップＳ２３において、制御部１１は、前記音源位置の音声が発話者による音声であるか否かを判定する。制御部１１により前記音源位置の音声が発話者による音声であると判定された場合（Ｓ２３：ＹＥＳ）、処理はステップＳ２４に移行する。一方、制御部１１により前記音源位置の音声が発話者による音声でないと判定された場合（Ｓ２３：ＮＯ）、処理はステップＳ２９に移行する。
【００５２】
ステップＳ２４において、制御部１１は、前記音源位置が、既に受け付けた音声の音源位置と同一であるか否かを判定する。例えば、一人のユーザＢが発話を継続して行っている場合、前記音源位置であるユーザＢの位置は、既に受け付けられているユーザＢの音声の音源位置と同一である。これに対して、ユーザＢが発話しているときにユーザＣが発話した場合には、前記音源位置であるユーザＣの位置は、既に受け付けられているユーザＢの音声の音源位置と異なる。制御部１１により前記音源位置が既に受け付けた音声の音源位置と同一であると判定された場合（Ｓ２４：ＹＥＳ）、処理はステップＳ２５に移行する。一方、制御部１１により前記音源位置が既に受け付けた音声の音源位置と同一でないと判定された場合（Ｓ２４：ＮＯ）、処理はステップＳ２７に移行する。
【００５３】
ステップＳ２５において、制御部１１は、一つの音源である一人のユーザの音源の音源位置に対する指向性パラメータを設定する。例えば図４Ｃに示すように、制御部１１は、ユーザＢの音源位置に対する前記指向性パラメータを「Ｂｐ４」から最大値（「Ｂｐｍａｘ」）に再設定して、当該音源位置に対する指向性の強度を強める。また、制御部１１は、前記音源位置とは異なる位置に対する前記指向性の強度を弱める。制御部１１は、設定した前記指向性パラメータをパラメータ情報１２２に登録する（図５参照）。
【００５４】
次にステップＳ２６において、制御部１１は、一つの音源である一人のユーザの音声の音量に対するゲインパラメータを設定する。例えば図４Ｃに示すように、制御部１１は、一人のユーザＢの音声に対するゲインパラメータを「１００％」に設定する。ゲイン調整部１１６は、設定したゲインパラメータをパラメータ情報１２２に登録する（図５参照）。その後、処理はステップＳ２１に戻る。
【００５５】
ステップＳ２７において、制御部１１は、複数の音源である複数のユーザの音源の音源位置のそれぞれに対する指向性パラメータを設定する。例えば図４Ｄに示すように、制御部１１は、音声処理装置１からの距離が長いユーザＢの音源位置に対する前記指向性パラメータを「Ｂｐｍａｘ」から「Ｂｐ４２」に弱め、音声処理装置１からの距離が短いユーザＣの音源位置に対する前記指向性パラメータを「Ｂｐ２１」から「Ｂｐ２２」に強める（図４Ｄ参照）。制御部１１は、ユーザＣの位置に対する指向性を、ユーザＢの位置に対する指向性より弱く設定する。制御部１１は、設定した各指向性パラメータをパラメータ情報１２２に登録する（図６参照）。
【００５６】
次にステップＳ２８において、制御部１１は、複数の音源である複数のユーザの音声のそれぞれの音量に対するゲインパラメータを設定する。例えば図４Ｄに示すように、制御部１１は、二人のユーザＢ及びユーザＣが発話している場合であって、ユーザＢ及びユーザＣそれぞれの音声の音量比が「３：７」である場合、制御部１１は、ユーザＢの音声に対するゲインパラメータを「７０％」に設定し、ユーザＣの音声に対するゲインパラメータを「３０％」に設定する（図６参照）。制御部１１は、設定した各ゲインパラメータをパラメータ情報１２２に登録する（図６参照）。その後、処理はステップＳ２１に戻る。
【００５７】
ステップＳ２９において、制御部１１は、受け付けた音声をノイズとして判定して削除する。ここで、ステップＳ２９において処理される前記音声は、第三者の音声、反射音、その他の雑音である。制御部１１は、前記音声の音源位置に対して指向性パラメータを「０」（ノイズ用パラメータ）に設定し、指向性を持たせない。そして、制御部１１は、前記音声を記憶部１２に記憶するなどの入力処理を行わず、音声処理装置１から削除する。その後、処理はステップＳ２１に戻る。以上のようにして前記音声入力処理が行われ、制御部１１は、音声を受け付けるたびに前記音声入力処理を繰り返す。
【００５８】
以上のように、本実施形態に係る音声処理装置１によれば、会議などのように音声処理装置に対して複数のユーザが存在する場合において、複数のユーザの中から発話者を確実に特定することが可能である。また複数のユーザが同時に発話者となる場合であっても、各発話者の位置（距離、角度）に応じてマイクの指向性を適切に調整することができるため、発話者の音声を適切に取得することが可能となる。また、音声処理装置１の周囲の人物の位置とは異なる位置から取得する音声の方向に対しては指向性を持たせず、当該音声をノイズと判定して削除するため、不要な音声の入力を防ぐことができ、発話者の音声を適切に取得することが可能となる。
【００５９】
尚、本発明の音声処理装置は、各請求項に記載された発明の範囲において、以上に示された各実施形態を自由に組み合わせること、或いは各実施形態を適宜、変形又は一部を省略することによって構成されることも可能である。
【符号の説明】
【００６０】
１      ：音声処理装置
１１    ：制御部
１２    ：記憶部
１３    ：カメラ
１４    ：マイク
１５    ：スピーカ
１１１  ：画像取得部
１１２  ：対象検出部
１１３  ：指向性調整部
１１４  ：音声受付部
１１５  ：判定処理部
１１６  ：ゲイン調整部
１２１  ：画像情報
１２２  ：パラメータ情報
【図１】
2020178150.tif 000003
【図２】
2020178150.tif 000004
【図３】
2020178150.tif 000005
【図４Ａ】
2020178150.tif 000006
【図４Ｂ】
2020178150.tif 000007
【図４Ｃ】
2020178150.tif 000008
【図４Ｄ】
2020178150.tif 000009
【図５】
2020178150.tif 000010
【図６】
2020178150.tif 000011
【図７】
2020178150.tif 000012
【図８】
2020178150.tif 000013