(57)【要約】【課題】カメラにより撮影された撮像画像を用いて、発話者の体格や着座位置などにより変化する話者方向を特定し、マイクロホンの指向性方向を適切に制御することで音声認識の精度を向上させること。【解決手段】音声処理装置１００は、カメラ１０４により撮影された撮像画像を取得し、その撮像画像の中から発話者を検出する。そして、撮像画像の中から発話者が検出された場合、複数のマイクロホンを用いて実現される仮想的マイクロホン１０１に対する発話者の方向を特定し、特定された方向にマイクロホン１０１の指向性方向を制御する。これにより、マイクロホン１０１の指向性方向を話者方向に適切に向けることができる。【選択図】図１
2009225379.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロホンと、
撮像画像を取得する取得手段と、
前記取得手段によって取得された撮像画像の中から発話者を検出する検出手段と、
前記検出手段によって前記発話者が検出された場合、前記マイクロホンに対する前記発話者の方向を特定する特定手段と、
前記特定手段によって特定された方向に前記マイクロホンの指向性方向を制御する指向性制御手段と、
を有することを特徴とする音声処理装置。
【請求項２】
前記特定手段は、
前記撮像画像を撮影したカメラの設置位置と前記マイクロホンの設置位置とに基づいて、前記カメラに対する前記発話者の方向から前記マイクロホンに対する前記発話者の方向を特定することを特徴とする請求項１に記載の音声処理装置。
【請求項３】
前記検出手段は、
前記撮像画像の中から発話者の口元を検出し、
前記特定手段は、
前記検出手段によって検出された前記発話者の口元の前記マイクロホンに対する方向を特定することを特徴とする請求項１または２に記載の音声処理装置。
【請求項４】
前記指向性制御手段は、
前記マイクロホンに入力された音声信号のうち、前記特定手段によって特定された方向からの音声信号の感度を高くすることを特徴とする請求項１〜３のいずれか一つに記載の音声処理装置。
【請求項５】
前記指向性制御手段は、
前記マイクロホンに入力された音声信号のうち、前記特定手段によって特定された方向を除く他の方向からの音声信号の感度を抑制することを特徴とする請求項１〜４のいずれか一つに記載の音声処理装置。
【請求項６】
前記指向性制御手段は、
前記検出手段によって前記発話者が検出されなかった場合、前記マイクロホンの指向性方向を予め設定された標準方向に制御することを特徴とする請求項１〜５のいずれか一つに記載の音声処理装置。
【請求項７】
複数のマイクロホンの指向性方向を制御する音声処理方法において、
撮像画像を取得する取得工程と、
前記取得工程によって取得された撮像画像の中から発話者を検出する検出工程と、
前記検出工程によって前記発話者が検出された場合、前記マイクロホンに対する前記発話者の方向を特定する特定工程と、
前記特定工程によって特定された方向に前記マイクロホンの指向性方向を制御する指向性制御工程と、
を含むことを特徴とする音声処理方法。
【請求項８】
複数のマイクロホンの指向性方向を制御するコンピュータを、
撮像画像を取得する取得手段、
前記取得手段によって取得された撮像画像の中から発話者を検出する検出手段、
前記検出手段によって前記発話者が検出された場合、前記マイクロホンに対する前記発話者の方向を特定する特定手段、
前記特定手段によって特定された方向に前記マイクロホンの指向性方向を制御する指向性制御手段、
として機能させることを特徴とする音声処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数のマイクロホン素子（以下、単に「マイクロホン」と称す。）からなるマイクロホンアレイを有する音声処理装置、音声処理方法、音声処理プログラムに関するものである。
【背景技術】
【０００２】
従来からカーナビゲーションシステムやテレビ会議システムなどで、ユーザの音声による指示を入力として受け付けるものがある。このとき、入力される音声にノイズ（雑音、他のユーザの声など）が含まれないほうが、音声の認識率を向上させることができる。このため、いかにノイズの少ない音声を得ることができるかが重要となっている。
【０００３】
そこで、複数のマイクロホンに入力された音声信号を合成することで、特定の方向からの音声を強めて、それ以外の方向からの音声を抑制する技術が提供されている（たとえば、下記特許文献１または２参照。）。これをカーナビゲーションシステムに適用すると、目的地設定などの指示をおこなう運転者が発した音声だけを強調し、周囲の雑音や助手席の人が発した音声を抑制することができる。
【０００４】
【特許文献１】特開２００７−３１８５２８号公報
【特許文献２】特開２００７−１８３３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１または２に記載の従来技術によれば、話者の体格や着座位置の違いなどを吸収するため、マイクロホンの指向性は固定でかつ比較的広い範囲にとる必要がある。一方で、音声認識の観点からすると、話者方向に対して、できる限り狭い範囲に指向性を絞ることが望ましい。
【０００６】
このようなことから、従来技術では、音声認識の向上につながる指向性の狭域性と、話者の体格や着座位置の違いに対する許容性との相反する要件を両立して満たすことが難しかった。このため、話者方向にピンポイントで指向性を絞ることができず、周囲の雑音や他の人の音声を拾ってしまい、音声指示の誤認識を引き起こすという問題があった。
【０００７】
この発明は、上述した従来技術による問題点を解消するため、カメラにより撮影された撮像画像を用いて動的に変化する話者方向を特定することにより、マイクロホンの指向性方向を適切に制御し音声認識の精度を向上させることができる音声処理装置、音声処理方法、音声処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するため、この音声処理装置は、複数のマイクロホンと、撮像画像を取得する取得手段と、前記取得手段によって取得された撮像画像の中から発話者を検出する検出手段と、前記検出手段によって前記発話者が検出された場合、前記マイクロホンに対する前記発話者の方向を特定する特定手段と、前記特定手段によって特定された方向に前記マイクロホンの指向性方向を制御する指向性制御手段と、を有することを要件とする。
【０００９】
この音声処理装置によれば、撮像画像から特定された話者方向にマイクロホンの指向性方向を制御することができる。
【発明の効果】
【００１０】
この音声処理装置、音声処理方法、音声処理プログラムによれば、カメラにより撮影された撮像画像を用いて動的に変化する話者方向を特定することにより、マイクロホンの指向性方向を適切に制御し音声認識の精度を向上させることができるという効果を奏する。
【発明を実施するための最良の形態】
【００１１】
以下に添付図面を参照して、この音声処理装置、音声処理方法、音声処理プログラムの好適な実施の形態を詳細に説明する。なお、本明細書において、音声処理プログラムとは、音声処理装置にインストールされたプログラムである。
【００１２】
（音声処理装置の外観）
まず、本実施の形態にかかる音声処理装置について説明する。図１は、本実施の形態にかかる音声処理装置の外観を示す斜視図である。図１において、音声処理装置１００の筐体１１０は、たとえば、直方体形状である。
【００１３】
筐体１１０の前面１２０には、マイクロホンアレイ１０１を構成するマイクロホン１０１ａ，１０１ｂの数（図１では２個）に応じた複数の開口穴１０２ａ，１０２ｂが形成されている。これら開口穴１０２ａ，１０２ｂは、筐体１１０の長手方向に沿って一列に形成されている。また、開口穴１０２ａ，１０２ｂは、内部で閉塞しており、背面１３０を貫通しない。
【００１４】
さらに、マイクロホン１０１ａ，１０１ｂは、各開口穴１０２ａ，１０２ｂの略中央に配置されている。なお、マイクロホン１０１ａ，１０１ｂの設置位置は、開口穴１０２ａ，１０２ｂの内部において、開口１０３ａ，１０３ｂから望む位置に配置されていればよい。
【００１５】
また、筐体１１０の前面１２０には、カメラ１０４が設けられている。カメラ１０４は、各マイクロホン１０１ａ，１０１ｂから略等距離の位置に配置されている。カメラ１０４は、指定された画角の画像を撮影する。具体的には、たとえば、カメラ１０４は、音声処理装置１００が搭載された車両内部（搭乗者の挙動など）の画像を撮影する。画像は静止画あるいは動画のどちらでもよい。
【００１６】
また、カメラ１０４は、夜間での撮影を可能とする赤外線カメラであってもよい。さらに、撮影時に、筐体１１０の前面１２０に設けられた赤外線ＬＥＤ１０５により被写体に赤外線を照射することにより、撮影能力を向上させることができる。カメラ１０４は、撮影した画像を画像Ｉ／Ｆ（不図示）を介して、たとえば、図２に示すフラッシュメモリ２０４に出力する。
【００１７】
なお、本実施の形態では、カメラ１０４を音声処理装置１００と一体に設けることとしたが、音声処理装置１００と別体に設ける構成としてもよい。この場合、カメラ１０４によって撮影された画像、もしくはカメラ１０４にて撮影された画像から検出された発話者の方向の情報は、カメラ１０４から直接または外部装置を介して音声処理装置１００に出力されることとなる。
【００１８】
（音声処理装置のハードウェア構成）
つぎに、本実施の形態にかかる音声処理装置１００のハードウェア構成について説明する。図２は、音声処理装置のハードウェア構成を示すブロック図である。
【００１９】
図２において、音声処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３と、フラッシュメモリ２０４と、通信Ｉ／Ｆ（インターフェース）２０５と、ユーザＩ／Ｆ２０６と、を備えている。また、各構成部はバス２００によってそれぞれ接続されている。
【００２０】
ここで、ＣＰＵ２０１は、音声処理装置１００の全体の制御を司る。ＲＯＭ２０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。フラッシュメモリ２０４は、ＣＰＵ２０１の制御で書き込まれたデータを記憶する。
【００２１】
通信Ｉ／Ｆ２０５は、外部装置（たとえば、図３に示すナビゲーション装置３１０）からのデータの入出力を制御する。ユーザＩ／Ｆ２０６は、ユーザからの文字、数字、各種指示などの入力を制御する。
【００２２】
（本実施の形態の概要）
つぎに、本実施の形態の概要について説明する。以下において、本実施の形態では、カーナビゲーションシステムの音声認識に音声処理装置１００を適用した場合を例に挙げて説明する。ここで、音声処理装置１００が搭載された車両内部について説明する。図３は、音声処理装置が搭載された車両内部の一例を示す説明図である。
【００２３】
図３において、車両内部は、運転席シート３０１と、助手席シート３０２と、を有しており、運転席シート３０１と助手席シート３０２の周囲には、ナビゲーション装置３１０が設けられている。また、車両の天井部３２０には、音声処理装置１００（図１参照）が設けられている。なお、ナビゲーション装置３１０は、音声指示による各種操作が可能な一般的な経路探索装置である。
【００２４】
ここで、本実施の形態では、複数個のマイクロホン１０１ａ，１０１ｂを使って仮想的なマイクロホン１０１における指向性を作り出すものであるので、図解の上では、指向性を制御される一つのマイクロホン１０１を考えることとする。仮想的なマイクロホン１０１を構成するマイクロホンの数は２個以上であっても構わない。また、図４や図５で指向性方向を説明するために設けた図上の原点位置は、マイクロホン１０１を構成するいずれか１つのマイクロホン位置としてもよく、マイクロホン１０１を構成する複数のマイクロホンの位置関係から求めた任意の点としてもよい。
【００２５】
本実施の形態では、運転席シート３０１または助手席シート３０２の搭乗者の位置の違いに合わせて、マイクロホン１０１の指向性方向を制御する。具体的には、カメラ１０４により撮影された車両内部の画像から発話者の口元を検出し、マイクロホン１０１に対する発話者の口元の方向を特定する。そして、特定された方向に、マイクロホンの指向性方向を絞り込む。
【００２６】
ここで、マイクロホン１０１を例に挙げて、発話者の着座位置の違いにより変化する指向性方向について説明する。図４は、発話者の前後方向の着座位置の違いにより指向性方向が変化する様子を示す説明図である。以下、説明のためＸ1軸とＹ1軸とからなる２次元座標系に簡単化して、指向性方向について説明する。
【００２７】
図４において、運転者ＡおよびＢの前後方向の着座位置の違いにより、マイクロホン１０１の指向性方向がそれぞれ異なっている。具体的には、レール（不図示）に沿って前後に移動自在の運転席シート３０１の位置や、運転者の体格の違いにより、マイクロホン１０１の指向性方向がそれぞれ異なっている。ここでは、運転者Ｂの運転席シート３０１に比べて運転者Ａの運転席シート３０１が後方に位置している。このため、マイクロホン１０１に対する運転者Ａの口元の方向をあらわす角度θAに比べて、マイクロホン１０１に対する運転者Ｂの口元の方向をあらわす角度θBが小さくなっている（θA＞θB）。
【００２８】
図５は、発話者の左右方向の着座位置の違いにより指向性方向が変化する様子を示す説明図である。図５において、運転者Ｃの運転席シート３０１に比べて運転者Ｄの運転席シート３０１がマイクロホン１０１に対して左右逆の方向に位置している。このため、マイクロホン１０１に対する運転者Ｃの口元の方向をあらわす角度θCと、マイクロホン１０１に対する運転者Ｄの口元の方向をあらわす角度θDとは異なっている（θC≠θD）。
【００２９】
また、図４および図５に示した例に限らず、運転席シート３０１に備えられたヘッドレスト５０１の高さ位置や背もたれ部５０２の角度によって運転者の口元の位置は変化することとなる。このため、従来のようにマイクロホン１０１の指向性方向を固定してしまうと、各マイクロホン１０１の指向性方向を運転者の口元にピンポイントで絞り込むことができず、音声認識の精度を低下させる要因となる。
【００３０】
そこで、本実施の形態では、発話者（たとえば、運転席シート３０１の搭乗者）の体格や着座位置の違いに合わせて、マイクロホン１０１の指向性方向を動的に制御する。これにより、運転者が発した音声を強調するとともに周囲の雑音や他の発話者が発した音声を抑制することができ、ナビゲーション装置３１０における音声認識の精度を向上させる。
【００３１】
（音声処理装置の機能的構成）
つぎに、音声処理装置１００の機能的構成について説明する。図６は、音声処理装置の機能的構成を示すブロック図である。図６において、音声処理装置１００は、複数のマイクロホン６０１（たとえば、図１に示したマイクロホン１０１ａ，１０１ｂ）と、取得部６０２と、検出部６０３と、特定部６０４と、指向性制御部６０５と、出力部６０６と、を備えている。
【００３２】
これら各機能６０１〜６０６は、音声処理装置１００のＲＯＭ２０２やフラッシュメモリ２０４（図２参照）などの記憶部に記憶された当該機能６０１〜６０６に関するプログラムをＣＰＵ２０１（図２参照）に実行させることにより、または、入出力Ｉ／Ｆにより、当該機能を実現することができる。また、各機能６０１〜６０６からの出力データは上記記憶部に保持される。また、図６中矢印で示した接続先の機能は、接続元の機能からの出力データを記憶部から読み込んで、当該機能に関するプログラムをＣＰＵ２０１に実行させるものとする。
【００３３】
まず、マイクロホン６０１は、たとえば、全指向性（または、無指向性）のマイクロホン素子であり、入力された音声を電気信号に変換する機能を有する。音声処理装置１００には、複数のマイクロホン６０１（図１では２個）が設けられている。
【００３４】
取得部６０２は、撮像画像を取得する機能を有する。具体的には、たとえば、図１に示した筐体１１０の前面１２０に設けられたカメラ１０４により撮影された撮像画像を取得する。より具体的には、たとえば、取得部６０２は、カメラ１０４により所定の時間間隔で撮影された都度、その撮像画像を取得するか、カメラ１０４に設けられた検出部６０３より検出された話者の位置情報を、通信Ｉ／Ｆ２０５を介して取得することとなる。
【００３５】
また、カメラ１０４は、音声処理装置１００と別体に設けられていてもよい。この場合、取得部６０２は、通信Ｉ／Ｆ２０５（図２参照）を介して、カメラ１０４から直接、または、カメラ１０４に接続された外部装置から撮像画像を取得することとなる。
【００３６】
検出部６０３は、取得部６０２によって取得された撮像画像の中から発話者を検出する機能を有する。より具体的には、たとえば、撮像画像の中から発話者の口元を検出することとしてもよい。ここで、検出部６０３による検出処理の具体的な処理内容について説明する。
【００３７】
まず、第１の例として、取得部６０２によって取得された撮像画像の中から、標準テンプレートを参照してパターンマッチングにより発話者の口元を検出する。標準テンプレートは、複数人の口元の特徴を平均化した口元の画像から構成されている。この標準テンプレートは、予め作成されて記憶部に保持されている。
【００３８】
つぎに、最大マッチング率が予め設定された閾値を超えた位置の画像を参照用テンプレートとして登録する。参照用テンプレートは、標準テンプレートを参照して初期時に発話者の口元を発見した場合に、その口元の画像によって生成され、生成された画像を位置情報とともに保持する情報である。
【００３９】
このあと、この参照用テンプレートを追跡用テンプレートとし、パターンマッチングにより発話者の口元を追跡する。これにより、発話者の姿勢が変化しても、その時点における実際の撮像画像を用いて追跡用テンプレートを更新するため、追跡精度が高まり、発話者の姿勢の変化により移動する口元を精度よく検出することができる。なお、第１の例に関する詳細な説明は、特開２０００−１６３５６４号公報を参照することができる。
【００４０】
また、第２の例として、取得部６０２によって取得された撮像画像の中から時系列に変化する発話者の口元の候補位置を抽出し、抽出した候補位置を基準に複数の位置で所定の追跡テンプレートを用いてパターン照合により発話者の口元を検出して追跡する。
【００４１】
具体的には、１フレームごとに発話者の口元を検出した位置を記憶し、１フレームごとに発話者の顔画像の変化から顔の動きベクトルを取得する。そして、記憶された１フレーム前の位置を、取得された顔の動きベクトルにより補正をおこない、現フレームの口元の候補位置とする。
【００４２】
これにより、発話者が顔を動かしたために口元を見失ったあと、顔が戻ってきた場合などに顔の動きを追跡しているため、発話者の口元を高速に見つけることができる。なお、第２の例に関する詳細な説明は、特開２００１−４３３８２号公報を参照することができる。
【００４３】
特定部６０４は、検出部６０３によって発話者が検出された場合、マイクロホン６０１に対する発話者の方向を特定する機能を有する。具体的には、たとえば、検出部６０２によって検出された発話者の口元のマイクロホン１０１に対する方向を特定する。
【００４４】
より詳細に説明すると、まず、２次元座標系におけるマイクロホン１０１、カメラ１０４および発話者の口元の座標位置を求める。ここで、マイクロホン１０１およびカメラ１０４の設置位置は固定のため、座標位置は固定値である。一方、発話者の口元の座標位置は、撮像画像に写し出された口元の画素数から近似的に求めることができる。
【００４５】
そして、マイクロホン１０１の座標位置と発話者の口元の座標位置とを用いて、マイクロホン１０１に対する発話者の口元の方向（たとえば、任意の座標軸に対する角度）を特定することができる。
【００４６】
なお、撮像画像から求めた口元の座標位置はカメラ１０４の座標系における座標位置であり、マイクロホン１０１の座標系とは異なる。一方で、音声処理装置１００の筐体１１０の大きさを（４０［ｍｍ］×２５［ｍｍ］）程度に仮定すると、マイクロホン１０１から発話者の口元までの距離に比べて、マイクロホン１０１とカメラ１０４との間の距離（たとえば、３０［ｍｍ］）が十分に小さくなる。このため、カメラ１０４の座標系とマイクロホン１０１の座標系とを同一として扱ったとしても、その誤差は小さい。
【００４７】
ここで、２次元座標系を例に挙げて、マイクロホン１０１に対する発話者の方向を特定する場合について説明する。図７は、２次元座標系での話者方向を示す説明図（その１）である。図７において、Ｘ軸およびＹ軸からなる２次元座標系に、マイクロホン１０１と発話者７００とが位置している。マイクロホン１０１の座標位置を原点とする。
【００４８】
具体的には、マイクロホン１０１の座標位置は「（Ｘ，Ｙ）＝（０，０）」である。また、取得部６０２によって取得された撮像画像から求めた発話者７００の口元の座標位置は「（Ｘ，Ｙ）＝（ｘ，ｙ）」である。この場合、マイクロホン１０１から発話者の口元までの距離は「（ｘ2＋ｙ2）1/2」となる。
【００４９】
これら２点の座標位置と三平方の定理とを用いて、マイクロホン１０１に対する発話者７００の方向（角度θ）を特定することができる。具体的には、図７に示す三角形ａｂｃのｓｉｎθを算出し、算出された値を用いて三角関数表を参照することにより、角度θを近似的に求める。なお、三角関数表は、予め記憶部に保持されていてもよく、また、ライブラリからの抽出によって取得することとしてもよい。
【００５０】
また、音声処理装置１００とは別体に設けられたカメラにより撮影された撮像画像を用いる場合には、カメラ座標系とマイクロホン座標系との間の誤差が大きくなる。このため、マイクロホン１０１とカメラとの間の距離が一定以上となる場合には、カメラ座標系とマイクロホン座標系との間で座標変換をおこなうこととしてもよい。
【００５１】
ここで、音声処理装置１００と別体に設けられたカメラと発話者との距離を用いて、マイクロホン１０１に対する発話者の口元の方向（角度）を求める場合を例に挙げて座標変換について説明する。図８は、２次元座標系での話者方向を示す説明図（その２）である。
【００５２】
図８において、点Ｐは、音声処理装置１００とは別体に設けられたカメラの座標位置である。点Ｑは、マイクロホン１０１の座標位置である。点Ｒは、発話者の口元の座標位置である。これら点Ｐ，Ｑ，Ｒの３点からなる三角形について余弦定理を適用すると下記式（１）および（２）が成立する。
【００５３】
【数１】
2009225379.tif 000003
【００５４】
【数２】
2009225379.tif 000004
【００５５】
ここで、点Ｐから点Ｒまでの距離Ａは、カメラにより撮影された撮像画像の口元の画素数から求めることができる。また、カメラ座標系（ＸC軸、ＹC軸）において、カメラ（点Ｐ）に対するマイクロホン１０１（点Ｑ）の角度β1は固定値である。一方、カメラ座標系（ＸC軸、ＹC軸）において、カメラ（点Ｐ）に対する発話者の口元（点Ｒ）の角度β2は、カメラにより撮影された撮像画像の口元の画素の位置情報から求めることができる。これにより、角度β（β＝β1＋β2）を求めることができる。
【００５６】
以上のことから、上記式（１）および（２）を用いて、マイクロホン座標系（ＸM軸、ＹM軸）における、マイクロホン１０１（点Ｑ）に対する発話者の口元（点Ｒ）の角度θ1は下記式（３）および（４）を用いて求めることができる。ただし、マイクロホン座標系（ＸM軸、ＹM軸）における、マイクロホン１０１（点Ｑ）に対するカメラ（点Ｐ）の角度を角度θ0とし、α＝θ1＋θ0とする。
【００５７】
【数３】
2009225379.tif 000005
【００５８】
【数４】
2009225379.tif 000006
【００５９】
このように、マイクロホン１０１とカメラとの間の距離が一定以上となる場合に、カメラ座標系とマイクロホン座標系との間で座標変換をおこなうことで、角度θ1の算出精度を向上させることができる。なお、カメラ（点Ｐ）に対する発話者の口元（点Ｒ）の角度β2は、音声処理装置１００を車両内のナビゲーションシステムに適用する場合には、車両の構造部位はカメラに対して固定されているため、撮像画像に写っている車両の構造部位と点Ｒとの位置関係から求めることとしてもよい。
【００６０】
図６の説明に戻り、指向性制御部６０５は、特定部６０４によって特定された方向にマイクロホン６０１の指向性方向を制御する機能を有する。具体的には、たとえば、マイクロホン６０１に入力された音声信号のうち、特定部６０４によって特定された方向からの音声信号の感度（出力電圧）を高くすることとしてもよく、また、特定部６０４によって特定された方向を除く他の方向からの音声信号の感度を抑制することとしてもよい。
【００６１】
さらに、マイクロホン６０１に入力された音声信号にデジタル処理を施すことにより、音声信号をアナログ信号として扱う場合に比べて、特定の方向からの音声信号を正確に強めることができる（特定の方向以外の方向からの音声信号を正確に抑制）。
【００６２】
ここで、指向性制御部６０５による指向性制御処理の具体的手法について説明する。ここでは、複数方向に存在する音源からの音声、雑音などを含む音声信号が入力された場合に、特定部６０４によって特定された方向の音源が発する音声信号を強調して周囲の雑音を抑制する手法を例に挙げて説明する。
【００６３】
まず、複数方向に存在する音源からの音声信号の入力を受け付け、周波数軸上の信号に変換する。そして、変換された周波数軸上の信号を抑制する抑制関数を算出し、算出された抑制関数を元の信号の周波数軸上の信号の振幅成分に乗算して、変換された周波数軸上の信号を補正する。
【００６４】
つぎに、変換された各周波数軸上の信号の位相成分を同じ周波数ごとに算出して、位相成分の差分を算出する。そして、算出された差分に基づいて、特定部６０４によって特定された方向に音源が存在する確率を示す確率値を特定して、特定された確率値に基づいて、所定の方向の音源以外の音源からの音声信号の入力を抑制する抑制関数を算出する。
【００６５】
これによれば、音源が複数存在する場合に、振幅成分が重なり合っている周波数帯域が存在するときであっても、特定部６０４によって特定された方向に存在する音源が発した音声のみを強調することができる。なお、指向性制御処理の具体的手法に関する詳細な説明は、［背景技術］で説明した特許文献１および２を参照することができる。
【００６６】
出力部６０６は、指向性制御部６０５によって指向性方向が制御された音声信号を出力する機能を有する。出力部６０６によって出力された音声信号は、たとえば、図３に示したナビゲーション装置３１０に入力される。つまり、目的地設定やオーディオ操作などの各種指示を、音声処理装置１００を介してナビゲーション装置３１０に入力する。
【００６７】
また、指向性制御部６０５は、検出部６０３によって発話者が検出されなかった場合、マイクロホン６０１の指向性方向を予め設定された標準方向に制御することとしてもよい。具体的には、たとえば、図５に示した運転席シート３０１に備えられたヘッドレスト５０１の方向を標準方向とすることとしてもよい。
【００６８】
これにより、カメラ１０４により撮影された撮像画像からの発話者（口元）の検出に失敗したとしても、ある程度の音声認識の精度を保つことができる。なお、標準方向は、たとえば、図２に示したユーザＩ／Ｆ２０６を介して、ユーザからの操作入力を受け付けることで任意に設定することとしてもよく、また、予め記憶部に保持されている標準方向を採用することとしてもよい。
【００６９】
さらに、指向性制御部６０５は、検出部６０３によって発話者が検出されなかった場合、マイクロホン６０１の指向性方向を無指向方向に制御することとしてもよい。これによれば、全方向からの音声を平均的に得ることとなる。このため、発話者が複数存在するときに、上述の標準方向に制御する場合に比べて、ある程度の音声認識の精度を保つことができる。
【００７０】
本実施の形態では、音声処理装置１００を、カーナビゲーションシステムに適用する場合について説明したが、携帯電話端末のハンズフリー機能に適用することとしてもよい。一般に、車両を運転中に携帯電話端末を使用する場合には、安全上の問題からハンズフリー機能を利用する必要がある。
【００７１】
このとき、携帯電話端末の音声入力に音声処理装置１００を適用することにより、音声認識の精度を向上させることができる。さらに、車両内の複数人（たとえば、図３に示した運転席シート３０１および助手席シート３０２の搭乗者）がハンズフリー機能を利用する場合には、マイクロホン６０１の指向性方向を各搭乗者の口元に絞りこむこととしてもよい。
【００７２】
また、各搭乗者の口元の方向は、１台のカメラ１０４により撮影された撮像画像を用いて特定することとしてもよく、複数台のカメラ（たとえば、運転席シート３０１側を撮影するカメラおよび助手席シート３０２側を撮影するカメラ）を車両内部に設置し、各カメラにより撮影された撮像画像を用いて特定することとしてもよい。
【００７３】
（音声処理装置の音声処理手順）
つぎに、本実施の形態にかかる音声処理装置１００の音声処理手順について説明する。図９は、音声処理装置の音声処理手順の一例を示すフローチャートである。図９のフローチャートにおいて、まず、取得部６０２により、カメラ１０４により撮影された撮像画像を取得したか否かを判断する（ステップＳ９０１）。
【００７４】
ここで、撮像画像が取得されるのを待って（ステップＳ９０１：Ｎｏ）、取得した場合（ステップＳ９０１：Ｙｅｓ）、検出部６０３により、取得部６０２によって取得された撮像画像の中から発話者の口元が検出されたか否かを判断し（ステップＳ９０２）、検出された場合（ステップＳ９０２：Ｙｅｓ）、特定部６０４により、マイクロホン６０１に対する発話者の口元の方向を特定する（ステップＳ９０３）。
【００７５】
そして、指向性制御部６０５により、特定部６０４によって特定された方向に各マイクロホン６０１の指向性方向を制御する（ステップＳ９０４）。一方、ステップＳ９０２において、発話者の口元が検出されなかった場合（ステップＳ９０２：Ｎｏ）、マイクロホン６０１の指向性方向の標準方向が設定済みか否かを判断する（ステップＳ９０５）。
【００７６】
ここで、標準方向が設定済みの場合（ステップＳ９０５：Ｙｅｓ）、指向性制御部６０５により、マイクロホン６０１の指向性方向を標準方向に制御する（ステップＳ９０６）。また、標準方向が設定されていない場合（ステップＳ９０５：Ｎｏ）、指向性制御部６０５により、マイクロホン６０１の指向性方向を無指向方向に制御する（ステップＳ９０７）。
【００７７】
最後に、出力部６０６により、指向性制御部６０５によって指向性方向が制御された音声信号を出力して（ステップＳ９０８）、本フローチャートによる一連の処理を終了する。
【００７８】
以上説明したように、本実施の形態によれば、カメラ１０４により撮影された撮像画像を用いて動的に変化する話者方向を特定することにより、マイクロホン１０１の指向性方向を適切に制御することができる。
【００７９】
これにより、音声認識の向上につながる指向性方向の狭域性と、話者の体格や着座位置の違いに対する許容性との相反する要件を両立して満たすことができる。この結果、動的に変化する話者方向にピンポイントで指向性方向を合わせることができるため、音声認識の精度を向上させることができる。
【００８０】
また、カメラ１０４に赤外線カメラを採用することにより、暗やみ（たとえば、夜間、トンネル内）での撮影能力を向上させることができる。さらに、撮影時に、カメラ１０４に併設された赤外線ＬＥＤ１０５により被写体に赤外線を照射することにより、撮影能力をさらに向上させることができる。
【００８１】
これらのことから、この音声処理装置、音声処理方法、音声処理プログラムによれば、カメラにより撮影された撮像画像を用いて動的に変化する話者方向を特定することにより、マイクロホンの指向性方向を適切に制御し音声認識の精度を向上させることができる。
【００８２】
なお、本実施の形態で説明した音声処理方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。
【００８３】
上述した実施の形態に関し、さらに以下の付記を開示する。
【００８４】
（付記１）複数のマイクロホンと、
撮像画像を取得する取得手段と、
前記取得手段によって取得された撮像画像の中から発話者を検出する検出手段と、
前記検出手段によって前記発話者が検出された場合、前記マイクロホンに対する前記発話者の方向を特定する特定手段と、
前記特定手段によって特定された方向に前記マイクロホンの指向性方向を制御する指向性制御手段と、
を有することを特徴とする音声処理装置。
【００８５】
（付記２）前記特定手段は、
前記撮像画像を撮影したカメラの設置位置と前記マイクロホンの設置位置とに基づいて、前記カメラに対する前記発話者の方向から前記マイクロホンに対する前記発話者の方向を特定することを特徴とする付記１に記載の音声処理装置。
【００８６】
（付記３）前記検出手段は、
前記撮像画像の中から発話者の口元を検出し、
前記特定手段は、
前記検出手段によって検出された前記発話者の口元の前記マイクロホンに対する方向を特定することを特徴とする付記１または２に記載の音声処理装置。
【００８７】
（付記４）前記指向性制御手段は、
前記マイクロホンに入力された音声信号のうち、前記特定手段によって特定された方向からの音声信号の感度を高くすることを特徴とする付記１〜３のいずれか一つに記載の音声処理装置。
【００８８】
（付記５）前記指向性制御手段は、
前記マイクロホンに入力された音声信号のうち、前記特定手段によって特定された方向を除く他の方向からの音声信号の感度を抑制することを特徴とする付記１〜４のいずれか一つに記載の音声処理装置。
【００８９】
（付記６）前記指向性制御手段は、
前記検出手段によって前記発話者が検出されなかった場合、前記マイクロホンの指向性方向を予め設定された標準方向に制御することを特徴とする付記１〜５のいずれか一つに記載の音声処理装置。
【００９０】
（付記７）前記指向性制御手段は、
前記検出手段によって前記発話者が検出されなかった場合、前記マイクロホンの指向性方向を無指向方向に制御することを特徴とする付記１〜５のいずれか一つに記載の音声処理装置。
【００９１】
（付記８）前記取得手段は、
赤外線カメラにより撮影された撮像画像を取得することを特徴とする付記１〜７のいずれか一つに記載の音声処理装置。
【００９２】
（付記９）前記赤外線カメラは、赤外線ＬＥＤを備えることを特徴とする付記８に記載の音声処理装置。
【００９３】
（付記１０）複数のマイクロホンの指向性方向を制御する音声処理方法において、
撮像画像を取得する取得工程と、
前記取得工程によって取得された撮像画像の中から発話者を検出する検出工程と、
前記検出工程によって前記発話者が検出された場合、前記マイクロホンに対する前記発話者の方向を特定する特定工程と、
前記特定工程によって特定された方向に前記マイクロホンの指向性方向を制御する指向性制御工程と、
を含むことを特徴とする音声処理方法。
【００９４】
（付記１１）複数のマイクロホンの指向性方向を制御するコンピュータを、
撮像画像を取得する取得手段、
前記取得手段によって取得された撮像画像の中から発話者を検出する検出手段、
前記検出手段によって前記発話者が検出された場合、前記マイクロホンに対する前記発話者の方向を特定する特定手段、
前記特定手段によって特定された方向に前記マイクロホンの指向性方向を制御する指向性制御手段、
として機能させることを特徴とする音声処理プログラム。
【図面の簡単な説明】
【００９５】
【図１】本実施の形態にかかる音声処理装置の外観を示す斜視図である。
【図２】音声処理装置のハードウェア構成を示すブロック図である。
【図３】音声処理装置が搭載された車両内部の一例を示す説明図である。
【図４】発話者の前後方向の着座位置の違いにより指向性方向が変化する様子を示す説明図である。
【図５】発話者の左右方向の着座位置の違いにより指向性方向が変化する様子を示す説明図である。
【図６】音声処理装置の機能的構成を示すブロック図である。
【図７】２次元座標系での話者方向を示す説明図（その１）である。
【図８】２次元座標系での話者方向を示す説明図（その２）である。
【図９】音声処理装置の音声処理手順の一例を示すフローチャートである。
【符号の説明】
【００９６】
１００  音声処理装置
１０１  マイクロホンアレイ
１０１ａ，１０１ｂ  ６０１  マイクロホン
１０４  カメラ
６０２  取得部
６０３  検出部
６０４  特定部
６０５  指向性制御部
６０６  出力部
【図１】
2009225379.tif 000007
【図２】
2009225379.tif 000008
【図３】
2009225379.tif 000009
【図４】
2009225379.tif 000010
【図５】
2009225379.tif 000011
【図６】
2009225379.tif 000012
【図７】
2009225379.tif 000013
【図８】
2009225379.tif 000014
【図９】
2009225379.tif 000015