(57)【要約】  音声取得対象となるユーザと同じ方向で違う距離に発話中の人物など、録音者の意図しない音源がある場合に、ユーザ音声の誤認識を低減することが可能な音声入力装置を提供する。音声入力装置は、カメラの基準点（４１）とマイクアレイの基準点（２２）が所定距離Ｌだけ離間するようにカメラとマイクアレイを配置し、カメラで入力した画像に基づいてカメラを基準としたカメラ基準ユーザ角度θおよびカメラ基準ユーザ距離Ｄを算出する。そして、音声入力装置は、カメラ基準ユーザ角度θおよびカメラ基準ユーザ距離Ｄに基づいて、マイクアレイを基準としたマイクアレイ基準ユーザ角度αを算出し、マイクアレイ基準ユーザ角度αになるようマイクアレイの指向角度を制御する。
2014132533.tif 000002
【特許請求の範囲】
【請求項１】
音声を取得するマイクロフォンを複数有するマイクアレイと、
撮像素子を有し撮影により画像を入力するカメラと、
該カメラで入力された該画像に基づいて前記マイクアレイの指向角度を制御する指向角度制御部と、を備えた音声入力装置であって、
前記カメラと前記マイクアレイが所定距離だけ離間して配置され、
前記音声入力装置は、
前記画像に基づいて、前記カメラを基準とした音声取得対象ユーザのユーザ位置の角度であるカメラ基準ユーザ角度を算出するカメラ基準ユーザ角度算出部と、
前記画像に基づいて、前記カメラを基準とした前記ユーザ位置までの距離であるカメラ基準ユーザ距離を算出するカメラ基準ユーザ距離算出部と、
前記所定距離、前記カメラ基準ユーザ角度、および前記カメラ基準ユーザ距離に基づいて、前記マイクアレイを基準としたユーザ位置の角度であるマイクアレイ基準ユーザ角度を算出するマイクアレイ基準ユーザ角度算出部と、をさらに備え、
前記指向角度制御部は、前記マイクアレイ基準ユーザ角度になるよう前記マイクアレイの指向角度を制御することを特徴とする音声入力装置。
【請求項２】
前記マイクアレイ基準ユーザ角度算出部は、前記所定距離と、前記カメラ基準ユーザ距離と、前記カメラ基準ユーザ角度と、前記カメラ基準ユーザ角度に応じた角度算出誤差範囲とに基づいて、前記マイクアレイ基準ユーザ角度範囲を算出し、
前記指向角度制御部は、前記マイクアレイ基準ユーザ角度範囲になるよう前記マイクアレイの指向角度を制御することを特徴とする請求項１に記載の音声入力装置。
【請求項３】
前記マイクアレイ基準ユーザ角度算出部は、前記所定距離と、前記カメラ基準ユーザ角度と、前記カメラ基準ユーザ距離と、前記カメラ基準ユーザ角度および／または前記カメラ基準ユーザ距離に応じた距離算出誤差範囲とに基づいて、前記マイクアレイ基準ユーザ角度範囲を算出し、
前記指向角度制御部は、前記マイクアレイ基準ユーザ角度範囲になるよう前記マイクアレイの指向角度を制御することを特徴とする請求項１に記載の音声入力装置。
【請求項４】
前記画像における被写体の顔領域を検出し、該顔領域の位置を前記ユーザ位置として、前記カメラ基準ユーザ角度および／または前記カメラ基準ユーザ距離を算出することを特徴とする請求項１〜３のいずれか１項に記載の音声入力装置。
【請求項５】
請求項１〜４のいずれか１項に記載の音声入力装置を備えた画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のマイクロフォンを有するマイクアレイを備え、特定の方向からの音声を入力することが可能な音声入力装置、およびその音声入力装置を備えた画像表示装置に関する。
【背景技術】
【０００２】
複数のマイクロフォンを有するマイクアレイを利用して音声入力の指向角度を変化させ、特定の方向からの音声情報を強調して、それ以外の方向からの音声情報を抑制する方法が知られている。これを音声入力装置に搭載し、マイクアレイの指向角度を音声が発生している方向へ向けることで、音声認識の認識精度を向上することができる。このような方法により音声入力を行うときは、ユーザによって発話された音声の方向を特定して、発話された音声の方向へマイクアレイの指向角度を向ける。【０００３】
しかし、音声情報のみから方向を特定するため、ユーザ以外の人物の音声情報など、ユーザが意図していない音声情報の発生方向に対しても指向角度が向けられてしまい、ユーザが意図しない音声情報が入力され認識されてしまうことがある。【０００４】
そこで、カメラで撮影した画像情報からユーザの方向を検出して、その方向にのみ音声入力の指向角度を向けることで、意図しない音声が入力されることを低減する技術が提案されている（特許文献１を参照）。特許文献１に記載の技術では、カメラにより撮影された撮像画像を用いて動的に変化する話者方向を特定し、マイクロフォンの指向性方向を話者方向になるよう制御することで、音声認識の精度を向上させている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２２５３７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の技術では次のような課題を有する。
カメラに対して音声取得対象のユーザの後ろに別の発話者が存在するときなど、カメラで検出したユーザの方向と同じ方向に録音者の意図しない音源が存在する場合、マイクアレイの指向角度をユーザの方向に向けてもユーザの意図しない音声が入力されてしまい、音声認識処理において誤認識が発生してしまうことがある。つまり、この技術では、例えば対象となるユーザと違う距離にいる人物の音声など、ユーザと同じ方向からのユーザの音声でない音も拾って認識してしまい、ユーザ音声の誤認識を起こしてしまう。【０００７】
本発明は、上述のような実状に鑑みてなされたものであり、その目的は、音声取得対象となるユーザと同じ方向で違う距離に発話中の人物など、録音者の意図しない音源がある場合に、ユーザ音声の誤認識を低減することが可能な音声入力装置、およびその音声入力装置を備えた画像表示装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の第１の技術手段は、音声を取得するマイクロフォンを複数有するマイクアレイと、撮像素子を有し撮影により画像を入力するカメラと、該カメラで入力された該画像に基づいて前記マイクアレイの指向角度を制御する指向角度制御部と、を備えた音声入力装置であって、前記カメラと前記マイクアレイが所定距離だけ離間して配置され、前記音声入力装置は、前記画像に基づいて、前記カメラを基準とした音声取得対象ユーザのユーザ位置の角度であるカメラ基準ユーザ角度を算出するカメラ基準ユーザ角度算出部と、前記画像に基づいて、前記カメラを基準とした前記ユーザ位置までの距離であるカメラ基準ユーザ距離を算出するカメラ基準ユーザ距離算出部と、前記所定距離、前記カメラ基準ユーザ角度、および前記カメラ基準ユーザ距離に基づいて、前記マイクアレイを基準としたユーザ位置の角度であるマイクアレイ基準ユーザ角度を算出するマイクアレイ基準ユーザ角度算出部と、をさらに備え、前記指向角度制御部は、前記マイクアレイ基準ユーザ角度になるよう前記マイクアレイの指向角度を制御することを特徴としたものである。【０００９】
本発明の第２の技術手段は、第１の技術手段において、前記マイクアレイ基準ユーザ角度算出部は、前記所定距離と、前記カメラ基準ユーザ距離と、前記カメラ基準ユーザ角度と、前記カメラ基準ユーザ角度に応じた角度算出誤差範囲とに基づいて、前記マイクアレイ基準ユーザ角度範囲を算出し、前記指向角度制御部は、前記マイクアレイ基準ユーザ角度範囲になるよう前記マイクアレイの指向角度を制御することを特徴としたものである。【００１０】
本発明の第３の技術手段は、第１の技術手段において、前記マイクアレイ基準ユーザ角度算出部は、前記所定距離と、前記カメラ基準ユーザ角度と、前記カメラ基準ユーザ距離と、前記カメラ基準ユーザ角度および／または前記カメラ基準ユーザ距離に応じた距離算出誤差範囲とに基づいて、前記マイクアレイ基準ユーザ角度範囲を算出し、前記指向角度制御部は、前記マイクアレイ基準ユーザ角度範囲になるよう前記マイクアレイの指向角度を制御することを特徴としたものである。【００１１】
本発明の第４の技術手段は、第１〜第３のいずれか１の技術手段において、前記画像における被写体の顔領域を検出し、該顔領域の位置を前記ユーザ位置として、前記カメラ基準ユーザ角度および／または前記カメラ基準ユーザ距離を算出することを特徴としたものである。【００１２】
本発明の第５の技術手段は、画像表示装置において、第１〜第４のいずれか１の技術手段における音声入力装置を備えたことを特徴としたものである。
【発明の効果】
【００１３】
本発明によれば、指向角度を制御できる音声入力装置において、音声取得対象となるユーザと同じ方向で違う距離に発話中の人物など、録音者の意図しない音源がある場合に、その距離を判定して目的の距離にいるユーザの音声のみを入力することでユーザ音声の誤認識を低減し、低ノイズでユーザ音声を取得することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態１に係る音声入力装置の一構成例を示すブロック図である。
【図２】図１の音声入力装置におけるマイクアレイの一構成例を示す俯瞰図である。
【図３】図１の音声入力装置におけるマイクアレイの他の構成例を示す俯瞰図である。
【図４】図１の音声入力装置におけるカメラとマイクアレイの配置関係の一例を示す俯瞰図である。
【図５】図１の音声入力装置におけるカメラ基準ユーザ角度算出方法の一例を説明するための透視投影カメラモデルの図である。
【図６】図１の音声入力装置におけるマイクアレイ基準ユーザ角度の算出方法を説明するための図で、カメラとマイクアレイの中間にユーザが位置する場合の一例を示す俯瞰図である。
【図７】図１の音声入力装置におけるマイクアレイ基準ユーザ角度の算出方法を説明するための図で、カメラとマイクアレイから見て同じ方向かつマイクアレイに近い場所にユーザが位置する場合の一例を示す俯瞰図である。
【図８】図１の音声入力装置におけるマイクアレイ基準ユーザ角度の算出方法を説明するための図で、カメラとマイクアレイから見て同じ方向かつカメラに近い場所にユーザが位置する場合の一例を示す俯瞰図である。
【図９】本発明の実施形態２に係る音声入力装置におけるマイクアレイの一構成例を示す図である。
【図１０】本発明の実施形態２に係る音声入力装置におけるマイクアレイ基準ユーザ角度範囲の算出方法の一例を説明するための図で、算出誤差範囲が大きい場合の一例を示す俯瞰図である。
【図１１】本発明の実施形態２に係る音声入力装置におけるマイクアレイ基準ユーザ角度範囲の算出方法の一例を説明するための図で、算出誤差範囲が小さい場合の一例を示す俯瞰図である。
【図１２】本発明の実施形態４に係る音声認識装置の一構成例を示すブロック図である。
【図１３】本発明の実施形態５に係る画像表示装置の一構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
（実施形態１）
以下、図１〜図８を参照し、本発明の実施形態１について具体的に説明する。
図１は、本実施形態に係る音声入力装置の一構成例を示すブロック図で、図２は、図１の音声入力装置におけるマイクアレイの一構成例を示す俯瞰図で、図３は、図１の音声入力装置におけるマイクアレイの他の構成例を示す俯瞰図である。
【００１６】
図１に示すように、本実施形態における音声入力装置１は、マイクアレイ１１、カメラ１２、画像内ユーザ座標検出部１３、カメラ基準ユーザ角度算出部１４、カメラ基準ユーザ距離算出部１５、マイクアレイ基準ユーザ角度算出部１６、および指向角度制御部１７を備える。
【００１７】
マイクアレイ１１は、音声を取得するマイクロフォンを複数有する。各マイクロフォンは音声入力素子であればよいが、図２では、マイクアレイ１１は複数の超指向性マイクロフォン２１を配置して構成した例を挙げている。各超指向性マイクロフォン２１は、ガンマイクなどの鋭い指向性をもつマイクロフォンであり、空間上の任意の点を中心に、各超指向性マイクロフォン２１の集音方向２３が略放射状になるように配置される。本実施形態では、集音方向２３の中心となる点をマイクアレイ基準点２２と呼ぶ。ただし、マイクアレイ基準点２２は正確に１点である必要はなく、各集音方向が略同一領域で交差するようにすればよい。
【００１８】
また、本実施形態では、マイクアレイ１１の指向角度の基準とする方向をマイクアレイ１１が配列する中央の方向（配列の中心とマイクアレイ基準点２２とを結ぶ方向）に決め、以下、その方向をマイクアレイ正面方向２４と呼ぶ。また、マイクアレイ基準点２２を通りマイクアレイ正面方向２４に伸びる仮想的な直線をマイクアレイ軸２５と呼ぶ。つまり、配列の中心とマイクアレイ基準点とを結ぶ直線がマイクアレイ軸２５となる。マイクアレイ１１をこのように構成にしておくことで、入力される音声情報の指向角度を指向角度制御部１７により制御することができる。
【００１９】
なお、本実施形態では図２に示す構成により指向角度の制御を実現しているが、指向角度を制御する方法はこれに限定されない。例えば、マイクアレイ１１として指向性の弱いマイクロフォンを複数利用し、各マイクロフォンに到達する音声の時間や音量の差を計算することで指向角度の制御を行うマイクアレイを利用してもよい。図３で例示するマイクロフォンの配置は、各マイクロフォン３１に到達する音声の時間差（音声到達時間の差）を計算することで指向角度の制御を行い、マイクアレイ１１を実現する場合の配置例である。マイクロフォン３１は、指向性が弱いマイクロフォンか、指向性が無いマイクロフォンである。指向方向３２（指向角度）を決定すると、各マイクロフォン３１への音声の到達時間に差ができる。各マイクロフォン３１の音声をこの到達時間の差だけずらして重ね合わせることで、指向方向３２からの音声成分のみを強調することができる。指向方向３２を決定する際の基準とする点をマイクアレイ基準点２２とし、図２の構成と同様にマイクアレイ正面方向２４とマイクアレイ軸２５を定義する。マイクアレイ１１をこのような構成にしておくことで、入力される音声情報の指向角度を指向角度制御部１７により制御することができる。
【００２０】
カメラ１２は、撮像素子を有し、撮影により画像、または画像およびその画像についての撮影情報（例えばその画像における焦点距離などを含む）を入力する画像入力部である。上記の撮像素子の例としては、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの固体撮像素子が挙げられる。カメラ１２は、撮像素子のほかに、レンズなどの光学部品などを備え、カメラモジュールとして音声入力装置１に搭載することができる。カメラ１２としては、超広角レンズや魚眼レンズを装着したカメラなど、撮影画角が広いカメラを利用すると、広い範囲で音声取得対象ユーザ（以下、単に「ユーザ」と呼ぶ）を撮影できるため好適である。
【００２１】
そして、本実施形態におけるカメラ１２は、撮影した画像（および撮影情報）を画像内ユーザ座標検出部１３に伝達する。なお、カメラ１２は、静止画撮影専用である必要はなく、動画撮影専用であっても、動画・静止画兼用であってもよい。また、画像内ユーザ座標検出部１３で使用する画像は、基本的に静止画であり、動画像を利用する場合には音声取得時直前のフレームを利用するなどすればよい。
【００２２】
図４は、本実施形態におけるカメラ１２とマイクアレイ１１の配置関係の一例を示す俯瞰図である。図４に示すように、カメラ１２とマイクアレイ１１はそれらの基準点４１，２２間が所定距離Ｌだけ離間して配置されている。ユーザ位置の変化は上下方向である鉛直方向への変化よりも左右方向である水平方向への変化が大きいため、所定距離Ｌが水平方向に向くようにカメラ１２とマイクアレイ１１とを水平方向に離間させて配置させるとよい。これは、離間した方向に対して、後述するように指向方向を制御することにより、ノイズを低減した所望の音声を入力音声として出力することが可能となるためである。カメラ基準点４１は、カメラ１２の撮影範囲４０内においてカメラ１２に対してユーザが存在する角度（方向）を算出する際に基準とする点である。本実施形態ではカメラ焦点をカメラ基準点４１とした例を挙げるが、これに限ったものではない。無論、カメラ１２とマイクアレイ１１とは水平方向以外の方向に離間させて配置させ、それに応じて指向方向の制御を行うこともできる。
【００２３】
カメラ１２とマイクアレイ１１は、カメラ基準点４１とマイクアレイ基準点２２が水平方向に同一位置にならないように配置する。これは、上述したようにユーザ位置の変化が鉛直方向より水平方向への方が大きいためである。
【００２４】
また、カメラ１２とマイクアレイ１１との位置関係は、両者が音声入力装置１に内蔵されている場合、その位置関係は設計や製造の段階で既知である。一方、カメラ１２とマイクアレイ１１とが独立して可動できるような構造の場合、それらの位置関係が変化してしまうため、カメラ１２とマイクアレイ１１との位置関係をあらかじめ計測しておき、計測後に変化しないように固定する。本実施形態では、カメラ光軸４２とマイクアレイ軸２５が略平行になり、カメラ撮影方向４３とマイクアレイ正面方向２４が同じ方向になり、かつ、カメラ基準点４１を通りカメラ光軸４２に対して略垂直な直線４４上にマイクアレイ基準点２２が存在するような位置関係でマイクアレイ１１とカメラ１２を設置する。また、マイクアレイ１１の向きは集音方向２３（図２）が放射状に広がっている同一平面上に直線４４が存在するように設置する。
【００２５】
画像内ユーザ座標検出部１３は、カメラ１２で撮影された画像（入力画像）内から、ユーザの位置情報の検出を行う。ユーザ位置は、例えば、画像情報から顔領域を検出することで検出することが可能である。画像内のユーザの顔の二次元座標、および、画像内のユーザの顔の大きさを算出する。顔を検出する技術は一般に利用されている方法を使用することができる。例えば、標準的な人物の顔が撮影された画像を、参照データとしてあらかじめ保有しておき、その参照データとの相関値から顔を検出する方法がある。ここで、人物の顔の画像としては、標準的な男性、女性の双方の顔の画像を参照データとして保有しておいてもよいし、さらに世代別の標準的な男性、女性の顔の画像を参照データとして保有しておいてもよい。なお、特定のユーザの顔を保有しておくこともできるが、そのような例については実施形態３として後述する。
【００２６】
画像内ユーザ座標検出部１３は、画像内のユーザの顔が存在する二次元座標をカメラ基準ユーザ角度算出部１４に伝達し、画像内のユーザの顔の大きさをカメラ基準ユーザ距離算出部１５へ伝達する。顔領域の検出は、声を発している口が存在するため、ユーザ位置を検出するための処理として好ましい。無論、顔中の口の領域を代わりに検出してもよい。
【００２７】
画像内に複数のユーザが存在する場合、画像内ユーザ座標検出部１３は、画像内のそれぞれのユーザの顔が存在する二次元座標をカメラ基準ユーザ角度算出部１４に伝達し、画像内のそれぞれのユーザの顔の大きさをカメラ基準ユーザ距離算出部１５へ伝達する。このとき、多数のユーザが検出されるとデータ量が多くなるので、検出された顔の二次元座標位置や検出された顔の大きさによって、特定の数の検出結果を伝達するようにしてもよい。
【００２８】
カメラ基準ユーザ角度算出部１４は、入力画像に基づいてカメラ基準ユーザ角度を算出する。ここで、カメラ基準ユーザ角度とは、カメラ１２を基準とした音声取得対象ユーザのユーザ位置の角度である。
【００２９】
本実施形態におけるカメラ基準ユーザ角度算出部１４は、画像内ユーザ座標検出部１３から伝達された画像内の二次元座標である画像内ユーザ顔座標から、カメラ基準点４１を基準とするユーザが存在する方向を示す角度であるカメラ基準ユーザ角度の算出を行う。カメラ基準ユーザ角度は、透視投影カメラモデルを利用することで算出される。
【００３０】
図５を参照してこの算出方法について説明する。図５は、音声入力装置１におけるカメラ基準ユーザ角度算出方法の一例を説明するための透視投影カメラモデルの図である。この透視投影カメラモデルは、カメラ光軸４２と直線４４に垂直な方向から見たカメラ１２のモデルである。カメラ１２の焦点距離、センサ（撮像素子）の画素ピッチ、センサ画素と光軸４２の交差点座標が既知ならば、投影面５１の位置を算出することができる。カメラ基準点４１から投影面５１上の画像内ユーザ顔座標５２の方向５３が示す角度が、カメラ基準ユーザ角度θとなる。このようにして、カメラ基準ユーザ角度θが算出できる。カメラ基準ユーザ角度算出部１４は、算出したカメラ基準ユーザ角度θをマイクアレイ基準ユーザ角度算出部１６へ伝達する。
【００３１】
なお、カメラ１２が魚眼カメラであった場合には、投影面５１がカメラ基準点４１を中心とした球である投影カメラモデルとなり、魚眼カメラの画角およびイメージサークル半径の画素数、センサ画素と光軸４２の交差点座標が既知ならば、投影面５１の位置を算出することができるため、同じ方法でカメラ基準ユーザ角度θを算出することができる。
【００３２】
カメラ基準ユーザ距離算出部１５は、入力画像に基づいて、カメラ基準ユーザ距離を算出する。ここで、カメラ基準ユーザ距離とは、カメラ１２を基準としたユーザ位置までの距離である。
【００３３】
本実施形態におけるカメラ基準ユーザ距離算出部１５は、画像内ユーザ座標検出部１３から伝達された、画像内のユーザの顔の大きさから、カメラ基準点からユーザまでのカメラ基準ユーザ距離を算出する。カメラ基準ユーザ距離は、画像内ユーザ座標検出部１３で参照データとして利用する人物の顔が撮影された画像を、カメラ１２を利用して撮影し、撮影時の距離を計測しておくことで、次の式（１）の計算により算出することができる。
Ｄ＝ｄ・（ｔ／ｔ′）              ・・・（１）
【００３４】
式（１）の各変数は、Ｄが算出するカメラ基準ユーザ距離、ｄが参照データ撮影時のカメラ基準ユーザ距離、ｔが参照データの縦の画素数、ｔ′が画像内ユーザ座標検出部１３から送られた抜き出し範囲の縦の画素数である。
【００３５】
ここで、顔の大きさは年齢や性別により異なるため、性別や世代別の参照データ（顔の大きさが異なった参照データ）を保持していない場合には、画像内ユーザ座標検出部１３で検出する顔から年齢や性別を推定して、カメラ基準ユーザ距離Ｄを算出すると、距離算出の誤差を低減できるため好適である。これは、基準の年齢の顔の大きさと距離の関係を設定しておき、推定される年齢によって距離を増減させることにより実現することがきる。また、年齢ごとに顔の大きさと距離の関係を設定することでも実現することができる。例えば、同じ大きさの顔が検出された場合、子供と大人では距離が異なり、子供の方が大人よりも近くに存在していることになる。そこで、例えば検出された顔が子供であるときは、算出された距離をあらかじめ定められた割合で大きくすればよい。カメラ基準ユーザ距離算出部１５は、算出したカメラ基準ユーザ距離Ｄをマイクアレイ基準ユーザ角度算出部１６へ伝達する。
【００３６】
また、本実施形態では、画像中のユーザ顔の大きさからカメラ基準点４１からユーザまでの距離Ｄを算出しているが、カメラ基準点４１からユーザまでの距離を算出する方法はこの方法に限定されず、カメラ１２でその画像の取得時に取得した各種の撮影情報を利用することもできる。例えば、カメラ１２がオートフォーカス機能を搭載していれば、顔領域を検出し検出された顔領域にフォーカスを合わせたときのフォーカス距離をユーザ位置の距離とすることで、ユーザ位置の距離を算出することができる。また、赤外線を利用したＴＯＦ（Time Of Flight）や、カメラ１２として多視点カメラを利用し、ユーザ顔領域の視差情報を撮影情報として得て、その視差情報からカメラ基準点４１からユーザまでの距離を算出してもよい。さらに、上述した様々な距離算出方法を組み合わせて適用することもできる。
【００３７】
本実施形態における画像内ユーザ座標検出部１３では、入力画像における被写体（主に人物であるが動物であってもよい）の顔領域を検出し、カメラ基準ユーザ角度算出部１４やカメラ基準ユーザ距離算出部１５において、その顔領域の位置を上記ユーザ位置として、カメラ基準ユーザ角度θやカメラ基準ユーザ距離Ｄを算出している。ただし、カメラ基準ユーザ角度θまたはカメラ基準ユーザ距離Ｄの一方だけを顔領域の検出に基づいて算出するようにしてもよい。もしくは、カメラ基準ユーザ角度θまたはカメラ基準ユーザ距離Ｄのいずれも、顔領域検出を利用せずにユーザ位置を検出することで算出することもできる。なお、この点については、他の実施形態でも同様である。
【００３８】
なお、カメラ基準ユーザ角度算出部１４およびカメラ基準ユーザ距離算出部１５とは別に画像内ユーザ座標検出部１３を設けた構成例を挙げたが、この構成例は、画像内ユーザ座標検出部１３のようなユーザ位置を特定する機能をカメラ基準ユーザ角度算出部１４およびカメラ基準ユーザ距離算出部１５の双方にもたせることと同義である。
【００３９】
マイクアレイ基準ユーザ角度算出部１６は、所定距離Ｌ、カメラ基準ユーザ角度算出部１４から伝達されたカメラ基準ユーザ角度θ、およびカメラ基準ユーザ距離算出部１５から伝達されたカメラ基準ユーザ距離Ｄに基づいて、マイクアレイ基準ユーザ角度の算出を行う。ここで、マイクアレイ基準ユーザ角度とは、マイクアレイ１１を基準とした上記ユーザ位置の角度であり、この例ではマイクアレイ基準点２２を基準としたユーザ角度である。
【００４０】
図６は、このマイクアレイ基準ユーザ角度の算出方法を説明するための図で、カメラ１２とマイクアレイ１１の中間にユーザが位置する場合の一例を示す俯瞰図である。カメラ基準ユーザ角度θとカメラ基準ユーザ距離Ｄが算出されれば、マイクアレイ基準点２２に対するユーザ６１の位置を幾何学的な計算により算出することができる。具体的には、カメラ基準点４１とマイクアレイ基準点２２の位置関係は、音声入力装置１を設計するときに上記所定距離Ｌを含めてあらかじめ設定されるため、マイクアレイ基準点２２を基準としたユーザのマイクアレイ基準ユーザ角度αを算出することができる。例えば、カメラ基準点４１から見てユーザの後ろに別の発話者６２が発話しており、カメラで別の発話者６２を検出できない場合にも、ユーザ６１のみにマイクアレイ１１の指向角度を向けて適切にユーザ６１の音声を入力することができる。マイクアレイ基準ユーザ角度算出部１６で算出したマイクアレイ基準ユーザ角度αは、指向角度制御部１７へ伝達される。
【００４１】
また、図６ではユーザ６１がカメラ１２とマイクアレイ１１の間に位置する場合で説明したが、各基準点から同じ方向にユーザがいる場合でも同様に適用することができる。図７および図８を参照してこの点について説明する。図７は、カメラ１２とマイクアレイ１１から見て同じ方向かつマイクアレイ１１に近い場所にユーザが位置する場合の一例を示す俯瞰図で、図８は、カメラ１２とマイクアレイ１１から見て同じ方向かつカメラ１２に近い場所にユーザが位置する場合の一例を示す俯瞰図である。
【００４２】
図７で例示するように各基準点２２，４１から見て右側にユーザ６１が位置する場合でも、図８で例示するように各基準点２２，４１から見て左側にユーザ６１が位置する場合でも、図６の場合と同様に、カメラ基準ユーザ角度θとカメラ基準ユーザ距離Ｄから、マイクアレイ基準点２２に対するユーザ６１の位置を幾何学的な計算により算出することができる。
【００４３】
このように、カメラ基準点４１とマイクアレイ基準点２２の位置関係を利用して、マイクアレイ基準点２２を基準としたユーザ６１のマイクアレイ基準ユーザ角度αを算出することができる。ただし、カメラ基準点４１とマイクアレイ基準点２２が同じ位置になるようにカメラ１２とマイクアレイ１１を配置すると、別の発話者６２がユーザ６１の後方にいる場合など、カメラから見てほぼ同じ角度にいる場合、指向角度制御によりユーザの音声を分離し独立に音声入力することができない。また、カメラ１２の撮影画像もユーザが重なり検出することができない。したがって、カメラ基準ユーザ角度算出部１４の算出した角度が変化する方向に、所定距離Ｌだけ離れた状態でカメラ１２とマイクアレイ１１を配置する。これにより、別の発話者６２がカメラ１２から見てユーザ６１とほぼ同じ角度にいる場合に、各発話者の音声を独立に音声入力することが可能となる。なお、所定距離Ｌはどのような値でもよい。
【００４４】
指向角度制御部１７は、カメラ１２で入力された画像に基づいてマイクアレイ１１の指向角度を制御するが、本発明の主たる特徴として、上記のマイクアレイ基準ユーザ角度αになるようマイクアレイ１１の指向角度を制御する。つまり、指向角度制御部１７は、マイクアレイ基準ユーザ角度算出部１６から伝達されたマイクアレイ基準ユーザ角度αに向けてマイクアレイ１１の指向角度制御を行い、マイクアレイ１１から伝達された音声を出力する。なお、図６〜図８においては便宜上、正負を問わず、角度θ，αがそれぞれ軸４２，２５とのなす角度であるものとして表現しているが、角度が０度の位置やいずれが正方向であるかは任意に決めておけばよい。
【００４５】
本実施形態においては、マイクアレイ１１から送られた超指向性マイクロフォン２１（または図３のマイクロフォン３１）の音声情報から、マイクアレイ基準ユーザ角度αに該当する音声を選択することで、このような制御が実現できる。ここで、マイクアレイ１１が指向性の弱いマイクロフォンを利用している場合には、音声の到達時間の差を考慮することで、特定角度からの音声を音声情報として取得することができる。
【００４６】
また、本実施形態では、角度θや角度αをそれぞれ一つの値として説明したが、算出される値には誤差や幅が存在するので、各角度には所定の許容範囲を設定することができる。例えば、算出される角度の許容範囲を例えば±５°などの一定範囲としてあらかじめ設定しておくことができる。なお、この許容範囲についてはあらかじめ角度として定める必要や一定範囲とする必要はなく、そのような例については実施形態２として後述する。
【００４７】
以上で説明したように、カメラ基準ユーザ角度θが変化する面において、所定距離Ｌだけ離れた状態でカメラ１２とマイクアレイ１１を配置し、カメラ１２から目的の距離（上記の距離Ｄ）だけ離れた位置にマイクアレイ１１の指向角度を向けることで、別のユーザ（別の発話者）６２がカメラ１２から見てユーザ６１とほぼ同じ角度にいる場合に、各ユーザの音声を独立に音声入力することが可能となり、音声取得対象となるユーザの音声のみを別のユーザの音声と分けて入力することでユーザ音声の誤認識を低減することができ、好適である。なお、入力画像として動画像を適用することで、逐次、そのユーザの位置に合った方向に指向角度が切り替わるため、ユーザが移動したとしても誤認識を低減できるといった効果を奏する。
【００４８】
このように、本発明によれば、指向角度を制御できる音声入力装置において、音声取得対象となる発話者（ユーザ）と同じ方向で違う距離に発話中の人物など、録音者（音声入力装置を使用するユーザであって、基本的には上記発話者とは異なる者）の意図しない音源がある場合に、その距離を判定して目的の距離にいるユーザの音声のみを入力することでユーザ音声の誤認識を低減し、低ノイズでユーザ音声を取得することができる。
【００４９】
（実施形態２）
以下、図９〜図１１を併せて参照し、本発明の実施形態２について具体的に説明する。
図９は、本実施形態に係る音声入力装置におけるマイクアレイの一構成例を示す図である。図１０および図１１は、本実施形態に係る音声入力装置におけるマイクアレイ基準ユーザ角度範囲の算出方法の一例を説明するための図である。図１０には算出誤差範囲が大きい場合の一例を示し、図１１には算出誤差範囲が小さい場合の一例を示している。
【００５０】
本実施形態における音声入力装置の構成例を示すブロック図は、実施形態１で示した図１と同様であり、各部の詳細な説明は省略する。また、マイクアレイ１１やカメラ１２の動作も実施形態１で示したものと同様である。
【００５１】
本実施形態における指向角度制御部１７は、図１のマイクアレイ１１の指向範囲（指向角度が示す範囲）を制御することが可能に構成されており、マイクアレイ１１もそのような制御が可能な複数のマイクロフォンで構成されている。本実施形態では、マイクアレイ１１として、図９で例示するように、指向性が弱いまたはない複数のマイクロフォン３１を利用することが望ましく、そのような例を挙げる。ただし、指向性が強い複数のマイクロフォンであっても利用できる。
【００５２】
指向角度制御部１７では、音声を取得したい指向範囲（指向領域）９１に入っている各指向方向（指向角度）の音声を、実施形態１と同様の方法で強調し、その他の角度の音声を抑制する。ここでは、図３の例と同様に複数のマイクロフォン３１への音声到達時間の差を利用することで指向範囲の制御を行っている。これにより、指向角度制御部１７は、マイクアレイ１１の指向範囲を制御することができる。以下、具体的にこの制御に関して説明する。なお、指向性が強い複数のマイクロフォンであっても、指向角度が示す指向範囲に向いているような１または複数のマイクロフォンを駆動させるなどして、このような制御は可能である。
【００５３】
カメラ１２は、実施形態１と同様に撮影した画像（および撮影情報）を画像内ユーザ座標検出部１３に伝達する。ここで、例えば、カメラ１２として魚眼カメラを利用する場合、撮影画角が広いため広範囲でユーザの顔を検出することができるが、画像が円形になるため画像中心と画像周辺とで解像度が異なる。そのため、カメラ光軸を基準としたカメラ基準ユーザ角度（図６の角度θ）の角度値が小さいときと大きいときとでは、カメラ１２の撮影画像の解像度が異なるため角度算出精度が異なる。そこで、本実施形態では、角度の算出精度が異なっても所望の効果が適切に得られるように、カメラ基準ユーザ角度算出部１４が角度算出誤差範囲を考慮した動作をする。
【００５４】
カメラ基準ユーザ角度算出部１４は、画像内ユーザ顔座標からカメラ基準ユーザ角度θを算出するときに許容範囲を設定しておくことで、角度算出誤差による動作不良を低減することができる。そこで、カメラ基準ユーザ角度算出部１４は、画像内ユーザ顔座標からカメラ基準ユーザ角度θを算出するときに、算出された角度θにおける角度算出誤差範囲の算出も行う。
【００５５】
角度算出誤差範囲は、例えば、カメラ１２において、画像内ユーザ顔座標が左右に１画素ずれたときのカメラ基準ユーザ角度θａ，θｂ（図１０を参照）を算出し、そのカメラ基準ユーザ角度θａ，θｂを境界とした範囲を角度算出誤差範囲１０１とする。このとき、あるカメラ基準ユーザ角度において、撮影画像の解像度が高く角度算出誤差が小さい場合は、画像内ユーザ顔座標が１画素ずれたときの角度変化が小さい。一方、撮影画像の解像度が低く角度算出誤差が大きい場合は、画像内ユーザ顔座標が１画素ずれたときの角度変化が大きくなる。つまり、算出されるカメラ基準ユーザ角度θにより角度算出誤差範囲が異なってくる。
【００５６】
比較のために、実施形態１で説明したように、算出されるカメラ基準ユーザ角度θに依らずに誤差範囲が一定であるとして誤差の許容範囲を設定した場合について説明する。このような設定の場合、入力画像中心の解像度が高い領域の角度算出誤差範囲を基準に設定すると、入力画像の周辺領域（縁側）では解像度が低いため、角度算出誤差が大きくなり所望の音声が除外されてしまう可能性がある。一方、入力画像の周辺に位置する解像度が低い領域の角度算出誤差範囲を基準に設定すると、画像中心の領域では解像度が高く角度算出誤差が小さいにも拘わらず過度の許容範囲を設けたために、所望の音声にノイズが含まれてしまう可能性がある。
【００５７】
このような事態を防ぐために、本実施形態では、算出されるカメラ基準ユーザ角度θに依って角度算出誤差範囲が異なるものとし、誤差の許容範囲をその角度θに依存して設定し、入力画像の中心では角度算出誤差範囲を小さく、入力画像の周辺領域では角度算出誤差範囲を大きくする。これにより、結果的にノイズ低減と所望音声取得を適切に行うことが可能となる。
【００５８】
ここで、角度算出誤差範囲を左右に１画素ずれた場合の範囲として説明したが、カメラの解像度など撮影する条件により角度算出誤差範囲を適宜設定することができる。また、算出された角度θから角度算出誤差範囲を毎回算出することもできるが、算出された角度θごとに角度算出誤差範囲を定めたＬＵＴ（Look Up Table）を保持してもよい。
【００５９】
本実施形態におけるカメラ基準ユーザ角度算出部１４は、算出したカメラ基準ユーザ角度θおよび角度算出誤差範囲１０１を、マイクアレイ基準ユーザ角度算出部１６へ伝達する。
【００６０】
カメラ基準ユーザ距離算出部１５は、画像内ユーザ座標検出部１３から伝達された画像内ユーザの顔の大きさからカメラ基準ユーザ距離Ｄを算出するときに、許容範囲を設定しておくことで、距離算出誤差による動作不良を低減することができる。そこで、カメラ基準ユーザ距離算出部１５は、画像内ユーザ顔座標からカメラ基準ユーザ距離Ｄを算出するときに、距離算出誤差範囲の算出も行う。
【００６１】
本実施形態では、距離算出誤差範囲を例えば、画像内のユーザの顔の大きさが左右１画素ずつ大きくなった場合と左右１画素ずつ小さくなった場合の距離Ｄａ，Ｄｂ（図１０を参照）を算出し、算出した距離Ｄａ，Ｄｂを境界とした範囲を距離算出誤差範囲１０２とする。このとき、カメラ基準ユーザ距離Ｄが短い場合、画像内ユーザ顔の大きさが１画素ずれたときのユーザ距離変化が小さい。一方、距離Ｄが長い場合は、画像内ユーザ顔の大きさが１画素ずれたときのユーザ距離変化が大きくなる。つまり、算出されるカメラ基準ユーザ距離Ｄにより距離算出誤差が異なってくる。
【００６２】
比較のために、算出されるカメラ基準ユーザ距離Ｄに依らずに距離算出誤差範囲が一定であるとして誤差の許容範囲を設定した場合について説明する。このような設定の場合、距離Ｄが短い場合の距離算出誤差範囲を基準に設定すると、距離Ｄが長い場合に距離算出誤差が大きくなり所望のユーザ音声が除外されてしまう可能性がある。一方、距離Ｄが長い場合の距離算出誤差範囲を基準に設定すると、距離Ｄが短い場合に距離算出誤差が小さいにも拘わらず過度の許容範囲を設けたために、所望のユーザ音声にノイズが含まれてしまう可能性がある。
【００６３】
また、距離算出誤差範囲１０２は、算出時のカメラ基準ユーザ角度θによっても変化する。例えば、カメラ１２として魚眼レンズを搭載したカメラを用いる場合、カメラ基準ユーザ角度θが大きくなると、顔領域の解像度が低くなる。撮影画像の解像度が高く距離算出誤差が小さい場合は、画像内ユーザ顔の大きさが１画素ずれたときのユーザ距離変化が小さい。一方、撮影画像の解像度が低く距離算出誤差が大きい場合は、画像内ユーザ顔の大きさが１画素ずれたときのユーザ距離変化が大きくなる。つまり、算出されるカメラ基準ユーザ角度θにより距離算出誤差が異なってくる。
【００６４】
比較のために、算出されるカメラ基準ユーザ角度θに依らずに距離算出誤差範囲が一定であるとして誤差の許容範囲を設定した場合について説明する。このような設定の場合、入力画像中心の解像度が高い領域（角度θが小さい領域に相当）の距離算出誤差範囲を基準に設定すると、入力画像の周辺領域では解像度が低いため、距離算出誤差が大きくなり所望のユーザ音声が除外されてしまう可能性がある。一方、入力画像の周辺に位置する解像度が低い領域（角度θが大きい領域に相当）の距離算出誤差範囲を基準に設定すると、画像中心の領域では解像度が高く距離算出誤差が小さいにも拘わらず過度の許容範囲を設けたために、所望のユーザ音声にノイズが含まれてしまう可能性がある。
【００６５】
このような事態を防ぐために、本実施形態では、カメラ基準ユーザ距離Ｄおよびカメラ基準ユーザ角度θに依って距離算出誤差範囲が異なるものとし、誤差の許容範囲を距離Ｄおよび角度θに依存して設定する。画像内のユーザの顔の大きさが左右１画素ずつ大きくなった場合と左右１画素ずつ小さくなった場合の距離Ｄａ，Ｄｂを算出し、算出した距離Ｄａ，Ｄｂを境界とした範囲を距離算出誤差範囲１０２とすることで、入力画像の中心（角度θが小さい領域に相当）では距離算出誤差範囲１０２が小さく、入力画像の周辺領域（縁側であって、角度θが大きい領域に相当）では距離算出誤差範囲１０２が大きく、また、距離Ｄが短い場合には距離算出誤差範囲１０２が小さく、距離Ｄが長い場合には距離算出誤差範囲１０２が大きくなる。これにより、結果的にノイズ低減と所望音声取得を適切に行うことが可能となり好適である。
【００６６】
ここで、距離算出誤差範囲を画像内のユーザの顔の大きさが左右に１画素ずれた場合の範囲として説明したが、カメラの解像度など撮影する条件により適宜設定することができる。また、算出時の角度θおよび算出された距離Ｄから距離算出誤差範囲を毎回算出することもできるが、算出時の角度θおよび算出された距離Ｄごとに距離算出誤差範囲を定めたＬＵＴを保持してもよい。
【００６７】
また、本実施形態では、距離Ｄおよび角度θに依って距離算出誤差範囲が異なるものとし、誤差の許容範囲を距離Ｄおよび角度θに依存して設定した例を挙げた。しかし、距離算出誤差範囲を距離Ｄまたは角度θのいずれか一方のみに依って異なるものとし、誤差の許容範囲を距離Ｄまたは角度θに依存して設定するようにしてもよい。この場合にも、算出された距離Ｄごとに距離算出誤差範囲を定めたＬＵＴ、または算出時の角度θごとに距離算出誤差範囲を定めたＬＵＴを保持して、ＬＵＴを参照して距離算出誤差を求めてもよい。
【００６８】
本実施形態のカメラ基準ユーザ距離算出部１５は、算出したカメラ基準点４１からユーザまでの距離であるカメラ基準ユーザ距離Ｄおよび距離算出誤差範囲１０２を、マイクアレイ基準ユーザ角度算出部１６へ伝達する。
【００６９】
マイクアレイ基準ユーザ角度算出部１６は、所定距離Ｌ、カメラ基準ユーザ角度θ、角度算出誤差範囲１０１、カメラ基準ユーザ距離Ｄ、および距離算出誤差範囲１０２に基づいて、マイクアレイ基準点２２を基準としたユーザ角度の範囲であるマイクアレイ基準ユーザ角度範囲の算出を行う。
【００７０】
マイクアレイ基準ユーザ角度範囲の算出方法について、図１０および図１１を参照しながら説明する。マイクアレイ基準ユーザ角度算出部１６は、所定距離Ｌと、カメラ基準ユーザ角度算出部１４から伝達されたカメラ基準ユーザ角度θおよび角度算出誤差範囲１０１と、カメラ基準ユーザ距離算出部１５から伝達されたカメラ基準ユーザ距離Ｄおよび距離算出誤差範囲１０２とから、ユーザ６１が存在すると推定できる範囲１０３を幾何学的な計算により算出する。ここで、範囲１０３は、角度算出誤差範囲１０１と距離算出誤差範囲１０２との共通部分となる共通範囲である。
【００７１】
具体的には、カメラ基準点４１とマイクアレイ基準点２２の位置関係は、音声入力装置１を設計するときに上記所定距離Ｌを含めてあらかじめ設定されるため、ユーザ６１が存在すると推定できる範囲１０３を含むような、マイクアレイ基準点２２を基準としたマイクアレイ基準ユーザ角度範囲１０４を算出することができる。このとき、図１０のようにユーザ６１の顔の大きさに対して大きい範囲１０３が検出されることも、図１１のようにユーザ６１の顔の大きさに対して小さい範囲１０３が検出されることもある。しかし、距離Ｄや角度θに基づく適切な誤差を鑑みて範囲１０３が算出されているため、この範囲１０３は誤差も鑑みた適切な範囲と言え、この範囲１０３から得られるマイクアレイ基準ユーザ角度範囲１０４も適切な範囲と言える。
【００７２】
マイクアレイ基準ユーザ角度算出部１６で算出したマイクアレイ基準ユーザ角度範囲１０４は、指向角度制御部１７へ伝達される。なお、このとき、同時にマイクアレイ基準ユーザ角度（範囲１０４の中央値の角度）も伝達されるようにしてもよい。
【００７３】
本実施形態における指向角度制御部１７は、マイクアレイ基準ユーザ角度算出部１６から伝達されたマイクアレイ基準ユーザ角度範囲１０４の音声が取得できるようマイクアレイ１１の指向範囲９１を制御する。つまり、本実施形態における指向角度制御部１７は、マイクアレイ１１の指向角度である指向範囲９１が、マイクアレイ基準ユーザ角度範囲１０４になるように制御する。これにより、マイクアレイ基準ユーザ角度範囲１０４に応じて適切にマイクアレイ１１の指向範囲を制御することができる。
【００７４】
本実施形態の音声入力装置１によれば、カメラ１２のカメラ基準ユーザ角度θごとの解像度やカメラ基準ユーザ距離Ｄごとの解像度に応じて、適切なマイクアレイ基準ユーザ角度範囲１０４を算出できるため、マイクアレイの指向範囲を適切に設定することができる。また、マイクアレイ基準ユーザ角度（範囲１０４の中央値の角度）も伝達するか、マイクアレイ基準ユーザ角度範囲１０４からその中央値の角度として求めることで、マイクアレイ基準ユーザ角度（上記の角度α）が示す指向方向の音声入力レベルを上げて、範囲１０４の端に近づくほど音声入力レベルを下げるなどの制御を行うこともできる。
【００７５】
以上、角度算出誤差範囲１０１および距離算出誤差範囲１０２が算出された結果に対してマイクアレイ基準ユーザ角度範囲１０４を設定したが例を挙げたが、角度算出誤差範囲１０１のみまたは距離算出誤差範囲１０２のみでこのような設定を実施することもでき、いずれの場合にもノイズ低減と所望音声取得を実現する効果が得られる。角度算出誤差範囲１０１のみでこのような設定を実施した場合には、距離Ｄでかつ角度算出誤差範囲１０１となる円弧を挟むように、距離算出誤差範囲１０２のみでこのような設定を実施した場合には、角度θでかつ距離算出誤差範囲１０２となる線分を挟むように、それぞれマイクアレイ基準ユーザ角度範囲１０４が設定されることになる。
【００７６】
つまり、マイクアレイ基準ユーザ角度算出部１６は、所定距離、カメラ基準ユーザ距離、カメラ基準ユーザ角度、および角度算出誤差範囲に基づいて、マイクアレイ基準ユーザ角度範囲を算出するようにしてもよい。もしくは、マイクアレイ基準ユーザ角度算出部１６は、所定距離、カメラ基準ユーザ角度、カメラ基準ユーザ距離、および距離算出誤差範囲に基づいて、マイクアレイ基準ユーザ角度範囲を算出するようにしてもよい。
【００７７】
また、角度算出誤差範囲や距離算出誤差範囲を算出する例は、入力画像の縁側の方が中央部分に比べてフォーカスが合っていない場合が多いなどの理由から、カメラ基準ユーザ角度やカメラ基準ユーザ距離の算出誤差が大きくなることが多いと言えるため、顔領域の検出以外の方法でユーザ位置を検出した場合でも有益である。
【００７８】
以上で説明したように、本実施形態では、マイクアレイ基準ユーザ角度範囲を、カメラ基準ユーザ角度および／またはカメラ基準ユーザ距離に応じて、より具体的にはカメラ基準ユーザ角度ごとの解像度および／またはカメラ基準ユーザ距離ごとの解像度に応じて算出しており、これにより、マイクアレイの指向範囲を適切に制御することができる。
【００７９】
（実施形態３）
以下、本発明の実施形態３を具体的に説明する。
本実施形態における音声入力装置の構成例を示すブロック図は、実施形態１で示した図１と同様であり、各部の詳細な説明は省略する。また、マイクアレイ１１やカメラ１２の動作も実施形態１で示したものと同様である。ただし、本実施形態の特徴は実施形態２に適用することもできる。
【００８０】
本実施形態における画像内ユーザ座標検出部１３は、カメラ１２で撮影された画像内から、ユーザ個人を特定し、そのユーザの位置情報の検出を行う。ユーザの特定は、例えば、あらかじめ保存したユーザの顔（以下、ユーザ顔）が撮影された画像について、数段階に拡大率を変えた画像をテンプレート画像としてテンプレートマッチングを行うことで実現できる。
【００８１】
より具体的に説明すると、ユーザ顔を検出する画像からテンプレート画像と同じ縦横の画素数の範囲をウインドウ画像として抜き出して、ウインドウ画像全画素について対応するテンプレート画像の画素との画素値の差分の合計値を計算する。ユーザ顔を検出する画像から抜き出せるすべてのウインドウ画像について差分を計算し、差分が最も小さくなるウインドウ画像が抜き出される範囲を探す。差分が最も小さくなりかつ差分が閾値以下となる抜き出し範囲のユーザ顔を検出する画像に対する二次元座標をユーザの顔の二次元座標とし、差分が最も小さくなりかつ差分が閾値以下となる抜き出し範囲の例えば縦の画素数をユーザ顔の大きさとする。差分が最も小さくなりかつ差分が閾値以下となる抜き出し範囲が存在しないときは画像内にユーザ顔が存在しないと判定する。
【００８２】
画像内ユーザ座標検出部１３は、画像内のそれぞれの画像内ユーザ顔座標およびユーザ特定情報をカメラ基準ユーザ角度算出部１４に伝達し、画像内のそれぞれのユーザ顔について、大きさおよびユーザ特定情報（どのユーザであるかを示すＩＤまたは氏名など）をカメラ基準ユーザ距離算出部１５へ伝達する。
【００８３】
カメラ基準ユーザ角度算出部１４は、特定されたユーザの画像内ユーザ顔座標から、カメラ基準ユーザ角度の算出を行い、カメラ基準ユーザ角度がどのユーザのものかユーザ特定情報と関連付ける。カメラ基準ユーザ角度の算出は実施形態１と同様の方法で実現できる。カメラ基準ユーザ角度算出部１４は、ユーザ特定情報が付与されたカメラ基準ユーザ角度を、マイクアレイ基準ユーザ角度算出部１６へ伝達する。
【００８４】
カメラ基準ユーザ距離算出部１５は、画像内ユーザ座標検出部１３から伝達された、画像内のユーザの顔の大きさから、カメラ基準点からそれぞれのユーザまでのカメラ基準ユーザ距離の算出を行い、カメラ基準ユーザ距離がどのユーザのものかユーザ特定情報と関連付ける。カメラ基準ユーザ距離は、画像内ユーザ座標検出部１３でテンプレート画像として利用するユーザ顔が撮影された画像を、カメラ１２を利用して撮影し、撮影時の距離を計測しておくことで、実施形態１と同様に式（１）の計算により算出することができる。
【００８５】
本実施形態における式（１）の各変数は、Ｄが算出するカメラ基準ユーザ距離、ｄがテンプレート画像撮影時のカメラ基準ユーザ距離、ｔがテンプレート画像の縦の画素数、ｔ′が画像内ユーザ座標検出部１３から送られた抜き出し範囲の縦の画素数である。ここで、顔の大きさはユーザにより異なるため、ユーザのテンプレート画像撮影時の距離を利用してカメラ基準ユーザ距離を算出することで、画像内ユーザ座標検出部１３で特定したユーザの顔の大きさを反映したカメラ基準ユーザ距離が算出され、距離算出の誤差を低減できる。カメラ基準ユーザ距離算出部１５は、ユーザ特定情報が付与されたカメラ基準ユーザ距離を、マイクアレイ基準ユーザ角度算出部１６へ伝達する。
【００８６】
マイクアレイ基準ユーザ角度算出部１６は、所定距離Ｌ、カメラ基準ユーザ角度算出部１４から伝達されたカメラ基準ユーザ角度θ、およびカメラ基準ユーザ距離算出部１５から伝達されたカメラ基準ユーザ距離Ｄに基づいて、マイクアレイ基準点２２を基準としたユーザ角度であるマイクアレイ基準ユーザ角度の算出を行う。マイクアレイ基準ユーザ角度の算出は、所定距離Ｌに加え、同じユーザ特定情報が付与されたカメラ基準ユーザ角度θおよびカメラ基準ユーザ距離Ｄから、実施形態１と同様の方法で算出することができる。
【００８７】
マイクアレイ基準ユーザ角度算出部１６は、カメラ基準ユーザ角度算出部１４から伝達されたユーザ特定情報、および、カメラ基準ユーザ距離算出部１５から伝達されたユーザ特定情報を、マイクアレイ基準ユーザ角度αに付与する。マイクアレイ基準ユーザ角度算出部１６は、ユーザ特定情報とユーザ特定情報とが付与されたマイクアレイ基準ユーザ角度αを、指向角度制御部１７へ伝達する。
【００８８】
指向角度制御部１７は、マイクアレイ基準ユーザ角度算出部１６から伝達されたマイクアレイ基準ユーザ角度αに向けてマイクアレイ１１の指向角度制御を行い、マイクアレイ１１から伝達された音声を出力する。これにより、ユーザの実際の顔の大きさを考慮した距離算出ができ、指向角度制御部１７での指向角制御が精度良く行えるようになる。
【００８９】
ここで、本実施形態では、ユーザ顔をあらかじめ撮影するときに、顔撮影データと距離とを関連付けて参照データとしたが、画像内ユーザ座標検出部１３において検出された顔属性をユーザ特定情報とし、カメラ基準ユーザ距離を補正するようにしてもよい。顔属性とは、性別、年齢などで、女性より男性、子供より大人の方が大きい、などで設定することができる。各属性の判定には従来の方法を使用することができ、参照データの類似度などから推定することが可能である。このように、顔属性を考慮したユーザ距離算出により、指向角度制御部１７での指向角制御が精度良く行えるようになる。
【００９０】
（実施形態４）
以下、図１２を併せて参照し、本発明の実施形態４について具体的に説明する。
図１２は、本発明の実施形態４に係る音声認識装置の一構成例を示すブロック図である。図１２に示すように、本実施形態における音声認識装置は、実施形態３で説明した音声入力装置１と音声認識部１２１とを備えた音声認識装置である。ただし、本実施形態は、実施形態１，２のいずれにも適用できる。
【００９１】
音声認識部１２１は、音声入力装置１から伝達される音声入力結果を解析し、解析結果を出力する。解析方法は従来の方法を使用することができ、例えば、参照データと比較することにより音声を解析して認識する。出力された結果は、テキストデータに変換したり、電気機器のＯＮ、ＯＦＦなどの制御に使用したりする。本実施形態の音声認識装置は、適切に所望の音声が低ノイズで取得できる音声入力装置１を備えるため、高精度で音声を認識することが可能である。
【００９２】
さらに、本実施形態における指向角度制御部１７は、指向角度制御に利用したマイクアレイ基準ユーザ角度αに付与されたユーザ特定情報を、マイクアレイ１１から伝達された音声に付与して出力することができる。これにより、音声認識において、ユーザに合わせて音声認識精度の高い音声認識方法を利用することが可能になり、音声認識の誤認識を低減することができるため好適である。例えば、ユーザ特定情報と音声入力結果から音声認識の参照データを更新していき、ユーザごとの参照データにより音声認識を行う。これによりユーザ固有の音声の特徴を考慮した音声認識を実現することができる。特徴量としては、音声のパラメータとして一般的なものを対象とすることができ、イントネーション、周波数、などがある。したがって、ユーザ特定情報を音声入力に付与することで、音声認識の参照データをユーザに合わせて変更することができ、誤認識を低減することができる。
【００９３】
（実施形態５）
以下、図１３を併せて参照し、本発明の実施形態５について具体的に説明する。
図１３は、本発明の実施形態５に係る画像表示装置の一構成例を示すブロック図である。図１３に示すように、本実施形態における画像表示装置は、実施形態４で説明した音声認識装置、制御部１３１、および画像表示部１３２を備えた画像表示装置である。本実施形態に係る画像表示装置が音声認識部１２１を備えることを前提に説明するが、音声認識部１２１を別装置で構成することも可能であり、本実施形態に係る画像表示装置は、実施形態１〜３で説明したような音声入力装置１を備えていればよい。
【００９４】
制御部１３１は、音声認識部１２１から伝達されるユーザごとの音声認識結果に基づき、画像表示部１３２の表示内容や、電源のＯＮ／ＯＦＦや、音量などの制御を行う。これにより、本実施形態の画像表示装置は、音声による操作を行うことが可能となる。音声入力装置１は、画像表示装置のリモートコントローラに搭載しておくことが好ましい。
【００９５】
操作の内容の例としては、テレビ放送のチャンネル変更や、番組表の呼び出し、番組の指定などが挙げられる。本実施形態の画像表示装置は、適切に所望の音声が低ノイズで取得できる音声入力装置１を備え、高精度で音声を認識することが可能であるため、音声を利用したより正確な操作を行うことができる。
【００９６】
カメラ１２による撮影のタイミングについては、このような操作がなされた時に行えばよい。また、実施形態１〜５のいずれにおいても、音声入力装置１でのカメラ１２による撮影のタイミングは、音声入力を行っている最中か音声入力直前または直後であればよく、所定の操作（例えば音声入力ボタンの押下、もしくは音声入力操作とは別のシャッターボタンの押下）がなされたときとすればよい。
【００９７】
また、本実施形態に限らず、音声入力装置１に画像表示部を備えていれば、カメラ１２による撮影画像表示中にそのユーザの顔をタッチするなどして、ユーザ位置を録音者が指定し、その指定された位置に基づきカメラ基準ユーザ角度やカメラ基準ユーザ距離を算出することもできる。
【００９８】
このように、本実施形態によれば、マイクアレイ１１の指向範囲を適切に制御できる音声入力装置を備えた画像表示装置が提供できる。さらに、本実施形態に係る画像表示装置は、カメラ１２や画像内ユーザ座標検出部１３等のユーザ位置検出機能を備えているため、複数のユーザの画像内ユーザ座標を検出することが可能であるうえに、カメラ１２の画像を画像表示部１３２に表示させることもできる。加えて、本実施形態では、音声入力装置１により、複数のユーザの音声を別々に低ノイズで入力することができる。そのため、本実施形態に係る画像表示装置を用いれば、例えば、複数のユーザの画像をそれぞれ切り出して表示し、各ユーザの画像および音声をユーザごとに別々に配信することが可能なテレビ会議システムなどを構築することができる。また、本実施形態における画像表示装置としては、携帯電話機（スマートフォンと呼ばれるものも含む）、タブレットなども挙げられる。
【００９９】
（他の実施形態）
例えば図１、図１２、図１３で例示したマイクアレイ１１、カメラ１２、画像表示部１３２を除く部位など、本発明に係る装置の各構成要素は、例えばマイクロプロセッサ（またはＤＳＰ：Digital Signal Processor）、メモリ、バス、インターフェイス、リモコン等の周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現できる。上記ハードウェアの一部は集積回路／ＩＣ（Integrated Circuit）チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。また、本発明の各構成要素の全てをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部を集積回路／ＩＣチップセットとして搭載することも可能である。
【０１００】
また、上述した様々な構成例における機能を実現するためのソフトウェアのプログラムコードを記録した記録媒体を、音声入力装置またはそれを備えた装置（汎用コンピュータであってもよい）であって、マイクアレイ１１およびカメラ１２が内蔵または接続された装置に供給し、その装置内のマイクロプロセッサまたはＤＳＰによりプログラムコードが実行されることによっても、本発明の目的が達成される。この場合、ソフトウェアのプログラムコード自体が上述した様々な構成例の機能を実現することになり、このプログラムコード自体や、プログラムコードを記録した記録媒体（外部記録媒体や内部記憶装置）であっても、そのコードを制御側が読み出して実行することで、本発明を構成することができる。外部記録媒体としては、例えばＣＤ−ＲＯＭまたはＤＶＤ−ＲＯＭなどの光ディスクやメモリカード等の不揮発性の半導体メモリなど、様々なものが挙げられる。内部記憶装置としては、ハードディスクや半導体メモリなど様々なものが挙げられる。また、プログラムコードはインターネットからダウンロードして実行することや、放送波から受信して実行することもできる。
【０１０１】
以上、本発明に係る音声入力装置、およびその音声入力装置を備えた音声認識装置や画像表示装置について説明したが、その処理の手順を説明したように、本発明は、上述したような配置のマイクアレイとカメラを備えた音声入力装置における音声入力方向変更方法としての形態も採り得る。この音声入力方向変更方法は、カメラ基準ユーザ角度算出部が、カメラで入力した画像に基づいて、カメラを基準とした音声取得対象ユーザのユーザ位置の角度であるカメラ基準ユーザ角度を算出するステップと、カメラ基準ユーザ距離算出部が、上記画像に基づいて、カメラを基準とした上記ユーザ位置までの距離であるカメラ基準ユーザ距離を算出するステップと、マイクアレイ基準ユーザ角度算出部が、上記所定距離、上記カメラ基準ユーザ角度、および上記カメラ基準ユーザ距離に基づいて、マイクアレイを基準としたユーザ位置の角度であるマイクアレイ基準ユーザ角度を算出するステップと、指向角度制御部が、マイクアレイ基準ユーザ角度になるようマイクアレイの指向角度を制御するステップと、を有する。その他の応用例については、音声入力装置について説明した通りであり、その説明を省略する。
【０１０２】
なお、上記プログラムコード自体は、換言すると、この音声入力方向変更方法を、コンピュータに実行させるためのプログラムである。すなわち、このプログラムは、コンピュータに、カメラで入力した画像に基づいて、カメラを基準とした音声取得対象ユーザのユーザ位置の角度であるカメラ基準ユーザ角度を算出するステップと、上記画像に基づいて、カメラを基準とした上記ユーザ位置までの距離であるカメラ基準ユーザ距離を算出するステップと、上記所定距離、上記カメラ基準ユーザ角度、および上記カメラ基準ユーザ距離に基づいて、マイクアレイを基準としたユーザ位置の角度であるマイクアレイ基準ユーザ角度を算出するステップと、マイクアレイ基準ユーザ角度になるようマイクアレイの指向角度を制御するステップと、を実行させるためのものである。その他の応用例については、音声入力装置について説明した通りであり、その説明を省略する。
【０１０３】
以上のように、本発明に係る音声入力装置は、音声を取得するマイクロフォンを複数有するマイクアレイと、撮像素子を有し撮影により画像を入力するカメラと、該カメラで入力された該画像に基づいて前記マイクアレイの指向角度を制御する指向角度制御部と、を備えた音声入力装置であって、前記カメラと前記マイクアレイが所定距離だけ離間して配置され、前記音声入力装置は、前記画像に基づいて、前記カメラを基準とした音声取得対象ユーザのユーザ位置の角度であるカメラ基準ユーザ角度を算出するカメラ基準ユーザ角度算出部と、前記画像に基づいて、前記カメラを基準とした前記ユーザ位置までの距離であるカメラ基準ユーザ距離を算出するカメラ基準ユーザ距離算出部と、前記所定距離、前記カメラ基準ユーザ角度、および前記カメラ基準ユーザ距離に基づいて、前記マイクアレイを基準としたユーザ位置の角度であるマイクアレイ基準ユーザ角度を算出するマイクアレイ基準ユーザ角度算出部と、をさらに備え、前記指向角度制御部は、前記マイクアレイ基準ユーザ角度になるよう前記マイクアレイの指向角度を制御することを特徴とする。
【０１０４】
これにより、指向角度を制御できる音声入力装置において、音声取得対象となる発話者（ユーザ）と同じ方向で違う距離に発話中の人物など、録音者（音声入力装置を使用するユーザであって、基本的には上記発話者とは異なる者）の意図しない音源がある場合に、その距離を判定して目的の距離にいるユーザの音声のみを入力することでユーザ音声の誤認識を低減し、低ノイズでユーザ音声を取得することができる。
【０１０５】
また、前記マイクアレイ基準ユーザ角度算出部は、前記所定距離と、前記カメラ基準ユーザ距離と、前記カメラ基準ユーザ角度と、前記カメラ基準ユーザ角度に応じた角度算出誤差範囲とに基づいて、前記マイクアレイ基準ユーザ角度範囲を算出し、前記指向角度制御部は、前記マイクアレイ基準ユーザ角度範囲になるよう前記マイクアレイの指向角度を制御するようにしてもよい。カメラ基準ユーザ角度に応じてマイクアレイ基準ユーザ角度範囲を算出しているため、マイクアレイの指向範囲を適切に制御することができる。
【０１０６】
もしくは、前記マイクアレイ基準ユーザ角度算出部は、前記所定距離と、前記カメラ基準ユーザ角度と、前記カメラ基準ユーザ距離と、前記カメラ基準ユーザ角度および／または前記カメラ基準ユーザ距離に応じた距離算出誤差範囲とに基づいて、前記マイクアレイ基準ユーザ角度範囲を算出し、前記指向角度制御部は、前記マイクアレイ基準ユーザ角度範囲になるよう前記マイクアレイの指向角度を制御するようにしてもよい。カメラ基準ユーザ距離に応じてマイクアレイ基準ユーザ角度範囲を算出しているため、マイクアレイの指向範囲を適切に制御することができる。
【０１０７】
また、前記画像における被写体の顔領域を検出し、該顔領域の位置を前記ユーザ位置として、前記カメラ基準ユーザ角度および／または前記カメラ基準ユーザ距離を算出するようにしてもよい。顔領域の検出は、声を発している口が存在するため、ユーザ位置を検出するための処理として好ましい。
【０１０８】
また、本発明に係る画像表示装置は、上述のような音声入力装置を備えたことを特徴とする。これにより、マイクアレイの指向範囲を適切に制御できる音声入力装置を備えた画像表示装置が提供できる。
【符号の説明】
【０１０９】
Ｄ…カメラ基準ユーザ距離、Ｌ…カメラとマイクアレイ間の距離（所定距離）、θ…カメラ基準ユーザ角度、α…指向方向、１…音声入力装置、１１…マイクアレイ、１２…カメラ、１３…画像内ユーザ座標検出部、１４…カメラ基準ユーザ角度算出部、１５…カメラ基準ユーザ距離算出部、１６…マイクアレイ基準ユーザ角度算出部、１７…指向角度制御部、２１…超指向性マイクロフォン、２２…マイクアレイ基準点、２３…集音方向、２４…マイクアレイ正面方向、２５…マイクアレイ軸、３１…マイクロフォン、３２…カメラ基準点、４０…撮影範囲、４１…カメラ基準点、４２…カメラ光軸、４３…カメラ撮影方向、４４…直線、５１…カメラの投影面、５２…画像内ユーザ顔座標、６１…ユーザ、６２…別の発話者、９１…指向範囲（指向領域）、１０１…角度算出誤差範囲、１０２…距離算出誤差範囲、１０３…共通範囲、１０４…マイクアレイ基準ユーザ角度範囲、１２１…音声認識部、１３１…制御部、１３２…画像表示部。
【図１】
2014132533.tif 000003
【図２】
2014132533.tif 000004
【図３】
2014132533.tif 000005
【図４】
2014132533.tif 000006
【図５】
2014132533.tif 000007
【図６】
2014132533.tif 000008
【図７】
2014132533.tif 000009
【図８】
2014132533.tif 000010
【図９】
2014132533.tif 000011
【図１０】
2014132533.tif 000012
【図１１】
2014132533.tif 000013
【図１２】
2014132533.tif 000014
【図１３】
2014132533.tif 000015
【手続補正書】
【提出日】平成27年8月5日(2015.8.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声を取得するマイクロフォンを複数有するマイクアレイと、
撮像素子を有し撮影により画像を入力するカメラと、
該カメラで入力された該画像に基づいて前記マイクアレイの指向角度を制御する指向角度制御部と、を備えた音声入力装置であって、
前記カメラと前記マイクアレイが所定距離だけ離間して配置され、
前記音声入力装置は、
前記画像に基づいて、前記カメラを基準とした音声取得対象ユーザのユーザ位置の角度であるカメラ基準ユーザ角度を算出するカメラ基準ユーザ角度算出部と、
前記画像に基づいて、前記カメラを基準とした前記ユーザ位置までの距離であるカメラ基準ユーザ距離を算出するカメラ基準ユーザ距離算出部と、
前記所定距離、前記カメラ基準ユーザ角度、および前記カメラ基準ユーザ距離に基づいて、前記マイクアレイを基準としたユーザ位置の角度であるマイクアレイ基準ユーザ角度を算出するマイクアレイ基準ユーザ角度算出部と、をさらに備え、
前記マイクアレイ基準ユーザ角度算出部は、前記所定距離と、前記カメラ基準ユーザ距離と、前記カメラ基準ユーザ角度と、前記カメラ基準ユーザ角度に応じた角度算出誤差範囲とに基づいて、前記マイクアレイ基準ユーザ角度の範囲を算出し、
前記指向角度制御部は、前記マイクアレイ基準ユーザ角度の前記範囲になるよう前記マイクアレイの指向角度を制御することを特徴とする音声入力装置。
【請求項２】
前記マイクアレイ基準ユーザ角度算出部は、前記マイクアレイ基準ユーザ角度の前記範囲の算出を、前記カメラ基準ユーザ角度および／または前記カメラ基準ユーザ距離に応じた距離算出誤差範囲を併せて用いて実行することを特徴とする請求項１に記載の音声入力装置。
【請求項３】
音声を取得するマイクロフォンを複数有するマイクアレイと、
撮像素子を有し撮影により画像を入力するカメラと、
該カメラで入力された該画像に基づいて前記マイクアレイの指向角度を制御する指向角度制御部と、を備えた音声入力装置であって、
前記カメラと前記マイクアレイが所定距離だけ離間して配置され、
前記音声入力装置は、
前記画像に基づいて、前記カメラを基準とした音声取得対象ユーザのユーザ位置の角度であるカメラ基準ユーザ角度を算出するカメラ基準ユーザ角度算出部と、
前記画像に基づいて、前記カメラを基準とした前記ユーザ位置までの距離であるカメラ基準ユーザ距離を算出するカメラ基準ユーザ距離算出部と、
前記所定距離、前記カメラ基準ユーザ角度、および前記カメラ基準ユーザ距離に基づいて、前記マイクアレイを基準としたユーザ位置の角度であるマイクアレイ基準ユーザ角度を算出するマイクアレイ基準ユーザ角度算出部と、をさらに備え、
前記マイクアレイ基準ユーザ角度算出部は、前記所定距離と、前記カメラ基準ユーザ角度と、前記カメラ基準ユーザ距離と、前記カメラ基準ユーザ角度および前記カメラ基準ユーザ距離に応じた距離算出誤差範囲とに基づいて、前記マイクアレイ基準ユーザ角度の範囲を算出し、
前記指向角度制御部は、前記マイクアレイ基準ユーザ角度の前記範囲になるよう前記マイクアレイの指向角度を制御することを特徴とする音声入力装置。
【請求項４】
前記画像における被写体の顔領域を検出し、該顔領域の位置を前記ユーザ位置として、前記カメラ基準ユーザ角度および／または前記カメラ基準ユーザ距離を算出することを特徴とする請求項１〜３のいずれか１項に記載の音声入力装置。
【請求項５】
請求項１〜４のいずれか１項に記載の音声入力装置を備えた画像表示装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記の課題を解決するために、本発明の第１の技術手段は、音声を取得するマイクロフォンを複数有するマイクアレイと、撮像素子を有し撮影により画像を入力するカメラと、該カメラで入力された該画像に基づいて前記マイクアレイの指向角度を制御する指向角度制御部と、を備えた音声入力装置であって、前記カメラと前記マイクアレイが所定距離だけ離間して配置され、前記音声入力装置は、前記画像に基づいて、前記カメラを基準とした音声取得対象ユーザのユーザ位置の角度であるカメラ基準ユーザ角度を算出するカメラ基準ユーザ角度算出部と、前記画像に基づいて、前記カメラを基準とした前記ユーザ位置までの距離であるカメラ基準ユーザ距離を算出するカメラ基準ユーザ距離算出部と、前記所定距離、前記カメラ基準ユーザ角度、および前記カメラ基準ユーザ距離に基づいて、前記マイクアレイを基準としたユーザ位置の角度であるマイクアレイ基準ユーザ角度を算出するマイクアレイ基準ユーザ角度算出部と、をさらに備え、前記マイクアレイ基準ユーザ角度算出部は、前記所定距離と、前記カメラ基準ユーザ距離と、前記カメラ基準ユーザ角度と、前記カメラ基準ユーザ角度に応じた角度算出誤差範囲とに基づいて、前記マイクアレイ基準ユーザ角度の範囲を算出し、前記指向角度制御部は、前記マイクアレイ基準ユーザ角度の前記範囲になるよう前記マイクアレイの指向角度を制御することを特徴としたものである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の第２の技術手段は、第１の技術手段において、前記マイクアレイ基準ユーザ角度算出部は、前記マイクアレイ基準ユーザ角度の前記範囲の算出を、前記カメラ基準ユーザ角度および／または前記カメラ基準ユーザ距離に応じた距離算出誤差範囲を併せて用いて実行することを特徴としたものである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の第３の技術手段は、音声を取得するマイクロフォンを複数有するマイクアレイと、撮像素子を有し撮影により画像を入力するカメラと、該カメラで入力された該画像に基づいて前記マイクアレイの指向角度を制御する指向角度制御部と、を備えた音声入力装置であって、前記カメラと前記マイクアレイが所定距離だけ離間して配置され、前記音声入力装置は、前記画像に基づいて、前記カメラを基準とした音声取得対象ユーザのユーザ位置の角度であるカメラ基準ユーザ角度を算出するカメラ基準ユーザ角度算出部と、前記画像に基づいて、前記カメラを基準とした前記ユーザ位置までの距離であるカメラ基準ユーザ距離を算出するカメラ基準ユーザ距離算出部と、前記所定距離、前記カメラ基準ユーザ角度、および前記カメラ基準ユーザ距離に基づいて、前記マイクアレイを基準としたユーザ位置の角度であるマイクアレイ基準ユーザ角度を算出するマイクアレイ基準ユーザ角度算出部と、をさらに備え、前記マイクアレイ基準ユーザ角度算出部は、前記所定距離と、前記カメラ基準ユーザ角度と、前記カメラ基準ユーザ距離と、前記カメラ基準ユーザ角度および前記カメラ基準ユーザ距離に応じた距離算出誤差範囲とに基づいて、前記マイクアレイ基準ユーザ角度の範囲を算出し、前記指向角度制御部は、前記マイクアレイ基準ユーザ角度の前記範囲になるよう前記マイクアレイの指向角度を制御することを特徴としたものである。
【国際調査報告】
2014132533.tif 000016
2014132533.tif 000017
2014132533.tif 000018
2014132533.tif 000019