(57)【要約】【課題】注目が必要な音源の位置変化に自動的に追従し、注目した音源に対し、選択的に必要な音声処理を継続する。【解決手段】顔移動検出器３は外界監視カメラ２1〜２8の映像から人物の顔を検出する。両眼視線検出器７は、左、右眼監視カメラ４，５の映像より、装着者の視線方向を検出し、その方向から、視線対象検出器８が対象物の方向と距離を検出する。位置情報更新器９は、顔移動検出器３と視線対象検出器８との情報から、顔の位置情報を取得する。指向性調整器１１1〜１１8は、その位置情報から対応する位置の音声をビームフォーミングにより増強するパラメータを計算する。その結果を用いて、ステレオ対応指向性演算器１３1〜１３8が、マイクアレイ１２からの入力信号を対象音源の相対位置に応じて左側、右側それぞれのゲインを調整し、左音声、および右音声として出力する。【選択図】図１
2012029209.tif 000002
【特許請求の範囲】
【請求項１】
対象物の音源から音を取得する音源取得部と、
利用者の視線を監視して対象物を検出し、前記対象物の方向、および距離を検出する視線監視検出部と、
周囲を監視するカメラと、
前記カメラで撮影された映像から対象物を検出し、画像位置の変化の連続性から前記対象物の移動を検出し、移動情報として出力する移動検出部と、
前記移動検出部、および前記視線監視検出部が検出したそれぞれの検出結果から、前記対象物を追跡して位置情報を検出する位置情報検出部と、
前記位置情報検出部が検出した位置情報に基づいて、前記位置情報に対応する位置の音が増強されるように前記音源取得部の指向性を調整して音信号を出力する指向性音源調整部と、
前記指向性音源調整部から出力された音信号を出力する音出力部とを備えたことを特徴とする音処理システム。
【請求項２】
請求項１記載の音処理システムにおいて、
前記視線監視検出部は、
利用者の視線を監視する監視カメラ部と、
前記監視カメラ部の監視結果から、黒目部分、および角膜反射像から左眼、右眼それぞれの視線方向を検出する視線検出部と、
前記視線検出部が検出した視線情報から視線に対応する直線が空間上で最も接近する位置の中間点座標を求め、利用者が見ている対象物の方向と距離を検出する視線対象検出部とを備え、
前記位置情報検出部は、
前記移動検出部と前記視線検出部との検出結果から、対象物に視線が任意の時間以上とどまった際、前記対象物の位置情報を注目すべき位置として出力し、前記移動検出部が検出した移動情報に基づき、前記対象物の位置情報を更新する位置情報更新部と、
前記位置情報更新部から出力される位置情報を格納する位置情報記憶部とを備えたことを特徴とする音処理システム。
【請求項３】
請求項１または２記載の音処理システムにおいて、
前記位置情報更新部は、
位置情報を検出した際に、前記対象物が任意の距離以上離れていると判断すると、前記対象物から除外することを特徴とする音処理システム。
【請求項４】
請求項１〜３のいずれか１項に記載の音処理システムにおいて、
前記移動検出部は、
前記カメラで撮影された映像から人物の顔を検出して顔の特徴量を検出し、該特徴量に基づいて同一人物を判定し、画像位置の変化の連続性から顔の移動を検出し、
前記音源取得部は、
前記指向性音源調整部の制御に基づいて、音声を取得することを特徴とする音処理システム。
【請求項５】
請求項１〜４のいずれか１項に記載の音処理システムにおいて、
前記音源取得部は、
複数のマイクから構成されていることを特徴とする音処理システム。
【請求項６】
請求項１〜５のいずれか１項に記載の音処理システムにおいて、
前記音出力部は、
ノイズを打ち消す信号を発生し、ノイズキャンセルを行うノイズキャンセリング部を備えたことを特徴とする音処理システム。
【請求項７】
映像を表示する表示部と、
音を出力する音出力部と、
周囲を監視するカメラと、
音声を取得する音源取得部と、
前記カメラから入力される画像から人物の顔を抽出し、抽出した顔の位置、および距離を検出して前記人物の顔を追跡し、位置情報として出力する顔移動検出部と、
前記カメラの画像、および前記顔移動検出部が出力した位置情報に基づいて、検出した顔画像の中から眼の部分を抽出し、前記人物が見ている方向が前記表示部に表示されている何らかの処理をすべき箇所である特定表示部であるかを判断する注視状態検出部と、
前記注視状態検出部が前記人物が前記特定表示部を見ていると判断した際に、対応する人物の位置情報を取得する位置情報更新部と、
前記位置情報更新部が取得した位置情報に基づいて、前記人物の位置に対応する音声をビームフォーミングにより増強するパラメータを計算し、その計算結果に基づいて、前記位置情報に対応する位置の音声が増強されるように前記音源取得部の指向性を調整して音信号を出力する指向性音源調整部と、
前記指向性音源調整部から出力された音声信号に含まれる音声を認識し、その認識結果に基づいて、双方向コミュニケーション対象者であるかを判断し、対象者と判断すると、該人物に対応する位置情報に基づいて、前記表示部に情報を表示する音声認識表示制御部と、
前記音声認識表示制御部から出力された位置情報に基づいて、前記対象者のみに音が伝達されるように指向性を持たせる指向性演算処理を行い、演算結果に基づいて、前記音出力部から音声を出力する発音指向性調整演算部とを備えたことを特徴とする音処理システム。
【請求項８】
請求項７記載の音処理システムにおいて、
前記位置情報更新部は、
前記注視状態検出部が、前記人物が特定表示部を注視していると判断した際に、前記人物の顔の位置情報が変化する毎に前記位置情報を更新して追跡することを特徴とする音処理システム。
【請求項９】
請求項７記載の音処理システムにおいて、
前記音声認識表示制御部は、
双方向コミュニケーション対象者の位置情報に基づいて、前記表示部に小画面の映像情報を表示することを特徴とする音処理システム。
【請求項１０】
請求項８記載の音処理システムにおいて、
前記位置情報更新部が取得する位置情報は、複数の人物であり、複数の前記人物の位置情報を追跡して更新することを特徴とする音処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音源情報の処理技術に関し、特に、映像処理技術を活用した音声などの処理に有効な技術に関する。
【背景技術】
【０００２】
複数のマイクを用いてビームフォーミングを行い、特定の範囲の音を強調し処理するシステムが存在する。この種の音声処理システムとしては、たとえば、ある角度に定位している音源のみを抽出したり調整したりするもの（たとえば、特許文献１参照）や、音源の方向を記憶し、推定し、その推定に基づいて処理を行うもの（たとえば、特許文献２参照）などが知られている。
【０００３】
また、映像として注目している部分の音源を強調する装置として、視線位置を検出し当該視線位置の被写体にピントを合わせる視線位置ＡＦ(Auto Focus)機能を持つビデオカメラにおいて、視線位置の方向に収音手段の指向性を合わせる機能を有するものが知られている（たとえば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１０９９２号公報
【特許文献２】特開２００５−３５４２２３号公報
【特許文献３】特開平８−２９８６０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、上記のような音声処理技術では、次のような問題点があることが本発明者により見い出された。
【０００６】
上記した技術では、注目が必要な音源の位置を正確に追従し続け、選択的に音声処理を行うには課題がある。たとえば、特許文献３に示された技術では、常に注目すべき映像を人間が注視し続ける必要があり、ビデオカメラの画角から外れた場合には指向性を合わせることが困難になってしまうという問題がある。
【０００７】
また、特許文献２に示された技術では、推定が含まれるために正確な音源位置の追従が困難であり、特に対象物の無音の状態が長く続いた場合には、追従が極めて困難となってしまう。
【０００８】
さらに、特許文献１に示す技術の場合には、選択的に音声の処理を行う上で有効な技術ではあるが、音源位置の追従を行うことができないという問題がある。
【０００９】
本発明の目的は、注目が必要な音源の位置変化に自動的に追従し、注目した音源に対し、選択的に必要な音声処理を継続することのできる技術を提供することにある。
【００１０】
本発明の前記ならびにそのほかの目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１１】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
【００１２】
本発明は、対象物の音源から音を取得する音源取得部と、利用者の視線を監視して対象物を検出し、前記対象物の方向、および距離を検出する視線監視検出部と、周囲を監視するカメラと、前記カメラで撮影された映像から対象物を検出し、画像位置の変化の連続性から前記対象物の移動を検出し、移動情報として出力する移動検出部と、前記移動検出部、および前記視線監視検出部が検出したそれぞれの検出結果から、前記対象物を追跡して位置情報を検出する位置情報検出部と、前記位置情報検出部が検出した位置情報に基づいて、前記位置情報に対応する位置の音が増強されるように前記音源取得部の指向性を調整して音信号を出力する指向性音源調整部と、前記指向性音源調整部から出力された音信号を出力する音出力部とを備えたものである。
【００１３】
また、本発明は、前記視線監視検出部が、利用者の視線を監視する監視カメラ部と、前記監視カメラ部の監視結果から、黒目部分、および角膜反射像から左眼、右眼それぞれの視線方向を検出する視線検出部と、前記視線検出部が検出した視線情報から視線に対応する直線が空間上で最も接近する位置の中間点座標を求め、利用者が見ている対象物の方向と距離を検出する視線対象検出部とを備え、前記位置情報検出部は、前記移動検出部と前記視線検出部との検出結果から、対象物に視線が任意の時間以上とどまった際、前記対象物の位置情報を注目すべき位置として出力し、前記移動検出部が検出した移動情報に基づき、前記対象物の位置情報を更新する位置情報更新部と、前記位置情報更新部から出力される位置情報を格納する位置情報記憶部とを備えたものである。
【００１４】
さらに、本発明は、前記位置情報更新部が、位置情報を検出した際に、前記対象物が任意の距離以上離れていると判断すると、前記対象物から除外するものである。
【００１５】
また、本発明は、前記移動検出部が、前記カメラで撮影された映像から人物の顔を検出して顔の特徴量を検出し、該特徴量に基づいて同一人物を判定し、画像位置の変化の連続性から顔の移動を検出し、前記音源取得部は、前記指向性音源調整部の制御に基づいて、音声を取得するものである。
【００１６】
さらに、本発明は、前記音源取得部が、複数のマイクから構成されているものである。
【００１７】
また、本発明は、前記音出力部が、ノイズを打ち消す信号を発生し、ノイズキャンセルを行うノイズキャンセリング部を備えたものである。
【００１８】
さらに、本願のその他の発明の概要を簡単に示す。
【００１９】
音源が存在し得る方向の画像を監視し、注視対象になる可能性の部分を候補点としてマークする。候補点としてマークした部分に対し、あるいはマークした部分でイベントが発生したら、そのマークを注目音源として取り扱うためにその位置を記憶する。その位置に対応する画像の移動を画像処理により監視し、位置情報を適宜更新する。この位置情報に従い複数のマイクによるビームフォーミング特性を調整し、ビームフォーミングにより収音・抽出した音声に対して必要な処理を行う。
【００２０】
また、本発明は、映像を表示する表示部と、音を出力する音出力部と、周囲を監視するカメラと、対象物の音源から音を取得する音源取得部と、前記カメラから入力される画像から人物の顔を抽出し、抽出した顔の位置、および距離を検出して前記人物の顔を追跡し、位置情報として出力する顔移動検出部と、前記カメラの画像、および前記顔移動検出部が出力した位置情報に基づいて、検出した顔画像の中から眼の部分を抽出し、前記人物が見ている方向が前記表示部に表示されている何らかの処理をすべき箇所である特定表示部であるかを判断する注視状態検出部と、前記注視状態検出部が前記人物が前記特定表示部を見ていると判断した際に、対応する人物の位置情報を取得する位置情報更新部と、前記位置情報更新部が取得した位置情報に基づいて、前記人物の位置に対応する音声をビームフォーミングにより増強するパラメータを計算し、その計算結果に基づいて、前記位置情報に対応する位置の音声が増強されるように前記音源取得部の指向性を調整して音信号を出力する指向性音源調整部と、前記指向性音源調整部から出力された音声信号に含まれる音声を認識し、その認識結果に基づいて、双方向コミュニケーション対象者であるかを判断し、対象者と判断すると、該人物に対応する位置情報に基づいて、前記表示部に情報を表示する音声認識表示制御部と、前記音声認識表示制御部から出力された位置情報に基づいて、前記対象者のみに音が伝達されるように指向性を持たせる指向性演算処理を行い、演算結果に基づいて、前記音出力部から音声を出力する発音指向性調整演算部とを備えたものである。
【００２１】
さらに、本発明は、前記位置情報更新部が、前記注視状態検出部が、前記人物が特定表示部を注視していると判断した際に、前記人物の顔の位置情報が変化する毎に前記位置情報を更新して追跡するものである。
【００２２】
また、本発明は、前記音声認識表示制御部が、双方向コミュニケーション対象者の位置情報に基づいて、前記表示部に小画面の映像情報を表示するものである。
【００２３】
さらに、本発明は、前記位置情報更新部が複数の人物の位置情報を取得し、複数の前記人物の位置情報を追跡して更新するものである。
【発明の効果】
【００２４】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
【００２５】
（１）ユーザと音源の相互の位置関係が刻々と変化する環境下において聞き取る必要のある人の音声を選択的に精度よく増幅することができる。
【００２６】
（２）上記（１）により、騒音下などの状況にあっても、最適な会話の補助を行うことができる。
【００２７】
（３）また、ビームフォーミング可能なスピーカを組み合わせることで、双方向コミュニケーション可能なデジタルサイネージ機器を実現することができる。
【００２８】
（４）上記（３）により、複数人で会話が行われている状況において、特定の人にズームを行った際にも注目した人の音声を収音することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施の形態１による音声処理システムにおける構成の一例を示すブロック図である。
【図２】図１の音声処理システムの外観の一例を示す説明図である。
【図３】図２の音声処理システムに示した外観監視カメラによる監視領域の一例を示す説明図である。
【図４】本発明の実施の形態２によるデジタルサイネージシステムにおける構成の一例を示すブロック図である。
【図５】図４のデジタルサイネージシステムの外観の一例を示す説明図である。
【発明を実施するための形態】
【００３０】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００３１】
（実施の形態１）
図１は、本発明の実施の形態１による音声処理システムにおける構成の一例を示すブロック図、図２は、図１の音声処理システムの外観の一例を示す説明図、図３は、図２の音声処理システムに示した外観監視カメラによる監視領域の一例を示す説明図である。
【００３２】
本実施の形態１において、音声処理システム１は、会話中に会話相手の音声を選択的に強調して、該音声処理システム１の装着者に伝達するシステムである。
【００３３】
音処理システムである音声処理システム１は、図１に示すように、外界監視カメラ２1〜２8、顔移動検出器３、左眼監視カメラ４、右眼監視カメラ５、近赤外線ＬＥＤ６（図２に示す）、両眼視線検出器７、視線対象検出器８、位置情報更新器９、位置情報記憶器１０、指向性調整器１１1〜１１8、複数のマイクから構成されるマイクアレイ１２、ステレオ対応指向性演算器１３1〜１３8、加算器１４，１５、左耳イヤフォン１６、右耳イヤフォン１７、左耳マイク１８、右耳マイク１９、左ノイズキャンセル装置２０、および右ノイズキャンセル装置２１から構成されている。
【００３４】
これら左眼監視カメラ４、右眼監視カメラ５、両眼視線検出器７、および視線対象検出器８により、視線監視検出部が構成されており、位置情報更新器９と位置情報記憶器１０とによって位置情報検出部が構成されている。
【００３５】
また、指向性調整器１１1〜１１8、およびステレオ対応指向性演算器１３1〜１３8によって指向性音源調整部が構成されており、左耳マイク１８、右耳マイク１９、左ノイズキャンセル装置２０、および右ノイズキャンセル装置２１により、ノイズキャンセリング部が構成されている。
【００３６】
外界監視カメラ２1〜２8は、周囲を監視するカメラであり、周囲のどの位置に音源となりうる物があるか、また注目した音源がどこに移動しているかを監視するためのカメラ群である。
【００３７】
外界監視カメラ２1〜２8で撮影された映像は、顔移動検出器３へ出力され、人物の顔を検出する。顔移動検出器３は、入力された映像から人物の顔を検出する機能、および検出した顔の特徴量を検出する機能を有し、特徴量を元に同一人物を判定し、画像位置の変化の連続性から顔の移動を検出する。
【００３８】
顔検出アルゴリズムについては、デジタルカメラなどで既に多く実装されている技術のため説明を省略するが、たとえば、Ｈａａｒタイプの特徴量を用い、ＡｄａＢｏｏｓｔアルゴリズムを用いる手法が広く知られている。
【００３９】
また、同一の顔を複数の外界監視カメラ２1〜２8で撮影し、特徴量、および各外界監視カメラ２1〜２8で撮影した画像における顔画像の位置関係を用い、複数の外界監視カメラ２1〜２8で撮影した画像間で同一の顔画像を対応付けることにより、顔移動検出器３は、顔の方向だけでなく顔までの距離も検出可能である。
【００４０】
監視カメラ部である左眼監視カメラ４は、音声処理システム１の装着者の左眼の視線を監視する近赤外線カメラであり、監視カメラ部である右眼監視カメラ５は、機器装着者の右眼の視線を監視する近赤外線カメラである。
【００４１】
また、左眼監視カメラ４、および右眼監視カメラ５の近傍には、近赤外線ＬＥＤ６（図２に示す）が備えられている。左眼監視カメラ４、ならびに右眼監視カメラ５によって撮影された映像は、視線検出部である両眼視線検出器７において２値化された上、黒目部分、および角膜反射像から装着者の左眼、右眼それぞれの視線方向を検出する。
【００４２】
視線対象検出部となる視線対象検出器８は、両眼視線検出器７が検出した視線情報に基づいて、両眼の視線に対応する直線が空間上で最も接近する位置の中間点座標を求め、装着者が見ている対象物の方向と距離を検出する。
【００４３】
位置情報更新部となる位置情報更新器９は、顔移動検出器３と視線対象検出器８との出力から、顔の存在する場所に視線が任意の時間以上とどまった場合、当該顔画像の位置情報を注目すべき位置として、位置情報更新部となる位置情報記憶器１０に格納する。
【００４４】
この際、位置情報記憶器１０で記憶可能な数より注目数が多くなった場合は、最も過去に視線により注目された顔画像の位置情報を消去し、新しく注目した顔画像の位置情報に入れ替える。
【００４５】
注目すべき位置として顔画像を判別する場合、用途によっては顔までの距離を用いて一定距離以下であった場合に注目対象とする方法も考えられる。たとえば、通常の会話を中心とした用途であれば、約２メートル、ないし３メートル以内を対象とするなど考えられる。
【００４６】
また、位置情報更新器９は、顔移動検出器３が検出した顔移動情報に基づき、位置情報記憶器１０に記憶されている注目対象の位置情報を更新する機能も有する。この機能により、注目した顔画像の動きだけでなく、装着者自身が移動したり顔を動かしたりした場合であっても、装着者と注目した顔画像の相対位置情報を正しく更新することが可能である。
【００４７】
位置情報記憶器１０に記憶されている注目している顔画像に対応するそれぞれの位置情報は、指向性調整器１１1〜１１8のいずれかに割り当てられている。指向性調整器１１1〜１１8のうち、位置情報が割り当てられた指向性調整器は、音源取得部となるマイクアレイ１２を用いて位置情報に対応する位置の音声をビームフォーミングにより増強するために必要なデジタルフィルタのパラメータを計算する。
【００４８】
なお、これらの係数を求める方法としては、音源の位置とマイクアレイ１２を構成する各マイクまでの距離の差を補償するように各マイクからの入力信号を遅延して合計を求めるなどの手法がある。
【００４９】
ステレオ対応指向性演算器１３1〜１３8のうち、デジタルフィルタのパラメータを計算した指向性調整器に対応するステレオ対応指向性演算器は、該指向性調整器の計算結果に基づき、マイクアレイ１２を構成する各マイクから、たとえば、Ａ／Ｄ(Analog/Digital)変換入力されたデジタル音声信号のフィルタ処理を行う。
【００５０】
また、装着者に対して音源、すなわち顔画像の方向に応じた定位感を再現するため、ステレオ対応指向性演算器１３1〜１３8は、対象音源の相対位置に応じて左側、右側それぞれのゲインを調整し、左音声、および右音声として出力する。
【００５１】
ステレオ対応指向性演算器１３1〜１３8からの音声出力信号は、加算器１４，１５によって左側、右側それぞれ加算され、左耳イヤフォン１６と右耳イヤフォン１７を通して装着者の耳に伝える。
【００５２】
左耳マイク１８は、左耳イヤフォン１６から出力される左側音声のノイズキャンセル用のマイクであり、右耳マイク１９は、右耳イヤフォン１７から出力される右側音声のノイズキャンセル用のマイクである。
【００５３】
左耳マイク１８では、外部から左耳に直接届く音を入力し、この音を打ち消す信号（基本的には逆位相の信号）を左ノイズキャンセル装置２０で生成し、左耳イヤフォン１６で再生する音にゲインを調整し、加算器１４にて加える。右側も同様の処理を行う。この処理により、外部から直接耳に届くノイズなどを抑制でき、機器内部で生成した音を騒音下でも聞きやすくすることが可能である。
【００５４】
なお、左ノイズキャンセル装置２０、および右ノイズキャンセル装置２１は、必要な外部音が完全に遮断されるのを防止するために、特定の周波数帯の音に関してはキャンセルしないよう、打ち消す信号を生成しない場合もある。また、注目すべき音源が存在しない状態では、左ノイズキャンセル装置２０、および右ノイズキャンセル装置２１の動作を停止、あるいは左耳マイク１８、ならびに右耳マイク１９と同位相の信号を生成するモードに変更し、未装着に近い状態を再現することも考えられる。
【００５５】
図２は、音声処理システム１における外観構成の一例を示す説明図である。
【００５６】
音声処理システム１は、図示するように、たとえば、メガネ２２に備えられたメガネ型デバイスからなる。マイクアレイ１２は、マイク１２1〜１２10からなる。マイク１２1〜１２3は、メガネ２２の左側のテンプル部における耳あて部側からレンズ側にかけてそれぞれ等間隔で設けられている。
【００５７】
マイク１２4，１２5は、左側のレンズ上方、または左側レンズ縁上方などにそれぞれ等間隔で設けられており、マイク１２6，１２7は、右側のレンズ上方、あるいは右側レンズ縁上方などにそれぞれ等間隔で設けられている。
【００５８】
マイク１２8〜１２10は、メガネ２２の右側のテンプル部におけるレンズ側から耳あて部側にかけてそれぞれ等間隔で設けられている。マイク１２1〜１２3は、主として左側の音を収音する。マイク１２4〜１２7は、主として前面の音を収音し、マイク１２8〜１２10は、主として右側の音を収音する。左前方の収音を行うには、左側、および前面のマイク１２1〜１２5を、右前方の収音を行うには、右側、および前面のマイク１２6〜１２10を用いる。
【００５９】
ただし、左の音源の収音には右側のマイクの信号を用いないなど、音源から見て装着者の影になる部分に存在するマイクは用いない。この制御は指向性調整器１１1〜１１8がそれぞれ注目している位置に応じたパラメータを生成し、当該パラメータに従ってステレオ対応指向性演算器１３1〜１３8が動作することで実現できる。
【００６０】
すなわち、使用しないマイクからのゲインを０にするようなパラメータを生成することにより、使用しないマイクからの入力をマスクする。装着者の影になる部分に存在するマイクは用いないことで、音源からの直接音より、外界で反射した音や装置そのもの、および機器使用者を介して伝わる音が中心である音声入力をフィルタ処理から排除でき、指向性演算処理への悪影響を抑制できる。
【００６１】
外界監視カメラ２1は、メガネ２２の左側のテンプル部における耳あて部側に設けられており、外界監視カメラ２2は、メガネ２２の左側のテンプル部におけるレンズ側に設けられている。
【００６２】
外界監視カメラ２5は、メガネ２２の右側のテンプル部における耳あて部側に設けられており、外界監視カメラ２6は、メガネ２２の右側のテンプル部におけるレンズ側に設けられている。
【００６３】
外界監視カメラ２7は、メガネ２２の左側のテンプル部における耳あて部側の端部に設けられており、外界監視カメラ２8は、メガネ２２の右側のテンプル部における耳あて部側の端部に設けられている。
【００６４】
この外界監視カメラ２7，２8は、装着者のやや後方に位置するよう、耳あて部分より後ろ設けられるようにアームなどを少々伸ばして配置する。このように配置することで装着者の後頭部による影の影響を極力避けることができ、前方と同様の監視を可能とすることができる。
【００６５】
外界監視カメラ２3は、左側のレンズの左上方、または左側レンズ縁の左上方に設けられており、外界監視カメラ２4は、右側のレンズの右上方、または右側レンズ縁の右上方に設けられている。
【００６６】
外界監視カメラ２1，２3は、左側方向の画像監視、外界監視カメラ２2，２5は、前方向の画像監視、外界監視カメラ２7，２8は後ろ方向の画像監視、外界監視カメラ２4，２6は右側方向の画像監視をそれぞれ行う。それぞれの方向に対して２個のカメラで監視することで、対象物までの距離も検出することが可能である。
【００６７】
また、メガネ２２の左側のテンプル部には、左耳イヤフォン１６がワイヤを介して接続されており、メガネ２２の右側のテンプル部には、右耳イヤフォン１７がワイヤを接続されている。左耳イヤフォン１６には、ノイズキャンセリング用の左耳マイク１８を備えた構造となっており、右耳イヤフォン１７には、ノイズキャンセリング用の右耳マイク１９を備えた構造となっている。
【００６８】
左眼監視カメラ４は、メガネ２２の左側のレンズ下方、または左側レンズ縁下方に設けられており、右眼監視カメラ５は、メガネ２２の右側のレンズ下方、または右側レンズ縁下方に設けられている。これら左眼監視カメラ４、右眼監視カメラ５の近傍には、撮影用光源となる近赤外線ＬＥＤ６がそれぞれ設けられている。
【００６９】
メガネ２２において、左側のテンプルのレンズ側には、左収納ボックス２３が設けられており、右側のテンプルのレンズ側には、右収納ボックス２４が設けられている。左収納ボックス２３、および右収納ボックス２４には、顔移動検出器３、両眼視線検出器７、視線対象検出器８、位置情報更新器９、位置情報記憶器１０、指向性調整器１１1〜１１8、ステレオ対応指向性演算器１３1〜１３8、加算器１４，１５、左ノイズキャンセル装置２０、および右ノイズキャンセル装置２１などの回路ブロックや音声処理システム１を動作させる電源となるバッテリなどが収納される。
【００７０】
また、左収納ボックス２３、あるいは右収納ボックス２４に、たとえば、無線通信回路などを搭載し、無線接続により一部の処理を離れた装置で行う構成としてもよい。
【００７１】
図３は、図２の音声処理システム１における外界監視カメラ２1〜２8によって監視可能な領域の一例を示した説明図である。なお、図３においては、主として前半分の領域を示しており、後ろ半分は前半分と対称になるため領域の図示を一部省略している。
【００７２】
図３において、領域Ａは、左側方向の外界監視カメラ２1，２3のいずれでも監視することができない領域、領域Ｂは、右側方向の外界監視カメラ２4，２6のいずれでも監視することができない領域、領域Ｃは、前方向の外界監視カメラ２2，２5のいずれでも監視ができない領域、領域Ｄは、後ろ方向の外界監視カメラ２7，２8のいずれでも監視ができない領域を示している。
【００７３】
また、領域Ｅは、外界監視カメラ２3による監視、領域Ｆは、外界監視カメラ２2よる監視、領域Ｇは、外界監視カメラ２5による監視、ならびに領域Ｈは、外界監視カメラ２4による監視のみが可能な領域であり、２つの外界監視カメラによる監視ができない領域を示している。
【００７４】
領域Ｉは、外界監視カメラ２2，２3の２個のカメラで監視可能な領域であり、向きの異なるカメラを用いて監視画像から距離を含めた情報を取得可能である。領域Ｊは、外界監視カメラ２4，２5の２個のカメラで監視可能な領域であり、同様に監視画像から距離を含めた情報を取得可能である。すなわち、前方向の外界監視カメラ２3，２4と、左または右方向の外界監視カメラ２2，２5の双方の信号を用いて対象物の方向、ならびに距離を検出することもあり得る。
【００７５】
さらに、領域Ｋは、前方向用の外界監視カメラ２2、および左側方向用の外界監視カメラ２3の２個のカメラを用いた監視が可能で、領域Ｌは、前方向用の外界監視カメラ２5、および右側方向用の外界監視カメラ２4の２個のカメラを用いた監視が可能である。
【００７６】
すなわち、領域Ｋ，ならびに領域Ｌを、左右方向と前方向の接続領域として用い、双方で同時に顔検出を行い、位置関係と特徴量などから同一人物の対応付けを行い、監視に用いるカメラを適宜変更することで、装着者の周囲全体を移動も含めて連続的に監視することができる。
【００７７】
それにより、本実施の形態１では、装着者が注目した会話相手の音声のみを選択的に増幅して、該装着者に強調して伝達することができるので、騒音下などの環境であっても、会話の支障をきたすことなく、会話をすることが可能となる。
【００７８】
なお、本実施の形態１では、人間の会話を対象とすることを仮定しているため、顔移動検出器３を用いた構成としたが、機器の目的に応じ違う物体を検出する検出器を用いることも考えられる。
【００７９】
たとえば、バードウオッチング用途であれば鳥の映像を検出する検出器を用いることにより、鳥の鳴き声などを選択的に強調することできる。また、人の顔と鳥の両方を検出可能な検出器を用いることも考えられる。
【００８０】
また、本実施の形態１では、人間の聴覚を補助する構成としたが、たとえば、前方向用のカメラで撮影している映像を録画可能にし、ステレオ対応指向性演算器の出力を通常の左右のマイクで捉えた音を加えて記録することで、映像として記録していない位置の音声であっても、一度注目して注目対象として記憶されれば、当該位置の音声を大きい音で記録することが可能である。
【００８１】
この場合、再生時に立体的な映像を再生可能にするために、外界監視カメラ２2で撮影した画像を左眼画像、外界監視カメラ２5で撮影した画像を右眼画像として記録する。ただし、記録量を抑制するために、どちらかの画像のみを記録したい場合は、機器使用者が記録対象を左眼画像、または右眼画像のいずれかから選択可能にする。本機能により、装着者が各自の効き眼に合わせ、記録すべき画像を選択することができる。
【００８２】
さらに、本実施の形態１においては、外界監視カメラ２1〜２8、指向性調整器１１1〜１１8、およびステレオ対応指向性演算器１３1〜１３8がそれぞれ８個ずつ設けられた構成としたが、これらの回路ブロックにおける個数は、これに限定されるものではない。
【００８３】
（実施の形態２）
図４は、本発明の実施の形態２によるデジタルサイネージシステムにおける構成の一例を示すブロック図、図５は、図４のデジタルサイネージシステムの外観の一例を示す説明図である。
【００８４】
本実施の形態１において、デジタルサイネージシステム２５は、公共施設や店舗などに設置したディスプレイに映像や情報を表示する電子看板である。
【００８５】
デジタルサイネージシステム２５は、図４に示すように、外界監視カメラ２ａ，２ｂ、顔移動検出器３、位置情報更新器９、位置情報記憶器１０、指向性調整器１１1〜１１8、マイク１２1〜マイク１２14（図５に示す）から構成されるマイクアレイ１２からなる前記実施の形態１の図１と同じ回路ブロックに、指向性演算器２６1〜２６8、音声認識器２７1〜２７8、全体制御装置２８、表示制御装置２９、表示装置３０、発音指向性調整演算器３１1〜３１8、音声合成器３２1〜３２8、複数のスピーカ３３1〜３３18（図５に示す）から構成されたスピーカアレイ３３、注視状態検出器３４，および加算器３５が新たに設けられた構成となっている。
【００８６】
外界監視カメラ２ａ，２ｂは、デジタルサイネージシステム２５の周囲を監視するカメラであり、周囲のどの位置に音源となりうる物があるかを監視し、また注目している人物の追跡を行うためのカメラである。
【００８７】
顔移動検出器３は、外界監視カメラ２ａ，２ｂから入力されるそれぞれの画像から人物の顔を抽出し、その特徴量を検出する。外界監視カメラ２ａ，２ｂで撮影されたそれぞれ画像から抽出された顔の部分は、特徴量、および各画像における位置情報を基に対応付けを行う。
【００８８】
対応付けの結果を用いることで、人物の顔の位置だけでなく、複数の画像それぞれにおける位置の違いから顔までの距離も検出する。また、一度検出した顔は監視可能エリア外に出るまで画像の動き情報、ならびに顔画像の特徴量を基に移動の追跡を行うことが可能である。
【００８９】
外界監視カメラ２ａ（、または外界監視カメラ２ｂ）の監視画像、および顔移動検出器３が該外界監視カメラ２ａ（、または外界監視カメラ２ｂ）の監視画像から抽出した顔画像位置情報とその識別番号は、注視状態検出器３４に送られる。
【００９０】
注視状態検出器３４は、検出した顔画像の中から眼の部分を抽出、解析し、その人物が見ている方向を検出する。見ている部分が当該デジタルサイネージシステム２５の表示装置３０に提示されている特定の画像、すなわち画像の中で予め注目された場合は何らかの処理をすべきように記録されている箇所であった場合、その人物の顔の識別番号を位置情報更新器９に送る。
【００９１】
位置情報更新器９は、注視状態検出器３４から注視している顔の識別番号を受け取ると、その識別番号に対応する位置情報がまだ未記憶状態であれば、位置情報記憶器１０に記憶する。
【００９２】
位置情報記憶器１０に記憶されている位置情報のうち、外界監視カメラ２ａ，２ｂによる追跡が困難になった人物の顔は記憶から消去し、注視状態を解除し一定時間経過した人物の顔の位置情報も消去する。
【００９３】
また、位置情報記憶器１０で記憶可能な数より位置情報が多くなった場合には、注視状態を解除が早い人物の顔に関する位置情報を消去し、新しく注目している人物の顔の位置情報に入れ替える。
【００９４】
しかし、位置情報の消去が全く困難な場合には、新規位置情報の追加は一時中止し、行わない。これは、既にデジタルサイネージシステム２５が応対している人物の位置情報を失わないためである。
【００９５】
デジタルサイネージの用途によって、デジタルサイネージシステム２５へ注目していると判断する顔までの距離を一定距離以下に制限可能である。すなわち、顔移動検出器３で求めた顔画像までの距離情報に基づき、デジタルサイネージシステム２５が対応する範囲か否かを判定し、対応すべき範囲であった場合に限り顔移動検出器３から注視状態検出器３４へ対応する位置情報を送り、デジタルサイネージシステム２５へ注目している人物を抽出する。
【００９６】
また、位置情報更新器９は、顔移動検出器３で検出した顔移動情報に基づき、位置情報記憶器１０に記憶されている位置情報を更新する。これにより、デジタルサイネージシステム２５を注目している人物の顔が移動した場合でも、当該顔の位置情報を正しく更新することが可能である。
【００９７】
位置情報記憶器１０に記憶されている注目している顔画像に対応する位置情報は、指向性調整器１１1〜１１8のいずれかに割り当てられる。指向性調整器１１1〜１１8のうち、位置情報が入力された指向性調整器は、マイクアレイ１２を用いて位置情報に対応する位置の音声をビームフォーミングにより増強するために必要なデジタルフィルタのパラメータを実施の形態１と同様の手法を用いて計算する。
【００９８】
但し、マイクアレイ１２を構成するマイクの配置や個数が前記実施の形態１と異なるため、それに応じて具体的な計算方法は変更する必要がある。
【００９９】
パラメータを計算した指向性調整器の計算結果は、指向性調整器２６1〜２６8のうち、パラメータを計算した指向性調整器に対応する後段の指向性調整器に入力される。指向性調整器２６1〜２６8のうち、パラメータの計算結果が入力された指向性調整器は、該パラメータを用いて、マイクアレイ１２を構成する各マイクからＡ／Ｄ変換入力されたデジタル音声信号のフィルタ処理を行う。
【０１００】
フィルタ処理を行った指向性演算器からの音声出力信号は、音声認識器２７1〜２７8のいずれかの対応する音声認識器に送られる。フィルタ処理された音声信号が入力された音声認識器では、音声信号に含まれる音声を認識する。
【０１０１】
尚、用途によっては全ての音声認識器２７1〜２７8の機能、性能が対象である必要はなく、デジタルサイネージシステム２５が同時にｋ人と双方向コミュニケーション可能であれば、ｎ個のうち、ｋ個の音声認識器のみを高機能、高性能なものとし、他の音声認識器は、デジタルサイネージシステムへの最初の話しかけを検出だけできる低機能な構成も考えられる。
【０１０２】
位置情報記憶器１０では、現在デジタルサイネージシステムが双方向コミュニケーション対象としている人物の顔の位置情報が記憶しているどの位置情報に対応するのか管理するため、当該位置情報を高機能、高性能な音声認識器に送られる指向性演算器の指向性調整器に送られるよう制御する。
【０１０３】
音声認識器で認識した結果は、全体制御装置２８に送られる。全体制御装置２８は、新規に双方向コミュニケーションを行う余裕がデジタルサイネージシステム２５にある状態で、最初の話しかけに相当する言葉、たとえば「すみません」「教えてください」などを検出したり、あるいは表示装置３０に表示している画像で、予め注目された場合は何らかの処理をすべきように記録されている箇所に対しての注視を検出したりした場合は、当該人物との双方向コミュニケーション状態に入る。
【０１０４】
双方向コミュニケーション状態に入った場合は、位置情報記憶器１０に記録されている当該人物に対応する位置情報に対し、双方向コミュニケーション対象であることを示すフラグを立てる。
【０１０５】
双方向コミュニケーション向けに必要であれば、適宜子画面３０ａ，３０ｂ，３０ｃ（図５に示す）を割り当てるために、全体制御装置２８は、表示制御装置２９を設定し、表示装置３０に任意の子画面３０ａ，３０ｂ，３０ｃのいずれかを出す。この子画面を用いて、双方向コミュニケーション対象に対して情報を表示する。
【０１０６】
双方向コミュニケーション対象としてフラグが立っている位置情報は、発音指向性調整演算器３１1〜３１8に送られる。これら発音指向性調整演算器３１1〜３１8は、各音声合成器３２1〜３２8において合成された音声を特定の位置でのみ良く聞こえるように、スピーカアレイ３３を駆動するための指向性調整演算を行う。
【０１０７】
すなわち、スピーカアレイ３３における駆動する各スピーカの位置と双方向コミュニケーション対象の人物の顔の位置関係から、発生した音声が双方向コミュニケーション対象の人物位置付近で位相が合うように遅延を調整し、また複数スピーカで駆動されることを考慮してゲインを落とす演算を行う。
【０１０８】
発音指向性調整演算器３１1〜３１8によって演算された指向性調整の演算結果は、加算器３５によって加算された後、スピーカアレイ３３出力される。
【０１０９】
尚、双方向対象人物の顔付近でのみ良く聞こえる音を生成できれば、スピーカアレイ３３の制御は他の方法でも構わない。また、超音波を搬送波として用いる超指向性スピーカをスピーカアレイの代わりに用い、当該スピーカの向きを機械的に調整するなどの方法も考えられる。
【０１１０】
図５は、デジタルサイネージシステム２５の外観の一例を示す説明図である。
【０１１１】
デジタルサイネージシステム２５は、中央部に表示装置３０が設けられており、該表示装置３０の左側には、マイクアレイ１２を構成するマイク１２1〜１２3が下方から上方にかけてそれぞれ設けられている。
【０１１２】
また、表示装置３０の上部には、左から右にかけて、マイク１２4〜１２11がそれぞれ設けられており、該表示装置３０の右側には、マイク１２12〜１２14が上方から下方にかけてそれぞれ設けられている。
【０１１３】
表示装置３０の下方には、スピーカアレイ３３を構成するスピーカ３３1〜３３18が、上下２段に配列されている。マイク１２5とマイク１２6との間、およびマイク１２9とマイク１２10との間には、外界監視カメラ２ａ，２ｂがそれぞれ設けられている。
【０１１４】
デジタルサイネージシステム２５の実際の設置を考慮した場合、デジタルサイネージシステム２５と人物の位置関係は、縦方向には人間の身長差程度しか変化しないが、横方向は双方向コミュニケーション対象とする人物の立ち位置に依存するため、縦方向に比べて横方向に多くのマイクを配置し、横方向の指向性をより高められるようにしている。
【０１１５】
また、外界監視カメラ２ａ，２ｂは、デジタルサイネージシステム２５の上部に配置することで、少しでも高い位置からの監視を行い、双方向コミュニケーション対象となっている人物の前を他の人物が横切った場合でも、双方向コミュニケーションに必要な画像追跡の妨げにならないようにしている。
【０１１６】
但し、実際に他の人物の影になり２台の外界監視カメラ２ａ，２ｂでの画像追跡が困難になった場合であっても、片方の外界監視カメラ２で画像追跡できる場合はそちらのカメラで追跡を行い、両方の外界監視カメラ２ａ，２ｂ共に追跡不可能になった場合には、一時的に移動予測を行い、さらに画像を再度捉えた際には、移動の予測情報と画像の特徴量を基に、位置情報記憶器１０に記録されている位置との対応付けを試み、対応付け可能であれば追跡を再開する。対応付けに失敗した場合には、その人物に対応する双方向コミュニケーションを中止する。
【０１１７】
スピーカアレイ３３を構成するスピーカ３３1〜３３18は、マイク１２1〜１２14と同様に、デジタルサイネージシステム２５と人物の位置関係を考慮し、縦方向には２段構成とし、横方向に多くのスピーカを配置している。
【０１１８】
また、表示装置３０には、子画面３０ａ、子画面３０ｂ、子画面３０ｃが表示可能である。これらの子画面３０ａ，３０ｂ，３０ｃは、双方向コミュニケーション人物に対し、個別対応が必要な情報の提示に用いる。
【０１１９】
子画面３０ａ，３０ｂ，３０ｃは、不要な時は消去してもよいし、常に表示しておき、双方向コミュニケーションに用いていない場合は別の情報を提示するようにしてもよいし、「ご質問のある方はこの部分を見てお話しください」と表示するなどして、双方向コミュニケーションの開始を促してもよい。
【０１２０】
それにより、本実施の形態２においては、デジタルサイネージシステム２５が、双方向コミュニケーション対象者付近の音を抽出し、また当該対象者付近でのみ良く聞こえる音を出力するため、街頭のような騒音の多い場所であっても、単純に画像を表示するだけでなく、画像に注目した人物へより積極的な案内を行い、また人物からの要求や質問に対応することを可能にすることができる。また、１台のデジタルサイネージシステム２５で複数の双方向コミュニケーションを実現できる。
【０１２１】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【産業上の利用可能性】
【０１２２】
本発明は、会話相手の音声を選択に強調する音声処理技術に適している。
【符号の説明】
【０１２３】
１  音声処理システム
２1〜２8  外界監視カメラ
２ａ  外界監視カメラ
２ｂ  外界監視カメラ
３  顔移動検出器
４  左眼監視カメラ
５  右眼監視カメラ
６  近赤外線ＬＥＤ
７  両眼視線検出器
８  視線対象検出器
９  位置情報更新器
１０  位置情報記憶器
１１1〜１１18  指向性調整器
１２  マイクアレイ
１２1〜１２14  マイク
１３1〜１３8  ステレオ対応指向性演算器
１４，１５  加算器
１６  左耳イヤフォン
１７  右耳イヤフォン
１８  左耳マイク
１９  右耳マイク
２０  左ノイズキャンセル装置
２１  右ノイズキャンセル装置
２２  メガネ
２３  左収納ボックス
２４  右収納ボックス
２５  デジタルサイネージシステム
２６1〜２６8  指向性演算器
２７1〜２７8  音声認識器
２８  全体制御装置
２９  表示制御装置
３０  表示装置
３０ａ  子画面
３０ｂ  子画面
３０ｃ  子画面
３１1〜３１8  発音指向性調整演算器
３２1〜３２8  音声合成器
３３  スピーカアレイ
３３1〜３３18  スピーカ
３４  注視状態検出器
３５  加算器
【図１】
2012029209.tif 000003
【図２】
2012029209.tif 000004
【図３】
2012029209.tif 000005
【図４】
2012029209.tif 000006
【図５】
2012029209.tif 000007