(57)【要約】  可聴音信号源からの入力電気信号によって超音波のキャリア信号を変調する変調器３３と、変調器３３の出力信号を放射する放射器４４と前記放射器４４をリアルタイムで周辺空間をセンシングする対象物追跡システムを有した移動体１に搭載し、超音波の有限振幅音波の非線形性によるパラメトリック作用により特定の対象物にのみ音声を伝達することができる超指向性スピーカ搭載型移動体とする。【特許請求の範囲】
【請求項１】
全方位型スピーカと、超指向性スピーカを有し、視覚モジュール、聴覚モジュール、モータ制御モジュール及びそれらを統合する統合モジュールを兼備えることにより、特定、不特定の対象物へ同時に音を発信できることを特徴とする超指向性スピーカ搭載型移動体。
【請求項２】
対象物を認識し追跡する対象物追跡手段と、前記対象物追跡手段により追跡している対象物に放射器が対向するように制御する放射器方向制御手段とにより、特定の対象物にのみ音を発信することを特徴とする請求項１記載の超指向性スピーカ搭載型移動体。
【請求項３】
全方位型スピーカで不特定物に、超指向性スピーカで特定物へ音声を発信し、不特定物と特定の対象物に異なる音声を伝達することを特徴とする請求項２記載の超指向性スピーカ搭載型移動体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、人物追跡機能を有した移動体に可聴音を指向性放射する超指向性スピーカを搭載した移動体搭載型音響装置に係るものである。
【背景技術】
【０００２】
従来より、全方位に音を発することのできる全方位型スピーカと、非常に指向性の高い超指向性スピーカがあった。全方位型スピーカは従来から広く用いられていた。超指向性スピーカは、強力な超音波が空気を伝播する過程で発生するひずみ成分を利用して可聴帯域の音を得るパラメトリックスピーカの原理を利用して、音を正面に集中して伝播させており、この結果として狭指向性を有して音を提供することが可能となっている。パラメトリックスピーカとして例えば特許文献１のようなものが存在した。【０００３】
また、視聴覚システムを搭載したロボットとして、特許文献２のものがあった。この移動体聴視覚システムは、対象に対する視覚及び聴覚の追跡を行うためのリアルタイム処理を可能にし、さらに視覚、聴覚、モータ等のセンサー情報を統合して、何らかの情報が欠落したとしても、相互に補完することにより追跡を継続するものであった。【０００４】
【特許文献１】特開２００１−３４６２８８号公報
【特許文献２】特開２００２−２６４０５８号公報
【０００５】
従来の移動体は、目標物を追跡するものの搭載されているスピーカは全方位型スピーカであり、提供する音声は周囲の不特定多数物に聞こえてしまい、限られた人、エリアのみに音声を提供することができないという課題があった。【０００６】
また、パラメトリックスピーカは超指向性スピーカとして指向性が強いことで、可聴エリアを限定することは可能であったが、特定の聴取者を認識し、その聴取者に限定して音声を発信することはできなかった。【０００７】
この発明は上記のような課題を解決するためになされたものであり、移動体に超指向性スピーカを搭載することにより、特定の聴取に特定の音声を伝えることができる移動体を提供することを目的とする。
【発明の開示】
【０００８】
この発明に係る超指向性スピーカ搭載型移動体は、全方位型スピーカと、超指向性スピーカを有し、視覚モジュール、聴覚モジュール、モータ制御モジュール及びそれらを統合する統合モジュールを兼備えることにより、特定、不特定の対象物へ同時に音を発信できるものである。
【０００９】
このことによって、移動体からの音声を超指向性スピーカから出力することにより、特定の聴取に特定の音声を提供することができるという効果がある。
また、全方位型スピーカを組み合わせることで、状況に応じた音声を伝えることができる。つまりプライベート情報は超指向性スピーカ、一般情報は全方位型スピーカといったようにスピーカを選択することにより、情報伝達方法の幅が広がる。さらに複数の超指向性スピーカを使用することで混合（クロストーク）することなく、複数の人に対しそれぞれ個別の音で個別の情報を伝えることができる。
【図面の簡単な説明】
【００１０】
【図１】この実施の形態１の移動体の正面図である。
【図２】この実施の形態１の移動体の側面図である。
【図３】この発明の実施の形態１による超指向性スピーカと全方位型スピーカの音の伝わる範囲を示した図である。
【図４】この発明の実施の形態１の超指向性スピーカの構成図である。
【図５】この実施の形態１の全体システム図である。
【図６】この実施の形態１の聴覚モジュールの詳細を示す図である。
【図７】この実施の形態１の視覚モジュールの詳細を示す図である。
【図８】この実施の形態１のモータ制御モジュールの詳細を示す図である。
【図９】この実施の形態１の対話モジュールの詳細を示す図である。
【図１０】この実施の形態１の統合モジュールの詳細を示す図である。
【図１１】この実施の形態１のカメラが対象物を検知するエリアを示す図である。
【図１２】この発明の実施の形態１の対象物追従システムを説明する図である。
【図１３】この発明の実施の形態１の変形例を示す図である。
【図１４】この発明の実施の形態１の他の変形例を示す図である。
【図１５】この発明の実施の形態１の移動体が対象物までの距離を測定する時の図である。
【発明を実施するための最良の形態】
【００１１】
以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この実施の形態１の移動体の正面図、図２は、この実施の形態１の移動体の側面図である。図１において、人型の外観を備えたロボットである移動体１は、脚部２と、脚部２上にて支持された胴体部３と、胴体部３上に可動に支持された頭部４とを有している。【００１２】
脚部２は下部に複数の車輪２１を備え、後述するモータを制御することにより移動可能となっている。また前記移動形態は車輪のみでなく、複数の脚移動手段を備えてもよい。胴体部３は、脚部２に対して固定支持されている。頭部４は胴体部３と連結部材５を介して連結されており、この連結部材５は、矢印Ａに示すように胴体部３に対し鉛直軸に対して回転可能に支持されている。また、頭部４は連結部材５に対して、矢印Ｂに示すように上下方向に回動可能に支持されている。【００１３】
ここで、頭部４は、全体が防音性の外装４１により覆われていると共に、前側にロボット視覚を担当する視覚装置としてのカメラ４２を、また両側にロボット聴覚を担当する聴覚装置としての一対のマイク４３を備えている。【００１４】
マイク４３は、それぞれ頭部４の側面において、前方に向かって指向性を有するように取り付けられている。【００１５】
全方位型スピーカ３１は、胴体部３前面に設けられ、頭部４には、パラメトリックスピーカアレイの原理に基づいて高い指向性を有する超指向性スピーカの放射部である放射器４４が設けられている。【００１６】
パラメトリックスピーカは、人には聞こえない超音波を利用し、強力な超音波が空気を伝播する過程でひずみ成分が発生し、そのひずみ成分を利用することによって可聴帯域の音を得る原理（非線形性）を採用している。可聴音を得るための変換効率は低いが、音放射方向の狭いエリアにビーム状に音が集中するという「超指向性」を呈することができる。全方位型スピーカは、いわば裸電球の光のように、背面を含む広いエリアに音場を形成するので、エリアをコントロールすることが出来なかったが、パラメトリックスピーカで使用するスピーカは、あたかもスポットライトのように聞こえるエリアを限定することが可能となっている。【００１７】
全方位型スピーカと超指向性スピーカの音伝播の様子を図３に示す。図３の上段は空気中を伝播する音の音圧レベルのコンター図、下段は音圧レベルの計測値を示した図である。全方位型スピーカは図３（ａ）に示すように、拡がって周辺空間に聞こえることがわかる。これに対し超指向性スピーカは、音は正面に集中して伝播していることがわかる。これは、強力な超音波が空気を伝播する過程で発生するひずみ成分を利用して可聴帯域の音を得るパラメトリックスピーカの原理を利用している。この結果、図３（ｂ）に示す例では狭指向性を有して音を提供することが可能となっている。【００１８】
図４に示すように、この超指向性スピーカシステムは、可聴音信号源からの音源３２と、音源３２からの信号からの入力電気信号によって超音波のキャリア信号を変調する変調器３３と、変調器３３からの信号を増幅するパワーアンプ３４と、変調によって得られた信号を音波に変換する放射器４４から構成されている。【００１９】
ここで、パラメトリックスピーカを駆動するためには、オーディオ信号を取り出して、その信号の大小に応じて、超音波を放射する変調器が必要なので、この変調のプロセスを信号が忠実に抽出できること、また細かな調整が容易に行えることから、デジタル処理する包絡変調器とすると更に好適となる。【００２０】
図５は、移動体の制御システムの電気的構成を示している。図５において、制御システムは、ネットワーク１００、聴覚モジュール３００、視覚モジュール２００、モータ制御モジュール４００、対話モジュール５００及び統合モジュール６００から構成されている。以下、聴覚モジュール３００、視覚モジュール２００、モータ制御モジュール４００、対話モジュール５００及び統合モジュール６００について、それぞれ説明する。【００２１】
図６に聴覚モジュールの詳細図を示す。聴覚モジュール３００は、マイク４３と、ピーク検出部３０１、音源定位部３０２、聴覚イベント生成部３０４から構成されている。【００２２】
聴覚モジュール３００は、マイク４３からの音響信号に基づいて、ピーク検出部３０１により左右のチャンネル毎に一連のピークを抽出して、左右のチャンネルで同じか類似のピークをペアとする。ここで、ピーク抽出は、パワーがしきい値以上で且つ極大値であって、例えば９０Ｈｚ乃至３ｋＨｚの間の周波数であるという条件のデータのみを通過させる帯域フィルタを使用することにより行なわれる。このしきい値は、周囲の暗騒音を計測して、さらに感度パラメータ、例えば１０ｄＢを加えた値として定義される。【００２３】
そして聴覚モジュール３００は各ピークが調波構造を有していることを利用して、左右のチャンネル間でより正確なピークを見つけ、調波構造を有する音を抽出する。ピーク検出部３０１は、マイク４３より入力された音を周波数分析し、得られたスペクトルよりピークを検出し、得られたピークのうち、調波構造を有するものを抽出する。音源定位部３０２は抽出された各ピークについて、左右のチャンネルから同じピーク周波数の音響信号を選択して、両耳間位相差を求めることでロボット座標系での音源方向を定位する。聴覚イベント生成部３０４は、音源定位部３０２が定位した音源方向と、定位した時刻からなる聴覚イベント３０５を生成し、ネットワーク１００に出力する。ピーク検出部３０１で複数の調波構造が抽出された場合は、複数の聴覚イベント３０５が出力される。【００２４】
図７に視覚モジュールの詳細図を示す。視覚モジュール２００は、カメラ４２と、顔発見部２０１、顔識別部２０２、顔定位部２０３と、視覚イベント生成部２０６と、顔データベース２０８から構成されている。【００２５】
視覚モジュール２００は、カメラからの撮像画像に基づいて、顔発見部２０１により例えば肌色抽出により各話者の顔画像領域を抽出し、顔識別部２０２で顔データベース２０８に前もって登録されている顔データを検索して、一致した顔があった場合、その顔ＩＤ２０４を決定して当該顔として識別すると共に、顔定位部２０３により抽出された顔画像領域の撮像画像上での位置と大きさよりロボット座標系での当該顔位置２０５を決定する。視覚イベント生成部２０６は、顔ＩＤ２０４と顔位置２０５、及びこれらを検出した時刻からなる視覚イベント２１０を生成し、ネットワーク出力する。撮像画像から複数の顔が発見された場合は、複数の視覚イベント２１０が出力される。顔認識部２０２は、抽出した顔画像領域に対して、例えば特許文献１に記載された公知の画像処理であるテンプレートマッチングを用いてデータベース検索を行う。顔データベース２０８は、各個人の顔画像と名前を一対一で対応させＩＤをふったデータベースである。【００２６】
ここで、視覚モジュール２００は、顔発見部２０１が画像信号から複数の顔を見つけた場合、各顔について前記処理、即ち識別及び定位を行なう。その際、顔発見部２０１により検出された顔の大きさ、方向及び明るさがしばしば変化するので、顔発見部２０１は、顔領域検出を行なって、肌色抽出と相関演算に基づくパターンマッチングの組合せによって複数の顔を正確に検出できるようになっている。【００２７】
図８にモータ制御モジュールの詳細図を示す。モータ制御モジュール４００は、モータ４０１及びポテンショメータ４０２と、ＰＷＭ制御回路４０３、ＡＤ変換回路４０４及びモータ制御部４０５と、モータイベント生成部４０７と、モータ４０１により駆動される、車輪２１、ロボット頭部４、放射器４４、及び全方位型スピーカ３１とから構成されている。【００２８】
モータ制御モジュール４００は後述する統合モジュール６００から得られる注意を向ける方向６０８に基づいて、移動体１の動作プランニングを行い、駆動モータ４０１の動作の必要があれば、モータ制御部４０５によりＰＷＭ制御回路４０３を介してモータ４０１を駆動制御する。【００２９】
動作プランニングは例えば、注意を向ける方向の情報に基づいて対象物に向かうように、移動体１の位置を移動するよう車輪を動かしたり、移動体１の位置を移動しなくても頭部４を水平方向に回転することにより頭部４が対象物に向かうようになる場合、頭部４を水平方向に回転させるモータを制御し、対象物に向かうようにする。また、対象物が座っている場合、身長差が小さい若しくは大きい場合、段差のある場所にいる場合など対象物の頭部の位置に放射器４４が向かない場合、移動体の頭部４を上下方向に回動させるモータを制御し、放射器４４の向かう方向を制御する。【００３０】
モータ制御モジュール４００はＰＷＭ制御回路４０３を介してモータ４０１を駆動制御すると共に、モータの回転方向をポテンショメータ４０２で検出して、ＡＤ変換回路４０４を介してモータ制御部４０５により移動体方向４０６を抽出し、モータイベント生成部４０７によりモータ方向情報及び時刻から成るモータイベント４０９を生成し、ネットワーク１００に出力する。【００３１】
図９に対話モジュールの詳細図を示す。対話モジュール５００は、スピーカと、音声合成回路５０１、対話制御回路５０２、対話シナリオ５０３から構成されている。【００３２】
対話モジュール５００は、後述する統合モジュール６００により得られる顔ＩＤ２０４と、対話シナリオ５０３に基づいて対話制御回路５０２を制御し、音声合成回路５０１により全方位型スピーカ３１を駆動して、所定の音声を出力する。また音声合成回路５０１は、指向性の高いパラメトリック作用による超指向性スピーカの音源として機能し、対象とする話者に対して所定の音声を出力する。前記対話シナリオ５０３は、どのようなタイミングで誰に何を話すのかが記されており、対話制御回路５０２は、顔ＩＤ２０４に含まれる名前を対話シナリオ５０３に組み込み、対話シナリオ５０３に記されているタイミングに従って、対話シナリオ５０３に記されている内容を、音声合成回路５０１により合成し、超指向性スピーカあるいは全方位型スピーカ３１を駆動する。また全方位型スピーカ３１と放射器４４の切替え及び使い分けは、対話制御回路５０２により制御される。【００３３】
そして、放射器４４は対象物追跡手段に同期し特定聴取者、特定エリアに音を伝え、全方位型スピーカ３１は共有情報を不特定多数物へ伝えることができるように構成されている。
以上の構成のうち、聴覚モジュール、モータ制御モジュール、統合モジュール及びネットワークを用いて、対象物を追跡することができる（対象物追跡手段）。更に視覚モジュールを加えることによって、追跡精度を向上させることができる。また、統合モジュール、モータ制御モジュール、対話モジュールおよびネットワークを用いて、放射器４４の方向を制御することができる（放射器方向制御手段）。【００３４】
図１０に統合モジュールの詳細図を示す。統合モジュール６００は、上述した聴覚モジュール３００、視覚モジュール２００、モータ制御モジュール４００を統合し、対話モジュール５００の入力を生成する。具体的には、統合モジュール６００は聴覚モジュール３００、視覚モジュール２００及びモータ制御モジュール４００から非同期イベント６０１ａ即ち聴覚イベント３０５、視覚イベント２１０及びモータイベント４０９を同期させて同期イベント６０１ｂにする同期回路６０２と、これらの同期イベント６０１ｂを相互に関連付けて、聴覚ストリーム６０５、視覚ストリーム６０６、及び統合ストリーム６０７を生成するストリーム生成部６０３と、さらにアテンション制御モジュール６０４を備えている。【００３５】
同期回路６０２は聴覚モジュール３００からの聴覚イベント３０５、視覚モジュール２００からの視覚イベント２１０及びモータ制御モジュール４００からのモータイベント４０９を同期させて、同期聴覚イベント、同期視覚イベント及び同期モータイベントを生成する。その際、同期聴覚イベント及び同期視覚イベントは、同期モータイベントを用いて、絶対座標系に変換される。【００３６】
同期されたイベントはそれぞれ、時間方向に接続され、聴覚イベントからは聴覚ストリーム、視覚イベントからは視覚ストリームが形成される。この際、同時に複数の音、顔が存在すれば、複数の聴覚、及び視覚ストリームが形成される。また、相関の高い視覚ストリームと聴覚ストリームは一つに束ねられ（アソシエーション）、統合ストリームという高次のストリームを形成する。【００３７】
アテンション制御モジュールは、形成された、聴覚、視覚、及び統合ストリームが有する音源方向情報を参照して、注意を向ける方向６０８を決定する。ストリーム参照の優先順位は、統合ストリーム、聴覚ストリーム、そして視覚ストリームの順であり、統合ストリームがある場合は統合ストリームの音源方向を、統合ストリームがない場合は聴覚ストリームを、統合ストリームと聴覚ストリームがない場合は視覚ストリームの音源方向を、注意を向ける方向６０８とする。【００３８】
以下、上述した移動体の使用例を説明する。移動体に予め使用する場所についての情報を入力し、部屋のどの位置でどちらの方向から音がしたらどう移動するか予め設定しておく。壁などの障害物などにより音源方向から人間が見つからない場合、移動体は人間が隠れていると判断して、顔を探す行動（移動）をとるように対象物追跡手段に予め設定しておく。移動体１のカメラ４２は、頭部４の前方に設けられており、その映し出せる範囲４９は図１１に示すようにカメラ４２の前方の一部に限られている。例えば図１２のように部屋に障害物Ｅがある場合、入場者を検出できないことがある。そこで移動体１がＡの位置で音源方向がＢのとき、入場者Ｃが発見できなければ移動体１はＤの方向へ向かうようモータ制御モジュール８００により、制御するようにしておく。このようなアクティブな行動により障害物Ｅなどによる視界の死角をなくすことができるように設定されている。また、反射を利用することで、移動体１はＤの行動をとらなくても入場者Ｃへ音声を伝えることも可能である。【００３９】
このように設定しておくことにより対象物追跡手段は聴覚情報、視覚情報を統合し周囲の状況をロバストに知覚することが可能である。また視聴覚処理と動作を統合して周囲の状況をよりロバストに知覚して、情景分析向上を図ることもできる。【００４０】
部屋に待機している移動体１は、部屋内に人間が入ってくると、音声の発生する方向に移動体のカメラが向くように車輪２１、及び頭部を動かす各モータを制御する。【００４１】
入場者の情報が予めわかっている場合には、予め入場者の顔を顔データベース２０８に登録しておき、視覚モジュールにて顔ＩＤ２０４を識別できるようにする。対話モジュール５００は、統合モジュールより得られた顔ＩＤに基づいて名前を識別し、全方位型スピーカ３１若しくは超指向性スピーカの放射部である放射器４４から音声合成により「いらっしゃいませ、田中さん。」と入場者にあいさつをする。【００４２】
続いて、複数の入場者がいる場合について説明する。対話モジュール５００は対話制御回路を制御し、全方位型スピーカ３１から「みなさんいらっしゃいませ。」と全員に聞こえるように合成音声が発せられる。入場者が１人の場合と同様に、視覚モジュール２００を用いそれぞれの人を判断する。【００４３】
超指向性スピーカである放射器４４を用いているから、他の人には聞こえないので、問いかけられた入場者だけが自分の名前を答えるので、確実に間違えることなく顔データベース２０８に入場者を登録することができる。【００４４】
入場者が一人であれば、通常のスピーカを用いても、全方位型スピーカ３１若しくは超指向性スピーカの放射部である放射器４４を用いても変わりはないが、複数の入場者がある場合、超指向性スピーカを用いることにより、特定の入場者だけに情報を伝達することができる。
対象物を認識し追跡する対象物追跡システムから構成される対象物追跡手段と、対象物追跡手段により追跡している対象物に放射器が対向するように制御する対象物追跡システムからなる放射器方向制御手段とにより、特定の対象物にのみ音を発信することができるのである。【００４５】
上記実施の形態において、全方位型スピーカ３１の位置を胴体部３に設けた例について説明したが、図１３に示すように全方位型スピーカ３１の位置を頭部４の超指向性スピーカの放射部である放射器４４の周囲に設けてもよい。【００４６】
超指向性スピーカの放射部である放射器４４及びカメラ４２を頭部４に設置した例について説明したが、頭部４をモータにより回転、揺動可能とせずに、超指向性スピーカの放射部である放射器４４及びカメラ４２の向きを可変にすれば、放射部４４及びカメラ４２の設置場所は頭部４に限らず、いずれの場所でも良い。【００４７】
放射器４４を１つ設けた例について説明したが放射器４４を複数設け、放射器４４の向きをそれぞれ別個に制御できるようにしてもよい。複数の特定の人々だけにそれぞれ別個音声を伝えることができるようになる。【００４８】
上記実施の形態において、顔データベース２０８を用いた例を示したが、個別に人を管理せずに、既存のセンサを組み合わせ、入場者の背丈を識別し、背丈情報から子供を識別し、子供だけに放射器４４から音声を伝達し、一般の聴取者に対しては全方位型スピーカ３１のみを用いるようにしてもよい。図１４に示すように大人３人、子供２人の入場者に対し、背丈から子供を認識し、子供だけに特定の音声を伝えるようにすることができる。【００４９】
また、カメラ４２からの映像を画像処理し、たとえば眼鏡をかけている人など特徴のある集団に対し、放射器４４から個別の音声を伝えるようにしてもよい。また、集団の中に外国人がいる場合、その人の母国語にあわせて、同様のことを英語やフランス語といった言語で伝えるようにしてもよい。
【産業上の利用可能性】
【００５０】
以上のように、この発明に係る超指向性スピーカ搭載型移動体は、全方位型スピーカと、超指向性スピーカを有し、視覚モジュール、聴覚モジュール、モータ制御モジュールを統合する統合モジュールを兼備えることにより、特定、不特定の対象物へ同時に音を発信できるものであり、視聴覚システムを搭載したロボットなどに用いるのに適している。
【図１】
2005076661.tif 000002
【図２】
2005076661.tif 000003
【図３】
2005076661.tif 000004
【図４】
2005076661.tif 000005
【図５】
2005076661.tif 000006
【図６】
2005076661.tif 000007
【図７】
2005076661.tif 000008
【図８】
2005076661.tif 000009
【図９】
2005076661.tif 000010
【図１０】
2005076661.tif 000011
【図１１】
2005076661.tif 000012
【図１２】
2005076661.tif 000013
【図１３】
2005076661.tif 000014
【図１４】
2005076661.tif 000015
【図１５】
2005076661.tif 000016
【国際調査報告】
2005076661.tif 000017
2005076661.tif 000018
2005076661.tif 000019
2005076661.tif 000020