(57)【要約】【課題】ロボットの周囲に多数の人間がいる状態で、ロボットに人間らしいコミュニケーションをさせる。【解決手段】ロボット装置と、そのロボット装置の周囲にいる人間とのコミュニケーションを行う場合において、ロボット装置の周囲を撮影し、撮影された画像から、人間の顔の検出と、手又は腕の検出を行い、検出された顔の状態と、検出された手又は腕の状態から、それぞれの状態の評価値を得、それぞれの状態の評価値に、評価値の種類ごとに予め決められた重み付け係数を乗算し、それぞれの係数値が乗算された評価値の合計の値から、優先度の高い人を特定し、特定された人とコミュニケーションを行うようにした。また、検出された人との距離、検出された音源位置についても評価値を得て、優先度を判断する。【選択図】図２
2007257088.tif 000002
【特許請求の範囲】
【請求項１】
周囲を撮影する撮影手段と、
前記撮影手段で撮影された画像から、人間の顔と、手又は腕を検出する画像認識手段と、
前記検出された顔の状態と、検出された手又は腕の状態から、それぞれの状態の評価値を得る評価値算出手段と、
前記それぞれの状態の評価値に、評価値の種類ごとに予め決められた重み付け係数を乗算し、それぞれの係数値が乗算された評価値の合計の値から、優先度の高い人を特定する特定手段とを備え、
前記特定手段で特定された人とコミュニケーションを行うことを特徴とするロボット装置。
【請求項２】
請求項１記載のロボット装置において、
前記評価値算出手段は、前記画像認識手段が検出した顔の向きに対する評価値と、前記画像認識手段が検出した手又は腕の動きに対する評価値を算出することを特徴とする
ロボット装置。
【請求項３】
請求項２記載のロボット装置において、
前記画像認識手段での手又は腕の検出は、前記人間の顔を検出した位置から推定した、手又は腕が存在する可能性のある範囲内の所定の色の状態の部分を、手又は腕と検出することを特徴とする
ロボット装置。
【請求項４】
請求項１記載のロボット装置において、
さらに、前記画像認識手段が顔を認識した人間との距離を測定する測定手段を備え、
前記評価値算出手段は、前記測定手段で測定された距離から評価値に算出することを特徴とする
ロボット装置。
【請求項５】
請求項１記載のロボット装置において、
さらに、周囲の音声を集音する集音手段と、
前記集音手段で集音された音声データから音源の位置を特定し、特定した音源位置と前記画像認識手段が認識した人間との対応関係を求める音源特定手段と、
前記評価値算出手段は、前記音源特定手段で求まった人間の音声データに関する評価値を算出することを特徴とする
ロボット装置。
【請求項６】
ロボット装置と、そのロボット装置の周囲にいる人間とのコミュニケーションを行うロボット装置のコミュニケーション方法において、
前記ロボット装置の周囲を撮影し、
前記撮影された画像から、人間の顔の検出と、手又は腕の検出を行い、
検出された顔の状態と、検出された手又は腕の状態から、それぞれの状態の評価値を得、
前記それぞれの状態の評価値に、評価値の種類ごとに予め決められた重み付け係数を乗算し、それぞれの係数値が乗算された評価値の合計の値から、優先度の高い人を特定し、
特定された人とコミュニケーションを行うことを特徴とするロボット装置のコミュニケーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボット装置及びそのコミュニケーション方法に関し、特に、ロボット装置の周囲にいる人間とコミュニケーションを行う技術に関する。
【背景技術】
【０００２】
人間とロボット装置とのコミュニケーションに関しては、従来、各種研究がなされている。しかし、従来の研究はほとんどのものが、１台のロボット装置と一人のユーザとの１対１のコミュニケーションに関するものである。これに対し、ロボット装置と複数のユーザとのコミュニケーションについての研究はまだ少ないが、例えば、ロボット装置と人間との距離をセンサで計測して、その計測された距離に基づいてコミュニケーションを行うことが知られている。具体的には、距離情報とタッチセンサを使ってロボット装置がユーザを選択する。
【０００３】
特許文献１には、１台のロボット装置と一人のユーザとの１対１のコミュニケーションをとる手法についての開示がある。
【特許文献１】特開２００５−１９９４０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、コミュニケーションをする際、距離を用いて相手を選択するだけでは、人間らしいコミュニケーションを行うことは難しい。例えば、近くのユーザはロボット装置を見つめているだけであるが、遠くにいるユーザがロボットに興味を持って手を振ったりする場合であっても、近くのユーザが選択されることになる。しかし、このような状況では、遠くのユーザの方がロボット装置により興味を持っているので、遠くのユーザを選択することが本来は望ましいが、従来の手法ではそのような場合の対処は困難である。また、複数の人物が随時出入りする様子を撮影した動画像からカメラの方を向いている人物（ユーザ）のみを安定して認識・抽出する手法が、従来提案されている。しかし、カメラの方を向いている人物を検出するだけでは十分とは言えない。
【０００５】
本発明はかかる点に鑑みてなされたものであり、ロボットの周囲に多数の人間がいる状態で、ロボットに人間らしいコミュニケーションをさせることを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、ロボット装置と、そのロボット装置の周囲にいる人間とのコミュニケーションを行う場合において、ロボット装置の周囲を撮影し、撮影された画像から、人間の顔の検出と、手又は腕の検出を行い、検出された顔の状態と、検出された手又は腕の状態から、それぞれの状態の評価値を得、それぞれの状態の評価値に、評価値の種類ごとに予め決められた重み付け係数を乗算し、それぞれの係数値が乗算された評価値の合計の値から、優先度の高い人を特定し、特定された人とコミュニケーションを行うようにしたものである。
【発明の効果】
【０００７】
本発明によると、検出された周囲の人間の顔の状態と、検出された周囲の人間の手又は腕の状態とに基づいて、コミュニケーションを行う上で優先度の高い人を特定するようにしたことで、ロボット装置の周囲に複数人がいる状態で、その複数人の中から、ロボット装置に最も興味を持っている人を良好に特定することができる。
【０００８】
この場合、検出した顔の向きに対する評価値と、検出した手又は腕の動きに対する評価値を算出して、それぞれの評価値から優先度を判断することで、顔の向きと手（又は腕）の動きとから、ロボット装置に興味を持った者を良好に特定できるようになる。
【０００９】
また、手又は腕の検出は、人間の顔を検出した位置から推定した、手又は腕が存在する可能性のある範囲内の所定の色の状態の部分を、手又は腕と検出することで、手又は腕の検出を確実かつ良好に行うようにしてもよい。
【００１０】
また、顔を認識した人間との距離を測定して、その測定された距離を評価値に算出することで、距離についても考慮された特定が可能になる。
【００１１】
また、周囲の音声を集音した音声データから音源の位置を特定し、特定した音源位置と前記画像認識手段が認識した人間との対応関係を求め、その求まった人間の音声データに関する評価値を算出することで、話し声についても考慮された特定が可能になる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の一実施の形態を、添付図面を参照して説明する。
【００１３】
本例においては、ロボット装置に人間らしいコミュニケーションを行うようにしたものである。図１は、本例のロボット装置の構成を示した図であり、ロボット装置の近傍にいるユーザの中から、優先度の高いユーザを判別する構成を中心に示してある。
【００１４】
ロボット装置１０は、カメラ１１を備え、ロボット装置１０において動画像の撮影を行う。カメラ１１は、２眼以上によるステレオ画像の撮影を行う構成のビデオカメラである。カメラ１１で撮影された画像データは、画像認識部１２に供給され、画像データから人物の画像（特に顔の画像と手又は腕の画像）を抽出する処理が行われる。画像認識部１２で人物の顔や手の画像を抽出する処理の詳細については後述する。
【００１５】
画像認識部１２で認識されたデータは、認識データ処理部１３に送られる。認識データ処理部１３は、認識された画像の状態の評価値を得る評価値算出手段として機能し、得られた評価値を、優先度判定部１４に送る。認識された画像の状態の評価値としては、検出されたユーザの顔の状態の評価値と、ユーザの手（又は腕）の状態の評価値と、検出されたユーザとロボット装置との間の距離の評価値とを得る。顔の状態の評価値としては、例えば、顔がロボット装置の正面を向いているとき、最も高い評価値となるようにする。手（又は腕）の状態の評価値としては、例えば、手を振っている状態のとき、最も高い評価値となるようにする。距離の状態の評価値としては、例えば、ユーザとロボット装置との間の距離が近いとき、高い評価値になるようにする。ユーザとロボット装置との間の距離については、ここではカメラ１１がステレオ画像の撮影を行う構成のビデオカメラであるので、撮影された画像自身から検出することが可能である。但し、赤外線センサなどの他の周知の距離測定手段を併用してもよい。
【００１６】
また本例のロボット装置１０は、複数のマイクロフォン２１ａ〜２１ｎがそれぞれ集音方向を変えて取付けてあり、ロボット装置１０の周囲の音声を集音する。各マイクロフォン２１ａ〜２１ｎで集音された音声信号を、それぞれ個別のアナログ／デジタル変換器２２ａ〜２２ｎでデジタルオーディオデータに変換し、変換されたオーディオデータを、デジタルオーディオ処理部２３に供給する。デジタルオーディオ処理部２３では、複数のオーディオデータから、音源から各マイクロフォンまでの到達時間差を推定し、音源位置推定の尤度マップを作成する。作成された音源尤度マップを音源特定部２４に送る。音源特定部２４では、複数の音源尤度マップを組み合わせ、ロボット装置から見た音源の方向を推定し、音源がユーザの顔領域と一致する割合を表す評価値を得る。音源特定部２４で得られた評価値は、優先度判定部１４に送る。
【００１７】
優先度判定部１４は、供給される顔の評価値と、手（又は腕）の評価値と、距離の評価値と、音源の評価値とを使用して、ロボット装置の周囲にいる複数のユーザの中から、このロボット装置に最も興味をもっているユーザを特定する。この場合、評価値の種類ごとに予め決められた係数値を乗算し、その係数値が乗算された各種類の評価値を加算して、それぞれのユーザの加算評価値を得て、その加算評価値の値を比較して、値が最も高いユーザが、このロボット装置に最も興味をもっているユーザであると特定する。具体的な評価値の算出例については後述する。なお、音源の評価値については、その音源の位置と、撮影画像から顔が検出された位置との一致処理を行い、その処理で一致が検出された顔のユーザの話し声であると判定して、該当するユーザの評価値とする処理が行われる。
【００１８】
優先度判定部１４でこのロボット装置に最も興味をもっているユーザを特定すると、その判定したユーザがいる方向や距離のデータをロボット動作制御部３１に送る。ロボット動作制御部３１は、そのデータで指定された方向を向くように回転駆動部３２に駆動指令を送り、特定したユーザとのコミュニケーションを行う。また、ロボット装置の動作で、ユーザを特定して行う必要がある、その他の各種動作についても、判定したユーザがいる方向や距離のデータを参照して行い、特定したユーザとのコミュニケーションを行う。
【００１９】
次に、本例のロボット装置１０で行うユーザを特定する処理の全体的な流れを、図２のフローチャートを参照して説明する。まず、カメラ１１で撮影されたカラー動画像データが画像認識部１２に入力され（ステップＳ１１）、その動画像データ中の肌色の画素の領域を抽出する（ステップＳ１２）。抽出された肌色領域から、人間の顔を検出する処理を行う（ステップＳ１３）。
【００２０】
次に、検出した顔領域に基づいてユーザの上半身を検出し（ステップＳ１４）、ステップＳ１２で検出された肌色領域のデータと、ステップＳ１４で検出されたユーザの上半身の領域のデータに基づいて、そのユーザの手を抽出する（ステップＳ１５）。そして、その抽出された手の動き（即ち検出される手の位置の時間での変化）を検出し、検出された手の動きからジェスチャ認識を行う（ステップＳ１６）。また、ステップＳ１３で検出された顔と、ロボット装置１０との距離を画像処理で検出する（ステップＳ１７）。
【００２１】
また、マイクロフォン２１ａ〜２１ｎの出力が供給されて（ステップＳ１８）、多チャネルの音声信号から音源位置推定を行う（ステップＳ１９）。そして、ここまで検出されたそれぞれの状態についての評価値を得て、それぞれの評価値に、種類ごとの係数を乗算し、その係数乗算された値のユーザごとの合計値から、親密さの度合いを示す優先度を計算する（ステップＳ２０）。
【００２２】
次に、ユーザ毎の優先度の計算処理と、それぞれの情報の抽出の詳細例について説明する。
ユーザの顔の向き、ジェスチャ、音声などのマルチモーダル情報を統合し、また、ユーザとの距離を考慮することにより、ロボットに対するユーザの親しさを表す優先度を次式（1）で算出する。式（1）で、Ｕは優先度を、Ｐiは各モーダルの出現頻度及び距離から判定される親密さを、ｗiは親密さＰiに対する重みを表す。親密さＰiが、それぞれの特性の評価値に相当する。
【００２３】
【数１】
2007257088.tif 000003
【００２４】
次に、カメラ１１が撮影した画像から人間の顔を検出する処理例について説明する。人間の顔を検出する処理としては、まず、入力画像から肌色領域を取出し、マスク画像を作成することによって、顔抽出の処理範囲を限定する。その上で、顔画像抽出用の公知のコンピュータ用ソフトウェアを使用して、顔抽出を行う。本発明を検証する上で使用したソフトウェアは、商品名OKAO Vision（オムロン社製）であるが、これに限定されない。
【００２５】
次に、顔抽出された画像から、肌色抽出を行う処理について説明する。肌色抽出に関しては、肌色分布のＧＭＭ（ガウス混合モデル）を用いて、入力画像における肌色の尤度を求める。その後、閾値処理により２値画像を作り、雑音除去処理を行ってマスク画像を作成する。マスク領域を１．４倍拡大した領域だけに限って顔抽出処理を行う、このようにしたことにより、顔抽出の精度が高くなり、処理速度を向上させることができる。
【００２６】
図３は、撮影されたカラー画像から顔を抽出した例を示したものである。図３（ｂ）は、図３（ａ）に示したカラー画像に対して求めた肌色の尤度画像であり、肌色又は肌色に近似した色の画素だけが抽出されている。この肌色の尤度画像から、２値化処理、雑音除去処理などを行って、図３（ｃ）に示すマスク画像が得られる。このマスク画像中の白色領域（マスク）を拡大した画像が、図３（ｄ）に示す画像である。この図３（ｄ）に示す画像の中の、ユーザの顔部分を含んだ四角形の領域を顔領域の候補とする。
【００２７】
このようにして得られた顔領域の候補に対して、顔画像抽出用のソフトウェアを用いて顔抽出を行う。本例で使用したソフトウェアの場合、顔がおおむね正面を向いている場合、顔を検出できる。従って、ここでは顔が検出できた場合、顔が正面に向いていると判断し、その他の場合には正面を向いていないと判断する。図３（ｄ）に示す画像中で、中央の四角形の枠が顔抽出結果である。
【００２８】
次に、手又は腕の検出と、その検出した手のジェスチャ認識を行う処理について説明する。ここでは、手の動きで表す６方向（上・下・左・右・前・後）指示のジェスチャ認識を行う。まず、上半身を抽出することによって、手の抽出を行う。次に、手の動きを調べることによってジェスチャ認識を行う。
【００２９】
上半身の抽出としては、上述した処理で得られた顔領域から、顔の下に胴体があるという人の身体構造を利用して、図４に示すように顔領域の下の部分を切出す。即ち、抽出された顔の幅Ｗと高さＨとを基準として、その顔の下の２Ｗ×１．５Ｈの範囲に上半身の胴体があるとし、その胴体の左右の脇に、手又は腕があるとする。
【００３０】
図５は、このようにして上半身を抽出する例を示した図である。図５（ａ）は、実際のカラー画像から、図４の範囲設定で上半身の範囲を決めた例であり、上の枠は顔領域を、下の枠は切り出した部分を表す。この部分のＨＳＶ値を求め、色相（Ｈ）と彩度（Ｓ）のヒストグラムを求める。図５（ｃ）は色相（Ｈ）のヒストグラムを示し、図５（ｄ）は彩度（Ｓ）のヒストグラムを示す。ここでは各々のヒストグラムについて最大値を求める。そして、求めた最大値を中心に±１０の範囲を求める（図５の（ｃ）と（ｄ）の枠に囲まれた部分）。このカラー情報を持つ画素を画像全体の中から抽出し、雑音除去処理などを行うことで、ユーザの上半身を抽出することができる。図５の（ｂ）は、このようにして図５（ａ）のカラー画像から上半身領域を抽出した結果を示す。
【００３１】
次に、ユーザの手を抽出する処理について説明する。
ユーザの手は腕とつながっているので、手の周りにユーザの上半身領域が存在するはずである。上述した処理で得られた顔の候補領域中、顔領域以外の領域を手の候補領域とする。この手の候補領域内にユーザの上半身領域（胸、腕など）が入っているか否かで、そのユーザの手を抽出する。図６（ｂ）は、図６（ａ）に示すカラー画像から顔と手を抽出した結果である。図６（ａ）で、白い枠が手の候補領域を示す。図６（ｂ）で、一番上の白色領域がユーザの顔を、左下の領域がユーザの右手を、右下の領域がユーザの左手を表す。
【００３２】
次に、検出された手のジェスチャ認識を行う処理について説明する。手の動きで方向を指示するジェスチャについて、実際に動画像として取込んで手の動きを調べた結果、指示する方向の手の動きが戻りの手の動きより速いことが分かった。そこで、本例では手の移動ベクトルを用いてジェスチャ認識を行う。まず、距離画像を用いて、手の抽出で得た、手の３次元座標を求める。前フレームの手の座標と現フレームの手の座標の差を移動ベクトルとして定義する。ジェスチャをしている間の移動ベクトルを各フレームで順次調べることで指示動作の認識を行う。
【００３３】
図７は、中央の点線を境にして、二つのジェスチャ（右と左の指示）の移動ベクトルを示した表である。図７から分かるように、「右」を指示するジェスチャ（一番目のジェスチャ）の時、右方向移動ベクトルの平均値（68）が左方向移動ベクトルの平均値（53）より大きい。
【００３４】
次に、マイクロフォンが取り込んだ音声データから音源位置推定を行う処理例について説明する。ここでは、ＣＳＰ法（Cross-power Spectrum Phase）を用いて音源位置推定を行う。２つのマイクロフォンの組に対して事前に遅延時間マップを作成し、ＣＳＰ係数を計算することによって、音源の尤度マップを求める。
【００３５】
そして、音源推定範囲を得る。図８は、音源推定範囲の算出例を示した図である。図８（ａ）はカメラによる撮影範囲を側面から見た図である。この撮影範囲を、図８（ｂ）に示すように、カメラを中心に３６０度回転して得られた空間を音源位置推定範囲とする。この空間を展開したものが図８（ｃ）で、この展開した範囲を、音源位置推定の尤度マップを計算するために使う。
【００３６】
この音源位置推定範囲のデータを利用して遅延時間マップを作成する。遅延時間マップは、音源位置推定範囲内で遅延サンプル数ｎ（ｐ）の最大値と最小値を求めたものである。次の式（２）を用いて遅延サンプル数ｎ（ｐ）を求める。
【００３７】
【数２】
2007257088.tif 000004
【００３８】
ここで、Ｆ，ｐ，Ｍa，Ｍb，ｃ はそれぞれ音信号のサンプリング周波数、実空間中にある点Ｐの３次元座標、２つマイクロフォン各々の３次元座標、音速である。
【００３９】
音源位置推定範囲を展開した画像の画素（i,j）毎の遅延サンプル数ｎ（ｐ） の最大値ｎmax（ｐ）と最小値ｎmin（ｐ）を求める。ＣＳＰ係数を計算し、最大値ｎmax（ｐ）と最小値ｎmin（ｐ）の間のＣＳＰ係数の値を、画素（i,j）の音源位置推定の尤度とする。
【００４０】
本例の場合、５本のマイクロフォンを用いており、 5Ｃ2＝１０組のマイクロホンペアが得られる。これら１０組のマイクロホンペアにおける音源尤度マップを同期加算することにより音源位置推定を行う。
【００４１】
次に、画像から検出された顔との距離の計算処理について説明する。距離情報の取得のために、本例の場合にはステレオカメラを使用する。ステレオカメラによると、画像中の各画素までの距離を計算できるので、顔領域の画素の平均距離をロボットとユーザとの距離と定義する。距離を扱う際には、近接学における親密な距離（〜50cm程度）、個人的な距離(50〜120cm程度)、社会的な距離(120〜360cm程度)、公共的な距離(360cm以上)という分類を利用する。具体的には、ユーザがロボットに近いほどロボットと親密であると言えることから、ユーザとロボットとの距離が近いほど距離による親密さの度合を表すＰdの値を大きくする。例えば、図９に示す距離と親密さの関係を用いて、距離に応じたユーザとの親密さの値（評価値）を計算する。
【００４２】
次に、これらの算出された各モーダルにおける親密さの値から、各ユーザの優先度の計算を行う。優先度を計算する際には、各ユーザの行動を観察する必要がある。ここでは、観察フレーム数 nFrame＝４０（５フレーム/秒程度）を一つの観察区間とする。但し、観察フレーム数は４０に限るものではない。
【００４３】
まず、顔正面向きの出現頻度を判断する。ユーザの顔がロボットの方を向いている場合、顔が抽出される。観察区間内で、顔が抽出されたフレーム数（nFrontFace ）を求め、式（３）により観察区間の中での顔正面向きの出現頻度Pfを算出する。
【００４４】
【数３】
2007257088.tif 000005
【００４５】
次に、ジェスチャの出現頻度について説明すると、式（４）を用いてジェスチャの出現頻度を求める。ここでは、観察区間内で、指示しているジェスチャの種類とジェスチャしているフレーム数（nGesture ）を求めて、ジェスチャの出現頻度を求める。
【００４６】
【数４】
2007257088.tif 000006
【００４７】
ここで、 nGesture/nFrameはジェスチャしているフレーム数の割合を示す。コミュニケーションの際、前後方向の手の動きがロボットに最も興味を示していることを表しているので、ジェスチャの種類に応じた係数（Kind）の値を０．７にする。係数（Kind）の値は、例えば、前後以外の往復動きでは０．５、その他の動きでは０．０にする。
【００４８】
次に、会話の出現頻度について説明する。上述した処理で音源位置推定を行った上で、観察区間内において音源位置がユーザの顔の領域に入ったフレーム数（nVoice）を求める。ここでは、音声認識の機能を加えて、話の内容によって会話の出現頻度（Pv ）を変化させることを考慮して、式（５）を用いて会話の出現頻度を計算する。 nVoice /nFrameは話しているフレーム数の割合を示す。
【００４９】
【数５】
2007257088.tif 000007
【００５０】
本発明者による実験によれば、ロボット装置に「こっちへ来て」というように話しかける際、話しているフレーム数は１０フレーム前後であり、観察区間での割合（nVoice /nFrame）が小さい。そこで、 Iaを０．５にし、 Pvを大きくする。
【００５１】
これらの各値を使用して、ユーザごとの優先度の計算を行う。即ち、観察区間ごとに Ｐf,Ｐg,Ｐv及びＰdを用いて、上述した式（１）により優先度を計算する。ここで、コミュニケーション時における顔の向きの重要さを考えて、Ｐfの重みＷfを大きくする必要がある。人によって重視する情報が異なるので、重みＷiの値を変える事によって、ロボット装置に個性がある振舞いをさせることができる。ここでは、音の情報とジェスチャの情報を同じように重視するものとして、重みＷf, Ｗg, Ｗv,Ｗdの値を各々０．５、０．２、０．２、０．１にする。このようにして計算することにより、ロボット装置１０に最も関心を持っているユーザを選ぶことができる。
【００５２】
次に、実際にロボット装置の周囲に３人のユーザがいる状態で、実験を行った場合の優先度の変化例を、図１０に示す。縦軸が優先度で、横軸が画像のフレーム番号であり、３人のユーザＵ１，Ｕ２，Ｕ３の状態の変化例を示す。この例では、ユーザＵ１はただロボットを見ているだけなので、ユーザＵ１の優先度の変化は緩やかで、値は低い（図１０の区間I）。ユーザＵ２はロボットに話しながらジェスチャをしているので、ユーザＵ２の優先度の変化が急で、値が大きい（図１０の区間II）。さらに、ユーザＵ３はロボット装置を見ながら話しているだけなので、ユーザＵ３の優先度の変化があまり急ではなく値があまり大きくない（図１０の区間III）。その後、ユーザＵ２の優先度が一番大きいので、ロボットがユーザＵ２のところに向きを変えてユーザＵ２を見たが、ユーザＵ２はユーザＵ１を見ながら話している（ロボットの方向を向いていない）状態になったとすると、優先度が小さくなる（図１０の区間IV）。さらに、ロボット装置は優先度が一番大きいユーザＵ３のところに向きを変えて、ユーザＵ３の優先度を計算する。ユーザＵ３はまだロボットに興味を持って話しかけているため、優先度が大きい状態である（図１０の区間V）。このとき、ユーザＵ３の優先度が大きく、ロボットはユーザＵ３とコミュニケーションをすることになる。
【００５３】
以上説明したように、本実施の形態によると、ユーザの顔の向き、ジェスチャ、音声、距離などのマルチモーダル情報の統合により、ユーザとロボット装置との親しさを表す優先度を定義することができる。そして、ユーザごとの優先度を計算することにより、複数ユーザの中でロボットに最も高い関心を示すユーザを優先してコミュニケーションすることが可能になった。
【００５４】
なお、コミュニケーションを行う際には、人によって重視する情報が異なる。本実施の形態では、ジェスチャと音声の情報の重みを同じようにしたが、あるユーザがジェスチャの情報を重視した場合、ジェスチャの情報の重みを大きくすることなどを行ってロボット装置の振舞いに個性を持たせることも可能である。
【図面の簡単な説明】
【００５５】
【図１】本発明の一実施の形態によるロボット装置の構成例を示すブロック図である。
【図２】本発明の一実施の形態による処理全体の流れを示すフローチャートである。
【図３】本発明の一実施の形態による顔画像の抽出処理例を示す説明図である。
【図４】本発明の一実施の形態による手又は腕の検出範囲の例を示す説明図である。
【図５】本発明の一実施の形態による上半身の抽出処理例を示す説明図である。
【図６】本発明の一実施の形態による手の画像の抽出例を示す説明図である。
【図７】本発明の一実施の形態による移動ベクトルの時間的変化例を示す波形図である。
【図８】本発明の一実施の形態による音源位置推定例を示す説明図である。
【図９】本発明の一実施の形態による距離に応じた親密さの値の例を示す特性図である。
【図１０】本発明の一実施の形態による優先度の時間的変化例を示す説明図である。
【符号の説明】
【００５６】
１０…ロボット装置、１１…カメラ、１２…画像認識部、１３…認識データ処理部、１４…優先度判定部、２１ａ〜２１ｎ…マイクロフォン、２２ａ〜２２ｎ…アナログ／デジタル変換器、２３…デジタルオーディオ処理部、２４…音源特定部、３１…ロボット動作制御部、３２…回転駆動部
【図１】
2007257088.tif 000008
【図２】
2007257088.tif 000009
【図４】
2007257088.tif 000010
【図７】
2007257088.tif 000011
【図８】
2007257088.tif 000012
【図９】
2007257088.tif 000013
【図１０】
2007257088.tif 000014
【図３】
2007257088.tif 000015
【図５】
2007257088.tif 000016
【図６】
2007257088.tif 000017