(57)【要約】【課題】追従対象である人物と十分なコミュニケーションをとりながら当該追従対象を追従していくように移動ロボットを制御することができる移動ロボット制御装置、制御方法及び制御プログラムを提供する【解決手段】移動ロボット制御装置１は、画像処理部２０によって、カメラで撮像した画像から、追従対象となる人物を認識し、行動決定部５０によって、移動ロボットＡと人物との距離を一定間隔に保つように、移動ロボットＡの脚部Ｒ１を制御し、移動ロボットＡと人物との距離の遠近を、音声出力部６２から人物に対して音声によって通知することを特徴とする。【選択図】      図１
2004299025.tif 000002
【特許請求の範囲】
【請求項１】
カメラと移動手段と音声出力装置とを備えた移動ロボットを制御する移動ロボット制御装置であって、
前記カメラで撮像した画像に基づいて、追従対象を認識する追従対象認識手段と、
この追従対象認識手段で認識した追従対象までの距離を認識する距離認識手段と、
この距離認識手段で認識した追従対象までの距離を、予め設定した距離に保つように前記移動手段を制御する移動制御手段と、
前記追従対象までの距離に関連付けられた音声を、前記音声出力装置へ出力する音声出力制御手段と、
を備えていることを特徴とする移動ロボット制御装置。
【請求項２】
前記移動ロボットの移動手段は、二足歩行により移動することを特徴とする請求項１に記載の移動ロボット制御装置。
【請求項３】
前記移動ロボットが移動する領域の地図情報を保持する地図情報保持手段を備え、
前記移動制御手段が、前記地図情報保持手段に保持されている地図情報に基づいて、前記移動手段の動作を決定することを特徴とする請求項１又は請求項２に記載の移動ロボット制御装置。
【請求項４】
前記地図情報保持手段に保持されている地図情報には、進入を禁止する進入禁止領域が設定されていることを特徴とする請求項３に記載の移動ロボット制御装置。
【請求項５】
前記追従対象が人物であって、前記人物からの指示を判別する指示判別手段を備えていることを特徴とする請求項１乃至請求項４のいずれか１項に記載の移動ロボット制御装置。
【請求項６】
前記指示判別手段は、顔画像により前記人物を認識した認識結果に基づいて、前記人物を追従するかどうかを判別することを特徴とする請求項５に記載の移動ロボット制御装置。
【請求項７】
前記指示判別手段は、前記人物のポスチャ、ジェスチャの少なくとも一方に基づいて、前記人物からの指示を判別することを特徴とする請求項５又は請求項６に記載の移動ロボット制御装置。
【請求項８】
前記指示判別手段は、前記人物が発生した音声に基づいて、前記人物からの指示を判別することを特徴とする請求項５乃至請求項７のいずれか１項に記載の移動ロボット制御装置。
【請求項９】
前記音声出力制御手段は、周囲の騒音レベルに基づいて、前記音声出力装置へ出力する音声の音量を変更することを特徴とする請求項１乃至請求項８のいずれか１項に記載の移動ロボット制御装置。
【請求項１０】
カメラと移動手段と音声出力装置とを備えた移動ロボットを制御するための移動ロボット制御方法であって、
前記カメラで撮像した画像に基づいて、追従対象を認識する追従対象認識ステップと、
この追従対象認識ステップで認識した追従対象までの距離を認識する距離認識ステップと、
この距離認識ステップで認識した追従対象までの距離を、予め設定した設定距離に保つように前記移動手段を制御する移動制御ステップと、
前記追従対象までの距離に関連付けられた音声を、前記音声出力装置へ出力する音声出力制御ステップと、
を含むことを特徴とする移動ロボット制御方法。
【請求項１１】
カメラと移動手段と音声出力装置とを備えた移動ロボットを制御するために、コンピュータを、
前記カメラで撮像した画像に基づいて、追従対象を認識する追従対象認識手段、
この追従対象認識手段で認識した追従対象までの距離を認識する距離認識手段、
この距離認識手段で認識した追従対象までの距離を、予め設定した設定距離に保つように前記移動手段を制御する移動制御手段、
前記追従対象までの距離に関連付けられた音声を、前記音声出力装置へ出力する音声出力制御手段、
として機能させることを特徴とする移動ロボット制御プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、追従対象を画像処理によって認識して追従する移動ロボットの制御装置、制御方法及び制御プログラムに関する。
【０００２】
【従来の技術】
従来、追従対象となる人物をロボットが追従していくものとして、例えば、（１）「ユーザ追尾型移動ロボット」（特許文献１参照）、（２）「徘徊老人用追尾ロボット」（特許文献２参照）、（３）「脚式移動ロボットの制御装置及び制御方法」（特許文献３参照）といった技術が開示されている。
【０００３】
（１）の技術では、「ユーザ追尾型移動ロボット」が追従対象となる人物の身につけた赤外線発光源を追従（追尾）するものである。
【０００４】
（２）の技術では、「徘徊老人用追尾ロボット」が追従対象となる人物（被追従者）についていくだけのもので、当該「徘徊老人用追尾ロボット」が追従対象となる人物を見失った場合や、当該人物の歩行速度が当該ロボットの移動速度よりも速い場合に対応することができないものである。
【０００５】
（３）の技術では、外部環境の変化により、「脚式移動ロボットの制御装置」にセンサ等を介して入力される入力データに不具合がある場合（光源からの光量が一定値を超えた場合、追従対象となる人物の顔画像を確認したい場合等）、この入力データが改善されるように改善動作（光源からの光量を遮る手かざし、追従対象を振り向かせる音声出力［声かけ］）を行うものである。
【０００６】
【特許文献１】
特開平８−１６６８２２号公報（段落番号００２４−段落番号００３２、第１図）
【特許文献２】
特開平１１−７３５８２号公報（段落番号００１７−段落番号００２８、第１図）
【特許文献３】
特開２００２−２０５２９０号公報（段落番号００５６−段落番号００６５、第５図）
【０００７】
【発明が解決しようとする課題】
しかしながら、従来の（１）、（２）の移動ロボット（追尾ロボット）の制御では、追従対象である人物を追従する機能だけを特化させた傾向が強い。また、従来の（３）の移動ロボットの制御では、追従対象である人物を追従する機能を備えていない。すなわち、従来の構成では、追従対象である人物を追従しながら、当該人物と十分なコミュニケーションがとられていないという問題がある。
【０００８】
そこで、本発明の目的は前記した従来の技術が有する課題を解消し、追従対象である人物と十分なコミュニケーションをとりながら当該追従対象を追従していくように移動ロボットを制御することができる、つまり、円滑な追従移動を実現するように移動ロボットを制御することができる移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラムを提供することにある。
【０００９】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の移動ロボット制御装置は、カメラと移動手段と音声出力装置とを備えた移動ロボットを制御する移動ロボット制御装置であって、前記カメラで撮像した画像に基づいて、追従対象を認識する追従対象認識手段と、この追従対象認識手段で認識した追従対象までの距離を認識する距離認識手段と、この距離認識手段で認識した追従対象までの距離を、予め設定した距離に保つように前記移動手段を制御する移動制御手段と、前記追従対象までの距離に関連付けられた音声を、前記音声出力装置へ出力する音声出力制御手段と、を備える構成とした。
【００１０】
かかる構成によれば、移動ロボット制御装置は、追従対象認識手段によって、カメラで撮像した画像を画像処理することで、追従対象を認識する。例えば２台のカメラで撮像した画像の視差に基づいて、追従対象の距離を測定し、時系列で連続した画像から追従対象の動きを検出することで、追従対象の距離及び位置を認識することができる。そして、移動ロボット制御装置は、距離認識手段によって、追従対象の特定部位までの距離を認識する。例えば、画像上の追従対象の重心位置を追従対象の特定部位とする。
【００１１】
そして、移動ロボット制御装置は、移動制御手段によって、追従対象の特定部位までの距離が、予め設定した距離となるように、移動ロボットの移動手段を制御することで、移動ロボットが一定間隔を保ったまま追従対象を追従することができる。このとき、移動ロボット制御装置は、音声出力制御手段によって、追従状態を適宜音声として出力する。
【００１２】
請求項２に記載の移動ロボット制御装置は、請求項１に記載の移動ロボット制御装置において、前記移動ロボットの移動手段が、二足歩行により移動することを特徴とする。
【００１３】
かかる構成によれば、移動ロボット制御装置における移動制御手段が、２つの脚部を備えた移動手段を、二足歩行するように制御する。これによって、移動ロボット制御装置は、移動ロボットを人型のロボットとして動作させることができる。
【００１４】
請求項３に記載の移動ロボット制御装置は、請求項１又は請求項２に記載の移動ロボット制御装置において、前記移動ロボットが移動する領域の地図情報を保持する地図情報保持手段を備え、前記移動制御手段が、前記地図情報保持手段に保持されている地図情報に基づいて、前記移動手段の動作を決定することを特徴とする。
【００１５】
かかる構成によれば、移動ロボット制御装置は、移動制御手段が地図情報保持手段に保持されている地図情報に基づいて、移動手段の動作を決定するため、例えば、地図情報に障害物が存在する領域を記述しておくことで、移動ロボット制御装置は、移動手段の動作を障害物の前で停止させる等の動作を決定することができる。
【００１６】
請求項４に記載の移動ロボット制御装置は、請求項３に記載の移動ロボット制御装置において、前記地図情報保持手段に保持されている地図情報には、進入を禁止する進入禁止領域が設定されていることを特徴とする。
【００１７】
かかる構成によれば、移動ロボット制御装置は、移動ロボットを侵入させない領域を設定することができるため、例えば、ステージ上で移動ロボットを動作させる場合、ステージ以外の領域を進入禁止領域とすることで、移動ロボットがステージから落下することを防ぐことができる。
【００１８】
請求項５に記載の移動ロボット制御装置は、請求項１乃至請求項４のいずれか１項に記載の移動ロボット制御装置において、前記追従対象が人物であって、前記人物からの指示を判別する指示判別手段を備えていることを特徴とする。
【００１９】
かかる構成によれば、移動ロボット制御装置は、人物からの指示、例えば、追従の開始、追従の停止といった指示を判別することができる。
【００２０】
請求項６に記載の移動ロボット制御装置は、請求項５に記載の移動ロボット制御装置において、前記指示判別手段が、顔画像により前記人物を認識した認識結果に基づいて、前記人物を追従するかどうかを判別することを特徴とする。
【００２１】
かかる構成によれば、移動ロボット制御装置は、顔画像により人物を認識した認識結果に基づいて、人物を追従するかどうかを判別するため、登録されていない人物の指示を受け付けたり、追従を行ったりする動作を禁止させることができる。
【００２２】
請求項７に記載の移動ロボット制御装置は、請求項５又は請求項６に記載の移動ロボット制御装置において、前記指示判別手段が、前記人物のポスチャ、ジェスチャの少なくとも一方に基づいて、前記人物からの指示を判別することを特徴とする。
【００２３】
かかる構成によれば、移動ロボット制御装置は、追従対象である人物の姿勢（ポスチャ）や動作（ジェスチャ）によって指示を判別するため、移動ロボットと人物とのコミュニケーションをより簡単にすることができる。
【００２４】
請求項８に記載の移動ロボット制御装置は、請求項５乃至請求項７のいずれか１項に記載の移動ロボット制御装置において、前記指示判別手段が、前記人物が発生した音声に基づいて、前記人物からの指示を判別することを特徴とする。
【００２５】
かかる構成によれば、移動ロボット制御装置は、人物が発生した音声によって、指示を判別することができるため、音声による指示により移動ロボットの追従の開始や停止を指示することができる。
【００２６】
請求項９に記載の移動ロボット制御装置は、請求項１乃至請求項８のいずれか１項に記載の移動ロボット制御装置において、前記音声出力制御手段が、周囲の騒音レベルに基づいて、前記音声出力装置へ出力する音声の音量を変更することを特徴とする。
【００２７】
かかる構成によれば、移動ロボット制御装置は、周囲の騒音レベルが高い場合、出力する音声の音量を上げることで、移動ロボットから出力される音声を確実に追従対象となる人物に通知することができる。
【００２８】
請求項１０に記載の移動ロボット制御方法は、カメラと移動手段と音声出力装置とを備えた移動ロボットを制御するための移動ロボット制御方法であって、前記カメラで撮像した画像に基づいて、追従対象を認識する追従対象認識ステップと、この追従対象認識ステップで認識した追従対象までの距離を認識する距離認識ステップと、この距離認識ステップで認識した追従対象までの距離を、予め設定した設定距離に保つように前記移動手段を制御する移動制御ステップと、前記追従対象までの距離に関連付けられた音声を、前記音声出力装置へ出力する音声出力制御ステップと、を含むことを特徴とする。
【００２９】
かかるステップによれば、移動ロボット制御方法は、追従対象認識ステップによって、カメラで撮像した画像を画像処理することで、追従対象を認識する。例えば２台のカメラで撮像した画像の視差に基づいて、追従対象の距離を測定し、時系列で連続した画像から追従対象の動きを検出することで、追従対象の距離及び位置を認識することができる。そして、移動ロボット制御方法は、距離認識ステップによって、追従対象の特定部位までの距離を認識する。例えば、画像上の追従対象の重心位置を追従対象の特定部位とする。
【００３０】
そして、移動ロボット制御方法は、移動制御によって、追従対象の特定部位までの距離が、予め設定した距離となるように、移動ロボットの移動手段を制御することで、移動ロボットが一定間隔を保ったまま追従対象を追従することができる。また、移動ロボット制御方法は、音声出力制御ステップによって、追従状態を適宜音声として出力する。
【００３１】
請求項１１に記載の移動ロボット制御プログラムは、カメラと移動手段と音声出力装置とを備えた移動ロボットを制御するために、コンピュータを、前記カメラで撮像した画像に基づいて、追従対象を認識する追従対象認識手段、この追従対象認識手段で認識した追従対象までの距離を認識する距離認識手段、この距離認識手段で認識した追従対象までの距離を、予め設定した設定距離に保つように前記移動手段を制御する移動制御手段、前記追従対象までの距離に関連付けられた音声を、前記音声出力装置へ出力する音声出力制御手段、として機能させる構成とした。
【００３２】
かかる構成によれば、移動ロボット制御プログラムは、追従対象認識手段によって、カメラで撮像した画像を画像処理することで、追従対象を認識する。そして、移動ロボット制御プログラムは、距離認識手段によって、追従対象の特定部位までの距離を認識する。例えば、画像上の追従対象の重心位置を追従対象の特定部位とする。
【００３３】
そして、移動ロボット制御プログラムは、移動制御手段によって、追従対象の特定部位までの距離が、予め設定した距離となるように、移動ロボットの移動手段を制御することで、移動ロボットが一定間隔を保ったまま追従対象を追従することができる。このとき、移動ロボット制御プログラムは、音声出力制御手段によって、追従状態を適宜音声として出力する。
【００３４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【００３５】
（移動ロボットの構成）
図１は、本発明における移動ロボット制御装置１を含んだ移動ロボットＡの構成を示したブロック図である。図１に示したように、移動ロボットＡは、移動ロボットＡの行動を制御する移動ロボット制御装置１と、移動ロボット制御装置１に対して種々の情報（データ）を入力する入力手段と、移動ロボット制御装置１から出力される情報に基づいて動作を行う動作手段とで構成されている。
【００３６】
なお、移動ロボットＡには、入力手段として、マイクＭ、カメラＣ（ＣＲ、ＣＬ）、センサ類９１、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信器９２、ジャイロセンサ９３及び入力装置９４とが備えられている。また、動作手段として、スピーカＳ、脚部Ｒ１、上体Ｒ２、腕部Ｒ３及び頭部Ｒ４とが備えられている。
【００３７】
マイクＭは、外部の音声信号を入力するものであって、ここでは、人物の音声による指示を入力するものである。ここで入力された音声信号は、移動ロボット制御装置１の音声認識部１０に入力される。
【００３８】
カメラＣは、人物等の追従対象を認識するために、追従対象を撮像するものであって、例えば、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラである。ここでは、視差の情報を得るために右カメラＣＲ及び左カメラＣＬの２つからなり、それぞれ撮像された画像が、移動ロボット制御装置１の画像処理部２０に入力される。なお、カメラＣは、移動ロボットＡの左右の目に相当するものであり、互いに所定の間隔をあけて、同じ方向を向いて（光軸が平行になるように）頭部Ｒ４に設置される。
【００３９】
センサ類９１は、移動ロボットＡの状態を検出するものである。例えば、移動ロボットＡを動作させているバッテリ残容量を検出するバッテリ残容量検知センサ、移動ロボットＡ内の温度を検出する温度センサ等である。ここで検出される各種情報は、移動ロボット制御装置１の状態検査部４２で定期的に読み出される。
【００４０】
ＧＰＳ受信器９２は、ＧＰＳ衛星から送られる電波を受信するものである。これによって、位置情報となる緯度、経度を取得することができる。
ジャイロセンサ９３は、移動ロボットＡの移動方向、距離等を検出するものである。これによって、ＧＰＳ衛星からの電波が届かない場合でも、現在位置を推定することが可能になる。このＧＰＳ受信器９２及びジャイロセンサ９３で検出した情報は、移動ロボット制御装置１の自己位置推定部４２によって参照される。
【００４１】
入力装置９４は、移動ロボットＡに対する各種の設定値を入力するものである。この設定値には、例えば、移動ロボットＡが追従対象となる人物を追従する際の移動ロボットＡと人物との距離（追従間隔）や、追従間隔が縮まったときに移動ロボットＡを停止させるための移動ロボットＡと人物との距離（停止間隔）がある。ここで入力された各種の設定値は、移動ロボット制御装置１の設定値入力部４３に入力される。
【００４２】
スピーカ（音声出力装置）Ｓは、移動ロボット制御装置１の音声出力部６２から出力される音声を外部に出力するものである。このスピーカＳは、移動ロボットＡが、追従する人物に対して音声によって状態を通知するために使用される。
【００４３】
ここでは、移動ロボットＡを人型のロボットとし、脚部Ｒ１、上体Ｒ２、腕部Ｒ３及び頭部Ｒ４が、それぞれ人間の身体の部位に相当するものとする。
脚部Ｒ１は、特許請求の範囲にいう移動手段に相当し、移動ロボットＡを指定の方向に移動させるものである。この脚部Ｒ１には、人間の股、膝、足に相当する関節部（図示せず）を備え、移動ロボット制御装置１の移動制御部６１からの指示に基づいて、二足歩行を可能にするものである。
【００４４】
上体Ｒ２には、前記したセンサ類９１、バッテリ（図示せず）等が備えられている。また、腕部Ｒ３は、人間の肩、肘、手首に相当する関節部（図示せず）を備え、移動ロボット制御装置１の動作制御部６３からの指示に基づいて動作するものである。
【００４５】
頭部Ｒ４は、チルト角を変更する首関節（図示せず）と、パンを変更する首関節（図示せず）を備え、移動ロボット制御装置１の動作制御部６３からの指示に基づいて動作するものである。また、頭部Ｒ４には、カメラＣが搭載され、チルト角及びパンによって、カメラＣの方向が特定される。
【００４６】
（移動ロボット制御装置の構成）
さらに、図１を参照して、移動ロボット制御装置１の詳細な構成について説明する。移動ロボット制御装置１は、移動ロボットＡを制御する制御装置であって、移動ロボットＡ本体に組み込まれて移動ロボットＡの動作を制御するものである。なお、移動ロボット制御装置１内に図示する各構成部の機能は、図示していない記憶装置に格納されたプログラム及びデータに基づいて、図示していないＣＰＵが演算処理を行うことで実現される。
【００４７】
図１に示すように、移動ロボット制御装置１は、主として音声認識部１０、画像処理部２０、状態検査部４１、自己位置推定部４２、設定値入力部４３、行動決定部５０、移動制御部６１、音声出力部６２及び動作制御部６３からなる制御手段２と、音声指示情報保持部３１、顔画像情報保持部３２、ポスチャ・ジェスチャ情報保持部３３及び地図情報保持部３４の保持手段（記憶手段）３とを備えている。
【００４８】
音声認識部１０は、予め音声指示情報保持部３１に保持（登録）された語彙（指示語）を参照して、マイクＭから入力される音声信号を認識して、人の命令や意図を認識するものである。この指示語は、例えば、人物の追従を停止させる「止まれ」等である。また、この指示語に対応する指示（命令）情報は、行動決定部５０の指示判別手段５１へ通知される。
【００４９】
なお、音声認識部１０には、図示していない騒音レベル検出部を備えて、マイクＭから入力される音声において、例えば定常音のレベルを騒音レベルとして検出することとしてもよい。この場合、検出された騒音レベルは、応答行動決定手段５７に通知され、音声を出力する際の音量が調節される。
【００５０】
画像処理部２０は、カメラＣで撮像された撮像画像に対して画像処理を行うことで、追跡対象の人物（追跡対象者）を認識したり、人物の姿勢（ポスチャ）や動作（ジェスチャ）の認識を行うものである。ここでは、画像処理部２０を、追従対象認識部２１と、距離認識部２２と、顔認識部２３と、ポスチャ・ジェスチャ認識部２４とで構成した。
【００５１】
追従対象認識部（追従対象認識手段）２１は、カメラＣで撮像された撮像画像に基づいて、追従対象となる人物を認識するものである。この追従対象認識部２１では、以下の方法によって、撮像画像から追従対象となる人物の輪郭を抽出することで人物の認識を行う。
【００５２】
まず、同時刻に左右のカメラＣＲ、ＣＬで撮像された左右画像の視差に基づいて、視差が検出された画素において、その視差の大きさ（視差量）を、距離の情報として各画素毎に埋め込んだ距離画像を生成する。また、一方のカメラ（例えばＣＲ）を基準として、時刻の異なる画像を入力し、その差分によって、撮像画像の中から動きのある領域を抽出した差分画像を生成する。この差分画像は、例えば、動きのあった領域の画素値を“１”、動きのなかった領域の画素値を“０”としたものである。
【００５３】
そして、距離画像と差分画像とから、最も動き量の多い視差（距離）を特定し、その距離を人物が存在する対象距離とする。そして、対象距離にある程度の幅（例えば、数十ｃｍ等）を持たせ、その距離に対応する画素を距離画像から抽出した対象距離画像を生成する。この対象距離に対応する画素で生成された対象距離画像で、画素が存在する領域を対象領域として輪郭を抽出する。この輪郭抽出には、例えば、ＳＮＡＫＥＳ（動的輪郭モデル）を用いることができる。
【００５４】
距離認識部（距離認識手段）２２は、カメラＣの焦点位置から、追従対象となる人物までの距離を認識（測定）するものである。ここでは、追従対象認識部２１において、人物の輪郭が抽出されているため、輪郭内の重心位置を測定対象位置とする。また、追従対象認識部２１において、視差の大きさ（視差量）を、距離の情報として各画素毎に埋め込んだ距離画像を生成しているため、この距離画像で重心位置の視差を得ることができる。
【００５５】
なお、視差をＺとしたとき、この視差Ｚに対応するカメラＣから人物の重心位置までの距離Ｄは、カメラＣの焦点距離をｆ、左右のカメラＣＲ、ＣＬの距離をＢとすると、次の（１）式で求めることができる。
【００５６】
Ｄ＝Ｂ×ｆ／Ｚ  …（１）
【００５７】
なお、カメラＣは２台に限らず、３台以上のカメラを用いて距離を測定することとしてもよい。例えば、３行３列に配置した９台のカメラで、中央に配置したカメラを基準カメラとして、他のカメラとの視差に基づいて、人物までの距離を正確に測定することもできる。
【００５８】
顔認識部２３は、カメラＣで撮像された撮像画像に基づいて、追従対象となる人物の顔を認識するものである。例えば、カメラＣで撮像されたカラー画像から肌色領域を抽出し、追従対象認識部２１で認識された人物領域の頭部に相当する肌色領域を覆う領域を顔領域として認識する。そして、予め顔画像情報保持部３２に保持（登録）されている人物かどうかを認識する。例えば、顔領域の画像と、顔画像情報保持部３２に保持されている顔画像とでパターンマッチングを行ったり、顔画像の特徴（特徴点間の距離等）となる顔画像情報に基づいてマッチングを行ったりすることで、人物の確認を行う。
【００５９】
ポスチャ・ジェスチャ認識部２４は、予めポスチャ・ジェスチャ情報保持部３３に保持（登録）された人物領域と手の領域との相対的位置により定義された姿勢（ポスチャ）と、そのポスチャの時間的変化により定義された動作（ジェスチャ）とを参照して、追従対象となる人物の指示を認識するものである。
【００６０】
このポスチャ・ジェスチャ認識部２４は、カメラＣで撮像されたカラー画像から肌色領域を抽出し、追従対象認識部２１で認識された人物領域の中から人物の手の候補となる領域を探索し、その人物領域と手の領域との相対的位置に基づいて、人物のポスチャを認識する。また、ポスチャ・ジェスチャ認識部２４は、時系列に入力されるカメラＣで撮像されたカラー画像から、予め定めた時間間隔内で、人物領域と手の領域との相対的位置を特定することで、人物のジェスチャを認識する。
【００６１】
状態検査部４１は、移動ロボットＡの内部状態を定期的に検査するものである。この状態検査部４１は、ある一定間隔でセンサ類９１で検出される情報、例えば、バッテリ残容量、温度等の内部状態を読み出して、その情報を行動決定部５０の異常判定手段５９に通知する。
【００６２】
自己位置推定部４２は、ＧＰＳ受信器９２及びジャイロセンサ９３で検出された情報に基づいて、自己（移動ロボットＡ）の位置と移動方向とを推定するものである。例えば、屋外で人物を追従し移動を行う場合は、ＧＰＳ受信器９２で受信した緯度及び経度を自己の位置とする。また、屋内で人物を追従し移動を行う場合は、予め地図情報保持部３４に保持（登録）された屋内の地図データと、ジャイロセンサ９３で検出された移動方向、距離等により、自己の位置を推定する。
【００６３】
設定値入力部４３は、入力装置９４から各種の設定値を入力し、図示していないメモリ等にその設定値を記憶するものである。ここで設定された設定値は、行動決定部５０の各手段によって参照される。
【００６４】
行動決定部５０は、前記した音声認識部１０及び画像処理部２０で認識した情報、状態検査部４１で検査した移動ロボットＡの内部状態、自己位置推定部４２で推定した自己位置、及び、設定値入力部４３で入力された各種設定値に基づいて、移動ロボットＡの行動を決定するものである。
【００６５】
ここでは、行動決定部５０を、指示判別手段５１と、動作モード切替手段５２と、人物確認手段５３と、追従距離判定手段５４と、移動速度決定手段５５と、移動方向決定手段５６と、応答行動決定手段５７と、障害物判別手段５８と、異常判定手段５９とで構成した。
【００６６】
指示判別手段５１は、音声認識部１０で認識した人物が発声した指示語に対応する指示（命令）情報や、画像処理部２０のポスチャ・ジェスチャ認識部２４で認識した人物のポスチャ・ジェスチャに基づいて、追従対象となる人物からの指示を判別するものである。
【００６７】
例えば、指示判別手段５１は、音声認識部１０で認識した指示語が「止まれ」であった場合は、後記する動作モード切替手段５２及び応答行動決定手段５７に対して、移動ロボットＡを停止させる旨の指示（停止指示）を通知する。また、例えば、指示判別手段５１は、ポスチャ・ジェスチャ認識部２４で認識した人物のジャスチャが「手を高く上げる」動作であった場合は、動作モード切替手段５２に対して、移動ロボットＡを人物に追従させる旨の指示（追従指示）を通知する。また、人物のジャスチャが「手を前方に出す」動作であった場合は、動作モード切替手段５２に対して、移動ロボットＡを停止させる旨の指示（停止指示）を通知する。
【００６８】
動作モード切替手段５２は、移動ロボットＡの動作状態を示す動作モードを切り替えるものである。この動作モードは図示していないメモリ等に記憶される。この動作モードは、例えば、移動ロボットＡが人物を追従している状態においては「追従モード」、追従を停止し次の指示を待っている状態においては「待機モード」とする。また、この動作モードの切り替えは、指示判別手段５１から通知される指示内容（追従指示、停止指示）に基づいて切り替えられる。
【００６９】
人物確認手段５３は、画像処理部２０の顔認識部２３によって認識した人物が、移動ロボットＡを操作することが許可された人物（追跡対象者となる人物）であるかどうかを確認するものである。これは、予め顔画像情報保持部３２に移動ロボットＡを操作する許可を示すフラグ等を記憶しておき、そのフラグによって人物の確認を行う。
【００７０】
追従距離判定手段５４は、画像処理部２０の距離認識部２２で認識（測定）したカメラＣから追従対象となる人物までの距離に基づいて、人物を追従する距離が適正かどうかを判定するものである。ここでは、移動ロボットＡが追従対象となる人物を追従する際の移動ロボットＡと人物との距離（追従間隔）を１．４ｍとし、追従距離判定手段５４では、追従間隔が１．４ｍより離れていないか、又は、接近しすぎていないかを判定する。
【００７１】
なお、この追従距離判定手段５４では、人物の歩行速度が遅くなり、移動ロボットＡと人物との距離が０．９ｍまで接近したとき（停止間隔になったとき）、又は、追従対象の人物を見失ったとき（人物の認識に失敗したとき）は、追従を停止する旨の指示を移動速度決定手段５５に対して通知する。
【００７２】
移動速度決定手段５５は、追従距離判定手段５４の判定結果に基づいて、移動ロボットＡの移動速度を決定するものである。例えば、追従距離判定手段５４の判定結果として、追従間隔が１．４ｍよりも所定距離離れていると判定された場合は加速し、追従間隔が１．４ｍよりも所定距離接近した場合は減速するように、移動速度を決定する。なお、追従距離判定手段５４から追従を停止する旨の指示を通知された場合は、移動速度を０に決定する。
【００７３】
移動方向決定手段５６は、追従対象となる人物を追従するための方向を決定するものである。この移動方向決定手段５６では、画像処理部２０の距離認識部２２で認識した人物の距離の基準となる重心位置が、カメラＣで撮像された撮像画像の水平方向における中心から、どれだけずれているかを測定し、重心位置が水平方向の中心に位置するように移動方向を決定する。例えば、重心位置が中心位置に対して右にずれている場合は、右方向に移動するように移動方向を決定する。なお、移動方向の角度は、カメラＣから人物までの距離と、撮像画像における重心位置と水平位置とのずれ量に基づいて算出される。
【００７４】
応答行動決定手段５７は、追従対象となる人物を追従する際に行う行動を決定するものである。この応答行動決定手段５７では、例えば、脚部Ｒ１で最大歩幅で所定歩数移動を行っても、人物との追従間隔が１．４ｍにならない場合は、スピーカＳで「待ってください」という音声を発声させるように、音声出力部６２に指示する。また、人物との距離が０．９ｍまで接近した場合は、スピーカＳで「止まります」という音声を発声させるように、音声出力部６２に指示する。
【００７５】
なお、人物との追従間隔が１．４ｍとなっている状態が所定時間継続している場合には、スピーカＳで「４歩後を歩いています」という音声を発声させるように、音声出力部６２に指示することとしてもよい。このように音声を出力することで、移動ロボットＡが、追従を継続していることが追従対象となる人物に通知され、人物が振り返って追従の確認を行う必要がなくなる。
また、応答行動決定手段５７は、音声認識部１０から騒音レベルを通知されたときは、その騒音レベルに基づいて、音量のレベルを音声出力部６２へ通知する。
【００７６】
障害物判別手段５８は、予め地図情報保持部３４に保持（登録）された地図データ（地図情報）に記述されている、障害物が存在する領域、あるいは、進入を禁止する進入禁止領域に基づいて、追従対象となる人物を追従することが可能かどうかを判定するものである。ここで、人物を追従することができないと判定した場合は、応答行動決定手段５７に対してその旨を通知する。そして、応答行動決定手段５７が、追従を停止させるとともに、音声出力部６２に対して「それ以上先へ進めません」という音声を発声させるよう指示することとしてもよい。
【００７７】
異常判定手段５９は、状態検査部４１で検査したバッテリ残容量、温度等の内部状態に基づいて、移動ロボットＡの異常を判定するものである。例えば、バッテリ残容量が少なくなった場合、温度が所定の温度以上に上がった場合等は、移動ロボットＡが異常状態になったと判定し、応答行動決定手段５７に対してその旨を通知する。そして、応答行動決定手段５７が人物の追従を停止させる。
【００７８】
移動制御部６１は、行動決定部５０で決定された移動速度、移動方向に基づいて、移動ロボットＡの脚部Ｒ１（２本の脚）の動作を制御するものである。すなわち、２本の脚による歩幅（ピッチ）と、歩速（脚のスライド回数）と、回転方向が調整されることとなる。これによって、移動ロボットＡは、予め設定した距離（例えば１．４ｍ）を保って人物を追従することが可能になる。
なお、行動決定部５０と移動制御部６１とが、特許請求の範囲にいう移動制御手段に相当する。
【００７９】
音声出力部６２は、予め設定された音声（図示を省略した音声記録部に記録されている応答用メッセージ）を出力するものである。この応答用メッセージは、応答行動決定手段５７から通知される応答用メッセージ番号等によって出力する音声を決定する。また、音声出力部６２は、応答行動決定手段５７から音量のレベルが通知された場合は、その音量に基づいて、スピーカＳの出力音量を調節する。
なお、応答行動決定手段５７と音声出力部６２とが、特許請求の範囲にいう音声出力制御手段に相当する。
【００８０】
動作制御部６３は、行動決定部５０で決定された行動に基づいて、予め設定された動作（図示を省略した応答動作記録部に記録されている応答動作）を移動ロボットＡが行うように、上体Ｒ２、腕部Ｒ３及び頭部Ｒ４を動作させるものである。例えば、動作制御部６３は、画像処理部２０で追従対象となる人物を見失ってしまった場合、２本の腕部Ｒ３を上げた“お手上げ”を示す動作、頭部Ｒ４を横に振る動作等を行う。
【００８１】
音声指示情報保持部３１は、予め追従対象となる人物が指示を行う指示語を、音声及びその指示（命令）情報として保持しているものである。例えば、音声として「止まれ」を保持し、その音声が移動ロボットＡを停止させる指示内容であることを示す指示情報を保持しておく。
【００８２】
顔画像情報保持部３２は、追従対象である人物の顔画像や、その顔画像に関連する顔画像情報を保持しているものである。この顔画像情報は、人物の顔部分の特徴点（目尻、鼻先、頭頂、口唇等）間の距離等である。
【００８３】
ポスチャ・ジェスチャ情報保持部３３は、人物の姿勢及び所定（一連）の動作と、移動ロボットＡの移動動作とを関連付けたものである。例えば、人物が手を高く上げるジェスチャを行った場合の移動ロボットＡの移動動作は「追従開始」、人物が手を前方に出すジェスチャを行った場合の移動ロボットＡの移動動作は「停止」（追従終了）として関連付けられている。
【００８４】
地図情報保持部（地図情報保持手段）３４は、移動ロボットＡが移動する地図データ（地図情報）を保持しているものである。この地図データには、障害物の領域や、進入を禁止する進入禁止領域の情報が記述されている。
【００８５】
（移動ロボット制御装置の動作）
次に、図２及び図３を参照（適宜図１参照）して、実施形態に係る移動ロボット制御装置１の動作について説明する。図２は、移動ロボット制御装置の処理を示すフローチャートであり、図３は、図２の指示認識処理の詳細を示すフローチャートである。
【００８６】
まず、移動ロボット制御装置１は、音声認識部１０及び画像処理部２０により、追従対象者がなした音声による指示及びジェスチャ・ポスチャによる指示を認識し、所定の条件を満たすことにより、動作モード切替手段５２により動作モードを追従モードに切り替える（ステップＳ１）。この指示認識の処理の詳細については後記する。
【００８７】
そして、指示認識の結果、動作モードが追従モードになっているかを判断し（ステップＳ２）、動作モードが、追従モードになっていなければ（ステップＳ２，Ｎｏ）、ステップＳ１に戻って追従モードになるのを待ち（待機モード）、動作モードが追従モードになっていれば（ステップＳ２，Ｙｅｓ）、ステップＳ３以下の追従処理に進む。
【００８８】
追従処理では、まず、追従対象認識部２１が、カメラＣで撮像した画像から後記する指示認識の処理で行った移動体を抽出することで、追従対象者を認識する（ステップＳ３）。
そして、距離認識部２２が、追従対象者の画像上の重心を求めて、ステレオ計算により、若しくは指示認識の処理で求めた距離画像を参照して、移動ロボットＡ（カメラＣ）から前記重心、すなわち追従対象者までの距離を認識する（ステップＳ４）。
【００８９】
次に、移動速度決定手段５５が、追従対象者までの距離に基づいて、移動ロボットＡの移動速度を決定する（ステップＳ５）。具体的には、追従対象者までの距離が１．４ｍよりも所定値以上大きいときは、移動速度を高くし、１．４ｍよりも所定値以上小さいときは移動速度を低くし、ほぼ１．４ｍであるときは、現在の移動速度を維持するように移動速度を決定する。
【００９０】
次に、追従対象者までの距離が極端に大きくなったり、小さくなったりした場合には、追従対象者に応答する。具体的には、距離が小さすぎた場合、例えば、０．９ｍより小さかった場合には（ステップＳ６，（１））、応答行動決定手段５７が「止まります」という音声を出力するように決定し、これに応じて音声出力部６２がスピーカＳへ音声信号を出力することで、移動ロボットＡが「止まります」と発話する（ステップＳ７）。そして、止まるために移動速度を０に設定しなおし（ステップＳ８）、移動方向の決定処理に進む（ステップＳ１０）。一方、距離が大きすぎた場合、例えば５ｍより大きかった場合には（ステップＳ６，（２））、応答行動決定手段５７が「待ってください」という音声を出力するように決定し、これに応じて音声出力部６２がスピーカＳへ音声信号を出力することで、移動ロボットが「待ってください」と発話し（ステップＳ９）、移動方向の決定処理に進む（ステップＳ１０）。なお、以上の応答の際には、動作制御部６３により上体Ｒ２、腕部Ｒ３、頭部Ｒ４などを駆動して、身振りにより応答を行ってもよい。
【００９１】
なお、マイクＭから入力された騒音レベルを音声認識部１０で検出し、その騒音レベルに合わせて、応答行動決定手段５７が音声（発話）の音量を決定し、音声出力部６２がその音量によってスピーカＳから音声信号を出力することとしてもよい。
【００９２】
さらに、距離が、小さすぎることも大きすぎることもなかった場合（ステップＳ６，その他）、つまり、０．９ｍ以上、５ｍ以下であった場合は、応答することなく移動方向の決定処理に進む（ステップＳ１０）。
【００９３】
移動方向の決定処理（ステップＳ１０）では、追従対象者の移動方向に応じて移動方向を決定する。例えば、カメラＣで撮像した画像で、フレームの左右方向中央に対し追従対象者が右側に寄っている場合には、移動ロボット１の現在の進行方向に対して、追従対象者が右の方向へ進んでいるので、移動方向を現在よりも右よりに決定する。
【００９４】
次に、自己位置推定部４２が、ＧＰＳ受信器９２や、ジャイロセンサ９３からの信号、及び地図情報保持部３４の地図情報を参照して、移動ロボット１の自己位置を推定する（ステップＳ１１）。
【００９５】
そして、障害物判別手段５８が、推定した自己位置と、自己の周囲の地図情報から、自己の周囲の障害物を認識し、自己の移動方向に障害物があるかを判別する（ステップＳ１２）。障害物があった場合には（ステップＳ１２，Ｙｅｓ）、移動速度を０に設定し（ステップＳ１３）、移動制御（ステップＳ１５〜Ｓ１８）に進む。障害物がなかった場合には（ステップＳ１２，Ｎｏ）、異常判定手段５９が、移動動作をする上で障害となる異常が存在するかを判定する（ステップＳ１４）。異常としては、例えば、バッテリ残容量が少ないとか、温度が高すぎる等で、これらの状態は、状態検査部４１から受け取った各センサ類９１の検出値から判定される。異常があった場合には（ステップＳ１４，Ｙｅｓ）、移動速度を０に設定し（ステップＳ１３）、移動制御（ステップＳ１５〜Ｓ１８）に進む。異常がなかった場合には（ステップＳ１４，Ｎｏ）、そのままの設定移動速度で、移動制御（ステップＳ１５〜Ｓ１８）に進む。
【００９６】
移動制御（ステップＳ１５〜Ｓ１８）では、行動決定部５０が設定した移動速度、移動方向の信号を、移動制御部６１が受け取って、設定移動速度が０だった場合には（ステップＳ１５，Ｙｅｓ）、停止制御するように脚部Ｒ１を駆動する（ステップＳ１６）。そして、動作モードを待機モードへ切り替えて（ステップＳ１７）、処理を終了する。
【００９７】
設定移動速度が０でなかった場合には（ステップＳ１５，Ｎｏ）、設定された移動速度、移動方向で歩行制御するように脚部Ｒ１を駆動し（ステップＳ１８）、処理を終了する。
そして、処理の終了後は、再びステップＳ１からの処理を繰り返す。
【００９８】
次に、図２を参照（適宜図１参照）してステップＳ１の指示認識処理の詳細について説明する。
まず、音声認識部１０は、マイクＭから音声が入力され（ステップＳ１０１）、この音声から言葉（予約語）を認識する（ステップＳ１０２）。
一方、画像処理部２０は、カメラＣが撮像した画像を取得し（ステップＳ１０３）、この画像から移動体（人物）を抽出する（ステップＳ１０４）。
【００９９】
移動体の抽出は、次のように行われる。まず、同時刻に左右のカメラＣＲ、ＣＬで撮像された左右画像の視差に基づいて、視差の大きさ（視差量）を距離の情報として各画素毎に埋め込んだ距離画像を生成する。また、一方のカメラ（例えばＣＲ）を基準として、時刻の異なる画像を入力し、その差分によって、撮像画像の中から動きのある領域を抽出した差分画像を生成する。そして、距離画像と差分画像とから、最も動き量の多い視差（距離）を特定し、その距離を人物が存在する対象距離とする。さらに、対象距離の前後の所定範囲の距離に対応する画素を距離画像から抽出した対象距離画像を生成する。この対象距離画像で、画素が存在する領域を対象領域としてＳＮＡＫＥＳを用い、輪郭を抽出することで、移動体が抽出される。
【０１００】
移動体の抽出後は、ポスチャ・ジェスチャ認識部２４が、移動体である人物のジェスチャ又はポスチャを認識する（ステップＳ１０５）。ジェスチャ又はポスチャの認識は、画像中の移動体内の肌色領域から顔と手の位置を認識し、顔と手の位置関係等をポスチャ・ジェスチャ情報保持部３３に登録されているポスチャ又はジェスチャと比較し、ポスチャ又はジェスチャを認識する。
【０１０１】
そして、指示判別手段５１が、音声認識部１０が認識した言葉や、ポスチャ・ジェスチャ認識部２４が認識したポスチャ又はジェスチャに基づき、音声指示情報保持部３１やポスチャ・ジェスチャ情報保持部３３を参照して人物の指示内容を判別する（ステップＳ１０６）。
【０１０２】
判別した指示内容が、追従指示だった場合には（ステップＳ１０７，Ｙｅｓ）、動作モード切替手段５２が動作モードを追従モードに切り替える（ステップＳ１０８）。追従指示でなかった場合には（ステップＳ１０７，Ｎｏ）、動作モードを切り替えることなく次の処理へ進む。
【０１０３】
そして、顔認識部２３が顔画像情報保持部３２を参照して、人物の認識をし（ステップＳ１０９）、その人物が、指示に従ってよい人物（適切な指示者）かどうかを人物確認手段５３が確認する（ステップＳ１１０）。その結果、指示人物が適切な指示者でなかった場合には（ステップＳ１１０，Ｎｏ）、動作モード切替手段５２が動作モードを待機モードに切り替える（ステップＳ１１１）。指示人物が適切な指示者であった場合には（ステップＳ１１０，Ｙｅｓ）、動作モードを切り替えることなく次の処理へ進む。
【０１０４】
次に、指示内容が、停止指示であるかどうかを判断し（ステップＳ１１２）、停止指示だった場合には（ステップＳ１１２，Ｙｅｓ）、移動速度を０に設定する。停止指示でなかった場合には（ステップＳ１１２，Ｎｏ）、そのまま次の処理（図１のステップＳ２）へ進む。
【０１０５】
（ジェスチャの具体例）
次に、図４を参照（適宜図１参照）して、ジェスチャの具体例について説明する。
図４は、追従対象である人物のジェスチャの概略を示したものである。図４（ａ）は、追従対象である人物が手を高く上げるジェスチャを示したものである。このジェスチャによって、ポスチャ・ジェスチャ認識部２４及び指示判定手段５１で追従開始（追従指示）と判定され、顔認識部２３及び人物確認手段５３によって個人が識別（特定）される。
【０１０６】
また、図４（ｂ）は、追従対象である人物が「止まれ」と発声するとともに、手を前方に出すジェスチャを示したものである。このジェスチャによって、ポスチャ・ジェスチャ認識部２４及び指示判定手段５１で追従動作の終了（停止指示）が判定され、音声認識部１０及び指示判別手段５１で音声によっても、移動ロボットＡの追従動作の終了が判定される。また、指示判定手段５１は、外部の遠隔制御端末Ｔから、無線信号によって停止指示（Ｓｔｏｐ）を受信することで、追従動作の終了を判定することとしてもよい。
【０１０７】
なお、ジェスチャと音声とが矛盾する場合、例えば、ジェスチャでは追従開始（追従指示）を指示し、音声では追従動作の終了（停止指示）を指示した場合は、安全性を考慮して追従動作を終了させることとする。
【０１０８】
（移動ロボットの追従動作の具体例）
次に、図５を参照して、移動ロボットＡの追従動作の具体例について説明する（適宜図１参照）。
図５は、追従対象である人物と移動ロボットＡとの追従動作における位置関係を示したものである。図５（ａ）は、追従対象である人物と移動ロボットＡとの距離が追従間隔（１．４ｍ）よりも長く、しかも、追従対象である人物の歩行速度が移動ロボットＡの最大移動速度（最大歩幅で移動）よりも速い場合を示している。この場合、応答行動決定手段５７は追従対象に追いつくことができないと判断し、音声出力部６２がスピーカＳを介して「待ってください」と発声する。なお、追従対象の人物を見失ったときは追従を停止する。
【０１０９】
図５（ｂ）は、追従対象である人物と移動ロボットＡとが一定距離（追従間隔：１．４ｍ）を維持しながら追従動作しているところを示したものである。
【０１１０】
図５（ｃ）は、追従対象である人物に移動ロボットＡが接近して、応答行動決定手段５７で追従対象に衝突すると判断し、音声出力部６２からスピーカＳを介して「止まります」と発声し、停止した状態を示したものである。
【０１１１】
このように、移動ロボット制御装置１は、移動ロボットＡを人物に対して一定の間隔をおいて追従させることができる。また、人物の追跡を行う際に、人物のジェスチャや音声によって追跡の開始や停止を指示することができるので、追従対象である人物と適切なコミュニケーションをとることができる。
【０１１２】
【発明の効果】
以上、詳細に説明したように、本発明によれば、追従対象である人物と十分なコミュニケーションをとりながら当該追従対象を追従していくように、移動ロボットを制御することができる。
【図面の簡単な説明】
【図１】本発明による一実施の形態である移動ロボット制御装置を含んだ移動ロボットの構成を示したブロック図である。
【図２】移動ロボット制御装置の処理を示すフローチャートである。
【図３】移動ロボット制御装置の指示認識処理の詳細を示すフローチャートである。
【図４】追従対象である人物のジェスチャの概略を示した図である。
【図５】追従対象である人物と移動ロボットとの追従動作における位置関係を示した図である。
【符号の説明】
１        移動ロボット制御装置
２        制御手段
３        保持手段
１０      音声認識部
２０      画像処理部
２１      追従対象認識部
２２      距離認識部
２３      顔認識部
２４      ポスチャ・ジェスチャ認識部
３１      音声指示情報保持部
３２      顔画像情報保持部
３３      ポスチャ・ジェスチャ情報保持部
３４      地図情報保持部
４１      状態検査部
４２      自己位置推定部
４３      設定値入力部
５０      行動決定部
５１      指示判定手段
５２      動作モード切替手段
５３      人物確認手段
５４      追従距離判定手段
５５      移動速度決定手段
５６      移動方向決定手段
５７      応答行動決定手段
５８      障害物判別手段
５９      異常判定手段
６１      移動制御部
６２      音声出力部
６３      動作制御部
９１      センサ類
９２      ＧＰＳ受信器
９３      ジャイロセンサ
９４      入力装置
Ａ        移動ロボット
Ｍ        マイク
Ｃ（ＣＲ、ＣＬ）  カメラ
Ｓ        スピーカ
Ｒ１      脚部
Ｒ２      上体
Ｒ３      腕部
Ｒ４      頭部
【図１】
2004299025.tif 000003
【図２】
2004299025.tif 000004
【図３】
2004299025.tif 000005
【図４】
2004299025.tif 000006
【図５】
2004299025.tif 000007