(57)【要約】【課題】ユーザのプライバシーを確保しながら、ユーザの負担を軽減することができるとともに、ユーザに的確な指示を与えることができる動作指示装置を提供する。【解決手段】プロジェクタ１１は、ユーザに対して複数のスポット赤外光を投影し、ビデオカメラ２１ａ，２１ｂは、ユーザの表面に投影された複数の赤外光点を撮影し、３次元位置検出部２２及び３次元位置復元部２３は、撮影された複数の赤外光点の位置を基にユーザの表面の３次元位置分布を検出し、姿勢推定部２４は、検出された３次元位置分布と、分布データベース２５に記憶されている基準３次元位置分布とを比較してユーザの姿勢を推定し、動作推定部３０は、推定された姿勢と、動作データベース３１に記憶されている姿勢とを比較してユーザの動作を推定し、音声出力及び映像表示部３２は、動作指示情報データベース３３を参照して、推定された動作の次に行うべき動作に関する指示をユーザに提示する。【選択図】図１
2007128307.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの３次元形状をユーザに対して非接触で検出する検出手段と、
前記検出手段により検出されたユーザの３次元形状を基にユーザの動作を推定する推定手段と、
前記推定手段により推定されたユーザの動作を基にユーザが次に行うべき動作に関する指示をユーザに提示する提示手段とを備えることを特徴とする動作指示装置。
【請求項２】
前記検出手段は、
ユーザに対して複数のスポット光を所定パターンで投影する投影手段と、
前記投影手段によりユーザの表面に投影された複数の光点を撮影する撮影手段と、
前記ユーザの３次元形状として、前記撮影手段により撮影された複数の光点の位置を基にユーザの表面の３次元位置分布を検出する位置検出手段とを含むことを特徴とする請求項１記載の動作指示装置。
【請求項３】
前記推定手段は、
ユーザの姿勢毎にユーザの表面の基準３次元位置分布を予め記憶している分布記憶手段と、
前記位置検出手段により検出された３次元位置分布と前記分布記憶手段に記憶されている基準３次元位置分布とを比較してユーザの現在の姿勢を推定する姿勢推定手段と、
ユーザの動作毎に当該動作を構成するユーザの姿勢を表す姿勢情報を予め記憶している動作記憶手段と、
前記姿勢推定手段により推定されたユーザの姿勢と前記動作記憶手段に記憶されている姿勢情報とを比較してユーザの現在の動作を推定する動作推定手段とを含むことを特徴とする請求項２記載の動作指示装置。
【請求項４】
前記分布記憶手段は、さらに、ユーザが使用する器具毎に当該器具の使用時の基準３次元位置分布を予め記憶し、
前記姿勢推定手段は、さらに、前記位置検出手段により検出された器具の３次元位置分布と前記分布記憶手段に記憶されている器具の基準３次元位置分布とを比較して器具の使用状態を推定し、
前記動作記憶手段は、さらに、ユーザの動作毎に当該動作と関連する器具の使用状態を表す使用状態情報を予め記憶し、
前記動作推定手段は、前記姿勢推定手段により推定されたユーザの姿勢及び器具の使用状態と前記動作記憶手段に記憶されている姿勢情報及び使用状態情報とを比較してユーザの現在の動作を推定することを特徴とする請求項３記載の動作指示装置。
【請求項５】
前記位置検出手段は、検出した３次元位置分布を基にユーザの観測位置を検出し、
前記投影手段は、前記位置検出手段により検出されたユーザの観測位置に応じてスポット光の位置を補正することを特徴とする請求項２〜４のいずれかに記載の動作指示装置。
【請求項６】
前記撮影手段は、前記投影手段によりユーザの表面に投影された複数の光点を互いに異なる撮影方向から撮影する第１及び第２の撮影手段を含み、
前記位置検出手段は、前記第１及び第２の撮影手段により撮影された複数の光点の位置を基にユーザの異なる表面の３次元位置分布を検出し、
前記位置検出手段により検出されたユーザの異なる表面の３次元位置分布を保持する保持手段と、
前記位置検出手段により検出されたユーザの異なる表面の３次元位置分布と前記保持手段に保持されている所定時間前のユーザの異なる表面の３次元位置分布とを比較してユーザの表面に変化が生じた部位を検出する部位検出手段と、
ユーザが装着する衣服毎に当該衣服の着脱によりユーザの表面に変化が生じる部位を予め記憶している衣服記憶手段と、
前記部位検出手段により検出された部位と前記衣服記憶手段に記憶されている部位とを比較して変化が生じた衣服の種類を識別する識別手段とをさらに備え、
前記動作推定手段は、前記識別手段により識別された衣服の種類をも考慮してユーザの着替え動作を推定することを特徴とする請求項２〜５のいずれかに記載の動作指示装置。
【請求項７】
前記投影手段は、
複数のスポット光を撮影画像上で互いに干渉しないスポット光群に分割する分割手段と、
前記分割手段により分割されたスポット光群毎にスポット光をユーザに対して投影する分割投影手段とを含み、
前記撮影手段は、前記分割投影手段によりスポット光群毎にユーザの表面に投影された複数の光点を撮影し、
前記位置検出手段は、前記撮影手段によりスポット光群毎に撮影された光点の位置を基にユーザの表面の３次元位置分布を検出することを特徴とする請求項２〜６のいずれかに記載の動作指示装置。
【請求項８】
前記投影手段は、赤外光を用いてユーザに対して複数のスポット光を所定パターンで投影し、
前記撮影手段は、前記投影手段によりユーザの表面に投影された複数の赤外光点を撮影することを特徴とする請求項２〜７のいずれかに記載の動作指示装置。
【請求項９】
前記提示手段は、前記検出手段により検出されたユーザの動作を基にユーザが次に行うべき動作を音声の出力又は映像の表示によりユーザに指示することを特徴とする請求項１〜８のいずれかに記載の動作指示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの動作を検出してユーザが次に行うべき動作を指示する動作指示装置に関するものである。
【背景技術】
【０００２】
高次脳機能障害や痴呆症を持つ被介護者のコミュニケーションを活性化し、介護者である家族を支援するためのインターフェースが研究されており、例えば、非特許文献１には、ネットワークを利用した情報セラピーインターフェースが開示されている。このような情報セラピーインターフェースは、ユーザである被介護者の状態及び意図に応じた情報提供を行い、ネットワークを介した被介護者と介護者とのコミュニケーションの場を提供することにより、介護者の負担を軽減するシステムである。
【０００３】
上記のようなシステムでは、室内で自由に行動する被介護者の行動パターンを抽出して被介護者の状態及び意図を推定する必要があり、人の動き、特に姿勢を高精度に検出する必要がある。人の姿勢を検出する方法として、人を含む画像を撮影して画像処理により人の姿勢を検出する受動的な観測方法がある。この受動的な観測方法では、非装着及び非接触の検出方法である画像処理を用いることができるため、被介護者の負担を軽減することができる。
【非特許文献１】鉄谷信二他、「ネットワークを利用した情報セラピーインターフェース」、信学技報、２００３年、Ｎｏ．１０３−７４７、ｐ．３１−ｐ．３６
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような受動的な観測方法では、被介護者の服装、室内の照明条件等の環境条件の変化、及び人同士のオクルージョン等のシーンに依存した要因により、検出処理が不安定となって人の姿勢を正確に推定することができない場合があり、結果として被介護者の動作を正確に推定することができず、動作を支援するための的確な指示を与えることができない。また、被介護者を特定可能な画像を用いて被介護者の姿勢を検出する場合、被介護者のプライバシーを確保することができない。
【０００５】
一方、被介護者の身体にセンサ又はマーカーを装着する能動的な観測方法では、高精度な姿勢の検出が可能となるが、このようなものを装着して日常生活を送ることは、被介護者の負担が過大となる。
【０００６】
本発明の目的は、ユーザのプライバシーを確保しながら、ユーザの負担を軽減することができるとともに、ユーザに的確な指示を与えることができる動作指示装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明に係る動作指示装置は、ユーザの３次元形状をユーザに対して非接触で検出する検出手段と、前記検出手段により検出されたユーザの３次元形状を基にユーザの動作を推定する推定手段と、前記推定手段により推定されたユーザの動作を基にユーザが次に行うべき動作に関する指示をユーザに提示する提示手段とを備えるものである。
【０００８】
本発明に係る動作指示装置においては、ユーザの３次元形状がユーザに対して非接触で検出され、検出されたユーザの３次元形状を基にユーザの動作が推定され、推定されたユーザの動作を基にユーザが次に行うべき動作に関する指示がユーザに提示されるので、ユーザを特定可能な画像等を用いことなく、また、ユーザに対して観測機器を非装着及び非接触の状態でユーザの動作を推定して当該動作に適した指示を行うことができ、ユーザのプライバシーを確保しながら、ユーザの負担を軽減することができるとともに、ユーザに的確な指示を与えることができる。
【０００９】
前記検出手段は、ユーザに対して複数のスポット光を所定パターンで投影する投影手段と、前記投影手段によりユーザの表面に投影された複数の光点を撮影する撮影手段と、前記ユーザの３次元形状として、前記撮影手段により撮影された複数の光点の位置を基にユーザの表面の３次元位置分布を検出する位置検出手段とを含むことが好ましい。
【００１０】
この場合、ユーザに対して複数のスポット光が所定パターンで投影され、ユーザの表面に投影された複数の光点が撮影され、撮影された複数の光点の位置を基にユーザの表面の３次元位置分布が検出されるので、ユーザに対して観測機器を非装着及び非接触の状態で、ユーザの表面の３次元位置分布を高精度に検出することができる。また、複数のスポット光を照射して各光点の位置を能動的に観測しているので、シーンに依存した要因に過度に影響されることなく、ユーザの動作を安定的に推定することができる。
【００１１】
前記推定手段は、ユーザの姿勢毎にユーザの表面の基準３次元位置分布を予め記憶している分布記憶手段と、前記位置検出手段により検出された３次元位置分布と前記分布記憶手段に記憶されている基準３次元位置分布とを比較してユーザの現在の姿勢を推定する姿勢推定手段と、ユーザの動作毎に当該動作を構成するユーザの姿勢を表す姿勢情報を予め記憶している動作記憶手段と、前記姿勢推定手段により推定されたユーザの姿勢と前記動作記憶手段に記憶されている姿勢情報とを比較してユーザの現在の動作を推定する動作推定手段とを含むことが好ましい。
【００１２】
この場合、ユーザの姿勢毎に予め記憶されている基準３次元位置分布と比較してユーザの現在の姿勢を推定し、ユーザの動作毎に予め記憶されている姿勢情報と比較してユーザの現在の動作を推定しているので、ユーザの動作を高精度に推定することができる。
【００１３】
前記分布記憶手段は、さらに、ユーザが使用する器具毎に当該器具の使用時の基準３次元位置分布を予め記憶し、前記姿勢推定手段は、さらに、前記位置検出手段により検出された器具の３次元位置分布と前記分布記憶手段に記憶されている器具の基準３次元位置分布とを比較して器具の使用状態を推定し、前記動作記憶手段は、さらに、ユーザの動作毎に当該動作と関連する器具の使用状態を表す使用状態情報を予め記憶し、前記動作推定手段は、前記姿勢推定手段により推定されたユーザの姿勢及び器具の使用状態と前記動作記憶手段に記憶されている姿勢情報及び使用状態情報とを比較してユーザの現在の動作を推定することが好ましい。
【００１４】
この場合、ユーザが使用する器具毎に予め記憶されている器具の基準３次元位置分布と比較して器具の使用状態をも推定し、ユーザの動作毎に予め記憶されている姿勢情報及び使用状態情報と比較してユーザの現在の動作を推定しているので、ユーザの動作をより高精度に推定することができる。
【００１５】
前記位置検出手段は、検出した３次元位置分布を基にユーザの観測位置を検出し、前記投影手段は、前記位置検出手段により検出されたユーザの観測位置に応じてスポット光の位置を補正することが好ましい。
【００１６】
この場合、３次元位置分布を基にユーザの観測位置が検出され、検出されたユーザの観測位置に応じてスポット光の位置が補正されるので、３次元位置分布を高精度に検出することができ、この３次元位置分布と基準３次元位置分布とを比較してユーザの動作を推定しているので、ユーザが移動しても、ユーザの動作を高精度に推定することができる。
【００１７】
前記撮影手段は、前記投影手段によりユーザの表面に投影された複数の光点を互いに異なる撮影方向から撮影する第１及び第２の撮影手段を含み、前記位置検出手段は、前記第１及び第２の撮影手段により撮影された複数の光点の位置を基にユーザの異なる表面の３次元位置分布を検出し、上記動作指示装置は、前記位置検出手段により検出されたユーザの異なる表面の３次元位置分布を保持する保持手段と、前記位置検出手段により検出されたユーザの異なる表面の３次元位置分布と前記保持手段に保持されている所定時間前のユーザの異なる表面の３次元位置分布とを比較してユーザの表面に変化が生じた部位を検出する部位検出手段と、ユーザが装着する衣服毎に当該衣服の着脱によりユーザの表面に変化が生じる部位を予め記憶している衣服記憶手段と、前記部位検出手段により検出された部位と前記衣服記憶手段に記憶されている部位とを比較して変化が生じた衣服の種類を識別する識別手段とをさらに備え、前記動作推定手段は、前記識別手段により識別された衣服の種類をも考慮してユーザの着替え動作を推定することが好ましい。
【００１８】
この場合、第１及び第２の撮影手段により撮影された複数の光点の位置を基にユーザの異なる表面の３次元位置分布が検出され、検出されたユーザの異なる表面の３次元位置分布と所定時間前のユーザの異なる表面の３次元位置分布とを比較して変化が生じた部位が検出され、検出された部位とユーザが装着する衣服毎に予め記録されている当該衣服の着脱により変化が生じる部位とを比較して変化が生じた衣服の種類を識別し、識別された衣服の種類をも考慮してユーザの着替え動作を推定しているので、ユーザの着替え動作を衣服の種類を含めて高精度に推定することができる。
【００１９】
前記投影手段は、複数のスポット光を撮影画像上で互いに干渉しないスポット光群に分割する分割手段と、前記分割手段により分割されたスポット光群毎にスポット光をユーザに対して投影する分割投影手段とを含み、前記撮影手段は、前記分割投影手段によりスポット光群毎にユーザの表面に投影された複数の光点を撮影し、前記位置検出手段は、前記撮影手段によりスポット光群毎に撮影された光点の位置を基にユーザの表面の３次元位置分布を検出することが好ましい。
【００２０】
この場合、複数のスポット光が撮影画像上で互いに干渉しないスポット光群に分割され、分割されたスポット光群毎にスポット光がユーザに対して投影され、スポット光群毎にユーザの表面に投影された複数の光点が撮影され、スポット光群毎に撮影された光点の位置を基にユーザの表面の３次元位置分布を検出しているので、ユーザの表面の３次元位置分布を高速かつ効率的に検出することができる。
【００２１】
前記投影手段は、赤外光を用いてユーザに対して複数のスポット光を所定パターンで投影し、前記撮影手段は、前記投影手段によりユーザの表面に投影された複数の赤外光点を撮影することが好ましい。
【００２２】
この場合、ユーザに見えない赤外光を用いてユーザの表面の３次元位置分布を検出しているので、照明条件等の環境変化に対してロバストな検出を行うことができるとともに、ユーザのプライバシーを確保することができる。
【発明の効果】
【００２３】
本発明によれば、ユーザを特定可能な画像等を用いことなく、また、ユーザに対して観測機器を非装着及び非接触の状態でユーザの動作を推定して当該動作に適した指示を行うことができ、ユーザのプライバシーを確保しながら、ユーザの負担を軽減することができるとともに、ユーザに的確な指示を与えることができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の一実施の形態による動作指示装置について図面を参照しながら説明する。図１は、本発明の一実施の形態による動作指示装置の構成を示すブロック図である。
【００２５】
図１に示す動作指示装置は、プロジェクタ１１、投影パターン分割部１２、投影パターン生成部１３、２台のビデオカメラ２１ａ，２１ｂ、３次元位置検出部２２、３次元位置復元部２３、姿勢推定部２４、分布データベース２５、前回位置保持部２６、変化部位検出部２７、服装変化識別部２８、服装変化部位データベース２９、動作推定部３０、動作データベース３１、音声出力及び映像表示部３２及び動作指示情報データベース３３を備える。
【００２６】
プロジェクタ１１は、例えば、ＤＬＰ（デジタル・ライト・プロセッシング）プロジェクタ（解像度８００×６００画素）から構成され、そのレンズユニットに赤外線フィルタが取り付けられ、赤外光を用いてユーザ（例えば、被介護者）及びユーザが使用する器具（例えば、便器）に対して複数のスポット赤外光を所定パターンで投影する。ビデオカメラ２１ａ，２１ｂは、例えば、ＣＣＤカメラから構成され、そのレンズユニットに赤外線フィルタが取り付けられ、ユーザの表面及びユーザが使用する器具の表面に投影された複数の赤外光点を撮影する。
【００２７】
図２は、図１に示すプロジェクタ１１とビデオカメラ２１ａ，２１ｂとの位置関係を説明するための模式図である。図２に示すように、部屋の上方、例えば、天井の真中又は一方側に設置されたプロジェクタ１１は、ユーザ及びユーザが使用する器具に対して複数のスポット赤外光を所定パターンで投影し、部屋の上方、例えば、天井の一方側に設置されたビデオカメラ２１ａは、ユーザの表面（具体的には、身体又は衣服の表面）及びユーザが使用する器具の表面に投影された複数の赤外光点を撮影する。また、ビデオカメラ２１ｂは、ビデオカメラ２１ａの反対側に取り付けられ、ユーザ及びユーザが使用する器具の表面に投影された複数の赤外光点をビデオカメラ２１ａの撮影方向と異なる撮影方向から撮影する。このようにして、ビデオカメラ２１ａ，２１ｂによりユーザ及びユーザが使用する器具の表面（前面）及び裏面（背面）に投影された複数の赤外光点を撮影することができる。
【００２８】
図３及び図４は、図１に示すプロジェクタ１１及びビデオカメラ２１ａの設置例を示す図である。なお、図３及び図４では、簡略化のためにビデオカメラ２１ａのみを図示している。図３に示す例では、トイレにプロジェクタ１１及びビデオカメラ２１ａが設置され、この場合、ユーザのトイレ使用時の動作を観測してトイレの使用動作に関する指示をユーザに教示することができる。また、図４に示す例では、洋服ダンスが配置された部屋にプロジェクタ１１及びビデオカメラ２１ａが設置され、この場合、ユーザの着替え動作を観測して着替え動作に関する指示をユーザに教示することができる。
【００２９】
なお、本実施の形態では、一つの部屋に１台のプロジェクタ１１及び２台のビデオカメラ２１ａ，２１ｂが設置されている例について説明するが、プロジェクタ及びビデオカメラの台数は、この例に特に限定されず、種々の変更が可能である。例えば、廊下、寝室、リビングルーム、キッチン、洗面室及びバスルーム等の部屋毎にユーザの動作の推定及び服装変化の識別を行う場合は、部屋毎に少なくとも１台のプロジェクタ及び少なくとも１台のビデオカメラが設置され、また、１台のビデオカメラのみを用いてユーザの動作のみを推定してもよい。さらに、より広範囲の観測を要する場合には複数のプロジェクタ及び複数のビデオカメラが設置されてもよい。特に、服装変化の検出を行う場合にはユーザの全周の３次元位置を得るため複数のプロジェクタ及びビデオカメラを組み合わせることが望ましい。
【００３０】
投影パターン生成部１３は、ユーザの３次元位置分布（３次元形状）を計測するために、複数のスポット赤外光からなる全体赤外線スポットパターン、例えば、マトリックス状にスポット赤外光が配置された赤外線スポットパターンを生成する。投影パターン分割部１２は、複数のスポット赤外光を撮影画像上で互いに干渉しないスポット赤外光群に分割する。具体的には、投影パターン分割部１２は、ビデオカメラ２１ａ，２１ｂによる観察時に各部分赤外線スポットパターン内でスポット赤外光を独立に観察できるように、各部分赤外線スポットパターン内でのスポット赤外光の位置関係を計算して全体赤外線スポットパターンを複数の部分赤外線スポットパターンに分割する。
【００３１】
投影パターン分割部１２は、分割された部分赤外線スポットパターンでスポット赤外光を投影するようにプロジェクタ１１を制御するとともに、現在の部分赤外線スポットパターンを３次元位置検出部２２に通知する。プロジェクタ１１は、分割された部分赤外線スポットパターンで複数のスポット赤外光をユーザに投影する。したがって、複数のスポット赤外光間の混同を避けることができ、スポット赤外光を検出する処理を簡略化及び高速化することができる。
【００３２】
３次元位置検出部２２は、現在の部分赤外線スポットパターンを参照してビデオカメラ２１ａ，２１ｂにより撮影された２次元画像上のスポット赤外光の位置からユーザ及び器具の表面の３次元位置分布を検出する。３次元位置復元部２３は、部分赤外線スポットパターン毎に検出されたユーザ及び器具の表面の３次元位置分布を纏めて全体赤外線スポットパターンに対するユーザ及び器具の表面の３次元位置分布を分離してそれぞれ復元する。また、３次元位置復元部２３は、復元したユーザの表面の３次元位置分布からユーザの観測位置を検出して投影パターン生成部１３へ出力するともに、ユーザの観測位置を検出することによりユーザを追跡する。
【００３３】
投影パターン生成部１３は、検出された観測位置に応じて全体赤外線スポットパターンの投影位置を補正し、投影パターン分割部１２は、補正された全体赤外線スポットパターンを複数の部分赤外線スポットパターンに分割し、プロジェクタ１１は、補正された部分赤外線スポットパターンで複数のスポット赤外光をユーザ及び器具に投影する。このとき、３次元位置検出部２２は、補正後の部分赤外線スポットパターンによるスポット赤外光の位置からユーザ及び器具の表面の３次元位置分布を検出し、３次元位置復元部２３は、補正後の部分赤外線スポットパターン毎に検出されたユーザ及び器具の表面の３次元位置分布を纏めて補正後の全体赤外線スポットパターンに対するユーザ及び器具の表面の３次元位置分布を分離して復元し、姿勢推定部２４へ出力する。
【００３４】
分布データベース２５には、人間の典型姿勢毎に人間の表面の基準３次元位置分布が予め記憶され、例えば、人間が直立して前方を向いている姿勢、人間が直立して左方を向いている姿勢、人間が直立して右方を向いている姿勢、人間が着席して前方を向いている姿勢、人間が着席して左方を向いている姿勢、人間が着席して右方を向いている姿勢、人間が着替えをしている姿勢、人間が手を差し出している姿勢等を表す基準３次元位置分布が記憶されている。
【００３５】
また、分布データベース２５には、ユーザが使用する器具の典型使用状態毎に器具の表面の基準３次元位置分布が予め記憶されている。器具としては、可動部分を有する電気製品、家具、生活用品等が該当し、例えば、便器、洋服ダンス等が挙げられ、便器の蓋の閉状態及び開状態、洋服ダンスの扉の閉状態及び開状態等を表す基準３次元位置分布が記憶されている。なお、分布データベース２５に記憶されるユーザ及び器具の基準３次元位置分布は、上記の例に特に限定されず、他の姿勢及び使用状態を表す基準３次元位置分布を記憶するようにしてもよい。
【００３６】
姿勢推定部２４は、復元されたユーザ及び器具の表面の３次元位置分布と分布データベース２５に記憶されているユーザ及び器具の基準３次元位置分布とを比較してユーザの現在の姿勢及び器具の使用状態を推定し、推定結果を動作推定部３０へ出力する。なお、この姿勢推定処理は、２台のビデオカメラ２１ａ，２１ｂから得られた各画像を用いて実行してもよいし、ビデオカメラ２１ａ，２１ｂ毎又は一方のビデオカメラのみを用いて実行してもよい。
【００３７】
一方、ユーザの服装変化の識別を行う場合、３次元位置検出部２２は、現在の部分赤外線スポットパターンを参照してビデオカメラ２１ａ，２１ｂにより撮影された２次元画像上のスポット赤外光の位置から各撮影方向のユーザの表面（異なる表面）の３次元位置分布を検出する。３次元位置復元部２３は、部分赤外線スポットパターン毎に検出された各撮影方向のユーザの表面の３次元位置分布を纏めて全体赤外線スポットパターンに対する各撮影方向のユーザの表面の３次元位置分布を復元し、前回位置保持部２６及び変化部位検出部２７へ出力する。
【００３８】
前回位置保持部２６は、各撮影方向のユーザの表面の３次元位置分布を保持する。変化部位検出部２７は、所定時間前の各撮影方向のユーザの表面の３次元位置分布を前回位置保持部２６から読み出し、３次元位置復元部２３から出力される各撮影方向のユーザの表面の３次元位置分布と比較してユーザの服装の変化が生じた部位を検出し、この部位の３次元位置の増減方向とともに服装変化識別部２８へ出力する。
【００３９】
服装変化部位データベース２９には、人間の典型的な衣服毎に当該衣服の着脱により変化が生じる部位を表す部位情報が予め記憶されている。服装変化識別部２８は、検出された部位と服装変化部位データベース２９に記憶されている部位とを比較して変化が生じた衣服の種類を識別するとともに、３次元位置の増減方向を基準にして、増加している場合は識別した衣服を着ていると判断し、減少している場合は識別した衣服を脱いでいると判断し、識別結果及び判断結果を動作推定部３０へ出力する。
【００４０】
動作データベース３１には、各部屋においてユーザが行い得る動作毎に当該動作を構成するユーザの姿勢を表す姿勢情報及び／又は器具の使用状態を表す使用状態情報、必要に応じて衣服の種類を表す衣服情報が予め記憶されている。また、動作データベース３１には、次にユーザが行うべき動作に関する指示が必要な動作に対して動作指示フラグが動作毎に予め記憶されている。
【００４１】
例えば、トイレにビデオカメラ２１ａ，２１ｂ等が設置されている場合、ユーザが便器の前に立つ動作に対して人間が直立して前方を向いている姿勢及び便器の蓋の閉状態が対応付けられ、ユーザが便器の蓋を開ける動作に対して便器の蓋の開状態が対応付けられ、ユーザが用便を終了して立ち上る動作に対して人間が着席して前方を向いている姿勢及び人間が直立して前方を向いている姿勢が対応付けられ、それぞれトイレにおけるトイレ動作情報として動作データベース３１に記憶されている。
【００４２】
また、洋服ダンスが配置された部屋にビデオカメラ２１ａ，２１ｂ等が設置されている場合、ユーザが洋服ダンスの前に立つ動作に対して人間が直立して前方を向いている姿勢及び洋服ダンスの扉の閉状態が対応付けられ、ユーザが洋服ダンスを開ける動作に対して洋服ダンスの扉の開状態が対応付けられ、ユーザが上着を着る動作に対して人間が着替えをしている姿勢及び上着が対応付けられ、ユーザがズボン（又はスカート）を穿いている動作に対して人間が着替えをしている姿勢及びズボン（又はスカート）が対応付けられ、それぞれ洋服ダンスの配置された部屋における着替え動作情報として動作データベース３１に記憶されている。なお、動作データベース３１に記憶される姿勢情報、使用状態情報及び衣服情報は、上記の例に特に限定されず、他の姿勢、使用状態及び衣服を表す情報を記憶するようにしてもよい。
【００４３】
動作推定部３０は、推定されたユーザの姿勢、器具の使用状態及び衣服の種類と動作データベース３１に記憶されている姿勢情報、使用状態情報及び衣服情報とを比較してユーザの現在の動作を推定し、推定した動作に対して動作指示フラグが付加されているか否かを判断することにより、次にユーザが行うべき動作に対して動作指示が必要であるか否かを判断する。動作推定部３０は、動作指示が必要であると判断した場合、指示が必要な動作を特定して当該動作に対応付けられている動作指示情報をユーザに提示するように音声出力及び映像表示部３２に指示する。
【００４４】
動作指示情報データベース３３には、指示が必要な動作毎に動作指示情報が予め記憶されている。音声出力及び映像表示部３２は、スピーカ、表示装置及びこれらの制御回路から構成され、動作推定部３０により特定された動作に対応付けられている動作指示情報を動作指示情報データベース３３から読み出し、読み出した動作指示情報を音声により出力するとともに、映像（文字情報）により表示する。
【００４５】
例えば、トイレにビデオカメラ２１ａ，２１ｂ等が設置されている場合、ユーザがトイレに入り、便器の前に立つと、ユーザが便器の前に立つ動作に対応付けられている動作指示情報である「蓋を開けて下さい。」との音声指示及び映像表示が行われ、ユーザが便器の蓋を開けると、ユーザが便器の蓋を開ける動作に対応付けられている動作指示情報である「座って下さい。」との音声指示及び映像表示が行われ、ユーザが用便を終了して立ち上がると、ユーザが用便を終了して立ち上る動作に対応付けられている動作指示情報である「水を流して下さい。」との音声指示及び映像表示が行われる。
【００４６】
また、洋服ダンスが配置された部屋にビデオカメラ２１ａ，２１ｂ等が設置されている場合、ユーザが洋服ダンスが配置された部屋に入り、洋服ダンスの前に立つと、ユーザが洋服ダンスの前に立つ動作に対応付けられている動作指示情報である「洋服ダンスを開けて下さい。」との音声指示及び映像表示が行われ、ユーザが洋服ダンスを開けると、ユーザが洋服ダンスを開ける動作に対応付けられている動作指示情報である「上着を着て下さい。」との音声指示及び映像表示が行われ、ユーザが上着を着ると、ユーザが上着を着る動作に対応付けられている動作指示情報である「ズボン（又はスカート）を穿いて下さい。」との音声指示及び映像表示が行われ、ユーザがズボン（又はスカート）を穿くと、ユーザがズボン（又はスカート）を穿いている動作に対応付けられている動作指示情報である「洋服ダンスを閉めて下さい。」との音声指示及び映像表示が行われる。
【００４７】
なお、動作指示情報の提示方法は、上記の例に特に限定されず、音声及び映像の一方のみを用いて提示するようにしてもよい。また、動作指示情報も、上記の例に特に限定されず、次に行うべき動作に関する他の情報を提示するようにしてもよい。
【００４８】
本実施の形態では、プロジェクタ１１、投影パターン分割部１２、投影パターン生成部１３、ビデオカメラ２１ａ，２１ｂ、３次元位置検出部２２及び３次元位置復元部２３が検出手段の一例に相当し、姿勢推定部２４、分布データベース２５、動作推定部３０、動作データベース３１が推定手段の一例に相当し、音声出力及び映像表示部３２及び動作指示情報データベース３３が提示手段の一例に相当する。
【００４９】
また、プロジェクタ１１、投影パターン分割部１２及び投影パターン生成部１３が投影手段の一例に相当し、ビデオカメラ２１ａ，２１ｂが撮影手段並びに第１及び第２の撮影手段の一例に相当し、３次元位置検出部２２及び３次元位置復元部２３が位置検出手段の一例に相当する。
【００５０】
また、分布データベース２５が分布記憶手段の一例に相当し、姿勢推定部２４が姿勢推定手段の一例に相当し、動作データベース３１が動作記憶手段の一例に相当し、動作推定部３０が動作推定手段の一例に相当する。
【００５１】
また、前回位置保持部２６が保持手段の一例に相当し、変化部位検出部２７が部位検出手段の一例に相当し、服装変化部位データベース２９が衣服記憶手段の一例に相当し、服装変化識別部２８が識別手段の一例に相当し、投影パターン分割部１２及び投影パターン生成部１３が分割手段の一例に相当し、プロジェクタ１１が分割投影手段の一例に相当する。
【００５２】
次に、上記のように構成された動作指示装置の各動作について詳細に説明する。まず、赤外線スポットパターンの分割処理について説明する。人間の動作を正確に推定するためには、人間の身体の表面に３次元位置の高密度のマップを得る必要があるが、パターン投影を用いた高密度３次元位置検出を行う場合、複数スポットパターンのカメラ画像上での観測位置間の重なりにより３次元再構成処理において混同が生じる。このため、本実施の形態では、全体赤外線スポットパターンを部分赤外線スポットパターンに分割する赤外線スポットパターンの分割処理により複数スポットパターンのカメラ画像上での観測位置間の重なりを防止している。この赤外線スポットパターンの分割処理では、検出処理を簡略化するために交差判断に基づいて、全体赤外線スポットパターンを複数の部分赤外線スポットパターンに分割する。
【００５３】
まず、一定間隔でプロジェクタ画像面上の投影スポットを選択する。スポット間隔は用途に応じて適宜決定される。次に、カメラ画像上の各点に対する観察可能領域（例えば、エピポーラ線上の有限部分）を計算する。このとき、プロジェクタ平面上の点（Ｘｐ，Ｙｐ）、カメラ平面上の２次元観察点（Ｘｃ，Ｙｃ）は、下記の式を満たすことが知られている。
【００５４】
【数１】
2007128307.tif 000003
【００５５】
ここで、Ｘｐ，Ｙｐは、プロジェクタ画像面上の投影点の位置であり、Ｘｃ，Ｙｃは、カメラ座標の観察点を示す。通常、シーン中に投影された対象点の高さは、ある範囲（Ｚ０＜Ｚ＜Ｚｔｏｐ）内にあり、エピポーラ線の一部に観察範囲を制限することができる。ここで、Ｚ＝Ｚ０に対する２次元観察点を（ＳＸ，ＳＹ）、Ｚ＝Ｚｔｏｐに対する２次元観察点を（ＬＸ，ＬＹ）で表すと（例えば、図２の例では、Ｚ０＝０，Ｚｔｏｐ＝２００）、これらの間の投影点に対する観察点は、２点（ＳＸ，ＳＹ）、（ＬＸ，ＬＹ）を連結したセグメント上にある。
【００５６】
次に、各二つのセグメント間の交差を決定する。ここで、二つのセグメント間の始点及び終点をそれぞれ（ＳＸ１，ＳＹ１）−（ＬＸ１，ＬＹ１）、（ＳＸ２，ＳＹ２）−（ＬＸ２，ＬＹ２）とすると、（（ＳＸ１−ＬＸ１）＊（ＳＹ２−ＳＹ１）＋（ＳＹ１−ＬＹ１）＊（ＳＸ１−ＳＸ２））＊（（ＳＸ１−ＬＸ１）＊（ＬＹ２−ＳＹ１）＋（ＳＹ１−ＬＹ１）＊（ＳＸ１−ＬＸ２））＜０且つ（（ＳＸ２−ＬＸ２）＊（ＳＹ１−ＳＹ２）＋（ＳＹ２−ＬＹ２）＊（ＳＸ２−ＳＸ１））＊（（ＳＸ２−ＬＸ２）＊（ＬＹ１−ＳＹ２）＋（ＳＹ２−ＬＹ２）＊（ＳＸ２−ＬＸ１））＜０であれば、二つのセグメントは交差すると判定される。実際には、各画素の面積を考慮した交差判定を行う必要があるが、ここでは説明は割愛する。
【００５７】
Ｎ個のセグメントに対してＮ×Ｎの組合せがあり、その結果は２値（０：交差、1：交差無）からなる下記の行列で表される。
【００５８】
【数２】
2007128307.tif 000004
【００５９】
Ｍ個のビデオカメラがあるとき、上記の行列もＭ個となり、下記のように、全ての行列Ｃｉ（１≦ｉ≦Ｍ）の論理積を取ることにより適切な投影を満足する条件を計算することができる。
【００６０】
【数３】
2007128307.tif 000005
【００６１】
次に、投影パターンの効率化について説明する。観測が必要な３次元点（スポット赤外光）の数をＬ個とすると、投影点ｉ，ｊの（１＜ｉ，ｊ＜Ｌ）の組合せは、Ｌ×Ｌとなる。ここで、投影点ｉ，ｊを同時に投影しても互いに干渉しない場合はＣｉ，ｊ＝１、投影点ｉ，ｊを同時に投影すると干渉する場合はＣｉ，ｊ＝０とし、Ｃｉ，ｊ（１＜ｉ，ｊ＜Ｌ）からなる行列Ｘを準備する。なお、行列Ｘの対角要素は全て１となる。
【００６２】
投影パターン生成部１３は、予め記憶している行列Ｘを全体赤外線スポットパターンとして投影パターン分割部１２へ出力する。投影パターン分割部１２は、行列Ｘに対して下記式（６）により表される手順Ｐを適用して必要最低限の部分赤外線スポットパターンの数及びそのときの部分赤外線スポットパターンを決定する。
【００６３】
【数４】
2007128307.tif 000006
【００６４】
具体的には、任意の行列Ａ（Ｇ行Ｈ列、行列の各要素Ａ（ｇ，ｈ））に対してＧ×（Ｇ−１）の全組合せ中で、Ａｉ∪Ａｊ＝Ａｉとなるｊ行目（複数）を行列Ａから取り除き、行列Ｂ（Ｇ’行Ｈ列、行列の各要素Ｂ（ｇ’，ｈ））を作成する。行列Ｂの各列の「１」の合計Ｓを上記式（７）により算出し、Ｓが最小となる列ｌ（ｌ＝ｌ（１），ｌ（２），…，ｌ（ｐ））のそれぞれについてＢｋｌ＝１となるｋ行目（ｋ＝ｋ（１），ｋ（２），…，ｋ（ｑ））についてＢｋｍ＝０を満たすｍ列目のｋ行目を除いた要素からなる行列Ｃを作成する。投影パターン分割部１２は、上記の処理を繰り返し、手順Ｐの回数が最小となる行の組合せＡｋ（ｌ），Ａｋ（２），…を選択して部分赤外線スポットパターンを作成する。
【００６５】
図５は、部分赤外線スポットパターンを作成する手順Ｐの一例を説明するための図であり、図６は、図５の（ａ）に示す行列Ａから図５の（ｂ）に示す行列Ｃを生成する手順Ｐを詳細に説明するための図である。図５の（ａ）に示す行列Ａから、手順Ｐにより行Ａ４が選択されて図５の（ｂ）に示す行列Ｃが生成される。具体的には、図６の（ａ）に示すように、行列Ａ（図５の（ａ）に示す行列Ａ）では、Ａ１∪Ａ５＝Ａ５、Ａ２∪Ａ４＝Ａ４となるため、行Ａ１，Ａ２が消去され、図６の（ｂ）に示すように、行列Ｂは、Ａ３，Ａ４，Ａ５行目の要素から生成される。この行列Ｂの各列（ｈ＝１〜５）の「１」の合計Ｓは、１、１、３、２、２となる。次に、Ｓが最小となる列に着目する。例えば、Ｓが最小となる列の一つである第２列（ｈ＝２）に着目し、第２列の要素が「１」である行列Ｂの行Ｂ２（元の行列の行Ａ４）を選択する。選択された行Ｂ２に注目して、要素が「０」である列を取り出すと、図６の（ｃ）に示す行列が作成される。次に、行Ｂ２を取り除くと、図６の（ｄ）に示す行列Ｃ（図５の（ｂ）に示す行列Ｃ）が生成される。以上の処理により、手順Ｐが１回実行されたこととなる。
【００６６】
再び図５を参照して、図５の（ｂ）に示す行列Ｃから、手順Ｐにより行Ａ５が選択されて図５の（ｃ）に示す行列Ｃが生成される。この場合、手順Ｐの回数は２回となり、ルートはＡ４→Ａ５となる。同様に、図５の（ａ）に示す行列Ａから、手順Ｐにより図５の（ｄ）に示す行列Ｃが生成される（行列Ｂの第１列（ｈ＝１）に着目し、行Ｂ３（元の行列の行Ａ５）を選択）。さらに、図５の（ｄ）に示す行列Ｃから、手順Ｐにより行Ａ４が選択されて図５の（ｅ）に示す行列Ｃが生成される。この場合、手順Ｐの回数は２回となり、ルートはＡ５→Ａ４となる。本例の場合、手順Ｐの最小回数はいずれも２回であるため、ルートＡ４→Ａ５又はルートＡ５→Ａ４を使用して部分赤外線スポットパターンが作成される。
【００６７】
上記の赤外線スポットパターンの分割処理により、複数のスポット赤外光が撮影画像上で互いに干渉しない部分赤外線スポットパターンに分割され、分割された部分赤外線スポットパターンによりスポット赤外光がユーザ及び器具に対して投影されるので、ユーザ及び器具の表面の３次元位置分布の検出処理を簡略化することができるともに、ロバストな３次元測定を行うことができる。
【００６８】
図７は、ユーザの輪郭を検出する際に使用するエッジ検出フィルタの一例を示す図であり、図８は、赤外光点の検出結果の一例を示す図である。ビデオカメラ２１ａ，２１ｂは、スポット赤外光が撮影画像上で互いに干渉しない部分赤外線スポットパターン毎にユーザの表面に投影された複数の赤外光点を順次撮影し、３次元位置検出部２２は、撮影画像上の図７の（ａ）に示す注目画素ＡＰに対して図７の（ｂ）に示す３×３のシンプルなエッジフィルタを適用して赤外光点を検出し、３次元位置復元部２３は、ユーザの表面の３次元位置分布を全体的に復元する。この結果、図８に示す赤外光点を検出することができた。
【００６９】
このように、スポット赤外光が撮影画像上で互いに干渉しない部分赤外線スポットパターン毎にユーザ及び器具の表面に投影された複数の赤外光点が順次撮影され、部分赤外線スポットパターン毎に撮影された赤外光点の位置を基にユーザ及び器具の表面の３次元位置分布が順次検出され、最終的に全体的なユーザ及び器具の表面の３次元位置分布を復元することができるので、ユーザ及び器具の表面の３次元位置分布を高速且つ効率的に検出することができる。
【００７０】
次に、検出されたユーザの表面の３次元位置分布の観測位置の補正処理について説明する。常に一定の位置に赤外線スポットパターンを投影すると、ユーザの移動に伴って観測対象となるユーザの３次元位置、すなわち観測位置にずれが生じ、投影される赤外光の空間的な解像度が低いほど、一般にずれが大きくなる。このずれにより事前に取得した特定の形状に関する基準座標値（分布データベース２５に記憶されている姿勢毎のユーザの表面の基準３次元位置分布）との比較や異なる時刻に得られた座標値同士の比較により形状変化に関する評価が困難となり、以下に説明する観測位置の補正処理が必要となる。
【００７１】
本実施の形態では、上記のずれを検出するための解像度の高い部分を有する赤外線スポットパターンを照射して観測を行い、ずれの検出結果に応じて基準３次元位置分布との比較に適した位置に観測位置を補正し、補正した観測位置を中心とする観測領域全体を観測するための赤外線スポットパターンを投影している。
【００７２】
図９は、図１に示す動作指示装置の観測時の座標系を説明するための模式図である。図９に示すように、観測装置であるビデオカメラ２１ａ（又は２１ｂ）の直下に位置する床面上の位置を世界座標系の原点とし、原点とユーザの前回観測位置を結ぶ水平線をＹ軸、原点から鉛直上向きをＺ軸、Ｙ軸及びＺ軸とともに右手系をなす直交軸をＸ軸とする。
【００７３】
図１０は、赤外線スポットパターンの一例を示す模式図であり、図中の黒丸は赤外線スポットパターンを示している。図１０の（ａ）に示すように、赤外線スポットパターンは、人間の外形の特徴的な部分、好ましくは、肩付近を基準とする水平方向領域ＡＲ及び中央上方の垂直方向領域ＢＲに空間解像度の高い部分を有する。例えば、高解像度部分の空間解像度が２ｃｍ、その他の部分の空間解像度が１０ｃｍの赤外線スポットパターンを用いることができる。このとき、ビデオカメラ２１ａ（又は２１ｂ）により撮影された画像から得られるのは、空間中の各観測点の３次元位置であり、領域ＡＲ，ＢＲのそれぞれにおける奥行きＹの変化点（ｘ１，ｘ２，ｚ１）（人体の両肩点及び頭部の頂上点）を基準に人物領域と背景領域との境界位置を定めることができる。
【００７４】
ここで、図１０の（ｂ）に示すように、３次元位置復元部２３は、復元した３次元位置分布からｘ１，ｘ２の中点（（ｘ１＋ｘ２）／２）を人体の中心線、ｚ１を人体の頭部頂上点の高さとして決定し、観測位置となる人体頭部位置（（ｘ１＋ｘ２）／２，ｚ１）を基準として観測領域全体を観測するための全体赤外線スポットパターンを生成するように投影パターン生成部１３を制御し、プロジェクタ１１から観測位置に応じた部分赤外線スポットパターンが投影される。
【００７５】
このように、ユーザの表面の３次元位置分布からユーザの３次元位置が検出され、検出されたユーザの３次元位置に応じて補正した観測位置を中心とする観測領域全体を観測するための赤外線スポットパターンを投影するので、ユーザが移動しても、３次元位置分布を高精度に検出することができる。この３次元位置分布と基準３次元位置分布とを比較してユーザの姿勢を推定しているので、常にユーザの姿勢を高精度に推定することができる。
【００７６】
なお、人体は、縦長の形状を有しているため、一時的に人体頭部位置を観測できなくなり、ｚ１の検出が不安定になる場合があるが、肩付近の水平方向領域ＡＲが人体内に留まる限り、人体の中心線を検出することができ、この中心線が得られれば、中央上方の垂直方向領域ＢＲを上下に拡大することで再びｚ１を検出することができる。例えば、図９に示すように、次回の観測における肩付近の水平方向領域ＡＲの高さをｚ１−α（ここで、α＞０、例えばα＝３０ｃｍ）とすることにより、再びｚ１を検出することができる。
【００７７】
次に、上記のように補正された赤外線スポットパターンを用いたユーザの動き追跡処理について説明する。動き追跡処理は、ユーザを含む背景を計測し、ユーザの最初の観測位置を取得する前処理と、取得したユーザの３次元位置に適するように補正した観測位置に赤外線スポットパターンを投影し、投影された赤外線スポットパターンを用いてユーザの表面の３次元位置分布を計測し、前回検出されたユーザの位置と比較して次のユーザの位置を決定し、これらの処理を繰り返す追跡処理とから構成される。
【００７８】
図１１は、図１に示す動作指示装置による前処理を説明するための模式図である。前処理として、図１１に白丸で示す赤外線スポットパターンＩＰがユーザに対して投影され、３次元位置復元部２３は、復元した３次元位置分布すなわちユーザを含む背景の３次元形状を観察し、観測領域における各点をランダムに連続して観測して深さが変化する領域においてユーザの観測位置を集中的に検出する。ここでの観測は、注目ブロックＡＢのサイズとして、例えば、２５×２５画素のブロックを用いることができる。ユーザの観測位置を検出した後、３次元位置復元部２３は、ユーザの３次元位置分布を繰り返し計測し、観測領域の中心近傍のブロックにおいてユーザを観察し、この位置の近傍領域（水平方向に配置されたブロック）を集中的にサーチする。
【００７９】
図１２は、図１に示す動作指示装置による追跡処理を説明するための模式図である。３次元位置復元部２３は、前処理により検出されたユーザの観測位置を投影パターン生成部１３へ出力し、投影パターン生成部１３は、検出された観測位置に応じて赤外線スポットパターンの投影位置を補正し、プロジェクタ１１から新たな赤外線スポットパターンで複数のスポット赤外光がユーザに照射される。
【００８０】
このとき、３次元位置復元部２３は、この新たな赤外線スポットパターンを用いてユーザの表面の３次元分布を計測し、サーチエリアＳＡにおける各ブロックの３次元位置と前回検出されたユーザの観測位置ＰＰとを比較し、前回検出されたユーザの観測位置ＰＰに最も近い点を次のユーザの観測位置ＮＰとして選択する。上記の追跡処理を繰り返すことにより、ユーザを正確に追跡することができる。
【００８１】
次に、上記の赤外線スポットパターンを用いた動作指示処理について説明する。図１３は、図１に示す動作指示装置による動作指示処理を説明するためのフローチャートである。
【００８２】
まず、ステップＳ１１において、ユーザ及び器具の表面に上記の赤外線スポットパターン（３次元点列パターン）が照射され、３次元位置検出部２２は、ビデオカメラ２１ａ，２１ｂにより撮影された２次元画像上のスポット赤外光の位置からユーザ及び器具の表面の３次元位置分布を検出し、３次元位置復元部２３は、部分赤外線スポットパターン毎に検出されたユーザ及び器具の表面の３次元位置分布を纏めて全体赤外線スポットパターンに対するユーザ及び器具の表面の３次元位置分布を分離して復元し、ユーザ及び器具の表面の３次元位置分布を姿勢推定部２４へ出力し、ユーザの表面の３次元位置分布を前回位置保持部２６及び変化部位検出部２７へ出力する。
【００８３】
次に、ステップＳ１２において、姿勢推定部２４は、３次元位置復元部２３から出力されるユーザの表面の３次元位置分布と分布データベース２５に記憶されている各姿勢の基準３次元位置分布との距離を算出し、距離差が最も小さい姿勢を現在のユーザの姿勢として推定する。同様に、姿勢推定部２４は、３次元位置復元部２３から出力される器具の表面の３次元位置分布と分布データベース２５に記憶されている器具の各使用状態の基準３次元位置分布との距離を算出し、距離差が最も小さい使用状態を現在の器具の使用状態として推定する。
【００８４】
ここで、ＰｉをモデルＰ（基準３次元位置分布）のｉ番目の３次元位置、Ｑｊを現在の３次元パターン（３次元位置復元部２３から出力される３次元位置分布）のｊ番目の点とすると、３次元位置Ｐ，Ｑ間の距離は、下記式（１０）により表され、本実施の形態では、この式を用いて上記の距離を算出している。
【００８５】
【数５】
2007128307.tif 000007
【００８６】
次に、ステップＳ１３において、服装変化識別部２８等は、下記のようにしてユーザの服装変化を検出し、衣服の種類を動作推定部３０へ出力する。なお、着替え動作を行う可能性のない場所における動作推定処理では、ステップＳ１３を省略してもよい。
【００８７】
服装変化の識別を行う場合、例えば、ビデオカメラ２１ａは、ユーザを一方面（例えば、前面）から撮影し、ビデオカメラ２１ｂは、ユーザを他方面（例えば、背面）から撮影する。３次元位置検出部２２及び３次元位置復元部２３は、各撮影方向のユーザの表面の３次元位置分布を検出して復元し、前回位置保持部２６及び変化部位検出部２７へ出力する。前回位置保持部２６は、各撮影方向のユーザの表面の３次元位置分布を保持し、変化部位検出部２７は、所定時間前の各撮影方向のユーザの表面の３次元位置分布を前回位置保持部２６から読み出し、３次元位置復元部２３から出力される現在の各撮影方向のユーザの表面の３次元位置分布と比較してユーザの服装の変化が生じた部位及びその増減方向を服装変化識別部２８へ出力する。
【００８８】
図１４は、図１に示す服装変化部位データベース２９に記憶されている部位の一例を示す図である。図１４の（ａ）に示す第１部位ＪＡは、人体の上半身を覆う部位であり、上着を特定するために使用され、（ｂ）に示す第２部位ＰＡは、人体の下半身を覆う部位であり、ズボンを特定するために使用され、（ｃ）に示す第３部位ＳＡは、人体の下半身の上半分を覆う部位であり、スカートを特定するために使用される。このように衣服毎に対応する部位が、当該衣服と対応付けられて服装変化部位データベース２９に予め記憶されている。
【００８９】
服装変化識別部２８は、変化部位検出部２７により検出された部位と服装変化部位データベース２９に記憶されている各部位とを比較し、重なり合う部分が最も多い部位に対応付けられている衣服を変化の生じた衣服として決定する。また、服装変化識別部２８は、変化部位検出部２７により検出された３次元位置の増減方向を基準に、増加している場合は検出された部位が膨張しているため、識別した衣服を着ていると認識し、減少している場合は検出された部位が縮小しているため、識別した衣服を脱いでいると認識する。例えば、物体の表面の法線方向の移動量の外向きを正とし、その増減に応じ、すなわち物体の厚みの増減に関し、衣服の着脱を識別することができる。
【００９０】
このように、本処理では、撮影方向の異なる少なくとも２台のビデオカメラ２１ａ，２１ｂにより撮影された赤外光点の位置を基にユーザの前面及び背面の３次元位置分布が検出され、検出されたユーザの前面及び背面の３次元位置分布と所定時間前の当該部分の３次元位置分布とを比較して変化が生じた部位が検出され、検出された部位とユーザが装着する衣服毎に記録されている当該衣服の着脱により変化が生じる部位とを比較して変化が生じた衣服の種類を識別することができるので、ユーザが上着、ズボン、スカート等の衣服を着たり、脱いだりする着替え動作を高精度に検出することができる。
【００９１】
次に、ステップＳ１４において、動作推定部３０は、推定されたユーザの姿勢、器具の使用状態及び衣服の種類と動作データベース３１に記憶されている姿勢情報、使用状態情報及び衣服情報とを比較してユーザの現在の動作を推定する。
【００９２】
次に、ステップＳ１５において、動作推定部３０は、推定した動作の次にユーザが行うべき動作に対して動作指示が必要であるか否かを判断し、動作指示が必要ないと判断した場合はステップＳ１１以降の処理を繰り返し、動作指示が必要であると判断した場合は処理がステップ１６へ移行される。
【００９３】
動作指示が必要であると判断した場合、動作推定部３０は、指示が必要な動作を特定して当該動作に対応付けられている動作指示情報をユーザに提示するように音声出力及び映像表示部３２に指示し、音声出力及び映像表示部３２は、動作推定部３０により特定された動作に対応付けられている動作指示情報を動作指示情報データベース３３から読み出し、読み出した動作指示情報を音声により再生するとともに、映像により表示し、その後、ステップＳ１１以降の処理を繰り返す。
【００９４】
上記の処理により、本実施の形態では、撮影された赤外光点を用いた画像処理によりユーザの動作を推定しているので、ユーザに対して観測機器を非装着及び非接触の状態でユーザの動作を推定することができ、ユーザの負担を軽減することができる。また、複数のスポット赤外光を照射してその赤外光点を能動的に観測しているので、照明条件等のシーンに依存した要因に影響されることなく、ユーザの動作を安定的に推定することができる。さらに、ユーザの姿勢及び器具の使用状態毎に予め記憶されている基準３次元位置分布と比較してユーザの姿勢及び器具の使用状態を推定し、これらを基にユーザの動作を推定しているので、ユーザの動作を高精度に推定することができる。
【００９５】
次に、図１に示す動作指示装置の検出精度について説明する。図１５は、図１に示す動作指示装置の検出精度の測定結果を示す図である。本測定では、図１に示す動作指示装置を用いて実際の物体の３次元形状を測定し、実際の形状との誤差の平均値（Ａｖｅ．）及び標準偏差（Ｓ．Ｄ．）を測定した。図１５から、図１に示す動作指示装置では、Ｘ方向、Ｙ方向及びＺ方向ともに１０ｃｍ以下の精度で３次元位置を正確に計測できることがわかった。
【００９６】
次に、図１に示す動作指示装置を用いて実際の人間の３次元形状を再構築した。図１６は、図１に示す動作指示装置による３次元形状の再構築例を示す図である。図１６の（ａ）に示す人間の３次元形状を計測し、計測結果から３次元形状の再構築を行った結果、図１６の（ｂ）に示す３次元位置分布を得られ、人間の３次元形状を正確に再構築できることがわかった。
【００９７】
次に、図１に示す動作指示装置を用いて移動する人間を追跡した。図１７は、図１に示す動作指示装置を用いて追跡した人間の軌跡を示す図である。図１７に示す人間の軌跡から、床上の人間の位置Ｘ−Ｙを正確に追跡できることがわかった。
【００９８】
次に、図１に示す動作指示装置を用いて人間の姿勢を推定した。図１８は、図１に示す動作指示装置を用いて人間の８種類の異なる姿勢に対する３次元位置分布を検出した結果を示す図であり、図１９は、図１に示す動作指示装置を用いて人間の８種類の異なる姿勢を推定した結果を示す図である。
【００９９】
図１８の（ａ）は、人間が直立して前方を向いている姿勢ＳＴＦを示し、（ｂ）は、人間が直立して左方を向いている姿勢ＳＴＬを示し、（ｃ）は、人間が直立して右方を向いている姿勢ＳＴＲを示し、（ｄ）は、人間が着席して前方を向いている姿勢ＳＩＦを示し、（ｅ）は、人間が着席して左方を向いている姿勢ＳＩＬを示し、（ｆ）は、人間が着席して右方を向いている姿勢ＳＩＲを示し、（ｇ）は、人間が着替えをしている姿勢ＤＲを示し、（ｈ）は、人間が手を差し出している姿勢ＲＥを示し、それぞれの上段は人間の各姿勢を示す画像例であり、下段が各姿勢に対して検出された３次元位置分布例である。また、図１９に示す結果は、４８サンプルに対して各姿勢を推定した結果であり、各姿勢に対する認識比（％）を示している。図１８及び図１９から、各姿勢をほぼ高精度に推定できることがわかった。
【０１００】
最後に、図１に示す動作指示装置を用いて人間の姿勢を連続的に観測した。図２０は、図１に示す動作指示装置を用いて人間の姿勢を連続的に推定した結果を示す図である。図２０の横軸は時間（フレーム）、縦軸は各フレームで推定された姿勢（実線）及び実際の姿勢（破線）を示している。図２０から、人間が連続的に行動している場合でも、各姿勢を連続的にほぼ高精度に推定できることがわかった。
【０１０１】
このように、本実施の形態では、ユーザである被介護者の動きを追跡し、その動作を認識することができるので、日常生活（着替え、トイレの使用、入浴、洗顔等）におけるユーザの姿勢を推定してユーザの動作を推定し、推定されたユーザの動作に基づいてユーザに的確な指示を与えることができる。
【０１０２】
例えば、脳炎、頭部の傷、くも膜下出血、痴呆、小脳血管障害のような脳障害を受けた人々にはしばしば記憶障害が発生し、この記憶障害又は高度脳障害の人々が通常の生活を送るのは困難であり、これらの人々に対する恒常的なケア及び注意を払うことは家族の重荷となる。このような記憶障害者に対して本動作指示装置を用いることにより、記憶障害者の意図を自動的に検出して日常生活をサポートすることができる。また、本動作指示装置を用いてネットワーク型インタラクション治療を行う場合、介護者とのコミュニケーションが容易となって家族が適切な情報を得ることができるので、徘徊、失禁、癇癪等の行動的問題を家族が経験する前に、家族に快適な情報を提供することができ、家族のストレスを解放して負担を軽減することができる。
【０１０３】
なお、本実施の形態では、ユーザの姿勢とともに、器具の使用状態をも用いてユーザの動作を推定したが、この例に特に限定されず、ユーザの姿勢のみを用いてユーザの動作を推定する等の種々の変更が可能である。また、ユーザの３次元形状として、プロジェクタ１１とビデオカメラ２１ａ，２１ｂ等を用いてユーザの表面の３次元位置分布を検出したが、この例に特に限定されず、他の検出装置を用いてユーザの３次元形状を検出するようにしてもよい。また、プロジェクタ１１とビデオカメラ２１ａ，２１ｂ等を用いて器具の使用状態を推定したが、この例に特に限定されず、センサ等を用いて便器の蓋の開閉を検出する等の種々の変更が可能である。また、投影する光として赤外光を用いたが、この例に特に限定されず、自然光以外の光や他の波長を有する光を用いてもよい。
【図面の簡単な説明】
【０１０４】
【図１】本発明の一実施の形態による動作指示装置の構成を示すブロック図である。
【図２】図１に示すプロジェクタとビデオカメラとの位置関係を説明するための模式図である。
【図３】図１に示すプロジェクタ及びビデオカメラの設置例を示す図である。
【図４】図１に示すプロジェクタ及びビデオカメラの他の設置例を示す図である。
【図５】部分赤外線スポットパターンを作成する手順Ｐの一例を説明するための図である。
【図６】図５の（ａ）に示す行列Ａから図５の（ｂ）に示す行列Ｃを生成する手順Ｐを詳細に説明するための図である。
【図７】ユーザの輪郭を検出する際に使用するエッジ検出フィルタの一例を示す図である。
【図８】赤外光点の検出結果の一例を示す図である。
【図９】図１に示す動作指示装置の観測時の座標系を説明するための模式図である。
【図１０】赤外線スポットパターンの一例を示す模式図である。
【図１１】図１に示す動作指示装置による前処理を説明するための模式図である。
【図１２】図１に示す動作指示装置による追跡処理を説明するための模式図である。
【図１３】図１に示す動作指示装置による動作指示処理を説明するためのフローチャートである。
【図１４】図１に示す服装変化部位データベースに記憶されている部位の一例を示す図である。
【図１５】図１に示す動作指示装置の検出精度の測定結果を示す図である。
【図１６】図１に示す動作指示装置による３次元形状の再構築例を示す図である。
【図１７】図１に示す動作指示装置を用いて追跡した人間の軌跡を示す図である。
【図１８】図１に示す動作指示装置を用いて人間の８種類の異なる姿勢に対する３次元位置分布を検出した結果を示す図である。
【図１９】図１に示す動作指示装置を用いて人間の８種類の異なる姿勢を推定した結果を示す図である。
【図２０】図１に示す動作指示装置を用いて人間の姿勢を連続的に推定した結果を示す図である。
【符号の説明】
【０１０５】
１１  プロジェクタ
１２  投影パターン分割部
１３  投影パターン生成部
２１ａ，２１ｂ  ビデオカメラ
２２  ３次元位置検出部
２３  ３次元位置復元部
２４  姿勢推定部
２５  分布データベース
２６  前回位置保持部
２７  変化部位検出部
２８  服装変化識別部
２９  服装変化部位データベース
３０  動作推定部
３１  動作データベース
３２  音声出力及び映像表示部
３３  動作指示情報データベース
【図１】
2007128307.tif 000008
【図２】
2007128307.tif 000009
【図３】
2007128307.tif 000010
【図４】
2007128307.tif 000011
【図５】
2007128307.tif 000012
【図６】
2007128307.tif 000013
【図７】
2007128307.tif 000014
【図８】
2007128307.tif 000015
【図９】
2007128307.tif 000016
【図１０】
2007128307.tif 000017
【図１１】
2007128307.tif 000018
【図１２】
2007128307.tif 000019
【図１３】
2007128307.tif 000020
【図１４】
2007128307.tif 000021
【図１５】
2007128307.tif 000022
【図１６】
2007128307.tif 000023
【図１７】
2007128307.tif 000024
【図１８】
2007128307.tif 000025
【図１９】
2007128307.tif 000026
【図２０】
2007128307.tif 000027