(57)【要約】【課題】室内の人間の動作を追跡して、その人間の行動・意図を推定することを可能とする。【解決手段】撮像部１１が室内の人間を撮像し、撮像した人間の映像を高速・低解像度処理部１２および低速・高解像度処理部１３に送信し、高速・低解像度処理部１２が、撮像部１１が撮像した人間の映像に基づいて、その人間の室内における２次元、３次元の位置や方向を特定し、低速・高解像度処理部１３が、撮像部１１が撮像した人間の映像に基づいて、知識蓄積部１５に蓄積されたデータを用いて、人間のジェスチャーを特定し、行動・意図推定部１４が、高速・低解像度処理部１２による処理結果と、低速・高解像度処理部１３による処理結果とに基づいて、ベイズ分類を用いて、撮像対象となった人間の行動・意図を推定する。【選択図】図１
2005242759.tif 000002
【特許請求の範囲】
【請求項１】
室内の人間の行動・意図を推定するシステムであって、
前記人間を撮像する撮像手段と、
前記撮像手段が撮像した人間の映像に基づいて、背景差分を用いた動物体の抽出技術を用いて、前記人間の室内における２次元、３次元の位置や方向を特定する高速・低解像度処理手段と、
前記撮像手段が撮像した人間の映像に基づいて、知識蓄積手段に蓄積されたデータを用いて多重解像度解析を行い、前記撮像された人間の姿勢を特定する低速・高解像度処理手段と、
前記高速・低解像度処理手段による処理結果と、前記低速・高解像度処理手段による処理結果とに基づいて、ベイズ分類を用いて前記人間の行動・意図を推定する行動・意図推定手段と、
人体の各部分と人体の各部分を表す複数の画像との対応情報と、人間の姿勢と人間の姿勢を表す複数の画像との対応情報とが蓄積された知識蓄積手段とを備える
ことを特徴とする行動・意図推定システム。
【請求項２】
室内の人間の行動・意図を推定する方法であって、
前記人間を撮像する撮像ステップと、
前記撮像ステップにおいて撮像した人間の映像に基づいて、背景差分を用いた動物体の抽出技術を用いて、前記人間の室内における２次元、３次元の位置や方向を特定する高速・低解像度処理ステップと、
前記撮像ステップにおいて撮像した人間の映像に基づいて、人体の各部分と人体の各部分を表す複数の画像との対応情報と、人間の姿勢と人間の姿勢を表す複数の画像との対応情報とを用いて多重解像度解析を行い、前記撮像された人間の姿勢を特定する低速・高解像度処理ステップと、
前記高速・低解像度処理ステップによる処理結果と、前記低速・高解像度処理ステップによる処理結果とに基づいて、ベイズ分類を用いて前記人間の行動・意図を推定する行動・意図推定ステップとを有する
ことを特徴とする行動・意図推定方法。
【請求項３】
室内の人間の行動・意図を推定する方法をコンピュータに実行させるためのプログラムであって、
前記人間を撮像する撮像処理と、
前記撮像処理において撮像した人間の映像に基づいて、背景差分を用いた動物体の抽出技術を用いて、前記人間の室内における２次元、３次元の位置や方向を特定する高速・低解像度処理と、
前記撮像処理において撮像した人間の映像に基づいて、人体の各部分と人体の各部分を表す複数の画像との対応情報と、人間の姿勢と人間の姿勢を表す複数の画像との対応情報とを用いて多重解像度解析を行い、前記撮像された人間の姿勢を特定する低速・高解像度処理と、
前記高速・低解像度処理による処理結果と、前記低速・高解像度処理による処理結果とに基づいて、ベイズ分類を用いて前記人間の行動・意図を推定する行動・意図推定処理とを、コンピュータに実行させる
ことを特徴とする行動・意図推定プログラム。
【請求項４】
室内の人間の行動・意図を推定する方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記人間を撮像する撮像処理と、
前記撮像処理において撮像した人間の映像に基づいて、背景差分を用いた動物体の抽出技術を用いて、前記人間の室内における２次元、３次元の位置や方向を特定する高速・低解像度処理と、
前記撮像処理において撮像した人間の映像に基づいて、人体の各部分と人体の各部分を表す複数の画像との対応情報と、人間の姿勢と人間の姿勢を表す複数の画像との対応情報とを用いて多重解像度解析を行い、前記撮像された人間の姿勢を特定する低速・高解像度処理と、
前記高速・低解像度処理による処理結果と、前記低速・高解像度処理による処理結果とに基づいて、ベイズ分類を用いて前記人間の行動・意図を推定する行動・意図推定処理とを、コンピュータに実行させる
ことを特徴とする行動・意図推定プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間の行動・意図を推定する行動・意図推定システム、行動・意図推定方法、行動・意図推定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
近年、コンピュータ自体が生活環境に溶け込み、知らないあいだに無意識にコンピュータを利用できる社会が期待されるようになってきている。こうした社会においては、例えば、冷蔵庫やテレビ、洗濯機など家庭の機器が個々にインターネットのアドレスを持ち、ネットワークで結ばれたネット家電が生活の中で活用される。
【０００３】
高齢化社会に入り、一人暮らしの人間が増えているが、室内にいる一人暮らしの人間の動作をビデオカメラで追跡し、追跡結果を分析して、例えばその人間がテレビを見るつもりであることを推定し、ネットワークで結ばれたテレビの電源を自動的に入れるようにしたり、例えばその人間が暖房をつけるつもりであることを推定し、ネットワークで結ばれたエアコンのスイッチを付けるシステムを利用すれば、一人暮らしの人間がより快適に生活をすることができるようになる。
【０００４】
従来から、室内に居る人間の動作を追跡するシステムは存在する。従来は、室内の人間の動作を、例えば一般的に知られている背景差分（例えば、非特許文献２参照）を用いた動物体の抽出技術によって追跡していた。
【０００５】
なお、人間の顔認識に応用可能な画像処理技術として、例えば、下記の非特許文献１に記載された非線形フィルタを用いた多重解像度解析技術がある。
【非特許文献１】Y.Shinagawa and T.L.Kunii.Unconstrained automatic image matching using multiresolutional critical-point filters. IEEE Trans Pattern Analysis and Machine Intelligence, Vol.20, No.9, September 1998
【非特許文献２】加藤丈和，柴田智行，和田俊和，最近傍識別器を用いた背景差分と色検出の統合，情報処理学会研究報告2004-CVIM-142 ，Vol.2004，No. 6 ，pp.31-36，2004．
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上記従来技術のうち、室内の人間の動作を、背景差分を用いた動物体の抽出技術を用いて追跡する技術では、室内の人間の動作を高速に追跡することが可能であるが、追跡可能なのは、その人間の室内における２次元、３次元の位置や方向であり、その人間の姿勢やポーズ、ジェスチャーなどの詳細な動作を追跡することは困難である。
【０００７】
また、非特許文献１に記載された技術は、その人間が現時点で何をするつもりなのかを推定することは想定していない。
【０００８】
本発明は、上記従来技術の問題点を解決し、室内の人間の動作をリアルタイムに追跡し、追跡結果に基づいて、その人間が次に何をするつもりなのか、すなわち、その人間の行動・意図を推定することが可能な行動・意図推定システム、行動・意図推定方法、行動・意図推定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体の提供を目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明は、室内の人間の行動・意図を推定するシステムであって、前記人間を撮像する撮像手段と、前記撮像手段が撮像した人間の映像に基づいて、背景差分を用いた動物体の抽出技術を用いて、前記人間の室内における２次元、３次元の位置や方向を特定する高速・低解像度処理手段と、前記撮像手段が撮像した人間の映像に基づいて、知識蓄積手段に蓄積されたデータを用いて多重解像度解析を行い、前記撮像された人間の姿勢を特定する低速・高解像度処理手段と、前記高速・低解像度処理手段による処理結果と、前記低速・高解像度処理手段による処理結果とに基づいて、ベイズ分類を用いて前記人間の行動・意図を推定する行動・意図推定手段と、人体の各部分と人体の各部分を表す複数の画像との対応情報と、人間の姿勢と人間の姿勢を表す複数の画像との対応情報とが蓄積された知識蓄積手段とを備えることを特徴とする行動・意図推定システムである。
【００１０】
また、本発明は、室内の人間の行動・意図を推定する方法であって、前記人間を撮像する撮像ステップと、前記撮像ステップにおいて撮像した人間の映像に基づいて、背景差分を用いた動物体の抽出技術を用いて、前記人間の室内における２次元、３次元の位置や方向を特定する高速・低解像度処理ステップと、前記撮像ステップにおいて撮像した人間の映像に基づいて、人体の各部分と人体の各部分を表す複数の画像との対応情報と、人間の姿勢と人間の姿勢を表す複数の画像との対応情報とを用いて多重解像度解析を行い、前記撮像された人間の姿勢を特定する低速・高解像度処理ステップと、前記高速・低解像度処理ステップによる処理結果と、前記低速・高解像度処理ステップによる処理結果とに基づいて、ベイズ分類を用いて前記人間の行動・意図を推定する行動・意図推定ステップとを有することを特徴とする行動・意図推定方法である。
【００１１】
また、本発明は、室内の人間の行動・意図を推定する方法をコンピュータに実行させるためのプログラムであって、前記人間を撮像する撮像処理と、前記撮像処理において撮像した人間の映像に基づいて、背景差分を用いた動物体の抽出技術を用いて、前記人間の室内における２次元、３次元の位置や方向を特定する高速・低解像度処理と、前記撮像処理において撮像した人間の映像に基づいて、人体の各部分と人体の各部分を表す複数の画像との対応情報と、人間の姿勢と人間の姿勢を表す複数の画像との対応情報とを用いて多重解像度解析を行い、前記撮像された人間の姿勢を特定する低速・高解像度処理と、前記高速・低解像度処理による処理結果と、前記低速・高解像度処理による処理結果とに基づいて、ベイズ分類を用いて前記人間の行動・意図を推定する行動・意図推定処理とを、コンピュータに実行させることを特徴とする行動・意図推定プログラムである。
【００１２】
また、本発明は、室内の人間の行動・意図を推定する方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記人間を撮像する撮像処理と、前記撮像処理において撮像した人間の映像に基づいて、背景差分を用いた動物体の抽出技術を用いて、前記人間の室内における２次元、３次元の位置や方向を特定する高速・低解像度処理と、前記撮像処理において撮像した人間の映像に基づいて、人体の各部分と人体の各部分を表す複数の画像との対応情報と、人間の姿勢と人間の姿勢を表す複数の画像との対応情報とを用いて多重解像度解析を行い、前記撮像された人間の姿勢を特定する低速・高解像度処理と、前記高速・低解像度処理による処理結果と、前記低速・高解像度処理による処理結果とに基づいて、ベイズ分類を用いて前記人間の行動・意図を推定する行動・意図推定処理とを、コンピュータに実行させることを特徴とする行動・意図推定プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１３】
本発明によれば、室内の人間の動作をリアルタイムに追跡し、追跡結果に基づいて、その人間の行動・意図を推定することが可能となる。
【００１４】
従って、例えば、室内の人間がテレビの方向に移動し、テレビの近くの位置でテレビのリモコンを持ち上げた時点でその人間がテレビの電源を入れるつもりであることを推定することが可能となる。
【００１５】
また、例えば、室内の人間がエアコンのリモコンの方向に移動し、そのリモコンに触れた時点でその人間がエアコンのスイッチを入れるつもりであることが推定可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について、図面を参照しながら説明する。図１は、本発明の構成例を示す図である。図１において、１は行動・意図推定システムである。
【００１７】
また、１１はビデオカメラ等の撮像部、１２は高速・低解像度処理部、１３は低速・高解像度処理部、１４は行動・意図推定部、１５は知識蓄積部、１５１は人体部分情報ＤＢ、１５２は姿勢情報ＤＢである。
【００１８】
撮像部１１は、室内に居る人間をリアルタイムに撮像する。高速・低解像度処理部１２は、撮像部１１が撮像した人間の映像に基づいて、一般的な背景差分を用いた動物体抽出技術を用いて、その人間の室内における２次元、３次元の位置や方向を特定する。
【００１９】
高速・低解像度処理部１２による処理は、撮像対象となった人間の室内における２次元、３次元の位置しか特定できないが、その処理を高速に行うことができる。
【００２０】
低速・高解像度処理部１３は、上記非特許文献１に記載された非線型フィルタを用いた多重解像度解析技術を用いて、撮像対象となった人間の詳細な動作を特定する。すなわち、撮像部１１が撮像した人間の映像に基づいて、知識蓄積部１５に蓄積されたデータを用いてマッチングを行い、その人間の姿勢やポーズ、ジェスチャーを特定する。
【００２１】
低速・高解像度処理部１３は、高速・低解像度処理部１２に比して処理速度が遅いが、撮像対象となった人間の姿勢やポーズ、ジェスチャーを特定することができる。
【００２２】
行動・意図推定部１４は、高速・低解像度処理部１２による処理結果と、低速・高解像度処理部１３による処理結果とに基づいて、公知の技術であるベイズ分類を用いて、撮像対象となった人間の行動・意図を推定する。
【００２３】
また、知識蓄積部１５内の人体部分情報ＤＢ１５１には、人体の各部分毎のＩＤや画像情報などが蓄積されている。姿勢情報ＤＢ１５２には、人間の姿勢毎の複数の画像情報などが蓄積されている。
【００２４】
図２は、人体部分情報ＤＢ１５１のデータ構成例を示す図である。人体部分情報ＤＢ１５１は、例えば、人体の各部分を一意に特定するＩＤ、人体の各部分の名称、人体の各部分の画像情報と、人体の各部分と連結される人体の他の部分を示すリンク情報とから構成される。
【００２５】
図２に示すように、例えば、人体部分情報ＤＢ１５１には、人体の「手」のＩＤ「１」と、「手」についての複数の画像情報とが蓄積され、リンク情報として、「手」に連結する「前腕部」のＩＤ「２」が蓄積されている。
【００２６】
また、例えば、人体部分情報ＤＢ１５１には、人体の「前腕部」のＩＤ「２」と、「前腕部」についての複数の画像情報とが蓄積され、リンク情報として、「前腕部」に連結する「手」のＩＤ「１」と、「肘部」のＩＤ「３」が蓄積されている。
【００２７】
同様にして、人体部分情報ＤＢ１５１には、人体の他の部分に対応するＩＤと、その画像情報、リンク情報が蓄積されている。
【００２８】
図３は、姿勢情報ＤＢ１５２のデータ構成例を示す図である。姿勢情報ＤＢ１５２には、例えば、「座る」、「立つ」などの人間の姿勢を表す複数の画像情報が、各姿勢毎に蓄積されている。
【００２９】
低速・高解像度処理部１３は、撮像部１１が撮像した室内の人間の映像と、人体部分情報ＤＢ１５１に蓄積されている人体の各部の画像とのマッチングを行い、人体の各部分の動作の追跡を行う。
【００３０】
低速・高解像度処理部１３は、例えば、撮像部１１が撮像した室内の人間の映像中、人体部分情報ＤＢ１５１に蓄積された「手首」の画像にマッチングする部分の動作を追跡する。同様にして、撮像部１１が撮像した室内の人間の映像中、人体部分情報ＤＢ１５１に蓄積された他の人体部分の画像にマッチングする部分の動作を追跡する。
【００３１】
また、低速・高解像度処理部１３は、撮像部１１が撮像した室内の人間の映像と、姿勢情報ＤＢ１５２に蓄積された人間の各姿勢毎の画像とのマッチングを行う。マッチングの結果、例えば、撮像部１１が撮像した室内の人間の映像が、姿勢情報ＤＢ１５２に蓄積された「座る」という人間の姿勢の画像の一つと対応する場合、撮像対象となった人間の姿勢は「座る」であると特定する。
【００３２】
上記撮像部１１が撮像した室内の人間の映像と、人体部分情報ＤＢ１５１に蓄積されている人体の各部の画像とのマッチングおよび撮像部１１が撮像した室内の人間の映像と、姿勢情報ＤＢ１５２に蓄積された人間の各姿勢毎の画像とのマッチングにより、撮像対象となった人間の、例えば、「座って上腕部を上げている」などのジェスチャーを特定することが可能となる。
【００３３】
図４は、行動・意図推定部１４の、ベイズ分類を用いた人間の行動・意図推定処理の一例を説明する図である。図４において、例えば、縦軸は室内の人間の位置を示し、横軸は室内の人間の手の高さを示している。
【００３４】
また、エリアＡは、「靴を脱ぐ」という行動・意図に分類される領域、エリアＢは、「エアコンをつける」という行動・意図に分類される領域、エリアＣは、「テレビをつける」という行動・意図に分類される領域を示す。
【００３５】
本発明においては、行動・意図推定部１４は、各エリア内に含まれる点（黒丸で示される点）は、各エリアに対応する行動・意図に分類されるということを予め学習し、学習データとして蓄積しておく。
【００３６】
ここで、高速・低解像度処理部１２の処理により得られた室内の人間の位置、低速・高解像度処理部１３の処理により得られた室内の人間の手の高さにより定まる座標位置の点（図中の白丸で示される点）が、図４のようにエリアＣ内の点として新たに入力されたとする。
【００３７】
行動・意図推定部１４は、上記学習データから、このエリアＣ内の新たな入力点は「テレビをつける」という行動・意図に分類されることを出力データとして出力する。このようにして、高速・低解像度処理部１２による処理結果と、低速・高解像度処理部１３による処理結果とに基づいて、撮像対象となった人間の行動・意図が推定される。
【００３８】
なお、図４においては、説明の簡略化のため、入力点の座標が２次元の場合を示したが、入力座標の次元数に制限はなく、例えば、人間の手の高さの他に、腰部の高さ、頭部の傾き等を組み合わせた様々なジェスチャーを座標軸にとって上記ベイズ分類を用いた行動・意図を推定すれば、推定精度が更に向上する。
【００３９】
次に、図５〜図９を用いて、本発明の行動・意図推定処理について説明する。図５は、本発明の行動・意図推定処理フローの一例を示す図である。また、図６〜図９は、本発明の適用例を示す図であり、２は部屋、１１は撮像部、２０は部屋２内に居る人間、２１はテレビ、２２はテレビ２１のリモコン、２３はエアコン、２４はエアコン２３のリモコンである。部屋２には、本発明の行動意図推定システム１が内蔵されているものとする。
【００４０】
まず、図６または図８に示すように、撮像部１１が部屋２内の人間２０を撮像する（ステップＳ１）。撮像部１１が撮像した人間２０の映像は、高速・低解像度処理部１２および低速・高解像度処理部１３に送信される。
【００４１】
次に、高速・低解像度処理部１２が、撮像部１１が撮像した人間の映像に基づいて、人間２０の部屋２内における２次元、３次元の位置や方向を特定する（ステップＳ２）。このステップＳ２では、一般的な背景差分を用いた動物体抽出技術を用いる。
【００４２】
次に、低速・高解像度処理部１３が、撮像部１１が撮像した人間の映像に基づいて、知識蓄積部１５に蓄積されたデータを用いて、人間２０のジェスチャーを特定する（ステップＳ３）。
【００４３】
例えば、人間２０が図６または図８に示すような動作をしている時、上記ステップＳ１〜ステップＳ３までの処理の結果、人間２０が矢印で示す方向に向かって歩行していることが特定される。
【００４４】
また、例えば、人間２０が図７に示すような動作をしている時、人間２０が、部屋２の奥の位置において手を上げていることが特定される。また、例えば、人間２０が図９に示すような動作をしている時、人間２０が、立った姿勢で前腕部を伸ばしていることがわかる。
【００４５】
次に、行動・意図推定部１４が、高速・低解像度処理部１２による処理結果と、低速・高解像度処理部１３による処理結果とに基づいて、撮像対象となった人間２０の行動・意図を推定する（ステップＳ４）。例えば、上述したステップＳ３において、図７に示す動作をしている人間２０のジェスチャーは、「部屋２の奥の位置において手を上げている」と特定されたとすると、行動・意図推定部１４に入力される新たな入力点は、例えば図４に示すエリアＣ内の白丸で示す点となることから、人間２０の「テレビをつける」という行動・意図が推定される。
【図面の簡単な説明】
【００４６】
【図１】本発明の構成例を示す図である。
【図２】人体部分情報ＤＢのデータ構成例を示す図である。
【図３】姿勢情報ＤＢのデータ構成例を示す図である。
【図４】ベイズ分類を用いた人間の行動・意図推定処理の一例を説明する図である。
【図５】本発明の行動・意図推定処理フローの一例を示す図である。
【図６】本発明の適用例を示す図である。
【図７】本発明の適用例を示す図である。
【図８】本発明の適用例を示す図である。
【図９】本発明の適用例を示す図である。
【符号の説明】
【００４７】
１  行動・意図推定システム
２  部屋
１１  撮像部
１２  高速・低解像度処理部
１３  低速・高解像度処理部
１４  行動・意図推定部
１５  知識蓄積部
２０  人間
２１  テレビ
２２、２４  リモコン
２３  エアコン
１５１  人体部分情報ＤＢ
１５２  姿勢情報ＤＢ
【図１】
2005242759.tif 000003
【図２】
2005242759.tif 000004
【図３】
2005242759.tif 000005
【図４】
2005242759.tif 000006
【図５】
2005242759.tif 000007
【図６】
2005242759.tif 000008
【図７】
2005242759.tif 000009
【図８】
2005242759.tif 000010
【図９】
2005242759.tif 000011