(57)【要約】個人識別を行いながらジェスチャ認識をすることにより、個人に対応するインタフェースを室内において場所に拘束されずに提供する。ステレオカメラ（１）によってユーザ（４）を撮像し、その撮像出力に基づいて画像処理装置２が視野内のカラー画像と距離画像を情報統合認識装置（３）に送信する。情報統合認識装置（３）はユーザ（４）の顔による個人識別、位置検出をするとともに、ユーザ（４）のハンドサインを中心とした意味あるジェスチャを認識する。情報統合認識装置（３）では、検出したユーザ（４）に対応するコマンドを実行し、室内の全ての操作対象機器（６）（例えばテレビ、エアコン、扇風機、照明、音響、窓の開閉など）の操作を行う。
2003025859.tif 000002
【特許請求の範囲】
【請求項１】
室内空間において複数のステレオカメラにより室内を撮像し、各ステレオカメラ単位で視野内の撮像画像と室内の座標系に基づいた距離画像を生成する画像処理手段と、
前記各ステレオカメラからの距離情報に基づき認識対象を抽出する手段と、
抽出された認識対象を、室内空間の人間が指し示す意図したハンドサインを含むカテゴリに分類する手段と、
ハンドサインが識別された場合に、手が指し示している方向、サインの種類と動きから、意図して出されたサインであるかどうかを識別する手段と、
からなるインタフェース装置。
【請求項２】
前記意図して出されたハンドサインに基づき、予め登録された個人毎に異なる室内機器を操作するコマンドを送出する手段を備える請求項１に記載のインタフェース装置。
【請求項３】
前記人間の室内空間における全行動のログを取得して保存しておき、前記意図して出されたハンドサインの識別に利用する手段を備える請求項１に記載のインタフェース装置。
【請求項４】
前記カテゴリは、前記ハンドサインと、人間の頭部と、それ以外のものとに分類される請求項１に記載のインタフェース装置。
【請求項５】
前記人間の個人単位での顔画像とハンドサインの登録手段、ハンドサインを中心とする種々の身振り動作のそれぞれに対応するコマンドを予め記憶する学習手段、操作対象機器とそのコマンドを登録する手段をさらに備える請求項１に記載のインタフェース装置。
【請求項６】
カメラが網羅する空間内において、位置を拘束されない識別とハンドサインの送出が可能な請求項１に記載のインタフェース装置。
【請求項７】
空間の高さ方向について上側から順次対象に着目して、高い方から対象を切り出して認識する請求項１に記載のインタフェース装置。
【請求項８】
人間の識別をその頭部と身長から行う請求項１に記載のインタフェース装置。
【請求項９】
個人の識別をしながら、その人の姿勢を長時間観察して，その観察結果を音声またはディスプレイで知らせる機能と、観察したい個人別動作を登録する機能を持つ請求項１に記載のインタフェース装置。
【発明の詳細な説明】
技術分野
この発明はインタフェース装置に関し、特に、顔と身長による個人識別機能を持つ、手のジェスチャによる室内空間におけるインタフェース装置に関する。
背景技術
第１図に示すような個人の顔の位置、向きから、話者などを識別するシステムは多数存在するが、それらは１台のカメラや２、３台の少ないカメラ６１の画像のカラー情報などからユーザ６４の顔を見つけ、顔による個人識別を行ったり、顔の中の構造である目、鼻、口などを頼りに顔の向き、視線方向などを計測している。
それゆえ、認識対象領域６３に入るのは座ったユーザやある特定のディスプレイ６２などの空間を見ている人程度であり、非常に狭い場所でしか使えないといった問題点がある。かつ、個人識別とともに行うユーザの動作の識別に関しても、顔の向き、視線方向、頷き動作といったものが識別の対象の中心である。
また、第２図に示すような従来の案内空間５における人間の３次元的な位置や動きの特定といったシステムにおいては、カメラ７１（７１−１、７１−２、７１−３、７１−ｎ）を配置し、対象領域を拡げることでユーザ７２の全身を撮影してはいるが、個人識別をともなうジェスチャなどによるインタフェース装置とはなっておらず、ユーザ毎に特化したインタラクションを提供するものではない。
さらに、第３図に示すような従来のユーザ８４のハンドサインの認識システムもカメラ８１の前の固定的な環境、つまり認識可能領域８３で、手のみの画像をディスプレイ８２などで取得して認識することで、インタフェース装置として使われている。よってさらに狭い固定的な環境のみでしか動作しないといった問題点があり、室内のような広い空間で、個人識別とその空間内における動き・行動ログを取得する機能、およびハンドサインによる個人別のインタフェースを提供するものではない。
発明の開示
それゆえに、本発明は、室内空間における複数の人の個人識別とその全行動ログの取得、およびハンドサインによる個人に対応した室内空間の操作を容易にし得るジェスチャインタフェース装置を提供することを目的としている。
本発明は、室内空間にいる人を顔と身長によって識別しながらそれぞれの人の室内での位置を特定する。同時に操作機器を直接指し示しハンドサインを示すことで、室内機器を操作するコマンドを送出する。室内空間の登録されたものが変更されたときにはその変化を記録する。また室内で行動する全ての人間の全ての行動を記録する。
また、本発明では、さらに個人の顔、ハンドサインを個人に対応して登録する手段と、室内のものとを登録する手段を提供する。また個人に応じたハンドサインの動作の対応するコマンドを予め記憶する記憶手段、及び同時に操作機器に対応した各コマンドを登録する手段を備える。
さらに、個人単位で観察したい動作内容を予め登録する手段とその内容を音声合成装置または表示装置によって知らせる。
発明を実施するための最良の形態
第４図はこの発明の一実施例のシステム構成を示す図であり、第５図は第４図に示した情報統合認識装置のブロック図である。
第４図において、複数のステレオカメラ１−１から１−ｎによって室内空間５に死角がないように撮影され、ユーザ４は室内空間５の中を移動する。各ステレオカメラ１は２台以上のカメラの撮像素子が平行に固定されていて、ステレオカメラ１−１から１−ｎの撮像出力は画像処理装置２に与えられる。ステレオカメラ自体は既に公知のものであり、たとえばポイントグレイ社のデジクロップスやサーノフ研究所のアケーディアのようなものが用いられる。
画像処理装置２はステレオカメラ１からの映像を入力として毎秒１０枚〜３０枚程度の画像を処理し、そこから得られた距離画像とカラー画像の結果を情報統合認識装置３に与える。すなわち、画像処理装置２からは室内に存在する全ての対象のｘ、ｙ、ｚ座標情報とカラー画像情報が取得され、それらが情報統合認識装置３に送られる。
情報統合認識装置３は第５図に示すように、対象認識部３１、対象データベース３２、未知対象学習部３３、個人識別部３４、ハンドサイン識別部３５、個人行動ログデータベース３６、室内操作データベース３７、操作データ登録部３８、もの識別部３９、個人状態監視部４０とを含む。対象認識部３１は画像処理装置２から送られる３次元情報からカラー画像の対象となる複数部分を切り出して全ての認識処理をする。対象データベース３２は予め学習させた全ての対象データを保存する。未知対象学習部３３は未知の対象を学習し、対象データベース３２に保存する。個人識別部３４は認識された対象の頭部および身長から個人識別を行い、室内の移動、姿勢など個人の全行動を個人行動ログデータベース３６に記録する。ハンドサイン識別部３５は個人識別部３４とも協調しながら、意図したハンドサインが示された場合に室内操作データベース３７に登録された室内操作コマンドを送出すると同時に、そのログを個人行動ログデータベース３６にも登録する。操作データ登録部３８は室内操作対象機器６に関する情報と操作可能な人に関する情報を室内操作データベース３７に登録する。もの識別部３９は、ユーザの頭部と手部分以外のものを認識して、ものが移動したり、新たに持ち込まれたりした場合、変化を与えた人との関係を個人行動ログデータベース３６に登録する。個人状態監視部４０は予め個人別に監視したい動作を個人行動ログデータベース３６に登録しておき、逐次更新されるデータベースの中で当てはまる条件があった場合は、それを音声合成装置７または表示装置８に表示することでユーザ４に伝える。
第６図はこの発明の一実施例の動作を説明するためのフローチャートであり、第５図を部分的に詳細化したものである。第４図〜第６図は室内におけるこのインタフェース装置の実施例であるが、本発明はこの実施例に限定されるものではなく、例えば室内空間を工場や公共の空間などに置き換えて、安全管理のための人の状態把握などにも適用できる。第４図の室内空間５に出入りする全てのユーザ４はステレオカメラ１−１から１−ｎによって撮影され、この撮像出力は画像処理装置２に与えられる。すなわちこの空間に出入りする人は、第６図の流れに従って、この室内から出るまでの全てを撮影され、その行動を記録される。
画像処理装置２は各カメラ単位でその視野内のカラー画像と室内の座標系に基づいた距離情報を生成して情報統合認識装置３に与える。各ステレオカメラ（１−１から１−ｎ）間の共通する座標系ｘ、ｙ、ｚ（第４図）は予め設定しておく。
ステップＳ３１（第５図の対象認識部３１）において、各ステレオカメラ（１−１から１−ｎ）からの距離情報（ｘ、ｙ、ｚ）に基づき、認識の対象となる領域を抽出する。各カメラの視野内において、床面から突起しており、かつ室内において固定的でない対象（例えば、人）について６４×６４画素程度の大きさで高い所から順次抽出して認識対象とする。特に顔は複数方向から認識対象となる。
ステップＳ３２（第５図の対象認識部３１）において、ステップＳ３１で抽出された全対象について、予め登録されていた全ての対象データベース３２と照合して認識を行う。ここでは一定の確信度で認識結果が出力され、また一定の閾値以下のものは未知の対象として識別される。対象はまず、頭部、手、それ以外の大きなカテゴリに分類され、特に頭部は複数の方向からの認識結果が得られる。
その認識結果に基づき、ステップＳ３３（第５図の対象認識部３１）において、認識結果が頭部であった場合、ハンドサインであった場合、それ以外のものであった場合と未知の対象であった場合に分けられ、それぞれの対象毎の処理が行われる。
頭部が識別された場合には、ステップＳ３４（第５図の個人識別部３４）において、複数の頭部の認識結果とその身長から人物の照合が行われるので，その認識精度は高くなる。そしてステップＳ３５（第５図の個人識別部３４）において、顔部位や体の部位との関係から、その人の姿勢（立っているのか、座っているのか、どちらを向いているのか）とその位置が認識され、ステップＳ３６（第５図の個人識別部３４）において個人行動ログデータベース３６にその変化状態が記録される。
ハンドサインが識別された場合にはステップＳ３７（第５図のハンドサイン識別部３５）において、そのとき手が指し示している方向、顔や体の向き、サインの種類と動きから、意図して出されたサインであるかを識別する。そしてステップＳ３８（第５図のハンドサイン識別部３５）により、同時期の個人識別の結果と統合されたうえで、その個人に許された室内操作コマンドを送出する。第４図の例では、操作対象６であるテレビやエアコンを予め登録しておいたコマンドの送出方法に従い、ハンドサインとその動きだけで操作する。また、その送出履歴は個人行動ログデータベース３６にも保存される。
ものが識別された場合は、ステップＳ３９（第５図のもの識別部３９）において、そのものを誰が持ってどう移動したのか、また最終的な行き先について個人行動ログデータベース３６にも保存する。
次いでステップＳ４０の未知対象の学習処理について説明する。この詳細は第５図の未知対象学習部３３に相当し、第７図において説明される。この部分は、通常の状態では、未知のものはそのままにしておくが、ユーザが新たに登録しようと考えた場合、ユーザの指定によりステップＳ４１（第５図の未知対象学習部３３）に示したように、頭部、ハンドサイン、その他のものというカテゴリ別に登録が行われる。
頭部に関しては、ステップＳ４２（第５図の未知対象学習部３３）で複数方向からの顔画像と身長が対象データベース３２に登録される。また、ハンドサインはステップＳ４３（第５図の未知対象学習部３３）においてその形が登録され、同様に対象データベース３２に登録される。またそれ以外のものに関しては、手にとって指し示したり、対象を指定したりすることでステップＳ４３（第５図の未知対象学習部３３）においてこれも対象データベース３２に登録される。
第８図において室内操作対象の操作データベースを登録する。これは第５図の操作データ登録部３８に相当する。具体的には操作機器対象にあたるテレビや、エアコンなどを最初にステップＳ５１（第５図の操作データ登録部３８）で操作対象の機器と室内空間での位置を登録する。空間位置を登録するのは、操作の際に実際のものを指し示して、直感的な操作を実現するためである。次いでこの機器を操作可能なユーザをステップＳ５２（第５図の操作データ登録部３８）で登録する。さらに各ユーザ単位で操作するためのハンドサインとコマンドの対応付けの登録をステップＳ５３（第５図の操作データ登録部３８）で行う。操作可能なコマンドは各ユーザ単位で細かく指定できる。そしてステップＳ５４（第５図の操作データ登録部３８）で操作時の手の動き方を指定する。これら一連の処理を操作対象毎に繰り返す。また新たなユーザを追加する場合も同様にユーザの登録を繰り返す。
第９図は第５図の個人状態監視部４０を詳細化したものである。ここで、観察したい個人の状態の登録を行う場合は第９図のステップＳ９１（第５図の個人状態監視部４０）を経て、その内容を個人行動ログデータベース３６に予め登録する。その具体的な内容は逐次更新される個人行動ログデータベース３６内においてステップＳ９３（第５図の個人状態監視部４０）によって比較され、通常動作時は例えばステップＳ９４〜９６（第５図の個人状態監視部４０）で示した例のように、長時間同じ姿勢でいることを防いだり、水分補給を適宜促したり、テレビを近くで見過ぎないなどのようなメッセージを個人に伝えることで、健康状態増進（血行をよくしたり、水分を補給することで血栓、肩こり、腰痛などの防止及びテレビとの適切な距離を保つことで視力低下の防止）のために用いることができる。これらのメッセージはステップＳ９７（第５図の個人状態監視部４０）によって音声合成装置７や表示装置８への表示によって個人別に伝えられる。
以上のように、この発明によれば、複数のステレオカメラによりその室内を撮影し、その室内にいる人の全行動ログを取得し、また意図して出したハンドサインによって、予め登録した室内の操作対象への操作コマンドを送出することができる。
また、これらは予め室内にある人やものを登録する機能を持ち、また個人単位で操作に制限を付けることが出来るので、個人単位で操作可能、不可能などの設定が可能になり、大人は操作できるが、子供は操作できないなどのユーザ毎に異なるインタフェースを可能にする。
さらに、対象を上側から順次切り出すことで、人を含む対象に対してその状態（姿勢など）に影響を受けずに正確に認識することができる。
人の識別においては、顔だけでなく身長も登録することで、その個人識別性能を向上させることができる。
さらに室内で常時得られる個人行動ログデータは、ユーザが設定する状態観察条件と常時比較され、長時間同じ姿勢でいることやテレビを見ている距離などを音声または画面表示を使って指摘することで個人の健康増進などのために用いることができる。
産業上の利用可能性
本発明のインタフェース装置は、特に、室内空間における複数の人の個人識別とその全行動ログの取得、およびハンドサインによる個人に対応した室内空間の操作を容易にし得るジェスチャインタフェース装置、記録装置や監視装置として好適である。
【図面の簡単な説明】
第１図は、従来の技術を示す図である。
第２図は、従来の技術を示す図である。
第３図は、従来の技術を示す図である。
第４図は、この発明の一実施形態のシステムの構成を示す図である。
第５図は、第４図に示した情報統合認識装置のブロック図である。
第６図は、この発明の一実施形態の動作を説明するためのフローチャートである。
第７図は、この発明の一実施形態の動作である未知対象の学習処理フローチャートである。
第８図は、この発明の一実施形態の動作である室内操作対象の操作データベース登録処理フローチャートである。
第９図は、この発明の一実施形態の動作である個人監視フローチャートである。
【図１】
2003025859.tif 000003
【図２】
2003025859.tif 000004
【図３】
2003025859.tif 000005
【図４】
2003025859.tif 000006
【図５】
2003025859.tif 000007
【図６】
2003025859.tif 000008
【図７】
2003025859.tif 000009
【図８】
2003025859.tif 000010
【図９】
2003025859.tif 000011
【手続補正書】
【提出日】平成15年6月10日(2003.6.10)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
室内空間において複数のステレオカメラにより室内を撮像し、各ステレオカメラ単位で視野内の撮像画像と室内の座標系に基づいた距離画像を生成する画像処理手段と、
前記各ステレオカメラからの距離情報に基づき認識対象を抽出する手段と、
抽出された認識対象を、室内空間の人間が指し示す意図したハンドサインを含むカテゴリに分類する手段と、
ハンドサインが識別された場合に、手が指し示している方向、サインの種類と動きから、意図して出されたサインであるかどうかを識別する手段と、
空間の高さ方向について上側から順次対象に着目して、高い方から対象を切り出して認識する手段と、
からなるインタフェース装置。
【請求項２】
前記意図して出されたハンドサインに基づき、予め登録された個人毎に異なる室内機器を操作するコマンドを送出する手段を備える請求項１に記載のインタフェース装置。
【請求項３】
前記人間の室内空間における全行動のログを取得して保存しておき、前記意図して出されたハンドサインの識別に利用する手段を備える請求項１に記載のインタフェース装置。
【請求項４】
前記カテゴリは、前記ハンドサインと、人間の頭部と、それ以外のものとに分類される請求項１に記載のインタフェース装置。
【請求項５】
前記人間の個人単位での顔画像とハンドサインの登録手段、ハンドサインを中心とする種々の身振り動作のそれぞれに対応するコマンドを予め記憶する学習手段、操作対象機器とそのコマンドを登録する手段をさらに備える請求項１に記載のインタフェース装置。
【請求項６】
カメラが網羅する空間内において、位置を拘束されない識別とハンドサインの送出が可能な請求項１に記載のインタフェース装置。
【請求項７】
削除
【請求項８】
人間の識別をその頭部と身長から行う請求項１に記載のインタフェース装置。
【請求項９】
個人の識別をしながら、その人の姿勢を長時間観察して，その観察結果を音声またはディスプレイで知らせる機能と、観察したい個人別動作を登録する機能を持つ請求項１に記載のインタフェース装置。
【国際調査報告】
2003025859.tif 000012
2003025859.tif 000013