(57)【要約】 【課題】簡便な装置構成で使用者と機器とのアイコンタクトの有無を判断する。【解決手段】アイコンタクトコミュニケーションシステム１００は、使用者１０の視野を撮像して視野画像データを出力する視野画像取得カメラ１と、使用者１０の利用する機器３に搭載され、該機器３を利用する使用者１０を撮像して使用者画像データを出力する使用者画像取得カメラ４と、視野画像データに基づき使用者１０の視野内の機器３の有無を認識する機器認識手段２１ｂと、使用者画像データに基づき使用者１０の有無を認識する使用者認識手段５１ｂと、機器認識手段２１ｂで得られた機器認識結果と使用者識別手段５１ｂで得られた使用者認識結果に基づきアイコンタクトの有無を判定するアイコンタクト判定手段２１ｃとを備える。【選択図】      図３
2005190205.tif 000002
【特許請求の範囲】
【請求項１】
使用者の視野を撮像して視野画像データを出力する視野画像取得カメラと、
使用者が利用する機器に搭載され、該機器を利用する使用者を撮像して使用者画像データを出力する使用者画像取得カメラと、
前記視野画像取得カメラから得られる視野画像データに基づき使用者の視野内の前記機器の有無を認識する機器認識手段と、
前記使用者画像取得カメラから得られる使用者画像データに基づき使用者の有無を認識する使用者認識手段と、
前記機器認識手段で得られた機器認識結果と前記使用者識別手段で得られた使用者認識結果に基づきアイコンタクトの有無を判定するアイコンタクト判定手段と
を具備してなることを特徴とするアイコンタクトコミュニケーションシステム。
【請求項２】
前記視野画像取得カメラと前記使用者画像取得カメラはネットワーク接続可能に構成され、前記機器認識手段、使用者認識手段及びアイコンタクト判定手段は、使用者により携帯され、又は前記機器に搭載された１台の情報処理装置に設けられていることを特徴とする請求項１に記載のアイコンタクトコミュニケーションシステム。
【請求項３】
さらに、前記視野画像取得カメラを使用者の頭部に取り付ける固定装置を備えることを特徴とする請求項１又は２に記載のアイコンタクトコミュニケーションシステム。
【請求項４】
前記機器に設けられ、機器を認識するためのマーカを表示する表示装置と、
使用者により携帯され、前記機器認識手段で認識された機器の前記表示装置のうち、使用者が注視した部分の画像を表示する携帯表示部と
をさらに備え、前記機器認識手段は、前記視野画像データに含まれる前記マーカの撮像画像に基づき機器及び使用者の抽出部分を認識することを特徴とする請求項１又は２に記載のアイコンタクトコミュニケーションシステム。
【請求項５】
前記機器を複数の使用者が共有する場合に、前記使用者認識手段は、前記複数の使用者を識別することを特徴とする請求項１又は２に記載のアイコンタクトコミュニケーションシステム。
【請求項６】
使用者が複数の前記機器を利用する場合に、前記使用者画像取得カメラは前記複数の機器の各々に設けられ、前記機器認識手段は、前記複数の機器を識別することを特徴とする請求項１、２及び５のいずれか１項に記載のアイコンタクトコミュニケーションシステム。
【請求項７】
使用者の視野を撮像して視野画像データを出力し、
機器を操作する位置であって該機器を利用する使用者を撮像して使用者画像データを出力し、
前記視野画像データに基づき使用者の視野内の前記機器の有無を認識して機器認識結果を生成し、
前記使用者画像データに基づき使用者の有無を認識して使用者認識結果を生成し、
前記機器認識結果と前記使用者認識結果に基づきアイコンタクトの有無を判定する
ことを特徴とするアイコンタクトコミュニケーション方法。
【請求項８】
コンピュータを、
使用者の視野を撮像した視野画像データに基づき使用者の視野内の前記機器の有無を認識する機器認識手段と、
機器を操作する位置であって該機器を利用する使用者を撮像して得られた使用者画像データに基づき使用者の有無を認識する使用者認識手段と、
前記機器認識手段で得られた機器認識結果と前記使用者識別手段で得られた使用者認識結果に基づきアイコンタクトの有無を判定するアイコンタクト判定手段
として機能させるためのアイコンタクトコミュニケーションプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者の視線を検出することにより使用者が利用する機器とのアイコンタクトの有無を判別するアイコンタクトコミュニケーションシステム、方法及びプログラムに関する。
【背景技術】
【０００２】
従来、視線を検出することにより使用者たる人間と機械との情報通信を行う視線認識コミュニケーション装置としては、例えば特開平６−５１９０１号公報（特許文献１）や、特公昭６０−１７１２５号公報（特許文献２）がある。これら特許文献１及び２に示されているように、眼球の方向に基づき使用者の視線を検出するものが知られている。
【特許文献１】特開平６−５１９０１号公報
【特許文献２】特公昭６０−１７１２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記技術では、マウスなどのポインティングデバイスの代替として視線による注視を用いることを目的としたものであり、高精度な視線検出を考慮している反面、眼球に近い位置に検出装置を設置する必要がある。したがって、特殊な眼鏡を必要としたり、頭部と表示装置の正確な位置関係を保つため、表示装置を使用者の頭部に設置する必要があるなどの問題点がある。
【０００４】
しかしながら、視線認識を機械とのコミュニケーションに用いる実際の状況を考えてみると、表示装置上の正確な画素単位の位置を指定する前に、使用者が機器とのコミュニケーションや操作を開始する時点を検出することが必要である。また、現在では、複数の機械、複数の使用者が同一場所に存在する状況が多く存在する。この場合に使用者がどの機器を操作するつもりであるか、あるいは複数の使用者のうち操作権を持つのは誰かを特定したいといった用途においては、使用者がどの機器を注視しているのか、反対に機器を注視しているのはどの使用者であるのかを同定する必要がある。
【０００５】
本発明は上記課題を解決するためになされたもので、その目的とするところは、簡便な装置構成で使用者と機器とのアイコンタクトの有無を判断するアイコンタクトコミュニケーションシステム、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明のある観点によれば、使用者の視野を撮像して視野画像データを出力する視野画像取得カメラと、使用者の利用する機器に搭載され、該機器を利用する使用者を撮像して使用者画像データを出力する使用者画像取得カメラと、前記視野画像取得カメラから得られる視野画像データに基づき使用者の視野内の前記機器の有無を認識する機器認識手段と、前記使用者画像取得カメラから得られる使用者画像データに基づき使用者の有無を認識する使用者認識手段と、前記機器認識手段で得られた機器認識結果と前記使用者識別手段で得られた使用者認識結果に基づきアイコンタクトの有無を判定するアイコンタクト判定手段とを具備してなることを特徴とするアイコンタクトコミュニケーションシステムが提供される。
【０００７】
この発明によれば、使用者画像取得カメラで撮影した画像内に使用者が写っているだけでは、使用者が機器の方向を向いているかどうか判断できないが、視野画像取得カメラで撮影した画像も利用することにより、アイコンタクトの有無を簡便かつ容易に判断することができる。
【０００８】
望ましくは、前記視野画像取得カメラと前記使用者画像取得カメラはネットワーク接続可能に構成され、前記機器認識手段、使用者認識手段及びアイコンタクト判定手段は、使用者により携帯され、又は前記機器に搭載された１台の情報処理装置に設けられている。このようにネットワーク接続可能なカメラを用いることにより、画像処理を行うための機器認識手段、使用者認識手段及びアイコンタクト判定手段として機能する情報処理装置を１台で実現できる。
【０００９】
また望ましくは、前記視野画像取得カメラを使用者の頭部に取り付ける固定装置を備える。
【００１０】
また望ましくは、前記機器に設けられ、機器を認識するためのマーカを表示する表示装置と、使用者により携帯され、前記機器認識手段で認識された機器の前記表示装置のうち、使用者が注視した部分の画像を表示する携帯表示部とをさらに備え、前記機器認識手段は、前記視野画像データに含まれる前記マーカの撮像画像に基づき機器及び使用者の抽出部分を認識する。これにより、使用者が注視している部分の表示画像を使用者側で確認できる。
【００１１】
また望ましくは、前記機器を複数の使用者が共有する場合に、前記使用者認識手段は、前記複数の使用者を識別し、使用者が複数の前記機器を利用する場合に、前記使用者画像取得カメラは前記複数の機器の各々に設けられ、前記機器認識手段は、前記複数の機器を識別する。これにより、複数の使用者あるいは機器を含むコミュニケーションシステムにおける複数の使用者を識別し、また複数の機器を識別することができる。
【００１２】
また、上記本発明は、上記コミュニケーションシステムを用いて実現されるコミュニケーション方法、該方法を実現するためのコミュニケーションプログラムとしても成立する。
【発明の効果】
【００１３】
本発明によれば、簡便な装置構成で使用者と機器とのアイコンタクトの有無を判断することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照しながら本発明の実施形態を説明する。  
（第１実施形態）
図１は本発明の第１実施形態に係るアイコンタクトコミュニケーションシステム１００の全体構成を示す図である。図１に示すように、視野画像取得カメラ１と、情報処理装置２と、操作の対象とする機器３と、使用者画像取得カメラ４と、情報処理装置５とから構成される。情報処理装置２と５は通信ネットワーク６で接続されている。通信ネットワーク６は有線でも無線でもよく、例えばイーサネット、無線ＬＡＮなど、既知の情報通信手段が用いられる。
【００１５】
視野画像取得カメラ１は、機器３の使用者１０である人間の頭部に設置される。設置の際に、使用者１０の顔が向いている方向の映像を視野画像として撮像する。撮像された画像は情報処理装置２に出力される。使用者画像取得カメラ４は機器３に搭載され、機器３を操作可能な位置の映像を撮像する。撮像された画像は情報処理装置５に出力される。
【００１６】
図２は使用者１０に対する視野画像取得カメラ１の固定手法例を示す図である。図２（ａ）の場合、視野画像取得カメラ１をカメラ固定バンド１１に通した上でカメラ固定バンド１１を頭に巻き付ける。また、図２（ｂ）の場合、視野画像取得カメラ１をカメラ固定バンド１２に通した上で首の下で止める。このように、視野画像取得カメラ１を固定する固定装置としてカメラ固定バンド１１や１２を用いて視野画像取得カメラ１の撮像方向を使用者１０の視野にあわせて固定することにより、視野画像取得カメラ１が使用者１０の動きにあわせてその使用者１０の顔が向いている方向、すなわち使用者１０の視野を撮像することができる。
【００１７】
図３は情報処理装置２及び５の詳細な構成を示す図である。情報処理装置２は、視野画像取得カメラ１と同様に使用者が携帯可能に構成されている。情報処理装置２は、例えば携帯電話端末、携帯情報端末などで実現される。情報処理装置５は、使用者画像取得カメラ４に接続されて機器３に搭載されている。
【００１８】
情報処理装置２は、プロセッサ２１と、データベース２２と、表示部２３からなる。
【００１９】
プロセッサ２１は、データベース２２からプログラムを読み出すことにより画像管理手段２１ａ、機器認識手段２１ｂ、アイコンタクト判定手段２１ｃ、通信制御手段２１ｄ及び使用者用アプリケーション２１ｅとして機能する。
【００２０】
視野画像取得カメラ１で撮像された視野画像信号はプロセッサ２１に入力される。画像管理手段２１ａは、視野画像取得カメラ１からの視野画像信号を視野画像データとしてデータベース２２に格納する。機器認識手段２１ｂは、データベース２２に格納された視野画像データに基づき視野に機器が存在するか否かを判定し、機器認識結果を得る。機器認識手段２１ｂにおける認識処理は、周知の画像認識処理を用いる。機器認識結果は、機器認識可と、機器認識不可の２つの状態からなる。認識すべき機器が複数ある場合には、機器認識手段２１ｂは、どの機器であるかを識別する。機器認識手段２１ｂは、機器認識可と、機器認識不可の２つの状態のいずれかに識別した機器の機器ＩＤを対応付けてこの機器認識結果を得る。
【００２１】
アイコンタクト判定手段２１ｃは、機器認識手段２１ｂで得られた機器認識結果と、情報処理装置５から受信した使用者認識結果とに基づき、アイコンタクトの有無を判定する。判定結果は、アイコンタクト有り、アイコンタクト無しの２つの状態からなる。得られた判定結果は、通信制御手段２１ｄを介して情報処理装置５に送信される。なお、認識すべき使用者又は機器が複数の場合、判定結果も、判定の対象とする機器を識別する機器ＩＤ又は判定の対象とする使用者を識別する使用者ＩＤに対応付けて得られる。
【００２２】
使用者用アプリケーション２１ｅは、アイコンタクト判定手段２１ｃで得られた判定結果における機器に関する機器データをデータベース２２から読み出し表示部２３に表示する。認識される機器が複数ある場合には、データベース２２の機器データは機器ＩＤに対応付けられて機器毎に格納される。使用者用アプリケーション２１ｅは、判定結果に含まれる機器ＩＤに基づき、その機器ＩＤに対応付けられた機器データをデータベース２２から読み出し表示する。
【００２３】
また、使用者用アプリケーション２１ｅは、情報処理装置５から受信した機器部分表示データを表示部２３に表示する。さらに望ましくは、使用者用アプリケーション２１ｅは、画像管理手段２１ａで得られた視野画像データを表示部２３に表示する。この場合、機器認識手段２１ｂにおける機器認識結果をあわせて表示するのが望ましい。図４は表示部２３に表示された視野画像の一例を示す図である。図４（ａ）は機器３が含まれる視野画像７ａであり、視野認識結果は機器認識可である。図４（ｂ）は機器３が含まれない視野画像７ｂであり、視野認識結果は機器認識不可である。
【００２４】
通信制御手段２１ｄは、使用者認識結果及び機器部分表示データを情報処理装置５から受信する。
【００２５】
情報処理装置５は、プロセッサ５１と、データベース５２と、表示部５３からなる。
【００２６】
プロセッサ５１は、データベース５２からプログラムを読み出すことにより画像管理手段５１ａ、使用者認識手段５１ｂ、通信制御手段５１ｃ及び機器用アプリケーション５１ｄとして機能する。
【００２７】
使用者画像取得カメラ４で撮像された使用者画像信号はプロセッサ５１に入力される。画像管理手段５１ａは、使用者画像取得カメラ４からの使用者画像信号を視野画像データとしてデータベース５２に格納する。使用者認識手段５１ｂは、データベース５２に格納された使用者画像データに基づき機器３の操作位置、すなわち機器３の視野内に使用者が存在するか否かを判定し、使用者認識結果を得る。使用者認識手段５１ｂにおける認識処理は、周知の顔画像認識処理を用いる。使用者認識結果は、使用者認識可と、使用者認識不可の２つの状態からなる。認識すべき使用者が複数ある場合には、使用者認識手段５１ｂは、どの使用者であるかを識別する。使用者認識手段５１ｂは、使用者認識可と、使用者認識不可の２つの状態のいずれかに識別した使用者の使用者ＩＤを対応付けてこの使用者認識結果を得る。
【００２８】
図５は、画像管理手段５１ａで得られた使用者画像データの一例を示す図である。図５（ａ）は使用者１０が含まれる使用者画像８ａであり、使用者認識結果は使用者認識可である。図５（ｂ）は使用者１０が含まれない使用者画像８ｂであり、使用者認識結果は使用者認識不可である。この図５に示される使用者画像８ａ，８ｂは、必要に応じて機器用アプリケーション５１ｄにより表示装置５３に表示されてもよいし、情報処理装置２に通信制御手段５１ｃを介して送信され、使用者用アプリケーション２１ｅにより表示部２３に表示されてもよい。
【００２９】
通信制御手段５１ｃは、使用者認識手段５１ｂで得られた使用者認識結果を情報処理装置２に送信する。また、通信制御手段５１ｃは、情報処理装置２から判定結果を受信し、機器用アプリケーション５１ｄで得られた機器部分表示データを情報処理装置２に送信する。
【００３０】
機器用アプリケーション５１ｄは、情報処理装置２から受信した判定結果に含まれる機器と、その判定結果に含まれる視野画像中の機器３の位置に基づき、機器表示データから機器部分表示データを抽出する。得られた機器部分表示データは通信制御手段５１ｃを介して情報処理装置２に送信される。機器用アプリケーション５１ｄは、例えばその機器３での作業内容などの機器表示データを表示装置５３に表示する。
【００３１】
望ましくは、機器用アプリケーション５１ｄは、機器表示データとともに、マーカデータを含めて表示装置５３に表示する。マーカデータを表示する場合、機器認識手段２１ｂは、視野画像データにマーカ画像が含まれるか否かを機器認識結果に反映させてもよい。すなわち、視野画像データにマーカ画像が含まれる場合には機器認識可、マーカ画像が含まれない場合には機器認識不可と判定されるようにしてもよい。また、認識されるべき機器が複数ある場合には、各機器３は、表示装置５３に異なるマーカ画像を表示すればよい。この場合、機器認識手段２１ｂは、視野画像データに含まれるマーカ画像の種別を判別することにより、複数の機器を識別できる。データベース２２には、予め各マーカ画像の特徴データを格納しておき、この特徴データと視野画像データに含まれるマーカ画像とを比較することにより、マーカ画像の種別を判別できる。
【００３２】
図６はこのマーカ画像を含めた機器認識を行う場合の機器３側の構成例である。図６の例では、機器３が情報処理装置５そのものである場合を示す例である。プロセッサ５１と、このプロセッサ５１に接続された表示装置５３を備え、この表示装置５３上には使用者画像取得カメラ４が設置されている。表示装置５３に表示される機器の作業内容などの機器表示画像３０に加えて、マーカ画像３５が表示装置５３中央近傍に位置するように表示されている。機器表示画像３０として、マーカ画像３５に対して左上、右上、左下、右下の領域にそれぞれ部分表示画像３１乃至３４が表示される。
【００３３】
図７は機器認識を行う場合のマーカ画像を含む視野画像７の一例を示す図である。図７（ａ）はマーカ画像３５が含まれる視野画像７ｃの一例を示し、視野認識結果は機器認識可である。さらに使用者認識結果が使用者認識可である場合、判定結果はアイコンタクト有りとなる。したがって、図３において説明した通り、当該機器に関する機器部分表示データが抽出される。この機器部分表示データは、機器表示データのうち、視野画像７ｃのうち、視野の比較的中心にある部分を抽出するのが望ましい。そこで、例えば図７（ａ）の場合、マーカ画像３５が視野画像７ｃの右下に表示されていることから、この視野画像７ｃのうちの左上に表示されている機器表示データを部分的に抽出すればよい。
【００３４】
具体的には、表示装置５３の部分表示画像３１に表示されている画像データを、部分表示画像３１の画像データを機器部分表示データとして通信制御手段５１ｃを介して情報処理装置２に送信する。この機器部分表示データの抽出を行うため、機器認識結果には、マーカ画像３５の視野画像７ｃ内の位置を含めておけばよい。このマーカ画像の視野画像中の位置は、機器認識結果とともに情報処理装置５に送信され、機器用アプリケーション５１ｄがそのマーカ画像位置に基づき抽出すべき機器部分表示データを抽出する。例えば視野画像７ｃが右上、左上、左下、右下の順に領域１１１、１１２、１１３及び１１４に分割して判定される場合には、次のように抽出処理を行う。すなわち、領域１１４にマーカ画像位置が検出される場合には部分表示画像３１に対応する表示データが、領域１１３にマーカ画像位置が検出される場合には部分表示画像３２に対応する表示データが、領域１１２にマーカ画像位置が検出される場合には部分表示画像３３に対応する表示データが、領域１１１にマーカ画像位置が検出される場合には部分表示画像３４に対応する表示データが抽出される。
【００３５】
使用者用アプリケーション２１ｅは、通信制御手段２１ｄを介して受信したこの機器部分表示データを表示部２３に表示する。図７（ａ）の３７は表示部２３の表示画面である。表示画面３７には、機器部分表示データ３８が表示されている。
【００３６】
なお、この使用者１０の注視する部分のデータ抽出は、情報処理装置５のデータベース５２から抽出する場合に限られない。例えば、上記機器用アプリケーション５１ｄで行われた判定手法に基づき、情報処理装置２の使用者用アプリケーション２１ｅが対応する領域の視野画像データを部分的に抽出し、その抽出画像を表示部２３に表示してもよい。注視部分の判定は、上記機器用アプリケーション５１ｄで行われる判定手法と共通する。
【００３７】
図７（ｂ）はマーカ画像３５が含まれない視野画像７ｄの一例を示す。この場合、機器３の一部である表示装置５３が視野画像７ｄに一部含まれているが、マーカ画像３５が含まれていないため、認識処理結果は機器認識不可である。
【００３８】
上記実施形態に係るコミュニケーションシステム１００のアイコンタクトの判定の詳細を図８のフローチャートに沿って説明する。
【００３９】
まず、使用者１０の頭部に取り付けられた視野画像取得カメラ１により、視野画像を撮像する（ｓ１）。一方、機器３に搭載された使用者画像取得カメラ４により、機器３の操作位置に映る使用者画像を撮像する（ｓ２）。使用者１０側の情報処理装置２内の機器認識手段２１ｂは、得られた視野画像データに基づき機器認識処理を行い機器認識結果を得る（ｓ３）。一方、機器３側の情報処理装置５内の使用者認識手段５１ｂは、得られた使用者画像データに基づき使用者認識処理を行い使用者認識結果を得る（ｓ４）。使用者１０側の情報処理装置２内のアイコンタクト判定手段２１ｃは、これら機器認識結果及び使用者認識結果に基づきアイコンタクトの成立の可否を判定する（ｓ５）。アイコンタクトの成立は、機器認識結果が機器認識可で、使用者認識結果が使用者認識可の場合であって、その状態の経過時間Ｔが閾値Ｔｔｈ以上になるか否かで判定される（ｓ６）。
【００４０】
具体的には、機器認識手段２１ｂで得られた機器認識結果が機器認識不可、あるいは使用者認識手段５１ｂで得られた使用者認識結果が使用者認識不可のいずれかである場合には、アイコンタクト判定手段２１ｃはアイコンタクト不成立と判定する（ｓ８）。
【００４１】
機器認識手段２１ｂで得られた機器認識結果が機器認識可で、かつ使用者認識手段５１ｂで得られた使用者認識結果が使用者認識可の場合、アイコンタクト判定手段２１ｃは、機器認識可で使用者認識可である時間が閾値Ｔｔｈを超えたか否かを判定する。閾値Ｔｔｈを超えた場合、アイコンタクト判定手段２１ｃはアイコンタクト成立と判定し（ｓ７）、閾値Ｔｔｈを超えない場合、アイコンタクト不成立と判定する（ｓ８）。
【００４２】
アイコンタクト成立と判定された場合、例えば使用者用アプリケーション２１ｅや機器用アプリケーション５１ｄのうちの機器使用時のアプリケーションが起動し、機器３の通常の使用が開始される（ｓ９）。
【００４３】
このように本実施形態によれば、使用者画像取得カメラ４で撮影した画像内に使用者１０が写っているだけでは使用者１０が機器３の方向を向いているかどうかを判断できないが、視野画像取得カメラ１の画像をあわせて利用することにより、アイコンタクトの成立の可否を容易に判断することができる。すなわち、機器３が使用者１０の視野内に検出され、かつ使用者１０が機器３の操作可能な位置を含む視野内に検出されている状態がある一定時間継続していることに基づきアイコンタクトの有無を判別できる。これにより、機器に近づき操作するなどの手間を必要とせず、アイコンタクトで機器の選択や、操作の開始を行うことができる。
【００４４】
また、機器を認識するためのマーカを表示装置５３に表示させることにより、携帯情報端末などの情報処理装置２側にそのマーカの使用者画像中の位置に基づき使用者が注視している部分を特定することができるため、注視している部分の情報を選択して情報処理装置２側、すなわち使用者１０の手元で表示することができる。これにより、表示装置５３に近づくことなく、見たい部分を拡大して手元で確認することができる。
【００４５】
また、本発明は、複数の機器、複数人の使用者が存在する環境においても、機器に近づけたり、使用者間で機器を交換することなく、ある程度遠隔から使用したい機器を選択し、操作可能とすることができる。
【００４６】
なお、本実施形態では、アイコンタクト判定手段２１ｃを情報処理装置２側に配置する場合を示したが、これに限定されない。情報処理装置５側に配置してもよい。
【００４７】
図９は情報処理装置５側にアイコンタクト判定手段５１ｅの配置構成例を示す図である。アイコンタクト判定手段５１ｅの機能はアイコンタクト判定手段２１ｃと共通する。また、他の構成は上記図３に示される構成と共通し、同一構成は同一符号を付している。
【００４８】
図９に示す構成の場合、画像管理手段２１ａが視野画像データをデータベース２２に格納し、機器認識手段２１ｂが機器認識結果を生成する点は共通する。この機器認識結果は通信制御手段２１ｄを介して情報処理装置５に送信される。
【００４９】
情報処理装置５側では、画像管理手段５１ａが使用者画像データを得てデータベース５２に格納する点、使用者認識手段５１ｂが使用者認識結果を生成する点は共通する。
【００５０】
情報処理装置５側では、情報処理装置２から送信された機器認識結果と使用者認識手段５１ｂで得られた使用者認識結果に基づきアイコンタクト成立の可否を図３の場合と同様に判定する。得られた判定結果は通信制御手段５１ｃを介して情報処理装置２に送信される。情報処理装置２の使用者用アプリケーション２１ｅは、通信制御手段２１ｄを介して受信された判定結果を表示部２３に表示する。また、情報処理装置５側の機器用アプリケーション５１ｄは、アイコンタクト判定手段５１ｅで得られた判定結果と情報処理装置２から送信された機器認識結果に基づき機器表示データ５２から機器部分表示データを抽出し、通信制御手段５１ｃを介して情報処理装置２に送信する。情報処理装置２の使用者用アプリケーション２１ｅは、通信制御手段２１ｄを介して受信した機器部分表示データを表示部２３に表示する。
【００５１】
アイコンタクト判定処理のための各処理内容は図８に示したものと共通する。また、上記で特に言及していない処理については、図３に基づき説明した処理と共通する。
【００５２】
このように、アイコンタクト判定手段５１ｅを情報処理装置５側に配置しても、上記実施形態と同様に、簡便な装置構成で使用者と機器とのアイコンタクトの有無を判断することができる。
【００５３】
（第２実施形態）
本実施形態は第１実施形態の変形例に係わる。本実施形態は、視野画像取得カメラ１及び使用者画像取得カメラ４に替えてネットワーク接続可能な視野画像取得カメラ６０及び使用者画像取得カメラ７０を用いる。この場合、機器３側に情報処理装置５を設ける必要がないため、使用者１０側の情報処理装置８０が１台でアイコンタクトの成立を判定できる。
【００５４】
図１０は本実施形態に係るアイコンタクトコミュニケーションシステム２００の構成を示す図である。図１０に示すように、視野画像取得カメラ６０で取得された視野画像信号と、使用者画像取得カメラ７０で取得された使用者画像信号のいずれも無線通信などにより情報処理装置８０に送信される。
【００５５】
図１１は視野画像取得カメラ６０、使用者画像取得カメラ７０及び情報処理装置８０の詳細な構成を示す図である。視野画像取得カメラ６０及び使用者画像取得カメラ７０は、情報処理装置８０と無線により通信可能とするために通信制御手段６１ｂ及び７１ｂをそれぞれ備える。また、情報処理装置８０の各構成は機器認識手段２１ｂの代わりに認識手段２１０ｂを備える以外ほぼ同じであるが、各構成の処理内容が若干異なる。
【００５６】
視野画像取得カメラ６０では、画像取得手段６１ａで取得された視野画像信号は、通信制御手段６１ｂを介して情報処理装置８０に無線により送信される。
【００５７】
使用者画像取得カメラ７０では、画像取得手段７１ａで取得された使用者画像信号は、通信制御手段７１ｂを介して情報処理装置８０に無線により送信される。
【００５８】
情報処理装置８０の通信制御手段２１ｄは、視野画像取得カメラ６０から視野画像信号を受信し、使用者画像取得カメラ７０から使用者画像信号を受信する。画像管理手段２１ａは、これら視野画像信号と使用者画像信号を視野画像データ及び使用者画像データとしてデータベース２２に格納する。認識手段２１０ｂは、図３に示す機器認識手段２１ｂと使用者認識手段５１ｂとをあわせた機能を備える。すなわち、認識手段２１０ｂは、データベース２２に格納された視野画像データに基づき機器認識を行い、機器認識結果を得るとともに、データベース２２に格納された使用者画像データに基づき使用者認識を行い、使用者認識結果を得る。アイコンタクト判定手段２１ｃは、認識手段２１０ｂで得られた機器認識結果及び使用者認識結果に基づきアイコンタクトの有無を判定する。使用者用アプリケーション２１ｅは、アイコンタクト判定手段２１ｃで得られた判定結果に基づき機器データ２２を取得し、あるいは視野画像データの一部を含む機器部分表示データを生成して表示部２３に表示する。機器部分表示データの生成は、上記第１実施形態と共通する。
【００５９】
このように本実施形態によれば、第１実施形態のアイコンタクトコミュニケーションシステム１００と同様の作用効果を奏するのみならず、情報処理装置８０が１台のみでアイコンタクトコミュニケーションシステム２００が実現可能である。
【００６０】
本発明は上記実施形態に限定されない。
【００６１】
上記実施形態では、各プログラムがデータベース２２及び５２から読み出されてプロセッサ２１及び５１で実行される例として示したが、これら各プログラムはプロセッサ２１又は５１に接続された不図示の記録媒体読取装置から、記録媒体に記録されたプログラムを読み出すことにより実行されてもよい。
【００６２】
また、上記実施形態では使用者１０を認識する使用者認識結果を得る処理については特に詳細に言及しなかったが、図６や図７を用いて説明したマーカを用いた機器３を認識する処理を使用者１０の認識に適用してもよい。この場合、使用者１０にマーカを付す必要があるが、例えばカメラ固定バンド１１，１２の一部や、視野画像取得カメラ１や６０の一部をマーカとしたり、視野画像取得カメラ１にマーカを付してもよい。マーカは、他の部分に比して画像処理で顕著に相違が生じるようなもの、すなわち他の部分とは異なる部材などで構成すればよい。また、機器３でも同様に、他の部分とは異なる部材で構成されたマーカを用いれば、表示装置５３にマーカ画像を表示する必要がない。
【００６３】
また、認識されるべき使用者１０が複数ある場合にマーカを用いるためには、各使用者１０は、異なるマーカを用いればよい。この場合、使用者認識手段５１ｂ又は認識手段２１０ｂは、使用者画像データに含まれるマーカ画像の種別を判別することにより、複数の使用者を識別できる。データベース５２又は２２には、予め各マーカ画像の特徴データを格納しておき、この特徴データと使用者画像データに含まれるマーカ画像とを比較することにより、マーカ画像の種別を判別できる。
【００６４】
また、第２実施形態では、使用者１０側に情報処理装置８０を設けることにより一括処理する形態を示したが、これに限定されない。情報処理装置８０に相当する構成を機器３側に設置してもよい。
【００６５】
また、機器認識手段２１ｂ、使用者認識手段５１ｂ、認識手段２１０ｂは、機器認識結果と使用者認識結果を２値、すなわち機器や使用者を認識できたか否かのみを判定する場合を示したが、これに限定されない。例えば認識の程度に応じてこれら機器認識結果と使用者認識結果を多値化し、アイコンタクトの判定に用いてもよい。
【００６６】
また、使用者画像取得カメラ４及び情報処理装置５は機器３側に搭載され、固定される場合を示しているが、機器３が移動する構成である場合には、この移動する機器３にあわせて使用者画像取得カメラ４及び情報処理装置５が移動するように構成してもよい。
【００６７】
また、使用者１０と機器３との間でのアイコンタクトを例に説明したが、使用者１０同士のアイコンタクトに用いてもよい。この場合、例えば第１実施形態では使用者画像取得カメラ４の代わりに視野画像取得カメラ１を用い、２つの視野画像取得カメラ１を２人の使用者１０にそれぞれ固定すればよい。
【産業上の利用可能性】
【００６８】
以上説明したようにこの発明は、使用者の視線を検出することにより使用者が利用する機器とのアイコンタクトの有無を判別するアイコンタクトコミュニケーションシステムの技術分野に有効である。
【図面の簡単な説明】
【００６９】
【図１】本発明の第１実施形態に係るアイコンタクトコミュニケーションシステムの全体構成を示す図。
【図２】同実施形態に係る使用者に対する視野画像カメラの固定手法を示す図。
【図３】同実施形態に係る情報処理装置の詳細な構成を示す図。
【図４】同実施形態に係る表示部に表示された視野画像の一例を示す図。
【図５】同実施形態に係る画像管理手段で得られた使用者画像データの一例を示す図。
【図６】同実施形態に係るマーカ画像を含めた機器認識を行う場合の機器側の構成例を示す図。
【図７】同実施形態に係るマーカ画像を含めた機器認識を行う場合の視野画像の一例を示す図。
【図８】同実施形態に係るアイコンタクト判定までのフローチャートを示す図。
【図９】同実施形態に係るアイコンタクト判定を機器側で行う場合の情報処理装置の詳細な構成を示す図。
【図１０】本発明の第２実施形態に係るアイコンタクトコミュニケーションシステムの構成を示す図。
【図１１】同実施形態に係る視野画像取得カメラ、使用者画像取得カメラ及び情報処理装置の詳細な構成を示す図。
【符号の説明】
【００７０】
１…視野画像取得カメラ、２…情報処理装置、３…機器、４…使用者画像取得カメラ、５…情報処理装置、６…通信ネットワーク、１０…使用者、１１，１２…カメラ固定バンド、１００…アイコンタクトシミュレーションシステム
【図１】
2005190205.tif 000003
【図２】
2005190205.tif 000004
【図３】
2005190205.tif 000005
【図４】
2005190205.tif 000006
【図５】
2005190205.tif 000007
【図６】
2005190205.tif 000008
【図７】
2005190205.tif 000009
【図８】
2005190205.tif 000010
【図９】
2005190205.tif 000011
【図１０】
2005190205.tif 000012
【図１１】
2005190205.tif 000013