(57)【要約】 【課題】簡便な装置構成で使用者と機器とのアイコンタクトの有無を判断する。【解決手段】使用者１０の視野を撮像して視野画像データを出力する視野画像取得カメラ１と、使用者１０が利用する機器３に搭載され、機器３を利用する使用者１０を撮像して使用者画像データを出力する使用者画像取得カメラ４と、使用者画像取得カメラ４から得られる使用者画像データに基づき使用者１０の第１視線方向θｃを検出する第１視線方向検出手段５１ｂと、視野画像取得カメラ１から得られる視野画像データに基づき使用者の第２視線方向θｘを検出する第２視線方向検出手段２１ｂと、第１視線方向θｃと第２視線方向θｘが所定の範囲内にある場合に、第１視線方向θｃ又は前記第２視線方向θｘのいずれかをアイコンタクト成立条件Θｃとして記憶するデータベース５２とを有する。【選択図】      図３
2005190225.tif 000002
【特許請求の範囲】
【請求項１】
使用者の視野を撮像して視野画像データを出力する視野画像取得カメラと、
使用者が利用する機器に搭載され、該機器を利用する使用者を撮像して使用者画像データを出力する使用者画像取得カメラと、
前記使用者画像取得カメラから得られる使用者画像データに基づき使用者の第１視線方向を検出する第１視線方向検出手段と、
前記視野画像取得カメラから得られる視野画像データに基づき使用者の第２視線方向を検出する第２視線方向検出手段と、
前記第１視線方向と第２視線方向が所定の範囲内にある場合に、前記第１視線方向又は前記第２視線方向のいずれかをアイコンタクト成立条件として記憶する記憶装置と
を具備してなることを特徴とするアイコンタクトコミュニケーションシステム。
【請求項２】
さらに、アイコンタクト成立判定時において、前記第１視線方向検出手段により前記使用者画像データに基づき検出された第１視線方向と、前記記憶装置から読み出されたアイコンタクト成立条件とが所定の範囲内にある場合に、アイコンタクト成立と判定するアイコンタクト判定手段と
を具備してなることを特徴とする請求項１に記載のアイコンタクトコミュニケーションシステム。
【請求項３】
前記視野画像取得カメラと前記使用者画像取得カメラはネットワーク接続可能に構成され、前記第１視線方向検出手段、第２視線方向検出手段及び記憶装置は、使用者により携帯され、又は前記機器に搭載された１台の情報処理装置に設けられていることを特徴とする請求項１に記載のアイコンタクトコミュニケーションシステム。
【請求項４】
前記機器を複数の使用者が共有する場合に、使用者画像取得カメラはパンフォーカス可能なカメラであり、前記第１視線方向検出手段は、前記複数の使用者を識別することを特徴とする請求項１に記載のアイコンタクトコミュニケーションシステム。
【請求項５】
使用者の視野を撮像して視野画像データを出力し、
機器を操作する位置であって該機器を利用する使用者を撮像して使用者画像データを出力し、
前記使用者画像データに基づき使用者の第１視線方向を検出し、
前記視野画像データに基づき使用者の第２視線方向を検出し、
前記第１視線方向と第２視線方向が所定の範囲内にある場合に、前記第１視線方向又は前記第２視線方向のいずれかをアイコンタクト成立条件として記憶する
ことを特徴とするアイコンタクトコミュニケーション方法。
【請求項６】
コンピュータを、
機器を操作する位置であって該機器を利用する使用者を撮像して得られる使用者画像データに基づき使用者の第１視線方向を検出する第１視線方向検出手段と、
使用者の視野を撮像して得られた視野画像データに基づき使用者の第２視線方向を検出する第２視線方向検出手段と、
前記第１視線方向と第２視線方向が所定の範囲内にある場合に、前記第１視線方向又は前記第２視線方向のいずれかをアイコンタクト成立条件として記憶させる手段
として機能させることを特徴とするアイコンタクトコミュニケーションプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者の視線を検出することにより使用者が利用する機器とのアイコンタクトの有無を判別するアイコンタクトコミュニケーションシステム、方法及びプログラムに関する。
【背景技術】
【０００２】
従来、視線を検出することにより使用者たる人間と機械との情報通信を行う視線認識コミュニケーション装置としては、例えば特開平６−５１９０１号公報（特許文献１）や、特公昭６０−１７１２５号公報（特許文献２）がある。これら特許文献１及び２に示されているように、眼球の方向に基づき使用者の視線を検出するものが知られている。
【特許文献１】特開平６−５１９０１号公報
【特許文献２】特公昭６０−１７１２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記技術では、マウスなどのポインティングデバイスの代替として視線による注視を用いることを目的としたものであり、高精度な視線検出を考慮している反面、眼球に近い位置に検出装置を設置する必要がある。したがって、特殊な眼鏡を必要としたり、頭部と表示装置の正確な位置関係を保つため、表示装置を使用者の頭部に設置する必要があるなどの問題点がある。
【０００４】
しかしながら、視線認識を機械とのコミュニケーションに用いる実際の状況を考えてみると、表示装置上の正確な画素単位の位置を指定する前に、使用者が機器とのコミュニケーションや操作を開始する時点を検出することが必要である。また、現在では、複数の機械、複数の使用者が同一場所に存在する状況が多く存在する。この場合に使用者がどの機器を操作するつもりであるか、あるいは複数の使用者のうち操作権を持つのは誰かを特定したいといった用途においては、使用者がどの機器を注視しているのか、反対に機器を注視しているのはどの使用者であるのかを同定する必要がある。
【０００５】
本発明は上記課題を解決するためになされたもので、その目的とするところは、簡便な装置構成で使用者と機器とのアイコンタクトの有無を判断するアイコンタクトコミュニケーションシステム、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明のある観点によれば、使用者の視野を撮像して視野画像データを出力する視野画像取得カメラと、使用者が利用する機器に搭載され、該機器を利用する使用者を撮像して使用者画像データを出力する使用者画像取得カメラと、前記使用者画像取得カメラから得られる使用者画像データに基づき使用者の第１視線方向を検出する第１視線方向検出手段と、前記視野画像取得カメラから得られる視野画像データに基づき使用者の第２視線方向を検出する第２視線方向検出手段と、前記第１視線方向と第２視線方向が所定の範囲内にある場合に、前記第１視線方向又は前記第２視線方向のいずれかをアイコンタクト成立条件として記憶する記憶装置とを具備してなることを特徴とするアイコンタクトコミュニケーションシステムが提供される。
【０００７】
また、本発明の別の観点によれば、使用者の視野を撮像して視野画像データを出力し、機器を操作する位置であって該機器を利用する使用者を撮像して使用者画像データを出力し、前記使用者画像データに基づき使用者の第１視線方向を検出し、前記視野画像データに基づき使用者の第２視線方向を検出し、前記第１視線方向と第２視線方向が所定の範囲内にある場合に、前記第１視線方向又は前記第２視線方向のいずれかをアイコンタクト成立条件として記憶することを特徴とするアイコンタクトコミュニケーション方法が提供される。
【０００８】
また、本発明のさらに別の観点によれば、コンピュータを、機器を操作する位置であって該機器を利用する使用者を撮像して得られる使用者画像データに基づき使用者の第１視線方向を検出する第１視線方向検出手段と、使用者の視野を撮像して得られた視野画像データに基づき使用者の第２視線方向を検出する第２視線方向検出手段と、前記第１視線方向と第２視線方向が所定の範囲内にある場合に、前記第１視線方向又は前記第２視線方向のいずれかをアイコンタクト成立条件として記憶させる手段として機能させることを特徴とするアイコンタクトコミュニケーションプログラムが提供される。
【発明の効果】
【０００９】
本発明によれば、簡便な装置構成で使用者と機器とのアイコンタクトの有無を判断することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照しながら本発明の実施形態を説明する。  
（第１実施形態）
図１は本発明の第１実施形態に係るアイコンタクトコミュニケーションシステム１００の全体構成を示す図である。このコミュニケーションシステム１００は、アイコンタクト前のキャリブレーション時のシステム構成図である。
【００１１】
図１に示すように、視野画像取得カメラ１と、情報処理装置２と、対象機器３と、使用者画像取得カメラ４と、情報処理装置５とから構成される。情報処理装置２と５は通信ネットワーク６で接続されている。通信ネットワーク６は有線でも無線でもよく、例えばイーサネット、無線ＬＡＮなど、既知の情報通信手段が用いられる。
【００１２】
情報処理装置２は、視野画像取得カメラ１と同様に使用者が携帯可能に構成されている。情報処理装置２は、例えば携帯電話端末、携帯情報端末などで実現される。情報処理装置５は、使用者画像取得カメラ４に接続して機器３に搭載されている。
【００１３】
視野画像取得カメラ１は、対象機器３を使用する使用者１０である人間の頭部に設置される。設置の際に、使用者１０の顔が向いている方向の映像を視野画像として撮像する。撮像された画像は情報処理装置２に出力される。使用者画像取得カメラ４は、対象機器３を操作可能な位置の映像を撮像する。撮像された画像は情報処理装置５に出力される。使用者画像取得カメラ４は、機器３に搭載され、機器３を操作可能な位置に関する映像を撮像する。
【００１４】
図２は使用者１０に対する視野画像取得カメラ１の固定手法を示す図である。図２（ａ）は視野画像取得カメラ１をカメラ固定バンド１１に通した上でカメラ固定バンド１１を頭に巻き付ける。また、図２（ｂ）は視野画像取得カメラ１をカメラ固定バンド１２に通した上でカメラ固定バンド１２を頭から首の下で止める。このように、視野画像取得カメラ１を固定する固定装置としてカメラ固定バンド１１や１２を用いて視野画像取得カメラ１の撮像方向を使用者１０の視野にあわせて固定することにより、視野画像取得カメラ１が使用者１０の動きにあわせてその使用者１０の顔が向いている方向、すなわち使用者１０の視野を撮像することができる。
【００１５】
図３は情報処理装置２及び５の詳細な構成を示す図である。
【００１６】
情報処理装置２は、プロセッサ２１と、データベース２２と、表示部２３からなる。
【００１７】
プロセッサ２１は、データベース２２からプログラムを読み出すことにより画像管理手段２１ａ、第２視線方向検出手段２１ｂ、通信制御手段２１ｃ及び使用者用アプリケーション２１ｄとして機能する。
【００１８】
画像管理手段２１ａは、視野画像取得カメラ１で撮像された視野画像信号を取得してプロセッサ２１に出力する。画像管理手段２１ａは、視野画像取得カメラ１からの視野画像信号を視野画像データとしてデータベース２２に格納する。第２視線方向検出手段２１ｂは、データベース２２に格納された視野画像データに基づき使用者１０の視線方向を検出する。得られた使用者１０の視線方向は、第２視線方向として通信制御手段２１ｃを介して情報処理装置５に送信される。
【００１９】
使用者用アプリケーション２１ｄは、通信制御手段２１ｃを介して受信したキャリブレーション結果、アイコンタクト判定結果、機器部分表示データなどを表示部２３に表示する。また、受信したアイコンタクト判定結果における機器に関する機器データをデータベース２２から読み出し表示部２３に表示する。認識される機器が複数ある場合には、データベース２２の機器データは機器ＩＤに対応付けられて機器毎に格納される。使用者用アプリケーション２１ｄは、アイコンタクト判定結果に含まれる機器ＩＤに基づき、その機器ＩＤに対応付けられた機器データをデータベース２２から読み出し表示する。
【００２０】
通信制御手段２１ｃは、キャリブレーション結果、アイコンタクト結果及び機器部分表示データを情報処理装置５から受信する。
【００２１】
情報処理装置５は、プロセッサ５１と、データベース５２と、表示装置５３からなる。
【００２２】
プロセッサ５１は、データベース５２からプログラムを読み出すことにより画像管理手段５１ａ、第１視線方向検出手段５１ｂ、キャリブレーション判定手段５１ｃ、アイコンタクト判定手段５１ｄ、通信制御手段５１ｅ及び機器用アプリケーション５１ｆとして機能する。
【００２３】
まず、キャリブレーションに関する情報処理装置５の機能を説明する。
【００２４】
画像管理手段５１ａは、使用者画像取得カメラ４で撮像された使用者画像信号を取得してプロセッサ５１に出力する。画像管理手段５１ａは、使用者画像取得カメラ４からの使用者画像信号を視野画像データとしてデータベース５２に格納する。
【００２５】
第１視線方向検出手段５１ｂは、データベース５２に格納された使用者画像データに基づき使用者１０の視線方向を検出する。以下、この使用者画像に基づき得られた視線方向を第２視線方向と呼ぶ。
【００２６】
キャリブレーション判定手段５１ｃは、通信制御手段５１ｅを介して情報処理装置２から受信した第２視線方向と、第１視線方向検出手段５１ｂで得られた第１視線方向とに基づきキャリブレーション判定を行う。キャリブレーションが終了すると、キャリブレーション結果をアイコンタクト成立条件としてデータベース５２に格納する。
【００２７】
次に、キャリブレーション後の機器使用開始時の情報処理装置５の機能を説明する。
【００２８】
アイコンタクト判定手段５１ｄは、第１視線方向検出手段５１ｂで得られた機器使用開始時の第１視線方向と、予めデータベース５２に格納しておいたアイコンタクト成立条件を比較し、アイコンタクト成立の可否を判定する。成立の可否の判定結果は通信制御手段５１ｅを解して情報処理装置２に送信される。
【００２９】
機器用アプリケーション５１ｆは、判定結果に含まれる機器の情報に基づき、機器表示データから機器部分表示データを抽出する。得られた機器部分表示データは通信制御手段５１ｅを介して情報処理装置２に送信される。また、機器用アプリケーション５１ｆは、例えばその機器３での作業内容などの機器表示データを表示装置５３に表示する。
【００３０】
機器用アプリケーション５１ｆは、機器表示データとともに、マーカデータを含めて表示装置５３に表示してもよい。
【００３１】
図４は第１視線方向、すなわち使用者画像に基づく使用者１０の視線方向の検出例を説明するための模式図である。図４は、機器３に設置された使用者画像取得カメラ４の角度２φの画像取得範囲に、検出の対象とする使用者１０の使用者頭部１０ａが含まれている場合である。一例として、使用者頭部１０ａのうち、使用者１０の口、すなわち図４の口領域１０ｂをマーカとして用いる。使用者頭部１０ａは、半径ｒの円形の使用者頭部モデルで近似してあるが、他の形状で近似してもよい。使用者画像取得カメラ４と使用者頭部１０ａの中心Ｏとを結んだ直線に平行にｚ軸が示され、このｚ軸に垂直な方向にｘ軸及びｙ軸が示されている。使用者画像取得カメラ４から使用者頭部１０ａの中心Ｏまでの距離はｄｚである。口領域１０ｂの重心は、周知の画像認識技術により検出される。この場合、像面１３における位置ｘが測定された場合、ｄｚ、ｒおよびφが既知であるとすると、使用者１０の第１視線方向θｃは以下の式（１）〜（３）により求められる。ここで、φは画角により、ｒは使用者頭部モデルにより求められる。
【００３２】
θｃ＝π−（θＡ＋θＢ）    …（１）  
ｓｉｎθＢ＝（ｄｚ／ｒ）・ｓｉｎθＡ    …（２）  
ｔａｎθＡ＝（｜ｘ−ｘ０｜／ｘ０）・ｔａｎφ    …（３）  
ｘ０は、使用者画像取得カメラ４と使用者頭部１０ａの中心Ｏとを結んだ直線Ｌｏと、像面１３との交わる位置のｘ座標である。θＡは、口領域１０ｂの重心と使用者画像取得カメラ４とを結んだ直線Ｌｘが、直線Ｌｏとなす角度である。θＢは、中心Ｏと口領域１０ｂの重心とを結んだ直線が直線Ｌｘとなす角度である。
【００３３】
この使用者頭部モデルと口領域１０ｂをマーカとした使用者１０の注視方向の検出は、口領域１０ｂの重心の検出精度などにより誤差が生じやすいという問題がある。
【００３４】
そこで、視野画像取得カメラ１により撮影された視野画像に基づき、上記式（１）〜（３）により得られた距離や角度の算出結果と比較することにより、キャリブレーションを行う。
【００３５】
図５は第２視線方向、すなわち視野画像に基づく使用者１０の視線方向の検出例を説明するための模式図である。図５は、使用者１０の頭部に設置された視野画像取得カメラ１の角度２φの画像取得範囲に、検出の対象とする機器３のマーカ３５が含まれている場合である。マーカ３５は、機器３の表面に他の部材とは異なる部材等により形成された部分であってもよいし、例えば表示装置５３に表示されたマーカ画像であってもよい。視野画像取得カメラ１とその画像取得範囲の中心とを結んだ直線ｌｏに平行にｚ軸が示され、このｚ軸に垂直な方向にｘ軸及びｙ軸が示されている。視野画像取得カメラ１からマーカ３５までの距離はｄｚである。マーカ３５の位置は、周知の画像認識技術により検出される。この場合、視野画像内のマーカ３５の像面１６におけるｘ座標が測定された場合、マーカ３５の機器３表面における視線方向からの距離ｄｘ、φが既知であるとすると、使用者１０の第２視線方向θｘは以下の式（４）及び（５）により求められる。ここで、φは画角により求められる。
【００３６】
θｘ＝ｔａｎ−１（ｄｘ／ｄｚ）    …（４）  
ｄｚ＝（ｘ０／｜ｘ−ｘ０｜）・（ｄｘ／ｔａｎφ）    …（５）  
ｘ０は、直線ｌｏの像面１６におけるｘ座標である。このように、視野画像取得カメラ１で撮像したマーカ３５を含む視野画像を用いることにより、使用者画像取得カメラ４の場合よりも正確な距離と角度の計算が可能である。
【００３７】
図６及び図７はアイコンタクト判定時の機器部分表示データの表示手法を説明するための図である。
【００３８】
図６は、表示装置５３を含む機器３の構成の一例を示す図である。この図６に示す表示装置５３に対して、例えば使用者１０の視線方向が、図７（ａ）に示す視野１０１で示すような範囲にある場合を想定する。この場合、第１視線方向検出手段５１ｂは、第１視線方向θｃの算出により、表示装置５３の右上、右下、左上、左下のいずれを見ているかを判定することができる。一例としては、予め第１視線方向θｃの範囲、右上、右下、左上、左下などの見ている領域の種別とを対応付けた領域判定テーブルをデータベース５２に記憶しておき、この領域判定テーブルを読み出し測定された第１視線方向θｃと比較する。これにより、どの領域を使用者１０が見ているかを判別できる。この判別結果に基づき機器用アプリケーション５１ｆはデータベース５２から表示領域に対応する機器部分表示データを抽出し、通信制御手段５１ｅを介して情報処理装置２に送信する。情報処理装置２内の使用者用アプリケーション２１ｄは、通信制御手段２１ｃを介して受信した機器部分表示データを表示部２３に表示する。図７（ｂ）の３７は表示部２３の表示画面である。表示画面３７には、機器部分表示データ３８として、表示装置５３に表示された内容のうち、特に使用者１０が注視している「１．…」の部分が表示されている。
【００３９】
図８は上記実施形態に係るアイコンタクトを用いた機器の使用のフローチャートを示す図である。図８に示すように、このアイコンタクトコミュニケーションシステム１００では、視野画像取得カメラ１及び使用者画像取得カメラ４の双方を用いたキャリブレーションを行い、アイコンタクト成立条件Θｃを求める（ｓ１）。次に、キャリブレーションで求めたアイコンタクト成立条件Θｃを用いてアイコンタクト判定を行う（ｓ２）。このアイコンタクト判定で、アイコンタクトが成立したと判定された場合、機器３の使用が開始される（ｓ３）。
【００４０】
図９は（ｓ１）のキャリブレーションの処理の詳細のフローチャートを示す図である。図９に示すように、まず、使用者１０の機器３を使用する時の状態での位置決めを行う（ｓ１１）。この位置決めにより、実際に機器３を移動させたり、使用者１０が移動し、機器３を使用するのに最適と思われる状態にされる。
【００４１】
位置決めが終了すると、機器３側では、使用者画像取得カメラ４により使用者画像が撮像され（ｓ１２）、さらに上記図４に示した手法に基づき、使用者１０の第１視線方向θｃが算出される（ｓ１４）。一方、使用者１０側では、視野画像取得カメラ１により視野画像が撮像され（ｓ１３）、さらに上記図５に示した手法に基づき、使用者１０の第２視線方向θｘが撮像される（ｓ１５）。機器３に設けられたキャリブレーション判定手段５１ｃは、これら第１視線方向θｃ及び第２視線方向θｘに基づき、キャリブレーション判定を行う（ｓ１６）。このキャリブレーション判定において、第１視線方向θｃ及び第２視線方向θｘとがほぼ一致するか、より具体的には所定の範囲θｔｈ内にあるかが以下の式（６）により判定される（ｓ１７）。
【００４２】
｜θｃ−θｘ｜≦θｔｈ    …（６）
上記式（６）を満たす場合、キャリブレーションが成功したことを示すキャリブレーション結果が情報処理装置２に送信され、表示部２３に表示され、かつその成功したときの第１視線方向θｃをアイコンタクト条件Θｃとしてデータベース５２に格納する（ｓ１９）。
【００４３】
上記式（６）を満たさない場合、キャリブレーションが失敗していることを示すキャリブレーション結果が情報処理装置２に送信され、表示部２３に表示される（ｓ１８）。使用者１０は、この表示部２３の表示を確認し、キャリブレーションを成功するためにモデル補正を行う（ｓ２０）。モデルの補正は、上記図４に示される各パラメータの補正であり、一例としては、ｄｚの補正、ファジィモデルなどを用いたり、使用者頭部１０ａの半径ｒの変更や、使用者頭部１０ａの頭部の形状の変更などであるが、これらに限定されないことはもちろんである。このモデル補正は、情報処理装置２や５に接続可能な不図示の入力装置から人が手動で補正値を入力することにより行われてもよいし、補正アルゴリズムを情報処理装置５に備えておいてもよい。
【００４４】
そして、補正されたモデルについて、再度（ｓ１１）〜（ｓ１７）に示される画像撮像、視線方向検出及びキャリブレーション判定が行われる。このように、キャリブレーションが失敗している限り、補正されたモデルについて繰り返しキャリブレーション失敗を表示する。これにより、最適な視線方向検出モデルに基づいたアイコンタクトの判定が実現できる。
【００４５】
なお、このキャリブレーションにおいて、１つの機器３を複数の使用者１０が使用するような場合には、使用者画像取得カメラ４をパンフォーカス可能なカメラを用いるのが望ましい。そして、各使用者１０毎に上記キャリブレーションを済ませておく。すなわち、使用者１０毎にアイコンタクト成立条件Θｃを取得しておく。アイコンタクト検出時には、使用者画像取得カメラ４をパンフォーカスすることによって、各使用者１０の画像を撮影し、各使用者について第１視線方向θｃを検出する。使用者は、使用者１０に付したマーカや、周知の顔画像認識技術により識別することができる。そして、使用者毎にアイコンタクト成立条件Θｃと比較しアイコンタクトの成立を判定する。
【００４６】
図１０は（ｓ２）のアイコンタクト判定処理の詳細のフローチャートを示す図である。このアイコンタクト判定処理では、視野画像取得カメラ１は用いられない。
【００４７】
図１０に示すように、まず、使用者１０が機器３を使用するために移動する（ｓ２１）。この使用者１０を含む機器３の走査位置の使用者画像を使用者画像取得カメラ４を用いて撮像する（ｓ２２）。得られた使用者画像信号はネットワークを介して情報処理装置５に送信される。情報処理装置５は、受信した使用者画像信号に基づき使用者画像データをデータベース５２に格納する。第１視線方向検出手段５１ｂは、データベース５２に格納されたアイコンタクト判定時の使用者画像データを読み出し第１視線方向θｃを検出する（ｓ２３）。この第１視線方向θｃの検出手法はキャリブレーションにおける第１視線方向θｃの検出と共通する。次に、アイコンタクト判定手段５１ｄは、アイコンタクト判定時について得られた第１視線方向θｃとデータベース５２に予め格納されたアイコンタクト判定条件Θｃに基づきアイコンタクト判定を行う（ｓ２４）。具体的には、アイコンタクト判定手段５１ｄは、第１視線方向θｃとアイコンタクト判定条件Θｃと、すなわちキャリブレーションで登録された視線方向とを比較し、両者が所定の値θｔｈ以下、すなわち｜θｃ−Θｃ｜≦θｔｈを満たすか否かを判定する。満たす場合には、使用者１０の顔方向が使用者画像取得カメラ４の中心付近を向いている状態でありアイコンタクトが成立したと判定される。得られた判定結果は通信制御手段５１ｅを介して情報処理装置２に送信され、使用者用アプリケーション２１ｄにより使用者１０側の表示部２３に表示され、機器３使用時のアプリケーションが起動される。また、機器用アプリケーション５１ｆは、判定結果に基づき機器３使用時のアプリケーションを起動し、機器３の使用が開始される（ｓ３）。
【００４８】
このように本実施形態によれば、機器に設置したカメラで撮影した画像を処理し、対象物体を検出する情報処理装置を用いて、使用者が対象機器を注視している状態を検出することにより、アイコンタクトによるコミュニケーションを実現する。この場合、アイコンタクトを含む機器使用時に、使用者頭部にカメラを設置するなどの負担をかけることなくコミュニケーションを実現できる。
【００４９】
また、視線方向の検出に関する精度の高い使用者頭部のカメラからの画像をキャリブレーションに用いることにより、アイコンタクトの精度を向上できる。
【００５０】
（第２実施形態）
本実施形態は第１実施形態の変形例に係わる。本実施形態は、視野画像取得カメラ１及び使用者画像取得カメラ４に替えてネットワーク接続可能な視野画像取得カメラ６０及び使用者画像取得カメラ７０を用いる。
【００５１】
図１１は視野画像取得カメラ６０、使用者画像取得カメラ７０及び情報処理装置５０の詳細な構成を示す図である。視野画像取得カメラ６０及び使用者画像取得カメラ７０は、情報処理装置５０と無線により通信可能とするために通信制御手段６１ｂ及び７１ｂをそれぞれ備える。また、情報処理装置５０の各構成は図３の第１視線方向検出手段５１ｂの代わりに視線方向検出手段１１１ｂを備える点、通信制御手段５１ｇを備える点以外ほぼ同じであるが、各構成の処理内容が若干異なる。特に言及しない限り、本実施形態のシステムは、第１実施形態と同様の構成、機能及び動作を有する。
【００５２】
視野画像取得カメラ６０では、画像取得手段６１ａで取得された視野画像信号は、通信制御手段６１ｂを介して情報処理装置５０に無線により送信される。
【００５３】
使用者画像取得カメラ７０では、画像取得手段７１ａで取得された使用者画像信号は、通信制御手段７１ｂを介して情報処理装置５０に無線により送信される。
【００５４】
情報処理装置５０の通信制御手段５１ｇは、視野画像取得カメラ６０から視野画像信号を受信し、使用者画像取得カメラ７０から使用者画像信号を受信する。画像管理手段５１ａは、これら視野画像信号と使用者画像信号を視野画像データ及び使用者画像データとしてデータベース５２に格納する。視線方向検出手段１１１ｂは、図３に示す第１視線方向検出手段５１ｂ及び第２視線方向検出手段２１ｂとをあわせた機能を備える。すなわち、視線方向検出手段１１１ｂは、データベース５２に格納された使用者画像データに基づき第１視線方向θｃを得るとともに、視野画像データに基づき第２視線方向θｘを得る。キャリブレーション判定手段５１ｃは、得られた第１視線方向θｃと第２視線方向θｘとに基づきキャリブレーションを行い、アイコンタクト成立条件Θｃをデータベース５２に格納する。アイコンタクト判定手段５１ｄは、アイコンタクト判定時に上記と同様に使用者画像データから得られた第１視線方向θｃと、アイコンタクト成立条件Θｃとに基づきアイコンタクトの有無を判定する。機器用アプリケーション５１ｆは、アイコンタクト判定手段５１ｄで得られた判定結果に基づき、あるいは視線方向検出手段１１１ｂで得られた第１視線方向θｃに基づき機器部分表示データを生成して表示部２３に表示し、あるいは情報処理装置２に送信して使用者用アプリケーション２１ｄにより表示部２３に表示させる。また、キャリブレーション結果、アイコンタクト判定結果もこの機器部分表示データとともに通信制御手段５１ｅを介して情報処理装置２に送信され、表示部２３に表示される。
【００５５】
このように本実施形態によれば、第１実施形態のアイコンタクトコミュニケーションシステム１００と同様の作用効果を奏するのみならず、使用者１０側の情報処理装置２に視線方向を検出するための格別の構成を設けることなくキャリブレーション及びアイコンタクトの判定が可能となる。
【００５６】
（第３実施形態）
本実施形態は第１及び第２実施形態の変形例に係わる。図１２は本実施形態に係わるアイコンタクトコミュニケーションシステム３００の構成の一例を示す図である。本実施形態は、情報処理装置５を必要としない点で第２実施形態と異なる。すなわち、第２実施形態では、機器３側の情報処理装置５０に画像管理手段５１ａ、視線方向検出手段１１１ｂ、キャリブレーション判定手段５１ｃ、アイコンタクト判定手段５１ｄ、機器用アプリケーション５１ｆを設ける場合を示したが、本実施形態ではこれらのうち機器用アプリケーション５１ｆを除いて情報処理装置２に画像管理手段２１ａ、視線方向検出手段１２１ｂ、キャリブレーション判定手段１２１ｃ、アイコンタクト判定手段１２１ｄ、使用者用アプリケーション１２ｄを設ける。特に言及しない限り、本実施形態のシステムは、第１あるいは第２実施形態と同様の構成、機能及び動作を有する。
【００５７】
詳細な機能については第２実施形態の構成とほぼ共通するので省略する。
【００５８】
このように、情報処理装置２にこれらキャリブレーション、アイコンタクト判定に必要な構成を配置することで、１台の情報処理装置でコミュニケーションが実現できる。
【００５９】
もちろん、使用者１０側で表示部２３に機器部分表示データなどを表示する必要がなければ、情報処理装置２に代えてそのまま情報処理装置５に上記構成を設けてもよい。この場合、使用者１０側に情報処理装置２を設ける必要がないため、使用者１０側の情報処理装置２が１台でアイコンタクトの成立を判定できる。
【００６０】
本発明は上記実施形態に限定されない。
【００６１】
上記第１実施形態では、各プログラムがデータベース２２及び５２から読み出されてプロセッサ２１及び５１で実行される例として示したが、これら各プログラムはプロセッサ２１又は５１に接続された不図示の記録媒体読取装置から、記録媒体に記録されたプログラムを読み出すことにより実行されてもよい。第２及び第３実施形態についても同様である。
【００６２】
また、認識されるべき使用者１０や機器３が複数ある場合にマーカを用いるためには、各使用者１０あるいは各機器３は、異なるマーカを用いればよい。この場合、視線方向を検出する各手段は、使用者画像データや視野画像データに含まれるマーカ画像の種別を判別することにより、複数の使用者あるいは機器を識別できる。データベース５２又は２２には、予め各マーカ画像の特徴データを格納しておき、この特徴データと画像データに含まれるマーカ画像とを比較することにより、マーカ画像の種別を判別できる。
【００６３】
また、使用者画像取得カメラ４及び情報処理装置５は機器３側に搭載され、固定される場合を示しているが、機器３が移動する構成である場合には、この移動する機器３にあわせて使用者画像取得カメラ４及び情報処理装置５が移動するように構成してもよい。
【００６４】
また、使用者１０と機器３との間でのアイコンタクトを例に説明したが、使用者１０同士のアイコンタクトに用いてもよい。
【００６５】
また、キャリブレーションでは、キャリブレーション条件に従う第１視線方向θｃをアイコンタクト成立条件Θｃとして格納する場合を示したが、キャリブレーション条件に従う第２視線方向θｘをアイコンタクト成立条件Θｃとして格納してもよい。
【００６６】
また、図４及び図５の第１及び第２視線方向検出の説明では、説明の簡略化のためにＸ軸方向のみについて説明してあるが、Ｙ軸方向についても同様の検出式を定めることにより、Ｘ軸及びＹ軸の双方を含む視線方向検出ができることはいうまでもない。
【産業上の利用可能性】
【００６７】
以上説明したようにこの発明は、使用者の視線を検出することにより使用者が利用する機器とのアイコンタクトの有無を判別するアイコンタクトコミュニケーションシステムの技術分野に有効である。
【図面の簡単な説明】
【００６８】
【図１】本発明の第１実施形態に係るアイコンタクトコミュニケーションシステムの全体構成を示す図。
【図２】同実施形態に係る使用者に対する視野画像取得カメラの固定手法を示す図。
【図３】同実施形態に係る各情報処理装置の詳細な構成を示す図。
【図４】同実施形態に係る第１視線方向の検出例を説明するための模式図。
【図５】同実施形態に係る第２視線方向の検出例を説明するための模式図。
【図６】同実施形態に係る表示装置を含む機器の構成の一例を示す図。
【図７】同実施形態に係るアイコンタクト判定時の機器部分表示データの表示手法を説明するための図。
【図８】同実施形態に係るアイコンタクトを用いた機器の使用のフローチャートを示す図。
【図９】同実施形態に係るキャリブレーションの処理の詳細のフローチャートを示す図。
【図１０】同実施形態に係るアイコンタクト判定処理の詳細のフローチャートを示す図。
【図１１】本発明の第２実施形態に係る視野画像取得カメラ、使用者画像取得カメラ及び情報処理装置の詳細な構成を示す図。
【図１２】本発明の第３実施形態に係るアイコンタクトコミュニケーションシステムの構成の一例を示す図。
【符号の説明】
【００６９】
１…視野画像取得カメラ、２…情報処理装置、３…機器、４…使用者画像取得カメラ、５…情報処理装置、６…通信ネットワーク、１０…使用者、１００…アイコンタクトコミュニケーションシステム、１１，１２…カメラ固定バンド
【図１】
2005190225.tif 000003
【図２】
2005190225.tif 000004
【図３】
2005190225.tif 000005
【図４】
2005190225.tif 000006
【図５】
2005190225.tif 000007
【図６】
2005190225.tif 000008
【図７】
2005190225.tif 000009
【図８】
2005190225.tif 000010
【図９】
2005190225.tif 000011
【図１０】
2005190225.tif 000012
【図１１】
2005190225.tif 000013
【図１２】
2005190225.tif 000014