(57)【要約】【課題】表示されて欲しくない注視点が表示されるのを防止し、表示された注視点が注視されていると誤解されるのを防止する。【解決手段】注視点表示処理装置１３Ａの注視点検出部１３０１は、眼球画像からディスプレイ上の注視点を検出し、距離検出部１３０３は、眼球と注視点との間の距離Ｌを検出し、注視点位置情報送信部１１３０７は、距離Ｌが閾値Ｌｔｈ以下のとき、注視点の位置を示す注視点位置情報Ａ１１ｎを注視点表示処理装置１３Ｂに送信する。注視点表示処理装置１３Ｂは、ディスプレイ１１Ｂ上の注視点位置情報Ａ１１ｎが示す位置に注視点画像を表示させる。よって、利用者がディスプレイ上の注視点を実際には注視していないときの自然な所作により、眼球がディスプレイから離れたときには注視点が表示されないので、表示されて欲しくない注視点が表示されるのを防止でき、表示された注視点が注視されていると誤解されるのを防止できる。【選択図】図３
2006238224.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して互いに接続された２つの通信端末からなる通信システムであって、
各通信端末は、
ディスプレイと、
当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、
この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる注視点表示処理手段と
を備えることを特徴とする通信システム。
【請求項２】
ネットワークを介して互いに接続された２つの通信端末の一方の通信端末であって、
ディスプレイと、
当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、
この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる注視点表示処理手段と
を備えることを特徴とする通信端末。
【請求項３】
ネットワークを介して互いに接続された２つの通信端末の一方の通信端末が、当該通信端末を利用する利用者の眼球を眼球撮像カメラで撮像し、当該通信端末の注視点表示処理手段が、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる
ことを特徴とする通信方法。
【請求項４】
ネットワークを介して互いに接続された２つの通信端末の一方の通信端末であって、
ディスプレイと、
当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、
この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を距離に応じた大きさで表示させる注視点表示処理手段と
を備えることを特徴とする通信端末。
【請求項５】
ネットワークを介して互いに接続された２つの通信端末の一方の通信端末であって、
ディスプレイと、
当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、
この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させ、過去の注視点を時系列で連結したように表示される軌跡画像を生成し、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該軌跡画像を表示させる注視点表示処理手段と
を備えることを特徴とする通信端末。
【請求項６】
ネットワークを介して互いに接続された２つの通信端末の一方の通信端末であって、
ディスプレイと、
当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、
この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる注視点表示処理手段と
を備え、
前記注視点表示処理手段は、
眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出する注視点検出部と、
距離を検出する距離検出部と、
検出された距離が、予め記憶された閾値以下か否かを判定する距離判定部と、
距離が閾値以下であると判定されたときに、注視点の位置を示す注視点位置情報を、他方の注視点表示処理手段へ送信する注視点位置情報送信部と、
他方の注視点表示処理手段から送信された注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させる注視点画像表示制御部と
を備えることを特徴とする通信端末。
【請求項７】
ネットワークを介して互いに接続された２つの通信端末の一方の通信端末が、当該通信端末を利用する利用者の眼球を眼球撮像カメラで撮像し、当該通信端末の注視点表示処理手段が、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる通信方法であって、
一方の通信端末の注視点表示処理手段の注視点検出部が、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出し、
当該注視点表示処理手段の距離検出部が、距離を検出し、
当該注視点表示処理手段の距離判定部が、検出された距離が、予め記憶された閾値以下か否かを判定し、
当該注視点表示処理手段の注視点位置情報送信部が、距離が閾値以下であると判定されたときに、注視点の位置を示す注視点位置情報を、他方の注視点表示処理手段へ送信し、
他方の通信端末の注視点表示処理手段の注視点画像表示制御部が、当該注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させる
ことを特徴とする通信方法。
【請求項８】
ネットワークを介して互いに接続された２つの通信端末の一方の通信端末であって、
ディスプレイと、
当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、
この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる注視点表示処理手段と
を備え、
前記注視点表示処理手段は、
眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出する注視点検出部と、
距離を検出する距離検出部と、
検出された距離が、予め記憶された閾値以下か否かを判定する距離判定部と、
検出された距離が閾値以下であると判定されたときに、注視点として表示される注視点画像の大きさを決定する注視点画像大きさ決定部と、
注視点の位置を示す注視点位置情報を、決定された大きさを示す大きさ情報とともに、他方の注視点表示処理手段へ送信する注視点位置情報送信部と、
他方の注視点表示処理手段から送信された注視点位置情報および大きさ情報を受信し、ディスプレイ上の注視点位置情報が示す位置に大きさ情報に応じた大きさの注視点画像を表示させる注視点画像表示制御部と
を備えることを特徴とする通信端末。
【請求項９】
ネットワークを介して互いに接続された２つの通信端末の一方の通信端末が、当該通信端末を利用する利用者の眼球を眼球撮像カメラで撮像し、当該通信端末の注視点表示処理手段が、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる通信方法であって、
一方の通信端末の注視点表示処理手段の注視点検出部が、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出し、
当該注視点表示処理手段の距離検出部が、距離を検出し、
当該注視点表示処理手段の距離判定部が、検出された距離が、予め記憶された閾値以下か否かを判定し、
当該注視点表示処理手段の注視点画像大きさ決定部が、検出された距離が閾値以下であると判定されたときに、注視点として表示される注視点画像の大きさを決定し、
当該注視点表示処理手段の注視点位置情報送信部が、距離が閾値以下であると判定されたときに、注視点の位置を示す注視点位置情報を、決定された大きさを示す大きさ情報とともに、他方の注視点表示処理手段へ送信し、
他方の通信端末の注視点表示処理手段の注視点画像表示制御部が、注視点位置情報および大きさ情報を受信し、ディスプレイ上の注視点位置情報が示す位置に大きさ情報に応じた大きさの注視点画像を表示させる
ことを特徴とする通信方法。
【請求項１０】
ネットワークを介して互いに接続された２つの通信端末の一方の通信端末であって、
ディスプレイと、
当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、
この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる注視点表示処理手段と
を備え、
前記注視点表示処理手段は、
眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出する注視点検出部と、
検出された注視点の位置を示す注視点位置情報が記憶される注視点位置情報記憶部と、  距離を検出する距離検出部と、
検出された距離が、予め記憶された閾値以下か否かを判定する距離判定部と、
検出された距離が閾値以下であると判定されたときに、最も新しい注視点位置情報を、他方の注視点表示処理手段へ送信する注視点位置情報送信部と、
注視点位置情報記憶部から複数の注視点位置情報を読み出し、読み出した注視点位置情報を用いて、これらの注視点を時系列で連結したように表示される軌跡画像を生成する軌跡画像生成部と、
軌跡画像を他方の注視点表示処理手段へ送信する軌跡画像送信部と、
他方の注視点表示処理手段から送信された注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させる注視点画像表示制御部と、
他方の注視点表示処理手段から送信された軌跡画像を受信し、ディスプレイに軌跡画像を表示させる軌跡画像表示制御部と
を備えることを特徴とする通信端末。
【請求項１１】
ネットワークを介して互いに接続された２つの通信端末の一方の通信端末が、当該通信端末を利用する利用者の眼球を眼球撮像カメラで撮像し、当該通信端末の注視点表示処理手段が、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる通信方法であって、
一方の通信端末の注視点表示処理手段の注視点検出部が、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出し、検出された注視点の位置を示す注視点位置情報を当該注視点表示処理手段の注視点位置情報記憶部に記憶させ、
当該注視点表示処理手段の距離検出部が距離を検出し、
当該注視点表示処理手段の距離判定部が、検出された距離が、予め記憶された閾値以下か否かを判定し、
当該注視点表示処理手段の注視点位置情報送信部が、検出された距離が閾値以下であると判定されたときに、最も新しい注視点位置情報を、他方の注視点表示処理手段へ送信し、
当該注視点表示処理手段の軌跡画像生成部が、注視点位置情報記憶部から複数の注視点位置情報を読み出し、読み出した注視点位置情報を用いて、これらの注視点を時系列で連結したように表示される軌跡画像を生成し、
当該注視点表示処理手段の軌跡画像送信部が、軌跡画像を他方の注視点表示処理手段へ送信し、
他方の注視点表示処理手段の注視点画像表示制御部が、当該注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させ、
他方の注視点表示処理手段の軌跡画像表示制御部が、当該軌跡画像を受信し、ディスプレイに軌跡画像を表示させる
ことを特徴とする通信方法。
【請求項１２】
ネットワークを介して互いに接続された２つの通信端末の一方の通信端末であって、
ディスプレイと、
当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、
この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる注視点表示処理手段と
を備え、
前記注視点表示処理手段は、
眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出する注視点検出部と、
検出された注視点の位置を示す注視点位置情報が記憶される注視点位置情報記憶部と、  距離を検出する距離検出部と、
検出された距離が記憶される距離記憶部と、
最も新しく検出された距離が、予め記憶された閾値以下か否かを判定する距離判定部と、
最も新しく検出された距離が閾値以下であると判定されたときに、最も新しい注視点位置情報を、他方の注視点表示処理手段へ送信する注視点位置情報送信部と、
注視点位置情報記憶部から複数の注視点位置情報を読み出し、距離記憶部から、これらの注視点位置情報に対応する注視点が検出されたときに検出された距離を読み出し、読み出した注視点位置情報および距離を用いて、これらの注視点を時系列で連結したように表示される軌跡画像であって各注視点の部分の太さが当該注視点が検出されたときに検出された距離に応じた太さである軌跡画像を生成する軌跡画像生成部と、
軌跡画像を他方の注視点表示処理手段へ送信する軌跡画像送信部と、
他方の注視点表示処理手段から送信された注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させる注視点画像表示制御部と、
他方の注視点表示処理手段から送信された軌跡画像を受信し、ディスプレイに軌跡画像を表示させる軌跡画像表示制御部と
を備えることを特徴とする通信端末。
【請求項１３】
ネットワークを介して互いに接続された２つの通信端末の一方の通信端末が、当該通信端末を利用する利用者の眼球を眼球撮像カメラで撮像し、当該通信端末の注視点表示処理手段が、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる通信方法であって、
一方の通信端末の注視点表示処理手段の注視点検出部が、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出し、検出された注視点の位置を示す注視点位置情報を当該注視点表示処理手段の注視点位置情報記憶部に記憶させ、
当該注視点表示処理手段の距離検出部が距離を検出し、当該距離を当該注視点表示処理手段の距離記憶部に記憶させ、
当該注視点表示処理手段の距離判定部が、最も新しく検出された距離が、予め記憶された閾値以下か否かを判定し、
当該注視点表示処理手段の注視点位置情報送信部が、最も新しく検出された距離が閾値以下であると判定されたときに、最も新しい注視点位置情報を、他方の注視点表示処理手段へ送信し、
当該注視点表示処理手段の軌跡画像生成部が、注視点位置情報記憶部から複数の注視点位置情報を読み出し、距離記憶部から、これらの注視点位置情報に対応する注視点が検出されたときに検出された距離を読み出し、読み出した注視点位置情報および距離を用いて、これらの注視点を時系列で連結したように表示される軌跡画像であって各注視点の部分の太さが当該注視点が検出されたときに検出された距離に応じた太さである軌跡画像を生成するを生成し、
当該注視点表示処理手段の軌跡画像送信部が、軌跡画像を他方の注視点表示処理手段へ送信し、
他方の注視点表示処理手段の注視点画像表示制御部が、当該注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させ、
他方の注視点表示処理手段の軌跡画像表示制御部が、当該軌跡画像を受信し、ディスプレイに軌跡画像を表示させる
ことを特徴とする通信方法。
【請求項１４】
ネットワークを介して互いに接続された２つの通信端末の一方の通信端末が、
ディスプレイと、
当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、
この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる注視点表示処理手段と
を備え、
前記注視点表示処理手段が、
眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出する注視点検出部と、
距離を検出する距離検出部と、
検出された距離が、予め記憶された閾値以下か否かを判定する距離判定部と、
距離が閾値以下であると判定されたときに、注視点の位置を示す注視点位置情報を、他方の注視点表示処理手段へ送信する注視点位置情報送信部と、
他方の注視点表示処理手段から送信された注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させる注視点画像表示制御部と、
を備えるときの当該注視点表示処理手段としてコンピュータを機能させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを介して互いに接続された２つの通信端末の一方の通信端末を利用する利用者のディスプレイ上の注視点を他方の通信端末のディスプレイ上に表示させる通信システム、通信端末および通信方法に関するものである。
【背景技術】
【０００２】
協調作業を行う際に用いる遠隔地間通信システムは、一般に音声、または音声と映像を双方向に伝達して、利用者間のコミュニケーションを実現している。
【０００３】
遠隔地間通信システムでは、対面コミュニケーションと異なり、相手の利用者がどこを見ているかがわからないという問題がある。対面で会話している場合には、顔および眼の方向から、相手がどこを見ているかをおおまかに知ることができる。以降、相手の見ている方向を、「視線方向」と呼ぶことにする。相手の視線方向は、相手が注目している対象を知る手がかりとして役立つだけでなく、自分と相手の対話を切り替える手がかりとしても利用されており、自然なコミュニケーションを実現する上で重要な役割を果たしている。
【０００４】
遠隔地間通信システムでは、相手の視線方向がわからないことから、相手の注視方向を知ることができず、また相手の対話に割り込むなどの発話動作を円滑に行うことが難しくなるなどの問題が生ずる。この問題を解決するためには、ハーフミラーを用いたり、カメラを画面上の中央に配置することにより、視線一致を実現する手法が提案されている。しかしながら２次元画面に表示された顔画像は、３次元の顔と異なり、視線位置の推定が困難であるという問題がある。
【０００５】
また、顔映像を伝達する手段には、圧縮、伝送、展開に時間を要することから、遅延が発生し、対話の交代が困難である、相手の発話に割り込みにくいなどの要因が円滑なコミュニケーションを阻害するという問題がある。
【０００６】
もう一つの解決手段として、視線計測装置を利用して相手の視線を計測し、画面上に相手の視線位置を表示する手法がある（非特許文献１、２）。この手法は、上記の、視線方向がわかりにくい、ならびに顔映像を常に表示しておく必要があるという問題の解決策に一つである。しかしながら、自分の視線位置はプライバシーに属する情報であり、常に相手に伝達することを望まない利用者も多い。
【０００７】
視線位置をそのまま相手画面に表示するのではなく、視線およびディスプレイに表示された情報から、利用者の注目情報を検出し、共有情報としてディスプレイ上に提示する手法（特許文献１）も提案されている。しかしながら利用者の共有情報をシステムが検出することが前提であるため、検出できない場合には相手に伝達することができないという問題がある。
【特許文献１】特開２０００−１８４３４５号公報
【非特許文献１】Roel Vertegaal: "The GAZE Groupware System: Mediating Joint Attention in Multiparty Communication and Collaboration", In Proceedings of ACM CHI'99 Conference on Human Factors in Computing Systems, 294-301, 1999.
【非特許文献２】Randy Stein, Susan E. Brennan: "Another Person's Eye Caze as a Cue in Solving Programming Problems", Proceedings on 6th International Conference on Multimodal Interfaces(ICMI2004), pp.9-15, 2004.
【発明の開示】
【発明が解決しようとする課題】
【０００８】
また、ネットワークを介して接続された２つの通信端末の一方の通信端末を利用する利用者のディスプレイ上の注視点を、他方の通信端末のディスプレイ上に表示させる通信システムでは、利用者がディスプレイ上の注視点を注視しているのでなく、顔が単にディスプレイに向いているときにも注視点が表示される。この利用者は、注視点が表示されて欲しくないと考えるだろうし、他方の利用者は表示された注視点が注視されていると誤解するので、その改善が求められている。
【０００９】
本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、表示されて欲しくない注視点が表示されるのを防止でき、表示された注視点が注視されていると誤解されるのを防止できる通信システム、通信端末および通信方法を提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、請求項１の本発明は、ネットワークを介して互いに接続された２つの通信端末からなる通信システムであって、各通信端末は、ディスプレイと、当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる注視点表示処理手段とを備えることを特徴とする通信システムをもって解決手段とする。
【００１１】
請求項１の本発明によれば、各通信端末は、ディスプレイと、当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる注視点表示処理手段とを備えることで、利用者がディスプレイ上の注視点を注視しているときの自然な所作により、眼球がディスプレイに近づいたときには注視点が表示され、一方、利用者がディスプレイ上の注視点を実際には注視していないときの自然な所作により、眼球がディスプレイから離れたときには注視点が表示されないので、表示されて欲しくない注視点が表示されるのを防止でき、表示された注視点が注視されていると誤解されるのを防止できる。
【００１２】
請求項２の本発明は、ネットワークを介して互いに接続された２つの通信端末の一方の通信端末であって、ディスプレイと、当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる注視点表示処理手段とを備えることを特徴とする通信端末をもって解決手段とする。
【００１３】
請求項２の本発明によれば、ディスプレイと、当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる注視点表示処理手段とを備えることで、利用者がディスプレイ上の注視点を実際には注視していないときの自然な所作により、眼球がディスプレイから離れたときには注視点が表示されないので、表示されて欲しくない注視点が表示されるのを防止できる等の効果が得られる。
【００１４】
請求項３の本発明は、ネットワークを介して互いに接続された２つの通信端末の一方の通信端末が、当該通信端末を利用する利用者の眼球を眼球撮像カメラで撮像し、当該通信端末の注視点表示処理手段が、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させることを特徴とする通信方法をもって解決手段とする。
【００１５】
請求項３の本発明によれば、通信端末を利用する利用者の眼球を眼球撮像カメラで撮像し、当該通信端末の注視点表示処理手段が、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させることで、利用者がディスプレイ上の注視点を実際には注視していないときの自然な所作により、眼球がディスプレイから離れたときには注視点が表示されないので、表示されて欲しくない注視点が表示されるのを防止できる等の効果が得られる。
【００１６】
請求項４の本発明は、ネットワークを介して互いに接続された２つの通信端末の一方の通信端末であって、ディスプレイと、当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を距離に応じた大きさで表示させる注視点表示処理手段とを備えることを特徴とする通信端末をもって解決手段とする。
【００１７】
請求項４の本発明によれば、ディスプレイと、当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を距離に応じた大きさで表示させる注視点表示処理手段とを備えることで、表示されて欲しくない注視点が表示されるのを防止できる等の効果が得られるとともに、注視の程度が変化した利用者の自然な所作により距離が変化したときには、表示される注視点の大きさが変化するので、注視の程度を伝えまた知ることができる。
【００１８】
請求項５の本発明は、ネットワークを介して互いに接続された２つの通信端末の一方の通信端末であって、ディスプレイと、当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させ、過去の注視点を時系列で連結したように表示される軌跡画像を生成し、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該軌跡画像を表示させる注視点表示処理手段とを備えることを特徴とする通信端末をもって解決手段とする。
【００１９】
請求項５の本発明によれば、ディスプレイと、当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させ、過去の注視点を時系列で連結したように表示される軌跡画像を生成し、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該軌跡画像を表示させる注視点表示処理手段とを備えることで、表示されて欲しくない注視点が表示されるのを防止できる等の効果が得られるとともに、過去の注視点を連結した軌跡画像が表示されるので過去の注視点を伝えまた知ることができる。
【００２０】
請求項６の本発明は、ネットワークを介して互いに接続された２つの通信端末の一方の通信端末であって、ディスプレイと、当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる注視点表示処理手段とを備え、前記注視点表示処理手段は、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出する注視点検出部と、距離を検出する距離検出部と、検出された距離が、予め記憶された閾値以下か否かを判定する距離判定部と、距離が閾値以下であると判定されたときに、注視点の位置を示す注視点位置情報を、他方の注視点表示処理手段へ送信する注視点位置情報送信部と、他方の注視点表示処理手段から送信された注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させる注視点画像表示制御部とを備えることを特徴とする通信端末をもって解決手段とする。
【００２１】
請求項６の本発明によれば、記注視点表示処理手段は、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出する注視点検出部と、距離を検出する距離検出部と、検出された距離が、予め記憶された閾値以下か否かを判定する距離判定部と、距離が閾値以下であると判定されたときに、注視点の位置を示す注視点位置情報を、他方の注視点表示処理手段へ送信する注視点位置情報送信部と、他方の注視点表示処理手段から送信された注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させる注視点画像表示制御部とを備えることで、利用者がディスプレイ上の注視点を実際には注視していないときの自然な所作により、眼球がディスプレイから離れたときには注視点が表示されないので、表示されて欲しくない注視点が表示されるのを防止できる等の効果が得られる。
【００２２】
請求項７の本発明は、ネットワークを介して互いに接続された２つの通信端末の一方の通信端末が、当該通信端末を利用する利用者の眼球を眼球撮像カメラで撮像し、当該通信端末の注視点表示処理手段が、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる通信方法であって、一方の通信端末の注視点表示処理手段の注視点検出部が、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出し、当該注視点表示処理手段の距離検出部が、距離を検出し、当該注視点表示処理手段の距離判定部が、検出された距離が、予め記憶された閾値以下か否かを判定し、当該注視点表示処理手段の注視点位置情報送信部が、距離が閾値以下であると判定されたときに、注視点の位置を示す注視点位置情報を、他方の注視点表示処理手段へ送信し、他方の通信端末の注視点表示処理手段の注視点画像表示制御部が、当該注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させることを特徴とする通信方法をもって解決手段とする。
【００２３】
請求項７の本発明によれば、一方の通信端末の注視点表示処理手段の注視点検出部が、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出し、当該注視点表示処理手段の距離検出部が、距離を検出し、当該注視点表示処理手段の距離判定部が、検出された距離が、予め記憶された閾値以下か否かを判定し、当該注視点表示処理手段の注視点位置情報送信部が、距離が閾値以下であると判定されたときに、注視点の位置を示す注視点位置情報を、他方の注視点表示処理手段へ送信し、他方の通信端末の注視点表示処理手段の注視点画像表示制御部が、当該注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させることで、利用者がディスプレイ上の注視点を実際には注視していないときの自然な所作により、眼球がディスプレイから離れたときには注視点が表示されないので、表示されて欲しくない注視点が表示されるのを防止できる等の効果が得られる。。
【００２４】
請求項８の本発明は、ネットワークを介して互いに接続された２つの通信端末の一方の通信端末であって、ディスプレイと、当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる注視点表示処理手段とを備え、前記注視点表示処理手段は、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出する注視点検出部と、距離を検出する距離検出部と、検出された距離が、予め記憶された閾値以下か否かを判定する距離判定部と、検出された距離が閾値以下であると判定されたときに、注視点として表示される注視点画像の大きさを決定する注視点画像大きさ決定部と、注視点の位置を示す注視点位置情報を、決定された大きさを示す大きさ情報とともに、他方の注視点表示処理手段へ送信する注視点位置情報送信部と、他方の注視点表示処理手段から送信された注視点位置情報および大きさ情報を受信し、ディスプレイ上の注視点位置情報が示す位置に大きさ情報に応じた大きさの注視点画像を表示させる注視点画像表示制御部とを備えることを特徴とする通信端末をもって解決手段とする。
【００２５】
請求項８の本発明によれば、注視点表示処理手段は、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出する注視点検出部と、距離を検出する距離検出部と、検出された距離が、予め記憶された閾値以下か否かを判定する距離判定部と、検出された距離が閾値以下であると判定されたときに、注視点として表示される注視点画像の大きさを決定する注視点画像大きさ決定部と、注視点の位置を示す注視点位置情報を、決定された大きさを示す大きさ情報とともに、他方の注視点表示処理手段へ送信する注視点位置情報送信部と、他方の注視点表示処理手段から送信された注視点位置情報および大きさ情報を受信し、ディスプレイ上の注視点位置情報が示す位置に大きさ情報に応じた大きさの注視点画像を表示させる注視点画像表示制御部とを備えることで、表示されて欲しくない注視点が表示されるのを防止できる等の効果が得られるとともに、注視の程度が変化した利用者の自然な所作により距離が変化したときには、表示される注視点の大きさが変化するので、注視の程度を伝えまた知ることができる。
【００２６】
請求項９の本発明は、ネットワークを介して互いに接続された２つの通信端末の一方の通信端末が、当該通信端末を利用する利用者の眼球を眼球撮像カメラで撮像し、当該通信端末の注視点表示処理手段が、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる通信方法であって、一方の通信端末の注視点表示処理手段の注視点検出部が、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出し、当該注視点表示処理手段の距離検出部が、距離を検出し、当該注視点表示処理手段の距離判定部が、検出された距離が、予め記憶された閾値以下か否かを判定し、当該注視点表示処理手段の注視点画像大きさ決定部が、検出された距離が閾値以下であると判定されたときに、注視点として表示される注視点画像の大きさを決定し、当該注視点表示処理手段の注視点位置情報送信部が、距離が閾値以下であると判定されたときに、注視点の位置を示す注視点位置情報を、決定された大きさを示す大きさ情報とともに、他方の注視点表示処理手段へ送信し、他方の通信端末の注視点表示処理手段の注視点画像表示制御部が、注視点位置情報および大きさ情報を受信し、ディスプレイ上の注視点位置情報が示す位置に大きさ情報に応じた大きさの注視点画像を表示させることを特徴とする通信方法をもって解決手段とする。
【００２７】
請求項９の本発明によれば、一方の通信端末の注視点表示処理手段の注視点検出部が、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出し、当該注視点表示処理手段の距離検出部が、距離を検出し、当該注視点表示処理手段の距離判定部が、検出された距離が、予め記憶された閾値以下か否かを判定し、当該注視点表示処理手段の注視点画像大きさ決定部が、検出された距離が閾値以下であると判定されたときに、注視点として表示される注視点画像の大きさを決定し、当該注視点表示処理手段の注視点位置情報送信部が、距離が閾値以下であると判定されたときに、注視点の位置を示す注視点位置情報を、決定された大きさを示す大きさ情報とともに、他方の注視点表示処理手段へ送信し、他方の通信端末の注視点表示処理手段の注視点画像表示制御部が、注視点位置情報および大きさ情報を受信し、ディスプレイ上の注視点位置情報が示す位置に大きさ情報に応じた大きさの注視点画像を表示させることで、表示されて欲しくない注視点が表示されるのを防止できる等の効果が得られるとともに、注視の程度が変化した利用者の自然な所作により距離が変化したときには、表示される注視点の大きさが変化するので、注視の程度を伝えまた知ることができる。
【００２８】
請求項１０の本発明は、ネットワークを介して互いに接続された２つの通信端末の一方の通信端末であって、ディスプレイと、当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる注視点表示処理手段とを備え、前記注視点表示処理手段は、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出する注視点検出部と、検出された注視点の位置を示す注視点位置情報が記憶される注視点位置情報記憶部と、距離を検出する距離検出部と、検出された距離が、予め記憶された閾値以下か否かを判定する距離判定部と、検出された距離が閾値以下であると判定されたときに、最も新しい注視点位置情報を、他方の注視点表示処理手段へ送信する注視点位置情報送信部と、注視点位置情報記憶部から複数の注視点位置情報を読み出し、読み出した注視点位置情報を用いて、これらの注視点を時系列で連結したように表示される軌跡画像を生成する軌跡画像生成部と、軌跡画像を他方の注視点表示処理手段へ送信する軌跡画像送信部と、他方の注視点表示処理手段から送信された注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させる注視点画像表示制御部と、他方の注視点表示処理手段から送信された軌跡画像を受信し、ディスプレイに軌跡画像を表示させる軌跡画像表示制御部とを備えることを特徴とする通信端末をもって解決手段とする。
【００２９】
請求項１０の本発明によれば、注視点表示処理手段は、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出する注視点検出部と、検出された注視点の位置を示す注視点位置情報が記憶される注視点位置情報記憶部と、距離を検出する距離検出部と、検出された距離が、予め記憶された閾値以下か否かを判定する距離判定部と、検出された距離が閾値以下であると判定されたときに、最も新しい注視点位置情報を、他方の注視点表示処理手段へ送信する注視点位置情報送信部と、注視点位置情報記憶部から複数の注視点位置情報を読み出し、読み出した注視点位置情報を用いて、これらの注視点を時系列で連結したように表示される軌跡画像を生成する軌跡画像生成部と、軌跡画像を他方の注視点表示処理手段へ送信する軌跡画像送信部と、他方の注視点表示処理手段から送信された注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させる注視点画像表示制御部と、他方の注視点表示処理手段から送信された軌跡画像を受信し、ディスプレイに軌跡画像を表示させる軌跡画像表示制御部とを備えることで、表示されて欲しくない注視点が表示されるのを防止できる等の効果が得られるとともに、過去の注視点を連結した軌跡画像が表示されるので過去の注視点を伝えまた知ることができる。
【００３０】
請求項１１の本発明は、ネットワークを介して互いに接続された２つの通信端末の一方の通信端末が、当該通信端末を利用する利用者の眼球を眼球撮像カメラで撮像し、当該通信端末の注視点表示処理手段が、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる通信方法であって、一方の通信端末の注視点表示処理手段の注視点検出部が、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出し、検出された注視点の位置を示す注視点位置情報を当該注視点表示処理手段の注視点位置情報記憶部に記憶させ、当該注視点表示処理手段の距離検出部が距離を検出し、当該注視点表示処理手段の距離判定部が、検出された距離が、予め記憶された閾値以下か否かを判定し、当該注視点表示処理手段の注視点位置情報送信部が、検出された距離が閾値以下であると判定されたときに、最も新しい注視点位置情報を、他方の注視点表示処理手段へ送信し、当該注視点表示処理手段の軌跡画像生成部が、注視点位置情報記憶部から複数の注視点位置情報を読み出し、読み出した注視点位置情報を用いて、これらの注視点を時系列で連結したように表示される軌跡画像を生成し、当該注視点表示処理手段の軌跡画像送信部が、軌跡画像を他方の注視点表示処理手段へ送信し、他方の注視点表示処理手段の注視点画像表示制御部が、当該注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させ、他方の注視点表示処理手段の軌跡画像表示制御部が、当該軌跡画像を受信し、ディスプレイに軌跡画像を表示させることを特徴とする通信方法をもって解決手段とする。
【００３１】
請求項１１の本発明によれば、一方の通信端末の注視点表示処理手段の注視点検出部が、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出し、検出された注視点の位置を示す注視点位置情報を当該注視点表示処理手段の注視点位置情報記憶部に記憶させ、当該注視点表示処理手段の距離検出部が距離を検出し、当該注視点表示処理手段の距離判定部が、検出された距離が、予め記憶された閾値以下か否かを判定し、当該注視点表示処理手段の注視点位置情報送信部が、検出された距離が閾値以下であると判定されたときに、最も新しい注視点位置情報を、他方の注視点表示処理手段へ送信し、当該注視点表示処理手段の軌跡画像生成部が、注視点位置情報記憶部から複数の注視点位置情報を読み出し、読み出した注視点位置情報を用いて、これらの注視点を時系列で連結したように表示される軌跡画像を生成し、当該注視点表示処理手段の軌跡画像送信部が、軌跡画像を他方の注視点表示処理手段へ送信し、他方の注視点表示処理手段の注視点画像表示制御部が、当該注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させ、他方の注視点表示処理手段の軌跡画像表示制御部が、当該軌跡画像を受信し、ディスプレイに軌跡画像を表示させることで、表示されて欲しくない注視点が表示されるのを防止できる等の効果が得られるとともに、過去の注視点を連結した軌跡画像が表示されるので過去の注視点を伝えまた知ることができる。
【００３２】
請求項１２の本発明は、ネットワークを介して互いに接続された２つの通信端末の一方の通信端末であって、ディスプレイと、当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる注視点表示処理手段とを備え、前記注視点表示処理手段は、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出する注視点検出部と、検出された注視点の位置を示す注視点位置情報が記憶される注視点位置情報記憶部と、距離を検出する距離検出部と、検出された距離が記憶される距離記憶部と、最も新しく検出された距離が、予め記憶された閾値以下か否かを判定する距離判定部と、最も新しく検出された距離が閾値以下であると判定されたときに、最も新しい注視点位置情報を、他方の注視点表示処理手段へ送信する注視点位置情報送信部と、注視点位置情報記憶部から複数の注視点位置情報を読み出し、距離記憶部から、これらの注視点位置情報に対応する注視点が検出されたときに検出された距離を読み出し、読み出した注視点位置情報および距離を用いて、これらの注視点を時系列で連結したように表示される軌跡画像であって各注視点の部分の太さが当該注視点が検出されたときに検出された距離に応じた太さである軌跡画像を生成する軌跡画像生成部と、軌跡画像を他方の注視点表示処理手段へ送信する軌跡画像送信部と、他方の注視点表示処理手段から送信された注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させる注視点画像表示制御部と、他方の注視点表示処理手段から送信された軌跡画像を受信し、ディスプレイに軌跡画像を表示させる軌跡画像表示制御部とを備えることを特徴とする通信端末をもって解決手段とする。
【００３３】
請求項１２の本発明によれば、注視点表示処理手段は、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出する注視点検出部と、検出された注視点の位置を示す注視点位置情報が記憶される注視点位置情報記憶部と、距離を検出する距離検出部と、検出された距離が記憶される距離記憶部と、最も新しく検出された距離が、予め記憶された閾値以下か否かを判定する距離判定部と、最も新しく検出された距離が閾値以下であると判定されたときに、最も新しい注視点位置情報を、他方の注視点表示処理手段へ送信する注視点位置情報送信部と、注視点位置情報記憶部から複数の注視点位置情報を読み出し、距離記憶部から、これらの注視点位置情報に対応する注視点が検出されたときに検出された距離を読み出し、読み出した注視点位置情報および距離を用いて、これらの注視点を時系列で連結したように表示される軌跡画像であって各注視点の部分の太さが当該注視点が検出されたときに検出された距離に応じた太さである軌跡画像を生成する軌跡画像生成部と、軌跡画像を他方の注視点表示処理手段へ送信する軌跡画像送信部と、他方の注視点表示処理手段から送信された注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させる注視点画像表示制御部と、他方の注視点表示処理手段から送信された軌跡画像を受信し、ディスプレイに軌跡画像を表示させる軌跡画像表示制御部とを備えることで、表示されて欲しくない注視点が表示されるのを防止できる等の効果と、過去の注視点を伝えまた知ることができる効果とが得られるとともに、各注視点の部分の太さが当該注視点が検出されたときに検出された距離に応じた太さである軌跡画像が表示されるので、過去の注視の程度を伝えまた知ることができる。
【００３４】
請求項１３の本発明は、ネットワークを介して互いに接続された２つの通信端末の一方の通信端末が、当該通信端末を利用する利用者の眼球を眼球撮像カメラで撮像し、当該通信端末の注視点表示処理手段が、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる通信方法であって、一方の通信端末の注視点表示処理手段の注視点検出部が、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出し、検出された注視点の位置を示す注視点位置情報を当該注視点表示処理手段の注視点位置情報記憶部に記憶させ、当該注視点表示処理手段の距離検出部が距離を検出し、当該距離を当該注視点表示処理手段の距離記憶部に記憶させ、当該注視点表示処理手段の距離判定部が、最も新しく検出された距離が、予め記憶された閾値以下か否かを判定し、当該注視点表示処理手段の注視点位置情報送信部が、最も新しく検出された距離が閾値以下であると判定されたときに、最も新しい注視点位置情報を、他方の注視点表示処理手段へ送信し、当該注視点表示処理手段の軌跡画像生成部が、注視点位置情報記憶部から複数の注視点位置情報を読み出し、距離記憶部から、これらの注視点位置情報に対応する注視点が検出されたときに検出された距離を読み出し、読み出した注視点位置情報および距離を用いて、これらの注視点を時系列で連結したように表示される軌跡画像であって各注視点の部分の太さが当該注視点が検出されたときに検出された距離に応じた太さである軌跡画像を生成するを生成し、当該注視点表示処理手段の軌跡画像送信部が、軌跡画像を他方の注視点表示処理手段へ送信し、他方の注視点表示処理手段の注視点画像表示制御部が、当該注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させ、他方の注視点表示処理手段の軌跡画像表示制御部が、当該軌跡画像を受信し、ディスプレイに軌跡画像を表示させることを特徴とする通信方法をもって解決手段とする。
【００３５】
請求項１３の本発明によれば、一方の通信端末の注視点表示処理手段の注視点検出部が、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出し、検出された注視点の位置を示す注視点位置情報を当該注視点表示処理手段の注視点位置情報記憶部に記憶させ、当該注視点表示処理手段の距離検出部が距離を検出し、当該距離を当該注視点表示処理手段の距離記憶部に記憶させ、当該注視点表示処理手段の距離判定部が、最も新しく検出された距離が、予め記憶された閾値以下か否かを判定し、当該注視点表示処理手段の注視点位置情報送信部が、最も新しく検出された距離が閾値以下であると判定されたときに、最も新しい注視点位置情報を、他方の注視点表示処理手段へ送信し、当該注視点表示処理手段の軌跡画像生成部が、注視点位置情報記憶部から複数の注視点位置情報を読み出し、距離記憶部から、これらの注視点位置情報に対応する注視点が検出されたときに検出された距離を読み出し、読み出した注視点位置情報および距離を用いて、これらの注視点を時系列で連結したように表示される軌跡画像であって各注視点の部分の太さが当該注視点が検出されたときに検出された距離に応じた太さである軌跡画像を生成するを生成し、当該注視点表示処理手段の軌跡画像送信部が、軌跡画像を他方の注視点表示処理手段へ送信し、他方の注視点表示処理手段の注視点画像表示制御部が、当該注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させ、他方の注視点表示処理手段の軌跡画像表示制御部が、当該軌跡画像を受信し、ディスプレイに軌跡画像を表示させることで、表示されて欲しくない注視点が表示されるのを防止できる等の効果と、過去の注視点を伝えまた知ることができる効果と、過去の注視の程度を伝えまた知ることができる効果とが得られる。
【００３６】
請求項１４の本発明は、ネットワークを介して互いに接続された２つの通信端末の一方の通信端末が、ディスプレイと、当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる注視点表示処理手段とを備え、前記注視点表示処理手段が、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出する注視点検出部と、距離を検出する距離検出部と、検出された距離が、予め記憶された閾値以下か否かを判定する距離判定部と、距離が閾値以下であると判定されたときに、注視点の位置を示す注視点位置情報を、他方の注視点表示処理手段へ送信する注視点位置情報送信部と、他方の注視点表示処理手段から送信された注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させる注視点画像表示制御部と、を備えるときの当該注視点表示処理手段としてコンピュータを機能させるコンピュータプログラムをもって解決手段とする。
【００３７】
請求項１４の本発明によれば、注視点表示処理手段が、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出する注視点検出部と、距離を検出する距離検出部と、検出された距離が、予め記憶された閾値以下か否かを判定する距離判定部と、距離が閾値以下であると判定されたときに、注視点の位置を示す注視点位置情報を、他方の注視点表示処理手段へ送信する注視点位置情報送信部と、他方の注視点表示処理手段から送信された注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させる注視点画像表示制御部と、を備えるときの当該注視点表示処理手段としてコンピュータを機能させるコンピュータプログラムを流通可能にできる。
【発明の効果】
【００３８】
本発明によれば、ディスプレイと、眼球を撮像する眼球撮像カメラと、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる注視点表示処理手段とを備えることで、利用者がディスプレイ上の注視点を注視しているときの自然な所作により、眼球がディスプレイに近づいたときには注視点が表示され、一方、利用者がディスプレイ上の注視点を実際には注視していないときの自然な所作により、眼球がディスプレイから離れたときには注視点が表示されないので、表示されて欲しくない注視点が表示されるのを防止でき、表示された注視点が注視されていると誤解されるのを防止できる。
【発明を実施するための最良の形態】
【００３９】
以下、本発明に係る実施の形態を図面を用いて説明する。
【００４０】
図１は、本発明に係る実施の形態の通信システムの構成図である。
【００４１】
通信端末１Ａと、例えば、この通信端末１Ａに対して遠隔地にある通信端末１Ｂとが、ネットワーク２で互いに接続される。ここでは、通信端末１Ａを利用する利用者と通信端末１Ｂを利用する利用者とが、これらの通信端末１Ａ，１Ｂを利用してコミュニケーションを行う。ネットワーク２とは、インターネット、ローカルエリアネットワーク、専用ネットワーク等であり、他のネットワークであってもよい。
【００４２】
図２は、通信端末１Ａの装置構成の説明図である。通信端末１Ｂも同様の構成を有する。
【００４３】
通信端末１Ａは、ディスプレイ１１Ａと、通信端末１Ａを利用する利用者Ａの眼球Ａ０を撮像する眼球撮像カメラ１２１を搭載した眼球画像撮像装置１２Ａと、利用者Ａがディスプレイ１１Ａを見ているときの視線Ａ１とディスプレイ１１Ａとの交点である注視点Ａ２を検出し、眼球Ａ０と注視点Ａ２との間の距離Ｌを検出し、距離Ｌが閾値Ｌｔｈ以下のとき、通信端末１Ｂの注視点表示処理装置１３Ｂを介してディスプレイ１１Ｂ上に、注視点Ａ２を表示させる注視点表示処理手段たる注視点表示処理装置１３Ａとを備える。
【００４４】
図３は、注視点表示処理装置１３Ａの構成の説明図である。
【００４５】
注視点表示処理装置１３Ａは、眼球撮像カメラ１２１が利用者Ａの眼球Ａ０を撮像することで得られた眼球画像を画像処理することにより注視点Ａ２を検出する注視点検出部１３０１と、検出された注視点Ａ２の位置を示す注視点位置情報Ａ１１が記憶される注視点位置情報記憶部１３０２と、距離Ｌを検出する距離検出部１３０３と、検出された距離Ｌが記憶される距離記憶部１３０４と、最も新しく検出された距離Ｌが、予め注視点表示処理装置１３Ａに記憶された閾値Ｌｔｈ以下か否かを判定する距離判定部１３０５と、最も新しく検出された距離Ｌが閾値Ｌｔｈ以下であると判定されたときに、最も新しい注視点Ａ２として表示される注視点画像Ａ１０ｎの大きさを決定する注視点画像大きさ決定部１３０６と、最も新しい注視点位置情報Ａ１１である注視点位置情報Ａ１１ｎを、決定された大きさを示す大きさ情報Ａ１２ｎとともに、注視点表示処理装置１３Ｂへ送信する注視点位置情報送信部１３０７と、注視点位置情報記憶部１３０２から複数の注視点位置情報Ａ１１，…を読み出し、距離記憶部１３０４から、これらの注視点位置情報Ａ１１に対応する注視点Ａ２が検出されたときに検出された距離Ｌ，…を読み出し、読み出した注視点位置情報Ａ１１および距離Ｌを用いて、これらの注視点Ａ２を時系列で連結したように表示される軌跡画像Ａ１０ｍを生成する軌跡画像生成部１３０８と、軌跡画像Ａ１０ｍを注視点表示処理装置１３Ｂへ送信する軌跡画像送信部１３０９と、注視点表示処理装置１３Ｂから同様にして送信された注視点位置情報Ｂ１１ｎおよび大きさ情報Ｂ１２ｎを受信し、ディスプレイ１１Ａ上の注視点位置情報Ｂ１１ｎが示す位置に大きさ情報Ｂ１２ｎに応じた大きさの注視点画像Ｂ１０ｎを表示させる注視点画像表示制御部１３１０と、注視点表示処理装置１３Ｂから同様にして送信された軌跡画像Ｂ１０ｍを受信し、ディスプレイ１１Ａ上に軌跡画像Ｂ１０ｍを表示させる軌跡画像表示制御部１３１１とを備える。
【００４６】
なお、閾値Ｌｔｈは、ディスプレイ１１Ａを見ながら作業する場合の距離と同等の値とすればよい。この距離はディスプレイ１１Ａの大きさ、配置等によって異なるが、例えば１８．１インチディスプレイを用いる場合、閾値Ｌｔｈは７０ｃｍ程度が適当である。
【００４７】
次に、本実施の形態の動作を説明する。ここでは、ディスプレイ１１Ａとディスプレイ１１Ｂに予め同一の、例えば共同で編集中のワードプロセッサの画像や地図画像が表示されている場合の動作を説明する。
【００４８】
また、注視点表示処理装置１３Ａの注視点位置情報記憶部１３０２には、過去において時系列に検出されたｍ個の注視点Ａ２の位置を示す注視点位置情報Ａ１１１，…，Ａ１１ｍが記憶されていることとする。また、注視点表示処理装置１３Ａの距離記憶部１３０４には、これらの注視点Ａ２が検出されたときに記憶された距離Ｌ１，…，Ｌｍが記憶されていることとする。
【００４９】
眼球画像撮像装置１２Ａの眼球撮像カメラ１２１が利用者Ａの眼球Ａ０を撮像し、これにより、得られた眼球画像が注視点表示処理装置１３Ａへ送信される。
【００５０】
注視点表示処理装置１３Ａでは、注視点検出部１３０１が、送信された眼球画像を画像処理することにより注視点Ａ２を検出し、この注視点Ａ２の位置を示す注視点位置情報Ａ１１を注視点位置情報記憶部１３０２に記憶させる。
【００５１】
なお、視線Ａ１とディスプレイ１１Ａとが交差しないときは、注視点Ａ２を検出できないので、注視点検出部１３０１は、次回以降の眼球画像を画像処理することにより注視点Ａ２が検出できたときに、その位置を示す注視点位置情報Ａ１１を注視点位置情報記憶部１３０２に記憶させる。
【００５２】
注視点Ａ２の検出には、光源から近赤外線を眼球に照射したときの、瞳孔ならびに角膜反射像を用いる、特許２７３９３３１号の明細書に記載された方法、特開２００３−７９５７７号公報に記載された方法、可視光線を利用して虹彩輪郭ならびに顔の特徴点を用いる方法などを利用してもよい。
【００５３】
さて、一方で距離検出部１３０３は、距離Ｌを検出し、検出した距離Ｌを距離記憶部１３０４に記憶させる。
【００５４】
例えば、眼球画像撮像装置１２Ａは、眼球撮像カメラ１２１であるオートフォーカスカメラの合焦時におけるフォーカスパラメータを注視点表示処理装置１３Ａへ送信し、距離検出部１３０３が、予め記憶しておいたディスプレイ１１Ａと眼球画像撮像装置１２Ａとの間の距離と当該フォーカスパラメータとを用いて距離Ｌを検出する。
【００５５】
また、ステレオカメラや超音波距離計を備えた眼球画像撮像装置１２Ａが、これらのパラメータを注視点表示処理装置１３Ａへ送信し、距離検出部１３０３が、予め記憶しておいたディスプレイ１１Ａと眼球画像撮像装置１２Ａとの間の距離と当該パラメータとを用いて距離Ｌを検出する。
【００５６】
なお、ディスプレイ１１Ａと眼球画像撮像装置１２Ａとが近接しているときは、眼球Ａ０と眼球画像撮像装置１２Ａとの間の距離が実質的に距離Ｌに等しくなるので、眼球Ａ０と眼球画像撮像装置１２Ａとの間の距離を距離Ｌとして処理してもよい。つまり、距離Ｌは眼球がディスプレイに近づいたときに短くなる距離であればよい。
【００５７】
次に、距離判定部１３０５は、最も新しく検出された距離Ｌである距離Ｌｎを注視点位置情報記憶部１３０２から読み出し、これが予め記憶された閾値Ｌｔｈ以下か否かを判定する。
【００５８】
ここで、最も新しく検出された距離Ｌが閾値Ｌｔｈ以下であると判定されたときは、注視点画像大きさ決定部１３０６が、最も新しい注視点Ａ２として表示される注視点画像Ａ１０ｎの大きさを、距離Ｌｎに応じたものとなるように決定する。ここでは、注視点画像大きさ決定部１３０６が、距離Ｌｎが長いほど注視点画像Ａ１０ｎの大きさを大きくする。
【００５９】
次に、注視点位置情報送信部１３０７が、最も新しい注視点位置情報Ａ１１である注視点位置情報Ａ１１ｎを注視点位置情報記憶部１３０２から読み出すとともに、決定された大きさを示す大きさ情報Ａ１２ｎを注視点画像大きさ決定部１３０６から取得し、これらを注視点表示処理装置１３Ｂへ送信する。
【００６０】
また、軌跡画像生成部１３０８が、注視点位置情報記憶部１３０２から注視点位置情報Ａ１１１，…，Ａ１１ｍを読み出すとともに、距離情報記憶部１３０４から距離Ｌ１，…，Ｌｍを読み出し、読み出した注視点位置情報Ａ１１１，…，Ａ１１ｍおよび距離Ｌ１，…，Ｌｍを用いて、注視点位置情報Ａ１１１，…，Ａ１１ｍのそれぞれに対応する注視点Ａ２を時系列で連結したように表示される軌跡画像Ａ１０ｍを、例えばその内在点のビットマップ情報や外延を示すベクトル情報などで生成し、生成した軌跡画像Ａ１０ｍを軌跡画像送信部１３０９へ渡す。ここでは、軌跡画像生成部１３０８が、例えば、時系列的に隣合う２つの注視点Ａ２間に相当する部分の太さを当該注視点Ａ２に対応する距離Ｌの和あるいは平均に相当する太さとする。また、この和等が予め記憶した閾値以下の場合は、当該部分の太さを０としてもよい。
【００６１】
軌跡画像送信部１３０９は、この軌跡画像Ａ１０ｍを注視点表示処理装置１３Ｂへ送信する。
【００６２】
図４は、表示された注視点画像と軌跡画像とを示す図である。
【００６３】
注視点表示処理装置１３Ｂでは、注視点画像表示制御部１３１０が、注視点表示処理装置１３Ａから送信された注視点位置情報Ａ１１ｎおよび大きさ情報Ａ１２ｎを受信し、図４に示すように、ディスプレイ１１Ｂ上の注視点位置情報Ａ１１ｎが示す位置に大きさ情報Ａ１２ｎに応じた大きさの注視点画像Ａ１０ｎを表示させる。ここでは、距離Ｌｎが長いほど注視点画像Ａ１０ｎが大きく表示される。
【００６４】
また、軌跡画像表示制御部１３１１が、注視点表示処理装置１３Ａから送信された軌跡画像Ａ１０ｍを受信し、図４に示すように、ディスプレイ１１Ｂ上に軌跡画像Ａ１０ｍを表示させる。ここでは、時系列的に隣合う２つの注視点Ａ２間に相当する部分の太さが当該注視点Ａ２に対応する距離Ｌの和あるいは平均に相当する太さとされた軌跡画像Ａ１０ｍが表示される。
【００６５】
なお、図４に示すように、ディスプレイには、一方の通信端末の利用者の顔や他方の利用者の顔を表示してもよい。
【００６６】
これまでは、通信端末１Ａの利用者の注視点をディスプレイ１１Ｂへ表示させる動作を説明したが、通信端末１Ｂの利用者の注視点をディスプレイ１１Ａへ表示させる動作もこれと同様である。また、どちらの動作もその逆方向の動作には影響されない。
【００６７】
また、上記動作は連続的に行われる。よって、例えば、ディスプレイ１１Ａ上の注視点Ａ２が移動すると、注視点画像Ａ１０ｎがディスプレイ１１Ｂ上を移動し、これに軌跡画像Ａ１０ｍが追従する。
【００６８】
よって、他方の通信端末の利用者の注視点を知ることができ、利用者同士のコミュニケーションを円滑化できる。つまり、どの領域に注目が向いているかを相手がただちに知覚することができる。
【００６９】
また、上記動作で送受信される注視点位置情報と大きさ情報の情報量は、顔の画像や音声情報の情報量よりも極めて少ないため、顔の画像や音声情報を送受信する場合に比べて、注視点を迅速に伝えまた知ることができ、よって、コミュニケーションを円滑化できる。
【００７０】
また、上記動作では、距離Ｌｎが長いほど注視点画像Ａ１０ｎが大きく表示されるので、例えば、ワードプロセッサで編集中の画像の中で、注視点画像Ａ１０ｎが大きく表示されている部分に表示されている名前の人物などや、地図画像の当該部分に表示されているアイコンの施設などに対する関心や興味が高いことを伝えまた知ることができる。逆に、注視点画像Ａ１０ｎが小さく表示されている部分に表示されている名前の人物や当該部分に表示されているアイコンの施設に対する関心や興味が低いことを伝えまた知ることができる。
【００７１】
また、距離判定部１３０５が、距離Ｌｎが閾値Ｌｔｈを超えていると判定したときは、注視点画像Ａ１０ｎの大きさ決定の処理、注視点位置情報Ａ１１ｎと大きさ情報Ａ１２ｎの送受信、注視点画像Ａ１０ｎの表示を禁止する。
【００７２】
よって、注視点が表示されて欲しくない場合には、利用者は顔をディスプレイから一定距離以上顔を離せばよく、このときには、注視点が表示されなくなる。よって、注視点の消去に際しての通信端末への操作が不要となる。
【００７３】
逆に、注視点が表示されて欲しい場合には、利用者は顔をディスプレイから一定距離以内に顔を近づければよく、このときには、注視点が表示される。よって、注視点の表示に際しての通信端末への操作が不要となる。
【００７４】
なお、注視点位置情報送信部１３０７が、注視点位置情報Ａ１１ｎと大きさ情報Ａ１２ｎとを、注視点画像表示制御部１３１０へ渡し、注視点画像表示制御部１３１０が、ディスプレイ１１Ａ上の注視点位置情報Ａ１１ｎが示す位置に大きさ情報Ａ１２ｎに応じた大きさの注視点画像Ａ１０ｎを表示させてもよい。
【００７５】
これにより、一方の通信端末の利用者は、他方の通信端末の利用者に伝えられた注視点や注目の程度を自分でも確認することができる。
【００７６】
また、軌跡画像送信部１３０９が、軌跡画像Ａ１０ｍを軌跡画像表示制御部１３１１へ渡し、軌跡画像表示制御部１３１１がディスプレイ１１Ａ上に軌跡画像Ａ１０ｍを表示させてもよい。
【００７７】
これにより、一方の通信端末の利用者は、他方の通信端末の利用者に伝えられた過去の注視点やそのときの注目の程度を自分でも確認することができる。
【００７８】
また、上記動作では、一方の通信端末が注視点位置情報と大きさ情報を送信し、他方の通信端末が当該注視点位置情報が示す位置に当該大きさ情報が示す大きさの注視点画像を表示させたが、一方の通信端末が、当該注視点位置情報が示す位置に表示される当該大きさ情報が示す大きさの注視点画像を送信し、他方の通信端末が当該注視点画像を受信し表示させてもよい。
【００７９】
また、上記動作では、一方の通信端末が軌跡画像を送信し、他方の通信端末が当該軌跡画像を表示させたが、一方の通信端末が、当該軌跡画像の生成に必要な各注視点位置情報を送信するとともに、当該軌跡画像の生成に必要な各距離を通知し、他方の通信端末が当該各注視点位置情報と距離とを用いて、軌跡画像を生成し表示させてもよい。
【００８０】
また、上記動作では、注視点画像の大きさや軌跡画像の部分の太さを変化させたが、これらの色や形状や濃さを変化させてもよい。
【００８１】
以上説明したように、本実施の形態によれば、各通信端末は、ディスプレイと、当該通信端末を利用する利用者の眼球を撮像する眼球撮像カメラと、この眼球撮像カメラにより得られる眼球画像からディスプレイ上の注視点を検出し、眼球がディスプレイに近づいたときに短くなる距離を検出し、距離が閾値以下のとき、他方の通信端末の注視点表示処理手段を介して他方の通信端末のディスプレイ上に、当該注視点を表示させる注視点表示処理手段とを備えることで、利用者がディスプレイ上の注視点を注視しているときの自然な所作により、眼球がディスプレイに近づいたときには注視点が表示され、一方、利用者がディスプレイ上の注視点を実際には注視していないときの自然な所作により、眼球がディスプレイから離れたときには注視点が表示されないので、表示されて欲しくない注視点が表示されるのを防止でき、表示された注視点が注視されていると誤解されるのを防止できる。
【００８２】
また、注視点表示処理手段が、注視点を距離に応じた大きさで表示させることで、注視の程度が変化した利用者の自然な所作により距離が変化したときには、表示される注視点の大きさが変化するので、注視の程度を伝えまた知ることができる。
【００８３】
また、注視点表示処理手段が過去の注視点を時系列で連結したように表示される軌跡画像を生成し、当該軌跡画像を表示させることで、表示されて欲しくない注視点が表示されるのを防止できる等の効果が得られるとともに、過去の注視点を連結した軌跡画像が表示されるので過去の注視点を伝えまた知ることができる。
【００８４】
また、注視点表示処理手段は、眼球撮像カメラが利用者の眼球を撮像することで得られた眼球画像を画像処理することにより注視点を検出する注視点検出部と、距離を検出する距離検出部と、検出された距離が、予め記憶された閾値以下か否かを判定する距離判定部と、距離が閾値以下であると判定されたときに、注視点の位置を示す注視点位置情報を、他方の注視点表示処理手段へ送信する注視点位置情報送信部と、他方の注視点表示処理手段から送信された注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させる注視点画像表示制御部とを備えることで、表示されて欲しくない注視点が表示されるのを防止できる等の効果が得られる。
【００８５】
また、注視点表示処理手段は、注視点を検出する注視点検出部と、距離を検出する距離検出部と、検出された距離が、予め記憶された閾値以下か否かを判定する距離判定部と、検出された距離が閾値以下であると判定されたときに、注視点として表示される注視点画像の大きさを決定する注視点画像大きさ決定部と、注視点の位置を示す注視点位置情報を、決定された大きさを示す大きさ情報とともに、他方の注視点表示処理手段へ送信する注視点位置情報送信部と、他方の注視点表示処理手段から送信された注視点位置情報および大きさ情報を受信し、ディスプレイ上の注視点位置情報が示す位置に大きさ情報に応じた大きさの注視点画像を表示させる注視点画像表示制御部とを備えることで、表示されて欲しくない注視点が表示されるのを防止できる等の効果が得られるとともに、注視の程度が変化した利用者の自然な所作により距離が変化したときには、表示される注視点の大きさが変化するので、注視の程度を伝えまた知ることができる。
【００８６】
また、注視点表示処理手段は、注視点を検出する注視点検出部と、検出された注視点の位置を示す注視点位置情報が記憶される注視点位置情報記憶部と、距離を検出する距離検出部と、検出された距離が、予め記憶された閾値以下か否かを判定する距離判定部と、検出された距離が閾値以下であると判定されたときに、最も新しい注視点位置情報を、他方の注視点表示処理手段へ送信する注視点位置情報送信部と、注視点位置情報記憶部から複数の注視点位置情報を読み出し、読み出した注視点位置情報を用いて、これらの注視点を時系列で連結したように表示される軌跡画像を生成する軌跡画像生成部と、軌跡画像を他方の注視点表示処理手段へ送信する軌跡画像送信部と、他方の注視点表示処理手段から送信された注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させる注視点画像表示制御部と、他方の注視点表示処理手段から送信された軌跡画像を受信し、ディスプレイに軌跡画像を表示させる軌跡画像表示制御部とを備えることで、表示されて欲しくない注視点が表示されるのを防止できる等の効果が得られるとともに、過去の注視点を連結した軌跡画像が表示されるので過去の注視点を伝えまた知ることができる。
【００８７】
また、注視点表示処理手段は、注視点を検出する注視点検出部と、検出された注視点の位置を示す注視点位置情報が記憶される注視点位置情報記憶部と、距離を検出する距離検出部と、検出された距離が記憶される距離記憶部と、最も新しく検出された距離が、予め記憶された閾値以下か否かを判定する距離判定部と、最も新しく検出された距離が閾値以下であると判定されたときに、最も新しい注視点位置情報を、他方の注視点表示処理手段へ送信する注視点位置情報送信部と、注視点位置情報記憶部から複数の注視点位置情報を読み出し、距離記憶部から、これらの注視点位置情報に対応する注視点が検出されたときに検出された距離を読み出し、読み出した注視点位置情報および距離を用いて、これらの注視点を時系列で連結したように表示される軌跡画像であって各注視点の部分の太さが当該注視点が検出されたときに検出された距離に応じた太さである軌跡画像を生成する軌跡画像生成部と、軌跡画像を他方の注視点表示処理手段へ送信する軌跡画像送信部と、他方の注視点表示処理手段から送信された注視点位置情報を受信し、ディスプレイ上の注視点位置情報が示す位置に注視点画像を表示させる注視点画像表示制御部と、他方の注視点表示処理手段から送信された軌跡画像を受信し、ディスプレイに軌跡画像を表示させる軌跡画像表示制御部とを備えることで、表示されて欲しくない注視点が表示されるのを防止できる等の効果と、過去の注視点を伝えまた知ることができる効果とが得られるとともに、各注視点の部分の太さが当該注視点が検出されたときに検出された距離に応じた太さである軌跡画像が表示されるので、過去の注視の程度を伝えまた知ることができる。
【００８８】
また、上記注視点表示処理部としてコンピュータを機能させるコンピュータプログラムを、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に格納したり、インターネットなどの通信網を介して伝送させて、広く流通させることができる。
【図面の簡単な説明】
【００８９】
【図１】本発明に係る実施の形態の通信システムの構成図である。
【図２】通信端末１Ａの装置構成の説明図である。
【図３】注視点表示処理装置１３Ａの構成の説明図である。
【図４】表示された注視点画像と軌跡画像とを示す図である。
【符号の説明】
【００９０】
Ａ…利用者
Ａ０…眼球
Ａ１…視線
Ａ１０ｍ…軌跡画像
Ａ１０ｎ…注視点画像
Ａ１１，Ａ１１１，Ａ１１ｍ，Ａ１１ｎ，Ｂ１１ｎ…注視点位置情報
Ａ１２ｎ，Ｂ１２ｎ…大きさ情報
Ａ２…注視点
Ｂ１０ｍ…軌跡画像
Ｂ１０ｎ…注視点画像
Ｌ，Ｌ１，Ｌｎ…距離
Ｌｔｈ…閾値
１Ａ，１Ｂ…通信端末
２…ネットワーク
１１Ａ，１１Ｂ…ディスプレイ
１２Ａ…眼球画像撮像装置
１３Ａ，１３Ｂ…注視点表示処理装置
１２１…眼球撮像カメラ
１３０１…注視点検出部
１３０２…注視点位置情報記憶部
１３０３…距離検出部
１３０４…距離記憶部
１３０５…距離判定部
１３０６…注視点画像大きさ決定部
１３０７…注視点位置情報送信部
１３０８…軌跡画像生成部
１３０９…軌跡画像送信部
１３１０…注視点画像表示制御部
１３１１…軌跡画像表示制御部
【図１】
2006238224.tif 000003
【図２】
2006238224.tif 000004
【図３】
2006238224.tif 000005
【図４】
2006238224.tif 000006