(57)【要約】      （修正有）【課題】自分に視線を向けている者を容易に判断できる携帯情報端末およびプログラムを提供する。【解決手段】情報交換用携帯端末装置は、映像撮影部と、前記撮影部で撮影した映像に基づいて特定の方向への視線を検出する視線検出部と、前記視線検出部が前記視線を検出すると報知する報知部と、を備える。プログラムは、撮影する撮影手順と、撮影手順で撮影した映像に基づいて特定の方向への視線を検出する視線検出手順と、視線検出手順で視線を検出すると報知する報知手順と、をコンピュータに実行させる。【選択図】図１
2018186510.tif 000002
【特許請求の範囲】
【請求項１】
撮影部と、
前記撮影部で撮影した映像に基づいて特定の方向への視線を検出する視線検出部と、
前記視線検出部が前記視線を検出すると報知する報知部と、
を備える携帯情報端末。
【請求項２】
請求項１に記載の携帯情報端末であって、
前記特定の方向とは、前記携帯情報端末の使用者の目への方向である携帯情報端末。
【請求項３】
請求項１または２に記載の携帯情報端末であって、
前記報知部は、前記特定の方向への視線を検出すると、前記特定の方向への視線の視点の位置を示す指標を表示する表示部を備える携帯情報端末。
【請求項４】
請求項１乃至３のいずれか一項に記載の携帯情報端末であって、
性別と年代とを記憶する記憶部を更に備え、
前記報知部は、前記視線検出部が前記撮影部により撮影した映像に基づく性別および年代が前記記憶した性別および年代と一致すると、報知する携帯情報端末。
【請求項５】
請求項４に記載の携帯情報端末であって、
前記視線検出部が前記撮影部により撮影した映像に基づく性別および年代が前記記憶した性別および年代と一致すると、通信を行う通信部を更に備える携帯情報端末。
【請求項６】
請求項１乃至４のいずれか一項に記載の携帯情報端末であって、
前記携帯情報端末の使用者が注視する対象を検出する注視対象検出部と、
前記視線検出部が前記撮影部により撮影した映像に基づいて前記特定の方向への視線を検出し、前記注視対象検出部が前記特定の方向への視線を有する者への注視を検出すると、通信を行う通信部とを更に備える携帯情報端末。
【請求項７】
請求項１に記載の携帯情報端末であって、
前記撮影部が撮影した顔の特徴を算出する特徴量算出部と、
前記特徴量算出部によって算出した前記顔の特徴を記憶する記憶部とを備え、
前記報知部は、前記視線検出部が前記撮影部により撮影した映像に基づいて前記特定の方向への視線を検出し、前記視線を有する者が前記記憶部に記憶した前記特徴と類似すると、前記携帯情報端末の使用者に報知する携帯情報端末。
【請求項８】
請求項６に記載の携帯情報端末であって、
前記通信部は、前記視線検出部が前記撮影部により撮影した映像に基づいて前記特定の方向への視線を第１の期間内に第１の回数以上検出し、前記注視対象検出部が検出した注視対象と前記視線検出部が検出した前記特定の方向への視線を有する者が同一である回数が第２の期間内に第２の回数を超えると、通信を行う携帯情報端末。
【請求項９】
請求項６または８に記載の携帯情報端末であって、
前記携帯情報端末の使用者のウインク動作を検出する第１のウインク検出部と、
前記撮影部により撮影した映像から前記特定の方向への視線を有する者のウインク動作を検出する第２のウインク検出部と、を更に備え、
前記通信部は、前記第２のウインク検出部がウインク動作を検出し、かつ前記第１のウインク検出部がウインク動作を検出すると、通信を行う携帯情報端末。
【請求項１０】
請求項９に記載の携帯情報端末であって、
前記通信部は、第３の期間内に前記第２のウインク検出部が前記特定の方向への視線を有する者のウインク動作を第３の回数以上検出し、かつ前記注視対象検出部が前記特定の方向への視線を有する者への注視を検出した後の第４の期間内に前記第１のウインク検出部が前記携帯情報端末の使用者のウインク動作を第４の回数以上検出すると、通信を行う携帯情報端末。
【請求項１１】
撮影する撮影手順と、
前記撮影手順で撮影した映像に基づいて特定の方向への視線を検出する視線検出手順と、
前記視線検出手順で前記視線を検出すると報知する報知手順と、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯情報端末およびプログラムに関する。
【背景技術】
【０００２】
携帯端末には、基地局との通信に使用される通信手段だけでなく、近距離の端末と直接通信ができる無線ＬＡＮ（ＬｏｃａｌＡｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線、ＮＦＣ（ＮｅａｒＦｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）など多くの通信手段が内蔵されている。これら近距離通信を用いて携帯端末間で連絡先を交換することが、広く行われている。
【０００３】
例えば特許文献１に開示の発明によれば、通信範囲内の携帯端末と無線により連絡先を交換することができる。しかし、通信範囲内に複数の携帯端末が存在する場合には、携帯端末の使用者に確認を取らなければ、どの携帯端末と連絡先を交換しているかが明らかでないという問題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００９−５３６４８４
【発明の概要】
【発明が解決しようとする課題】
【０００５】
周囲に通信可能な端末が複数ある状態では、自分との通信を意図している者が存在したとしても知ることができない。
【課題を解決するための手段】
【０００６】
本発明の情報交換用携帯端末装置は、撮影部と、前記撮影部で撮影した映像に基づいて特定の方向への視線を検出する視線検出部と、前記視線検出部が前記視線を検出すると報知する報知部と、を備える。
本発明のプログラムは、撮影する撮影手順と、前記撮影手順で撮影した映像に基づいて特定の方向への視線を検出する視線検出手順と、前記視線検出手順で前記視線を検出すると報知する報知手順と、をコンピュータに実行させる。
【発明の効果】
【０００７】
本発明によれば、自分に視線を向けている者を容易に判断できる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施の形態における携帯端末のブロック図
【図２】携帯端末の使用状況および映像表示部の動作例を示す図（ａ：使用状況、ｂ：通常モード、ｃ：マーカーモード）
【図３】第１の実施の形態における主な動作を表すフローチャート
【図４】図３に示す工程の詳細を表すフローチャート
【図５】第１の実施の形態において２台の携帯端末が通信を開始するまでの動作を表す図
【図６】変形例５における映像表示部の動作例を示す図
【図７】変形例６におけるインタフェース表示の例を示す図
【図８】変形例６における携帯端末のブロック図
【図９】第２の実施の形態における主な動作を表すフローチャート
【図１０】第３の実施の形態における学習動作を表すフローチャート
【図１１】第３の実施の形態における主な動作を表すフローチャート
【図１２】変形例９における携帯端末のブロック図
【図１３】第４の実施の形態におけるシステムのブロック図
【図１４】第４の実施の形態における携帯端末の探索イメージ図
【図１５】第４の実施の形態における携帯端末の動作を表すフローチャート
【図１６】第４の実施の形態におけるマッチングサーバの動作を表すフローチャート
【発明を実施するための形態】
【０００９】
（第１の実施の形態）
以下、図１〜図５を参照して、本発明の第１の実施の形態について説明する。
まず、本発明の第１の実施の形態の構成について説明する。
図１は、携帯端末１００の構成を示すブロック図である。携帯端末１００は、体に装着できる携帯端末であり、例えばメガネのように頭に固定する。
【００１０】
映像撮影部１０１は、図示しないカメラを備え、制御部１１４が、携帯端末１００を身につけた者（以下、ユーザという）の周囲の被写体を撮影する。カメラは目の付近にあるので、カメラで撮影して得られた映像の中心への視線は、携帯端末１００を装着している者の目への視線とみなすことができる。カメラは広角を撮影できるレンズを装着していること、もしくは複数台のカメラを備えることが望ましい。
【００１１】
映像表示部１０２は、図示しない小型ディスプレイなどを備え、２つの動作モードを有する。通常モードでは、映像撮影部１０１で撮影したリアルタイム映像をそのまま表示し、マーカーモードでは、映像撮影部１０１で撮影したリアルタイム映像にマーカーを付して表示する。このマーカーの表示位置は制御部１１４から指定される。また、ユーザが入力部１０６から入力した情報も映像表示部１０２に表示される。制御部１１４が表示位置を指定して映像表示部１０２にデータを出力すると、映像表示部１０２の指定された位置に表示される。
【００１２】
本発明の実施の形態に係る携帯端末１００は、信号待ちや電車の中など、不特定多数が短時間だけ近距離（数メートル程度）にいる場合に主に使用される。ユーザ同士は、視線が合うと、直接話しかけたり物理的な接触をすることなく、無線により相互に情報交換をすることができる。
この実現のために指向性通信を用いる。この理由は以下のとおりである。周囲の端末に一斉に情報を送信することは容易に実現できるが、意図しない人にも受信される恐れがあり、また受信しても誰が送信したのかが不明である。そこで次にネットワーク上の識別子を用いて、１：１の通信をすることが考えられるが、事前の情報交換をしないので相手のネットワーク上の識別子が不明である。さらに、通信を暗号化することも考えられるが、事前に情報の共有を行わないため、暗号化キー（パスワード）が不明である。そのため、指向性通信を行う。
【００１３】
図２ａ〜図２ｃは、携帯端末１００の使用状況および、映像表示部１０２の動作モードの違いによる表示の変化例を示したものである。図２ａに示すように、携帯端末１００を装着した甲の前に同じく携帯端末１００を装着した乙、丙、丁、戊の４人が立っており、左から３番目の丁だけが甲に視線を送っている。図２ｂおよび図２ｃは甲が装着する携帯端末１００の映像表示部に表示されている映像である。図２ｂに示す通常モードでは、撮影した映像がそのまま表示され、図２ｃに示すマーカーモードでは、制御部１１４が視線を検出した位置を映像表示部１０２に指定し、マーカーＭを付した映像が表示される。
【００１４】
他者視線検出部１０３は、既知の視線検出手法により、映像撮影部１０１で撮影した映像から、映像の中心への視線を有する者の有無、および画面上の位置を制御部１１４に出力する。例えば以下の手法による。
まず、映像撮影部１０１で撮影した映像から静止画を切り出し、エッジ検出やパターン検出などの手法により、この静止画から人の顔を検出する。次に、検出した人の顔の画像に対して、黒目と目尻の位置から注視方向を判別することができる（特開２００３−２５６８２号公報）。この視線の方向が映像の中心と合致すれば、その者の顔の位置を制御部１１４に出力し、視線の方向が合致しない、もしくは顔を検出できなかった場合は「視線なし」と制御部１１４に出力する。
【００１５】
自己視線検出部１０４は、図示しない赤外線カメラなどを備え、ユーザの視線の方向を制御部１１４に出力する。赤外線カメラでユーザの眼球を撮影し、既知の視線検出手法によりユーザの視線の方向を検出する。例えば、瞳孔の中心と角膜曲率中心位置から視線を検出する手法が知られている。この検出された視線と、映像撮影部１０１で撮影する映像とを組み合わせることによって、ユーザが見ている対象が特定される。
【００１６】
通信部１０５は、図示しない通信用回路、無指向性アンテナ、指向性アンテナおよびアンテナ可動装置などを備える。制御部１１４により、通信の開始および停止だけでなく、アンテナ可動装置の制御およびアンテナの電気的接続が制御される。すなわち、携帯端末１００は制御部１１４により、アンテナの向きを変えることによる特定の方向への通信や、電気的な回路切換えによる無指向性通信／指向性通信の切換えがなされる。制御部１１４によるアンテナの操作は、以下に示すフローチャートによる動作だけでなく、携帯端末１００のユーザによるマニュアル操作も受け付けるため、制御部１１４を介して携帯端末１００のユーザが指向性アンテナを利用して通信する方向を自由に操作できる。
【００１７】
入力部１０６は、タッチセンサなどを備え、ユーザがタッチセンサを触るタイミング、長さ、間隔などを制御部１１４に伝達する。また、映像撮影部１０１で撮影されたユーザの特定の指の動きや、自己視線検出部１０４で検出された、ユーザの特定の黒目の動きなどを、制御部１１４に入力として伝達することもできる。
【００１８】
顔特徴量算出部１０７は、目、鼻、唇の各端点や相互位置関係、顔の輪郭、顔の色彩や明度の分布などを既知の手法により、顔の特徴量として算出する。
【００１９】
顔特徴データベース１０８は、年齢や性別で分類された人の顔の画像を顔特徴量算出部１０７に入力し、得られた特徴量を保存しており、性別・年代推定部１１０にて利用される。また、映像撮影部１０１で撮影した映像を顔特徴量算出部１０７に入力し、得られた特徴量を新たに保存することができる。
【００２０】
顔類似度判定部１０９は、後述する２つにグループ分けされた複数の特徴量を用いて学習し、新たに入力された特徴量がどちらのグループに近いかを判定し、制御部１１４に出力する。この判定には、既知の手法を用いることができ、例えば特開２００４−２２２１１８号公報に開示されている、サポートベクタマシンを利用する手法を用いることができる。
【００２１】
性別・年代推定部１１０は、入力された顔の性別および年代を既知の手法により判定し、制御部１１４に出力する。顔特徴データベース１０８には、性別・年代が既知である複数の顔の特徴量が登録されているので、例えば顔類似度判定部１０９を利用して、判断対象の顔の特徴量が、任意に形成する２グループのどちらに属するかを繰り返し判定し、性別と年代を判定できる。
【００２２】
データ保存部１１１は、図示しないフラッシュメモリなどを備え、図３以降に示すフローチャートを実行するプログラム等を格納している。これらのプログラムは、制御部１１４により実行される。
【００２３】
報知部１１２は、図示しないスピーカー、ランプ、振動子などを備え、制御部１１４からの制御により動作する。位置検出部１１３は、図示しないＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機などを備え、制御部１１４による携帯端末１００の位置算出に使用される。
【００２４】
制御部１１４は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭなどを備える。ＣＰＵは、ＲＯＭやデータ保存部１１１に保存したプログラムをＲＡＭに展開して実行する。
【００２５】
以下、第１の実施の形態の動作を説明する。
制御部１１４が実行する処理を、図３を参照し説明する。制御部１１４は、一定時間ごと（例えば１分ごと）に図３のフローチャートで示すプログラムを実行する。ただし前回の実行が完了していない場合には、完了するまで実行を待機する。以下の説明で特に明示しない場合は、各ステップの実行主体は制御部１１４のＣＰＵである。
【００２６】
ステップＳ２０１では、制御部１１４は、他者視線検出部１０３からユーザを見ている視線についての情報（視線なし、もしくは視線を有する顔の位置）を受け取り、ステップＳ２０２に進む。
【００２７】
ステップＳ２０２では、制御部１１４は、視線の検出の有無を判断し、ユーザへの視線がある場合にはステップＳ２０３へ進み、ユーザへの視線がない場合はステップＳ２０８に進む。
【００２８】
ステップＳ２０３では、制御部１１４は、映像表示部１０２をマーカーモードにセットし、他者視線検出部１０３が出力した顔の位置をマーカー位置として映像表示部１０２に指示してステップＳ２０４に進む。そのため、映像表示部１０２が通常モードに変更されるまでは、映像表示部１０２には、映像撮影部１０１が撮影したリアルタイムの映像に、制御部１１４が指定した位置に固定のマーカーを付したものが表示される。
【００２９】
ステップＳ２０４では、制御部１１４は、ステップＳ２０１において視線を検出した者と通信をするために、通信部１０５の図示しない指向性アンテナを物理的および電気的に操作し、ステップＳ２０５へ進む。物理的には、指向性アンテナの強く電波を放射する方向を、ステップＳ２０１において視線を検出した者の方向へ向ける。電気的には、指向性アンテナと通信用半導体とを接続する。
【００３０】
ステップＳ２０５では、制御部１１４は、通信部１０５を用いて通信を試み、その後にステップ２０６に進む。このとき通信部１０５は、一定時間ごとに送信または受信をランダムに切り替えて、ある期間が経過するまで通信を試みる。第１の実施の形態においては事前に通信相手と、通信方式や各種パラメータをそろえることはできるが、通信のタイミングおよび通信の方向（送信側／受信側）を決めることができないためである。ステップＳ２０５の詳細は図４を使用して後に説明する。
【００３１】
ステップＳ２０６では、図４における通信の可否を判断し、通信が成立した場合はステップＳ２０７に進み、通信が失敗した場合は図３のフローチャートを終了する。
【００３２】
ステップＳ２０７では、制御部１１４は、相手と連絡先や写真の交換、もしくは写真撮影の許可を与える。連絡先とは、電話番号、メールアドレス、ＳＮＳ（ＳｏｃｉａｌＮｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）アカウントなどである。これらの全ての情報を交換してもよいが、携帯端末１００のユーザが予め一部だけを選択、もしくは連絡先を交換する際に入力部から選択してもよい。
【００３３】
ステップＳ２０８では、ユーザの方向に向く視線が検出されなかったので、制御部１１４は、映像表示部１０２を通常モードにセットして図３のフローチャートを終了する。そのため、映像表示部１０２がマーカーモードに変更されるまでは、映像撮影部１０１で撮影したリアルタイムの映像が、そのまま映像表示部１０２に表示される。
【００３４】
図４は、図３のステップＳ２０５において実行する、通信の試行を説明するフローチャートである。このフローチャートで示すプログラムにより、制御部１１４は通信が成立するかを確認する。
【００３５】
ステップＳ３０１では、制御部１１４は、事前に決めていた通信パラメータ、応答待ち時間Ｔ、最大試行回数Ｎをデータ保存部１１１から読み込み、ステップＳ３０２に進む。通信パラメータとは例えば、赤外線通信（ＩｒＤＡ−ＩｎｆｒａｒｅｄＤａｔａ Ａｓｓｏｃｉａｔｉｏｎ）の場合には通信速度やパリティビットなどである。
【００３６】
ステップＳ３０２では、制御部１１４は、通信モードをランダムに決定してステップＳ３０３に進む。例えば、通信モードを送信にするのか受信にするのかをランダムに決定する。
【００３７】
ステップＳ３０３では、制御部１１４は、ステップＳ３０１で読み込んだ通信パラメータを用いて時間Ｔの期間通信を試み、ステップＳ３０４に進む。なお、通信が成立することを確かめることが目的であるため、電文内容は特に問わない。
【００３８】
ステップＳ３０４では、制御部１１４は、ステップＳ３０３での通信（送信または受信）が成功したか否かを判断する。通信が成立した場合には「通信が成立した」として図４のフローチャートを終了して図３のステップＳ２０６に戻り、通信が失敗した場合にはステップＳ３０５に進む。
【００３９】
ステップＳ３０５では、制御部１１４は、通信の試行回数が最大試行回数Ｎを超過しているかを判断する。超過している場合は「通信が失敗した」として図４のフローチャートを終了して図３のステップＳ２０６に戻り、超過していない場合は、ステップＳ３０２に戻り、通信の試行を続ける。
【００４０】
なお、応答待ち時間Ｔおよび最大試行回数Ｎは、使用する通信規格の接続確立時間、および携帯端末１００の使用環境における人の流動性の高さにより調整する。応答待ち時間Ｔは、通信する２台の携帯端末１００の周期ずれを考慮すると、使用する通信規格の接続確立時間の約２倍が望ましい。
【００４１】
次に、携帯端末１００を所持する者同士の通信の例を図３および図５を参照して説明する。
図５は甲の所持する携帯端末１００ａと丁の所持する携帯端末１００ｂとの通信が始まるまでの過程を示している。図５の左側が携帯端末１００ａもしくは甲の動作を、図５の右側が携帯端末１００ｂもしくは丁の動作を表す。また、図の上から下に向かって時間が流れており、図中の電気（雷）マークは通信用の電波発信を開始したことを、目のマークは甲または乙が相手の目を見はじめたことを示す。
【００４２】
時刻ｔ１において、甲の携帯端末１００ａの制御部１１４は、甲への他者視線検出を試みたが（図３のステップＳ２０１）視線を検出できなかったので映像表示部１０２を通常モード（図３のステップＳ２０８）とした。そのため、携帯端末１００ａの映像表示部１０２には、映像撮影部１０１が撮影したままの映像（図２ｂ）が表示されている。
【００４３】
時刻ｔ２において、丁が甲を見はじめたが、携帯端末１００ａの他者視線検出のタイミングではなかったため、携帯端末１００ａの映像表示部１０２に変化はない。
【００４４】
時刻ｔ３において、携帯端末１００ａの制御部１１４は、再び他者視線検出を行い（図３のステップＳ２０１）、丁の視線を検出した。そのため、携帯端末１００ａの制御部１１４は、映像内での乙の位置を特定し、映像表示部１０２に対してマーカーモードに変更すること、およびマーカーを表示すべき位置を指定した（図３のステップＳ２０３）。
【００４５】
時刻ｔ４において、先の処理に継続して、携帯端末１００ａの制御部１１４は、アンテナの向きを丁に向け（図３のステップＳ２０４）、丁に向けて通信を試行する（図３のステップＳ２０５）。しかし、このとき丁の携帯端末１００ｂは、まだ通信を開始していないため通信は成立しない（図３のステップＳ２０６：ＮＯ）。
【００４６】
すでに時刻ｔ４において携帯端末１００ａの映像表示部１０２は、マーカーモードになっており、図２ｃに示すように、甲を見ている丁にマーカーＭが付されている。しかし、甲は表示されたその瞬間には気づくことができなかった。
時刻ｔ５において、甲は映像表示部１０２に表示されており、マーカーが付された丁に気付き、丁を見た。
【００４７】
時刻ｔ６において、丁の携帯端末１００ｂの制御部１１４は、他者視線検出（図３のステップＳ２０１）により甲の視線を検出したので（図３のステップＳ２０２：ＹＥＳ）、甲の位置を特定して映像表示部１０２のモードを変更した。さらに、甲に指向性アンテナを向けて（図３のステップＳ２０４）、時刻ｔ７に甲の携帯端末１００ａとの通信試行（図３のステップＳ２０５）を開始した。
【００４８】
このとき、携帯端末１００ａの制御部１１４は、丁の視線を検出し続けているため、携帯端末１００ｂに向けた通信の試行を継続しており、時刻ｔ７において通信が成立する（図３のステップ２０６：ＹＥＳ）。したがって、このあと甲と丁でデータ交換（図３のステップ２０７）を行う。
【００４９】
この第１の実施の形態によれば、携帯端末１００は、周囲の被写体を撮影する映像撮影部１０１と、映像撮影部１０１で撮影した映像を表示する映像表示部１０２と、映像撮影部１０１で撮影した映像から視線を検出する他者視線検出部１０３と、指向性の通信が可能な通信部１０５とを備え、他者視線検出部１０３が映像撮影部１０１により撮影した映像から特定の方向への視線を検出した際に、通信部１０５が通信を開始するので、携帯端末１００を装着しており視線が合った者同士で通信をすることができる。
【００５０】
また、携帯端末１００は、映像撮影部１０１により撮影した映像から他者視線検出部１０３により特定の方向への視線を検出した際に、その特定の方向への視線の始点を示すマーカーを映像表示部１０２に表示するため、携帯端末１００の所持者は自分へ視線を注いでいる者の存在をいち早く知ることができる。また、撮影映像にマーカーを重ねて表示しているため、携帯端末１００の所持者は、自分へ視線を向けている者を容易に判断できる。
【００５１】
（変形例１）
第１の実施の形態では、通信の試行（図４のステップＳ３０３）において、電文内容を特に問わなかったが、通信の暗号化に必要な情報の送受信をして、後の通信（図３のステップＳ２０７）では暗号化された通信を行ってもよい。例えば、無線ＬＡＮのＳＳＩＤ（Service Set Identifier）および暗号化キー（パスワード）を送受信する。そして、後の通信においては無指向性アンテナを用い、上記ＳＳＩＤおよび暗号化キーを用いて通信してもよい。
この変形例１によれば、通信先の装置を限定したままで、安定した高速な通信を行うことができる。指向性アンテナは、通信先の装置を限定するために用いたが、携帯端末１００の位置や姿勢の変化、通信先の端末の位置や姿勢の変化により通信速度が低下することや通信が切断される恐れがある。そこで、無指向性アンテナを用いながらも暗号化された通信に必要な情報を送受信することで、通信先を限定したままで安定した通信を行うことができる。
【００５２】
（変形例２）
映像撮影部１０１は、全周囲を撮影できるカメラとしてもよい。例えば携帯端末１００をメガネ型として、メガネの前面、左右のテンプルに小型カメラを埋め込み、水平３６０度を撮影できるカメラとしてもよい。
この変形例２によれば、ユーザの視界外から視線を受けていても、ユーザはその視線に気づくことができる。他者視線検出部１０３が視線を検出すると、ユーザへ視線を送っている者にマーカーを付して、映像表示部１０２に表示するからである。
【００５３】
（変形例３）
ユーザが図３のステップＳ２０７に示すデータ交換に成功した後で、新たに人物データベースを構築して、得られた情報を保存してもよい。また、年齢および性別を性別・年代推定部１１０により判定し、その出力をあわせて保存してもよい。さらに、通信部１０５が図３のステップＳ２０５に示す通信を開始した際に位置検出部１１３により位置を検出し、映像撮影部１０１がユーザへ視線を送っている者を撮影した映像、もしくはその映像から切り出した画像とともに保存してもよい。
この変形例３によれば、データ交換をした相手の写真とデータがあわせて保存されるため、その人物を思い出しやすいという利点がある。さらに多少離れた位置から相手を撮影することにより、全身を撮影できるため、服装や持ち物も同時に記録されることとなり、その人物について思い出すきっかけを多く得ることができる。
【００５４】
（変形例４）
携帯端末１００の形状はメガネのように頭に固定できる端末に限定されず、肩や胸に固定する端末や、板状や折り畳み形状の手で保持する端末でもよい。この場合は、映像撮影部１０１のカメラの位置と携帯端末１００の所持者の目の位置が一致しないので、両者の位置関係を予めユーザが携帯端末１００に入力し、他者視線検出部１０３が検出すべき視線の方向を補正する。
また、手で保持する端末の場合は、使用時にユーザの顔の前に保持することにより、第１の実施形態における携帯端末１００と同じ働きをさせることができる。
変形例４によれば、多彩な端末を使用することができる。
【００５５】
（変形例５）
第１の実施の形態では、映像表示部１０２がマーカーモードにセットされると、映像表示部１０２は制御部１１４から指定された位置、すなわち制御部１１４が視線を検出した位置にマーカーＭを付して映像が表示を表示したが、マーカーモードにおける映像表示部１０２の表示はこれに限定されない。以下のようにして、図６に示すように、制御部１１４が視線を検出した者の心拍数を模式化したものをマーカーＭに併記してもよい。
心拍により顔の血液が増加すると顔表面の光吸収量が増加し、顔の血液が減少すると顔表面の光吸収量が減少することを利用する。他者視線検出部１０３が視線を検出した位置の周囲、すなわちユーザへの視線を有する者の顔を対象として、映像撮影部１０１により撮影され映像を解析し、制御部１１４が顔の光の吸収量の増加と減少のサイクル数をカウントすることにより、ユーザへの視線を有する者の心拍数を測定できる。そして、制御部１１４が心拍数の多さを５段階評価し、心拍数が多いほど多くのハートマークをマーカーＭに併記するように映像表示部１０２に出力する。
【００５６】
（変形例６）
第１の実施の形態では、通信が成立すると（図３のステップＳ２０６：ＹＥＳ）ユーザが入力部１０６への入力により送信する連絡先情報を選択していたが、選択方法は入力部１０６からの選択に限定されない。通信が成立すると制御部１１が図７に示すインタフェース９００を映像表示部１０２に表示させる位置を指定して映像表示部１０２に表示させ、ユーザによる目の動作により送信項目および写真撮影可否を選択してもよい。
【００５７】
インタフェース９００には、写真撮影を行うか否かの選択を行うフィールド、およびユーザに関する情報の送信を行うか否かの選択を行うフィールド、および決定ボタンが設けられている。ユーザに関する情報は、たとえばニックネーム、メールアドレス、電話番号、ＳＮＳアカウント、本名、などがある。写真撮影を行う場合は、マーカーＭを含む映像表示部１０２に表示されている画像、もしくはマーカーが付されている人物のみの画像が、データ保存部１１１に保存される。図７に示すインタフェース９００では鉤括弧が選択状態を表しており、現在の設定は写真撮影を行い、ニックネームの送信は行うが、メールアドレス、電話番号、ＳＮＳアカウント、および本名は送信しないことを表している。初期状態では全てＮＯが選択されており、写真撮影も、いずれのデータの送信も行わない設定になっている。
【００５８】
ユーザによる目の動作は、たとえば、ウインクと注視がある。ウインクは、意図的に目を短い時間閉じる行為であり、生理的な現象であるまばたきに比べて目が閉じられている時間が長い。注視は、映像表示部１０２へ表示された図７に示すインタフェース９００への、ユーザの注視である。変形例６において携帯端末１００は、図８に示すように自己ウインク検出部１２１と表示注視検出部１２２とをさらに備える。
【００５９】
ウインクを検出する自己ウインク検出部１２１は、左右の目に対応する２つの反射型フォトインタラプタを備え、ウインクを検出すると左右どちらの目かの情報とともに制御部１１４にウインクの検出を出力する。反射型フォトインタラプタは、赤外線を照射し、物体により反射された赤外線を受光する。眼球と皮膚では赤外線の反射率が異なるため、反射型フォトインタラプタが照射する赤外線を常時目に当てて赤外線の受光量を監視することで、目を閉じていた時間を計測することができる。目を閉じていた時間が所定の時間、たとえば０．２秒から１．０秒の場合をウインクとして認識することができる。
【００６０】
制御部１１４は、たとえば左目のウインクが自己ウインク検出部１２１から出力されるとカーソルＣを一段下に移動させ、右目のウインクが出力されると選択子のトグル動作を行う。左目のウインクによりカーソルＣが「決定」に移動された状態において、右目のウインクが出力されると、制御部１１４は選択した項目の送信、および選択にしたがった写真撮影が行われる。すなわち、図７に示すようにカーソルＣがニックネームの欄にある場合に、自己ウインク検出部１２１から制御部１１４に左目のウインク検出が出力されると、カーソルＣはメールアドレスの欄に移動する。また、図７に示す状態において自己ウインク検出部１２１から制御部１１４に右目のウインク検出が出力されると、ニックネーム欄においてＮＯが選択される。図７に示す状態において、「決定」にカーソルＣをあわせられている状態において右目のウインクが出力されると、写真撮影およびニックネームの送信が行われる。なお、片目のウインクのみを検出し、ウインクを検出した時間の間隔により２種類のウインクを判別してもよい。
【００６１】
注視を検出する表示注視検出部１２２は、自己視線検出部１０４が出力するユーザの視線の方向、および映像表示部１０２にインタフェース９００を表示させた位置を制御部１１４から取得する。そして、ユーザの視線が所定の時間、たとえば２秒間動かなかった場合にユーザが何かに注視していると判断して、ユーザの注視している対象をユーザの視線の方向および映像表示部１０２にインタフェース９００を表示させた位置から判別し、制御部１１４に出力する。制御部１１４は、表示注視検出部１２２からユーザが注視した対象が出力されると、注視対象が選択項目であれば注視対象を選択状態にし、注視対象が「決定」であれば選択した項目の送信、および選択にしたがった写真撮影を行う。すなわち図７に示す状態において、ユーザが電話番号の欄のＹＥＳを注視したこと、およびその後に「決定」を注視したことを表示注視検出部１２２が検出すると、制御部１１４は表示注視検出部１２２の出力を受けて、写真撮影およびニックネームと電話番号の送信を行う。
【００６２】
以上説明した変形例６によれば、以下の作用効果を奏する。
（１）撮影した映像を記録するデータ保存部１１１と、携帯端末１００のユーザが注視している映像表示部１０２の位置を検出する表示注視検出部１２２と、他者視線検出部１０３が映像撮影部１０１により撮影した映像に基づいてユーザへの視線を検出した際に、ユーザに関する情報の送信の有無および／または写真撮影の有無を選択するインタフェース９００を映像表示部１０２に出力する制御部１１４と、を備える。制御部１１４は、ユーザによるインタフェース９００における選択を表示注視検出部１２２により検出する。そして、ユーザの選択に基づいて、映像撮影部１０１により特定の方向への視線を有する者を撮影してデータ保存部１１１に記録、および／またはユーザが選択したユーザに関する情報を通信部１０５により送信する。
【００６３】
そのため、ユーザは注視するだけで写真撮影の有無や送信項目を選択することができ、操作が簡便である。また、両手に荷物を持っている場合や電車で吊革につかまっている場合など、手を使用できない場合にも操作をすることができる。
【００６４】
（２）撮影した映像を記録するデータ保存部１１１と、ユーザのウインク動作を検出する自己ウインク検出部１２１と、他者視線検出部１０３が映像撮影部１０１により撮影した映像に基づいてユーザへの視線を検出した際に、ユーザに関する情報の送信の有無および／または写真撮影の有無を選択するインタフェース９００を映像表示部１０２に出力する制御部１１４と、をさらに備える。制御部１１４は、ユーザによるインタフェース９００における選択を自己ウインク検出部１２１により検出する。そして、ユーザの選択に基づいて、映像撮影部１０１により特定の方向への視線を有する者を撮影してデータ保存部１１１に記録、および／またはユーザが選択したユーザに関する情報を通信部１０５により送信する。
【００６５】
そのため、ユーザはウインクをするだけで写真撮影の有無や送信項目を選択することができ、操作が簡便である。また、ウインク動作は素早い動作が可能なため、操作が短時間で済む利点がある。
【００６６】
なお、ウインクの検出に自己視線検出部１０４の備える赤外線カメラを利用し、赤外線カメラが得た画像からユーザの黒目を認識できない場合にユーザが目を閉じていると判断し、ウインクを検出してもよい。
なお、送信項目および写真撮影可否の選択は、ウインクと注視を併用してもよいし、いずれか片方のみを使用してもよい。インタフェース９００に表示する項目は、送信の可否を選択する送信項目と写真撮影の可否を選択する項目の少なくとも１つを含む。
【００６７】
（変形例７）
第１の実施の形態では、ユーザへ視線を送っている者へ送信するのはユーザに関する情報であったが（図３のステップＳ２０７）、送信する情報はこれに限定されない。たとえば、ユーザへ視線を送っている者へメッセージを送信してもよい。また、ユーザへ視線を送っている者からその者に関する情報のほかにメッセージが送信された場合は、その両方を受信してもよい。
【００６８】
図３のステップＳ２０７において、送信する情報を入力部から選択する際に、メッセージの作成および送信を選択肢の１つとして設ける。ユーザによりメッセージの作成および送信が選択され、入力部からの文字入力、または不図示のマイクによる音声入力が行われると、制御部１１４はこれをメッセージとして送信する。
この変形例７によると、以下の作用効果を奏する。
【００６９】
（１）他者視線検出部１０３が映像撮影部１０１により撮影した映像に基づいてユーザへの視線を検出した際に通信部１０５により開始される通信には、音声または文字によるメッセージの送信または／および受信を含む。
そのため、ユーザはユーザに関する情報の授受だけでなく即座にメッセージの送受信により意思疎通を図ることができ、即時性が求められるコミュニケーションにおいて有用である。また、入手したユーザの情報、たとえば携帯電話のメールアドレスを使用してメッセージを送信することもできるが、通信回線の混雑などにより相手が即座には受信できないこともあるため、変形例７によれば他の通信手段の障害に影響されることなくメッセージを伝達できる利点がある。さらに、メールアドレスなどユーザに関する情報を互いに一切知らせることなくメッセージを伝達できる利点がある。
【００７０】
（第２の実施の形態）
以下、図９を参照して本発明の第２の実施の形態を説明する。
【００７１】
第２の実施の形態における構成は、第１の実施の形態における構成とほぼ同一で、携帯端末１００のブロック図は第１の実施の形態で説明した図１と同一である。ただし、データ保存部１１１に保存されているプログラムが異なる。また、データ保存部１１１には、ユーザが入力する、好みの性別および年代も保存されている。
【００７２】
以下、第２の実施の形態の動作を説明する。
図９のフローチャートに示すプログラムは、第１の実施の形態における図３のフローチャートに示すプログラムに代わって、第２の実施の形態において制御部１１４が実行する。第１の実施の形態の図３の処理と同じ内容のステップには同じステップ番号を付してその説明を省略する。すなわち、第２の実施の形態では、第１の実施の形態のステップＳ２０２の後にステップＳ４０１とステップＳ４０２が追加された点のみが異なる。
【００７３】
ステップＳ４０１では、制御部１１４は、ステップＳ２０１で他者視線検出部１０３に視線を検出された者の顔画像を、性別・年代推定部１１０に入力して性別と年代を推定し、ステップＳ４０２に進む。
【００７４】
ステップＳ４０２では、制御部１１４は、ステップＳ４０１で推定した性別および年代が、データ保存部１１１に保存している、好みの性別および年代と一致するかを判断する。性別と年代の両方が一致する場合はステップＳ２０３に進み、いずれか一方でも一致しなければステップＳ２０８に進む。
【００７５】
この第２の実施の形態によれば、携帯端末１００は、ユーザが好みの性別と年代とを入力する入力部１０６と、映像撮影部１０１により撮影した映像から性別および年代を推定する性別・年代推定部１１０とを更に備え、他者視線検出部１０３が映像撮影部１０１で撮影した映像から特定の方向への視線を検出した際に、性別・年代推定部１１０がその視線を有する者の性別および年代を推定し、それらが入力した性別および年代と一致した場合に通信部１０５が通信を開始することを特徴とする。
【００７６】
そのため、ユーザが好む性別・年代以外の人からの視線を検出しても、携帯端末１００はあたかも視線を検出しなかったかのように振舞う。すなわち、通信を開始しないだけでなく、映像表示部１０２にマーカーも表示しないので、ユーザは不要な情報を目にすることがなくなる。
【００７７】
（第３の実施の形態）
以下、図１０〜図１１を参照して、本発明の第３の実施の形態を説明する。
【００７８】
第３の実施の形態における構成は、第１の実施の形態における構成とほぼ同一で、携帯端末１００のブロック図は第１の実施の形態で説明した図１と同一である。ただし、データ保存部１１１に保存されているプログラムは異なる。また、顔特徴データベース１０８には、ユーザが注視した顔の特徴量を保存する顔特徴データベース１０８Ｐと、ユーザが注視しなかった顔の特徴量を保存する顔特徴データベース１０８Ｎを含む。
【００７９】
以下、第３の実施の形態の動作を説明する。
図１０は、制御部１１４が実行するプログラムの処理を示すフローチャートである。以下の説明で特に明示しない場合は、各ステップの実行主体は制御部１１４のＣＰＵである。
【００８０】
制御部１１４は、一定時間ごと（例えば１分ごと）に図１０のフローチャートを実行して、ユーザの注視の有無によりユーザの好む顔のタイプであるかを判断し、ユーザの好む顔のタイプの顔特徴データベース１０８Ｐと、そうではないタイプの顔特徴データベース１０８Ｎを構築する。
【００８１】
ステップＳ５０１では、制御部１１４は、ある長さの時間にわたって、繰り返し自己視線検出部１０４によりユーザの視線を検出して、ステップＳ５０２に進む。例えば、図１０のフローチャートを１分ごとに実行する場合は、５０秒間視線を検出する。このとき、視線を検出するのは片目だけでもよいが、ステップＳ５０２においてユーザが注視していた対象を精度よく特定するために両目が望ましい。
【００８２】
ステップＳ５０２では、制御部１１４は、映像撮影部１０１が撮影した映像とユーザの視線が一定時間固定されていた位置の情報を組み合わせて、ユーザが注視していた対象を特定し、ステップＳ５０３に進む。
【００８３】
ステップＳ５０３では、制御部１１４は、ユーザが注視していた対象が人か否かを判断する。例えばエッジ検出やパターン検出などの手法により、ユーザが注視していた対象が人の顔であると推定できた場合は、ユーザが注視していた対象が人であると判断できる。注視していた対象が人の場合はステップＳ５０４に、注視していた対象が人でない場合はステップＳ５０６に進む。
【００８４】
ステップＳ５０４では、制御部１１４は、ユーザが注視していた人の顔の特徴量を顔特徴量算出部１０７により算出し、ステップＳ５０５に進む。ステップＳ５０５では、ステップＳ５０４で算出した特徴量を顔特徴データベース１０８Ｐに保存して、ステップＳ５０６に進む。
【００８５】
ステップＳ５０６では、映像撮影部１０１で撮影した映像内に、ユーザが注視した人の他にも映像撮影部１０１へ顔を向けていた人がいたかを判断する。他にも顔を向けていた人がいた場合にはステップＳ５０７に進み、他に顔を向けていた人がいない場合は図１０のフローチャートを終了する。
【００８６】
ステップＳ５０７では、ステップＳ５０４と同様に顔特徴量を算出し、ステップＳ５０８ではそれを顔特徴データベース１０８Ｎに保存して、図１０のフローチャートを終了する。
【００８７】
図１１のフローチャートに示すプログラムは、第１の実施の形態における図３のフローチャートに示すプログラムに代わって、第３の実施の形態において制御部１１４が実行する。第１の実施の形態の図３の処理と同じ内容のステップには同じステップ番号を付してその説明を省略する。すなわち、第３の実施の形態では、第１の実施の形態のステップＳ２０２の後にステップＳ６０１〜ステップＳ６０３が追加された点のみが異なる。
【００８８】
ステップＳ６０１では、制御部１１４は、ステップＳ２０１で他者視線検出部１０３に視線を検出された者の顔画像を顔特徴量算出部１０７に入力して顔特徴量を算出し、ステップＳ６０２に進む。ステップＳ６０２では、制御部１１４は、ステップＳ６０１で算出した特徴量が、顔特徴データベース１０８Ｐに保存されている特徴量と、顔特徴データベース１０８Ｎに保存されている特徴量の、どちらに近いかを判断する。この判断には、顔類似度判定部１０９を用いることができる。その判断の結果、顔特徴データベース１０８Ｐに近い場合はステップＳ６０３に、顔特徴データベース１０８Ｎに近い場合はステップＳ２０８に進む。ステップＳ６０３では、制御部１１４は、報知部１１２を始動して音や振動によりユーザに過去に注視した人と似ている人の存在を知らせて、ステップＳ２０３に進む。
【００８９】
この第３の実施の形態によれば、携帯端末１００は、携帯端末１００を使用する者に報知する報知部１１２と、映像撮影部１０１が撮影した者の顔特徴量を算出する顔特徴量算出部１０７と、顔の特徴を蓄積する顔特徴データベース１０８と、顔の類似度を判定する顔類似度判定部１０９とを更に備え、映像撮影部１０１が撮影した者のうち、注視対象検出処理（図１０のステップＳ５０１およびＳ５０２）により検出した者の顔の特徴を顔特徴データベース１０８に保存し、他者視線検出部１０３が映像撮影部１０１により撮影した映像から特定の方向への視線を検出した際に、顔類似度判定部１０９がその視線を有する者はデータベースに保存した顔と類似すると判定する場合は（図１１のステップＳ６０２：ＹＥＳ）、報知部１１２が当該端末の使用者に報知することを特徴とする。
そのため、注視することによりユーザの好みの顔がデータベースとして構築され、その視線を検出した際にはアラームや振動により報知されるので、ユーザは好みの顔を見逃すことがなく、連絡先を交換することができる。
【００９０】
（変形例８）
第１〜第３のいずれの実施の形態においても、他者視線検出部１０３が視線を検出するとユーザの明示の行動がなく通信を開始していたが、通信部１０５は、他者視線検出部１０３が映像撮影部１０１により撮影した映像から特定の方向への視線を検出した際に、自己視線検出部１０４がその特定の方向への視線を有する者への視線を検出し、一定時間視線が固定されていると通信を開始するようにしてもよい。
この変形例８によれば、ユーザが注視しなければ通信が開始されないので、意図しない相手との通信を避けることができる。
【００９１】
（変形例９）
第１〜第３のいずれの実施の形態においても、他者視線検出部１０３がユーザへの視線を１回でも検出すると、ユーザへの視線を有する者との通信を開始していたが、通信の開始条件はこれに限定されない。所定回数の視線の検出、瞳孔の拡大、ウインクのそれぞれ、もしくはこれらの組合せで通信を開始する条件としてもよい。さらに、携帯端末１００のユーザによる、ユーザへの視線を有する者への視線の検出、瞳孔の拡大、ウインクのそれぞれ、もしくはこれらの組合せがあることを条件として通信を開始してもよい。これは、興味を持った対象を何度も見る、好意を持った相手にウインクをすることがある、興味を持った対象を見る際には瞳孔が拡大する、という人間の習性を利用するものである。
【００９２】
図１２は、変形例９における携帯端末１００の構成を示すブロック図である。第１の実施の形態における図１に示した携帯端末１００の構成に加えて、自己ウインク検出部１２１と、他者ウインク検出部１２３と、自己瞳孔測定部１２４と、他者瞳孔測定部１２５とをさらに備える。他の構成は第１の実施の形態と同様なので説明を省略する。
【００９３】
携帯端末１００のユーザのウインクを検出する自己ウインク検出部１２１は、左右の目に対応する２つの反射型フォトインタラプタを備え、ウインクを検出すると左右どちらの目かの情報とともに制御部１１４にウインクの検出を出力する。反射型フォトインタラプタは、赤外線を照射し、物体により反射された赤外線を受光する。眼球と皮膚では赤外線の反射率が異なるため、反射型フォトインタラプタが照射する赤外線を常時目に当てて赤外線の受光量を監視することで、目を閉じていた時間を計測することができる。目を閉じていた時間が所定の時間、たとえば０．２秒から１．０秒の場合をウインクとして検出することができる。
【００９４】
ユーザへの視線を有する者のウインクを検出する他者ウインク検出部１２３は、映像撮影部１０１から映像を取得し、ユーザへの視線を有する者を特定し、その者の目の動きを監視する。目の瞳の色と肌の色は異なるので、目を閉じている状態と目を開いている状態は色により判別することができる。そして、目を閉じていた時間が所定の時間、たとえば０．２秒から１．０秒の場合をウインクとして検出することができる。
【００９５】
携帯端末１００のユーザの瞳孔の大きさを測定する自己瞳孔測定部１２４は、不図示のカメラを備え、ユーザの目を撮影して瞳孔の大きさを制御部１１４に出力する。瞳孔は黒色であり、瞳孔の周囲には瞳孔を中心とした放射状の直線模様を有する円形の虹彩を有する。そのため、撮影された目の画像から、２つの同心円であって、内側の円の内部が黒く塗りつぶされており、外側の円には放射状の直線模様を有する形状を探索し、その内側の円を瞳孔と判断できる。そして、その瞳孔の大きさを撮影された画像の画素数で制御部１１４に出力する。なお変形例９では、相対的な大きさの変化を検出するために瞳孔の大きさを測定しているので、物理的な大きさの情報は必要としない。
【００９６】
ユーザへの視線を有する者の瞳孔の大きさを測定する他者瞳孔測定部１２５は、不図示のカメラ、電動ズームレンズ、および電動雲台を備え、ユーザへの視線を有する者の目を撮影して瞳孔の大きさを制御部１１４に出力する。他者瞳孔測定部１２５は、映像撮影部１０１から映像を取得してユーザへの視線を有する者を特定し、その者の目ができるだけ大きく撮影されるように電動ズームレンズおよび電動雲台を制御し、ユーザへの視線を有する者の目を撮影する。瞳孔の検出方法は自己瞳孔測定部１２４と同様である。
【００９７】
第１〜第３の実施の形態において図３、図９、および図１１のステップＳ２０２は、他者視線検出部１０３によるユーザへの視線の有無を判断したが、以下のＡ〜Ｃのいずれかの条件、またはＡ〜Ｃを組み合わせた条件を満たすか否かを判断してもよい。
Ａ）他者視線検出部１０３がユーザへの視線を所定の時間内に所定の回数以上検出すること。たとえば、ユーザへの視線を１分間に３回以上検出すること。ただし、ユーザへ視線を送り続けている場合は一定時間、たとえば１０秒間ごとに１回と換算する。また、所定の時間とは１回目に視線を検出してからの時間とし、所定の回数が１回ならば時間の制限は設けない。
【００９８】
Ｂ）他者ウインク検出部１２３がユーザへの視線を有する者のウインク動作を所定の時間内に所定の回数以上検出すること。たとえば１分間に２回以上検出すること。ただし、所定の時間とは１回目にウインクを検出してからの時間とし、所定の回数が１回ならば時間の制限は設けない。
【００９９】
Ｃ）他者瞳孔測定部１２５がユーザへの視線を有する者の瞳孔の直径を一定時間測定し、測定時間における最大径が最小径に対して所定の比率以上であること。たとえば１分間の測定における瞳孔の最大径が最小径の１．２倍以上であること。
すなわち、上記のＡとＢを組み合わせて、他者視線検出部１０３がユーザへの視線を１分間に２回以上検出し、さらに他者ウインク検出部１２３がユーザへの視線を有する者のウインク動作を１回以上検出するか否かを、図３、図９、および図１１のステップＳ２０２の判断条件としてもよい。
【０１００】
さらに、図３、図９、および図１１のステップＳ２０３の直前、または直後に以下のＤ〜Ｆのいずれかの条件、またはＤ〜Ｆを組み合わせた条件を満たすか否かを判断し、条件を満たすと判断した場合のみ処理を継続し、条件を満たさないと判断した場合はフローチャートを終了してもよい。
【０１０１】
Ｄ）自己視線検出部１０４がユーザへの視線を有する者への注視を所定の時間内に所定の回数以上検出すること。たとえば、ユーザへの視線を有する者への注視を１分間に２回以上検出すること。ただし、注視を続けている場合は一定時間、たとえば１０秒間ごとに１回と換算する。また、所定の時間とは１回目に視線を検出してからの時間とし、所定の回数が１回ならば時間の制限は設けない。
【０１０２】
Ｅ）自己視線検出部１０４がユーザへの視線を有する者への注視を検出した後の所定の時間内に、自己ウインク検出部１２１がユーザのウインク動作を所定の回数以上検出すること。たとえば１分間に２回以上検出すること。ただし、所定の時間とは１回目にウインクを検出してからの時間とし、所定の回数が１回ならば時間の制限は設けない。
Ｆ）自己視線検出部１０４がユーザへの視線を有する者への注視を検出した後の所定の時間内に、自己瞳孔測定部１２４がユーザの瞳孔の直径を一定時間測定し、測定時間における最大径が最小径に対して所定の比率以上であること。たとえば１分間の測定における瞳孔の最大径が最小径の１．２倍以上であること。
【０１０３】
すなわち、上記のＤとＥを組み合わせて、自己視線検出部１０４がユーザへの視線を有する者への注視を１分間に２回以上検出し、さらに自己ウインク検出部１２１がユーザのウインク動作を１回以上検出したと判断する場合に処理を継続してもよく、この条件を満たさないと判断する場合は図３、図９および図１１のフローチャートを終了してもよい。
【０１０４】
さらに、ステップＳ２０２における上記Ａ〜Ｃの判断条件の置き換え、およびステップＳ２０３の直前または直後への上記Ｄ〜Ｆの判断の追加を組み合わせてもよい。
この変形例９によれば、以下の作用効果を奏する。
（１）通信部１０５は、他者視線検出部１０３が映像撮影部１０１により撮影した映像に基づいてユーザへの視線を第１の所定の期間内に第１の所定の回数以上検出した際に、自己視線検出部１０４がユーザへの視線を有する者への注視を第２の所定の期間内に第２の所定の回数以上検出すると、通信を開始する。
そのため、偶然視線があっただけでは通信が開始されず、興味を持って複数回視線を合わせた場合のみ通信が開始されるため、不要な通信を削減することができる。
【０１０５】
（２）携帯端末１００は、携帯端末１００のユーザのウインク動作を検出する自己ウインク検出部１２１と、映像撮影部１０１により撮影した映像からユーザへの視線を有する者のウインク動作を検出する他者ウインク検出部１２３と、をさらに備える。通信部１０５は、他者ウインク検出部１２３がウインク動作を検出し、かつ自己視線検出部１０４がユーザのウインク動作を検出すると、通信を開始する。
そのため、好意を明確に示す手段であるウインクを検出することにより、互いに興味を持っている場合のみ通信が開始されるため、好意が明確ではない相手との通信を回避することができる。
【０１０６】
（３）通信部１０５は、第３の所定の期間内に他者ウインク検出部１２３がユーザへの視線を有する者のウインク動作を第３の所定の回数以上検出し、かつ自己視線検出部１０４がユーザへの視線を有する者への注視を検出した後の第４の所定の期間内に自己ウインク検出部１２１がユーザのウインク動作を第４の所定の回数以上検出すると、通信を開始する。
そのため、第３の所定の回数を多く設定することにより、より積極的にウインクにより行為を示す者とのみ通信を行うことができる。
【０１０７】
（第４の実施の形態）
以下、図１３〜図１６を参照して本発明の第４の実施の形態を説明する。
第４の実施の形態は、通信対象の探索をマッチングサーバが行う点が特徴である。
【０１０８】
第４の実施の形態における構成を図１３に示す。
図１３に示す通信システムは、複数の携帯端末１００と、マッチングサーバ２００により構成され、それらは互いにＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）網により接続されている。以下の説明では、複数存在する携帯端末１００を区別する必要がある場合は、末尾にａ、ｂを付加して１００ａ、１００ｂと表現して区別する。
【０１０９】
携帯端末１００の構成は第１の実施の形態で説明した図１と以下の４点以外は同一である。１点目に、位置検出部１１３が方位計を更に備えている。２点目に、データ保存部１１１に保存されているプログラムが異なる。３点目に、通信部１０５は、無指向性通信ができればよいので、指向性アンテナおよびアンテナ可動装置はなくてもよい。４点目に、データ保存部１１１は、携帯端末１００の固有識別情報をさらに保存している。
携帯端末１００は、定常的に位置情報として、携帯端末１００の位置およびその携帯端末１００の固有識別情報、の２つをマッチングサーバ２００に送信している。また、携帯端末１００は、ユーザが注視している対象を特定すると、携帯端末１００の位置、携帯端末１００の向いている方向、注視していた時刻、携帯端末１００の固有識別情報、そして注視対象者の撮影画像、の５つを注視情報としてマッチングサーバ２００に送信する。
【０１１０】
以下、マッチングサーバ２００の構成を説明する。
通信部２０１は、携帯端末１００との通信に使用される。位置データベース２０２には、携帯端末１００から送信される前述の位置情報、すなわち携帯端末１００の位置およびその携帯端末１００の固有識別情報が記録される。
【０１１１】
注視対象探索部２０３は、携帯端末１００ａから送信された前述の注視情報および位置データベース２０２をもとに、その携帯端末１００ａのユーザが注視している他の携帯端末１００ｂを探索する。例えば、注視対象者が携帯端末１００ｂを保持していると仮定すれば、以下の手順により携帯端末１００ｂを保持している注視対象者を発見することができる。
【０１１２】
まず注視情報に含まれる携帯端末１００ａの位置および向いていた方角から、携帯端末１００ｂを探索する始点および方向を決定する。そして、注視情報に含まれる注視対象者の撮影画像の大きさ（例えば、全身が何ピクセルで表されているか）から、携帯端末１００ａと携帯端末１００ｂの距離Ｌを推定する。さらに、注視情報に含まれる注視していた時刻と位置データベース２０２に保存されている全ての携帯端末１００の位置を参照すれば、該当する携帯端末１００ｂを発見できる。
例えば、携帯端末１００ａから送信された前述の注視情報および位置データベース２０２を可視化すると図１４のようになる。全ての携帯端末１００の位置は位置データベース２０２から明らかであり、注視している者の所持する携帯端末１００ａの位置、携帯端末１００ａの向いている方向、携帯端末１００ａから携帯端末１００ｂまでの距離Ｌが既知なので、図１４に示すとおり携帯端末１００ｂを発見できる。
そして、探索の結果注視対象の携帯端末１００ｂが見つかった場合には、マッチングデータベース２０４に、注視していた者の所持する携帯端末１００ａの固有識別情報（以下、注視端末情報）、注視対象者の所持する携帯端末１００ｂの固有識別情報（以下、被注視端末情報）、注視していた時刻、の３つを書き込む。さらに、これら３つの情報を、注視対象の携帯端末１００ｂに送信する。
【０１１３】
マッチング判定部２０５は、マッチングデータベースを検索し、固有識別情報を用いて相互に注視している携帯端末の組が有ることを判定したら、相互にネットワーク上の識別子、例えばＩＰアドレスを交換させて携帯端末１００同士で通信をさせる。
制御部２０６は、図示しないＣＰＵ，ＲＯＭ，ＲＡＭを備え、常に通信部２０１が受信するデータを監視し、そのデータが位置情報であれば位置データベース２０２に格納し、注視情報であれば注視対象探索部２０３を起動する。
【０１１４】
以下、第４の実施の形態の動作を説明する。
図１５のフローチャートに示すプログラムは、第４の実施の形態において携帯端末１００の制御部１１４が実行する。第１の実施の形態の図３の処理、および第３の実施の形態の図１０の処理と同じ内容のステップには同じステップ番号を付してその説明を省略する。以下の説明で特に明示しない場合は、各ステップの実行主体は制御部１１４のＣＰＵである。
【０１１５】
ステップＳ７０１では、位置検出部１１３で検出した携帯端末１００の位置、および携帯端末１００の固有識別情報をマッチングサーバ２００に送信してステップＳ５０１に進む。この情報はマッチングサーバ２００の位置データベース２０２に保存される。これに続くステップＳ５０１〜ステップＳ５０２においてユーザが注視している対象を特定し、続くステップＳ５０３ではその対象が人であった場合はステップＳ７０２に、それ以外の場合はステップＳ７０４に進む。
【０１１６】
ステップＳ７０２では、ユーザが注視している状態における携帯端末１００ａが向いている方位を位置検出部１１３の方位計により検出し、ステップＳ７０３に進む。ステップＳ７０３では、前述の注視情報、すなわち携帯端末１００ａの位置、携帯端末１００ａの向いている方位、注視していた時刻、携帯端末１００ａの固有識別情報、そして注視対象者の撮影画像をマッチングサーバ２００に送信する。
【０１１７】
続くステップＳ７０４では、前回のステップＳ７０４の実行以後に、マッチングサーバ２００から視線を受けている旨の通知があったかを判断する。通知を受けていた場合はステップＳ２０３に、通知を受けていなかった場合はステップＳ２０８に進む。また、視線を受けている旨の通知には、視線を送っている者と通知を受けた者との相対位置関係を示す情報が含まれているため、制御部１１４は、その相対位置関係から映像撮影部１０１に表示される位置を推定し、その位置をマーカー位置として映像表示部１０２に指示する。
【０１１８】
ステップＳ２０３またはステップＳ２０８のあとに実行するステップＳ７０５では、前回のステップＳ７０５の実行以後に、マッチングサーバ２００から通信相手の情報を受信したかを判断する。その受信があった場合は受信した通信情報を用いてステップＳ２０７のデータ交換を行う。その受信がなかった場合は図１５のフローチャートを終了する。
【０１１９】
次にマッチングサーバ２００の注視対象探索部２０３の動作を説明する。図１６は、注視対象探索部２０３が実行するプログラムの動作を表すフローチャートである。通信部２０１は常に携帯端末１００からの通信を待ち受けているので、携帯端末１００から注視情報を受信すると、図１６のフローチャートで示すプログラムが制御部２０６により起動される。
【０１２０】
ステップＳ８０１では、注視対象探索部２０３は、携帯端末１００ａから送信された前述の注視情報および位置データベース２０２をもとに、その携帯端末１００ａのユーザが注視している他の携帯端末１００ｂを探索する。
【０１２１】
続くステップＳ８０２では、ステップＳ８０１で該当する携帯端末１００ｂを発見できたかを判断し、発見できた場合はステップＳ８０３に、発見できなかった場合は図１６に示すフローチャートを終了する。
ステップＳ８０３では、注視対象探索部２０３は、発見した携帯端末１００ｂに対して注視されていたこと、および注視していた者の使用している携帯端末１００ａの位置を通知し、ステップＳ８０４に進む。
【０１２２】
ステップＳ８０４では、注視対象探索部２０３は、マッチングデータベース２０４に注視端末情報として１００ａを、被注視端末情報として１００ｂを、そして注視していた時刻を保存して、図１６に示すフローチャートを終了する。
【０１２３】
最後に、マッチングサーバ２００のマッチング判定部２０５の動作を説明する。マッチング判定部２０５は、マッチングデータベース２０４の書き込みを監視しており、何らかの書き込みがあるとマッチングデータベース２０４の全体を読み込む。そして、注視端末情報と被注視端末情報に記載の固有識別情報が入れ替わっている組合せ、すなわち双方向に注視している組合せを探索する。そのような組み合わせを発見すると、それらの携帯端末１００のネットワーク上の識別情報（例えばＩＰアドレス）を双方の携帯端末１００に伝える。
【０１２４】
この第４の実施の形態によれば、マッチングサーバ２００が注視対象者の携帯端末１００を探索するので、携帯端末１００は無指向性通信が行える装置を備えていればよく、指向性アンテナおよびアンテナ可動装置が不要になる。そのため、携帯端末１００の製造コストおよび故障の割合が低減される。また、マッチングデータベース２０４に注視した情報を残すことができるので、両者が同時には注視せず、数秒違いで互いを注視した場合や異なる日に注視した場合にでも連絡先を交換をすることができる。
【０１２５】
（変形例１０）
第４の実施の形態では、マッチング判定部２０５は双方向に注視している組合せを発見すると、それらの携帯端末１００に他方の携帯端末１００のネットワーク上の識別情報を伝えて、それ以後は携帯端末１００相互間で通信を行わせたが、この通信はマッチングサーバ２００を介してもよい。
この変形例１０によれば、互いのネットワーク上の識別情報を知ることがなく、さらに通信の記録をマッチングサーバ２００に残すこともできるため、セキュリティ上優れているという利点がある。
【符号の説明】
【０１２６】
１００…携帯端末、１０１…映像撮影部、１０２…映像表示部、１０３…他者視線検出部、１０４…自己視線検出部、１０５…通信部、１０６…入力部、１０７…顔特徴量算出部、１０８…顔特徴データベース、１０９…顔類似度判定部、１１０…性別・年代推定部、１１１…データ保存部、１１２…報知部、１１３…位置検出部、１１４…制御部、１２１…自己ウインク検出部、１２２…表示注視検出部、１２３…他者ウインク検出部、１２４…自己瞳孔測定部、１２５…他者瞳孔測定部、２００…マッチングサーバ、２０１…通信部、２０２…位置データベース、２０３…注視対象探索部、２０４…マッチングデータベース、２０５…マッチング判定部、２０６…制御部
【図１】
2018186510.tif 000003
【図２】
2018186510.tif 000004
【図３】
2018186510.tif 000005
【図４】
2018186510.tif 000006
【図５】
2018186510.tif 000007
【図６】
2018186510.tif 000008
【図７】
2018186510.tif 000009
【図８】
2018186510.tif 000010
【図９】
2018186510.tif 000011
【図１０】
2018186510.tif 000012
【図１１】
2018186510.tif 000013
【図１２】
2018186510.tif 000014
【図１３】
2018186510.tif 000015
【図１４】
2018186510.tif 000016
【図１５】
2018186510.tif 000017
【図１６】
2018186510.tif 000018