(57)【要約】【課題】予め用意する携帯情報端末操作者の眼球付近の標本群から携帯情報端末操作者のリアルタイムな注視点を類推する方法と注視点を時系列化することで携帯情報端末操作に転換する方法を提供する。【解決手段】予め携帯情報端末１は撮影装置３を用いて操作者２が表示装置４の分割部分５を注視する眼球付近の画像を撮影し標本化を行い、全ての分割部分５に対する標本と標本撮影位置を記憶装置７に記憶するように構成する。携帯情報端末１は撮影装置３を用いて操作者２のリアルタイムな眼球付近の画像を撮影し、最も類似する標本を記憶装置７から検索し標本に紐付く標本撮影位置を注視点６と類推する。また注視点６と過去の注視点９の集合である時系列情報１０から操作者２の注視点６の移動方向、移動速度、滞留時間を認識し携帯情報端末操作に転換する方法を提供する。【選択図】図１
2013074601.tif 000002
【特許請求の範囲】
【請求項１】
携帯情報端末操作を表示装置上の面積を有する部分に対する操作と認知し、注視点検出精度において面積を有する部分の何処かを注視しているという検出精度を許容し、予め用意する携帯情報端末操作者の眼球付近画像の標本群から携帯情報端末操作者のリアルタイムな注視点を類推することを特徴とする類推型注視点検出。
【請求項２】
予め携帯情報端末に搭載する表示装置の分割部分を注視する携帯情報端末操作者の眼球付近の画像を撮影し標本化を行い携帯情報端末に搭載する記憶装置に標本に紐付く標本撮影位置と伴に記憶するように構成することを特徴とする請求項１に記載の類推型注視点検出。
【請求項３】
あるいは予め携帯情報端末に搭載する表示装置の分割部分を注視する多数の眼球付近の画像の標本化を行い携帯情報端末に搭載する記憶装置に標本に紐付く標本撮影位置と伴に記憶するように構成することを特徴とする請求項１に記載の類推型注視点検出。
【請求項４】
あるいは予め携帯情報端末に搭載する表示装置の分割部分を注視する多数の眼球付近の画像の標本化を行い携帯情報端末に搭載する記憶装置に標本に紐付く標本撮影位置と伴に記憶し、更に携帯情報端末に搭載する表示装置の分割部分を注視する携帯情報端末操作者の眼球付近の画像を撮影し標本化を行い標本に重み付けを加えて多数の画像と携帯情報端末操作者の特徴を併せ持つ標本を作製し携帯情報端末に搭載する記憶装置に標本に紐付く標本撮影位置と伴に記憶することを特徴とする請求項１に記載の類推型注視点検出。
【請求項５】
携帯情報端末は携帯情報端末操作者の眼球付近のリアルタイム画像を撮影し携帯情報端末に搭載する記憶装置に記憶する標本群と比較し類似する標本に紐付く標本撮影位置を注視点と類推することを特徴とする請求項１に記載の類推型注視点検出。
【請求項６】
携帯情報端末に搭載する撮影装置は表示画像に対して下方に配置することを特徴とする請求項１に記載の類推型注視点検出。
【請求項７】
携帯情報端末は携帯情報端末に搭載する撮影装置の３自由度方向変更機構を搭載することを特徴とする請求項１に記載の類推型注視点検出。
【請求項８】
携帯情報端末操作者の注視点の検出時刻を時系列化することで注視点の移動方向、注視点の移動速度、注視点の滞留時間を認識し携帯情報端末に操作事象を与えることを特徴とする携帯情報端末操作。
【請求項９】
携帯情報端末は携帯情報端末操作者の頷き等の頭部動作及び瞬き等の眼球付近の運動を認識し携帯情報端末操作に転換し携帯情報端末に操作事象を与えることを特徴とする携帯情報端末操作。
【請求項１０】
予め携帯情報端末操作に紐付く携帯情報端末操作者の頭部動作及び眼球付近の運動の画像を撮影し標本化を行い携帯情報端末に搭載する記憶装置に記憶するように構成することを特徴とする請求項９に記載の携帯情報端末操作。
【請求項１１】
あるいは予め携帯情報端末操作に紐付く多数の頭部動作及び眼球付近の運動の画像の標本化を行い携帯情報端末に搭載する記憶装置に記憶するように構成することを特徴とする請求項９に記載の携帯情報端末操作。
【請求項１２】
あるいは予め携帯情報端末操作に紐付く多数の頭部動作及び眼球付近の運動の画像の標本化を行い携帯情報端末に搭載する記憶装置に記憶し、更に携帯情報端末操作に紐付く携帯情報端末操作者の頭部動作及び眼球付近の運動の画像を撮影し標本化を行い標本に重み付けを加えて多数の画像と携帯情報端末操作者の特徴を併せ持つ標本を作製し携帯情報端末に搭載する記憶装置に記憶することを特徴とする請求項９に記載の携帯情報端末操作。
【請求項１３】
携帯情報端末は携帯情報端末操作者の頭部動作及び眼球付近の運動のリアルタイム画像を撮影し携帯情報端末に搭載する記憶装置に記憶する標本群と比較し類似する標本に紐付く携帯情報端末操作を実行することを特徴とする請求項９に記載の携帯情報端末操作。
【請求項１４】
携帯情報端末は携帯情報端末操作者の運動検出誤りを機械学習し携帯情報端末に搭載する記憶装置に保存する標本群を訂正することを特徴とする請求項１に記載の類推型注視点検出及び請求項８、請求項９に記載の携帯情報端末操作。
【請求項１５】
記憶装置に保存する標本群は携帯情報端末に依存しない互換性を有し、互換性維持を目的とする標本群のデータの加工を許容することを特徴とする請求項１に記載の類推型注視点検出及び請求項８、請求項９に記載の携帯情報端末操作。
【請求項１６】
記憶装置に保存する標本群はコンピュータセキュリティ機能を有し、正式なデータ移行手順による標本群のデータ移行が可能であることを特徴とする請求項１に記載の類推型注視点検出及び請求項８、請求項９に記載の携帯情報端末操作。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は予め携帯情報端末操作者の眼球付近の画像の標本化を行い携帯情報端末操作者の眼球付近のリアルタイム画像に類似する標本を検索し標本に紐付く標本撮影位置を注視点と類推する類推型注視点検出、
及び類推する注視点を時系列化することで携帯情報端末操作に転換する方法、
及び操作者の眼球付近を撮影する携帯情報端末に搭載する撮影装置の配置
に関するものである。
特に携帯情報端末に搭載して注視点検出による携帯情報端末操作として用いて好適な類推型注視点検出及び携帯情報端末操作に関するものである。
【背景技術】
【０００２】
注視点測定方法として人体に眼鏡のような測定装置を装着し角膜へ投射する光の反射光を計測する方法が提案されている。（先行技術文献なし）
【０００３】
顔認識及び眼球認識は顔又は眼球付近を構成する部位を幾何学的に図形として検出する方法、
あるいは予め多数の画像を統計により数値化して検索対象画像と比較する検出方法が提案されている。
これらの技術を基にしてデジタルスチルカメラ及びデジタルビデオカメラにおいて顔認識、眼球認識、被写体自動追尾、瞬き検出、表情認識が実現されている。
【０００４】
特許文献１では輪郭抽出による画像検索方法が提案されている。
【０００５】
特許文献２では黒目位置検出による携帯端末装置における操作対象切替方法が提案されている。
【０００６】
非特許文献１ではパーセプトロンによる機械学習が提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−１２００８５号公報
【特許文献２】特開２００９−２３２３１３号公報
【非特許文献】
【０００８】
【非特許文献１】Ｆｒａｎｋ  Ｒｏｓｅｎｂｌａｔｔ，  ”ＴＨＥ  ＰＥＲＣＥＰＴＲＯＮ：  Ａ  ＰＲＯＢＡＢＩＬＩＳＴＩＣ  ＭＯＤＥＬ  ＦＯＲ  ＩＮＦＯＲＭＡＴＩＯＮ  ＳＴＯＲＡＧＥ  ＡＮＤ  ＯＲＧＡＮＩＺＡＴＩＯＮ  ＩＮ  ＴＨＥ  ＢＲＡＩＮ，  Ｃｏｒｎｅｌｌ  Ａｅｒｏｎａｕｔｉｃａｌ  Ｌａｂｏｒａｔｏｒｙ”  Ｐｓｙｃｈｏｌｏｇｉｃａｌ  Ｒｅｖｉｅｗ，  Ｖｏｌ．６５，  Ｎｏ．６，  １９５８  ｐｐ．３８６−４０８
【発明の概要】
【発明が解決しようとする課題】
【０００９】
注視点測定は計測機器を人体へ装着することが通常である。
本発明の目的は携帯情報端末に搭載する撮影装置を用いて計測機器を人体へ装着しない類推型注視点検出及び携帯情報端末操作を提供するものである。
【課題を解決するための手段】
【００１０】
携帯情報端末の表示画像は平文等の操作不可能な面積を有する部分と選択等の操作可能な面積を有する部分で成り立つ。
【００１１】
本発明の類推型注視点検出及び携帯情報端末操作は携帯情報端末操作を表示装置上の面積を有する部分に対する操作と認知し、注視点検出精度において面積を有する部分の何処かを注視しているという検出精度を許容するように構成する。
【００１２】
携帯情報端末は予め操作者が表示装置の分割部分を注視する眼球付近の画像を撮影し標本化を行い標本撮影位置と共に不揮発記憶装置に記憶するように構成する。
【００１３】
携帯情報端末は操作者の眼球付近のリアルタイム画像を撮影し不揮発記憶装置に記憶する標本群から類似する標本を検索し標本に紐付く標本撮影位置を注視点と類推するように構成する。
【００１４】
携帯情報端末は注視点の検出時刻を時系列化することで注視点の移動方向、注視点の移動速度、注視点の滞留時間を認識し携帯情報端末操作に転換するように構成する。
【発明の効果】
【００１５】
本発明によれば計測機器を人体へ装着しない注視点検出による携帯電話端末、電子書籍端末、携帯音楽プレーヤー端末、携帯ゲーム端末等の携帯情報端末操作が実現できる。
【００１６】
また携帯情報端末操作における注視点の時系列動作を収集、蓄積、解析することにより好適な携帯情報端末の画面設計が実現できる。
【図面の簡単な説明】
【００１７】
【図１】（ａ）は実施形態に係る携帯情報端末の主要部の構成を示す図である。（ｂ）は注視点の時系列化及び撮影範囲の変更機構を示す図である。
【図２】ＣＰＵを用いた場合のハードウェアの構成図である。
【図３】標本作製手順の構成図である。
【図４】類推型注視点検出及び注視点を時系列化することで携帯情報端末への操作に転換する構成図である。
【図５】携帯情報端末操作者の頭部動作及び眼球運動を認識し携帯情報端末への操作に転換する構成図である。
【図６】機械学習の構成図である。
【図７】標本作製手順の流れ図である。
【図８】類推型注視点検出の流れ図である。
【図９】注視点を時系列化することで携帯情報端末への操作に転換する流れ図である。
【発明を実施するための形態】
【００１８】
本発明の最良の実施形態を図面を参照して説明する。図１（ａ）は本発明における携帯情報端末１の主要部の構成を示す図である。
【００１９】
携帯情報端末１は装置本体である。
【００２０】
操作者２は携帯情報端末１を操作する者である。
【００２１】
撮影装置３は携帯情報端末１に搭載又は有線無線を問わず携帯情報端末１に接続し、携帯情報端末１の操作者２を撮影する装置である。
【００２２】
撮影装置３は携帯情報端末１の操作者２の目蓋等に対しても眼球付近の明瞭な撮影を妨げない表示画像に対して下方に配置するように構成してもよい。
【００２３】
眼球付近は携帯情報端末１の操作者２の注視点６検出つまり標本検索において好適な眼球付近の範囲とし、携帯情報端末１の操作者２の片眼、特に利目を用いてもよい。
【００２４】
表示装置４は携帯情報端末１に搭載又は有線無線を問わず携帯情報端末１に接続し、映像を表示する装置である。
【００２５】
分割部分５は表示装置４を面積を有する部分に分割した一部分である。
【００２６】
注視点６は携帯情報端末１の操作者２がリアルタイムに注視する表示装置４の分割部分５である。
【００２７】
記憶装置７は携帯情報端末１に搭載又は有線無線を問わず携帯情報端末１に接続し、データやプログラムを記憶する装置である。
【００２８】
撮影範囲８は撮影装置３が撮影可能な範囲である。
【００２９】
図１（ｂ）は本発明における携帯情報端末１の操作者２のリアルタイムな注視点６と過去の注視点９の集合である時系列情報１０を示す斜視図である。
【００３０】
撮影装置３は携帯情報端末１の操作者２の好適な眼球付近の画像を撮影するために撮影範囲８の３自由度方向変更機構を搭載するように構成してもよい。
【００３１】
図２は本発明におけるＣＰＵ１１を用いた場合のハードウェアの構成を示す図である。
【００３２】
ＣＰＵ１１は携帯情報端末１に複数個を搭載するように構成してもよい。
【００３３】
撮影装置３は携帯情報端末１に複数個を搭載するように構成してもよい。
【００３４】
操作装置１２は携帯情報端末１に搭載するキー及びタッチパネル、又は有線無線を問わず携帯情報端末１に接続し、携帯情報端末１への操作事象を発生する装置である。
【００３５】
図３は本発明における標本作製手順の構成図である。
【００３６】
標本作製部１３は携帯情報端末１の操作者２から採取する眼球付近の画像を標本化して注視点６の検出を行うか、
あるいは予め多数の眼球付近の画像を標本化して注視点６の検出を行うか、
あるいは予め多数の眼球付近の画像を標本化し、携帯情報端末１の操作者２から採取する眼球付近の画像の標本に重み付けを加えて多数の画像と操作者２の特徴を併せ持つ標本を作製して注視点６の検出を行うように構成する。
【００３７】
標本作製部１３は標本を不揮発記憶装置７に保存するように構成する。
【００３８】
標本作製部１３は標本作製において既知の好適な方法を用いる。
【００３９】
図４は本発明における類推型注視点６検出及び注視点６を時系列化することで携帯情報端末１への操作に転換する構成図である。
【００４０】
類推検索部１４は定周期に動作するように構成する。
【００４１】
類推検索部１４は携帯情報端末１の操作者２の眼球付近のリアルタイム画像に類似する標本を不揮発記憶装置７から検索し、類似する標本の標本撮影位置つまり表示装置４の分割部分５を注視点６と類推するように構成する。
【００４２】
類推検索部１４は注視点６と検出時刻を揮発記憶装置７に保存するように構成する。
【００４３】
操作転換部１５は注視点６及び過去の注視点９に紐付く検出時刻から時系列情報１０を作成し注視点６の移動方向、注視点６の移動速度、注視点６の滞留時間を認識し携帯情報端末１への操作に転換するように構成する。
【００４４】
携帯情報端末１は携帯情報端末１の操作者２が携帯情報端末１を手動操作時又は携帯情報端末１への着信等の機能動作時に携帯情報端末１への操作として成立していない時系列情報１０及び検出時刻を揮発記憶装置７から消去するように構成する。
手動操作は携帯情報端末１への操作事象を発生する操作者２の動作と定義する。
【００４５】
図５は本発明における携帯情報端末１の操作者２の頭部動作及び眼球運動を認識することで携帯情報端末１への操作に転換する構成図である。
【００４６】
動作認識部１６は定周期に動作するように構成する。
【００４７】
動作認識部１６は携帯情報端末１の操作者２の頷き等の頭部動作及び瞬き等の眼球付近の運動を認識し携帯情報端末１への操作に転換するように構成する。
【００４８】
携帯情報端末１は予め携帯情報端末１の操作者２の頭部動作及び眼球付近の運動と携帯情報端末１への操作の紐付けを不揮発記憶装置７に記憶するように構成する。
【００４９】
携帯情報端末１の操作者２の頭部動作及び眼球付近の運動と携帯情報端末１への操作の紐付けは団体及び携帯情報端末１の操作者２が行うように構成する。
【００５０】
動作認識部１６は携帯情報端末１の操作者２から採取する頭部動作及び眼球付近の運動の画像を標本化して携帯情報端末１の操作者２の動作の検出を行うか、
あるいは予め多数の頭部動作及び眼球付近の運動の画像を標本化して携帯情報端末１の操作者２の動作の検出を行うか、
あるいは予め多数の頭部動作及び眼球付近の運動の画像を標本化し、携帯情報端末１の操作者２から採取する頭部動作及び眼球付近の運動の標本に重み付けを加えて多数の画像と操作者２の特徴を併せ持つ標本を作製して携帯情報端末１の操作者２の動作の検出を行うように構成する。
【００５１】
動作認識部１６は標本を不揮発記憶装置７に保存するように構成する。
【００５２】
動作認識部１６は標本作製及び標本検索において既知の好適な方法を用いる。
【００５３】
図６は本発明における機械学習の構成図である。
【００５４】
機械学習部１７は携帯情報端末１の操作者２の運動検出誤りを機械学習し不揮発記憶装置７に保存する標本群を訂正するように構成する。
【００５５】
携帯情報端末１の操作者２がリアルタイムに携帯情報端末１の運動検出誤りの訂正を携帯情報端末１に要求する携帯情報端末１への操作は団体及び携帯情報端末１の操作者２が行うように構成する。
【００５６】
機械学習部１７は機械学習において既知の好適な方法を用いる。
【００５７】
図７は標本作製手順の流れ図である。
【００５８】
初期撮影点表示２１は標本を作製する最初の分割部分５を表示装置４に表示するように構成する。
【００５９】
初期撮影点表示２１は携帯情報端末１の操作者２の眼球付近のリアルタイム画像に類似する標本検索において好適な標本採取順番を用いる。
【００６０】
顔認識２２は携帯情報端末１の操作者２の顔を認識するように構成する。
【００６１】
顔認識２２は不鮮明な画像等の理由により携帯情報端末１の操作者２の顔を認識ができない場合、顔認識２２を試行するように構成する。
【００６２】
顔認識２２は顔認識において既知の好適な方法を用いる。
【００６３】
眼球認識２３は携帯情報端末１の操作者２の眼球を認識するように構成する。
【００６４】
眼球認識２３は不鮮明な画像等の理由により携帯情報端末１の操作者２の眼球を認識ができない場合、顔認識２２を試行するように構成する。
【００６５】
眼球認識２３は眼球認識において既知の好適な方法を用いる。
【００６６】
眼球付近撮影２４は携帯情報端末１の操作者２が分割部分５を注視する眼球付近の画像を撮影するように構成する。
【００６７】
眼球付近撮影２４は携帯情報端末１の操作者２の好適な眼球付近の画像を撮影するために撮影範囲８の３自由度方向変更及びズーム撮影するように構成してもよい。
【００６８】
特徴点抽出２５は携帯情報端末１の操作者２が分割部分５を注視する眼球付近の画像を標本化するように構成する。
【００６９】
特徴点抽出２５は標本作製において既知の好適な方法を用いる。
【００７０】
特徴点抽出判定２６は不鮮明な画像等の理由により標本化ができない場合、顔認識２２を試行するように構成する。
【００７１】
特徴点重複２７は作成する標本と既に存在する標本が識別不可能な場合、顔認識２２を試行するように構成する。
【００７２】
不揮発記憶装置へ記録２８は標本と標本に紐付く標本撮影位置を不揮発記憶装置７に保存するように構成する。
【００７３】
全分割部分抽出２９は全ての分割部分５の標本化が完了していない場合、標本未採取の分割部分５を標本化するように構成する。
【００７４】
撮影点変更３０は次に標本を作製する分割部分５を表示装置４に表示するように構成する。
【００７５】
撮影点変更３０は携帯情報端末１の操作者２の眼球付近のリアルタイム画像に類似する標本検索において好適な標本採取順番を用いる。
【００７６】
図８は本発明における類推型注視点６検出の流れ図である。
【００７７】
リアルタイム画像撮影開始４１は携帯情報端末１の操作者２の眼球付近のリアルタイム画像の撮影を開始するように構成する。
【００７８】
標本検索４２はリアルタイム画像から作製する標本に類似する不揮発記憶装置７に保存する標本が検出できない場合、顔認識２２を試行するように構成する。
【００７９】
標本検索４２は標本検索において既知の好適な方法を用いる。
【００８０】
時系列情報追加４３は注視点６と検出時刻を揮発記憶装置７に保存するように構成する。
【００８１】
リアルタイム画像撮影終了４４は携帯情報端末１の操作者２の眼球付近のリアルタイム画像の撮影を終了するように構成する。
【００８２】
図９は本発明における注視点６を時系列化することで携帯情報端末１への操作に転換する流れ図である。
【００８３】
操作発生５１は時系列情報１０が携帯情報端末１への操作転換に不十分である場合、注視点６検出を継続するように構成する。
【００８４】
操作実施５２は時系列情報１０を携帯情報端末１への操作に転換するように構成する。
【００８５】
携帯情報端末１は予め注視点６動作と携帯情報端末１への操作の紐付けを不揮発記憶装置７に記憶するように構成する。
【００８６】
携帯情報端末１の操作者２の注視点６動作と携帯情報端末１への操作の紐付けは団体及び携帯情報端末１の操作者２が行うように構成する。
【００８７】
時系列情報消去５３は時系列情報１０を揮発記憶装置７から消去するように構成する。
【００８８】
不揮発記憶装置７に保存する標本は団体間で互換性を持つことが望ましい。
【産業上の利用可能性】
【００８９】
本発明における類推型注視点検出及び携帯情報端末操作は操作に手を必要としないため携帯情報端末は勿論のこと家庭用電気機械器具、車載器への適用においても好適である。
【符号の説明】
【００９０】
１携帯情報端末
２操作者
３撮影装置
４表示装置
５分割部分
６注視点
７記憶装置
８撮影範囲
９過去の注視点
１０時系列情報
１１ＣＰＵ
１２操作装置
１３標本作製部
１４類推検索部
１５操作転換部
１６動作認識部
１７機械学習部
２１初期撮影点表示
２２顔認識
２３眼球認識
２４眼球付近撮影
２５特徴点抽出
２６特徴点抽出判定
２７特徴点重複
２８不揮発記憶装置へ記録
２９全分割部分抽出
３０撮影点変更
４１リアルタイム画像撮影開始
４２標本検索
４３時系列情報追加
４４リアルタイム画像撮影終了
５１操作発生
５２操作実施
５３時系列情報消去
【図１】
2013074601.tif 000003
【図２】
2013074601.tif 000004
【図３】
2013074601.tif 000005
【図４】
2013074601.tif 000006
【図５】
2013074601.tif 000007
【図６】
2013074601.tif 000008
【図７】
2013074601.tif 000009
【図８】
2013074601.tif 000010
【図９】
2013074601.tif 000011