(57)【要約】【課題】センサに触れることなく、ユーザの指の軌跡を入力信号に変換する。【解決手段】所作入力装置１は、ユーザの指が、例えば２０１ａから２０１ｂ、２０１ｃをなぞり、矢印２０２、及び、矢印２０３のように軌跡を描くに際して、カメラ１０１、カメラ１０２によって撮影された画像を取得し、当該画像においてユーザの指紋を検出して、その軌跡を指紋位置データベース５０に記憶する。その後、所作入力装置１は、動作パターンデータベース５１からユーザの指の軌跡と合致する動作パターンを抽出し、その動作パターンと対応付けられた入力信号を抽出する。そして、抽出された入力信号が実際に入力されたのと同様にふるまうことで、ユーザの指の軌跡を入力信号に変換する。【選択図】図２
2014010503.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの指の動作を検知し、入力信号に変換する所作入力装置であって、
撮影されている所定の範囲を画像として取得する撮像手段と、
前記撮像手段によって取得した画像を解析し、前記ユーザの指紋を検出する指紋検出手段と、
前記指紋検出手段によって検出した指紋が、ユーザの指の操作により時間的に変化することで、当該指の動作の軌跡を記憶する指紋動作記憶手段と、
前記指紋動作記憶手段によって記憶された軌跡から、予め設定された所定の動作パターンを抽出して、当該動作パターンに予め対応付けられた入力信号に変換する入力信号変更手段と、
を備える所作入力装置。
【請求項２】
前記指紋検出手段によって検出された指紋と、予め登録された指紋とが一致するかを識別する指紋識別手段と、
を備える請求項１に記載の所作入力装置。
【請求項３】
前記撮像手段において、前記所定の範囲を平面的でなく立体的に撮像し、
前記指紋動作記憶手段において、指の動作を立体的に記憶することを特徴とする、請求項１又は請求項２のいずれか一項に記載の所作入力装置。
【請求項４】
ユーザの指の動作を検知し、入力信号に変換する所作入力装置が実行する所作入力方法であって、
撮影されている所定の範囲を画像として取得するステップと、
取得した画像を解析し、前記ユーザの指紋を検出するステップと、
検出した指紋が、ユーザの指の操作により時間的に変化することで、当該指の動作の軌跡を記憶するステップと、
前記指紋動作記憶手段によって記憶された軌跡から、予め設定された所定の動作パターンを抽出して、前記動作パターンに予め対応付けられた入力信号に変換するステップと、
を備える所作入力方法。
【請求項５】
ユーザの指の動作を検知し、入力信号に変換する所作入力装置に、
撮影されている所定の範囲を画像として取得するステップ、
取得した画像を解析し、前記ユーザの指紋を検出するステップ、
検出した指紋が、ユーザの指の操作により時間的に変化することで、当該指の動作の軌跡を記憶するステップ、
前記指紋動作記憶手段によって記憶された軌跡から、予め設定された所定の動作パターンを抽出して、前記動作パターンに予め対応付けられた入力信号に変換するステップ、
を実行させるための所作入力装置用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが指を動かした軌跡を、入力信号に変換する所作入力装置、所作入力方法、及び、プログラムに関する。
【背景技術】
【０００２】
電子機器におけるポインティングデバイスの操作手段に関しては、様々な入力装置が開発されている。端末が小型化されるにつれ、ある程度の平坦なスペースが必要とされるマウスに変わり、移動中にも使用可能なアナログスティックやジョグダイヤルが搭載されるようになった。今日では、スマートフォンやスレート端末における操作手段としては、タッチパネルが一般的であると言える。
【０００３】
しかしながら、タッチパネルを利用する際には、液晶を指で直接触る必要があるため、液晶が汚れたり、傷ついたりするという問題がある。加えて、入力を行えるのはタッチパネル上の点に限られるため、タッチパネルが特殊な形をしていない限り、平面的な入力しか検知し得ないという制約があった。
【０００４】
一方、最近注目されている手法として、赤外線センサ等によりユーザとの距離を判別し、それを入力信号に変換する手法がある。この手法では、３次元的な腕の傾きや、指し示す方向を検知できるほか、静止状態のみならず、手を振る、おじぎをするといった動的な所作によって、機器への入力とし、特定のイベントを発生させることができる。
【０００５】
例えば、直角二等辺三角形状に配置した３つの量子型赤外線センサＡ、Ｂ、Ｃの出力信号強度から、３つの量子型赤外線センサＡ、Ｂ、Ｃと指との間の各距離を算出し、各距離から指の位置を表す３次元座標を算出する位置検出装置が明らかにされている（特許文献１）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許公開２００７−８０２１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１において明らかにされている位置検出装置では、当然に端末には複数の赤外線センサを取り付ける必要がある。また、各センサ同士の距離が近すぎると精度が落ちてしまうため、センサの精度に応じてある程度の物理的大きさを確保する必要がある。
【０００８】
本発明は、上記の検知手法の欠点を解決するため、撮影した画像からユーザの指紋を検出し、その軌跡が予め設定された動作パターンと一致する場合、当該動作パターンと対応した入力信号に変換する所作入力装置、所作入力方法、及び、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明では、以下のような解決手段を提供する。
【００１０】
第１の特徴に係る発明は、ユーザの指の動作を検知し、入力信号に変換する所作入力装置であって、
撮影されている所定の範囲を画像として取得する撮像手段と、
前記撮像手段によって取得した画像を解析し、前記ユーザの指紋を検出する指紋検出手段と、
前記指紋検出手段によって検出した指紋が、ユーザの指の操作により時間的に変化することで、当該指の動作の軌跡を記憶する指紋動作記憶手段と、
前記指紋動作記憶手段によって記憶された軌跡から、予め設定された所定の動作パターンを抽出して、当該動作パターンに予め対応付けられた入力信号に変換する入力信号変更手段と、
を備える所作入力装置を提供する。
【００１１】
第１の特徴に係る発明によれば、ユーザの指の動作を検知し、入力信号に変換する所作入力装置は撮影されている所定の範囲を画像として取得し、取得した画像を解析して、前記ユーザの指紋を検出し、検出した指紋が、ユーザの指の操作により時間的に変化することで、当該指の動作の軌跡を記憶し、記憶された軌跡から、予め設定された所定の動作パターンを抽出して、その動作パターンに予め対応付けられた入力信号に変換する。
【００１２】
第２の特徴に係る発明は、前記指紋検出手段によって検出された指紋と、予め登録された指紋とが一致するかを識別する指紋識別手段と、
を備える第１の特徴に係る発明である所作入力装置を提供する。
【００１３】
第２の特徴に係る発明によれば、第１の特徴に係る発明である所作入力装置は、前記指紋検出手段によって検出された指紋と、予め登録された指紋とが一致するかを識別する。
【００１４】
第３の特徴に係る発明は、前記撮像手段において、前記所定の範囲を平面的でなく立体的に撮像し、
前記指紋動作記憶手段において、指の動作を立体的に記憶することを特徴とする、第１または第２のいずれかの特徴に係る発明である所作入力装置を提供する。
【００１５】
第３の特徴に係る発明によれば、第１または第２のいずれかの特徴に係る発明である所作入力装置は、所定の範囲を平面的でなく立体的に撮像し、指の動作を立体的に記憶する。
【００１６】
これら上記の発明は、所作入力装置のカテゴリであるが、方法、プログラムのカテゴリであっても、そのカテゴリに応じた同様の作用、効果を奏する。
【００１７】
第４の特徴に係る発明は、
ユーザの指の動作を検知し、入力信号に変換する所作入力装置が実行する所作入力方法であって、
撮影されている所定の範囲を画像として取得するステップと、
取得した画像を解析し、前記ユーザの指紋を検出するステップと、
検出した指紋が、ユーザの指の操作により時間的に変化することで、当該指の動作の軌跡を記憶するステップと、
前記指紋動作記憶手段によって記憶された軌跡から、予め設定された所定の動作パターンを抽出して、前記動作パターンに予め対応付けられた入力信号に変換するステップと、
を備える所作入力方法を提供する。
【００１８】
第５の特徴に係る発明は、
ユーザの指の動作を検知し、入力信号に変換する所作入力装置に、
撮影されている所定の範囲を画像として取得するステップ、
取得した画像を解析し、前記ユーザの指紋を検出するステップ、
検出した指紋が、ユーザの指の操作により時間的に変化することで、当該指の動作の軌跡を記憶するステップ、
前記指紋動作記憶手段によって記憶された軌跡から、予め設定された所定の動作パターンを抽出して、前記動作パターンに予め対応付けられた入力信号に変換するステップ、
を実行させるための所作入力装置用プログラムを提供する。
【発明の効果】
【００１９】
本発明によれば、撮影した画像からユーザの指紋を検出し、その軌跡が予め設定された動作パターンと一致する場合、当該動作パターンと対応した入力信号に変換する所作入力装置、所作入力方法、及び、プログラムを提供することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】図１は、所作入力装置１の概要を説明するための概念図である。
【図２】図２は、所作入力装置１を用いて所作を入力信号に変換する際の一例を示したものである。
【図３】図３は、所作入力装置１が実行する、所作入力処理の手順を示すフローチャートである。
【図４】図４は、所作入力装置１のシステム構成を示した概念図である。
【図５】図５は、所作入力装置１の機能ブロック図である。
【図６】図６は、所作入力装置１が実行する、指紋の検出と位置の記憶処理の手順を示すフローチャートである。
【図７】図７は、所作入力装置１が実行する、軌跡の入力信号変換処理の手順を示すフローチャートである。
【図８】図８は、所作入力装置１を原点とした３次元座標系を表した図である。
【図９】図９は、指紋位置データベース５０内の指紋位置テーブルの一部を示したものである。
【図１０】図１０は、動作パターンデータベース５１内の動作パターンテーブルの一部を示したものである。
【発明を実施するための形態】
【００２１】
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
【００２２】
本発明の概要について説明する。所作入力装置１は、ユーザの指が、例えば２０１ａから２０１ｂ、２０１ｃをなぞり、矢印２０２、及び、矢印２０３のように軌跡を描くに際して、カメラ１０１、カメラ１０２によって撮影された画像を取得し、当該画像においてユーザの指紋を検出して、その軌跡を指紋位置データベース５０に記憶する。その後、所作入力装置１は、動作パターンデータベース５１からユーザの指の軌跡と合致する動作パターンを抽出し、その動作パターンと対応付けられた入力信号を抽出する。そして、抽出された入力信号が実際に入力されたのと同様にふるまうことで、ユーザの指の軌跡を入力信号に変換する。
【００２３】
[メッセージ送信システムの概要］
ここで図１、図２、及び、図３に基づいて、本発明の好適な実施形態である所作入力装置１の概要について説明する。ここで、所作入力装置１が情報端末であって、変換された入力信号を所作入力装置１自体が受け付けても構わないし、所作入力装置１が通信機能を備え、所作入力装置１自体は単なる入力デバイスとしてふるまい、変換された入力信号を通信可能に接続された他の機器に対して送信してもよい。以下の実施例においては、前者の場合について説明する。
【００２４】
図１は、所作入力装置１の概要を説明するための概念図である。ここで、所作入力装置１は、眼鏡を模した形をしており、人が顔に装着して利用するようになっている。所作入力装置１は、必ずしも眼鏡を模した形である必要はなく、以下に詳述する機能を備えていれば、スマートフォンをはじめとする装置や情報端末であってよい。
【００２５】
所作入力装置１は、右眼の視界と同様の範囲を撮影するためのカメラ１０１と、左眼の視界と同様の範囲を撮影するためのカメラ１０２を備えている。中央付近の格納部１０３には、所作入力装置１を制御する制御部１１、及び、情報の記憶を行うための記憶部１３、他の機器と通信を行うための通信部１４が格納されている。制御部１１、記憶部１３、通信部１４の詳細については、後述する。
【００２６】
記憶部１３は、ユーザの指紋位置を記憶するための指紋位置データベース５０と、動作パターンを入力信号に変換するための動作パターンデータベース５１を備えている。また、記憶部１３には、ユーザの指紋の特徴量が記憶されている。また、記憶部１３は、動作パターンデータベース５１に記憶された入力信号ＩＤと、対応する入力信号が記憶された入力信号データベース５２を備えていてもよい。
【００２７】
レンズ１０４は、度あり、度なしを問わず、単なるガラスであってもよいし、視界に重ねて情報が表示できる液晶であってもよい。また、所作入力装置１が投影機を備え、レンズ１０４に情報を投影することで、視界に重ねて情報を表示してもよい。所作が入力信号に変換された後の情報端末のふるまいは、本発明の技術的思想の範囲に含まれないので、ここでは詳述しない。
【００２８】
図２は、所作入力装置１を用いて所作を入力信号に変換する際の一例を示したものである。画像手前側がユーザにとって手前側であり、眼鏡の弦部分は長いため一部省略して記載している。指紋２０１ａ、指紋２０１ｂ、指紋２０１ｃは、所作入力装置１による表示ではなく、ユーザが眼鏡越しに見ている自分の指の軌跡である。矢印２０２、矢印２０３は、実際には見えず、説明のために記載したものである。
【００２９】
今、ユーザが左手の指を左眼の前で左から右に動かした場合、時間の経過とともに指は指紋２０１ａ、指紋２０１ｂ、指紋２０１ｃをなぞることになる。その様子はカメラ１０２によって撮影され、ユーザの指紋がユーザにとって左から右に移動したこと、すなわちユーザの指の軌跡を捉えることができる。この左から右への移動がタッチパネルにおける左から右へのスワイプと同じ入力信号に対応付けられていた場合、ユーザは当該指の軌跡をカメラ１０２に撮影させることで、タッチパネルにおいてスワイプと同じ挙動をした場合のイベントを、所作入力装置１に発生させることができる。
【００３０】
図３は、所作入力装置１が実行する所作入力処理の手順を表したフローチャートである。以下に、所作入力処理の手順を説明する。
【００３１】
初めに、所作入力装置１はカメラ１０１とカメラ１０２の撮影範囲を画像として取得する（ステップＳ０１）。ここで、カメラの数は一つ以上であればよいが、後述するように、一つのみである場合には、３次元的な所作を入力として受け付ける精度が低下する。
【００３２】
次に、所作入力装置１は取得した画像からユーザの指紋を検出し（ステップＳ０２）、その画像内の指紋の位置から、所作入力装置１を基準とした指紋の位置を算出し、指紋位置データベース５０に記憶する（ステップＳ０３）。このステップＳ０１からステップＳ０３を、指紋の検出と位置の記憶処理と呼ぶ。
【００３３】
次に所作入力装置１は、現在から所定の期間について記憶されている指紋の位置を指紋位置データベース５０から読み込み、それを連続した軌跡とみなし、動作パターンデータベース５１から合致する動作パターンを抽出する（ステップＳ０４）。そして、合致した動作パターンと対応している入力信号が入力されたものとして、当該軌跡を入力信号に変換し、装置１自体が受け付け、又は、通信可能に接続された他の機器に対して送信する（ステップＳ０５）。このステップＳ０４とステップＳ０５を、軌跡の入力信号変換処理と呼ぶ。以上が、所作入力装置１が実行する所作入力処理の手順である。
【００３４】
所作入力装置１は、上記の所作入力処理を実行することによってユーザの所作を入力信号に変換する。以上が、本発明の好適な実施形態である所作入力装置１の概要である。
【００３５】
［所作入力装置１のシステム構成］
図４は、所作入力装置１のシステム構成を示した概念図である。所作入力装置１が情報端末であって、変換された入力信号を所作入力装置１自体が受け付ける構成の場合には、図４において点線で示された部分は存在せず、所作入力装置１のみで処理を実行することが可能である。
【００３６】
一方、所作入力装置１が単なる入力デバイスとしてふるまう場合には、所作入力装置１は通信機能を備え、図４において点線で示された部分、すなわち情報端末３０１と通信可能に接続されており、情報端末３０１に変換された入力信号を送信する。ここで、所作入力装置１と情報端末３０１の間の通信は、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）や、Ｂｌｕｅｔｏｏｔｈ等の無線であっても構わないし、優先接続であっても構わない。情報端末３０１は、所作入力装置１から入力信号を受信し、情報端末３０１の入力部に入力があった場合と同様にふるまう。
【００３７】
［各機能の説明］
図５に基づいて、所作入力装置１の構成について説明する。所作入力装置１は、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ），ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ），ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等を備え、入出力部１２として、所定の範囲を画像として撮影するカメラ等の撮影機器を備えるほか、画像や文字のメッセージを表示する液晶モニタ、投影スクリーン等の表示部を備える。所作入力装置１は、同様に、データやファイルを記憶する記憶部１３として、ハードディスクや半導体メモリ、記録媒体、メモリカード等による、データのストレージ部を備える。記憶部１３は、指紋位置データベース５０、動作パターンデータベース５１、入力信号データベース５２を備える。加えて、所作入力装置１は、他の機器の入力デバイスとして機能するため、通信部１４として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。
【００３８】
所作入力装置１において、制御部１１が所定のプログラムを読み込むことで、入出力部１２と協働して、撮影画像取得モジュール１５を実現する。また、所作入力装置１において、制御部１１が所定のプログラムを読み込むことで、記憶部１３と協働して、指紋検出モジュール１６、座標算出モジュール１７、指紋位置記憶モジュール１８、軌跡変換モジュール１９を実現する。また、所作入力装置１において、制御部１１が所定のプログラムを読み込むことで、通信部１４と協働して、入力信号通知モジュール２０を実現する。
【００３９】
［指紋の検出と位置の記憶処理］
図６は所作入力装置１が実行する、指紋の検出と位置の記憶処理の手順を表したフローチャートである。この指紋の検出と位置の記憶処理について説明する。
【００４０】
初めに、所作入力装置１の撮影画像取得モジュール１５は、カメラ１０１、及び、カメラ１０２の撮影範囲を画像として取得する（ステップＳ１１）。本実施例のような眼鏡を模した装置の場合、両カメラの撮影範囲は、ユーザの視野とほぼ一致する。
【００４１】
所作入力装置１の指紋検出モジュール１６は、取得した画像に含まれるユーザの指紋を検出するために、それぞれの画像に対して特徴量の抽出を行う（ステップＳ１２）。ここで特徴量とは、受信した画像内から、予め記憶されたユーザの指紋をパターンとしてパターン認識を行う際に、その比較の対象となる値である。具体的な処理としては、指紋検出モジュール１６は、取得した画像を、縦横に所定の数に等分し、各部分のピクセルの色の平均値を算出する。
【００４２】
次に、指紋検出モジュール１６は、所作入力装置１が備える記憶部１３内に記憶されている、ユーザの指紋の特徴量を読み込む（ステップ１３）。ここで、特定のユーザの指紋ではなく、一般的な指紋の特徴量を読み込んだ場合には、人物と指を問わず指紋であれば入力信号に変換できる。また、特定ユーザの指紋の特徴量を読み込んだ場合には、セキュリティとしてのユーザ認証機能としての役割を果たすことができる。そして、指ごとの指紋の特徴量を読み込んだ場合に、後述の処理を指ごとに行うことで、複数の指の所作の組み合わせを入力信号に変換してもよい。
【００４３】
指紋検出モジュール１６は、読み込んだ指紋の特徴量を用いて、取得した画像内から指紋を検出する（ステップＳ１４）。すなわち、画像の特徴量から指紋の特徴量のパターン認識を行うことで、画像内における指紋部分を検出する。このとき、指がカメラに対して傾いていると、画像内では指紋が射影として表わされてしまい、検出がうまくできない場合がある。その問題に対しては、各カメラにおける特徴量を総合して勘案することで、画像内の物体を立体的に捉え、指紋の検出精度を向上させることができる。
【００４４】
ステップＳ１４の結果、画像から指紋が検出された場合（ステップＳ１５：「ＹＥＳ」の場合）には、続けて以下の処理を行う。画像から指紋が検出されなかった場合（ステップＳ１５：「ＮＯ」の場合）には、以下の処理は行われず、指紋の検出と位置の記憶処理は終了する。
【００４５】
指紋検出モジュール１６によって指紋が検出された場合、指の大きさに関わらず、指紋とカメラを結んだ直線は、指紋の画像内における位置から式として表わせる。カメラの数が二つ以上の場合には、座標算出モジュール１７は、カメラ毎の直線の式を連立方程式として解き、所作入力装置１を中心とした３次元座標系における指紋の位置を算出する（ステップＳ１６）。解の算出にあたっては、記憶部１３に格納されている算出アルゴリズムを読み込んで利用してよい。同時に、座標算出モジュール１７は、指紋の二点以上の位置を求めることで、指の向きを算出してもよい。ここで、指紋の位置とは、指紋のうち所定の一点の位置である。
【００４６】
なお、カメラが一つの場合には、式は一つしか得られず、上記の手法は使えない。そのため、座標算出モジュール１７は、予め記憶された指の大きさを基準にカメラと指の距離を算出し、画像内の指紋のゆがみによって向きを算出するか、あるいは、３次元座標系でなく２次元座標系における指の位置を算出する。
【００４７】
図８は、所作入力装置１を原点とした３次元座標系を表した図である。所作入力装置１を装着した際、ユーザの右手方向がｘ軸の正方向である。また、ユーザの頭上がｙ軸の正方向であり、鉛直方向が負の方向である。また、指の位置を３次元座標系で捉える場合、ユーザにとって前方向がｚ軸の正方向となる。加えて、ｘ軸、ｙ軸、ｚ軸に対する回転角度はそれぞれＲｏｌｌ、Ｐｉｔｃｈ、Ｙａｗとして表わせる。本実施例においては、軸に対して右ネジ方向を正とし、−１８０度から＋１８０度の範囲で表わす。このＲｏｌｌ、Ｐｉｔｃｈ、Ｙａｗを用いることで、指の付け根方向から指先方向の向きを数値的に記述でき、より複雑な所作を表せるようになる。なお、本実施例では直交座標系を採用したが、極座標系などであってもよく、指の位置や姿勢の表し方はこの形式に限られない。
【００４８】
その後、所作入力装置１の指紋位置記憶モジュール１８は、算出したｘ、ｙ、ｚ、Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗを、画像を取得した日付、時刻とともに指紋位置データベース５０に記憶する（ステップＳ１７）。図９は、指紋位置データベース５０内の指紋位置テーブルの一部を示したものである。
【００４９】
以上が、所作入力装置１が実行する、指紋の検出と位置の記憶処理の手順である。
【００５０】
［軌跡の入力信号変換処理］
図７は、所作入力装置１が実行する、軌跡の入力信号変換処理の手順を表したフローチャートである。この軌跡の入力信号変換処理について説明する。
【００５１】
初めに、所作入力装置１の軌跡変換モジュール１９は、指紋位置データベース５０から、記憶された指紋の位置を読み込む（ステップＳ２１）。通常、入力は数秒単位で行われるので、読み込みを行うのは現在から数秒前までの指紋の位置のみでよい。
【００５２】
ここで、軌跡変換モジュール１９は、所定の期間において、指紋の各座標成分の変化分が所定の域値以下か、又は、画像内に指紋が無いかを判断することで、ユーザの指が停止状態であるかを判断する。停止状態ではなかった場合（ステップＳ２２：「ＮＯ」の場合）、ユーザの指は軌跡を描いている途中であると判断し、以下の処理は行われず、軌跡の入力信号変換処理は終了する。停止状態だった場合（ステップＳ２２：「ＹＥＳ」の場合）には、それまでの軌跡を入力信号に変換するために、続けて以下の処理を行う。なお、ある時刻において画像内に指紋が無いことは、指紋位置データベース５０に当該時刻のレコードがないことによって判断できる。
【００５３】
軌跡変換モジュール１９は、読み込んだ指紋の位置を連続した軌跡とみなし、動作パターンデータベース５１から、当該軌跡と合致した動作パターンを抽出する（ステップＳ２３）。動作パターンが抽出されなければ（ステップＳ２４：「ＮＯ」の場合）、ユーザは有効な入力を行っていないと判断し、以下の処理は行われず、軌跡の入力信号変換処理は終了する。一以上の動作パターンが抽出された場合（ステップＳ２４：「ＹＥＳ」の場合）には、続けて以下の処理を行う。
【００５４】
図１０は、動作パターンデータベース５１の、動作パターンテーブルの一部を示したものである。本実施例においては、動作パターンは、ｘ軸、ｙ軸、ｚ軸に対応した動きの、各ステップの組み合わせによって表している。また、各動作パターンは、入力信号と結び付けられている。なお、一の動作パターンは二以上の入力信号と結び付けられることを妨げない。
【００５５】
例えば、指紋のｘ座標が時間経過によって増加した場合には、当該ステップにおいて「ＲＩＧＨＴ」の動きをしたものとし、その後にｙ座標が増加した場合には、「ＵＰ」の動きをしたものとする。この様な場合には、パターンＩＤが２であるパターンが合致している。この各変化分に対しては、域値を設定してよい。
【００５６】
図１０において、各ステップにおいて二つ以上の動きが必要な場合には、コンマで繋いで表現する。例えば、「ＲＩＧＨＴ，ＵＰ」であれば、ｘ座標とｙ座標が、同一のタイミングで増加して初めて満たされる。なお、各ステップにおける条件がない場合には、「ＮＵＬＬ」という文字列で表している。
【００５７】
ところで、抽出方法において、全ステップの動作が完全に一致する動作パターンではなく、少なくとも条件を満たすパターンを抽出した方が、都合がよい場合がある。例えば、ステップ１が「ＲＩＧＨＴ」、ステップ２が「ＵＰ，ＬＥＦＴ」というパターンが動作パターンテーブル上に無い時に、指紋がその動きをした時には、パターンＩＤが２の動作パターンか、３の動作パターンかの入力ミスであると判断し、いずれかだとみなされるのが望ましい。
【００５８】
このような場合に備え、軌跡変換モジュール１９は、初めに少なくとも条件を満たすパターンを抽出した上で、複数の動作パターンが抽出された場合には、それらのうち優先度が最も高いものを、合致する動作パターンとして決定してよい（ステップＳ２５）。優先度は、動作が複雑であればあるほど、また、誤って入力された際のユーザのリスクが少なければ少ないほど、高くなると考えられる。前者の例で言えば、パターンＩＤが３と１１の動作パターンの両方に合致する場合、より複雑な１１の方が、優先度が高い。後者の例で言えば、電源ボタンや決定キーが対応付けられた動作パターンよりも、キャンセルボタンが対応付けられた動作パターンの方が、優先度が高い。
【００５９】
次に、軌跡変換モジュール１９は、決定された動作パターンと対応付けられた入力信号を特定する（ステップＳ２６）。動作パターンデータベース５１には、本実施例のように対応する入力信号ＩＤが記憶されていても構わないし、機器に実行させる命令そのものがバイナリ形式で記憶されていてもよい。ＩＤ形式で記憶されている場合には、軌跡変換モジュール１９は記憶部１３内の入力信号データベース５２を参照して、入力信号ＩＤを実際の入力信号に変換する。なお、入力信号は、それが表わすものがマウスの動きや、特定のキーの押し下げであってもよいし、タッチパネルにおけるピンチやスワイプと対応した入力信号であっても構わない。また、入力信号は、指紋の各座標成分の変化分を変数にとる関数で表されてもよい。
【００６０】
最後に、所作入力装置１の入力信号通知モジュール２０は、軌跡変換モジュール１９が特定した入力信号を対象に通知する（ステップＳ２７）。通知の対象が所作入力装置１自体である場合には、一例として、所作入力装置１のオペレーティングシステムにメッセージを送信することで、入力部において同じ入力があったのと同様にふるまう。このとき、通信部１４を働かせる必要はない。所作入力装置１が他の情報端末の入力デバイスとして動作している時には、当該情報端末に特定した入力信号を送信する。
【００６１】
以上が、所作入力装置１が実行する、軌跡の入力信号変換処理の手順である。
【００６２】
上述した手段、機能は、コンピュータ（ＣＰＵ，情報処理装置，各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
【００６３】
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
【符号の説明】
【００６４】
１  メッセージ送信システム、１０  ユーザ利用端末、１００  視野画像解析サーバ、１５０  特徴量データベース、１５１  人物情報データベース、２００  メッセージ送信サーバ
【図１】
2014010503.tif 000003
【図２】
2014010503.tif 000004
【図３】
2014010503.tif 000005
【図４】
2014010503.tif 000006
【図５】
2014010503.tif 000007
【図６】
2014010503.tif 000008
【図７】
2014010503.tif 000009
【図８】
2014010503.tif 000010
【図９】
2014010503.tif 000011
【図１０】
2014010503.tif 000012