(57)【要約】【課題】キー入力を推定する精度の向上を図ることができる推定システム、及び推定装置を提供する。【解決手段】仮想キーボードを用いて入力された文字列を推定する推定システムであって、ユーザが前記仮想キーボードを押下する動作を撮影した撮影情報に基づき、前記ユーザの指の角度に関する角度情報を含む対象情報を取得する取得手段と、予め取得された過去の対象情報と、前記過去の対象情報によって入力された文字列を含む参照情報との間における３段階以上の連関度が記憶された参照データベースと、前記参照データベースを参照し、前記対象情報と、前記参照情報との間の３段階以上の第１連関度を含む評価情報を取得する評価手段と、前記評価情報に基づき推定結果を生成する生成手段と、を備えることを特徴とする。【選択図】図１
2020177363.tif 000002
【特許請求の範囲】
【請求項１】
仮想キーボードを用いて入力された文字列を推定する推定システムであって、
ユーザが前記仮想キーボードを押下する動作を撮影した撮影情報に基づき、前記ユーザの指の角度に関する角度情報を含む対象情報を取得する取得手段と、
予め取得された過去の対象情報と、前記過去の対象情報によって入力された文字列を含む参照情報との間における３段階以上の連関度が記憶された参照データベースと、
前記参照データベースを参照し、前記対象情報と、前記参照情報との間の３段階以上の第１連関度を含む評価情報を取得する評価手段と、
前記評価情報に基づき推定結果を生成する生成手段と、
を備えることを特徴とする推定システム。
【請求項２】
前記取得手段は、
前記撮影情報を取得する撮影情報取得手段と、
前記撮影情報から前記ユーザの指の座標データを取得する座標データ取得手段と、
前記座標データから前記角度情報を取得する角度情報取得手段と、
を有すること
を特徴とする請求項１記載の推定システム。
【請求項３】
前記撮影情報は、三次元カメラを用いて生成される三次元画像データを含み、
前記座標データ取得手段は、前記三次元画像データから前記座標データを取得すること
を特徴とする請求項２記載の推定システム。
【請求項４】
前記対象情報及び前記過去の対象情報は、前記ユーザの指の動きを示すオプティカルフロー情報を含むこと
を特徴とする請求項１〜３の何れか１項記載の推定システム。
【請求項５】
前記撮影情報は、ＲＧＢカメラを用いて生成されるＲＧＢ画像を含み、
前記取得手段は、複数の前記ＲＧＢ画像から前記オプティカルフロー情報を取得するオプティカルフロー情報取得手段を有すること
を特徴とする請求項４記載の推定システム。
【請求項６】
前記対象情報及び前記過去の対象情報は、前記仮想キーボードの種類を示すキーボード情報を含むこと
を特徴とする請求項１〜５の何れか１項記載の推定システム。
【請求項７】
前記参照データベースは、機械学習により構築されたものであること
を特徴とする請求項１〜６の何れか１項記載の推定システム。
【請求項８】
仮想キーボードを用いて入力された文字列を推定する推定装置であって、
ユーザが前記仮想キーボードを押下する動作を撮影した撮影情報に基づき、前記ユーザの指の角度に関する角度情報を含む対象情報を取得する取得部と、
予め取得された過去の対象情報と、前記過去の対象情報によって入力された文字列を含む参照情報との間における３段階以上の連関度が記憶された参照データベースと、
前記参照データベースを参照し、前記対象情報と、前記参照情報との間の３段階以上の第１連関度を含む評価情報を取得する評価部と、
前記評価情報に基づき推定結果を生成する生成部と、
を備えることを特徴とする推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想キーボードを用いて入力された文字列を推定する推定システム、及び推定装置に関する。
【背景技術】
【０００２】
従来、物理的なキーボードを用いずに、キー入力を制御する技術として、例えば特許文献１の情報処理装置等が提案されている。
【０００３】
特許文献１では、手を撮影する撮影部により入力される画像から手領域を抽出する抽出部と、手領域に基づき、画像内の所定線を押下基準線に決定する基準線決定部と、手領域の最下部が押下基準線を超える場合に押下と判定する判定部と、判定部により押下と判定された場合の手領域の縦横比に基づき、奥行き方向の位置を決定する第１位置決定部と、判定部により押下と判定された場合の手領域の最下部の位置に基づき、横方向の位置を決定する第２位置決定部と、決定された奥行き方向の位置及び横方向の位置により入力キーを決定する入力キー決定部と、を備える情報処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１２／１７６３１５号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、例えば特許文献１のような情報処理装置では、１台のカメラによる１方向からの撮影画像に基づき、閾値によって入力コマンドが推定される。このため、閾値に応じたキー入力を行う必要があり、押下深度のバラつきを考慮できない懸念があり、キー入力の推定精度を向上させることが難しい。従って、キー入力を推定する精度の向上が課題として挙げられる。
【０００６】
そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、キー入力を推定する精度の向上を図ることができる推定システム、及び推定装置を提供することにある。
【課題を解決するための手段】
【０００７】
仮想キーボードを用いて入力された文字列を推定する推定システムであって、ユーザが前記仮想キーボードを押下する動作を撮影した撮影情報に基づき、前記ユーザの指の角度に関する角度情報を含む対象情報を取得する取得手段と、予め取得された過去の対象情報と、前記過去の対象情報によって入力された文字列を含む参照情報との間における３段階以上の連関度が記憶された参照データベースと、前記参照データベースを参照し、前記対象情報と、前記参照情報との間の３段階以上の第１連関度を含む評価情報を取得する評価手段と、前記評価情報に基づき推定結果を生成する生成手段と、を備えることを特徴とする。
【０００８】
第２発明に係る推定システムは、第１発明において、前記取得手段は、前記撮影情報を取得する撮影情報取得手段と、前記撮影情報から前記ユーザの指の座標データを取得する座標データ取得手段と、前記座標データから前記角度情報を取得する角度情報取得手段と、を有することを特徴とする。
【０００９】
第３発明に係る推定システムは、第２発明において、前記撮影情報は、三次元カメラを用いて生成される三次元画像データを含み、前記座標データ取得手段は、前記三次元画像データから前記座標データを取得することを特徴とする。
【００１０】
第４発明に係る推定システムは、第１発明〜第３発明の何れかにおいて、前記対象情報及び前記過去の対象情報は、前記ユーザの指の動きを示すオプティカルフロー情報を含むことを特徴とする。
【００１１】
第５発明に係る推定システムは、第４発明において、前記撮影情報は、ＲＧＢカメラを用いて生成されるＲＧＢ画像を含み、前記取得手段は、複数の前記ＲＧＢ画像から前記オプティカルフロー情報を取得するオプティカルフロー情報取得手段を有することを特徴とする。
【００１２】
第６発明に係る推定システムは、第１発明〜第５発明の何れかにおいて、前記対象情報及び前記過去の対象情報は、前記仮想キーボードの種類を示すキーボード情報を含むことを特徴とする。
【００１３】
第７発明に係る推定システムは、第１発明〜第６発明の何れかにおいて、前記参照データベースは、機械学習により構築されたものであることを特徴とする。
【００１４】
第８発明に係る推定装置は、仮想キーボードを用いて入力された文字列を推定する推定装置であって、ユーザが前記仮想キーボードを押下する動作を撮影した撮影情報に基づき、前記ユーザの指の角度に関する角度情報を含む対象情報を取得する取得部と、予め取得された過去の対象情報と、前記過去の対象情報によって入力された文字列を含む参照情報との間における３段階以上の連関度が記憶された参照データベースと、前記参照データベースを参照し、前記対象情報と、前記参照情報との間の３段階以上の第１連関度を含む評価情報を取得する評価部と、前記評価情報に基づき推定結果を生成する生成部と、を備えることを特徴とする。
【発明の効果】
【００１５】
第１発明〜第７発明によれば、評価手段は、参照データベースを参照し、対象情報と、参照情報との間の３段階以上の第１連関度を含む評価情報を取得する。このため、過去の結果を踏まえた推定結果を生成でき、押下深度のバラつきを考慮したキー入力の推定ができる。これにより、キー入力を推定する精度の向上を図ることが可能となる。
【００１６】
また、第１発明〜第７発明によれば、対象情報は、角度情報を含む。このため、１つの画像から手の位置を算出する場合に比べて、ユーザ毎に異なる手の特徴に関わらず、仮想キーボードに対する手の位置関係を容易に取得することができる。これにより、キー入力を推定するために必要な情報を、高精度に取得することが可能となる。
【００１７】
また、第２発明によれば、座標データ取得手段は、撮影情報から座標データを取得する。また、角度情報取得手段は、座標データから角度情報を取得する。このため、評価対象とするデータの容量を削減することができる。これにより、対象情報を保存する際、保存容量の増大を抑制することが可能となる。また、評価対象として必要なパラメータを抑えることができ、さらなる推定精度の向上を図ることが可能となる。
【００１８】
また、第３発明によれば、撮影情報は、三次元カメラを用いて生成される三次元画像データを含む。このため、角度情報を取得する際、新たなカメラ等を設けることなく、従来の三次元カメラを利用することができる。これにより、容易にキー入力を推定する環境を整えることが可能となる。
【００１９】
また、第４発明によれば、対象情報及び過去の対象情報は、オプティカルフロー情報を含む。このため、オプティカルフロー情報と角度情報とを組み合わせることで、ユーザ毎におけるキー入力時の動きを考慮することができる。これにより、キー入力を推定する精度のさらなる向上を図ることが可能となる。
【００２０】
また、第５発明によれば、オプティカルフロー情報取得手段は、複数のＲＧＢ画像からオプティカルフロー情報を取得する。このため、オプティカルフロー情報を取得する際、新たなカメラ等を設けることなく、従来のＲＧＢカメラを利用することができる。これにより、容易にキー入力の推定精度を向上させる環境を整えることが可能となる。
【００２１】
また、第６発明によれば、対象情報及び過去の対象情報は、キーボード情報を含む。このため、キー配列等が異なる仮想キーボードを利用した場合においても、キー入力を高精度に推定することが可能となる。
【００２２】
また、第７発明によれば、参照データベースは、機械学習により構築される。このため、画像から算出された押下深度に対する閾値を設定する場合に比べて、主観を除いたキー入力の推定を実現することが可能となる。
【００２３】
第８発明によれば、評価部は、参照データベースを参照し、対象情報と、参照情報との間の３段階以上の第１連関度を含む評価情報を取得する。このため、過去の結果を踏まえた推定結果を生成でき、押下深度のバラつきを考慮したキー入力の推定ができる。これにより、キー入力を推定する精度の向上を図ることが可能となる。
【００２４】
また、第８発明によれば、対象情報は、角度情報を含む。このため、１つの画像から手の位置を算出する場合に比べて、ユーザ毎に異なる手の特徴に関わらず、仮想キーボードに対する手の位置関係を容易に取得することができる。これにより、キー入力を推定するために必要な情報を、高精度に取得することが可能となる。
【図面の簡単な説明】
【００２５】
【図１】図１（ａ）は、本実施形態における推定システムの一例を示す模式図であり、図１（ｂ）は、本実施形態における推定システムの他の例を示す模式図である。
【図２】図２は、推定システムの動作の一例を示す模式図である。
【図３】図３は、角度情報及びオプティカルフロー情報を取得する取得手段の一例を示す模式図である。
【図４】図４（ａ）は、本実施形態における推定装置の構成の一例を示す模式図であり、図４（ｂ）は、本実施形態における推定装置の機能の一例を示す模式図である。
【図５】図５は、本実施形態における参照データベースの一例を示す模式図である。
【図６】図６は、本実施形態における参照データベースの第１変形例を示す模式図である。
【図７】図７は、本実施形態における参照データベースの第２変形例を示す模式図である。
【図８】図８は、本実施形態における推定システムの動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００２６】
以下、本発明を適用した実施形態における推定システム、及び推定装置の一例について、図面を参照しながら説明する。
【００２７】
図１を参照して、本実施形態における推定システム１００、及び推定装置１の一例について説明する。
【００２８】
本実施形態における推定システム１００は、例えば図１（ａ）に示すように、推定装置１を有する。推定装置１は、例えば通信網４を介して、ユーザ端末３に接続される。推定システム１００は、仮想キーボード８を用いて入力された文字列を推定する。推定システム１００では、ユーザ端末３によって仮想キーボード８が投影されるほか、例えば図１（ｂ）に示すように、推定装置１によって仮想キーボード８が投影されてもよく、他の端末等によって仮想キーボード８が投影されてもよい。
【００２９】
推定システム１００では、例えば図２に示すように、推定装置１が対象情報を取得し、対象情報に対する推定結果を生成するものである。対象情報は、ユーザの指の角度に関する角度情報を含み、例えば撮影情報を含んでもよい。撮影情報は、ユーザが仮想キーボード８を押下する動作を撮影した画像データ、及び画像データにおけるユーザの手の位置情報を含む。対象情報は、例えばユーザの指の動きを示すオプティカルフロー情報を含んでもよい。対象情報は、ユーザ端末３によって生成されるほか、例えば推定装置１によって生成されてもよい。
【００３０】
画像データは、ユーザ端末３又は推定装置１に設けられた公知のカメラを用いて生成されるほか、ユーザ端末３又は推定装置１とは独立した公知のカメラを用いて生成されてもよい。画像データは、１つのキーを押下するユーザの手を撮像した画像を含み、例えば少なくとも１つのキーを押下する前後におけるユーザの手の動きを撮像した複数の画像（例えば動画）を含んでもよい。画像データは、ユーザの指を撮像した画像のほか、例えばユーザの指の動きを撮像した動画でもよい。画像データは、例えば仮想キーボード８の形状、投影サイズ、キー高さ、キー配列等のキーボードに関する情報（後述するキーボード情報と同等）を含む。
【００３１】
画像データは、三次元画像データを有し、例えばＲＧＢ画像データと、赤外線画像データとを有する。三次元画像データは、公知の三次元カメラ（３Ｄカメラ）を用いて生成される。三次元カメラは、例えば複数のＲＧＢカメラを用いて代用してもよい。ＲＧＢ画像データは、可視光領域（例えば４００ｎｍ以上８００ｎｍ以下）に対応するＲＧＢカメラを用いて生成される。赤外線画像データは、赤外光領域（例えば８００ｎｍ以上１，０００μｍ以下）に対応する赤外線カメラを用いて生成される。ＲＧＢ画像データ及び赤外線画像データは、例えば可視光領域から赤外光領域まで対応する１つのマルチスペクトルカメラを用いて生成されてもよい。
【００３２】
位置情報は、例えば対象物との離間距離を計測する公知の距離計測カメラを用いて生成される。位置情報は、ユーザ端末３又は推定装置１に設けられた距離計測カメラを用いて生成されるほか、ユーザ端末３又は推定装置１とは独立した距離計測カメラを用いて生成されてもよい。
【００３３】
位置情報は、距離計測カメラと、画像データによって撮像されたユーザの手（対象物）との間の距離を示す距離データを有する。距離データは、距離計測カメラと、予め設定されたユーザの手の少なくとも一ヶ所との間の距離を示す。距離データは、例えば距離計測カメラと、ユーザの指先毎との間の距離を示してもよい。なお、ユーザの指先は、仮想キーボード８に接触すると想定される部分を示し、例えば右手の指先及び左手の指先に対応する合計１０ヶ所が、距離データの対象となる。
【００３４】
距離データは、例えば画像データの撮影と同様の期間に生成される。距離データは、例えば仮想キーボード８をユーザが押下する前後の期間のみ生成されてもよい。距離データは、数値データとして生成され、ベクトル又は行列で示されてもよい。
【００３５】
位置情報は、例えば座標データを有してもよい。座標データは、例えば距離計測カメラの位置を基準としたｘ軸、ｙ軸、ｚ軸を用いた座標空間により示される（生成される）ほか、例えば三次元画像データから取得されてもよい。座標データは、距離データと同様に、ユーザの手の少なくとも一ヶ所の座標を示し、例えばユーザの指先毎の座標を示してもよい。座標データは、例えば画像データの撮影と同様の期間に生成される。座標データは、例えば仮想キーボード８をユーザが押下する前後の期間のみ生成されてもよい。座標データは、数値データとして生成され、ベクトル又は行列で示されてもよい。
【００３６】
角度情報は、例えば図３に示すように、三次元画像データに基づき取得される。角度情報は、三次元画像データから取得された座標データから取得されるほか、例えば距離計測カメラにより生成される座標データから取得されてもよい。角度情報は、例えば各指の座標のうち関節部分における座標を中心とした３点以上の座標から、角度を算出することで取得してもよい。角度情報の取得方法として、公知の技術を用いることができる。
【００３７】
オプティカルフロー情報は、例えば図３に示すように、ＲＧＢ画像データに基づき取得される。オプティカルフロー情報は、複数のＲＧＢ画像又は動画から取得されるほか、例えば取得時間の異なる複数の座標データから取得してもよい。オプティカルフロー情報は、例えば各指先における位置の経時変化を示す。オプティカルフロー情報は、画像形式で取得されるほか、例えば行列（ベクトル）形式で取得されてもよい。オプティカルフロー情報の取得方法として、公知の技術を用いることができる。
【００３８】
なお、上述した仮想キーボード８を投影する投影部、三次元カメラ、ＲＧＢカメラ、赤外線カメラ、及び距離計測カメラは、同一の端末（例えば推定装置１又はユーザ端末３）に備え付けられてもよい。また、上述した画像データ及び位置情報は、Ｋｉｎｅｃｔ（登録商標）やマルチスペクトルカメラ等の公知のカメラを用いて生成されてもよく、この場合、例えば２眼以上のカメラが用いられてもよい。
【００３９】
対象情報は、例えばキーボード情報を含んでもよい。キーボード情報は、ユーザが用いる仮想キーボード８の種類を示す。キーボード情報は、仮想キーボード８の投影サイズのほか、例えばキーの配列、各キーの大きさ、キー高さ等を含む。
【００４０】
対象情報は、例えば言語情報を含んでもよい。言語情報は、ユーザが仮想キーボード８を用いて入力する言語の種類を示す。推定システム１００では、言語情報に基づき、入力した文字列を推定してもよい。この場合、ユーザの使用する言語に依存することなく、キー入力を高精度に推定することが可能となる。また、タイプミス等を考慮した推定結果を生成することができる。
【００４１】
推定結果は、ユーザが仮想キーボード８を押下したときの入力キーに対応する内容を推定した結果を示す。推定結果として、文字列が生成されるほか、例えば推定装置１又はユーザ端末３の制御コマンドが生成される。推定システム１００では、対象情報に含まれる情報の種類を多くすることで、推定結果の精度を向上させることができる。特に、角度情報と、オプティカルフロー情報との組み合わせにより、ユーザの指の動きを高精度に捉えることが可能となる。
【００４２】
（推定装置１）
次に、図４を参照して、本実施形態における推定装置１の一例を説明する。図４（ａ）は、本実施形態における推定装置１の構成の一例を示す模式図であり、図４（ｂ）は、本実施形態における推定装置１の機能の一例を示す模式図である。
【００４３】
推定装置１として、例えばパーソナルコンピュータ（ＰＣ）等の電子機器が用いられるほか、例えばスマートフォン、タブレット型端末、ウェアラブル端末、ＩｏＴ（Internet of Things）デバイス等の電子機器、Ｒａｓｐｂｅｒｒｙ  Ｐｉ（登録商標）等のシングルボードコンピュータが用いられてもよい。推定装置１は、例えば図４（ａ）に示すように、筐体１０と、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、保存部１０４と、Ｉ／Ｆ１０５〜１０７とを備える。各構成１０１〜１０７は、内部バス１１０により接続される。
【００４４】
ＣＰＵ１０１は、推定装置１全体を制御する。ＲＯＭ１０２は、ＣＰＵ１０１の動作コードを格納する。ＲＡＭ１０３は、ＣＰＵ１０１の動作時に使用される作業領域である。保存部１０４は、撮影情報や対象情報等の各種情報が記憶される。保存部１０４として、例えばＨＤＤ（Hard Disk Drive）の他、ＳＳＤ（solid state drive）やフロッピーディスク等のデータ保存装置が用いられる。なお、例えば推定装置１は、図示しないＧＰＵ（Graphics Processing Unit）を有してもよい。ＧＰＵを有することで、通常よりも高速演算処理が可能となる。
【００４５】
Ｉ／Ｆ１０５は、インターネット等の通信網４を介して、ユーザ端末３やサーバ２等との各種情報の送受信を行うためのインターフェースである。Ｉ／Ｆ１０６は、入力部分１０８との情報の送受信を行うためのインターフェースである。入力部分１０８として、例えばキーボードが用いられ、推定装置１の管理者等は、入力部分１０８を介して、各種情報又は推定装置１の制御コマンド等を入力する。Ｉ／Ｆ１０７は、出力部分１０９との各種情報の送受信を行うためのインターフェースである。出力部分１０９は、保存部１０４に保存された各種情報、又は推定装置１の処理状況等を出力する。出力部分１０９として、ディスプレイが用いられ、例えばタッチパネル式でもよい。
【００４６】
なお、例えば出力部分１０９が、仮想キーボード８を投影する投影部を有する場合、入力部分１０８は、対象情報を生成するための各種カメラ（例えば上述した三次元カメラ、ＲＧＢカメラ、赤外線カメラ、及び距離計測カメラの少なくとも何れか）を有してもよい。また、推定装置１としてスマートフォンやタブレット等の端末が用いられる場合、備え付けられた公知の投影装置（投影部）が、出力部分１０９の一部として用いられ、備え付けられた公知のカメラ（撮像部）が、入力部分１０８の一部として用いられてもよい。
【００４７】
＜参照データベース＞
保存部１０４には、例えば予め取得された過去の対象情報、参照情報、及び連関度が記憶された参照データベースが保存される。過去の対象情報は、上述した対象情報と同種の情報を示し、過去の角度情報を含み、例えば過去のオプティカルフロー情報、過去の画像データ、過去の位置情報、及び過去のキーボード情報の少なくとも何れかを含んでもよい。参照情報は、過去の対象情報によって入力された文字列を含み、例えば推定装置１又はユーザ端末３の制御コマンドを含む。連関度は、過去の対象情報と、参照情報との関係の度合いを示す。
【００４８】
参照データベースには、例えば図５に示すように、過去の対象情報と参照情報との間における３段階以上の連関度が記憶される。連関度は、例えば百分率、１０段階、又は５段階等の３段階以上で示され、例えば線の特徴（例えば太さ等）で示される。参照データベースは、例えば過去の対象情報及び参照情報を用いて、連関度を算出できるアルゴリズムで形成される。過去の対象情報及び参照情報は、複数のデータを有し、各過去の対象情報と各参照情報との関係は、それぞれ連関度で紐づいている。
【００４９】
例えば、過去の対象情報に含まれる「情報Ａ」は、参照情報に含まれる「参照Ａ」との間の連関度「８０％」を示し、参照情報に含まれる「参照Ｂ」との間の連関度「１５％」を示す。すなわち、「連関度」は、各データ間における繋がりの度合いを示しており、連関度が高いほど、各データの繋がりが強いことを示す。
【００５０】
なお、過去の対象情報は、画像（経時変化を示す複数の画像、動画でもよい）や文字列等の形式で参照データベースに記憶されるほか、例えば数値、行列（ベクトル）、又はヒストグラム等の形式で記憶されてもよい。また、参照情報は、文字列等の形式で参照データベースに記憶されるほか、例えば数値、行列（ベクトル）、又はヒストグラム等の形式で記憶されてもよい。すなわち、図５に示した「情報Ａ」、「情報Ｂ」、「情報Ｃ」は、過去に取得された対象情報（例えば角度情報のほか、オプティカルフロー情報、ＲＧＢ画像データ、赤外線画像データ、距離データ、座標データ、及びキーボード情報の少なくとも何れか）を、画像形式や行列等の形式で記憶されたデータを示し、「参照Ａ」、「参照Ｂ」、「参照Ｃ」は、過去に取得された推定結果に対応する文字列の形式や行列等の形式で記憶されたデータを示す。
【００５１】
参照データベースは、例えば機械学習を用いて構築される。この場合連関度は、機械学習を用いて算出される。機械学習には、例えば深層学習が用いられる。参照データベースは、例えばニューラルネットワークで構築され、その場合、連関度は隠れ層及び重み変数で示されてもよい。すなわち、推定システム１００では、機械学習により構築された参照データベースを用いることができ、この場合、それぞれ複数のデータを有する過去の対象情報と、参照情報との間における複雑な関係性を、連関度により高精度に示すことができる。これにより、推定結果の精度を向上させることが可能となる。
【００５２】
過去の対象情報は、例えば図６に示すように、過去の角度情報と、過去のオプティカルフロー情報とを分割して、参照データベースに記憶されてもよい。この場合、過去の角度情報及び過去のオプティカルフロー情報の組み合わせと、参照情報との間の関係に基づいて、連関度が算出される。なお、過去の対象情報は、例えば上記に加え、過去の画像データ及び過去の位置情報の少なくとも何れかを分割して、参照データベースに記憶されてもよい。
【００５３】
例えば、過去の角度情報に含まれる「角度Ａ」、及び過去のオプティカルフロー情報に含まれる「フローＡ」の組み合わせは、「参照Ａ」との間の連関度「９０％」を示し、「参照Ｂ」との間の連関度「２０％」を示す。この場合、過去の角度情報及び過去のオプティカルフロー情報をそれぞれ独立してデータを記憶させることができる。このため、推定結果を生成する際、精度の向上及び選択肢の範囲を拡大させることが可能となる。
【００５４】
なお、過去の画像データは、例えば過去のＲＧＢ画像データと、過去の赤外線画像データとを分割して、参照データベースに記憶されてもよい。また、過去の位置情報は、例えば過去の距離データと、過去の座標データとを分割して、参照データベースに記憶されてもよい。
【００５５】
過去の対象情報は、例えば図７に示すように、合成データと、類似度とを含んでもよい。合成データは、過去の角度情報又は過去のオプティカルフロー情報との間における３段階以上の類似度により示される。合成データは、画像や文字列等の形式で参照データベースに記憶されるほか、例えば数値、行列、又はヒストグラム等の形式で記憶されてもよい。
【００５６】
図４（ｂ）は、推定装置１の機能の一例を示す模式図である。推定装置１は、取得部１１と、記憶部１２と、評価部１３と、生成部１４と、出力部１５とを備え、例えば更新部１６を有してもよい。なお、図４（ｂ）に示した各機能は、ＣＰＵ１０１が、ＲＡＭ１０３を作業領域として、保存部１０４等に記憶されたプログラムを実行することにより実現され、例えば人工知能により制御されてもよい。
【００５７】
＜取得部１１＞
取得部１１は、対象情報を取得する。取得部１１は、通信網４及びＩ／Ｆ１０５を介して、ユーザ端末３等の外部端末から対象情報を取得するほか、例えば入力部分１０８の有する撮像部（例えば上述した三次元カメラ、ＲＧＢカメラ、赤外線カメラ、及び距離計測カメラの少なくとも何れか）から、対象情報を取得する。取得部１１は、撮影情報を取得し、撮影情報に基づく角度情報を対象情報として取得するほか、例えば角度情報等を対象情報として一括して取得してもよい。取得部１１が対象情報を取得する頻度及び周期は、任意である。
【００５８】
取得部１１は、例えば取得した撮影情報から座標データを取得し、座標データから角度情報を取得する。これにより、取得部１１は、角度情報を含む対象情報を取得する。取得部１１は、例えば取得した複数のＲＧＢ画像からオプティカルフロー情報を取得する。これにより、取得部１１は、角度情報及びオプティカルフロー情報を含む対象情報を取得する。なお、取得部１１は、上述した公知の技術を用いて、角度情報及びオプティカルフロー情報を取得することができる。
【００５９】
取得部１１は、推定装置１に送信された各種情報を受信する。取得部１１は、通信網４及びＩ／Ｆ１０５を介して、ユーザ端末３等の外部端末から送信された対象情報等の各種情報を受信する。
【００６０】
＜記憶部１２＞
記憶部１２は、保存部１０４に保存された参照データベース等の各種情報を必要に応じて取出す。記憶部１２は、各構成１１、１３〜１６により取得又は生成された各種情報を、保存部１０４に保存する。
【００６１】
＜評価部１３＞
評価部１３は、参照データベースを参照し、対象情報と、参照情報との間における第１連関度を含む評価情報を取得する。評価部１３は、例えば図４に示した参照データベースを参照した場合、対象情報に含まれる情報と同一又は類似する過去の対象情報（例えば「情報Ａ」：過去の第１対象情報とする）を選択する。過去の対象情報として、対象情報と一部一致又は完全一致する情報が選択されるほか、例えば類似（同一概念等を含む）する情報が選択される。対象情報が行列等の数値で表される場合、選択される過去の対象情報に含まれる数値範囲を、予め設定してもよい。
【００６２】
評価部１３は、選択した過去の第１対象情報に紐づく参照情報、及び選択した過去の対象情報と参照情報との間における連関度（第１連関度）を選択し、評価情報として取得する。なお、第１連関度は、連関度から一部が選択されるほか、評価部１３によって算出されてもよい。
【００６３】
例えば評価部１３は、第１対象情報「情報Ａ」に紐づく参照情報「参照Ａ」、及び「情報Ａ」と「参照Ａ」との間における第１連関度「８０％」を選択し、評価情報として取得する。なお、参照情報及び第１連関度は、複数のデータを含んでもよい。この場合、上述した「参照Ａ」及び「８０％」に加えて、第１対象情報「情報Ａ」に紐づく参照情報「参照Ｂ」、及び「情報Ａ」と「参照Ｂ」との間における第１連関度「１５％」を選択し、「参照Ａ」及び「８０％」、並びに、「参照Ｂ」及び「１５％」を評価情報として取得してもよい。
【００６４】
評価情報は、対象情報を含んでもよい。また、第１連関度は、例えば百分率等の３段階以上で示される。例えば参照データベースがニューラルネットワークで構成される場合、第１連関度は、選択された過去の評価対象情報に紐づく重み変数を示す。
【００６５】
＜生成部１４＞
生成部１４は、評価情報に基づき、推定結果を生成する。生成部１４は、例えば予め保存部１０４等に記憶された出力用フォーマット等の形式データを用いて、評価結果として取得された情報に基づき、ユーザが理解できる形式（例えば文字列）に変換し、変換した情報を評価結果として生成する。
【００６６】
生成部１４は、例えば図２に示すように、「○○さんこんにちは。」等の推定される文字列を含む推定結果を生成する。生成部１４は、例えば推定装置１又はユーザ端末３を制御する制御情報を含む推定結果を生成してもよい。なお、推定結果を生成する際における形式の設定、及び評価情報から推定結果への変換方法は、例えば公知の技術（例えば人工知能技術）を用いてもよい。
【００６７】
生成部１４は、例えば評価情報の第１連関度に基づいて、推定結果の内容を決定する。例えば生成部１４は、「５０％」以上の第１連関度に紐づく参照情報に基づいて、推定結果を生成し、「５０％」未満の第１連関度に紐づく参照情報を推定結果に反映しないように設定されてもよい。なお、第１連関度に基づく判定基準は、例えば管理者等が予め閾値等を設定してもよく、閾値の範囲等は任意に設定できる。また、生成部１４は、例えば２以上の第１連関度を演算した結果や、２以上の第１連関度の比較に基づいて、推定結果の内容を決定してもよい。
【００６８】
推定結果は、例えば評価情報を含んでもよい。また、推定結果は、対象情報を含んでもよい。
【００６９】
＜出力部１５＞
出力部１５は、推定結果を出力する。出力部１５は、Ｉ／Ｆ１０７を介して出力部分１０９に推定結果を送信するほか、例えばＩ／Ｆ１０５を介して、ユーザ端末３等に推定結果を送信する。
【００７０】
出力部１５は、例えば推定結果に基づき、推定結果をユーザ端末３に送信するか否かを判定してもよい。判定基準は、例えば管理者等が予め閾値等を設定してもよい。
【００７１】
＜更新部１６＞
更新部１６は、例えば参照データベースを更新する。更新部１６は、過去の対象情報と、参照情報との間の関係を新たに取得した場合には、関係を連関度に反映させる。例えば生成部１４により生成された推定結果を踏まえて、ユーザがキーボード入力の推定精度を評価し、評価結果を推定装置１が取得した場合、更新部１６は、評価結果に基づき参照データベースに含まれる連関度を更新する。
【００７２】
＜サーバ２＞
サーバ２には、例えば上述した各種情報が記憶される。サーバ２には、例えば通信網４を介して送られてきた各種情報が蓄積される。サーバ２には、例えば保存部１０４と同様の情報が記憶され、通信網４を介して推定装置１と各種情報の送受信が行われてもよい。即ち、推定装置１は、保存部１０４の代わりにサーバ２を用いてもよい。
【００７３】
＜ユーザ端末３＞
ユーザ端末３は、上述した仮想キーボード８を投影する投影部、対象情報を生成するためのカメラを有する。ユーザ端末３として、主に携帯電話（携帯端末）が用いられ、それ以外ではスマートフォン、タブレット型端末、ウェアラブル端末、パーソナルコンピュータ、ＩｏＴデバイス等の電子機器のほか、あらゆる電子機器で具現化されたものが用いられてもよい。ユーザ端末３は、例えば通信網４を介して推定装置１と接続されるほか、例えば推定装置１と直接接続されてもよい。ユーザは、例えばユーザ端末３を用いて、推定装置１から推定結果を取得する。なお、ユーザ端末３は、それぞれ独立して設けられた投影部や複数のカメラを含んでもよい。
【００７４】
＜通信網４＞
通信網４は、例えば推定装置１等が通信回路を介して接続されるインターネット網等である。通信網４は、いわゆる光ファイバ通信網で構成されてもよい。また、通信網４は、有線通信網のほか、無線通信網等の公知の通信網で実現してもよい。
【００７５】
（推定システム１００の動作の一例）
次に、本実施形態における推定システム１００の動作の一例について説明する。図８は、本実施形態における推定システム１００の動作の一例を示すフローチャートである。
【００７６】
＜取得手段Ｓ１１０＞
図８に示すように、角度情報を含む対象情報を取得する（取得手段Ｓ１１０）。取得部１１は、撮影情報に基づく角度情報を含む対象情報を取得する。仮想キーボード８は、例えばユーザ端末３又は推定装置１の投影部により投影される。撮影情報は、例えばユーザ端末３又は推定装置１の有する各種カメラにより生成される。
【００７７】
取得部１１は、撮影情報を取得し、撮影情報から角度情報を取得する。これにより、角度情報を含む対象情報を取得する。取得部１１は、例えば記憶部１２を介して、対象情報を保存部１０４に保存する。なお、取得部１１は、キーボード情報及び言語情報の少なくとも何れか、を予め取得した上で、画像データ等を取得してもよい。
【００７８】
取得部１１は、撮影情報が生成される度に対象情報として取得するほか、例えば任意の期間に生成された対象情報を取得してもよい。
【００７９】
取得手段Ｓ１１０は、例えば図３に示すように、撮影情報取得手段Ｓ１１１と、座標データ取得手段Ｓ１１２と、角度情報取得手段Ｓ１１３とを有する。撮影情報取得手段Ｓ１１１では、取得部１１は、撮影情報を取得し、例えば三次元カメラを用いて生成された三次元画像データを取得する。座標データ取得手段Ｓ１１２では、取得部１１は、撮影情報から座標データを取得するほか、例えば距離計測カメラで生成された座標データを取得してもよい。角度情報取得手段Ｓ１１３では、取得部１１は、座標データから角度情報を取得する。角度情報を取得する対象については、指の第１関節を頂点とした角度や、第２関節を頂点とした角度等が用いられ、状況に応じて任意に設定することができる。
【００８０】
取得手段Ｓ１１０は、例えばオプティカルフロー情報取得手段Ｓ１１４を有する。オプティカルフロー情報取得手段Ｓ１１４では、取得部１１は、ＲＧＢカメラを用いて生成されたＲＧＢ画像を取得し、複数のＲＧＢ画像からオプティカルフロー情報を取得する。
【００８１】
＜評価手段Ｓ１２０＞
次に、参照データベースを参照し、対象情報と、参照情報との間における第１連関度を含む評価情報を取得する（評価手段Ｓ１２０）。評価部１３は、取得部１１により取得された対象情報を取得し、例えば保存部１０４に保存された参照データベースを取得する。評価部１３は、１つの対象情報に対して１つの評価情報を取得するほか、例えば複数の対象情報に対して１つの評価情報を取得してもよい。評価部１３は、例えば記憶部１２を介して、評価情報を保存部１０４に保存する。
【００８２】
＜生成手段Ｓ１３０＞
次に、評価情報に基づき推定結果を生成する（生成手段Ｓ１３０）。生成部１４は、評価部１３により取得された評価情報を取得し、例えば保存部１０４に保存された出力用フォーマット等の形式データを取得する。生成部１４は、１つの評価情報に対して１つの推定結果を取得するほか、例えば複数の評価情報に対して１つの推定結果を取得してもよい。生成部１４は、例えば記憶部１２を介して推定結果を保存部１０４に保存する。
【００８３】
これにより、例えば出力部１５が推定結果をユーザ端末３等に送信、又は出力部分１０９に出力し、本実施形態における推定システム１００の動作が終了する。
【００８４】
＜更新手段Ｓ１４０＞
なお、例えば過去の対象情報と、参照情報との間の関係を新たに取得した場合には、関係を連関度に反映させてもよい（更新手段Ｓ１４０）。例えば生成部１４により生成された推定結果を踏まえて、ユーザがキーボード入力の推定精度を評価し、評価結果を推定装置１が取得した場合、更新部１６は、評価結果に基づき参照データベースに含まれる連関度を更新する。
【００８５】
これにより、本実施形態における推定システム１００の動作が終了してもよい。なお、更新手段Ｓ１４０を実施する場合のタイミングは、任意である。
【００８６】
本実施形態によれば、評価手段Ｓ１２０は、参照データベースを参照し、対象情報と、参照情報との間の３段階以上の第１連関度を含む評価情報を取得する。このため、過去の結果を踏まえた推定結果を生成でき、押下深度のバラつきを考慮したキー入力の推定ができる。これにより、キー入力を推定する精度の向上を図ることが可能となる。
【００８７】
また、本実施形態によれば、対象情報は、角度情報を含む。このため、１つの画像から手の位置を算出する場合に比べて、ユーザ毎に異なる手の特徴に関わらず、仮想キーボード８に対する手の位置関係を容易に取得することができる。これにより、キー入力を推定するために必要な情報を、高精度に取得することが可能となる。
【００８８】
また、本実施形態によれば、座標データ取得手段Ｓ１１２は、撮影情報から座標データを取得する。また、角度情報取得手段Ｓ１１３は、座標データから角度情報を取得する。このため、評価対象とするデータの容量を削減することができる。これにより、対象情報を保存する際、保存容量の増大を抑制することが可能となる。
【００８９】
また、本実施形態によれば、撮影情報は、三次元カメラを用いて生成される三次元画像データを含む。このため、角度情報を取得する際、新たなカメラ等を設けることなく、従来の三次元カメラを利用することができる。これにより、容易にキー入力を推定する環境を整えることが可能となる。
【００９０】
また、本実施形態によれば、対象情報及び過去の対象情報は、オプティカルフロー情報を含む。このため、オプティカルフロー情報と角度情報とを組み合わせることで、ユーザ毎におけるキー入力時の動きを考慮することができる。これにより、キー入力を推定する精度のさらなる向上を図ることが可能となる。
【００９１】
また、本実施形態によれば、取得手段Ｓ１１０は、複数のＲＧＢ画像からオプティカルフロー情報を取得する。このため、オプティカルフロー情報を取得する際、新たなカメラ等を設けることなく、従来のＲＧＢカメラを利用することができる。これにより、容易にキー入力の推定精度を向上させる環境を整えることが可能となる。
【００９２】
また、本実施形態によれば、対象情報及び過去の対象情報は、キーボード情報を含む。このため、キー配列等が異なる仮想キーボード８を利用した場合においても、キー入力を高精度に推定することが可能となる。
【００９３】
また、本実施形態によれば、参照データベースは、機械学習により構築される。このため、画像から算出された押下深度に対する閾値を設定する場合に比べて、主観を除いたキー入力の推定を実現することが可能となる。
【００９４】
本実施形態によれば、評価部１３は、参照データベースを参照し、対象情報と、参照情報との間の３段階以上の第１連関度を含む評価情報を取得する。このため、過去の結果を踏まえた推定結果を生成でき、押下深度のバラつきを考慮したキー入力の推定ができる。これにより、キー入力を推定する精度の向上を図ることが可能となる。
【００９５】
また、本実施形態によれば、対象情報は、角度情報を含む。このため、１つの画像から手の位置を算出する場合に比べて、ユーザ毎に異なる手の特徴に関わらず、仮想キーボード８に対する手の位置関係を容易に取得することができる。これにより、キー入力を推定するために必要な情報を、高精度に取得することが可能となる。
【００９６】
なお、本実施形態によれば、対象情報及び過去の対象情報は、言語情報を含んでもよい。この場合、ユーザの使用する言語に依存することなく、キー入力を高精度に推定することが可能となる。
【００９７】
なお、本実施形態によれば、更新手段Ｓ１４０は、過去の対象情報と、参照情報との間の関係を新に取得した場合には、関係を連関度に反映させてもよい。この場合、連関度を容易に更新することができ、継続した推定精度の向上を図ることが可能となる。
【００９８】
なお、本実施形態によれば、画像データは、ＲＧＢ画像データと、赤外線画像データとを有してもよい。この場合、照明等に起因する撮像環境が異なる場合においても、手の形状等を高精度に取得することができる。これにより、キー入力を推定する精度をさらに向上させることが可能となる。
【００９９】
なお、本実施形態によれば、位置情報は、距離データを有してもよい。この場合、奥行き方向に対する手の位置を容易に取得することができる。これにより、キー入力を推定する精度をさらに向上させることが可能となる。
【０１００】
なお、本実施形態によれば、投影部、ＲＧＢカメラ、赤外線カメラ、及び距離計測カメラは、同一の端末に備え付けられてもよい。この場合、場所を選ばずに仮想キーボード８を利用することが可能となる。
【０１０１】
本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１０２】
１        ：推定装置
２        ：サーバ
３        ：ユーザ端末
４        ：通信網
８        ：仮想キーボード
１０      ：筐体
１１      ：取得部
１２      ：記憶部
１３      ：評価部
１４      ：生成部
１５      ：出力部
１６      ：更新部
１００    ：推定システム
１０１    ：ＣＰＵ
１０２    ：ＲＯＭ
１０３    ：ＲＡＭ
１０４    ：保存部
１０５    ：Ｉ／Ｆ
１０６    ：Ｉ／Ｆ
１０７    ：Ｉ／Ｆ
１０８    ：入力部分
１０９    ：出力部分
１１０    ：内部バス
Ｓ１１０  ：取得手段
Ｓ１２０  ：評価手段
Ｓ１３０  ：生成手段
Ｓ１４０  ：更新手段
【図１】
2020177363.tif 000003
【図２】
2020177363.tif 000004
【図３】
2020177363.tif 000005
【図４】
2020177363.tif 000006
【図５】
2020177363.tif 000007
【図６】
2020177363.tif 000008
【図７】
2020177363.tif 000009
【図８】
2020177363.tif 000010
【手続補正書】
【提出日】令和1年9月30日(2019.9.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
仮想キーボードを用いて入力された文字列を推定する推定システムであって、
ユーザが前記仮想キーボードを押下する動作を撮影した撮影情報に基づき、前記ユーザの指の角度に関する角度情報を含む対象情報を取得する取得手段と、
予め取得された過去の対象情報と、前記過去の対象情報によって入力された文字列を含む参照情報との間における３段階以上の連関度が記憶された参照データベースと、
前記参照データベースを参照し、前記取得手段により取得された前記対象情報と、前記参照情報との間の３段階以上の第１連関度を含む評価情報を取得する評価手段と、
前記評価情報に基づき推定結果を生成する生成手段と、
を備え、
前記指の角度は、前記ユーザの指の座標のうち関節部分における座標を中心とした３点以上の座標から算出された角度を示すこと
を特徴とする推定システム。
【請求項２】
前記取得手段は、
前記撮影情報を取得する撮影情報取得手段と、
前記撮影情報から前記ユーザの指の座標データを取得する座標データ取得手段と、
前記座標データから前記角度情報を取得する角度情報取得手段と、
を有すること
を特徴とする請求項１記載の推定システム。
【請求項３】
前記撮影情報は、三次元カメラを用いて生成される三次元画像データを含み、
前記座標データ取得手段は、前記三次元画像データから前記座標データを取得すること
を特徴とする請求項２記載の推定システム。
【請求項４】
前記対象情報及び前記過去の対象情報は、前記ユーザの指の動きを示すオプティカルフロー情報を含むこと
を特徴とする請求項１〜３の何れか１項記載の推定システム。
【請求項５】
前記対象情報及び前記過去の対象情報は、前記仮想キーボードの種類を示すキーボード情報を含むこと
を特徴とする請求項１〜４の何れか１項記載の推定システム。
【請求項６】
前記参照データベースは、機械学習により構築されたものであること
を特徴とする請求項１〜５の何れか１項記載の推定システム。
【請求項７】
仮想キーボードを用いて入力された文字列を推定する推定装置であって、
ユーザが前記仮想キーボードを押下する動作を撮影した撮影情報に基づき、前記ユーザの指の角度に関する角度情報を含む対象情報を取得する取得部と、
予め取得された過去の対象情報と、前記過去の対象情報によって入力された文字列を含む参照情報との間における３段階以上の連関度が記憶された参照データベースと、
前記参照データベースを参照し、前記取得部により取得された前記対象情報と、前記参照情報との間の３段階以上の第１連関度を含む評価情報を取得する評価部と、
前記評価情報に基づき推定結果を生成する生成部と、
を備え、
前記指の角度は、前記ユーザの指の座標のうち関節部分における座標を中心とした３点以上の座標から算出された角度を示すこと
を特徴とする推定装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
第１発明に係る推定システムは、仮想キーボードを用いて入力された文字列を推定する推定システムであって、ユーザが前記仮想キーボードを押下する動作を撮影した撮影情報に基づき、前記ユーザの指の角度に関する角度情報を含む対象情報を取得する取得手段と、予め取得された過去の対象情報と、前記過去の対象情報によって入力された文字列を含む参照情報との間における３段階以上の連関度が記憶された参照データベースと、前記参照データベースを参照し、前記取得手段により取得された前記対象情報と、前記参照情報との間の３段階以上の第１連関度を含む評価情報を取得する評価手段と、前記評価情報に基づき推定結果を生成する生成手段と、を備え、前記指の角度は、前記ユーザの指の座標のうち関節部分における座標を中心とした３点以上の座標から算出された角度を示すことを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
第５発明に係る推定システムは、第１発明〜第４発明の何れかにおいて、前記対象情報及び前記過去の対象情報は、前記仮想キーボードの種類を示すキーボード情報を含むことを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
第６発明に係る推定システムは、第１発明〜第５発明の何れかにおいて、前記参照データベースは、機械学習により構築されたものであることを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
第７発明に係る推定装置は、仮想キーボードを用いて入力された文字列を推定する推定装置であって、ユーザが前記仮想キーボードを押下する動作を撮影した撮影情報に基づき、前記ユーザの指の角度に関する角度情報を含む対象情報を取得する取得部と、予め取得された過去の対象情報と、前記過去の対象情報によって入力された文字列を含む参照情報との間における３段階以上の連関度が記憶された参照データベースと、前記参照データベースを参照し、前記取得部により取得された前記対象情報と、前記参照情報との間の３段階以上の第１連関度を含む評価情報を取得する評価部と、前記評価情報に基づき推定結果を生成する生成部と、を備え、前記指の角度は、前記ユーザの指の座標のうち関節部分における座標を中心とした３点以上の座標から算出された角度を示すことを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
第１発明〜第６発明によれば、評価手段は、参照データベースを参照し、対象情報と、参照情報との間の３段階以上の第１連関度を含む評価情報を取得する。このため、過去の結果を踏まえた推定結果を生成でき、押下深度のバラつきを考慮したキー入力の推定ができる。これにより、キー入力を推定する精度の向上を図ることが可能となる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
また、第１発明〜第６発明によれば、対象情報は、角度情報を含む。このため、１つの画像から手の位置を算出する場合に比べて、ユーザ毎に異なる手の特徴に関わらず、仮想キーボードに対する手の位置関係を容易に取得することができる。これにより、キー入力を推定するために必要な情報を、高精度に取得することが可能となる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
また、第５発明によれば、対象情報及び過去の対象情報は、キーボード情報を含む。このため、キー配列等が異なる仮想キーボードを利用した場合においても、キー入力を高精度に推定することが可能となる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
また、第６発明によれば、参照データベースは、機械学習により構築される。このため、画像から算出された押下深度に対する閾値を設定する場合に比べて、主観を除いたキー入力の推定を実現することが可能となる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
第７発明によれば、評価部は、参照データベースを参照し、対象情報と、参照情報との間の３段階以上の第１連関度を含む評価情報を取得する。このため、過去の結果を踏まえた推定結果を生成でき、押下深度のバラつきを考慮したキー入力の推定ができる。これにより、キー入力を推定する精度の向上を図ることが可能となる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
また、第７発明によれば、対象情報は、角度情報を含む。このため、１つの画像から手の位置を算出する場合に比べて、ユーザ毎に異なる手の特徴に関わらず、仮想キーボードに対する手の位置関係を容易に取得することができる。これにより、キー入力を推定するために必要な情報を、高精度に取得することが可能となる。