(57)【要約】【課題】ユーザの端末操作中の画面への注目度に基づいて、表示される文字候補を変更することによって、文字入力時の操作性向上を図り、高精度な単語または単語列提示を行なう。【解決手段】ユーザが入力しようとしている文字列を予測する入力支援装置であって、少なくとも文字を表示するディスプレイ、ユーザによる文字の入力を受け付けるキーボードを備える。また、装置本体に対するユーザの操作状況を検出するセンシングデバイス１５と、検出されたユーザの操作状況に基づいて、ディスプレイに対するユーザの注目度を推定するディスプレイ注目度推定部１７と、キーボードから入力された文字および推定されたディスプレイに対するユーザの注目度に基づいて、候補とする文字列を予測する文字列予測部７および候補仮名漢字表示変更部１９と、予測した候補とする文字列を出力する入力文字表示部３と、を備える。【選択図】図１
2015033011.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが入力しようとしている文字列を予測する入力支援装置であって、
少なくとも文字を表示するディスプレイと、
ユーザによる文字の入力を受け付けるキーボードと、
装置本体に対するユーザの操作状況を検出するセンシングデバイスと、
前記検出されたユーザの操作状況に基づいて、前記ディスプレイに対するユーザの注目度を推定する注目度推定部と、
前記キーボードから入力された文字および前記推定されたディスプレイに対するユーザの注目度に基づいて、候補とする文字列を予測する予測部と、
前記予測した候補とする文字列を出力する出力部と、を備えることを特徴とする入力支援装置。
【請求項２】
前記予測部は、前記注目度が高い場合は、ユーザによって入力された文字を含む文字列の生起確率を高くする一方、前記注目度が低い場合は、ユーザによって入力された文字を含む文字列の生起確率を低くすることを特徴とする請求項１記載の入力支援装置。
【請求項３】
前記注目度推定部は、一文字毎の注目度を推定し、
前記予測部は、前記一文字毎の注目度が高い場合は、注目度が高い文字の生起確率を高くする一方、前記一文字毎の注目度が低い場合は、注目度が低い文字の生起確率を低くすることを特徴とする請求項１記載の入力支援装置。
【請求項４】
前記キーボードは、タッチパネルに表示されたソフトウェアキーボードであって、前記タッチパネルに接触したユーザの指の座標情報を検出し、
前記予測部は、前記検出された座標情報、単語間の関係性を定式化した言語モデルおよび前記注目度に基づいて、候補となる文字列を予測することを特徴とする請求項１から請求項３のいずれかに記載の入力支援装置。
【請求項５】
前記注目度推定部は、前記検出されたユーザの操作状況に基づいて、ユーザが前記ディスプレイを目視する時間、頻度、ユーザの操作の特徴量または前記キーボードに対するユーザの入力座標情報の少なくとも一つに基づいて、前記注目度を推定することを特徴とする請求項１から請求項４のいずれかに記載の入力支援装置。
【請求項６】
前記出力部は、前記予測した文字列を、前記ディスプレイに文字情報として出力し、またはスピーカに音声情報として出力することを特徴とする請求項１から請求項５のいずれかに記載の入力支援装置。
【請求項７】
ユーザが入力しようとしている文字列を予測する入力支援方法であって、
少なくとも文字をディスプレイに表示するステップと、
キーボードからユーザによる文字の入力を受け付けるステップと、
センシングデバイスで装置本体に対するユーザの操作状況を検出するステップと、
前記検出されたユーザの操作状況に基づいて、前記ディスプレイに対するユーザの注目度を推定するステップと、
前記キーボードから入力された文字および前記推定されたディスプレイに対するユーザの注目度に基づいて、候補とする文字列を予測するステップと、
前記予測した候補とする文字列を出力するステップと、を少なくとも含むことを特徴とする入力支援方法。
【請求項８】
ユーザが入力しようとしている文字列を予測する入力支援装置のプログラムであって、
少なくとも文字をディスプレイに表示する処理と、
キーボードからユーザによる文字の入力を受け付ける処理と、
センシングデバイスで装置本体に対するユーザの操作状況を検出する処理と、
前記検出されたユーザの操作状況に基づいて、前記ディスプレイに対するユーザの注目度を推定する処理と、
前記キーボードから入力された文字および前記推定されたディスプレイに対するユーザの注目度に基づいて、候補とする文字列を予測する処理と、
前記予測した候補とする文字列を出力する処理と、の一連の処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが入力しようとしている文字列を予測する技術に関する。
【背景技術】
【０００２】
従来から、タッチパネルを備えた携帯電話機やＰＤＡ（Personal Digital Assistants）では、文字入力はソフトウェアキーボードで行なわれる。文字入力においては、確定的な正しい入力文字について、前方一致、部分一致などの予測を行なって、その仮名漢字文を提示したり、それに続く文字を補った形で提示したりすることが多い。
【０００３】
一方、ユーザがタッチパネルを操作する際、ソフトウェアキーボード上の特定のボタンを押したつもりが、意図しないボタンが反応してしまうことがある。このため、従来から、ユーザが間違えて入力した文字に対して、確率やスコアに基づいて訂正した文字を提示する技術が提案されている。
【０００４】
特許文献１および特許文献２には、タッチパネルにおけるユーザの入力座標と、ソフトウェアキーボード上の各文字に対応するボタンの位置関係から、ユーザが入力した単語の優先度を推定する装置が開示されている。特許文献１に記載されている技術では、図５に示すように、入力座標と各文字に対応するボタンの領域の位置関係から、押された候補となる文字を抽出し、得点を付ける。次に、図６Ａおよび図６Ｂに示すように、連続する座標入力に伴って抽出される各文字群から、１文字ずつ取り出して文字列を全ての組み合わせについて作成し、その文字列の中から単語となり得るものを抽出する。最後に、その単語を構成する各文字の得点と、単語の使用頻度から算出された得点から各単語の優先度を算出し、その優先度順に提示するというものである。
【０００５】
特許文献２に記載されている技術は、文字毎にタッチ座標の確率密度関数から算出される確率と、“n-gram”を用いた言語モデルによる言語確率の積により、入力開始から何文字目であるかに応じた文字毎の生起確率値を求め、生起確率の高い順に候補単語を提示する。この方法により、タッチ入力に誤りがあっても、候補単語の中にユーザ所望の単語を表示することが可能となる。
【０００６】
特許文献３に記載されている技術は、イメージセンサおよびデプスセンサから得られる情報から、視線情報を取得し、キャリブレーションを行ない、２次元上に表示される画面のポインタを操作する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−００５６５５号公報
【特許文献２】特開２０１２−２４８１５３号公報
【特許文献３】特開２００９−０５４１０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１および特許文献２に記載されている技術は、入力座標や言語モデルを用いて、ユーザ所望の単語候補を複数予測し表示するものであるが、予測の結果、「実際に入力されている文字列と同じ文字列が表示され、その文字列から変換される単語(漢字仮名交じり文)」と、「異なる文字列が表示され、その文字列から変換される単語」が混在して表示される可能性がある。
【０００９】
ここで、ユーザが端末の画面を確認しながら文字の入力を行なっている場合は、入力誤りが少なく、実際に入力されている文字列から変換される単語を提示したり、前方一致を用いて補完したりすることによって、ユーザの所望する文字列が表示される可能性が高くなると考えられる。
【００１０】
逆に、ユーザがブラインドタッチで文字の入力を行なっている場合は、入力誤りが多く、タッチ誤りを考慮した変換候補を多く表示することによって、ユーザの所望する文字列が表示される可能性が高くなると考えられる。
【００１１】
特許文献３に記載されている技術は、視線情報により視線が示す位置を判別し、ポインタとして操作するものであるが、文字を入力する際は、画面に表示されているソフトウェアキーボードを見る必要がある。また、ディスプレイにタッチパネルを搭載していれば、タッチでの入力も可能であるが、ユーザが画面を見ているかどうかの情報については考慮されていない。従って、特許文献３では、ユーザがブラインドタッチをしているかどうかによって変換候補を変えることは想定されていないと言える。
【００１２】
本発明は、このような事情に鑑みてなされたものであり、ユーザの端末操作中の画面への注目度に基づいて、表示される文字候補を変更することによって、文字入力時の操作性向上を図り、高精度な単語または単語列提示を行なうことができる入力支援装置、入力支援方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の入力支援装置は、ユーザが入力しようとしている文字列を予測する入力支援装置であって、少なくとも文字を表示するディスプレイと、ユーザによる文字の入力を受け付けるキーボードと、装置本体に対するユーザの操作状況を検出するセンシングデバイスと、前記検出されたユーザの操作状況に基づいて、前記ディスプレイに対するユーザの注目度を推定する注目度推定部と、前記キーボードから入力された文字および前記推定されたディスプレイに対するユーザの注目度に基づいて、候補とする文字列を予測する予測部と、前記予測した候補とする文字列を出力する出力部と、を備えることを特徴とする。
【００１４】
このように、検出されたユーザの操作状況に基づいて、ディスプレイに対するユーザの注目度を推定し、キーボードから入力された文字および推定されたディスプレイに対するユーザの注目度に基づいて、候補とする文字列を予測するので、文字入力時の操作性向上を図り、高精度な単語または単語列提示を行なうことが可能となる。
【００１５】
（２）また、本発明の入力支援装置において、前記予測部は、前記注目度が高い場合は、ユーザによって入力された文字を含む文字列の生起確率を高くする一方、前記注目度が低い場合は、ユーザによって入力された文字を含む文字列の生起確率を低くすることを特徴とする。
【００１６】
このように、ユーザのディスプレイに対する注目度が高い場合は、入力誤りは少ないと考えられるため、ユーザによって入力された文字を含む文字列の生起確率を高くする。一方、ユーザのディスプレイに対する注目度が低い場合は、ブラインドタッチ入力をしている可能性があり、入力誤りが多いと考えられるため、ユーザによって入力された文字を含む文字列の生起確率を低くする。これにより、文字入力時の操作性向上を図り、高精度な単語または単語列提示を行なうことが可能となる。
【００１７】
（３）また、本発明の入力支援装置において、前記注目度推定部は、一文字毎の注目度を推定し、前記予測部は、前記一文字毎の注目度が高い場合は、注目度が高い文字の生起確率を高くする一方、前記一文字毎の注目度が低い場合は、注目度が低い文字の生起確率を低くすることを特徴とする。
【００１８】
このように、ユーザの一文字毎の注目度が高い場合は、入力誤りは少ないと考えられるため、注目度が高い文字の生起確率を高くする。一方、ユーザの一文字毎の注目度が低い場合は、ブラインドタッチ入力をしている可能性があり、入力誤りが多いと考えられるため、注目度が低い文字の生起確率を低くする。これにより、文字入力時の操作性向上を図り、高精度な単語または単語列提示を行なうことが可能となる。
【００１９】
（４）また、本発明の入力支援装置において、前記キーボードは、タッチパネルに表示されたソフトウェアキーボードであって、前記タッチパネルに接触したユーザの指の座標情報を検出し、前記予測部は、前記検出された座標情報、単語間の関係性を定式化した言語モデルおよび前記注目度に基づいて、候補となる文字列を予測することを特徴とする。
【００２０】
このように、検出された座標情報、単語間の関係性を定式化した言語モデルおよび注目度に基づいて、候補となる文字列を予測するので、タッチパネルによる文字入力時の操作性向上を図り、高精度な単語または単語列提示を行なうことが可能となる。
【００２１】
（５）また、本発明の入力支援装置において、前記注目度推定部は、前記検出されたユーザの操作状況に基づいて、ユーザが前記ディスプレイを目視する時間、頻度、ユーザの操作の特徴量または前記キーボードに対するユーザの入力座標情報の少なくとも一つに基づいて、前記注目度を推定することを特徴とする。
【００２２】
このように、検出されたユーザの操作状況に基づいて、ユーザがディスプレイを目視する時間、頻度、ユーザの操作の特徴量またはキーボードに対するユーザの入力座標情報の少なくとも一つに基づいて、注目度を推定するので、ユーザがディスプレイを見ながら文字入力をしているのか、またはブラインドタッチによる文字入力をしているのかに応じて、候補となる文字列を予測することが可能となる。その結果、タッチパネルによる文字入力時の操作性向上を図り、高精度な単語または単語列提示を行なうことが可能となる。
【００２３】
（６）また、本発明の入力支援装置において、前記出力部は、前記予測した文字列を、前記ディスプレイに文字情報として出力し、またはスピーカに音声情報として出力することを特徴とする。
【００２４】
このように、予測した文字列を、ディスプレイに文字情報として出力し、またはスピーカに音声情報として出力するので、ユーザは予測された文字列を認識し、確定するかどうかを判断することができる。特に、音声情報として出力する場合は、いわゆるトークバックを実施することができるため、ユーザは聴覚により予測された文字列を認識することが可能となる。これにより、高精度な単語または単語列提示を行なうことが可能となる。
【００２５】
（７）また、本発明の入力支援方法は、ユーザが入力しようとしている文字列を予測する入力支援方法であって、少なくとも文字をディスプレイに表示するステップと、キーボードからユーザによる文字の入力を受け付けるステップと、センシングデバイスで装置本体に対するユーザの操作状況を検出するステップと、前記検出されたユーザの操作状況に基づいて、前記ディスプレイに対するユーザの注目度を推定するステップと、前記キーボードから入力された文字および前記推定されたディスプレイに対するユーザの注目度に基づいて、候補とする文字列を予測するステップと、前記予測した候補とする文字列を出力するステップと、を少なくとも含むことを特徴とする。
【００２６】
このように、検出されたユーザの操作状況に基づいて、ディスプレイに対するユーザの注目度を推定し、キーボードから入力された文字および推定されたディスプレイに対するユーザの注目度に基づいて、候補とする文字列を予測するので、文字入力時の操作性向上を図り、高精度な単語または単語列提示を行なうことが可能となる。
【００２７】
（８）また、本発明のプログラムは、ユーザが入力しようとしている文字列を予測する入力支援装置のプログラムであって、少なくとも文字をディスプレイに表示する処理と、キーボードからユーザによる文字の入力を受け付ける処理と、センシングデバイスで装置本体に対するユーザの操作状況を検出する処理と、前記検出されたユーザの操作状況に基づいて、前記ディスプレイに対するユーザの注目度を推定する処理と、前記キーボードから入力された文字および前記推定されたディスプレイに対するユーザの注目度に基づいて、候補とする文字列を予測する処理と、前記予測した候補とする文字列を出力する処理と、の一連の処理をコンピュータに実行させることを特徴とする。
【００２８】
このように、検出されたユーザの操作状況に基づいて、ディスプレイに対するユーザの注目度を推定し、キーボードから入力された文字および推定されたディスプレイに対するユーザの注目度に基づいて、候補とする文字列を予測するので、文字入力時の操作性向上を図り、高精度な単語または単語列提示を行なうことが可能となる。
【発明の効果】
【００２９】
本発明によれば、検出されたユーザの操作状況に基づいて、ディスプレイに対するユーザの注目度を推定し、キーボードから入力された文字および推定されたディスプレイに対するユーザの注目度に基づいて、候補とする文字列を予測するので、文字入力時の操作性向上を図り、高精度な単語または単語列提示を行なうことが可能となる。
【図面の簡単な説明】
【００３０】
【図１】本実施形態に係る入力支援装置の概略構成を示すブロック図である。
【図２】情報携帯端末Ａ１の概観を示す図である。
【図３】第１の実施形態に係る入力支援装置の動作を示すフローチャートである。
【図４】第２の実施形態に係る入力支援装置の動作を示すフローチャートである。
【図５】入力座標とボタンに割り当てた得点を示す図である。
【図６Ａ】タッチ座標の得点例を示す図である。
【図６Ｂ】得点計算例を示す図である。
【発明を実施するための形態】
【００３１】
本発明の実施形態に係る入力支援装置は、タッチパネルによる文章入力の操作性向上のために、センシングデバイスでユーザの操作状況を把握し、センシングデバイスから取得したデータに基づいて、ユーザのディスプレイに対する注目度を推定する。そして、この注目度に応じて、表示する文字候補・領域を変更する。
【００３２】
図１は、本実施形態に係る入力支援装置の概略構成を示すブロック図である。図１において、入力部１は、ユーザがデータを入力するためのインタフェースである。例えば、タッチパネルディスプレイと、そのタッチパネルディスプレイに表示したキーボードから構成される。タッチパネルディスプレイから得られる二次元情報は、座標Xt=(xt,yt)として把握される。また、三次元情報の場合は、座標Xt=(xt,yt,zt)として把握される。入力文字表示部３は、ユーザが入力中の文字およびユーザの操作により確定した文字を表示する。辞書格納部５は、単語と、それを構成する文字列の組み合わせを格納する。
【００３３】
文字列予測部７は、入力部１から得られる座標情報と、単語間の関係性を定式化した言語モデルに基づいて、辞書格納部５の単語辞書中に登録されている単語のスコア値を算出し、上位Ｎ個の文字列を予測する。代表的な言語モデルとしては、Ｎグラムモデル、隠れマルコフモデル、最大エントロピーモデル、などがある。
【００３４】
仮名漢字変換部９は、入力されてディスプレイに表示された文字列から、候補単語（単語・文節・文）を前方一致、部分一致または後方一致により予測変換・補完する。この候補単語は、単語、文節または文のいずれであってもよい。文字列補完部１１は、仮名漢字変換部９から取得した文字列に基づいて、前方一致、部分一致または後方一致などにより、文字列を補完する処理を行なう。候補仮名漢字表示部１３は、文字列補完部１１から出力された単語を表示する。
【００３５】
センシングデバイス１５は、イメージセンサとデプスセンサから構成され、視線認識を行なう。ディスプレイ注目度推定部１７は、センシングデバイス１５から入力されたデータに基づいて、ユーザのディスプレイ注目度を推定する。候補仮名漢字表示変更部１９は、ディスプレイ注目度推定部１７から入力されたディスプレイ注目度に応じて、候補となる文字列の割合を変更する。音声出力部２１は、候補となる文字列を音声として出力する。主制御部２２は、各構成要素の動作を制御する。
【００３６】
（第１の実施形態）
本実施形態では、情報携帯端末として、タッチパネルを搭載した情報携帯端末を例にとって説明する。また、本実施形態では、ディスプレイ注目度Ｏを求める例として、イメージセンサとデプスセンサからなる視線認識を採用する。本実施形態における視線認識は、ディスプレイ上のXt=(xt,yt)を示すポインタとして取得できるものとする。
【００３７】
ディスプレイ注目度推定部１７による処理は、以下の通りである。すなわち、ディスプレイ注目度Ｏは、ユーザが文字入力の際に、ディスプレイの文字入力領域をどれだけ注目しているかの指標を意味する。ある文字Wt_1を入力してから、n文字目を入力するまでの時間をTnとすると、ディスプレイ注目度Lは、Tn中に、ディスプレイの文字入力領域と、それ以外の領域(ディスプレイ外も含む)を行き来した回数num、ディスプレイを見た時間time、視線が示すポインタXt時系列の関数で以下のように表すことができる。これらの値のみならず、Xtの平均、分散、その他算出できる値を用いる。
Ｏ=α(time/ Tn)*β(1-exp(-a・num))*γ(exp(-b・RMS(σx,σy))) (0≦Ｏ≦1)
ただし、a,b,α,β,γは係数(0<a,b,0<α,β,γ<1 )、RMSは二乗平均を示す。
【００３８】
ディスプレイ注目度Ｏは、候補単語表示変更部に送信される。ここでは、複数の文字入力に対して、ディスプレイ注目度を算出したが、一文字毎のディスプレイ注目度を算出してもよい。
【００３９】
文字列予測部７による処理は、以下の通りである。すなわち、文字列予測部７は、入力された実際の文字列と、それ以外の類似した文字列を予測する。この手法としては、特許文献１に記載されているように、タッチ位置に近い文字に対してスコアをつけて、スコアを比較する手法や、特許文献２に記載されているように、確率を用いる手法を採ることが可能である。本実施形態では、タッチモデルとn-gram文字連鎖確率を用いる手法を採用する。
【００４０】
タッチモデルは、まず、予め文字毎に２次元座標を変数とした確率分布関数Pwi(x,y)を定義しておく。Pwi(x,y)は、座標(x,y)に対する、文字wiが生起する確率を示す関数である。この関数の例としては、混合ガウス分布などが挙げられる。
【００４１】
n-gram文字連鎖確率は、文字wi-1, …,w1 が入力された後に、文字wi を表示する確率であり、P(wi|wi-1, …,w1)= ΠP (wi|wi-1, …,w1))と表わすことができる。
【００４２】
P(wi|(x,y))=P wi(x,y)P(wi|wi-1, …,w1)がその文字に対する文字生起確率となり、文字列に対しては、文字生起確率を各々累積したものが文字列の生起確率となる。実際は、全ての文字列について計算すると計算量・使用メモリが膨大になるためViterbi algorithmなどで簡易的に計算する。
【００４３】
図２は、情報携帯端末Ａ１の概観を示す図である。情報携帯端末Ａ１は、入力文字表示領域Ａ２、候補単語表示領域Ａ３、およびタッチパネル上にトグルキーボードＡ４を備える。例えば、図２に示すようなトグルキーボードで「あした」（“あ”、“さ”、“さ”、“た”）と入力されたとき、「あした」以外に、他の候補として「あさは」「あきた」「かした」などが候補として算出され、それぞれに確率が付与されている。これらの情報を、仮名漢字変換部９に送信する。
【００４４】
仮名漢字変換部９の処理は、以下の通りである。すなわち、仮名漢字変換には、ヒューリスティックな仮名漢字変換と、統計的仮名漢字変換とがあるが、本実施形態では、後者の一つである、「統計的最少コスト法」を採用する。これにより、実際に入力された文字列と、文字列予測部から取得した複数の文字列（仮名列）を仮名漢字変換し、その候補を文字列補完部１１に送信する。
【００４５】
文字列補完部１１の処理は、以下の通りである。すなわち、文字列補完部１１では、仮名漢字変換部９から取得した文字列を基に、前方一致、部分一致、後方一致などにより文字列を補完する処理を行なう。例えば、入力が「明日」であった場合、出力を「明日は」とする。
【００４６】
次に、ディスプレイ注目度に基づく候補仮名漢字表示変更部１９の処理について説明する。ここでは、実際に入力された文字列に関する文字列が、例えば、上述したように、「あした」であった場合、文字列予測部７で予測されたそれ以外の文字列に関して、仮名漢字変換・文字列補完をした結果を表示する割合、領域サイズ、配色などを変更する処理を行なう。候補仮名漢字表示変更部１９で処理されるパラメタの例として、各々の文字列予測部７から予測される単語表示の数(領域)・位置が挙げられる。
【００４７】
ディスプレイ注目度Ｏが高い場合は、実際に入力された文字列に関する仮名漢字変換結果（これを「結果１」とする）の割合および表示領域を増加させる。一方、ディスプレイ注目度Ｏが低い場合は、文字列予測部から取得した文字列（仮名列）に関する仮名漢字変換結果（これを「結果２」とする）の割合を減少させる。候補表示数の割合の関数は、例えば、（結果１の候補表示数の割合r1）=1-μO、とすることができる。これを候補仮名漢字表示部１３に表示する。
【００４８】
図３は、第１の実施形態に係る入力支援装置の動作を示すフローチャートである。まず、ユーザからの入力を待機している状態で、入力があったかどうかを判断する（ステップＳ１）。入力が無い場合は、ステップＳ１の判断を繰り返し、入力があった場合は、入力座標(x1,y1)を検知する（ステップＳ２）。次に、初期化を行ない、「k=1, Pwi0=1」とする（ステップＳ３）。次に、全文字wiにおいて、文字生起確率を計算し（ステップＳ４）、累積確率「Pwik=Pwik-1×Pwi((xk,yk))」を算出する（ステップＳ５）。次に、単語候補をｎ個抽出し（ステップＳ６）、仮名漢字変換・文字列補完を行なう（ステップＳ７）。
【００４９】
一方、ステップＳ１において、ユーザからの入力があった場合、センシングデバイスから情報を取得し（ステップＳ１０）、ディスプレイ注目度を推定する（ステップＳ１１）。このディスプレイ注目度に基づいて、文字列候補の変更を行なう（ステップＳ８）。次に、変更された文字列候補を単語候補として表示する（ステップＳ９）。
【００５０】
次に、入力があったかどうかを判断する（ステップＳ１２）。入力が無い場合は、ステップＳ１２の判断を繰り返し、入力があった場合は、入力座標(xk+1,yk+1)を検知する（ステップＳ１３）。次に、(xk+1,yk+1)は、単語候補表示領域であるか、キーボード領域であるかを判断し（ステップＳ１４）、キーボード領域であった場合は、「k++」として（ステップＳ１６）、ステップＳ４に遷移する。一方、ステップＳ１４において、単語表示領域であった場合は、文字列を入力文字表示部３に表示して（ステップＳ１５）、ステップＳ１に遷移する。
【００５１】
（第２の実施形態）
上述したように、第１の実施形態では、ディスプレイ注目度を、文字列候補の変更のみに反映させたが、第２の実施形態では、一文字毎にディスプレイ注目度Oiを算出する。算出したディスプレイ注目度Oiを用いて、文字列予測部７で算出される文字毎の確率に対し、以下の式に示すように、重みづけを行なう。
【００５２】
P(wi |(x,y))= ξOi* P wi(x,y) P(wi|wi-1, …,w1)
これにより、ディスプレイ注目度が高い時の文字の生起確率を増加させる。
【００５３】
図４は、第２の実施形態に係る入力支援装置の動作を示すフローチャートである。ステップＴ５において、ディスプレイ注目度oiを用いて（ステップＴ１１）、重み付けを行なう。その他のステップは、第１の実施形態と同様である。
【００５４】
（第３の実施形態）
第２の実施形態では、一文字毎にディスプレイ注目度oiを算出し、これを文字の重みづけに用いたが、第３の実施形態では、OiおよびP wi(x,y) P(wi|wi-1, …,w1)がある一定の閾値を超えている場合、その時点で入力された文字wi を確定させる。これにより、演算量、メモリ使用量を減少させることが可能となる。
【００５５】
なお、第１〜第３の実施形態において、ディスプレイ注目度に基づく入力文字表示領域・候補文字領域の表示方法として、文字の色、ハイライトを変えることも可能である。
【００５６】
（第４の実施形態）
第４の実施形態では、音声合成によるトークバックを行なう。第１〜第３の実施形態では、候補仮名漢字表示変更部１９で候補仮名漢字表示を変更した後、候補仮名漢字表示部１３に出力した。これに対し、第４の実施形態では、文字列予測部７で算出される文字列の確率から、確率の高い順に、音声出力部２１において、トークバックを行なう。トークバックの内容は、確率の高い順の読み（仮名）または、仮名漢字変換結果または、補完結果のいずれかとする。
【００５７】
（センシングデバイスについて）
第１〜第４の実施形態では、センシングデバイスを視線認識としたが、近接センサ、加速度、ジャイロ、角速度等のセンサなどを用いて、ディスプレイ注目度を算出してもよい。ディスプレイ注目度の算出としては、見ている状況とそうでない状況のデータを収集して、当データを用いた機械学習・パターン認識を行ない、その信頼度・スコア値を用いる手法などがある。パターン認識としては、ＳＶＭやベイズ、ＨＭＭなど一般的な手法でもよい。
【００５８】
以上説明したように、本実施形態によれば、ユーザの端末操作中の画面への注目度に基づいて、表示される文字候補を変更するので、高精度な単語または単語列提示を行なうことが可能となる。
【符号の説明】
【００５９】
１  入力部
３  入力文字表示部
５  辞書格納部
７  文字列予測部
９  仮名漢字変換部
１１  文字列補完部
１３  候補仮名漢字表示部
１５  センシングデバイス
１７  ディスプレイ注目度推定部
１９  候補仮名漢字表示変更部
２１  音声出力部
２３  主制御部
Ａ１  情報携帯端末
Ａ２  入力文字表示領域
Ａ３  候補単語表示領域
Ａ４  トグルキーボード
【図１】
2015033011.tif 000003
【図２】
2015033011.tif 000004
【図３】
2015033011.tif 000005
【図４】
2015033011.tif 000006
【図５】
2015033011.tif 000007
【図６Ａ】
2015033011.tif 000008
【図６Ｂ】
2015033011.tif 000009