(57)【要約】【課題】ソフトウェアキーボードによる入力において、ユーザが操作の正当性を直観的に知覚することを可能とする。【解決手段】ソフトウェアキーボードにおいて検出された文字指定に伴う入力操作に基づいて入力処理を行う入力処理部と、前記入力操作に基づく触覚フィードバックを制御する制御信号を生成する触覚信号処理部と、を備え、前記入力操作は、フリック操作を含む、情報処理装置が提供される。また、プロセッサが、ソフトウェアキーボードにおいて検出された文字指定に伴う入力操作に基づいて入力処理を行うことと、前記入力操作に基づく触覚フィードバックを制御する制御信号を生成することと、を備え、前記入力操作は、フリック操作を含む、情報処理方法が提供される。【選択図】図１３
2018022438.tif 000002
【特許請求の範囲】
【請求項１】
ソフトウェアキーボードにおいて検出された文字指定に伴う入力操作に基づいて入力処理を行う入力処理部と、
前記入力操作に基づく触覚フィードバックを制御する制御信号を生成する触覚信号処理部と、
を備え、
前記入力操作は、フリック操作を含む、
情報処理装置。
【請求項２】
前記触覚信号処理部は、前記入力操作により指定文字が変更されたことに基づいて前記制御信号を生成する、
請求項１に記載の情報処理装置。
【請求項３】
前記触覚信号処理部は、前記フリック操作から検出される判定値が閾値を超えたことに基づいて前記制御信号を生成し、
前記判定値は、前記フリック操作の移動量または前記フリック操作の速度のうち少なくともいずれかを含む、
請求項１に記載の情報処理装置。
【請求項４】
前記触覚信号処理部は、前記判定値の大きさに応じた前記制御信号を生成する、
請求項３に記載の情報処理装置。
【請求項５】
前記触覚信号処理部は、前記判定値と前記閾値との差に応じた前記制御信号を生成する、
請求項３に記載の情報処理装置。
【請求項６】
前記触覚信号処理部は、前記入力操作に係る入力強度に基づいて前記制御信号を生成し、
前記入力強度は、前記入力操作に係る押圧、または入力部と入力主体との接触面積のうち少なくともいずれかに基づく、
請求項１に記載の情報処理装置。
【請求項７】
前記触覚信号処理部は、前記入力強度が閾値を超えたことに基づいて、前記制御信号を生成する、
請求項６に記載の情報処理装置。
【請求項８】
前記触覚信号処理部は、前記入力強度が閾値を下回ったことに基づいて、前記制御信号を生成する、
請求項６に記載の情報処理装置。
【請求項９】
前記入力処理部は、前記入力強度に基づいて、前記入力操作に係る文字入力モードを変更する、
請求項６に記載の情報処理装置。
【請求項１０】
前記入力処理部は、前記入力強度に基づいて、前記入力操作により入力される文字種別のセットを変更する、
請求項９に記載の情報処理装置。
【請求項１１】
前記入力処理部は、前記入力強度が閾値を超えたことに基づいて、前記文字種別のセットを変更する、
請求項１０に記載の情報処理装置。
【請求項１２】
前記入力処理部は、前記入力強度に応じて前記入力操作に係る入力処理速度を変更する、
請求項９に記載の情報処理装置。
【請求項１３】
前記入力処理部は、前記入力強度が強いほど前記入力処理速度を速める、
請求項１２に記載の情報処理装置。
【請求項１４】
前記入力処理部は、前記入力強度に基づいて、前記入力操作により入力される入力文字を変更する、
請求項９に記載の情報処理装置。
【請求項１５】
前記入力処理部は、前記入力強度が閾値を超えたことに基づいて、前記入力文字を変更する、
請求項１４に記載の情報処理装置。
【請求項１６】
前記触覚信号処理部は、前記フリック操作の方向に応じた前記制御信号を生成する、
請求項１に記載の情報処理装置。
【請求項１７】
前記触覚フィードバックを提示する触覚提示部、
をさらに備える、
請求項１に記載の情報処理装置。
【請求項１８】
前記入力操作を検出する検出部、
をさらに備える、
請求項１に記載の情報処理装置。
【請求項１９】
プロセッサが、
ソフトウェアキーボードにおいて検出された文字指定に伴う入力操作に基づいて入力処理を行うことと、
前記入力操作に基づく触覚フィードバックを制御する制御信号を生成することと、
を備え、
前記入力操作は、フリック操作を含む、
情報処理方法。
【請求項２０】
コンピュータを、
ソフトウェアキーボードにおいて検出された文字指定に伴う入力操作に基づいて入力処理を行う入力処理部と、
前記入力操作に基づく触覚フィードバックを制御する制御信号を生成する触覚信号処理部と、
を備え、
前記入力操作は、フリック操作を含む、
情報処理装置、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、スマートフォンやタブレット、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やカーナビゲーションシステムなどにおいて、ハードウェアキーボードに代わり、ソフトウェアキーボード（オンスクリーンキーボード、とも呼ぶ）を採用する端末が増えている。
【０００３】
また、ソフトウェアキーボードによる文字入力を効率化するための技術が多く開発されている。例えば、特許文献１には、操作体の押圧に応じて入力文字を制御する入力装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−５９８２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の入力装置は、ユーザが上記の押圧を知覚するための手段を有していない。このため、特許文献１に記載の入力装置を操作するユーザは、所望の結果を得るための入力操作が正しく行えているか否かを、実際の入力結果を確認する前に判断することが困難である。
【０００６】
また、ソフトウェアキーボードは、ハードウェアキーボードとは異なり、キーを押下した際の物理的な感覚が欠落している。このため、ユーザは、目的のキーの位置や、入力操作の正当性を確認するために、画面を注視することが求められる。
【０００７】
そこで、本開示では、ソフトウェアキーボードによる入力において、ユーザが操作の正当性を直観的に知覚することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、ソフトウェアキーボードにおいて検出された文字指定に伴う入力操作に基づいて入力処理を行う入力処理部と、前記入力操作に基づく触覚フィードバックを制御する制御信号を生成する触覚信号処理部と、を備え、前記入力操作は、フリック操作を含む、情報処理装置が提供される。
【０００９】
また、本開示によれば、プロセッサが、ソフトウェアキーボードにおいて検出された文字指定に伴う入力操作に基づいて入力処理を行うことと、前記入力操作に基づく触覚フィードバックを制御する制御信号を生成することと、を備え、前記入力操作は、フリック操作を含む、情報処理が提供される。
【００１０】
また、本開示によれば、コンピュータを、ソフトウェアキーボードにおいて検出された文字指定に伴う入力操作に基づいて入力処理を行う入力処理部と、前記入力操作に基づく触覚フィードバックを制御する制御信号を生成する触覚信号処理部と、を備え、前記入力操作は、フリック操作を含む、情報処理装置、として機能させるためのプログラムが提供される。
【発明の効果】
【００１１】
以上説明したように本開示によれば、ソフトウェアキーボードによる入力において、ユーザが操作の正当性を直観的に知覚することが可能となる。
【００１２】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１３】
【図１】本開示の第１の実施形態に係る情報処理装置１０の機能ブロック図である。
【図２】同実施形態に係るソフトウェアキーボートにおけるフリック操作について説明するための図である。
【図３】同実施形態に係るフリック操作に基づく触覚フィードバックについて説明するための図である。
【図４】同実施形態に係る判定値と閾値との差に応じた触覚フィードバックについて説明するための図である。
【図５】同実施形態に係る力操作の終了予測について説明するための図である。
【図６】同実施形態に係る入力強度に基づく文字入力モードの変更について説明するための図である。
【図７Ａ】同実施形態に係る入力強度に基づく入力文字の変更について説明するための図である。
【図７Ｂ】同実施形態に係る入力強度に基づく入力文字の変更について説明するための図である。
【図８】同実施形態に係る入力強度に基づく入力処理速度の変更について説明するための図である。
【図９】同実施形態に係るキー配列の境界における触覚フィードバックについて説明するための図である。
【図１０】同実施形態に係るキー配列形状に応じた触覚フィードバックの別の例を示す図である。
【図１１】同実施形態に係るソフトウェアキーボード上の基本位置に応じた触覚フィードバックについて説明するための図である。
【図１２】同実施形態に係るキー配列上の位置に応じた触覚フィードバックについて説明するための図である。
【図１３】同実施形態に係る本実施形態に係る情報処理装置１０による処理の流れを示すフローチャートである。
【図１４】本開示の第２の実施形態に係る弱い入力強度に基づく表示オブジェクトの制御および触覚フィードバックの例を示す図である。
【図１５Ａ】同実施形態に係る強い入力強度に基づく表示オブジェクトの制御および触覚フィードバックの例を示す図である。
【図１５Ｂ】同実施形態に係る弱い入力強度に基づく表示オブジェクトの非アクティブ化について説明するための図である。
【図１６Ａ】同実施形態に係る表示部に表示されるユーザインタフェースの一例である。
【図１６Ｂ】同実施形態に係る同実施形態に係る表示部に表示されるユーザインタフェースの一例である。
【図１６Ｃ】同実施形態に係る同実施形態に係る表示部に表示されるユーザインタフェースの一例である。
【図１７Ａ】同実施形態に係る入力強度が閾値を超えるまでの変化時間に基づく触覚フィードバックについて説明するための図である。
【図１７Ｂ】同実施形態に係る入力強度が閾値を超えるまでの変化時間に基づく触覚フィードバックについて説明するための図である。
【図１８】同実施形態に係る入力強度と閾値との差に応じた触覚フィードバックについて説明するための図である。
【図１９Ａ】同実施形態に係る入力強度に基づく選択範囲の制御について説明するための図である。
【図１９Ｂ】同実施形態に係る入力強度に基づく選択範囲の制御について説明するための図である。
【図１９Ｃ】同実施形態に係る入力強度に基づく選択範囲の制御について説明するための図である。
【図１９Ｄ】同実施形態に係る入力強度に基づく選択範囲の制御について説明するための図である。
【図２０】同実施形態に係る情報処理装置１０による処理の流れを示すフローチャートである。
【図２１】本開示に係る情報処理装置のハードウェア構成例である。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．情報処理装置１０の機能構成例
１．２．入力操作に基づく触覚フィードバックの例
１．３．情報処理装置１０による処理の流れ
２．第２の実施形態
２．１．第２の実施形態の概要
２．２．入力強度に応じた表示オブジェクトの制御と触覚フィードバック
２．３．情報処理装置１０による処理の流れ
３．ハードウェア構成例
４．まとめ
【００１６】
＜１．第１の実施形態＞
［１．１．情報処理装置１０の機能構成例］
まず、本開示の第１の実施形態に係る情報処理装置１０の機能構成例について説明する。本実施形態に係る情報処理装置１０は、ソフトウェアキーボードにおいて検出された入力操作に基づく触覚フィードバックを提示すること、を特徴の一つとする。本実施形態に係る情報処理装置１０は、例えば、スマートフォン、タブレット、ＰＣ、カーナビゲーションシステムなどであり得る。
【００１７】
図１は、本実施形態に係る情報処理装置１０の機能ブロック図である。図１を参照すると、本実施形態に係る情報処理装置１０は、表示部１１０、入力部１２０、触覚提示部１３０、表示制御部１４０、入力処理部１５０、および触覚信号処理部１６０を備える。以下、上記に示す各構成について、当該構成が有する特徴を中心に詳細に説明する。
【００１８】
（表示部１１０）
表示部１１０は、情報処理装置１０が提供する各種のユーザインタフェースを表示する機能を有する。上記のユーザインタフェースには、例えば、ソフトウェアキーボードを含む種々の表示オブジェクトが配置されてよい。上記の表示オブジェクトには、ソフトウェアキーボードの他、例えば、仮想ボタンや仮想ダイヤルなどの被操作グラフィックが含まれる。上記の機能は、例えば、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置により実現されてもよい。
【００１９】
（入力部１２０）
入力部１２０は、ユーザによる入力操作を検出する機能を有する。ここで、上記の入力操作には、入力主体（例えば、ユーザの指、など）によるタッチ操作、フリック操作、ドラッグ操作、スワイプ操作、タップ動作などが含まれてよい。また、入力部１２０は、上記の入力操作に係る入力強度や入力主体の位置などを検出する機能を有する。ここで、上記の入力強度には、例えば、入力操作に係る押圧や、入力部１２０と入力主体との接触面積などが含まれてよい。入力部１２０が有する上記の機能は、例えば、タッチパネルやタッチパッドにより実現され得る。なお、入力部１２０は、表示部１１０と一体に形成されてもよい。
【００２０】
（触覚提示部１３０）
触覚提示部１３０は、後述する触覚信号処理部１６０が生成する制御信号に基づいて、ユーザによる入力操作に基づく触覚フィードバックを提示する機能を有する。上記の触覚フィードバックには、例えば、偏心モーター、リニア・バイブレータ、ピエゾ（圧電）素子などにより生成される振動が含まれる。また、上記の触覚フィードバックには、電気刺激や熱刺激などが含まれてもよい。
【００２１】
（表示制御部１４０）
表示制御部１４０は、表示部１１０による表示を制御する機能を有する。本実施形態に係る表示制御部１４０は、ソフトウェアキーボードを含む各種の表示オブジェクトの制御を行う。この際、本実施形態に係る表示制御部１４０は、入力操作や入力操作に係る入力強度に基づいて、表示オブジェクトの表示を制御することができる。また、本実施形態に係る表示制御部１４０は、検出された入力操作の移動量や入力強度に基づいて、ユーザインタフェースに配置される表示オブジェクトの色や大きさなどを制御してもよい。
【００２２】
（入力処理部１５０）
入力処理部１５０は、入力部１２０により検出された各種の入力操作に基づいて入力処理を行う機能を有する。本実施形態に係る入力処理部１５０は、特に、ソフトウェアキーボードにおいて検出された文字指定に伴う入力操作に基づく処理を行ってよい。本実施形態に係る入力処理部１５０の有する機能の詳細については後述する。
【００２３】
（触覚信号処理部１６０）
触覚信号処理部１６０は、入力操作に基づく触覚フィードバックを制御する制御信号を生成する機能を有する。この際、触覚信号処理部１６０は、入力操作に係る押圧に基づいて、上記の制御信号を生成してもよい。本実施形態に係る触覚信号処理部１６０が有する機能の詳細については後述する。
【００２４】
以上、本実施形態に係る情報処理装置１０の機能構成例について説明した。なお、上記の説明では、情報処理装置１０が表示部１１０、入力部１２０、触覚提示部１３０、表示制御部１４０、入力処理部１５０、および触覚信号処理部１６０をすべて備える場合を例に説明した。
【００２５】
一方、本実施形態に係る情報処理装置１０の構成は、係る例に限定されない。上記の各構成は、複数の装置より分散して実現されてもよい。例えば、表示部１１０の有する機能は、情報処理装置１０とは異なる別の表示装置により実現されてもよい。この場合、上記の表示装置は、例えば、各種のディスプレイ、スマートフォン、タブレット、ＰＣ、カーナビゲーションシステムなどであり得る。
【００２６】
また、例えば、入力部１２０の有する機能は、情報処理装置１０とは異なる別の入力装置により実現されてもよい。この場合、上記の入力装置は、例えば、タッチパネルやタッチパッドを備える各種の装置であり得る。
【００２７】
また、例えば、触覚提示部１３０の有する機能は、情報処理装置１０とは異なる別の触覚提示装置により実現されてもよい。この場合、上記の触覚提示装置は、例えば、スマートフォン、タブレット、ＰＣ、カーナビゲーションシステムの他、各種のゲームコントローラ、グローブ型などの触覚提示デバイスであり得る。
【００２８】
本実施形態に係る情報処理装置１０は、上記のような各装置とネットワークを介して通信することで、本開示に示す種々の作用効果を奏することが可能である。また、本実施形態に係る情報処理装置１０は、図１に示す以外の構成をさらに含んでもよい。本実施形態に係る情報処理装置１０は、例えば、各種のアプリケーションを制御する制御部や外部装置との通信を行う通信部を備えてよい。本実施形態に係る情報処理装置１０の機能構成は、仕様や運用に応じて柔軟に変形され得る。
【００２９】
［１．２．入力操作に基づく触覚フィードバックの例］
次に、本実施形態に係る入力操作に基づく触覚フィードバックの例について説明する。上述した通り、本実施形態に係る情報処理装置１０は、種々の入力操作に基づく触覚フィードバックを提示する機能を有する。本実施形態に係る情報処理装置１０が有する上記の機能によれば、ユーザが表示部１１０を注視していない場合でも、入力操作の正当性を直観的に知覚することが可能となる。以下、本実施形態に係る触覚フィードバックの例について具体例を挙げながら詳細に説明する。
【００３０】
（フリック操作に基づく触覚フィードバック）
本実施形態に係る情報処理装置１０は、フリック操作に基づく触覚フィードバックを提示する機能を有する。すなわち、本実施形態に係る触覚信号処理部１６０は、入力部１２０により検出されたフリック操作に基づいて、触覚フィードバックを制御する制御信号を生成してよい。
【００３１】
図２は、ソフトウェアキーボートにおけるフリック操作について説明するための図である。図２は、フリック操作により変更されるキーの状態遷移を示している。図２に示す一例では、基本状態であるキーＫ１０と、キーＫ１０に対するフリック操作により変更されるキーＫ１１〜Ｋ１４が示されている。また、図２における矢印は、入力主体Ｆ１によるフリック操作の方向を示している。
【００３２】
図２を参照すると、基本状態であるキーＫ１０は、文字「あ」を入力するためのキーであるが、入力主体Ｆ１が左方向にフリック操作を行うことで、文字「い」を入力するためのキーＫ１１に遷移する。また、同様に、キーＫ１０は、上方向にフリックされることでキーＫ１２に、右方向にフリックされることでキーＫ１３に、下方向にフリックされることでキーＫ１４にそれぞれ遷移する。
【００３３】
このように、ソフトウェアキーボードでは、フリック操作に基づく入力文字の切り替えを行うことで、より少ないキー構成で文字入力を可能とするものがある。しかし、ソフトウェアキーボードは、キーを押下した際やフリックした際の物理的な感覚が欠落しているため操作性に乏しく、ユーザは、キー位置や必要なフリック量を確認しながら入力操作を行うことが求められる。また、ソフトウェアキーボードは、上記の物理的な感覚が欠落しているため、表示された入力結果を確認する前に、ユーザが誤入力に気付くことが困難である。
【００３４】
上記の点に対応するため、本実施形態に係る情報処理装置１０は、入力主体のフリック操作に基づく触覚フィードバックを提示することができる。本実施形態に係る情報処理装置１０が有する上記の機能によれば、フリック操作による文字指定において、ユーザが入力操作の正当性を直観的に知覚することが可能となる。
【００３５】
図３は、本実施形態に係るフリック操作に基づく触覚フィードバックについて説明するための図である。図３には、図２と同様に、基本状態であるキーＫ１０と、キーＫ１０に対するフリック操作により変更されるキーＫ１１〜Ｋ１４が示されている。また、図３には、フリック操作を示す矢印と当該フリック操作に基づく触覚フィードバックＦＢ１〜４が示されている。
【００３６】
図３に示すように、本実施形態に係る触覚提示部１３０は、検出されたフリック操作に基づいて、対応する触覚フィードバックを提示することができる。この際、触覚信号処理部１６０は、入力部１２０により検出されたフリック操作に基づく触覚フィードバックを制御するための制御信号を生成する。
【００３７】
例えば、本実施形態に係る触覚信号処理部１６０は、キーＫ１０が左方向にフリックされたことに基づいて、対応する触覚フィードバックＦＢ１を制御する制御信号を生成してよい。同様に、触覚信号処理部１６０は、キーＫ１０が上方向にフリックされたことに基づいて対応する触覚フィードバックＦＢ２を制御する制御信号を、右方向にフリックされたことに基づいて対応する触覚フィードバックＦＢ３を制御する制御信号を生成してよい。また、触覚信号処理部１６０は、キーＫ１０が下方向にフリックされたことに基づいて対応する触覚フィードバックＦＢ４を制御する制御信号を生成してよい。
【００３８】
また、この際、本実施形態に係る触覚信号処理部１６０は、フリック操作により指定文字が変更されたことに基づいて上記の制御信号を生成してもよい。触覚信号処理部１６０が上記のタイミングで制御信号を生成することで、ユーザはフリック操作により入力される指定文字が切り替わったことを知覚することが可能となる。
【００３９】
また、本実施形態に係る触覚信号処理部１６０は、前記フリック操作から検出される判定値が閾値を超えたことに基づいて上記の制御信号を生成することもできる。ここで、上記の判定値には、フリック操作の移動量やフリック操作の速度などが含まれてよい。すなわち、本実施形態に係る触覚信号処理部１６０は、フリック操作の移動量が閾値を超えたことに基づいて制御信号を生成してもよいし、フリック操作の速度が閾値を超えたことに基づいて制御信号を生成してもよい。触覚信号処理部１６０が上記の判定値に基づく制御信号の生成を行うことで、ユーザは文字指定のために必要な操作量が満たされたことを直観的に知覚することができる。
【００４０】
また、本実施形態に係る触覚信号処理部１６０は、上記の判定値の大きさに応じた制御信号を生成してよい。触覚信号処理部１６０は、例えば、上記の判定値の大きさに応じて触覚フィードバックの大きさや周波数を制御することができる。触覚信号処理部１６０は、判定値が小さい場合、振動の弱い触覚フィードバックや周波数の低い触覚フィードバックを制御する制御信号を生成してもよいし、判定値が大きい場合には、振動の強い触覚フィードバックや周波数の高い触覚フィードバックを制御する制御信号を生成してもよい。
【００４１】
本実施形態に係る触覚信号処理部１６０が有する上記の機能によれば、ユーザのフリック操作に応じた柔軟な触覚フィードバックを提示することが可能となり、ユーザがより感覚的な入力操作を行うことが可能となる。
【００４２】
また、本実施形態に係る触覚信号処理部１６０は、図３に示すように、フリック操作の方向に応じた触覚フィードバックを制御する制御信号を生成してもよい。図３を参照すると、矢印で示されるフリック操作の方向に応じて、異なる触覚フィードバックＦＢ１〜４が提示されていることがわかる。ここで、触覚フィードバックＦＢ１〜４は、互いに大きさや周波数の異なる触覚フィードバックとして実現されてもよい。本実施形態に係る触覚信号処理部１６０がフリック操作の方向に応じた制御信号を生成することにより、ユーザが、フリック操作が所望の方向に行われたか否かを直観的に知覚することが可能となる。
【００４３】
また、本実施形態に係る触覚信号処理部１６０は、上記の判定値と閾値との差に応じた制御信号を生成してもよい。図４は、本実施形態に係る判定値と閾値との差に応じた触覚フィードバックについて説明するための図である。図４には、キーＫ１０を右方向にフリックし、キーＫ１３に遷移させる場合に提示される触覚フィードバックＦＢ５が示されている。図４を参照すると、触覚フィードバックＦＢ５は、フリック量に応じて変動し、キーＫ１０がキーＫ１３に遷移する際に最大になることがわかる。
【００４４】
このように、本実施形態に係る触覚信号処理部１６０は、上記の閾値またはキーの境界に近づくほど大きくなるように制御信号を生成してもよい。なお、触覚フィードバックＦＢ５の大きさは、上述したとおり、振動の強弱や周波数の高低により制御され得る。本実施形態に係る触覚信号処理部１６０が有する上記の機能によれば、ユーザがキー遷移に必要なフリック量を直観的に知覚することが可能となる。
【００４５】
（入力強度に基づく触覚フィードバック）
次に、本実施形態に係る入力強度に基づく触覚フィードバックについて説明する。上記では、本実施形態に係るフリック操作に基づく触覚フィードバックの例について説明したが、本実施形態に係る触覚信号処理部１６０は、入力操作に係る入力強度に基づいて制御信号を生成することも可能である。ここで、本実施形態に係る入力強度は、入力操作に係る押圧、または入力部１２０と入力主体との接触面積のうち少なくともいずれかに基づく強度であってよい。
【００４６】
本実施形態に係る触覚信号処理部１６０は、例えば、上記の入力強度が閾値を下回ったことに基づいて、制御信号を生成してよい。具体的には、本実施形態に係る触覚信号処理部１６０は、入力強度が閾値を下回ったことに基づいて、入力主体Ｆ１が入力部１２０から離れること、すなわち、入力操作の終了を予測し、制御信号を生成することができる。
【００４７】
図５は、本実施形態に係る入力操作の終了予測について説明するための図である。図５には、入力強度の異なる２つの状態が示されており、左側には強い入力強度ＰｈでキーＫ１０を操作する例が、右側には弱い入力強度ＰｌでキーＫ１０を操作する例がそれぞれ示されている。
【００４８】
この際、本実施形態に係る触覚信号処理部１６０は、図５に示すように、上記の入力強度が強い入力強度Ｐｈから弱い入力強度Ｐｌに変化したことに基づいて、触覚フィードバックＦＢ６を制御する制御信号を生成してもよい。すなわち、本実施形態に係る触覚信号処理部１６０は、入力操作に係る入力強度が閾値を下回ったことに基づいて、入力主体Ｆ１が入力部１２０から離れること、すなわち入力操作の終了を予測することができる。
【００４９】
本実施形態に係る触覚信号処理部１６０が有する上記の機能によれば、入力主体Ｆ１が入力部１２０から完全に離れる前に触覚フィードバックを提示することができ、ユーザが確実に触覚フィードバックを受けることが可能となる。
【００５０】
また、本実施形態に係る触覚信号処理部１６０は、入力強度が閾値を超えたことに基づいて、制御信号を生成してもよい。また、同時に本実施形態に係る入力処理部１５０は、入力強度に基づいて入力操作に係る文字入力モードを変更することができる。図６は、本実施形態に係る入力強度に基づく文字入力モードの変更について説明するための図である。
【００５１】
図６の下部には、キーＫ１０に対する入力操作に係る入力強度の変化が時系列に示されている。また、図６の上部には、上記の入力操作に係る入力強度に基づいて変更される文字入力モードを示している。ここで、上記の文字入力モードは、例えば、図６に示すように、入力操作により入力される文字種別のセットであってもよい。すなわち、本実施形態に係る入力処理部１５０は、入力強度に基づいて、入力される文字種別のセットを変更することができる。
【００５２】
図６に示す一例では、まず入力主体Ｆ１が弱い入力強度Ｐｌ１でキーＫ１０を操作している。この際、入力処理部１５０は、文字種別のセットをＫＳ１として設定している。次に、入力主体Ｆ１は、強い入力強度Ｐｈ１でキーＫ１０を操作する。この際、本実施形態に係る触覚信号処理部１６０は、入力強度が閾値を超えたことに基づいて、触覚フィードバックＦＢ７を制御する制御信号を生成してよい。また、同時に、入力処理部１５０は、入力強度が閾値を超えたことに基づいて、文字種別のセットをＫＳ１からＫＳ２に変更してよい。
【００５３】
また、図６に示す一例では、続いて入力主体Ｆ１が弱い入力強度Ｐｌ２でキーＫ１０を操作しており、この際、設定される文字種別のセットはＫＳ２のままであってよい。一方、入力主体Ｆ１が強い入力強度Ｐｈ２でキーＫ１０を操作すると、触覚信号処理部１６０は、再び触覚フィードバックＦＢ７を制御する制御信号を生成し、入力処理部１５０は、文字種別のセットをＫＳ２からＫＳ３へと変更する。
【００５４】
このように、本実施形態に係る触覚信号処理部１６０は、入力強度が閾値を超えたことに基づいて、制御信号を生成することができる。また、本実施形態に係る入力処理部１５０は、入力強度が閾値を超えたことに基づいて、入力される文字種別のセットを変更することができる。触覚信号処理部１６０および入力処理部１５０が有する上記の機能によれば、簡易な操作により文字入力モードを変更することが可能となり、ソフトウェアキーボードによる文字入力の効率を大きく向上させることができる。
【００５５】
また、本実施形態に係る入力処理部１５０は、入力強度に基づいて、入力される入力文字を変更してもよい。図７Ａおよび図７Ｂは、本実施形態に係る入力強度に基づく入力文字の変更について説明するための図である。
【００５６】
図７Ａは、入力主体Ｆ１によるキーＫ４０に対するタップ操作を示す図である。図７Ａを参照すると、図７Ａの左側には、弱い入力強度Ｐｌによるタップ動作の例が示されている。この際、入力処理部１５０は、キーＫ４０に設定される基本文字「た」を出力してよい。また、触覚信号処理部１６０は、この際、弱い入力強度Ｐｌに対応する触覚フィードバックＦ８を制御する制御信号を生成する。
【００５７】
一方、図７Ａの右側には、強い入力強度Ｐｈによるタップ動作の例が示されている。この際、入力処理部１５０は、入力強度が閾値を超えたことに基づいて、入力文字を変更してよい。図７Ａに示す一例では、入力処理部１５０は、入力強度が閾値を超えたことに基づいて、キーＫ４０に設定される基本文字「た」から派生する入力文字「だ」を出力している。また、触覚信号処理部１６０は、この際、強い入力強度Ｐｈに対応する触覚フィードバックＦ９を制御する制御信号を生成する。
【００５８】
続いて、図７Ｂを参照して、入力強度に基づく入力文字の変更に係る別の例について説明する。図７Ｂは、入力主体Ｆ１によるキーＫ１０に対するタップ操作を占めす図である。図７Ｂを参照すると、図７Ｂの左側には、弱い入力強度Ｐｌによるタップ動作の例が示されている。この際、入力処理部１５０は、キーＫ１０に設定される基本文字「ａ」を出力してよい。また、触覚信号処理部１６０は、この際、弱い入力強度Ｐｌに対応する触覚フィードバックＦ８を制御する制御信号を生成する。
【００５９】
一方、図７Ｂの右側には、強い入力強度Ｐｈによるタップ動作の例が示されている。この際、入力処理部１５０は、入力強度が閾値を超えたことに基づいて、入力文字を変更してよい。図７Ｂに示す一例では、入力処理部１５０は、入力強度が閾値を超えたことに基づいて、キーＫ１０に設定される基本文字「ａ」から派生する入力文字「Ａ」を出力している。また、触覚信号処理部１６０は、この際、強い入力強度Ｐｈに対応する触覚フィードバックＦ９を制御する制御信号を生成する。
【００６０】
以上、図７Ａおよび図７Ｂを用いて説明したように、本実施形態に係る入力処理部１５０は、入力強度に基づいて、入力文字を変更することが可能である。本実施形態に係る入力処理部１５０が有する上記の機能によれば、簡易な操作により入力文字を変更することが可能となり、ソフトウェアキーボードによる文字入力の効率を一層に向上させることができる。
【００６１】
次に、本実施形態に係る入力強度に基づく入力処理速度の変更について説明する。本実施形態に係る入力処理部１５０は、入力強度に応じて入力操作に係る入力処理速度を変更することが可能である。また、本実施形態に係る触覚信号処理部１６０は、上記の入力処理速度に応じた制御信号を生成することができる。
【００６２】
図８は、本実施形態に係る入力強度に基づく入力処理速度の変更について説明するための図である。図８には、キーＫ９０に対する入力主体Ｆ１の入力操作に係る入力強度の変化が時間軸ｔに沿って示されている。ここで、キーＫ９０は、例えば、文字入力に係るカーソルを１文字分だけ前方に進めるためのキーであってよい。また、図８に示される入力主体Ｆ１の入力操作は、キーＫ９０に対する長押し操作であってよい。
【００６３】
図８を参照すると、時刻Ｔ１において、入力主体Ｆ１によるＫ９０に対する入力操作が開始されている。この際、時刻Ｔ１における入力主体Ｆ１の入力操作は、弱い入力強度Ｐｌにより行われている。ここで、時刻Ｔ１において、入力処理部１５０は、入力主体Ｆ１による入力操作に基づき、文字入力に係るカーソルを１文字分だけ前方に進める入力処理を行う。
【００６４】
続く時刻Ｔ２においては、入力主体Ｆ１の入力操作は、中間の入力強度Ｐｍにより行われており、入力主体Ｆ１による長押し操作に係る入力強度が増したことを示している。この際、入力処理部１５０は、入力主体Ｆ１による入力操作に基づき、文字入力に係るカーソルを１文字分だけ前方に進める入力処理を行う。
【００６５】
続く時刻Ｔ３を参照すると、入力主体Ｆ１の入力操作は、強い入力強度Ｐｈにより行われており、入力主体Ｆ１による長押し操作に係る入力強度が時刻Ｔ２からさらに増加したことを示している。この際、入力処理部１５０は、入力主体Ｆ１による入力操作に基づき、文字入力に係るカーソルを１文字分だけ前方に進める入力処理を行う。
【００６６】
また、続く時刻Ｔ４では、入力主体Ｆ１の入力操作は、引き続き強い入力強度Ｐｈにより行われており、入力主体Ｆ１による長押し操作に係る入力強度が時刻Ｔ３から継続していることを示している。この際、入力処理部１５０は、入力主体Ｆ１による入力操作に基づき、文字入力に係るカーソルを１文字分だけ前方に進める入力処理を行う。
【００６７】
ここで、時刻Ｔ１〜Ｔ４における各時刻の間隔について着目すると、当該間隔は、時刻が進むにつれて短くなっていることがわかる。すなわち、図８に示す一例では、間隔Ｔ１〜Ｔ２＞間隔Ｔ２〜Ｔ３＞間隔Ｔ３〜Ｔ４が成り立つことがわかる。このように、本実施形態に係る入力処理部１５０は、入力強度が強いほど入力操作に係る入力処理速度を速めることができる。また、この際、次の入力処理までの間隔Ｔｎ−Ｔｎ−１は、Ｔｎ−Ｔｎ−１＝ａ／（ｂ＊Ｐ＋１）＋ｃ、により決定されてもよい。ここで、上記の数式中におけるＰは、入力強度を示す値であってよい。また、上記の数式中におけるａ、ｂ、およびｃは、任意の定数であってよい。
【００６８】
また、図８を参照すると、本実施形態に係る触覚信号処理部１６０は、入力処理が行われる各時刻において、触覚フィードバックＦＢ１０を制御する制御信号を生成している。このように、本実施形態に係る触覚信号処理部１６０は、入力強度に基づく入力処理にあわせて、制御信号を生成することができる。また、この際、触覚信号処理部１６０は、入力強度や入力処理速度に応じた触覚フィードバックＦＢ１０を制御する制御信号を生成してもよい。
【００６９】
以上、本実施形態に係る入力強度に基づく入力処理速度の変更について説明した。本実施形態に係る入力処理部１５０が有する上記の機能によれば、ユーザが直観的な操作で連続入力の速度調整を行うことができ、ソフトウェアキーボードにおける文字入力の効率を大きく向上させることが可能となる。
【００７０】
また、本実施形態に係る触覚提示部１３０が偏心モーターを備える場合、入力処理が速い速度で連続して行われる場合おいても、入力処理の際の触覚フィードバックを互いに独立して提示することが可能となる。このため、ユーザは連続入力に伴う入力処理のタイミングを正確に把握することができ、文字入力の効率を一層に高めることが可能となる。
【００７１】
なお、図８を用いた上記の説明では、カーソル位置を変更するための入力処理が行われる場合を例に述べたが、本実施形態に係る連続入力の処理は、係る例に限定されない。本実施形態に係る連続入力の処理は、例えば、文字の連続入力や削除の連続処理にも同様に適用され得る。
【００７２】
また、上記の説明では、次の入力処理までの間隔Ｔｎ−Ｔｎ−１が、入力強度に応じて連続的に変化される場合を例に述べたが、間隔Ｔｎ−Ｔｎ−１は、入力強度の閾値に基づいて、段階的に変化してもよい。
【００７３】
（ソフトウェアキーボードの表示形状に応じた触覚フィードバック）
次に、本実施形態に係るソフトウェアキーボードの表示形状に応じた触覚フィードバックについて説明する。本実施形態に係る触覚信号処理部１６０は、ソフトウェアキーボードの表示形状に応じた触覚フィードバックを制御する制御信号を生成することができる。
【００７４】
本実施形態に係る触覚信号処理部１６０は、例えば、ソフトウェアキーボードのキー配列形状に応じた触覚フィードバックを制御する制御信号を生成してもよい。この際、触覚信号処理部１６０は、上記のキー配列の境界において触覚フィードバックを制御する制御信号を生成してもよい。
【００７５】
図９は、キー配列の境界における触覚フィードバックについて説明するための図である。図９には、ソフトウェアキーボードＳＫと、ソフトウェアキーボードＳＫに対する入力主体Ｆ１の入力操作が示されている。図９を参照すると、入力主体Ｆ１は、ソフトウェアキーボードＳＫの左側から右側に向かってスワイプ操作を行っていることがわかる。
【００７６】
この際、本実施形態に係る触覚信号処理部１６０は、ソフトウェアキーボードＳＫのキー配列の境界に入力主体Ｆ１が差し掛かった際、触覚フィードバックＦＢ１１を制御する制御信号を生成してよい。より具体的には、本実施形態に係る触覚信号処理部１６０は、入力主体Ｆ１の検出位置とキー配列の境界位置との差が閾値を下回ることに基づいて、当該境界位置に応じた触覚フィードバックを制御する制御信号を生成することができる。
【００７７】
本実施形態に係る触覚信号処理部１６０が有する上記の機能によれば、表示部１１０を注視しなくても、ユーザがソフトウェアキーボードのキー配列形状を直観的に知覚することができ、文字入力に係る操作性を大きく向上させることが可能となる。
【００７８】
また、図１０は、本実施形態に係るキー配列形状に応じた触覚フィードバックの別の例を示す図である。図９を用いた説明では、入力主体Ｆ１がスワイプ操作を行う際の触覚フィードバックについて述べた。一方、本実施形態に係るキー配列の境界における触覚フィードバックは、入力主体の位置変化を伴わない操作の場合にも提示可能である。
【００７９】
図１０には、ソフトウェアキーボードＳＫと、ソフトウェアキーボードＳＫに対する入力主体Ｆ１の入力操作が示されている。ここで、図１０における入力操作は、図９の一例とは異なり、位置変化を伴わないタッチ操作などであってよい。
【００８０】
この際、本実施形態に係る触覚信号処理部１６０は、図９の一例とは異なり、入力主体Ｆ１がキー配列に接触している位置において触覚フィードバックＦ１２を制御する制御信号を生成してよい。図１０を参照すると、触覚フィードバックＦ１２は、キー配列の境界を除く位置、かつ入力主体Ｆ１がキー配列に接触している位置においてのみ提示されていることがわかる。
【００８１】
本実施形態に係る触覚信号処理部１６０が有する上記の機能によれば、位置変化を伴わない入力操作が行われる場合においても、ユーザがソフトウェアキーボードのキー配列形状を直観的に知覚することができ、文字入力に係る操作性を一層に向上させることが可能となる。
【００８２】
また、本実施形態に係る触覚信号処理部１６０は、ソフトウェアキーボード上の基本位置に応じた触覚フィードバックを制御する制御信号を生成することも可能である。より具体的には、本実施形態に係る触覚信号処理部１６０は、入力操作の検出位置とソフトウェアキーボードにおける基本位置との差が閾値を下回ることに基づいて、上記の基本位置に応じた触覚フィードバックを制御する制御信号を生成してよい。なお、上記の基本位置は、例えば、ソフトウェアキーボードにおけるホームキーに該当する位置や、ソフトウェアキーボードにおける中心位置などであってよい。
【００８３】
図１１は、本実施系形態に係るソフトウェアキーボード上の基本位置に応じた触覚フィードバックについて説明するための図である。図１１には、ソフトウェアキーボードＳＫと、ソフトウェアキーボードＳＫに対する入力主体Ｆ１の入力操作が示されている。ここで、図１１における入力操作は、スワイプ操作であってもよいし、位置変化を伴わないタッチ操作などであってもよい。
【００８４】
図１１を参照すると、触覚フィードバックＦ１３は、ソフトウェアキーボードＳＫにおけるホームキー上で提示されていることがわかる。このように、本実施形態に係る触覚信号処理部１６０は、入力主体Ｆ１がソフトウェアキーボードＳＫにおける基本位置に差し掛かった際に、触覚フィードバックＦ１３を制御する制御信号を生成することができる。
【００８５】
本実施形態に係る触覚信号処理部１６０が有する上記の機能によれば、ユーザが表示部１１０を注視していなくても、ソフトウェアキーボードにおける入力主体Ｆ１の位置を直観的に把握することができ、文字入力の効率をより高めることが可能となる。
【００８６】
また、本実施形態に係る触覚信号処理部１６０は、キー配列上の位置に応じた触覚フィードバックを制御する制御信号を生成してもよい。より具体的には、本実施形態に係る触覚信号処理部１６０は、キー配列上における入力操作の位置に応じた触覚フィードバックを制御する制御信号を生成してよい。
【００８７】
図１２は、本実施系形態に係るキー配列上の位置に応じた触覚フィードバックについて説明するための図である。図１２には、ソフトウェアキーボードにおけるキーＫ８０が示されている。ここで、本実施形態に係る触覚信号処理部１６０は、キーＫ８０の入力主体（図示しない）の位置に応じて異なる触覚フィードバックを制御する制御信号を生成することができる。
【００８８】
図１２を参照すると、触覚フィードバックＦＢ１４は、キーＫ８０の中心位置（あるいは、キー種別を示す表示に係る位置）において提示されており、触覚フィードバックＦＢ１４は、キーＫ８０における辺縁部において提示されていることがわかる。このように、本実施形態に係る触覚信号処理部１６０は、キー配列上における入力主体の位置に応じた触覚フィードバックを制御する制御信号を生成することができる。
【００８９】
さらに、本実施形態に係る触覚信号処理部１６０は、キー配列に応じて触覚フィードバックＦＢ１４やＦ１５の強さや周波数が異なるように制御することもできる。本実施形態に係る触覚信号処理部１６０が有する上記の機能によれば、ユーザが表示部１１０を注視していなくても、入力主体が接触しているキー配列の種別や当該キー配列における入力主体の位置を直観的に知覚することができ、文字入力の効率を一層に高めることが可能となる。
【００９０】
［１．３．情報処理装置１０による処理の流れ］
次に本実施形態に係る情報処理装置１０による処理の流れについて説明する。図１３は、本実施形態に係る情報処理装置１０による処理の流れを示すフローチャートである。
【００９１】
図１３を参照すると、まず、本実施形態に係る情報処理装置１０の入力部１２０は、入力主体のタッチ操作を検出する（Ｓ１１０１）。
【００９２】
次に、本実施形態に係る入力処理部１５０は、ステップＳ１１０１において検出されたタッチ操作が解除されたか否かを判定する（Ｓ１１０２）。すなわち、入力処理部１５０は、入力主体による入力操作が終了したか否かを判定してよい。
【００９３】
ここで、入力処理部１５０が、入力操作が終了したと判定した場合（Ｓ１１０２：ＹＥＳ）、本実施形態に係る触覚信号処理部１６０は、タッチ解除に係る触覚フィードバック、すなわち入力操作の終了に係る触覚フィードバックを制御する制御信号を生成する。また、本実施形態に係る触覚提示部１３０は、上記で生成された制御信号に基づいて触覚フィードバックの提示を行う（Ｓ１１０３）。
【００９４】
ステップＳ１１０３の処理が完了した後、情報処理装置１０は、触覚フィードバックの提示に係る一連の処理を終了する。
【００９５】
一方、入力処理部１５０が、入力操作が終了していないと判定した場合（Ｓ１１０２：ＮＯ）、続いて、入力処理部１５０は、入力主体によるフリック操作が検出されたか否かを判定する（Ｓ１１０４）。
【００９６】
ここで、入力処理部１５０が、フリック操作が検出されたと判定した場合（Ｓ１１０４：ＹＥＳ）、続いて入力処理部１５０は、検出されたフリック操作のフリック量が閾値以上であるか否かを判定する（Ｓ１１０５）。
【００９７】
ここで、入力処理部１５０が、検出されたフリック操作のフリック量が閾値以上であると判定した場合（Ｓ１１０５：ＹＥＳ）、本実実施形態に係る触覚信号処理部１６０は、検出されたフリック操作に応じた触覚フィードバックを制御する制御信号を生成する。また、この際、触覚信号処理部１６０は、フリック操作の移動量、速度、方向などに応じた制御信号を生成することができる。また、本実施形態に係る触覚提示部１３０は、上記で生成された制御信号に基づいて触覚フィードバックの提示を行う（Ｓ１１０６）。
【００９８】
一方、入力処理部１５０が、検出されたフリック操作のフリック量が閾値未満であると判定した場合（Ｓ１１０５：ＮＯ）、本実実施形態に係る触覚信号処理部１６０は、上記の閾値までの距離に応じた触覚フィードバックを制御する制御信号を生成する。また、本実施形態に係る触覚提示部１３０は、上記で生成された制御信号に基づいて触覚フィードバックの提示を行う（Ｓ１１０７）。
【００９９】
なお、ステップＳ１１０６またはＳ１１０７の処理が終了した後、本実施形態に係る情報処理装置１０は、ステップＳ１１０２に復帰し、以降の処理を繰り返し実行してよい。
【０１００】
一方、入力処理部１５０が入力主体によるフリック操作が検出されていないと判定した場合（Ｓ１１０４：ＮＯ）、続いて入力処理部１５０は、ステップＳ１１０１で検出されたタッチ操作に係る入力強度が変化したか否かを判定する（Ｓ１１０８）。
【０１０１】
ここで、入力処理部１５０が、ステップＳ１１０１で検出されたタッチ操作に係る入力強度が変化していないと判定した場合（Ｓ１１０８：ＮＯ）、情報処理装置１０は、触覚フィードバックの提示に係る一連の処理を終了する。
【０１０２】
一方、入力処理部１５０が、ステップＳ１１０１で検出されたタッチ操作に係る入力強度が変化したと判定した場合（Ｓ１１０８：ＹＥＳ）、続いて入力処理部１５０は、検出された入力強度が閾値を超えているか否かを判定する（Ｓ１１０９）。
【０１０３】
ここで、入力処理部１５０が、検出された入力強度が閾値未満であると判定した場合（Ｓ１１０９：ＮＯ）、情報処理装置１０は、触覚フィードバックの提示に係る一連の処理を終了する。
【０１０４】
一方、入力処理部１５０が、検出された入力強度が閾値以上であると判定した場合（Ｓ１１０９：ＹＥＳ）、本実施形態に係る触覚信号処理部１６０は、検出された入力強度に応じた触覚フィードバックを制御する制御信号を生成する。この際、触覚信号処理部１６０は、検出された入力強度の強さや変化速度などに応じた制御信号を生成することができる。また、本実施形態に係る触覚提示部１３０は、上記で生成された制御信号に基づいて触覚フィードバックの提示を行う（Ｓ１１１０）。
【０１０５】
なお、ステップＳ１１１０の処理が終了した後、本実施形態に係る情報処理装置１０は、ステップＳ１１０２に復帰し、以降の処理を繰り返し実行してよい。
【０１０６】
＜２．第２の実施形態＞
［２．１．第２の実施形態の概要］
次に、本開示に係る第２の実施形態の概要について説明する。上記における第１の実施形態の説明では、ソフトウェアキーボードにおける入力操作を効率化する情報処理装置１０の特徴について主に説明した。一方、本開示の第２の実施形態に係る情報処理装置１０は、ソフトウェアキーボード以外の種々の表示オブジェクトに対する入力操作を効率化することが可能である。
【０１０７】
近年、インターフェースに配置される表示オブジェクトに対する入力操作を検出し、種々の処理を実行する装置が多く開発されている。しかし、上記のような装置では、表示オブジェクトに対する単純なタッチ操作に基づいて、入力処理を実行する場合が多い。このため、ユーザが意図せずにタッチパネル等の入力部に触れてしまった場合でも、入力処理が実行されてしまい、誤操作の要因となっている。
【０１０８】
また、上記のような装置では、他領域（例えば、他の表示オブジェクトや表示オブジェクトが配置されない領域）からのフリック、スワイプ、ドラッグ操作などにより、入力主体が表示オブジェクトに接触した際、当該表示オブジェクトに対する入力操作とは判定しない場合が多い。このため、ユーザは、目的の表示オブジェクトを操作するために、入力主体を入力部から一旦離す必要がある。また、手探りで目的の表示オブジェクトの位置を把握することが困難であり、操作性に欠けている。
【０１０９】
さらには、上記のような装置における表示オブジェクトは、ハードウェアとして具備されるボタンやダイヤルなどとは異なり、操作する際の物理的な感覚が欠落している。このため、ユーザは、表示オブジェクトを操作している実感を得ることが困難である。
【０１１０】
本開示の第２の実施形態に係る情報処理装置１０は、上記のような点に着目して発想されたものであり、表示オブジェクトに対するより直観的な入力操作を実現する。また、本実施形態に係る情報処理装置１０は、入力操作に係る入力強度に基づいて表示オブジェクトを制御することで、ユーザの意図と外れた誤操作を防止することが可能である。ここで、上記の入力強度は、上述したとおり、入力操作に係る押圧、または入力部１２０と入力主体との接触面積のうち少なくともいずれかに基づく強度であってよい。
【０１１１】
以下、本実施形態に係る情報処理装置１０の有する機能、および当該機能が奏する効果について詳細に説明する。なお、以下における本開示に係る第２の実施形態の説明では、第１の実施形態との差異について中心に述べ、第１の実施形態と共通する構成、機能、効果については、省略を説明する。
【０１１２】
［２．２．入力強度に応じた表示オブジェクトの制御と触覚フィードバック］
まず、本実施形態に係る入力強度に応じた表示オブジェクトの制御と触覚フィードバックについて説明する。本実施形態に係る表示制御部１４０は、入力操作に係る入力強度に基づいて、ユーザインタフェースに配置される表示オブジェクトを制御する機能を有する。特に、本実施形態に係る表示制御部１４０は、入力強度に基づいて表示オブジェクトの有効性を制御してよい。
【０１１３】
より具体的には、本実施形態に係る表示制御部１４０は、入力強度が閾値を超えたことに基づいて、表示オブジェクトをアクティブ化する機能を有する。また、本実施形態に係る表示制御部１４０は、入力強度が閾値を下回ることに基づいて、表示オブジェクトを非アクティブ化する機能を有する。なお、上述したとおり、上記の表示オブジェクトには、仮想ボタン、仮想ダイヤル、ソフトウェアキーボードなどの被操作グラフィックが含まれてよい。
【０１１４】
図１４は、本実施形態に係る弱い入力強度に基づく表示オブジェクトの制御および触覚フィードバックの例を示す図である。図１４には、２つの表示オブジェクトＯ１およびＯ２と、入力主体Ｆ１が示されている。また、図１４を参照すると、入力主体Ｆ１は、弱い入力強度Ｐｌで、入力部１２０を右方向にスワイプ操作していることがわかる。この際、入力主体Ｆ１は、表示オブジェクトＯ１およびＯ２を通過している。なお、ここで、表示オブジェクトは、カメラアプリケーションの撮影モードを指定するための仮想ダイヤルであり、表示オブジェクトＯ２は、写真を撮像するための仮想シャッターボタンであってよい。
【０１１５】
図１４に示すように、本実施形態に係る表示制御部１４０は、入力主体Ｆの入力強度が閾値を下回ることに基づいて、表示オブジェクトＯ１およびＯ２を非アクティブ化してよい。図１４に示す一例では、表示制御部１４０により非アクティブ化された表示オブジェクトＯ１およびＯ２が点線により示されている。このように、本実施形態に係る表示制御部１４０が入力強度に基づいて表示オブジェクトを非アクティブ化することで、ユーザの意図から外れた誤操作を防止することが可能となる。
【０１１６】
また、図１４に示す一例では、非アクティブ化された表示オブジェクトＯ１およびＯ２が点線で示されているが、本実施形態に係る表示制御部１４０は、入力強度が閾値を下回ることに基づいて、表示オブジェクトを半透明化または透明化してよい。本実施形態に係る表示制御部１４０が上記の処理を行うことで、表示オブジェクトの有効性を直観的に知覚することが可能となる。また、後述するように、アプリケーション上の表示要素を最小化し、ユーザの入力操作を効率化することが可能となる。
【０１１７】
また、本実施形態に係る触覚信号処理部１６０は、入力主体の検出位置と表示オブジェクトの境界位置との差が下回ることに基づいて、上記境界位置に応じた触覚フィードバックを制御する制御信号を生成する機能を有する。
【０１１８】
図１４を参照すると、本実施形態に係る触覚信号処理部１６０は、入力主体Ｆ１が表示オブジェクトＯ１およびＯ２の境界に差し掛かった際に、触覚フィードバックＦＢ１６を制御する制御信号を生成していることがわかる。本実施形態に係る触覚信号処理部１６０が有する上記の機能によれば、ユーザが表示部１１０を注視していなくても、表示オブジェクトの位置を直観的に知覚することでき、表示オブジェクトに対する操作効率を大きく向上させることが可能となる。
【０１１９】
また、本実施形態に係る触覚信号処理部１６０は、入力強度が閾値を下回る場合に、上記の境界位置に応じた触覚フィードバックを制御する制御信号を生成してもよい。触覚信号処理部１６０が非アクティブ化された表示オブジェクトの境界でのみ触覚フィードバックを発生させることで、アクティブ化された表示オブジェクトに対する入力操作の妨げとなる可能性を防ぐことができる。
【０１２０】
次に、本実施形態に係る入力強度に基づく表示オブジェクトのアクティブ化について説明する。図１５Ａは、本実施形態に係る強い入力強度に基づく表示オブジェクトの制御および触覚フィードバックの例を示す図である。図１５Ａには、図１４と同様に２つの表示オブジェクトＯ１およびＯ２と、入力主体Ｆ１が示されている。
【０１２１】
ここで、表示オブジェクトＯ１に着目すると、入力主体Ｆ１は、強い入力強度Ｐｈで表示オブジェクトＯ１に対する入力操作を行っていることがわかる。ここで、上記の入力操作は、ダイヤルを回すようなドラッグ操作であってよい。この際、本実施形態に係る表示制御部１４０は、入力強度が閾値を超えたことに基づいて、表示オブジェクトＯ１をアクティブ化してよい。本実施形態に係る表示制御部１４０が、入力強度に基づいて表示オブジェクトをアクティブ化することで、ユーザの意図から外れた誤操作を防止することが可能となる。
【０１２２】
また、本実施形態に係る表示制御部１４０は、入力強度が閾値を超えたことに基づいて、表示オブジェクトＯ１に係る表示効果を解除してよい。すなわち、本実施形態に係る表示制御部１４０は、表示オブジェクトＯ１の半透明状態または透明状態を解除することができる。本実施形態に係る表示制御部１４０が有する上記の機能によれば、表示オブジェクトの有効性を直観的に知覚することが可能となる。
【０１２３】
また、本実施形態に係る触覚信号処理部１６０は、表示オブジェクト上で入力操作が検出されたことに基づいて、当該入力操作に応じた触覚フィードバックを制御する制御信号を生成する機能を有する。
【０１２４】
図１５Ａを参照すると、本実施形態に係る触覚信号処理部１６０は、入力主体Ｆ１が表示オブジェクトＯ１上における入力主体Ｆ１の入力操作が検出されたことに基づいて、当該入力操作に応じた触覚フィードバックＦＢ１７を制御する制御信号を生成していることがわかる。
【０１２５】
ここでは、触覚信号処理部１６０は、入力主体Ｆ１のダイヤルを回る操作に応じた触覚フィードバックＦＢ１７を制御してよい。具体的には、触覚信号処理部１６０は、入力操作が閾値を超え、ダイヤルが回るタイミング（撮影モードが変更されるタイミング）で制御信号を生成することができる。本実施形態に係る触覚信号処理部１６０が有する上記の機能によれば、ユーザが表示オブジェクトを操作する現実感を高めることが可能となり、また、入力操作に応じた処理が実行されたことを直観的に知覚することができる。
【０１２６】
また、本実施形態に係る触覚信号処理部１６０は、入力強度が閾値を超える場合に、上記の入力操作に応じた触覚フィードバックを制御する制御信号を生成してもよい。触覚信号処理部１６０がアクティブ化された表示オブジェクト上における入力操作にのみ触覚フィードバックを発生させることで、ユーザが表示部１１０を注視していなくても、表示オブジェクトの有効性を直観的に知覚することが可能となる。
【０１２７】
以上、ダイヤル型の表示オブジェクトＯ１に対する入力操作に基づく、表示制御部１４０および触覚信号処理部１６０の制御について説明した。一方、本実施形態に係る表示制御部１４０および触覚信号処理部１６０は、表示オブジェクトのタイプに依らず、同様の処理を実行してよい。
【０１２８】
図１５Ａにおける表示オブジェクトＯ２に着目すると、表示制御部１４０は、入力強度が閾値を超えたことに基づいて、表示オブジェクトＯ２をアクティブ化し、また、表示オブジェクトＯ２に係る表示効果を解除していることがわかる。
【０１２９】
また、本実施形態に係る触覚信号処理部１６０は、入力強度が閾値を超えたことに基づいて、入力操作に基づく触覚フィードバックＦＢ１７を発生させている。ここで、上記の入力操作は、シャッターボタンを押下するような押し込み操作であってよい。本実施形態に係る触覚信号処理部１６０によれば、入力操作、入力強度、および表示オブジェクトの特性に応じた触覚フィードバックを制御することが可能となる。
【０１３０】
また、図１５Ｂは、弱い入力強度に基づく表示オブジェクトの非アクティブ化について説明するための図である。図１５Ｂには、図１５Ａと同様に、表示オブジェクトＯ１およびＯ２と、入力主体Ｆ１が示されている。一方、図１５Ｂでは、図１５Ａとは異なり入力主体Ｆ１による入力操作が弱い入力強度Ｐｌで行われている。
【０１３１】
このため、図１５Ｂに示される表示オブジェクトＯ１およびＯ２は、非アクティブ状態を維持しており、また、表示オブジェクトＯ１およびＯ２における入力操作は、有効な操作として処理されていない。このように、本実施形態に係る情報処理装置１０によれば、入力強度に応じて表示オブジェクトを制御することが可能となり、誤操作や幼児などによるいたずらを防止することができる。
【０１３２】
以上、本実施形態に係る入力強度に応じた表示オブジェクトの制御と触覚フィードバックについて説明した。続いて、図１６Ａ〜１６Ｃを参照し、上記の制御が行われるユーザインタフェースの具体例について説明する。なお、図１６Ａ〜１６Ｃを用いた以下の説明では、表示部１１０および入力部１２０が一体に形成される場合を例に述べる。
【０１３３】
図１６Ａは、表示部１１０に表示されるユーザインタフェースの一例である。ここで、上記のユーザインタフェースは、カメラアプリケーションのユーザインタフェースであってよい。なお、図１６Ａの状態は、入力主体Ｆ１が入力部１２０に接触していない状態を示している。このため、ユーザインタフェース上に表示される表示オブジェクトＯ１およびＯ２は非アクティブ化されており、また、半透明化されている状態である。
【０１３４】
このように、本実施形態に係る表示制御部１４０が非アクティブ状態の表示オブジェクトの透過度を制御することで、ユーザが被写体を決定する際に、表示オブジェクトが視界を妨げることを防ぐ効果が期待できる。
【０１３５】
また、図１６Ｂは、入力主体Ｆ１が弱い入力強度Ｐｌで入力部１２０に対する入力操作を行っている状態を示している。このため、図１６Ｂに示す表示オブジェクトＯ１およびＯ２は、図１６Ａに引き続き非アクティブの状態であってよい。この際、本実施形態に係る触覚信号処理部１６０は、図１６Ｂに示すように、入力主体Ｆ１が表示オブジェクトの境界位置に差し掛かった際に、当該境界位置に応じた触覚フィードバックＦＢ１６を発生させることができる。
【０１３６】
このように、本実施形態に係る触覚信号処理部１６０が、表示オブジェクトの境界位置に応じた触覚フィードバックを制御することで、ユーザは手探りで表示オブジェクトの位置を知覚することができ、被写体に注視しながら、撮像を行うことが可能となる。
【０１３７】
また、図１６Ｃは、入力主体Ｆ１が表示オブジェクトＯ１に対し、強い入力強度Ｐｈで入力操作を行っている状態を示している。このため、図１６Ｃに示す表示オブジェクトＯ１は、アクティブ化された状態となっている。また、この際、触覚信号処理部１６０は、入力主体Ｆ１による入力操作に応じた触覚フィードバックＦＢ１７を発生させている。
【０１３８】
このように、本実施形態に係る触覚信号処理部１６０が、表示オブジェクト上の入力操作に応じた触覚フィードバックを制御することで、ユーザが表示部１１０を注視していなくても、入力操作の正当性を直観的に知覚することが可能となり、表示オブジェクトに対する操作効率を大きく向上させることができる。
【０１３９】
なお、図１６Ｃに示す一例では、表示オブジェクトＯ２は非アクティブ状態を維持しているが、本実施形態に係る表示制御部１４０は、表示オブジェクトＯ１に対する入力強度が閾値を超えたことに基づいて、関連する表示オブジェクトＯ２を同時にアクティブ状態とさせてもよい。
【０１４０】
（入力強度の変化に応じた触覚フィードバック）
以上、本実施形態に係る入力強度に応じた表示オブジェクトの制御と触覚フィードバックについて説明した。上記における説明では、触覚信号処理部１６０が入力強度の強弱に基づいて、制御信号を生成する場合を主に述べたが、本実施形態に係る触覚信号処理部１６０の機能は、係る例に限定されない。本実施形態に係る触覚信号処理部１６０は、入力強度の変化に応じた触覚フィードバックを制御する制御信号を生成してもよい。
【０１４１】
本実施形態に係る触覚信号処理部１６０は、例えば、入力強度が閾値を超えるまでの変化時間に基づく触覚フィードバックを制御する制御信号を生成してもよい。図１７Ａおよび図１７Ｂは、本実施形態に係る入力強度が閾値を超えるまでの変化時間に基づく触覚フィードバックについて説明するための図である。
【０１４２】
図１７Ａおよび図１７Ｂは、入力主体Ｆ１による入力操作に係る入力強度の変化を時系列に示した図である。また、図１７Ａおよび図１７Ｂには、入力強度に対する閾値Ｔｈが点線で示されている。
【０１４３】
ここで、図１７Ａを参照すると、時刻Ｔ１において、入力主体Ｆ１による入力操作が開始されている。この際、時刻Ｔ１において入力主体Ｆ１は、弱い入力強度Ｐｌによる入力操作を行っている。
【０１４４】
続く時刻Ｔ２および時刻Ｔ３に着目すると、入力主体Ｆ１は、中間の入力強度Ｐｍ１およびＰｍ２でそれぞれ入力操作を行っており、入力操作に係る入力強度が時間経過と共に強まっていることがわかる。
【０１４５】
続いて、時刻Ｔ４に着目すると、入力主体Ｆ１は、強い入力強度Ｐｈにより入力操作を行っている。また、強い入力強度Ｐｈは、入力強度の閾値Ｔｈを超えていることがわかる。この際、本実施形態に係る触覚信号処理部１６０は、入力強度Ｐｈが閾値Ｔｈを超えたことに基づいて、触覚フィードバックＦＢ１８を制御する制御信号を生成してよい。
【０１４６】
また、この際、本実実施形態に係る触覚信号処理部１６０は、入力強度が閾値Ｔｈを超えるまでの変化時間に基づく制御信号を生成することができる。すなわち、本実施形態に係る触覚信号処理部１６０は、時刻Ｔ１から時刻Ｔ４までの経過時間に応じた触覚フィードバックＦＢ１８を制御する制御信号を生成する。
【０１４７】
次に、図１７Ｂを参照して説明を続ける。図１７Ｂでは、図１７Ａの場合と同様に、時刻Ｔ１において、入力主体Ｆ１による入力操作が開始されている。この際、時刻Ｔ１において入力主体Ｆ１は、図１７Ａの場合と同様に、弱い入力強度Ｐｌによる入力操作を行っている。
【０１４８】
続く時刻Ｔ２に着目すると、入力主体Ｆ１は、中間の入力強度Ｐｍ入力操作を行っており、入力操作に係る入力強度が時刻Ｔ１よりも強まっていることがわかる。
【０１４９】
続いて、時刻Ｔ３に着目すると、入力主体Ｆ１は、強い入力強度Ｐｈにより入力操作を行っており、また、強い入力強度Ｐｈは、入力強度の閾値Ｔｈを超えていることがわかる。この際、本実施形態に係る触覚信号処理部１６０は、入力強度Ｐｈが閾値Ｔｈを超えたことに基づいて、触覚フィードバックＦＢ１９を制御する制御信号を生成してよい。
【０１５０】
また、この際、本実実施形態に係る触覚信号処理部１６０は、図１７Ａの場合と同様に、入力強度が閾値Ｔｈを超えるまでの変化時間に基づく制御信号を生成することができる。すなわち、本実施形態に係る触覚信号処理部１６０は、時刻Ｔ１から時刻Ｔ３までの経過時間に応じた触覚フィードバックＦＢ１９を制御する制御信号を生成する。この際、触覚フィードバックＦＢ１９は、図１７Ａに示す触覚フィードバックＦＢ１８とは強さまたは周波数が異なる触覚フィードバックであってよい。
【０１５１】
このように、本実施形態に係る触覚信号処理部１６０は、入力強度の強弱のみではなく、入力強度の変化に基づく制御信号を生成することが可能である。本実施形態に係る触覚信号処理部１６０が有する上記の機能によれば、入力操作に対する触覚フィードバックをより多様に設定することが可能となり、アプリケーションの様態に応じた制御を実現することができる。
【０１５２】
また、本実施形態に係る触覚信号処理部１６０は、入力強度と閾値との差に応じた触覚フィードバックを制御する制御信号を生成することも可能である。図１８は、本実施形態に係る入力強度と閾値との差に応じた触覚フィードバックについて説明するための図である。
【０１５３】
図１８には、入力主体Ｆ１による入力操作に係る入力強度の変化が時系列に示されている。また、図１８には、入力強度に対する閾値Ｔｈが点線で示されている。図１８に示す一例では、時刻Ｔ１において、入力主体Ｆ１による入力操作が開始されており、この際、時刻Ｔ１において入力主体Ｆ１は、弱い入力強度Ｐｌによる入力操作を行っている。
【０１５４】
次に、時刻Ｔ２に着目すると、入力主体Ｆ１は、強い入力強度Ｐｈにより入力操作を行っている。また、強い入力強度Ｐｈは、入力強度の閾値Ｔｈを超えていることがわかる。
【０１５５】
ここで、本実施形態に係る触覚信号処理部１６０は、図１７Ａおよび図１７Ｂに示した例とは異なり、時刻Ｔ１から時刻Ｔ２にかけて継続的に触覚フィードバックＦＢ２０を発生させてよい。また、この際、本実施形態に係る触覚信号処理部１６０は、入力強度と閾値との差に応じた触覚フィードバックを制御することができる。より具体的には、本実施形態に係る触覚信号処理部１６０は、入力強度が閾値に近づくにつれ、触覚フィードバックの強度を強め（あるいは、周波数を高め）、入力強度が閾値を超えた際に、当該触覚フィードバックの強度または周波数が最大となるように、制御を行うこともできる。
【０１５６】
本実施形態に係る触覚信号処理部１６０が有する上記の機能によれば、ユーザが、入力操作が閾値に達するまでの入力強度を直観的に把握することができ、表示オブジェクトに対する操作効率を一層に高めることが可能となる。
【０１５７】
（入力強度に基づく選択範囲の制御）
次に、本実施形態に係る入力強度に基づく選択範囲の制御について説明する。本実施形態に係る入力処理部１５０は、入力操作に係る入力強度に基づいて、選択される表示オブジェクトの範囲を制御する機能を有する。図１９Ａ〜図１９Ｄは、本実施形態に係る入力強度に基づく選択範囲の制御について説明するための図である。
【０１５８】
図１９Ａには、本実施形態に係る情報処理装置１０の表示部１１０に表示される複数のアイコン型表示オブジェクトＩ１〜Ｉ９、および入力主体Ｆ１が示されている。図１９Ａを参照すると、入力主体Ｆ１は、中間の入力強度Ｐｍで表示オブジェクトＩ５に対する入力操作を行っている。ここで、上記の入力操作は、表示オブジェクトＩ５上での押し込み操作であってよい。また、この際、本実施形態に係る触覚信号処理部１６０は、上記の入力操作および入力強度に応じた触覚フィードバックＦＢ２１を制御する制御信号を生成してよい。
【０１５９】
続いて、図１９Ｂを参照すると、入力主体Ｆ１は、表示オブジェクトＩ５に対し、ドラッグ操作を行っている。なお、ここで、上記のドラッグ操作は、図１９Ａに示す押し込み操作に続いて行われる入力操作であってよい。
【０１６０】
この際、本実施形態に係る入力処理部１５０は、図１９Ａに示した中間の入力強度Ｐｍに基づいて、表示オブジェクトＩ５が選択された状態となるよう処理を行ってよい。また、入力処理部１５０は、上記のように選択された表示オブジェクトＩ５に対し、その後のドラッグ操作に基づく移動処理を行う。この際、本実施形態に係る表示制御部１４０は、入力処理部１５０の移動処理に応じた表示制御を行う。
【０１６１】
このように、本実施形態に係る入力処理部１５０は、入力強度に基づいて、処理対象となる表示オブジェクトの範囲を制御することが可能である。図１９Ａおよび図１９Ｂに示す一例においては、入力処理部１５０は、中間の入力強度Ｐｍが、単一の表示オブジェクトのドラッグ操作に必要な閾値を超えていることに基づいて、表示オブジェクトＩ５が選択された状態となる処理を行うことができる。
【０１６２】
次に、図１９Ｃを参照して説明を続ける。図１９Ｃには、図１９Ａと同様に、本実施形態に係る情報処理装置１０の表示部１１０に表示される複数のアイコン型表示オブジェクトＩ１〜Ｉ９、および入力主体Ｆ１が示されている。図１９Ｃを参照すると、入力主体Ｆ１は、強い入力強度Ｐｈで表示オブジェクトＩ５に対する入力操作を行っている。ここで、上記の入力操作は、表示オブジェクトＩ５上での押し込み操作であってよい。また、この際、本実施形態に係る触覚信号処理部１６０は、上記の入力操作および入力強度に応じた触覚フィードバックＦＢ２２を制御する制御信号を生成してよい。
【０１６３】
続いて、図１９Ｄを参照すると、入力主体Ｆ１は、表示部１１０の下方向に向かってドラッグ操作を行っている。なお、ここで、上記のドラッグ操作は、図１９Ｃに示す押し込み操作に続いて行われる入力操作であってよい。
【０１６４】
この際、本実施形態に係る入力処理部１５０は、図１９Ｃに示した強い入力強度Ｐｈに基づいて、表示オブジェクトＩ１〜Ｉ９を含むセットＩＳ１が選択された状態となるよう処理を行ってよい。また、入力処理部１５０は、上記のように選択されたセットＩＳ１に対し、その後のドラッグ操作に基づく移動処理を行う。この際、本実施形態に係る表示制御部１４０は、入力処理部１５０の移動処理に応じた表示制御を行う。
【０１６５】
このように、本実施形態に係る入力処理部１５０は、入力強度が閾値を超えることに基づいて、処理対象となる表示オブジェクトの範囲を拡大することができる。図１９Ｃおよび図１９Ｄに示す一例においては、入力処理部１５０は、強い入力強度Ｐｈが、表示オブジェクトのセットＩＳ１に対するドラッグ操作に必要な閾値を超えていることに基づいて、表示オブジェクトＩ１〜Ｉ９が選択された状態となる処理を行うことができる。
【０１６６】
以上、図１９Ａ〜図１９Ｄを用いて説明したように、本実施形態に係る入力処理部１５０は、入力強度に基づいて、処理対象となる表示オブジェクトの範囲を制御することが可能である。本実施形態に係る入力処理部１５０が有する上記の機能によれば、ユーザによる入力操作の負担を軽減し、表示オブジェクトに対するより効率的な処理を実現することが可能となる。
【０１６７】
なお、図１９Ａ〜図１９Ｄを用いた上記の説明では、入力処理部１５０が２段階の選択範囲を制御する場合を例に説明したが、本実施形態に係る選択範囲の制御は、係る例に限定されない。本実施形態に係る入力処理部１５０は、複数の閾値に基づいて、段階的に選択範囲を制御することも可能である。
【０１６８】
［２．３．情報処理装置１０による処理の流れ］
次に、本実施形態に係る情報処理装置１０による処理の流れについて説明する。図２０は、本実施形態に係る情報処理装置１０による処理の流れを示すフローチャートである。
【０１６９】
図２０を参照すると、まず、本実施形態に係る情報処理装置１０の入力部１２０は、入力主体によるタッチ操作を検出する（Ｓ２１０１）。
【０１７０】
次に、本実施形態に係る入力処理部１５０は、ステップＳ２１０１において検出されたタッチ操作が解除されたか否かを判定する（Ｓ２１０２）。すなわち、入力処理部１５０は、入力主体による入力操作が終了したか否かを判定してよい。
【０１７１】
ここで、入力処理部１５０が、入力操作が終了したと判定した場合（Ｓ２１０２：ＹＥＳ）、本実施形態に係る表示制御部１４０は、ユーザインタフェースに配置される表示オブジェクトを半透明化または透明化し、また、上記の表示オブジェクトを非アクティブ化する（Ｓ２１０３）。また、この際、本実施形態に係る触覚信号処理部１６０は、タッチ解除に係る触覚フィードバック、すなわち入力操作の終了に係る触覚フィードバックを制御する制御信号を生成してよい。また、本実施形態に係る触覚提示部１３０は、上記で生成された制御信号に基づいて触覚フィードバックの提示を行ってよい。
【０１７２】
また、ステップＳ２１０３の処理が完了した後、情報処理装置１０は、表示オブジェクトの制御および触覚フィードバックの提示に係る一連の処理を終了する。
【０１７３】
一方、入力処理部１５０が、入力操作が終了していないと判定した場合（Ｓ２１０２：ＮＯ）、続いて、入力処理部１５０は、入力操作に係る入力強度が閾値以上であるか否かを判定する（Ｓ２１０４）。
【０１７４】
ここで、入力処理部１５０が、入力強度が閾値以上であると判定した場合（Ｓ２１０４：ＹＥＳ）、本実施形態に係る表示制御部１４０は、入力操作に係る表示オブジェクトの表示効果を解除し、また、上記の表示オブジェクトをアクティブ化する（Ｓ２１０５）。また、この際、入力処理部１５０は、入力強度に基づいて上記の処理対象となる表示オブジェクトの範囲を設定してもよい。
【０１７５】
次に、入力処理部１５０は、入力強度またはフリック量が閾値以上であるか否かを判定する（Ｓ２１０６）。
【０１７６】
ここで、入力処理部１５０が、入力強度またはフリック量が閾値未満であると判定した場合（Ｓ２１０６：ＮＯ）、本実施形態に係る情報処理装置１０は、ステップＳ２１０２に復帰し、以降の処理を繰り返し実行してよい。
【０１７７】
一方、入力処理部１５０が、入力強度またはフリック量が閾値以上であると判定した場合（Ｓ２１０６：ＹＥＳ）、本実施形態に係る触覚信号処理部１６０は、入力強度またはフリック量に応じた触覚フィードバックを制御する制御信号を生成する。また、本実施形態に係る触覚提示部１３０は、上記で生成された信号に基づいて触覚フィードバックの提示を行う（Ｓ２１０７）。
【０１７８】
なお、ステップＳ２１０７の処理が終了した後、本実施形態に係る情報処理装置１０は、ステップＳ２１０２に復帰し、以降の処理を繰り返し実行してよい。
【０１７９】
一方、ステップＳ２１０４において、入力処理部１５０が、入力強度が閾値以上ではないと判定した場合（Ｓ２１０４：ＮＯ）、続いて、入力処理部１５０は、入力操作の検出位置と表示オブジェクトの境界位置との差が閾値以上か否かを判定する（Ｓ２１０８）。
【０１８０】
ここで、入力処理部１５０が、入力操作の検出位置と表示オブジェクトの境界位置との差が閾値以上であると判定した場合（Ｓ２１０８：ＮＯ）、本実施形態に係る情報処理装置１０は、表示オブジェクトの制御および触覚フィードバックの提示に係る一連の処理を終了する。
【０１８１】
ここで、入力処理部１５０が、入力操作の検出位置と表示オブジェクトの境界位置との差が閾値以上であると判定した場合（Ｓ２１０８：ＹＥＳ）、本実施形態に係る触覚信号処理部１６０は、上記の境界位置に応じた触覚フィードバックを制御する制御信号を生成する。この際、触覚信号処理部１６０は、検出された入力強度やフリック量などに応じた触覚フィードバックを制御する制御信号を生成することもできる。また、本実施形態に係る触覚提示部１３０は、上記で生成された制御信号に基づいて触覚フィードバックの提示を行う（Ｓ２１０９）。
【０１８２】
ステップＳ２１０９における処理が終了した場合、本実施形態に係る情報処理装置１０は、表示オブジェクトの制御および触覚フィードバックの提示に係る一連の処理を終了する。
【０１８３】
＜３．ハードウェア構成例＞
次に、本開示に係る情報処理装置１０のハードウェア構成例について説明する。図２１は、本開示に係る情報処理装置１０のハードウェア構成例を示すブロック図である。図２１を参照すると、本開示に係る情報処理装置１０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
【０１８４】
（ＣＰＵ８７１）
ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
【０１８５】
（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【０１８６】
（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
【０１８７】
（入力装置８７８）
入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、本開示に係る入力装置８７８には、タッチパネルやタッチパッドなどが含まれる。
【０１８８】
（出力装置８７９）
出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９には、触覚フィードバックを提示する機能を有する種々の装置が含まれる。
【０１８９】
（ストレージ８８０）
ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
【０１９０】
（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
【０１９１】
（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ  ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
【０１９２】
（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
【０１９３】
（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
【０１９４】
（通信装置８８３）
通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
【０１９５】
＜４．まとめ＞
以上説明したように、本開示に係る情報処理装置１０は、ソフトウェアキーボードにおいて検出された入力操作に基づく触覚フィードバックを制御する制御信号を生成すること、を特徴の一つとする。また、本開示に係る情報処理装置１０は、入力操作に係る入力強度に応じた入力モードの変更や、入力強度に応じた触覚フィードバックを制御する制御信号を生成することができる。係る構成によれば、ソフトウェアキーボードによる入力において、ユーザが操作の正当性を直観的に知覚することが可能となる。
【０１９６】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１９７】
例えば、上記実施形態では、入力操作および当該入力操作に応じた触覚フィードバックのみが提示される場合を例に説明したが、本技術はかかる例に限定されない。本開示に係る情報処理装置１０は、上記の触覚フィードバックに加え、例えば、音声によるフィードバックを併せて提示することも可能である。この場合、本開示に係る情報処理装置は、上記の実施形態で説明した構成に加え、音声出力部や音声出力制御部をさらに備えてもよい。
【０１９８】
また、本明細書の情報処理装置１０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置１０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１９９】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０２００】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ソフトウェアキーボードにおいて検出された文字指定に伴う入力操作に基づいて入力処理を行う入力処理部と、
前記入力操作に基づく触覚フィードバックを制御する制御信号を生成する触覚信号処理部と、
を備え、
前記入力操作は、フリック操作を含む、
情報処理装置。
（２）
前記触覚信号処理部は、前記入力操作により指定文字が変更されたことに基づいて前記制御信号を生成する、
前記（１）に記載の情報処理装置。
（３）
前記触覚信号処理部は、前記フリック操作から検出される判定値が閾値を超えたことに基づいて前記制御信号を生成し、
前記判定値は、前記フリック操作の移動量または前記フリック操作の速度のうち少なくともいずれかを含む、
前記（１）または（２）に記載の情報処理装置。
（４）
前記触覚信号処理部は、前記判定値の大きさに応じた前記制御信号を生成する、
前記（３）に記載の情報処理装置。
（５）
前記触覚信号処理部は、前記判定値と前記閾値との差に応じた前記制御信号を生成する、
前記（３）または（４）に記載の情報処理装置。
（６）
前記触覚信号処理部は、前記入力操作に係る入力強度に基づいて前記制御信号を生成し、
前記入力強度は、前記入力操作に係る押圧、または入力部と入力主体との接触面積のうち少なくともいずれかに基づく、
前記（１）〜（５）のいずれかに記載の情報処理装置。
（７）
前記触覚信号処理部は、前記入力強度が閾値を超えたことに基づいて、前記制御信号を生成する、
前記（６）に記載の情報処理装置。
（８）
前記触覚信号処理部は、前記入力強度が閾値を下回ったことに基づいて、前記制御信号を生成する、
前記（６）または（７）に記載の情報処理装置。
（９）
前記入力処理部は、前記入力強度に基づいて、前記入力操作に係る文字入力モードを変更する、
前記（６）〜（８）のいずれかに記載の情報処理装置。
（１０）
前記入力処理部は、前記入力強度に基づいて、前記入力操作により入力される文字種別のセットを変更する、
前記（９）に記載の情報処理装置。
（１１）
前記入力処理部は、前記入力強度が閾値を超えたことに基づいて、前記文字種別のセットを変更する、
前記（１０）に記載の情報処理装置。
（１２）
前記入力処理部は、前記入力強度に応じて前記入力操作に係る入力処理速度を変更する、
前記（９）〜（１１）のいずれかに記載の情報処理装置。
（１３）
前記入力処理部は、前記入力強度が強いほど前記入力処理速度を速める、
前記（１２）に記載の情報処理装置。
（１４）
前記入力処理部は、前記入力強度に基づいて、前記入力操作により入力される入力文字を変更する、
前記（９）〜（１３）のいずれかに記載の情報処理装置。
（１５）
前記入力処理部は、前記入力強度が閾値を超えたことに基づいて、前記入力文字を変更する、
前記（１４）に記載の情報処理装置。
（１６）
前記触覚信号処理部は、前記フリック操作の方向に応じた前記制御信号を生成する、
前記（１）〜（１５）のいずれかに記載の情報処理装置。
（１７）
前記触覚フィードバックを提示する触覚提示部、
をさらに備える、
前記（１）〜（１６）のいずれかに記載の情報処理装置。
（１８）
前記入力操作を検出する検出部、
をさらに備える、
前記（１）〜（１７）のいずれかに記載の情報処理装置。
（１９）
プロセッサが、
ソフトウェアキーボードにおいて検出された文字指定に伴う入力操作に基づいて入力処理を行うことと、
前記入力操作に基づく触覚フィードバックを制御する制御信号を生成することと、
を備え、
前記入力操作は、フリック操作を含む、
情報処理方法。
（２０）
コンピュータを、
ソフトウェアキーボードにおいて検出された文字指定に伴う入力操作に基づいて入力処理を行う入力処理部と、
前記入力操作に基づく触覚フィードバックを制御する制御信号を生成する触覚信号処理部と、
を備え、
前記入力操作は、フリック操作を含む、
情報処理装置、
として機能させるためのプログラム。
【符号の説明】
【０２０１】
１０      情報処理装置
１１０    表示部
１２０    入力部
１３０    触覚提示部
１４０    表示制御部
１５０    入力処理部
１６０    触覚信号処理部
【図１】
2018022438.tif 000003
【図２】
2018022438.tif 000004
【図３】
2018022438.tif 000005
【図４】
2018022438.tif 000006
【図５】
2018022438.tif 000007
【図６】
2018022438.tif 000008
【図７Ａ】
2018022438.tif 000009
【図７Ｂ】
2018022438.tif 000010
【図８】
2018022438.tif 000011
【図９】
2018022438.tif 000012
【図１０】
2018022438.tif 000013
【図１１】
2018022438.tif 000014
【図１２】
2018022438.tif 000015
【図１３】
2018022438.tif 000016
【図１４】
2018022438.tif 000017
【図１５Ａ】
2018022438.tif 000018
【図１５Ｂ】
2018022438.tif 000019
【図１６Ａ】
2018022438.tif 000020
【図１６Ｂ】
2018022438.tif 000021
【図１６Ｃ】
2018022438.tif 000022
【図１７Ａ】
2018022438.tif 000023
【図１７Ｂ】
2018022438.tif 000024
【図１８】
2018022438.tif 000025
【図１９Ａ】
2018022438.tif 000026
【図１９Ｂ】
2018022438.tif 000027
【図１９Ｃ】
2018022438.tif 000028
【図１９Ｄ】
2018022438.tif 000029
【図２０】
2018022438.tif 000030
【図２１】
2018022438.tif 000031