(57)【要約】【課題】入力操作の状況や方法などに変化があっても、操作性への影響を低減できる情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法が提供される。【解決手段】情報処理装置は、被操作部に対してなされる操作に起因する音を検出する検出手段と、検出された操作に起因する音の所定期間にわたる大きさの積算値を算出する算出手段と、大きさの積算値に基づいて被操作部に対する操作量を決定し、処理を実行する処理手段とを含む。【選択図】図３
2015032128.tif 000002
【特許請求の範囲】
【請求項１】
被操作部に対してなされる操作に起因する音を検出する検出手段と、
検出された操作に起因する音の所定期間にわたる大きさの積算値を算出する算出手段と、
前記大きさの積算値に基づいて、所定の処理を実行する処理手段とを備える、情報処理装置。
【請求項２】
前記被操作部を含む入力手段をさらに備え、
前記検出手段は、前記被操作部に対する操作時の音を検出するように構成される、請求項１に記載の情報処理装置。
【請求項３】
前記入力手段は、タッチパネルを含む、請求項２に記載の情報処理装置。
【請求項４】
前記入力手段は、ボタンを含む、請求項２または３に記載の情報処理装置。
【請求項５】
前記処理手段は、前記大きさの積算値と入力操作がなされた位置とに基づいて、前記所定の処理を実行する、請求項３または４に記載の情報処理装置。
【請求項６】
前記算出手段は、固定された期間を前記所定期間として積算値を算出するように構成される、請求項１〜５のいずれか１項に記載の情報処理装置。
【請求項７】
前記算出手段は、前記積算値を算出するための前記所定期間を可変させるように構成される、請求項１〜５のいずれか１項に記載の情報処理装置。
【請求項８】
前記算出手段は、検出された音の大きさが所定値以上である期間にわたって、積算値を算出する、請求項７に記載の情報処理装置。
【請求項９】
前記処理手段は、前記大きさの積算値に基づいて、前記被操作部に対する操作量を算出し、当該操作量に基づいて、前記所定の処理を行なう、請求項１〜７のいずれか１項に記載の情報処理装置。
【請求項１０】
前記処理手段は、前記被操作部に対する操作に用いられるものの硬さを示す指標を用いて、前記被操作部に対する操作量を決定する、請求項９に記載の情報処理装置。
【請求項１１】
前記処理手段は、前記被操作部に対する操作に用いられるものの硬さの度合が小さいほど、前記被操作部に対する操作量が大きく算出されるように、前記大きさの積算値を補正する、請求項９に記載の情報処理装置。
【請求項１２】
硬さを示す指標は、検出された音の最大値に基づいた値である、請求項１０または１１に記載の情報処理装置。
【請求項１３】
情報処理装置のコンピュータを
被操作部に対してなされる操作に起因する音を検出する検出手段と、
検出された操作に起因する音の所定期間にわたる大きさの積算値を算出する算出手段と、
前記大きさの積算値に基づいて、所定の処理を実行する処理手段として機能させる、情報処理プログラム。
【請求項１４】
被操作部に対してなされる操作に起因する音を検出する検出部と、
前記検出部による検出結果を取得する取得手段と、
検出された操作に起因する音の所定期間にわたる大きさの積算値を算出する算出手段と、
前記大きさの積算値に基づいて、所定の処理を実行する処理手段とを備える、情報処理システム。
【請求項１５】
情報処理装置において実行される情報処理方法であって、
被操作部に対してなされる操作に起因する音を検出する検出ステップと、
検出された操作に起因する音の所定期間にわたる大きさの積算値を算出する算出ステップと、
前記大きさの積算値に基づいて、所定の処理を実行する処理ステップとを含む、情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被操作部に対する操作量に応じて処理を実行する情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法に関する。
【背景技術】
【０００２】
従来から、入力操作およびそれによって発生する操作音の情報を用いて情報処理を行なう技術が知られている。例えば、特開２００５−３１８９９６号公報（特許文献１）は、コントローラの叩き操作によって発生する操作音の強弱をゲーム内容に反映させることができるゲームシステムなどを開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３１８９９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の先行技術は、入力操作およびそれによって発生する操作音の情報を用いて情報処理を行なうことを教示するに過ぎず、これらの情報を用いて、入力操作の状況、環境、方法が変化するような場合であっても操作性への影響を低減させるといった新規な課題については、何ら考慮されていない。
【０００５】
ある実施の形態において、入力操作の状況、環境、方法などに変化があっても、操作性への影響を低減できる情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法が提供される。
【課題を解決するための手段】
【０００６】
第１の例示的な実施の形態に従う情報処理装置は、被操作部に対してなされる操作に起因する音を検出する検出手段と、検出された操作に起因する音の所定期間にわたる大きさの積算値を算出する算出手段と、大きさの積算値に基づいて、所定の処理を実行する処理手段とを含む。
【０００７】
第１の例示的な実施の形態によれば、検出された操作に起因する音の所定期間にわたる大きさの積算値に基づいて処理を実行するので、入力操作の状況や方法などに変化があっても、操作性への影響を低減できる。
【０００８】
第２の例示的な実施の形態に従う情報処理装置は、被操作部を含む入力手段をさらに含み、検出手段は、被操作部に対する操作時の音を検出するように構成される。第２の例示的な実施の形態によれば、被操作部を含む入力手段に対する入力操作と、決定された操作量とに基づいて、多彩な処理を実現できる。
【０００９】
第３の例示的な実施の形態に従う情報処理装置において、入力手段は、タッチパネルを含む。第３の例示的な実施の形態によれば、操作された座標値しか検出できないタッチパネルに対する入力操作の強さ（強度）を知ることができ、より多彩な処理を実現できる。
【００１０】
第４の例示的な実施の形態に従う情報処理装置において、入力手段は、ボタンを含む。第４の例示的な実施の形態によれば、操作の有無（ＯＮ／ＯＦＦ）しか検出できないボタンに対する入力操作の強さ（強度）を知ることができ、より多彩な処理を実現できる。
【００１１】
第５の例示的な実施の形態に従う情報処理装置において、処理手段は、大きさの積算値と入力操作がなされた位置とに基づいて、所定の処理を実行する。第５の例示的な実施の形態によれば、入力操作がなされた位置に基づいて、大きさの積算値を補正した上で、所定の処理を実行できるので、検出部と入力操作がなされた位置との距離による影響を低減できる。
【００１２】
第６の例示的な実施の形態に従う情報処理装置において、算出手段は、固定された期間を所定期間として積算値を算出するように構成される。第６の例示的な実施の形態によれば、固定された期間について積算値を算出するので、積算値の算出処理を簡素化できる。
【００１３】
第７の例示的な実施の形態に従う情報処理装置において、算出手段は、積算値を算出するための所定期間を可変させるように構成される。第７の例示的な実施の形態によれば、検出手段による検出結果に応じて、積算値を算出する期間を動的に決定できるので、積算値の算出精度を高めることができる。
【００１４】
第８の例示的な実施の形態に従う情報処理装置において、算出手段は、検出された音の大きさが所定値以上である期間にわたって、積算値を算出する。第８の例示的な実施の形態によれば、検出された音の大きさからより確度の高い期間の情報を用いて、積算値を算出できるので、その算出精度を高めることができる。
【００１５】
第９の例示的な実施の形態に従う情報処理装置において、処理手段は、大きさの積算値に基づいて、操作部に対する操作量を算出し、当該操作量に基づいて、所定の処理を行なう。第９の例示的な実施の形態によれば、具体的な操作量を算出した上で処理を行なうので、操作量を補正することができる。また、算出される操作量の再利用性を高めることができる。
【００１６】
第１０の例示的な実施の形態に従う情報処理装置において、処理手段は、被操作部に対する操作に用いられるものの硬さを示す指標を用いて、被操作部に対する操作量を決定する。第１０の例示的な実施の形態によれば、被操作部に対する操作に用いられるものの硬さに依存して、算出される積算値にばらつきが生じる場合であっても、これらのばらつきを補正して、安定的に操作量を決定できる。
【００１７】
第１１の例示的な実施の形態に従う情報処理装置において、処理手段は、被操作部に対する操作に用いられるものの硬さの度合が小さいほど、被操作部に対する操作量が大きく算出されるように、大きさの積算値を補正する。第１１の例示的な実施の形態によれば、被操作部に対する操作に用いられるものの硬さの度合が小さいほど、算出される積算値は小さくなる傾向があるので、この傾向に応じて適切な補正を行なうことができる。
【００１８】
第１２の例示的な実施の形態に従う情報処理装置において、硬さを示す指標は、検出された音の最大値に基づいた値である。第１２の例示的な実施の形態によれば、積算値だけではなく、検出された音の最大値の情報を用いて操作量を決定するので、操作量の決定精度を高めることができる。
【００１９】
第１３の例示的な実施の形態に従う情報処理プログラムは、情報処理装置のコンピュータを、被操作部に対してなされる操作に起因する音を検出する検出手段と、検出された操作に起因する音の所定期間にわたる大きさの積算値を算出する算出手段と、大きさの積算値に基づいて、所定の処理を実行する処理手段として機能させる。
【００２０】
第１４の例示的な実施の形態に従う情報処理システムは、被操作部に対してなされる操作に起因する音を検出する検出部と、検出部による検出結果を取得する取得手段と、検出された操作に起因する音の所定期間にわたる大きさの積算値を算出する算出手段と、大きさの積算値に基づいて、所定の処理を実行する処理手段とを含む。
【００２１】
第１５の例示的な実施の形態に従う情報処理方法は、情報処理装置において実行され、被操作部に対してなされる操作に起因する音を検出する検出ステップと、検出された操作に起因する音の所定期間にわたる大きさの積算値を算出する算出ステップと、大きさの積算値に基づいて、所定の処理を実行する処理ステップとを含む。
【００２２】
第１３〜第１５の例示的な実施の形態によれば、上述の第１の例示的な実施の形態と同様の作用効果を奏する。
【発明の効果】
【００２３】
上述の実施の形態によれば、入力操作の状況や方法などに変化があっても、操作性への影響を低減できる。
【図面の簡単な説明】
【００２４】
【図１】被操作部に対する入力操作の一例を示す模式図である。
【図２】図１に示すような操作によって生じる操作音の時間波形の一例を示す図である。
【図３】本実施の形態に従う処理概要を模式的に示すブロック図である。
【図４】本実施の形態に従う情報処理装置の実装例を示す模式図である。
【図５】本実施の形態に従う情報処理方法の処理手順を示すフローチャートである。
【図６】本実施の形態に従う情報処理装置で実行されるアプリケーション例を示す模式図である。
【図７】本実施の形態に従う柔らかさ度合の算出結果を示す実験例を示す図である。
【発明を実施するための形態】
【００２５】
本実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【００２６】
＜Ａ．課題＞
まず、タッチ操作、叩き操作、押し操作などの入力操作、およびその入力操作に起因する音を検出することで、操作量を決定する処理について、本願発明者らが見出した新規な課題について説明する。
【００２７】
図１は、被操作部に対する入力操作の一例を示す模式図である。図１には、入力操作を受付け可能な構成例として、タッチパネル１４０を入力部として含む情報処理装置を例示する。本実施の形態に従う情報処理装置の入力部は、タッチパネル１４０に限られることはない。
【００２８】
このような被操作部を含む入力部に対してなされる操作の強度を検出するために、その操作に起因する音を用いる処理を考える。より具体的には、タッチパネル１４０の近傍に配置されたマイク１１０でタッチパネル１４０に対する操作によって発生した音を検出し、その検出値に基づいて操作量を決定する。
【００２９】
本明細書において、「操作量」は、入力部の被操作部（図１の例では、タッチパネル１４０の表面）に対する操作の強さ（強度）を意味する。この操作の強さ（強度）は、実際に被操作部に対して与えられた力の度合を示すもの（客観的な値）であってもよいし、ユーザが被操作部に対して与えたと感じる力の度合を示すもの（主観的な値）であってもよい。
【００３０】
このような操作量を決定する処理例として、検出部（典型的には、マイク１１０）によって検出された音の瞬間的な大きさを用いる方法が考えられる。より具体的には、検出された音の最大値とタッチの強さ、つまり操作量とを比例させる方法が考えられる。すなわち、検出部として機能するマイク１１０によって検出された音の最大値に予め定められた固定値を乗じて、タッチの強さを示す値を算出することができる。
【００３１】
しかしながら、このような操作量の決定方法では、入力操作の状況、環境、方法が変化するような場合に十分に対応することができないという課題があることを本願発明者らは見出した。つまり、入力操作の状況、環境、方法が変化することで、決定される操作量にばらつきや変化傾向が生じ、その結果、ユーザが感じる操作性が低下し得る。
【００３２】
例えば、図１（ａ）に示すように、ユーザがスタイラス（タッチペン）２を用いて入力操作を行なうときに生じる操作音には高周波成分が比較的多く含まれ、図１（ｂ）に示すように、ユーザが自身の指で入力操作を行なうときに生じる操作音には低周波成分が比較的多く含まれる。すなわち、同一のユーザが操作した場合であっても、被操作部と操作を行なうものとの間の物理的な特性（典型的には、硬さ）の相違に依存して、発生する音の音質は異なったものとなり、その結果、検出される音の特徴（典型的には、時間的な変化）も異なったものとなる。
【００３３】
このような入力操作の状況、環境、方法が変化するような場合には、検出される音の最大値も変化することになり、被操作部に対する操作量を最大値だけを用いて決定する処理を採用した場合には、ユーザが予め想定している操作量から大きくずれた操作量が決定されることになり、ユーザが感じる操作性が低下し得る。
【００３４】
本実施の形態に従う情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法では、このような入力操作の状況、環境、方法が変化するような場合であっても、操作性への影響を低減させないようにする処理および構成を含む。以下、これらの処理および構成について詳述する。
【００３５】
＜Ｂ．解決手段＞
次に、本実施の形態に係る課題の解決手段について説明する。図２は、図１に示すような操作によって生じる操作音の時間波形の一例を示す図である。
【００３６】
図２（ａ）には、図１（ａ）に示すようなスタイラス２を用いて入力操作が行なわれたときに検出される操作音の時間波形の一例を示し、図２（ｂ）には、図１（ｂ）に示すようなユーザ自身の指を用いて入力操作が行なわれたときに検出される操作音の時間波形の一例を示す。図２（ａ）および図２（ｂ）に示すように、入力操作に使用されるものの材質に応じて、発生する音には異なる特徴が現われる。
【００３７】
すなわち、スタイラス２のように相対的に硬いもので操作を行なった場合と、指などのように相対的に柔らかいもので操作を行なった場合とでは、そのピーク（最大値）および波形全体の時間的長さが異なったものとなる。つまり、スタイラス２によって、図２（ａ）に示すような鋭い時間波形をもつ操作音（高い周波数成分が相対的に多い）が発生し、指によって、図２（ｂ）に示すような相対的に鈍い操作音（低い周波数成分が相対的に多い）が発生する。
【００３８】
本願発明者らの実験などによれば、被操作部と操作を行なうものとの間の物理的な特性（典型的には、硬さ）の相違に依存して、発生する操作音の特徴が異なることが判った。そこで、本実施の形態においては、検出される音の時間波形上の「面積」を用いて、ユーザが行なった操作量（タッチの強さ）を決定する。この「面積」を示す値として、本実施の形態においては、所定期間にわたる音の大きさの積算値を用いる。図２に示すように、相対的に柔らかいもので操作したときに発生する操作音は、その最大値が小さくなる一方で、音の持続時間が長くなるため、積算値、つまり音の時間波形における所定期間の面積を指標とすることで、硬さの相違により検出結果に生じる差を軽減できる。
【００３９】
本明細書において、「積算値」は、音の瞬間的な大きさと対比される用語であり、検出される音をある期間にわたって積算することで算出される値を意味する。この積算値としては、対象となる期間内における音のレベルを示す値の総和や、対象となる期間内における音のレベルを示す値の平均値を含み得る。算出される積算値としては、検出された音のレベルを示す値（生値）をそのまま総和／平均して算出してもよいし、後続の処理に適合するように、適切な係数を乗じたり、必要な換算処理などを行なったりした後の値でもよい。
【００４０】
なお、後述するように、積算値の算出対象となる期間（時間）は、予め定められた固定値であってもよいし、検出される音のレベルなどに応じて、適宜可変される値であってもよい。
【００４１】
より好ましい別形態として、単なる「積算値」だけではなく、被操作部に対する操作に用いられるものの「柔らかさ度合」、つまり「硬さ」を示す指標を用いた補正を行なった上で、操作量を決定してもよい。
【００４２】
より具体的には、検出された音の最大値からタッチの強さ（操作量）を決定しようとすると、図２に示すように、被操作部に対する操作に用いられるものが硬いほど、より強い値として判定されやすい。そこで、これらの操作に用いられるものの「柔らかさ度合」を考慮して操作量を決定することで、（ユーザから見れば同一の操作量であっても）操作に用いられるものの硬さの相違によって生じ得る結果の差を軽減する。この被操作部に対する操作に用いられるものの「柔らかさ度合」を示す指標としても、上述したような積算値を用いることができる。
【００４３】
＜Ｃ．処理概要＞
次に、本実施の形態に係る処理概要について説明する。図３は、本実施の形態に従う処理概要を模式的に示すブロック図である。
【００４４】
図３を参照して、本実施の形態に従う情報処理装置１００は、入力部４および検出部６（典型的には、マイク１１０）からの情報に基づいて、処理結果を出力する処理機能１０を含む。処理機能１０は、取得部１２と、算出部１４と、処理部１６とを含む。
【００４５】
入力部４は、入力操作を受付ける被操作部を含む入力部に相当し、典型的には、上述のタッチパネル１４０やボタンとして実装される。
【００４６】
検出部６は、入力部４に含まれる被操作部に対してなされる操作に起因する音を検出する。そして、検出部６は、その検出結果である音声データを処理機能１０へ出力する。
【００４７】
取得部１２は、検出部６による検出結果を取得する。図３に示す例では、検出部６によって検出された音声データを取得して算出部１４へ出力する、一種のインターフェイスとして取得部１２を示すが、取得部１２自体が検出部６の機能を含むようにしてもよい。つまり、図３に示す検出部６および取得部１２は一体的に構成されてもよい。図３に示す例においては、入力部４に対して何らかの入力操作がなされたことを示すトリガーが取得部１２へ与えられ、このトリガーに応答して、取得部１２が必要な期間の音声データを取得する。
【００４８】
算出部１４は、取得部１２によって取得された音声データを受信し、検出された操作に起因する音の所定期間にわたる大きさの積算値を算出する。より具体的には、算出部１４は、音声データを時系列に格納するためのバッファ１４２と、バッファ１４２に格納された音声データから積算値を算出するための積算部１４４とを含む。算出部１４は、積算部１４４によって算出された積算値およびその他の必要な情報を処理部１６へ出力する。
【００４９】
処理部１６は、入力部４によって検出された入力操作、および、検出部６によって検出された音声データを用いて、各種処理を実行する。本実施の形態においては、処理部１６は、検出部６によって検出された音の大きさの積算値に基づいて、所定の処理を実行する。ここで、処理部１６は、入力部４に含まれる被操作部に対する操作量を決定する。処理部１６が実行する処理としては、後述するようなゲーム処理に加えて、様々な通信処理やユーザインタラクティブな処理を含む。
【００５０】
＜Ｄ．実装例＞
次に、本実施の形態に従う情報処理装置の実装例について説明する。図４は、本実施の形態に従う情報処理装置１００の実装例を示す模式図である。
【００５１】
図４を参照して、情報処理装置１００は、主たるハードウェアとして、ＣＰＵ（Central Processing Unit）１０２と、ＧＰＵ（Graphical Processing Unit）１０４と、ＲＡＭ（Random Access Memory）１０６と、フラッシュメモリ１０８と、マイク１１０と、通信インターフェイス１１２と、入力インターフェイス１１４と、表示制御部１１８と、外部インターフェイス１２２とを含む。これらのコンポーネントは、バス１１６を介して互いに接続されている。
【００５２】
ＣＰＵ１０２は、各種プログラムを実行する処理主体である。ＧＰＵ１０４は、ＣＰＵ１０２と協働して、本実施の形態に従う情報処理を含む様々な処理を実行する。ＲＡＭ１０６は、ＣＰＵ１０２およびＧＰＵ１０４でのプログラムの実行に必要なデータやパラメータなどを格納するワーキングメモリとして機能する。フラッシュメモリ１０８は、ＣＰＵ１０２で実行される情報処理プログラム１２０や、ユーザが設定した各種パラメータなどを不揮発的に格納する。
【００５３】
マイク１１０は、情報処理装置１００の周辺で発生した音を収集するためのデバイスであり、特に、被操作部に対してなされる操作に起因する音を検出する。
【００５４】
表示制御部１１８は、ＣＰＵ１０２および／またはＧＰＵ１０４からの内部指令に従って、表示装置１３０へ映像信号などを出力する。通信インターフェイス１１２は、有線または無線によって、他の装置などとの間でデータを遣り取りする。入力インターフェイス１１４は、入力手段であるタッチパネル１４０からの操作信号を受付け、ＣＰＵ１０２へ出力する。タッチパネル１４０に代えて、あるいは、それに加えて、入力手段として、任意の操作ボタンが実装されてもよい。
【００５５】
外部インターフェイス１２２は、各種の記録媒体１２４からその中に格納されているプログラムなどのデータを読み出すとともに、フラッシュメモリ１０８などに格納されている各種データを記録媒体１２４へ書き出すことも可能である。
【００５６】
図４には、マイク１１０、表示装置１３０、およびタッチパネル１４０が組み込まれた情報処理装置１００の例を示すが、これらのコンポーネントの一部または全部を情報処理装置１００とは別体として構成してもよい。すなわち、本実施の形態に従う情報処理を実行する処理装置と、処理装置との間で情報や信号を遣り取りするためのコンポーネントとからなる情報処理システムとして実装することもできる。
【００５７】
本実施の形態に従う情報処理装置または情報処理システムは、典型的には、スマートフォン、ＰＤＡ（Personal Digital Assistance）、携帯電話、携帯型ゲーム装置、デジタルカメラなどとして実装してもよいし、パーソナルコンピュータ、据置型ゲーム装置、セットトップボックスなどとして実装してもよい。本発明の本質は、特許請求の範囲に記載された事項によって定義される技術思想であり、本明細書に記載されていない実装形態が将来的に実現されたとしても、本発明の技術思想を包含する限り、本発明の技術的範囲に属することになる。
【００５８】
また、本発明のある局面によれば、本実施の形態に従う情報処理装置または情報処理システムにおいて実行される情報処理方法を実現するための情報処理プログラム、および、その情報処理プログラムを格納した記録媒体も含む。このような情報処理プログラムが情報処理装置であるコンピュータ（より具体的には、ＣＰＵ１０２などのプロセッサ）で実行されることで、情報処理装置で図３に示す各ブロックに示される機能を実現する。
【００５９】
＜Ｅ．処理手順＞
次に、本実施の形態に従う情報処理装置または情報処理システムにおいて実行される情報処理方法の処理手順の一例について説明する。
【００６０】
図５は、本実施の形態に従う情報処理方法の処理手順を示すフローチャートである。図５に示す各ステップは、典型的には、図４に示す処理主体（ＣＰＵ１０２および／またはＧＰＵ１０４）が情報処理プログラム１２０を実行することで実現される。このようなソフトウェアによる実装に代えて、その全部または一部の処理をハードウェアによって実現してもよい。説明の便宜上、情報処理装置１００のＣＰＵ１０２が情報処理プログラム１２０を実行することで、本実施の形態に従う情報処理方法が実現されるとして説明する。
【００６１】
図５を参照して、情報処理装置１００のＣＰＵ１０２は、入力部であるタッチパネル１４０（被操作部）に対して何らかの操作がなされたか否かを判断する（ステップＳ１００）。入力部であるタッチパネル１４０（被操作部）に対して何らの操作もなされていない場合（ステップＳ１００においてＮＯの場合）には、ステップＳ１００の処理が繰り返される。
【００６２】
これに対して、入力部であるタッチパネル１４０（被操作部）に対して何らかの操作がなされた場合（ステップＳ１００においてＹＥＳの場合）には、ＣＰＵ１０２は、検出部であるマイク１１０によって検出される音声データを、タッチパネル１４０（被操作部）に対して何らかの操作がなされてから所定期間にわたって取得する（ステップＳ１０２）。ＣＰＵ１０２は、タッチパネル１４０へのタッチ操作がなされてから一定時間分の音声データを取得する。すなわち、ＣＰＵ１０２は、被操作部に対してなされる操作に起因する音の検出結果を取得する処理を実行する。
【００６３】
なお、マイク１１０によって検出される音声データを、リングバッファなどを用いて、直近の所定周期分だけ常に格納するとともに、タッチパネル１４０（被操作部）に対する何らかの操作の検知をトリガーとして、このリングバッファに格納されている音声データのうち必要な部分データを抽出して、それを処理に用いるようにしてもよい。
【００６４】
続いて、ＣＰＵ１０２は、取得した音声データから対象期間を決定し、当該対象期間における音の大きさの積算値を算出する（ステップＳ１０４）。すなわち、ＣＰＵ１０２は、検出された操作に起因する音の所定期間にわたる大きさの積算値を算出する処理を実行する。
【００６５】
この対象期間を決定する処理の具体例としては、検出された音量の絶対値の和が最大となるような特定の長さの区間を探索し、その探索して得られた区間における音量の絶対値の和を積算値（面積）として決定する。
【００６６】
典型的な実装形態としては、積算値を算出するための期間より十分に長い期間にわたって音声データを取得し、取得した音声データに含まれる固定の長さを有する区間の成分を用いて積算値を算出する。例えば、音声データの時間的変化が［８，−１，２，−４，−６，４，２，１］であり、区間の長さを３であるとすると、長さ３の区間のうち絶対値の和が最大となるのは［−４，−６，４］の部分となり、その積算値は「１４」として算出される。つまり、ＣＰＵ１０２は、固定された期間を所定期間として積算値を算出する。
【００６７】
以上のような処理によって積算値が算出されると、ＣＰＵ１０２は、算出された積算値から操作量を決定し、その決定された操作量に従って処理を実行する（ステップＳ１０６）。すなわち、ＣＰＵ１０２は、検出された操作に起因する音の所定期間にわたる大きさの積算値に基づいて、入力部であるタッチパネル１４０（被操作部）に対する操作量を決定し、処理を実行する。最も簡単な処理方法として、ＣＰＵ１０２は、算出した積算値をそのままタッチ操作の強さ、つまり操作量として決定してもよい。
【００６８】
その後、ＣＰＵ１０２は、進行中の処理に対して終了が指示されたか否かを判断する（ステップＳ１０８）。すなわち、上述したような操作量に基づく処理の終了が指示されたか否かが判断される。進行中の処理に対して終了が指示されていない場合（ステップＳ１０８においてＮＯの場合）には、ステップＳ１００以下の処理が繰り返される。
【００６９】
これに対して、進行中の処理に対して終了が指示された場合（ステップＳ１０８においてＹＥＳの場合）には、処理は終了する。
【００７０】
以上のような手順に従って、本実施の形態に従う情報処理方法は反復的に実行される。
＜Ｆ．アプリケーション例（操作量に従う処理例）＞
本願発明の理解を深めるため、図５のステップＳ１０６において実行される処理に関連するアプリケーション例について説明する。
【００７１】
図６は、本実施の形態に従う情報処理装置で実行されるアプリケーション例を示す模式図である。図６には、アプリケーション例として、ユーザの入力操作に応じて、球状のオブジェクトＯＢＪをはじき飛ばすようなゲーム処理を示す。３次元空間２００内において、発射装置２２０に配置されたオブジェクトＯＢＪは、ユーザ操作に応じて算出される操作量に応じた強さで射出される。このユーザ操作に応じて算出される操作量は、発射装置２２０に隣接して配置されるインジケータ２１０に表示される。
【００７２】
ユーザは、被操作部に対する操作を調整することで、オブジェクトＯＢＪの射出量を制御して、予め定められた規則においてより高い点数が算出されるように遊ぶ。
【００７３】
本実施の形態に従う情報処理装置において実行される操作量に従う処理は、このようなゲームに限られることなく、様々な処理を含む。
【００７４】
＜Ｇ．積算値を算出する対象期間の決定処理の変形例＞
上述の説明においては、検出された音量の絶対値の和が最大となるような予め定められた長さの区間を探索し、その探索して得られた区間から積算値を決定する処理について説明した。つまり、ＣＰＵ１０２が固定された期間を所定期間として積算値を算出する場合の処理について説明した。
【００７５】
これに代えて、積算値を決定する対象期間の長さを適宜変更するようにしてもよい。すなわち、積算値を算出する所定期間を可変させるように構成されてもよい。言い換えれば、検出部６の検出結果である音声データに応じて、積算値を算出する対象期間を動的に決定するようにしてもよい。
【００７６】
このような対象期間を動的に決定する方法の一例としては、検出された音声データのうち、その振幅（絶対値）が予め定められたしきい値を超えている区間を対象期間として抽出し、その抽出した期間の音声データから積算値を算出するようにしてもよい。つまり、検出された音の大きさが所定値以上である期間にわたって、積算値を算出するようにしてもよい。
【００７７】
対象期間を動的に決定する方法の別の一例としては、検出された音声データの時間的変化（例えば、時間微分など）が一定の条件を満たす区間を対象期間として抽出し、その抽出した期間の音声データから積算値を算出するようにしてもよい。さらに、別の条件を用いて、対象期間を抽出するようにしてもよい。
【００７８】
＜Ｈ．操作量決定処理の変形例＞
［ｈ１：柔らかさ度合の概要］
上述の実施の形態においては、算出した積算値をそのまま操作量として決定する処理について例示したが、「柔らかさ度合」を示す指標を用いた補正処理を含めてもよい。言い換えれば、被操作部に対する操作に用いられるものの「柔らかさ度合」、つまり「硬さ」を示す指標を用いた補正を行なった上で、操作量を決定してもよい。以下、このような「柔らかさ度合」を用いた補正処理を含む操作量の決定処理について説明する。
【００７９】
「柔らかさ度合」を用いた補正処理を含ませることで、操作に用いるものの硬さに依存して、ユーザが行なった入力操作によって予想している操作量と、実際に算出された操作量との間に乖離を軽減できる。
【００８０】
「柔らかさ度合」については、各種の算出方法が考えられるが、以下では、典型的な算出例について説明する。
【００８１】
［ｈ２：柔らかさ度合の算出例１］
一例として、柔らかさ度合を「積算値（面積）／最大音量（音の最大ピーク）」として定義する。これは、検出される音の特徴を見ると、同じ積算値（面積）であれば、相対的に硬いもので操作を行なった場合ほどその最大音量が大きくなることに着目したものである。ここで、「最大音量」は、基本的には、検出された音声データに含まれる最大値を意味するが、検出された音声データに複数のピークが含まれている場合には、ノイズ除去を行なった上で、２番目のピークが抽出される場合もある。このような場合であっても、音声データに含まれる実質的な最大値を「最大音量」として決定していることを意味する。
【００８２】
図７は、本実施の形態に従う柔らかさ度合の算出結果を示す実験例を示す図である。図７には、同一のユーザが複数回の入力操作を行なって、各入力操作について算出された柔らかさ度合をプロットした結果を示す。より具体的には、図７（ａ）には、図１（ａ）に示すようなスタイラス２を用いて入力操作が行なわれたときの実験例を示し、図７（ｂ）には、図１（ｂ）に示すようなユーザ自身の指を用いて入力操作が行なわれたときの実験例を示す。
【００８３】
図７（ａ）と図７（ｂ）とを比較すると、操作に用いられるものの硬さの違いによって、算出される柔らかさ度合（の平均値）が異なっていることが判る。図７に示す実験例において、図７（ａ）に示すスタイラス２を用いた入力操作による柔らかさ度合（の平均値）は「１．３」であり、図７（ｂ）に示す指を用いた入力操作による柔らかさ度合（の平均値）は「３．２」である。つまり、同一のユーザが同様の条件で入力操作を行なったとしても、操作に用いられるものの硬さに依存して、算出される積算値は異なった値となる。より具体的には、相対的に硬いもので操作を行なった場合には、柔らかさ度合が小さくなる。
【００８４】
このような平均値の差に応じた補正を行なうことで、操作に用いられるものの硬さに依存する誤差を低減できる。より具体的には、図７（ａ）と図７（ｂ）との差に応じた補正率を乗じることで、算出される積算値（つまり、操作量）に生じる誤差を低減できる。
【００８５】
次に、柔らかさ度合を用いた補正処理の実装例について説明する。本実施の形態においては、操作量を以下の（１）式に従って算出する。
【００８６】
操作量（タッチの強さ）タッチ強さ＝積算値（面積）×補正率  …（１）
ここで、算出された柔らかさ度合をそのまま補正率として用いてもよいが、処理の安定化のため、本実施の形態においては、以下に示すような算出式に従って、柔らかさ度合から補正率を算出する。図７（ａ）および図７（ｂ）において、左側ほど、つまり積算値が小さいほど、実験結果が上下方向にばらついていることが見て取れ、これは、積算値が相対的に小さい場合には、柔らかさ度合の値が不安定化するといえる。このような不安定化を防止するために、このような場合には補正率がより小さくなるように調整する。この算出された補正率を積算値に乗じることで、操作量を決定する。
【００８７】
より具体的には、算出した柔らかさ度合を用いて、以下のように補正率を算出する。
（ａ）柔らかさ度合がＳｔｈ１以下なら、求めた面積をそのまま利用する。
【００８８】
補正率＝１：（柔らかさ度合≦Ｓｔｈ１）
（ｂ）柔らかさ度合がＳｔｈ１より大きくかつＳｔｈ２未満なら、（ａ）および（ｃ）との間でリニアに変化するように補正率を決定する。
【００８９】
補正率＝（柔らかさ度合−Ｓｔｈ１）／（Ｓｔｈ２−Ｓｔｈ１）×（α−１）＋１
：（Ｓｔｈ１＜柔らかさ度合＜Ｓｔｈ２）
（ｃ）柔らかさ度合がＳｔｈ２以上なら、求めた面積をα倍して利用する。
【００９０】
補正率＝α：（柔らかさ度合≧Ｓｔｈ２）
以上のように、本実施の形態においては、柔らかさ度合を用いた補正処理を含めて操作量が決定される。つまり、本実施の形態に従う処理手段は、検出された音の最大値を用いて、入力部４に含まれる被操作部に対する操作量を決定する。より具体的には、処理手段は、入力部４に含まれる被操作部に対する操作に用いられるものの硬さを示す指標を用いて、被操作部に対する操作量を決定する。
【００９１】
ここで、被操作部に対する操作に用いられるものの硬さの度合が小さいほど、被操作部に対する操作量が大きく算出されるように、積算値を補正する。つまり、柔らかさ度合の値が大きいほど、補正率が大きくなり、算出された積算値からより大きな操作量が算出される。
【００９２】
［ｈ３：操作量の算出に係る変形例］
上述の説明においては、積算値そのもの、または、積算値に補正率を乗じた値を用いて、操作量を算出する方法を例示したが、積算値に代えて、最大音量に対して補正率を乗じることで、操作量を算出してもよい。
【００９３】
すなわち、本変形例においては、操作量を以下の（２）式に従って算出する。
操作量（タッチの強さ）タッチ強さ＝最大音量×補正率  …（２）
ここで、補正率は、積算値を反映した値となるので、積算値に基づいて被操作部に対する操作量が決定されることになる。
【００９４】
［ｈ４：柔らかさ度合の算出例２］
別の算出例として、柔らかさ度合を「積算値（面積）／音量の分散」として定義してもよい。これは、図２に示されるように、相対的に硬いもので操作を行なった場合ほどその音量がばらつくことに着目したものである。このような方法で算出した柔らかさ度合についても、相対的に硬いもので操作を行なった場合には、その値が小さくなる。
【００９５】
なお、算出した柔らかさ度合を用いた操作量の算出方法については、上述した算出方法と同様であるので、詳細な説明は繰り返さない。
【００９６】
［ｈ５：柔らかさ度合の算出例３］
さらに別の算出例として、柔らかさ度合を「音量の分散」そのものとして定義してもよい。これは、上述したように、図７の実験例に示されるように、相対的に硬いもので操作を行なった場合ほどその面積値がばらつくことに着目したものである。このような方法で算出した柔らかさ度合についても、相対的に硬いもので操作を行なった場合には、その値が小さくなる。
【００９７】
なお、算出した柔らかさ度合を用いた操作量の算出方法については、上述した算出方法と同様であるので、詳細な説明は繰り返さない。
【００９８】
［ｈ６：柔らかさ度合の算出例４］
上述したように、相対的に硬いもので操作を行なったときに生じる操作音には高周波成分が比較的多く含まれ、相対的に柔らかいもので操作を行なったときに生じる操作音には低周波成分が比較的多く含まれる。そこで、音声の時間波形を周波数領域に変換した結果に基づいて、柔らかさ度合を算出してもよい。周波数領域への変換には、典型的には、フーリエ変換などを用いることができる。周波数領域に変換した後、その主成分が存在する波長や、各波長に含まれる振幅の大きさなどに基づいて、柔らかさ度合を算出することもできる。このような方法で算出した柔らかさ度合についても、相対的に硬いもので操作を行なった場合には、その値が小さくなる。
【００９９】
なお、算出した柔らかさ度合を用いた操作量の算出方法については、上述した算出方法と同様であるので、詳細な説明は繰り返さない。
【０１００】
＜Ｉ．被操作部に対する入力操作との連係処理＞
次に、入力部４の被操作部に対する入力操作と検出部による音声の検出結果との連係処理に関するいくつかの実装例を示す
［ｉ１：検出部の感度調整］
図１に示すような入力部の被操作部（図１の例では、タッチパネル１４０の表面）がある程度の面積を有しており、入力操作がなされる位置と検出部（典型的には、マイク１１０）との距離が無視できない程度に変化し得るときには、入力操作がなされる位置に応じて、検出部の検出感度を調整するようにしてもよい。つまり、情報処理装置１００（処理機能１０）は、大きさの積算値と入力操作がなされた位置とに基づいて、所定の処理を実行するようにしてもよい。このように、入力操作がなされた位置（タッチ位置）により、積算値を補正することで、より精度を高めることができる。
【０１０１】
より具体的には、検出部に比較的近い位置に対して入力操作がなされたときには、検出部の検出感度を相対的に低く設定し、検出部に比較的遠い位置に対して入力操作がなされたときには、検出部の検出感度を相対的に高く設定するようにしてもよい。なお、検出部の検出感度自体を調整してもよいが、検出部での検出結果に対する補正量を入力操作がなされた位置に応じて調整するようにしてもよい。
【０１０２】
このような検出部の感度調整をすることで、ユーザが入力操作を行なった位置に応じて、決定される操作量がばらつくといった現象を低減できる。
【０１０３】
［ｉ２：入力部の感度調整］
図１に示すように、入力部としてタッチパネル１４０を採用した場合には、算出された測定量の大きさに応じて、入力部としての検出感度（または、「あそび」）の度合を調整してもよい。このような検出感度の度合を調整することで、例えば、ユーザがやさしくタッチすれば、そのタッチした座標がブレることは少ないが、強くタッチすると、そのタッチした座標がブレる頻度が高く、このような座標のブレによる操作性の低下を防止することができる。
【０１０４】
例えば、何らかのオブジェクトが表示されている状態において、タッチパネル１４０に対して何らか入力操作が行なわれたとする。このとき、検出部による検出結果から算出された操作量の大きさに応じて、「当たり判定」がなされる範囲を動的に決定するようにしてもよい。つまり、ユーザによる入力操作によって、タッチパネル１４０上の何らかの座標値が検出され、この検出された座標値から所定範囲内に位置するオブジェクトに対して「当たり」と判定されるロジックを考えると、この「当たり」と判定される範囲（半径の長さ）を決定された操作量に応じて調整するようにしてもよい。この場合には、検出部による検出結果に基づいて操作量が先に決定され、その決定された操作量に応じて、入力部に対してなされた入力操作に応じた処理が決定されることになる。
【０１０５】
このような処理を採用することで、ユーザによる入力操作と当該入力操作の強さに応じた、自由度の高い処理を実現できる。
【０１０６】
＜Ｊ．利点＞
本実施の形態によれば、入力操作の状況や方法などに変化があっても、算出される操作量をより安定的に決定できるので、ユーザが感じる操作性への影響を低減できる。そのため、ユーザは、被操作部に対する操作に用いるものを変更した場合であっても、変更前の感覚で処理を進めることができ、ユーザに与える違和感を低減できる。
【０１０７】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１０８】
２  スタイラス、４  入力部、６  検出部、１０  処理機能、１２  取得部、１４  算出部、１６  処理部、１００  情報処理装置、１０２  ＣＰＵ、１０４  ＧＰＵ、１０６  ＲＡＭ、１０８  フラッシュメモリ、１１０  マイク、１１２  通信インターフェイス、１１４  入力インターフェイス、１１６  バス、１１８  表示制御部、１２０  情報処理プログラム、１２２  外部インターフェイス、１２４  記録媒体、１３０  表示装置、１４０  タッチパネル、１４２  バッファ、１４４  積算部、２１０  インジケータ、２２０  発射装置、ＯＢＪ  オブジェクト。
【図１】
2015032128.tif 000003
【図２】
2015032128.tif 000004
【図３】
2015032128.tif 000005
【図４】
2015032128.tif 000006
【図５】
2015032128.tif 000007
【図６】
2015032128.tif 000008
【図７】
2015032128.tif 000009