(57)【要約】【課題】画面内で作図する作業の効率化を図ること。【解決手段】タッチ操作認識部５１は、ユーザによるタッチ操作の内容を認識する。音声認識制御部５２は、ユーザの発話内容を示す音声データに対する音声認識処理の実行を制御する。操作認識統合部５３は、タッチ操作認識部５１により認識されたタッチ操作の内容と、音声認識制御部５２の制御により実行された音声認識処理の結果とを統合して、ユーザによる操作全体の内容を認識する。特に、操作認識統合部５３は、ユーザによるタッチ操作と発話とが同時に行われた場合、タッチ操作の内容と音声認識処理の結果とを統合して、同一の指示操作として認識する。一方、操作認識統合部５３は、ユーザによるタッチ操作と発話とのうちの一方が単体で行われた場合、操作の種類と精度のうち少なくとも一方を、タッチ操作の内容と音声認識処理の結果とで切り分けることで、ユーザによる操作全体の内容を認識する。【選択図】図３
2015055773.tif 000002
【特許請求の範囲】
【請求項１】
ユーザによるタッチ操作の内容を認識するタッチ操作認識手段と、
前記ユーザの発話内容を示す音声データに対する音声認識処理の実行を制御する音声認識制御手段と、
前記タッチ操作認識手段により認識された前記タッチ操作の内容と、前記音声認識制御手段の制御により実行された前記音声認識処理の結果とを統合して、前記ユーザによる操作全体の内容を認識する操作認識統合手段と、
を備え、
前記操作認識統合手段は、
ユーザによる前記タッチ操作と発話とが同時に行われた場合、前記タッチ操作の内容と前記音声認識処理の結果とを統合して、同一の指示操作として認識し、
ユーザによる前記タッチ操作と発話とのうちの一方が単体で行われた場合、操作の種類と精度のうち少なくとも一方を、前記タッチ操作の内容と前記音声認識処理の結果とで切り分けることで、前記ユーザによる操作全体の内容を認識する、
情報処理装置。
【請求項２】
前記操作認識統合手段により認識された、前記ユーザによる操作全体の内容に従って、所定のアプリケーションソフトウェアを実行するアプリ実行手段と、
アプリ実行手段による前記アプリケーションソフトウェアの実行に伴い、表示画像のデータを生成又は更新する表示画像生成手段と、
を備える請求項１に記載の情報処理装置。
【請求項３】
ユーザによる操作を受け付ける情報処理装置が実行する情報処理方法であって、
ユーザによるタッチ操作の内容を認識するタッチ操作認識ステップと、
前記ユーザの発話内容を示す音声データに対する音声認識処理の実行を制御する音声認識制御ステップと、
前記タッチ操作認識ステップの処理により認識された前記タッチ操作の内容と、前記音声認識制御ステップの制御処理により実行された前記音声認識処理の結果とを統合して、前記ユーザによる操作全体の内容を認識する操作認識統合ステップと、
を含み、
前記操作認識統合ステップは、
ユーザによる前記タッチ操作と発話とが同時に行われた場合、前記タッチ操作の内容と前記音声認識処理の結果とを統合して、同一の指示操作として認識し、
ユーザによる前記タッチ操作と発話とのうちの一方が単体で行われた場合、操作の種類と精度のうち少なくとも一方を、前記タッチ操作の内容と前記音声認識処理の結果とで切り分けることで、前記ユーザによる操作全体の内容を認識する、
ステップを含む、
情報処理方法。
【請求項４】
ユーザによる操作を受け付けるコンピュータを、
ユーザによるタッチ操作の内容を認識するタッチ操作認識手段、
前記ユーザの発話内容を示す音声データに対する音声認識処理の実行を制御する音声認識制御手段、
前記タッチ操作認識手段により認識された前記タッチ操作の内容と、前記音声認識制御手段の制御により実行された前記音声認識処理の結果とを統合して、前記ユーザによる操作全体の内容を認識する操作認識統合手段、
として機能させ、
前記操作認識統合手段の少なくとも一部として、
ユーザによる前記タッチ操作と発話とが同時に行われた場合、前記タッチ操作の内容と前記音声認識処理の結果とを統合して、同一の指示操作として認識し、
ユーザによる前記タッチ操作と発話とのうちの一方が単体で行われた場合、操作の種類と精度のうち少なくとも一方を、前記タッチ操作の内容と前記音声認識処理の結果とで切り分けることで、前記ユーザによる操作全体の内容を認識する、
ように機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、情報処理装置に対する入力の技術として、ユーザの指等をタッチパネルの画面にタッチさせて（このような操作を以下「タッチ操作」と呼ぶ）、そのタッチの位置座標を入力する技術が広く知られている。
また、音声認識技術の発展により、ユーザの発話内容を音声データとして入力し、当該音声データに対して音声認識処理を施し、その認識結果を入力する技術も、近年登場してきている。
さらに、特許文献１には、タッチ操作と音声入力の両方を併せた技術も開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−０４８１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術は、単に、タッチ操作による入力内容の補正処理に、音声入力の内容を補助的に用いる技術に過ぎない。従って、近年、画面内で作図する作業の効率化という要求が挙げられているが、特許文献１に記載の技術を含め従来の技術では、かかる要求に充分に応えられない状況である。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、画面内で作図する作業の効率化を図ることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の情報処理装置は、
ユーザによるタッチ操作の内容を認識するタッチ操作認識手段と、
前記ユーザの発話内容を示す音声データに対する音声認識処理の実行を制御する音声認識制御手段と、
前記タッチ操作認識手段により認識された前記タッチ操作の内容と、前記音声認識制御手段の制御により実行された前記音声認識処理の結果とを統合して、前記ユーザによる操作全体の内容を認識する操作認識統合手段と、
を備え、
前記操作認識統合手段は、
ユーザによる前記タッチ操作と発話とが同時に行われた場合、前記タッチ操作の内容と前記音声認識処理の結果とを統合して、同一の指示操作として認識し、
ユーザによる前記タッチ操作と発話とのうちの一方が単体で行われた場合、操作の種類と精度のうち少なくとも一方を、前記タッチ操作の内容と前記音声認識処理の結果とで切り分けることで、前記ユーザによる操作全体の内容を認識する、
ことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、画面内で作図する作業の効率化を図ることが可能になる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る情報システムの構成を示す模式図である。
【図２】図１の情報処理システムのうち、本発明の一実施形態に係るユーザ端末のハードウェアの構成を示すブロック図である。
【図３】図２のユーザ端末の機能的構成のうち、アプリ実行処理を実行するための機能的構成を示す機能ブロック図である。
【図４】図３の機能構成を有する図２のユーザ端末の記憶部に記憶されている指示操作テーブルを示す図である。
【図５】図３の機能的構成を有する図２のユーザ端末が実行するアプリ実行処理の流れを説明するフローチャートである。
【図６】図３の機能的構成を有する図２のユーザ端末の表示部で表示されるオブジェクトの表示例を説明する図である。
【図７】図３の機能的構成を有する図２のユーザ端末の表示部で表示されるオブジェクトの表示例を説明する図である。
【図８】図３の機能的構成を有する図２のユーザ端末の表示部で表示されるオブジェクトの表示例を説明する図である。
【図９】図３の機能的構成を有する図２のユーザ端末の表示部で表示されるオブジェクトの表示例を説明する図である。
【図１０】図３の機能的構成を有する図２のユーザ端末の表示部で表示されるオブジェクトの表示例を説明する図である。
【図１１】図３の機能的構成を有する図２のユーザ端末の表示部で表示されるオブジェクトの表示例を説明する図である。
【図１２】図３の機能的構成を有する図２のユーザ端末の表示部で表示されるオブジェクトの表示例を説明する図である。
【図１３】図３の機能的構成を有する図２のユーザ端末の表示部で表示されるオブジェクトの表示例を説明する図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
図１は、本発明の一実施形態に係る情報処理システムの構成を示している。
図１に示す情報処理システムは、Ｎ台（Ｎは１以上の任意の整数値）のユーザ端末１１−１乃至１１−Ｎの各々と、音声認識サーバ１２とが、インターネット等の所定のネットワーク１３を介して相互に接続されることで構成されている。
【００１１】
ユーザ端末１１−１乃至１１−Ｎは、複数のユーザのうち所定の者に所持される、スマートフォン、携帯電話機、パーソナルコンピュータ等で構成される。
なお、以下、ユーザ端末１１−１乃至１１−Ｎの各々を個々に区別する必要が無い場合、これらをまとめて、「ユーザ端末１１」と呼ぶ。
ユーザ端末１１は、所定のアプリケーションソフトウェア（Ａｐｐｌｉｃａｔｉｏｎ  ｓｏｆｔｗａｒｅ）、例えばプレゼンテーション用の資料を作成するためのソフトウェアを実行し、当該ソフトウェアに対する命令の操作入力として、タッチパネルを利用した入力と、音声の入力とを共に受け付けることができる。
ユーザ端末１１は、音声の入力を受け付けた場合、当該音声をデータ化して（以下、データ化された音声を「音声データ」と呼ぶ）、ネットワーク１３を介して音声認識サーバ１２に送信する。
【００１２】
音声認識サーバ１２は、ユーザ端末１１からの音声データをネットワーク１３を介して受信すると、当該音声データに対して音声認識処理を施し、その認識結果をユーザ端末１１に送信する。
音声認識サーバ１２は、複数のユーザ端末１１から音声データが夫々送信されてきた場合も、夫々の音声データに対して並列に音声認識処理をリアルタイムに施すことができる。
【００１３】
図２は、図１の情報処理システムのうち、本発明の情報処理装置の一実施形態に係るユーザ端末１１のハードウェアの構成を示すブロック図である。
ユーザ端末１１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２３と、バス２４と、入出力インターフェース２５と、タッチ操作入力部２６と、表示部２７と、音声入力部２８と、記憶部２９と、通信部３０と、ドライブ３１と、を備えている。
【００１４】
ＣＰＵ２１は、ＲＯＭ２２に記録されているプログラム、又は、記憶部２９からＲＡＭ２３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ２３には、ＣＰＵ２１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１５】
ＣＰＵ２１、ＲＯＭ２２及びＲＡＭ２３は、バス２４を介して相互に接続されている。このバス２４にはまた、入出力インターフェース２５も接続されている。入出力インターフェース２５には、タッチ操作入力部２６、表示部２７、音声入力部２８、記憶部２９、通信部３０、及びドライブ３１が接続されている。
【００１６】
タッチ操作入力部２６は、例えば表示部２７の表示領域に積層される静電容量式又は抵抗膜式の位置入力センサにより構成され、タッチ操作がなされた位置の座標を検出する。ここで、タッチ操作とは、タッチ操作入力部２６に対する物体（ユーザの指やタッチペン等）の接触又は近接の操作をいう。なお、以下、タッチ操作がなされた位置を「タッチ位置」と呼び、タッチ位置の座標を「タッチ座標」と呼ぶ。
表示部２７は、ディスプレイにより構成され、各種画像を表示する。
即ち、本実施形態では、タッチ操作入力部２６と表示部２７とにより、タッチパネルが構成されている。
【００１７】
音声入力部２８は、例えばマイクロフォンにより構成され、ユーザの発話による音声等をアナログ信号として入力する。
なお、音声のアナログ信号は、Ａ／Ｄ変換処理が施されてデジタル信号、即ち音声データに変換される。このＡ／Ｄ変換処理の実行場所は、特に限定されず、ＣＰＵ２１であってもよいし、図示せぬ専用のハードウェアであってもよいが、本実施形態では説明の便宜上、音声入力部２８であるものとする。
即ち、本実施形態では、音声入力部２８は、ユーザの発話を示す音声データを出力し、ＣＰＵ２１等に供給する。
【００１８】
記憶部２９は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部３０は、ネットワーク１３を介して他の装置（本実施形態では主に図１の音声認識サーバ１２）との間で行う通信を制御する。
【００１９】
ドライブ３１には、必要に応じて、リムーバブルメディア４１が適宜装着される。ドライブ３１によってリムーバブルメディア４１から読み出されたプログラムは、必要に応じて記憶部２９にインストールされる。また、リムーバブルメディア４１は、記憶部２９に記憶されている各種データも、記憶部２９と同様に記憶することができる。
【００２０】
図３は、このようなユーザ端末１１の機能的構成のうち、アプリ実行処理を実行するための機能的構成を示す機能ブロック図である。
アプリ実行処理とは、所定のアプリケーションソフトウェア、例えばプレゼンテーション用の資料を作成するソフトウェアを起動して実行するに際し、タッチ操作と音声入力を適宜受け付け、受け付けた内容を解釈し、その解釈結果に従って各種処理を実行するまでの一連の処理をいう。
【００２１】
アプリ実行処理が実行される場合には、ＣＰＵ２１においては、図３に示すように、タッチ操作認識部５１と、音声認識制御部５２と、操作認識統合部５３と、アプリ実行部５４と、表示画像生成部５５と、表示制御部５６とが機能する。
【００２２】
タッチ操作認識部５１は、タッチパネル（正確には入力部１６）に対してタッチ操作がなされると、当該タッチ操作の内容を認識して、具体的にはタッチ座標を認識して、その認識結果（以下、「タッチ操作認識結果」とも呼ぶ）を操作認識統合部５３に通知する。
音声認識制御部５２は、音声入力部２８に対して音声が入力されると、当該音声を認識するための制御を実行する。具体的には例えば、音声認識制御部５２は、音声入力部２８から出力される音声データを取得して、通信部３０及びネットワーク１３を介して音声認識サーバ１２に送信する。そして、当該音声データに対する音声認識結果が音声認識サーバ１２から送信されてくると、音声認識制御部５２は、当該音声認識結果を受信して、それに基づいて音声入力操作の内容を認識して、その認識結果を操作認識統合部５３に通知する。
【００２３】
操作認識統合部５３は、タッチ操作認識部５１から通知されたタッチ操作の内容（タッチ座標）と、音声認識制御部５２から通知された音声入力操作の内容とを統合して、ユーザによる操作全体の内容を認識する。
【００２４】
操作認識統合部５３は、例えば、操作の種類や精度を、タッチ操作と音声の入力とで切り分けることができる。
具体的には例えば、所定のアプリケーションで用いられるオブジェクトが、表示部２７に表示される場合において、当該オブジェクトに対して、選択、移動、拡大、縮小及び色の変更が指示操作の種類として存在するものとする。この場合、操作認識統合部５３は、例えばオブジェクトの選択や移動、拡大、縮小といった類の指示操作（又は、連続的変化を停止する操作）については、タッチ操作（そのタッチ操作認識結果であり、具体的にはそのタッチ座標）で受け付ける。他方、操作認識統合部５３は、オブジェクトの色の変更、操作の停止といった類の指示操作については、「〜色に変更」や「とまれ」というキーワード等の音声の入力（その音声認識結果）で受け付ける。具体的には、操作認識統合部５３は、図４の指示操作テーブルに基づいて、タッチ操作と音声の入力とに基づいて所定の指示操作を認識する。
【００２５】
図４は、図３の機能的構成を有する図２のユーザ端末１１の記憶部２９に記憶されている指示操作テーブルを示す図である。図４の指示操作テーブルにおいては、タッチ操作認識結果と、音声認識結果との組合せに対して、具体的な指示操作（アクション）の定義が記述されている。図４の指示操作テーブルには、タッチ操作認識結果と、音声認識結果とに基づいて、具体的な指示操作（アクション）が定義されている。例えば、タッチ操作認識結果が「オブジェクトの選択」であり、音声認識結果が「〜色に変更」である場合には、操作認識統合部５３は、図４の指示操作テーブルを参照して、ユーザによる具体的な指示操作は「オブジェクトを〜色に変更」であると認識する。
【００２６】
また例えば、操作認識統合部５３は、オブジェクトの目的地までの移動操作の精度について、目的地から一定以上離れているときは、操作の精度を低くしてタッチ操作で受け付け、目的地に一定以内に近づいたときは、操作の精度を高くして「もう少し右に移動」等の音声の入力で受け付けることができる。
このようにして、ユーザは、オブジェクトの移動の操作として求められる精度に応じて、タッチ操作と音声の入力（発話）を切り分けることができるので、便宜である。
【００２７】
ここで、操作認識統合部５３は、ユーザにより選択された各種制御モードに基づいて、異なる操作を受け付けることができる。
例えば、動的な制御を行うモードが選択されている場合には、操作認識統合部５３は、「もう少し」という音声入力が行われた際には、オブジェクトの変化速度を遅くする操作を認識し、その後、「とまれ」というキーワードの音声入力が行われるか、又は、タッチ操作が行われた場合、当該オブジェクトの停止操作を認識する。
また、静的な制御を行うモードが選択されている場合には、操作認識統合部５３は、「もう少し」という音声入力が行われた際には、オブジェクトを表示部２７の画面上において数％移動させる操作を認識する。
【００２８】
ここで、ユーザは、操作認識統合部５３による認識結果（その結果現れるオブジェクトの移動等）が自身が求めたものと異なる場合、「違う」や「その２倍」等の否定形のキーワードを、タッチ操作や音声入力で、フィードバックすることができる。
この場合、操作認識統合部５３は、ユーザのタッチ操作入力部２６や、音声入力部２８の操作に基づき、「違う」や「その２倍」等の否定形のキーワードを否定語として認識し、その否定語の内容に基づいて、操作の認識をやり直す。そして、操作認識統合部５３は、この一連の処理を学習することで、即ち否定語による指示を初期値として学習することで、認識の精度を高めることができる。
このように、操作認識統合部５３は、ユーザのフィードバックにより認識の精度を高めることができる。換言すると、ユーザは、音声入力やタッチ操作を通じて、操作認識統合部５３による認識結果（その結果現れるオブジェクトの移動等）に対するフィードバックを入力するだけで、音声入力やタッチ操作による指示操作を自由にカスタマイズできることになる。
【００２９】
さらに、ユーザは、例えば、タッチ操作入力部２６に対するタッチ操作により、フリーハンドで人物等の絵を描くと共に、各種指示操作を音声入力ですることもできる。
具体的には例えば、ユーザが、当該人物の腕に相当するオブジェクトの線（エッジ）をタッチ操作した状態で、「もう少し太く」や「もう少し右」等の指示を音声入力で行うことができる。この場合、操作認識統合部５３は、タッチ操作のタッチ座標に対応する線を少し太くさせたり、少し右に移動させたりするという指示操作を認識する。
また例えば、ユーザが、当該人物の腕に相当するオブジェクトの線（エッジ）をタッチ操作した状態で、「赤」等のキーワードを音声入力することができる。この場合、操作認識統合部５３は、タッチ操作のタッチ座標に対応する線を赤色で塗りつぶすという指示操作を認識する。
【００３０】
操作認識統合部５３は、例えば、同一の指示操作に対して、音声の入力とタッチ操作とを組み合わせることができる。
具体的には例えば、ユーザは、表示部２７の画面上の２点間で線分を描画する場合、画面上で１点目と２点目をタッチ操作しながら、「この点とこの点とを結んだ線分を描画」等の音声を発する、といったタッチ操作と音声の入力の協働を図ることができる。この場合、操作認識統合部５３は、タッチ操作の内容に基づいて２点のタッチ座標を認識し、入力された音声の認識結果に基づいて、認識された２点のタッチ座標を結んだ線分を描画するという指示として受け付け、表示画像生成部５５等に通知する。これにより、後述するように、表示画像生成部５５により、認識された２点のタッチ座標を結んだ線分を含む表示画像が生成されて、表示制御部５６の制御に基づいて、表示部２７に表示される。
【００３１】
アプリ実行部５４は、操作認識統合部５３により認識された、ユーザによる操作の内容に従って、所定のアプリケーションソフトウェア、例えばプレゼンテーション用の資料を作成するソフトウェアを起動して実行する。
【００３２】
表示画像生成部５５は、アプリ実行部５４によるアプリケーションソフトウェアの実行に伴い、必要な各種表示画像のデータを生成する。この場合、表示画像生成部５５は、操作認識統合部５３により認識された、ユーザによる操作の内容に従って、表示画像のデータを適宜更新する。
【００３３】
表示制御部５６は、表示画像生成部５５によりデータとして生成された表示画像を、表示部２７に表示させる制御を実行する。
【００３４】
次に、かかる機能的構成を有するユーザ端末１１が実行する、アプリ実行処理について説明する。
図５は、図３の機能構成を有する図２のユーザ端末１１が実行する、アプリ実行処理の流れの一例を示すフローチャートである。
アプリ実行部５４により、所定のアプリケーションソフトウェアが起動されると、アプリ実行処理が開始されて、次のようなステップＳ１以降の処理が実行される。
【００３５】
ステップＳ１において、タッチ操作認識部５１及び音声認識制御部５２は、操作がなされたか否かを判定する。
タッチ操作及び音声入力の何れもがなされていない場合、ステップＳ１においてＮＯであると判定されて、処理はステップＳ１に戻される。即ち、タッチ操作又は音声入力があるまでの間、ステップＳ１の判定処理が繰り返し実行されて、アプリ実行処理は待機状態になる。
タッチ操作と音声入力のうち少なくとも一方がなされると、ステップＳ１においてＹＥＳであると判定され、処理はステップＳ２に進む。
【００３６】
ステップＳ２において、タッチ操作認識部５１及び音声認識制御部５２は、操作入力は音声とタッチの両方であるか否かを判定する。
タッチ操作と音声入力のうち何れか一方がなされた場合、ステップＳ２においてＮＯであると判定されて、処理はステップＳ１０に進む。ただし、ステップＳ１０以降の処理については後述する。
タッチ操作と音声入力の両方がなされた場合、ステップＳ２においてＹＥＳであると判定されて、処理はステップＳ３に進む。
【００３７】
ステップＳ３において、音声認識制御部５２は、音声認識処理の制御を実行する。即ち例えば、音声認識制御部５２は、音声入力部２８から出力される音声データを取得して、通信部３０及びネットワーク１３を介して音声認識サーバ１２に送信して、音声認識処理の実行を指示する。
ステップＳ４において、音声認識制御部５２は、当該音声データに対する音声認識結果が音声認識サーバ１２から送信されてくると、当該音声認識結果を受信して、音声入力操作の内容を認識する。
【００３８】
ステップＳ５において、タッチ操作認識部５１は、タッチ操作の内容、具体的にはタッチ座標を認識する。
【００３９】
ステップＳ６において、操作認識統合部５３は、ステップＳ４の処理で認識された音声入力操作の内容と、ステップＳ５の処理で認識されたタッチ操作の内容（タッチ座標）とを統合して、ユーザによる操作全体の内容を認識する。
【００４０】
ステップＳ７において、アプリ実行部５４は、ステップＳ７の処理で統合された、ユーザによる操作の内容に応じて、所定のアプリケーションソフトウェア、例えばプレゼンテーション用の資料を作成するソフトウェアを実行する。
なお、ここでいうソフトウェアの実行とは、起動後のソフトウェアのプログラムのうち、ユーザによる操作の内容に対応するコマンド等に基づいて、当該プログラムの一部に相当する部分が実行されることを含む。
【００４１】
ステップＳ８において、表示画像生成部５５は、ステップＳ７の処理結果に応じて、即ちアプリケーションソフトウェアの実行結果に応じて、表示画像のデータに生成又は更新をする。更新又は生成された表示画像は、表示部２７に表示される。
【００４２】
ステップＳ９において、操作認識統合部５３は、処理の終了が指示されたか否かを判定する。
処理の終了の指示は、特に限定されないが、本実施形態では、ユーザ端末１１の電源の遮断指示が採用されている。即ち、本実施形態では、電源の遮断指示がなされるまでの間、ステップＳ９においてＮｏであると判定されて、処理はステップＳ１に戻され、それ以降の処理が繰り返される。これに対して、電源の遮断指示がなされると、ステップＳ９においてＹｅｓであると判定されて、アプリ実行処理が終了となる。
【００４３】
以上、タッチ操作と音声入力とが同時に実行された場合における、アプリ実行処理の流れについて説明した。次に、音声操作が単独でなされた場合、及びタッチ操作が単独でなされた場合の処理の流れの夫々について説明する。
【００４４】
音声入力又はタッチ操作が単独でなされた場合には、ステップＳ２においてＮｏであると判定されて、処理はステップＳ１０に進む。
【００４５】
ステップＳ１０において、操作認識統合部５３は、操作入力は、音声入力であるか否かを認識する。
【００４６】
操作入力が音声入力単体である場合には、ステップＳ１０においてＹｅｓであると判定されて処理はステップＳ１１に進む。
ステップＳ１１において、音声認識制御部５２は、音声認識処理の制御を実行する。即ち例えば、音声認識制御部５２は、音声入力部２８から出力される音声データを取得して、通信部３０及びネットワーク１３を介して音声認識サーバ１２に送信して、音声認識処理の実行を指示する。
ステップＳ１２において、音声認識制御部５２は、当該音声データに対する音声認識結果が音声認識サーバ１２から送信されてくると、当該音声認識結果を受信して、音声入力操作の内容を認識する。
ステップＳ７において、アプリ実行部５４は、ステップＳ１２の処理で認識された音声操作の内容を、ユーザによる操作の内容として、その内容に応じて、所定のアプリケーションソフトウェア、例えばプレゼンテーション用の資料を作成するソフトウェアを実行する。なお、ここでいうソフトウェアの実行とは、起動後のソフトウェアのプログラムのうち、ユーザによる操作の内容に対応するコマンド等に基づいて、当該プログラムの一部に相当する部分が実行されることを含む。
ステップＳ８において、表示画像生成部５５は、ステップＳ７の処理結果に応じて、即ちアプリケーションソフトウェアの実行結果に応じて、表示画像のデータに生成又は更新をする。更新又は生成された表示画像は、表示部２７に表示される。
【００４７】
このような操作入力が音声入力単体である場合の一連の処理に対して、操作入力がタッチ操作単体である場合には、ステップＳ１０においてＮｏであると判定されて、処理はステップＳ１３に進み、次のような一連の処理が実行される。
即ち、ステップＳ１３において、タッチ操作認識部５１は、タッチ操作の内容、具体的にはタッチ座標を認識する。
ステップＳ７において、アプリ実行部５４は、ステップＳ１３の処理で認識されたタッチ操作の内容（タッチ座標）を、ユーザによる操作の内容として、その内容に応じて、所定のアプリケーションソフトウェア、例えばプレゼンテーション用の資料を作成するソフトウェアを実行する。なお、ここでいうソフトウェアの実行とは、起動後のソフトウェアのプログラムのうち、ユーザによる操作の内容に対応するコマンド等に基づいて、当該プログラムの一部に相当する部分が実行されることを含む。
ステップＳ８において、表示画像生成部５５は、ステップＳ７の処理結果に応じて、即ちアプリケーションソフトウェアの実行結果に応じて、表示画像のデータに生成又は更新をする。更新又は生成された表示画像は、表示部２７に表示される。
【００４８】
ここで、図６乃至図１３を参照して、プレゼンテーション用の資料を作成するアプリケーションソフトウェアが起動して実行される場合の、アプリ実行処理について具体的に説明する。
図６乃至図１３は、図３の機能的構成を有する図２のユーザ端末１１の表示部２７（図２参照）で表示されるオブジェクトの表示例を説明する図である。
【００４９】
本例では、ユーザが、最終的に図６に示すようなプレゼンテーション用のシート１００を完成させるまでの各種指示操作がなされた場合のアプリ実行処理の結果（表示部２７の画面表示）が、図７乃至図１３の夫々に示されている。
ここで、最終的なシート１００には、オブジェクト２００と、オブジェクト３００と、を含む各種オブジェクトが含まれている。オブジェクト２００は、「課題」という文字が内部に記載された楕円形のオブジェクトである。オブジェクト３００は、「結論」という文字が内部に記載された四角形のオブジェクトである。
【００５０】
先ず、図７の状態からユーザの指示操作が行われるものとする。
即ち、図７の状態では、シート１００にはオブジェクト３００のみが含まれているため、ユーザは、この後、オブジェクト２００を図６のように挿入してシート１００を完成させる必要がある。
【００５１】
ここで、アプリ実行部５４により、所定のアプリケーションソフトウェアが起動されると、図５のアプリ実行処理が開始されて、図８に示すようなアプリケーションウィンドウ４００が図２の情報処理装置１の表示部２７（図２）に表示される。
アプリケーションウィンドウ４００は、ボタンエリア５００と、アプリケーションエリア６００とを含む複数のエリアにより構成される。
ボタンエリア５００は、アプリケーションウィンドウ４００内の上部に配置され、アプリケーションソフトウェアが実行された場合に、各機能が夫々対応付けられた複数のソフトウェアボタンから構成される。
アプリケーションエリア６００は、編集中のシート１００が表示される。即ち、ユーザのタッチ操作に基づいて作成された各種オブジェクトがシート１００内に表示される。
【００５２】
本例では、ユーザは、楕円形のオブジェクト２００をシート１００に挿入する必要があるため、楕円形の元になる円形のオブジェクト２００を選択するためのソフトウェアボタン５０１に対して、人差し指７００でタッチ操作をする。
これにより、図５において、ステップＳ１ＹＥＳ、ステップＳ２ＮＯ、ステップＳ１０ＮＯの後、ステップＳ１３において、タッチ操作認識部５１により、タッチ操作の内容が認識される。本例では、ソフトウェアボタン５０１に対しては、円形のオブジェクト２００を所定のサイズで画面左上端に表示させるという指示操作が予め対応付けられているものとし、当該指示操作が認識されるものとする。その結果、ステップＳ７及びＳ８の処理の結果として、図８に示すように、円形のオブジェクト２００がシート１００の左上に表示される。
【００５３】
このように、タッチ操作により円形のオブジェクト２００を選択した段階では、図８に示すように、当該オブジェクト２００は画面左上端に表示されているので、図６の最終的な位置と大きくずれている。
従って、ユーザは、円形のオブジェクト２００を、大きく移動させて、図６の最終的な位置の近傍まで近づける必要がある。このような大雑把な移動操作は、タッチ操作が好適である。
そこで、ユーザは、タッチ操作の１つとして、オブジェクト２００に対して人差し指７００でタッチした状態で、所望の方向（本実施形態では、シート１００の右下の方向）に移動させるドラッグ操作を行う。
これにより、図５において、ステップＳ１ＹＥＳ、ステップＳ２ＮＯ、ステップＳ１０ＮＯの後、ステップＳ１３において、タッチ操作の内容が認識される。具体的には、ステップＳ１３において、タッチ操作認識部５１は、ドラッグ操作により移動されたタッチ座標の推移を認識する。その結果、ステップＳ７及びＳ８の処理の結果として、図９に示すように、円形のオブジェクト２００が、ドラッグ操作の軌跡（本例ではシート１００の右下の方向に移動する軌跡）に従って大きく移動する。
【００５４】
図９の段階では、オブジェクト２００は円形でありかつ小サイズであるので、図６の最終的な楕円形かつ大サイズとは大きく異なる。
従って、ユーザは、円形のオブジェクト２００を、主に左右方向に大きく拡大させて、図６の最終的な形状まで近づける必要がある。このような大雑把な拡大操作は、タッチ操作が好適である。
そこで、ユーザは、タッチ操作の１つとして、オブジェクト２００に対し人差し指７００と親指７０１で互いに押し広げるピンチアウト（ｐｉｎｃｈ  ｏｕｔ）操作を行う。
これにより、図５において、ステップＳ１ＹＥＳ、ステップＳ２ＮＯ、ステップＳ１０ＮＯの後、ステップＳ１３において、タッチ操作の内容が認識される。具体的には、ステップＳ１３において、タッチ操作認識部５１は、ピンチアウト操作の内容から、円形のオブジェクト２００を主に左右方向に拡大させるという指示操作を認識する。その結果、ステップＳ７及びＳ８の処理の結果として、図１０に示すように、円形のオブジェクト２００が、ピンチアウト操作（本例では左右方向）に従って主に左右方向に拡大し、その結果楕円形の形状に変化する。
なお、図示しないが、ユーザは、オブジェクト２００を大きな割合で縮小したい場合、タッチ操作として、当該オブジェクト２００に対し人差し指７００と親指７０１とで互いにつまむピンチイン（ｐｉｎｃｈ  ｉｎ）操作を行えばよい。
【００５５】
図１０の段階では、オブジェクト２００の色は白色であるので、図６の最終的な色（例えば青色）とは大きく異なる。
従って、ユーザは、オブジェクト２００を青色に塗る操作をする必要がある。オブジェクト２００の中を満遍なくかつ線（エッジ）の外にはみ出さないように青色で塗る操作は、タッチ操作では不適である一方、音声入力では「青」と一言発話するだけなので好適である。ただし、青に塗る対象を特定する必要があり、この特定については、音声入力で説明するよりも、対象のオブジェクト２００をタッチするといったタッチ操作をした方が好適である。
そこで、ユーザは、オブジェクト２００に対してタッチ操作を行うと共に、「青」という音声入力を行う。
これにより、図５において、ステップＳ１ＹＥＳ、ステップＳ２ＹＥＳの後、ステップＳ３及びＳ４において、音声認識制御部５２により、青色に塗るという内容の指示操作が認識され、ステップＳ５において、タッチ操作認識部５１により、塗る対象はオブジェクト２００であるという内容の指示操作が認識される。そして、ステップＳ６において、操作認識統合部５０により、これらの指示操作が統合されて、オブジェクト２００を青色に塗るという指示操作が認識される。その結果、ステップＳ７及びＳ８の処理の結果として、図１１に示すように、オブジェクト２００が青色に塗りつぶされる。
【００５６】
なお、音声入力による色の指定（変更指示）は、特に単色に限らず、例えば「青８０％と赤２０％との割合で混合」のように混合で指定してもよい。この場合、操作認識統合部５０が、ＣＩＥｘｙ色度図等に基づいて「青８０％と赤２０％との割合で混合」した色はいかなる色かを認識し、認識した色に塗るという指示操作を認識する。
このように、操作認識統合部５０は、ＣＩＥｘｙ色度図等に基づいて任意の色を認識することができるので、さらにユーザは「もう少し青系統」等のあいまいな表現で色の指定（変更指示）をすることもできる。
【００５７】
図１１の段階では、オブジェクト２００の中には文字が入力されていないので、図６の最終的な、「課題」という文字が入力されているものとは大きく異なる。
従って、ユーザは、オブジェクト２００の中に「課題」という文字を入力する操作をする必要がある。オブジェクト２００を選択して文字を入力する操作は、長文や複雑なものではタッチ操作で構わないが、単語レベルの入力に関しては、音声入力では「課題」を挿入と一言発話するだけなので好適である。ただし、文字を入力する対象を特定する必要があり、この特定については、音声入力で説明するよりも、対象のオブジェクト２００をタッチするといったタッチ操作をした方が好適である。
そこで、ユーザは、オブジェクト２００に対してタッチ操作を行うと共に、「課題」を挿入という音声入力を行う。
これにより、図５において、ステップＳ１ＹＥＳ、ステップＳ２ＹＥＳの後、ステップＳ３及びＳ４において、音声認識制御部５２により、「課題」という文字を入力するという内容の指示操作が認識され、ステップＳ５において、タッチ操作認識部５１により、文字入力の対象はオブジェクト２００であるという内容の指示操作が認識される。そして、ステップＳ６において、操作認識統合部５０により、これらの指示操作が統合されて、オブジェクト２００の中に「課題」という文字を入力するという指示操作が認識される。その結果、ステップＳ７及びＳ８の処理の結果として、図１２に示すように、オブジェクト２００の中に「課題」という文字が入力される。
【００５８】
なお、ユーザは、オブジェクト２００のサイズや位置を微調整したい場合がある。このような微調整は、タッチ操作より音声入力の方が好適である。ここで、微調整の対象を特定する必要があり、この特定については、上述のように、対象のオブジェクト２００をタッチするといったタッチ操作をした方が一般的には好適であるが、オブジェクト２００が予期せぬ位置に移動等してしまう誤動作が起こる可能性がある。そこで、このような誤動作を防止するために、特定についても音声入力を用いることができる。
そこで、ユーザは、「円を少し右」という音声入力を行う。
これにより、図５において、ステップＳ１ＹＥＳ、ステップＳ２ＮＯ、ステップＳ１０ＹＥＳの後、ステップＳ１１及びＳ１２において、音声認識制御部５２により、オブジェクト２００を少し右方に移動させるという指示操作が認識される。ここで、「少し」という認識の仕方は、上述したように、動的なものと静的なものがあり、また、ユーザのフィードバックにより任意に調整（カスタマイズ）可能である。そして、ステップＳ７及びＳ８の処理の結果として、図１３に示すように、オブジェクト２００が右方に少し移動され、シート１００は最終的な形態（図６と同様の形態）になる。
【００５９】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００６０】
換言すると、本発明が適用される情報処理装置は、上述の実施形態としてのユーザ端末１１を含め、次のような構成を有する、各種各様の実施形態を取ることができる。
即ち、ユーザ端末１１を含め、本発明が適用される情報処理装置は、図２に示すように、タッチ操作認識部５１と、音声認識制御部５２と、操作認識統合部５３とを備えている。
タッチ操作認識部５１は、ユーザによるタッチ操作の内容を認識する。
音声認識制御部５２は、ユーザの発話内容を示す音声データに対する音声認識処理の実行を制御する。
操作認識統合部５３は、タッチ操作認識部５１により認識されたタッチ操作の内容と、音声認識制御部５２の制御により実行された音声認識処理の結果とを統合して、ユーザによる操作全体の内容を認識する。
特に、操作認識統合部５３は、ユーザによるタッチ操作と発話とが同時に行われた場合、タッチ操作の内容と音声認識処理の結果とを統合して、同一の指示操作として認識する。一方、操作認識統合部５３は、ユーザによるタッチ操作と発話とのうちの一方が単体で行われた場合、操作の種類と精度のうち少なくとも一方を、タッチ操作の内容と音声認識処理の結果とで切り分けることで、ユーザによる操作全体の内容を認識する。
これにより、画面内で作図する作業の効率化が図れるという効果を奏することが可能になる。
以下、かかる効果について具体的に説明する。
【００６１】
例えば、作図の作業を伴うビジネス系のアプリケーションソフトウェアについて考える。このようなビジネス系のアプリケーションソフトウェアでは、スピードが大切である。そこで、本発明の情報処理装置の一実施形態に係るユーザ端末１１を適用することで、音声入力とタッチ操作との組み合わせが可能になる、作図の作業に要する時間が従来と比較して例えば２割程度短縮することが可能になる。
【００６２】
即ち、音声入力とタッチ操作とは夫々、一長一短がある。
【００６３】
具体的には、タッチ操作が得意とする指示操作は例えば、
（Ａ）位置指定、
（Ｂ）目標（ターゲット）指定、
（Ｃ）素早い移動が必要となる際の各種指示、
（Ｄ）メニューボタンを使う際の細かい指示や指定、
といったものがある。
【００６４】
これに対して、音声入力が得意とする指示操作は例えば、
（ａ）微小距離の移動指示、
（ｂ）曖昧な指示、例えば「もう少し赤色」に等の色変更指示、「もう少し大きく」等のサイズ変更指示、
（ｃ）起動に関する各種指示、例えば色や図のメニュー起動の指示、四角や三角の表示指示、Ｎ×Ｍの表（Ｎ、Ｍは相互に独立した任意の整数値）の起動指示、次、次ページ、最後、最初等の指定、
（ｄ）指では動かしにくい微妙な操作、例えば、回転、とまれ等の指示、
といったものがある。
【００６５】
上述の指示操作の中で、ユーザにとって、タッチ操作は容易に感じるが、音声入力は困難（煩わしい）と感じるものは、（Ａ）、（Ｂ）、（Ｃ）の操作である。
これに対して、ユーザにとって、音声入力は容易に感じるが、タッチ操作は困難（煩わしい）と感じるものは、（ａ）、（ｂ）、（ｃ）の操作である。
従って、例えば、ユーザは、タッチ操作で位置を指定した後、音声入力で起動させ、大ざっぱな指示はタッチ操作を主に利用し、細かい指示は音声入力とタッチ操作を組み合わせて調整することで、作図の時間短縮が可能になる。
このような指示操作は、上述の特許文献１を含む従来の装置では実現不可能であり、本発明が適用された情報処理装置、例えば本実施形態のユーザ端末１１が必要になる。
【００６６】
また、上述の指示操作の全て、即ち（Ａ）乃至（Ｄ）及び（ａ）乃至（ｄ）の指示操作は、ビジネス系のアプリケーションに一般的に求められるものである。そうすると、これらの指示操作については、タッチ操作と音声入力の双方が受け付け可能な装置が要求される。ここでいう「双方が受け付け可能」とは、タッチ操作と音声入力の同時受け付けが可能という意味と、タッチ操作と音声入力の何れか一方がなされた場合に受け付けが可能という意味との両方を含む概念である。
このような要求に応えるためには、上述の特許文献１を含む従来の装置では足りず、本発明が適用された情報処理装置、例えば本実施形態のユーザ端末１１が必要になる。
【００６７】
なお、本発明が適用される情報処理装置、例えば本実施形態のユーザ端末１１は、上述の機能を有していればその実現形態は特に限定されないが、作図のソフトウェアに音声認識を組み込む形態で構築することが望ましい。
【００６８】
また、本発明が適用される情報処理装置、例えば本実施形態のユーザ端末１１が受け付け可能な指示操作は、上述した「図形」のみならず、「絵（写真含む）」、「造形物」、「シンボル（文字含む）」等を含めたオブジェクトに対して適用可能である。
【００６９】
また、上述の実施形態では、本発明が適用される情報処理装置は、ユーザ端末１１を例として説明したが、特にこれに限定されない。
例えば、本発明は、音声入力とタッチ操作とを受け付け可能な電子機器一般に適用することができる。具体的には、例えば、本発明は、スマートフォン等の携帯端末、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム、デジタルカメラ、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ等に適用可能である。
【００７０】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能がユーザ端末１１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００７１】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００７２】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図２のリムーバブルメディア４１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア４１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図２のＲＯＭ２２や、図２の記憶部２９に含まれるハードディスク等で構成される。
【００７３】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【符号の説明】
【００７４】
１１、１１−１乃至１１−Ｎ・・・ユーザ端末，１２・・・音声認識サーバ，１３・・・ネットワーク，２１・・・ＣＰＵ，２６・・・タッチ操作入力部、２７・・・表示部、２８・・・音声入力部、２９・・・記憶部，５９・・・通信部，６０・・・ＧＰＳ部、６１・・・ドライブ，５１・・・タッチ操作認識部、５２・・・音声認識制御部、５３・・・操作認識統合部、５４・・・アプリ実行部、５５・・・表示画像生成部、５６・・・表示制御部５６
【図１】
2015055773.tif 000003
【図２】
2015055773.tif 000004
【図３】
2015055773.tif 000005
【図４】
2015055773.tif 000006
【図５】
2015055773.tif 000007
【図６】
2015055773.tif 000008
【図７】
2015055773.tif 000009
【図８】
2015055773.tif 000010
【図９】
2015055773.tif 000011
【図１０】
2015055773.tif 000012
【図１１】
2015055773.tif 000013
【図１２】
2015055773.tif 000014
【図１３】
2015055773.tif 000015