(57)【要約】【課題】タッチパネルに対するユーザの入力操作に応じた情報を表示させる情報処理装置において、ユーザの利便性を向上させることが可能な情報処理装置、情報処理方法、及びプログラムを提供すること。【解決手段】情報処理装置１００は、タッチパネル２００に対するユーザのタッチ操作に基づく情報を表示部３００に表示させる表示処理部１５６を備え、前記ユーザのタッチ操作により、予め設定された所定の第１入力情報２０１Ｓ及び第２入力情報２０１Ｅが入力された場合に、表示処理部１５６は、表示部３００において、前記第１入力情報２０１Ｓの位置と前記第２入力情報２０１Ｅの位置との間の領域Ｓ１に、音声データを変換したテキスト情報ＴＸを表示させる。【選択図】図１
2019149080.tif 000002
【特許請求の範囲】
【請求項１】
タッチパネルに対するユーザのタッチ操作に基づく情報を表示部に表示させる表示処理部を備え、
前記ユーザのタッチ操作により、予め設定された所定の第１入力情報及び第２入力情報が入力された場合に、前記表示処理部は、前記表示部において、前記第１入力情報の位置と前記第２入力情報の位置との間の領域に、所定の情報を表示させる、
情報処理装置。
【請求項２】
音声データをテキストデータに変換する音声処理部をさらに備え、
前記表示処理部は、前記表示部における前記領域に、前記テキストデータに対応するテキスト情報を表示させる、
請求項１に記載の情報処理装置。
【請求項３】
前記領域に表示される前記テキスト情報の表示態様を、前記領域に応じた表示態様に調整するテキスト処理部をさらに備え、
前記表示処理部は、前記テキスト処理部により前記表示態様が調整された前記テキスト情報を前記領域に表示させる、
請求項２に記載の情報処理装置。
【請求項４】
前記テキスト処理部は、前記領域に表示される前記テキスト情報である文字の大きさを、前記領域に応じた大きさに調整する、
請求項３に記載の情報処理装置。
【請求項５】
前記第１入力情報は、前記テキスト情報が前記領域に表示される際の方向を示す表示方向情報を含み、
前記表示処理部は、前記表示方向情報に基づいて、前記テキスト情報を前記表示部に表示させる、
請求項２から請求項４の何れか１項に記載の情報処理装置。
【請求項６】
前記表示処理部は、前記第１入力情報が入力されてから前記第２入力情報が入力されるまでの間に前記音声処理部により変換される前記テキストデータに対応する前記テキスト情報を、前記領域に表示させる、
請求項２から請求項５の何れか１項に記載の情報処理装置。
【請求項７】
前記ユーザのタッチ操作により前記第１入力情報が入力された場合に、前記表示処理部は、前記テキストデータに対応する前記テキスト情報の前記表示部への表示処理を開始する、
請求項２から請求項６の何れか１項に記載の情報処理装置。
【請求項８】
さらに、前記ユーザのタッチ操作により前記第２入力情報が入力された場合に、前記表示処理部は、前記テキスト情報の前記表示部への表示処理を終了する、
請求項７に記載の情報処理装置。
【請求項９】
前記表示処理部は、前記テキストデータに対応する前記テキスト情報を前記表示部に表示させる第１表示処理と、前記タッチパネルに対する前記ユーザの手書き情報を前記表示部に表示させる第２表示処理とを、並行して行う、
請求項２から請求項８の何れか１項に記載の情報処理装置。
【請求項１０】
タッチパネルに対するユーザのタッチ操作に基づく情報を表示部に表示させるステップと、
前記ユーザのタッチ操作により、予め設定された所定の第１入力情報及び第２入力情報が入力された場合に、前記表示部において、前記第１入力情報の位置と前記第２入力情報の位置との間の領域に、所定の情報を表示させるステップと、
を含む情報処理方法。
【請求項１１】
タッチパネルに対するユーザのタッチ操作に基づく情報を表示部に表示させるステップと、
前記ユーザのタッチ操作により、予め設定された所定の第１入力情報及び第２入力情報が入力された場合に、前記表示部において、前記第１入力情報の位置と前記第２入力情報の位置との間の領域に、所定の情報を表示させるステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチパネルに対するユーザの入力操作に応じた情報を表示部に表示させる情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、入力された音声データをテキストデータに変換して、当該テキストデータに対応するテキスト情報（文字列など）を電子黒板に表示させる技術が提案されている。
【０００３】
例えば特許文献１には、タッチパネルになぞり書きにより描かれる線の軌跡画像を表示部に表示するとともに、音声の認識結果を示す文字列を前記軌跡画像の上に重ねて表示させる入力表示装置が開示されている。
【０００４】
また例えば特許文献２には、電子黒板において、音声入力期間中にペンで描画された描画軌跡を含む領域に、音声認識手段で得られた認識結果を表示する電子黒板装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開公報第２０１６／１８９７３５号公報
【特許文献２】特開２００２−２５１２８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、前記従来の技術では、音声データに対応するテキストデータを表示部に表示させる場合に、ユーザは、音声入力中は常にタッチパネルにおいて、前記テキスト情報を表示させる位置で入力操作を行わなければならない。このため、例えば、前記テキスト情報を表示部に表示させている間は、ユーザは電子黒板（タッチパネル）において一般的な手書き操作（手書き入力）を行うことが困難である。このように、前記従来の技術では、ユーザの利便性が低下する問題が生じる。
【０００７】
本発明の目的は、タッチパネルに対するユーザの入力操作に応じた情報を表示部に表示させる情報処理装置において、ユーザの利便性を向上させることが可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一の態様に係る情報処理装置は、タッチパネルに対するユーザのタッチ操作に基づく情報を表示部に表示させる表示処理部を備え、前記ユーザのタッチ操作により、予め設定された所定の第１入力情報及び第２入力情報が入力された場合に、前記表示処理部は、前記表示部において、前記第１入力情報の位置と前記第２入力情報の位置との間の領域に、所定の情報を表示させる。
【０００９】
本発明の他の態様に係る情報処理方法は、タッチパネルに対するユーザのタッチ操作に基づく情報を表示部に表示させるステップと、前記ユーザのタッチ操作により、予め設定された所定の第１入力情報及び第２入力情報が入力された場合に、前記表示部において、前記第１入力情報の位置と前記第２入力情報の位置との間の領域に、所定の情報を表示させるステップと、を含む。
【００１０】
本発明の他の態様に係るプログラムは、タッチパネルに対するユーザのタッチ操作に基づく情報を表示部に表示させるステップと、前記ユーザのタッチ操作により、予め設定された所定の第１入力情報及び第２入力情報が入力された場合に、前記表示部において、前記第１入力情報の位置と前記第２入力情報の位置との間の領域に、所定の情報を表示させるステップと、をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１１】
本発明によれば、タッチパネルに対するユーザの入力操作に応じた情報を表示部に表示させる情報処理装置において、ユーザの利便性を向上させることが可能な情報処理装置、情報処理方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の実施形態１に係る情報処理システムの概略構成を示すブロック図である。
【図２】図２は、本発明の実施形態１に係る表示部に表示される表示画面の一例を示す図である。
【図３】図３は、本発明の実施形態１に係る表示部に表示される表示画面の一例を示す図である。
【図４】図４は、本発明の実施形態１に係る表示部に表示される表示画面の一例を示す図である。
【図５】図５は、本発明の実施形態１に係る表示部に表示される表示画面の一例を示す図である。
【図６】図６は、本発明の実施形態１に係る情報処理装置におけるテキスト情報表示処理の手順の一例を説明するためのフローチャートである。
【図７】図７は、本発明の実施形態１に係る情報処理装置における音声変換処理の手順の一例を説明するためのフローチャートである。
【図８】図８は、本発明の実施形態１に係る表示部に表示される表示画面の一例を示す図である。
【図９】図９は、本発明の実施形態１に係る表示部に表示される表示画面の一例を示す図である。
【図１０】図１０は、本発明の実施形態２に係る情報処理装置における音声変換処理の手順の一例を説明するためのフローチャートである。
【図１１】図１１は、本発明の実施形態３に係る情報処理装置における音声変換処理の手順の一例を説明するためのフローチャートである。
【図１２】図１２は、本発明の実施形態３に係る表示部に表示される表示画面の一例を示す図である。
【図１３】図１３は、本発明の実施形態４に係る情報処理装置における音声変換処理の手順の一例を説明するためのフローチャートである。
【図１４】図１４は、本発明の実施形態５に係る表示部に表示される表示画面の一例を示す図である。
【図１５】図１５は、本発明の実施形態６に係る表示部に表示される表示画面の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格を有さない。
【００１４】
本発明に係る情報処理システムは、例えば、電子黒板を含むシステム（電子黒板システム）に適用することができる。
【００１５】
［実施形態１］
図１は、実施形態１に係る情報処理システム１の概略構成を示すブロック図である。
【００１６】
情報処理システム１は、情報処理装置１００と、タッチパネル２００と、表示部３００と、マイク４００と、を含んでいる。タッチパネル２００、表示部３００、及びマイク４００は、ネットワークを介して情報処理装置１００に接続されている。前記ネットワークは、有線ＬＡＮ、無線ＬＡＮなどの通信ネットワークである。タッチパネル２００及び表示部３００は、一体に形成されてもよい。例えば、タッチパネル２００、表示部３００、及びマイク４００はそれぞれ、ＵＳＢケーブル等の各種ケーブルを介して情報処理装置１００に接続されている。また、情報処理装置１００は、表示部３００に接続されたＰＣ（パーソナルコンピュータ）、表示装置内部に搭載されたコントローラ、又は、ネットワークを介して接続されたサーバ（又はクラウドサーバ）であってもよい。また、情報処理装置１００は、その内部で音声認識処理（後述）を行ってもよいし、前記サーバで行ってもよい。
【００１７】
タッチパネル２００は、汎用のタッチパネルであり、静電容量方式、電磁誘導方式、抵抗膜方式、赤外線方式など、任意の方式を用いることができる。表示部３００は、汎用の表示パネルであり、液晶パネル、有機ＥＬパネルなど、任意の表示パネルを用いることができる。本実施形態に係る情報処理システム１では、例えば、静電容量方式のタッチパネル２００が、液晶パネルである表示部３００の表示面上に設けられている。
【００１８】
ここで、本発明の実施形態に係る情報処理システム１の概要の一例を以下に示す。ここでは、情報処理システム１は、会議室の電子黒板システムに導入されるものとする。
【００１９】
例えば、ユーザＡは、会議で資料の発表を行う場合において、表示部３００に当該資料を表示させ、タッチパネル２００に手書き入力を行いながら説明を行う。この場合において、情報処理システム１は、ユーザＡの説明（発言）に対応する音声をテキスト情報ＴＸ（文字列）に変換して、当該テキスト情報ＴＸを表示部３００に表示させる。
【００２０】
具体的には、ユーザＡの説明（発言）に対応する音声が、順次、テキスト情報ＴＸに変換される。次に、ユーザＡは、説明の途中に、図２に示すように、タッチパネル２００上の任意の位置に第１入力情報２０１Ｓ（ここでは、記号“「”（カッコ））を手書き入力する。
【００２１】
続いて、図３に示すように、ユーザＡは、タッチパネル２００上の任意の位置に第２入力情報２０１Ｅ（ここでは、記号“」”（カッコ））を手書き入力する。すると、第１入力情報２０１Ｓの入力時（検出時）から第２入力情報２０１Ｅの入力時（検出時）までの間にユーザＡが発言した音声に対応するテキスト情報ＴＸ（ここでは、「ａａａｂｂｂｃｃｃｄｄｄｅｅｅ」とする。）が、記憶部に記憶される。また、記憶部に記憶されるテキスト情報ＴＸが、第１入力情報２０１Ｓの位置から第２入力情報２０１Ｅの位置までの間の領域Ｓ１（図３参照）に表示される（図４参照）。なお、前記テキスト情報ＴＸは、例えば、文字の大きさが、前記領域Ｓ１に応じた大きさに調整されて表示される。
【００２２】
最後に、図５に示すように、第１入力情報２０１Ｓ及び第２入力情報２０１Ｅが表示部３００から削除される。このようにして、ユーザＡの音声に対応するテキスト情報ＴＸ（文字列）が、表示部３００に表示される。
【００２３】
上述した図２〜図５に示す処理を実現するための情報処理装置１００の具体的な構成について、以下に説明する。
【００２４】
［情報処理装置１００の構成］
図１に示すように、情報処理装置１００は、操作部１１０と、通信部１２０と、記憶部１３０と、制御部１５０とを備えている。
【００２５】
操作部１１０は、キーボード、マウス等、ユーザが所定の操作を行う際に使用する装置（ユーザーインターフェース）である。
【００２６】
通信部１２０は、情報処理装置１００を前記ネットワークに接続し、前記ネットワークを介してタッチパネル２００、表示部３００、マイク４００等の外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インタフェースである。
【００２７】
記憶部１３０は、ハードディスク又はＥＥＰＲＯＭ（登録商標）などの不揮発性の記憶部である。記憶部１３０には、制御部１５０によって実行される各種の制御プログラム、及び各種のデータなどが記憶される。
【００２８】
また記憶部１３０は、位置情報記憶部１３１と、表示テキスト記憶部１３２とを含んでいる。位置情報記憶部１３１には、ユーザがタッチパネル２００上でタッチ（入力指示）した位置の情報（入力位置情報）が記憶される。表示テキスト記憶部１３２には、表示部３００に表示させるための文字列などのテキスト情報ＴＸに対応するテキストデータが記憶される。前記テキストデータは、情報処理装置１００に入力される音声データをテキスト形式（文字列など）に変換したデータである。
【００２９】
制御部１５０は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を備える。前記ＣＰＵは、各種の演算処理を実行するプロセッサである。前記ＲＯＭは、前記ＣＰＵに各種の処理を実行させるための制御プログラムなどの情報が予め記憶された不揮発性の記憶部である。前記ＲＡＭは、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される揮発性又は不揮発性の記憶部である。制御部１５０は、前記ＲＯＭ又は記憶部１３０に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより情報処理装置１００を制御する。
【００３０】
具体的に、制御部１５０は、入力検出処理部１５１、描画処理部１５２、音声処理部１５３、領域検出処理部１５４、テキスト処理部１５５、表示処理部１５６などの各処理部を含む。なお、制御部１５０は、前記制御プログラムに従って各種の処理を実行することによりこれらの各処理部として機能する。また、制御部１５０は、これらの各処理部の一部又は複数の処理機能を実現する電子回路を備えるものであってもよい。
【００３１】
入力検出処理部１５１は、タッチパネル２００に対するユーザの入力情報を検出する。具体的には、入力検出処理部１５１は、ユーザがタッチパネル２００に所定の入力操作（タッチ操作）を行った場合に、当該入力操作に応じた入力情報（タッチ情報）を、通信部１２０を介して取得する。また、入力検出処理部１５１は、ユーザが操作部１１０を使用して所定の入力操作を行った場合に、当該入力操作に応じた入力情報を検出する。
【００３２】
例えば、ユーザがタッチパネル２００上の任意の位置をタッチした場合、入力検出処理部１５１は、当該タッチ入力を検出する。また、入力検出処理部１５１は、ユーザがタッチパネル２００上でタッチした位置（タッチ位置）の情報（入力位置情報）を検出する。また、ユーザがタッチパネル２００上の任意の位置で手書き操作した場合、入力検出処理部１５１は、当該手書き操作に応じた入力情報（手書き文字など）を検出する。前記入力情報には、文字、図形、記号などが含まれる。また前記入力情報には、予め設定された所定の入力情報である、２０１Ｓ（例えば、“「”）（図２参照）と、第２入力情報２０１Ｅ（例えば、“」”）（図３参照）とが含まれる。
【００３３】
また、入力検出処理部１５１は、前記タッチ位置の情報（入力位置情報）を検出して、位置情報記憶部１３１に記憶する。例えば、ユーザがタッチパネル２００上で第１入力情報２０１Ｓ（“「”）（図２参照）を手書き入力した場合、入力検出処理部１５１は、第１入力情報２０１Ｓ（“「”）の入力位置の情報（第１入力位置情報）を検出して、位置情報記憶部１３１に記憶部する。またユーザがタッチパネル２００上で第２入力情報２０１Ｅ（“」”）（図３参照）を手書き入力した場合、入力検出処理部１５１は、第２入力情報２０１Ｅ（“」”）の入力位置の情報（第２入力位置情報）を、位置情報記憶部１３１に記憶部する。
【００３４】
描画処理部１５２は、前記入力検出処理部１５１により検出される前記入力情報を描画する。具体的には、描画処理部１５２は、タッチパネル２００に対するユーザの手書き情報（文字、図形など）を描画する。例えば、描画処理部１５２は、第１入力情報２０１Ｓ（“「”）、及び、第２入力情報２０１Ｅ（“」”）を描画する。
【００３５】
表示処理部１５６は、描画処理部１５２により描画される前記入力情報を、入力検出処理部１５１により検出される前記入力位置情報に基づいて、表示部３００に表示させる。
【００３６】
音声処理部１５３は、ユーザの音声を、マイク４００を介して取得し、取得した音声データをテキストデータに変換する。また、音声処理部１５３は、前記テキストデータを表示テキスト記憶部１３２に記憶する。例えば、音声処理部１５３は、第１入力情報２０１Ｓが検出されてから第２入力情報２０１Ｅが検出されるまでの間に前記音声を前記テキスト情報に変換した分のテキストデータを、表示テキスト記憶部１３２に記憶する。
【００３７】
領域検出処理部１５４は、位置情報記憶部１３１に記憶部される、第１入力情報２０１Ｓの位置情報（第１入力位置情報）と、第２入力情報２０１Ｅの位置情報（第２入力位置情報）とに基づいて、前記第１入力情報の位置と前記第２入力情報の位置との間の領域Ｓ１（図３参照）を検出する。
【００３８】
テキスト処理部１５５は、前記領域Ｓ１に表示する前記テキスト情報ＴＸの表示態様を、前記領域Ｓ１に応じた表示態様に調整（決定）する処理を実行する。例えば、テキスト処理部１５５は、前記テキスト情報ＴＸである文字の大きさを、前記領域Ｓ１に応じた大きさに調整する。またテキスト処理部１５５は、表示テキスト記憶部１３２に記憶された前記テキストデータを、表示テキスト記憶部１３２から削除する。
【００３９】
表示処理部１５６は、表示部３００において、領域検出処理部１５４により検出された前記領域Ｓ１に、テキスト処理部１５５により前記表示態様が調整された前記テキスト情報ＴＸを表示させる。また表示処理部１５６は、第１入力情報２０１Ｓ及び第２入力情報２０１Ｅを表示部３００から削除させる（図５参照）。なお、表示処理部１５６は、その他、タッチパネル２００から入力される情報、及び、操作部１１０を介して入力される情報を、表示部３００に表示させる。
【００４０】
このように、前記所定の入力情報（例えば、第１入力情報２０１Ｓ、第２入力情報２０１Ｅ）は、音声データをテキストデータに変換し、当該テキストデータに対応するテキスト情報を表示部３００に表示させるトリガー情報となる。
【００４１】
［テキスト情報表示処理］
以下、図６を参照しつつ、情報処理装置１００の制御部１５０によって実行されるテキスト情報表示処理の一例について説明する。ここでは、図２〜図５に示した例に基づいて説明する。なお、前記テキスト情報表示処理は、ユーザが情報処理装置１００における所定の操作に応じて途中で終了されることがある。
【００４２】
＜ステップＳ１０１＞
先ず、ステップＳ１０１において、入力検出処理部１５１は、ユーザがタッチパネル２００上の任意の位置をタッチしたか否かを判定する。ユーザがタッチパネル２００上の任意の位置をタッチした場合は（Ｓ１０１：ＹＥＳ）、入力検出処理部１５１は当該タッチ入力を検出し、ステップＳ１０２に移行する。
【００４３】
＜ステップＳ１０２＞
ステップＳ１０２において、入力検出処理部１５１は、ユーザがタッチパネル２００上の任意の位置で第１入力情報２０１Ｓ（例えば、“「”）を入力したか否かを判定する。ユーザがタッチパネル２００上の任意の位置で第１入力情報２０１Ｓを入力した場合は、入力検出処理部１５１は第１入力情報２０１Ｓを検出し（Ｓ１０２：ＹＥＳ）、ステップＳ１０３に移行する。入力検出処理部１５１が第１入力情報２０１Ｓを検出しない場合は（Ｓ１０２：ＮＯ）、ステップＳ１０５に移行する。
【００４４】
＜ステップＳ１０３＞
ステップＳ１０３において、入力検出処理部１５１は、第１入力情報２０１Ｓの入力位置の情報（第１入力位置情報）を、位置情報記憶部１３１に記憶部する。
【００４５】
＜ステップＳ１０４＞
ステップＳ１０４において、描画処理部１５２は、第１入力情報２０１Ｓを描画する。また表示処理部１５６は、描画処理部１５２により描画された第１入力情報２０１Ｓを、前記第１入力位置情報に基づいて、表示部３００に表示させる（図２参照）。その後、ステップＳ１０１に戻る。
【００４６】
続いて、Ｓ１０１において、ユーザがタッチパネル２００上の任意の位置をタッチした場合は、入力検出処理部１５１は当該タッチ入力を検出して、ステップＳ１０２に移行する。ステップＳ１０２において、入力検出処理部１５１が、第１入力情報２０１Ｓを検出しない場合は、ステップＳ１０５に移行する。
【００４７】
＜ステップＳ１０５＞
ステップＳ１０５において、入力検出処理部１５１は、ユーザがタッチパネル２００上の任意の位置で第２入力情報２０１Ｅを入力したか否かを判定する。ユーザがタッチパネル２００上の任意の位置で第２入力情報２０１Ｅを入力した場合は、入力検出処理部１５１は第２入力情報２０１Ｅを検出して、ステップＳ１０６に移行する。入力検出処理部１５１が第２入力情報２０１Ｅを検出しない場合は（Ｓ１０５：ＮＯ）、ステップＳ１１４に移行する。ここでは、ユーザは第２入力情報２０１Ｅ（例えば、“」”）を入力するものと仮定する。
【００４８】
＜ステップＳ１０６＞
ステップＳ１０６において、入力検出処理部１５１は、第１入力情報２０１Ｓを検出済みか否かを判定し、検出済の場合は（Ｓ１０６：ＹＥＳ）、ステップＳ１０７に移行し、未検出の場合は（Ｓ１０６：ＮＯ）、ステップＳ１０４に戻る。この場合のステップＳ１０４では、描画処理部１５２は、タッチパネル２００に対するユーザの手書き操作に応じた様々な入力情報を描画し、表示処理部１５６は、当該入力情報を表示部３００に表示させる。ここでは、入力検出処理部１５１は第１入力情報２０１Ｓを検出済みであるため、ステップＳ１０７に移行する。
【００４９】
＜ステップＳ１０７＞
ステップＳ１０７において、入力検出処理部１５１は、第２入力情報２０１Ｅの入力位置の情報（第２入力位置情報）を、位置情報記憶部１３１に記憶部する。
【００５０】
＜ステップＳ１０８＞
ステップＳ１０８において、描画処理部１５２は、第２入力情報２０１Ｅを描画する。また表示処理部１５６は、描画処理部１５２により描画された第２入力情報２０１Ｅを、前記第２入力位置情報に基づいて、表示部３００に表示させる（図３参照）。
【００５１】
＜ステップＳ１０９＞
ステップＳ１０９では、領域検出処理部１５４は、位置情報記憶部１３１に記憶部された前記第１入力位置情報と前記第２入力位置情報とに基づいて、第１入力情報２０１Ｓの位置と第２入力情報２０１Ｅの位置との間の領域Ｓ１を検出する（図３参照）。
【００５２】
＜ステップＳ１１０＞
ステップＳ１１０において、テキスト処理部１５５は、表示テキスト記憶部１３２に記憶されているテキストデータに対応するテキスト情報ＴＸ（後述の［音声変換処理］を参照）を取得して、当該テキスト情報ＴＸの文字の大きさを、前記領域Ｓ１に応じた大きさに調整する。
【００５３】
＜ステップＳ１１１＞
ステップＳ１１１において、表示処理部１５６は、表示部３００において、領域検出処理部１５４により検出された前記領域Ｓ１に、テキスト処理部１５５により文字の大きさが領域Ｓ１に応じた大きさに調整された前記テキスト情報ＴＸを表示させる（図４参照）。またテキスト処理部１５５は、表示テキスト記憶部１３２に記憶された前記テキストデータを、表示テキスト記憶部１３２から削除する。
【００５４】
＜ステップＳ１１２＞
ステップＳ１１２において、表示処理部１５６は、第１入力情報２０１Ｓ及び第２入力情報２０１Ｅを表示部３００から削除する（図５参照）。
【００５５】
＜ステップＳ１１３＞
ステップＳ１１３において、入力検出処理部１５１は、前記第１入力位置情報及び前記第２入力位置情報を位置情報記憶部１３１から削除する。
【００５６】
＜ステップＳ１１４＞
ステップＳ１１４では、第１入力情報２０１Ｓ（“「”）及び第２入力情報２０１Ｅ（“」”）が検出されないため、ユーザがタッチパネル２００上で手書き入力した情報（手書き文字など）に対する描画処理及び表示処理を実行する。以上のようにして、テキスト情報表示処理が実行される。
【００５７】
［音声変換処理］
以下、図７を参照しつつ、情報処理装置１００の制御部１５０によって実行される音声変換処理の一例について説明する。ここでも、図２〜図５に示した例に基づいて説明する。なお、前記音声変換処理は、ユーザが情報処理装置１００における所定の操作に応じて途中で終了されることがある。また、前記テキスト情報表示処理（図６参照）と、前記音声変換処理（図７参照）とは、並行して実行される。
【００５８】
＜ステップＳ２０１＞
ステップＳ２０１において、ユーザの音声がマイク４００を介して情報処理装置１００に入力されると（Ｓ２０１：ＹＥＳ）、音声処理部１５３は、前記音声データを、マイク４００を介して取得する。
【００５９】
＜ステップＳ２０２＞
ステップＳ２０２において、音声処理部１５３は、取得した音声データをテキストデータに変換する。
【００６０】
＜ステップＳ２０３＞
ステップＳ２０３において、入力検出処理部１５１が第１入力情報２０１Ｓを既に検出済みの場合は（Ｓ２０３：ＹＥＳ）、ステップＳ２０６に移行する。入力検出処理部１５１が第１入力情報２０１Ｓを未だ検出していない場合は（Ｓ２０３：ＮＯ）、ステップＳ２０４に移行する。
【００６１】
＜ステップＳ２０４＞
ステップＳ２０４において、入力検出処理部１５１が第１入力情報２０１Ｓを検出した場合は（Ｓ２０４：ＹＥＳ）、ステップＳ２０５に移行する。入力検出処理部１５１が第１入力情報２０１Ｓを検出しない場合は（Ｓ２０４：ＮＯ）、ステップＳ２０１に戻る。
【００６２】
＜ステップＳ２０５＞
ステップＳ２０５において、表示テキスト記憶部１３２に記憶された前記テキストデータが、表示テキスト記憶部１３２から削除される。これにより、表示テキスト記憶部１３２がリセットされる。
【００６３】
＜ステップＳ２０６＞
ステップＳ２０６において、音声処理部１５３は、変換した前記テキストデータを、表示テキスト記憶部１３２に記憶する。すなわち、第１入力情報２０１Ｓが検出されると、ユーザの音声に対応するテキスト情報が、順次、記憶部１３２に記憶される。
【００６４】
＜ステップＳ２０７＞
ステップＳ２０７において、入力検出処理部１５１が第２入力情報２０１Ｅを検出した場合は（Ｓ２０７：ＹＥＳ）、処理を終了する。入力検出処理部１５１が第２入力情報２０１Ｅを検出しない場合は（Ｓ２０７：ＮＯ）、ステップＳ２０１に戻る。
【００６５】
ステップＳ２０１に戻った後、引き続き、ユーザの音声が情報処理装置１００に入力されている場合は（Ｓ２０１：ＹＥＳ）、ステップＳ２０３において、入力検出処理部１５１が第１入力情報２０１Ｓを既に検出済みであると判定し（Ｓ２０３：ＹＥＳ）、ステップＳ２０６に移行する。音声処理部１５３は、引き続き、変換した前記テキストデータを、表示テキスト記憶部１３２に記憶する。これにより、第２入力情報２０１Ｅが検出（入力）されるまで、ユーザの音声に対応するテキスト情報が表示テキスト記憶部１３２に記憶される。
【００６６】
以上のようにして、音声変換処理が実行される。音声処理部１５３は、前記第１入力情報２０１Ｓが検出されてから前記第２入力情報２０１Ｅが検出されるまでの間に前記音声データから変換した前記テキストデータを、表示テキスト記憶部１３２に記憶する。なお、表示テキスト記憶部１３２に記憶された前記テキストデータは、ユーザの操作に応じて、表示部３００に表示される（前述の［テキスト情報表示処理］を参照）。
【００６７】
以上説明したように、実施形態１に係る情報処理装置１００では、ユーザが、タッチパネル２００において、始点（トリガー情報）となる所定の第１入力情報２０１Ｓ（例えば、“「”）と、終点となる所定の第２入力情報２０１Ｅ（例えば“」”）とをタッチ入力することにより、第１入力情報２０１Ｓ及び第２入力情報２０１Ｅの範囲（領域Ｓ１）に、音声をテキスト変換することにより得られたテキスト情報（文字列）が表示される。この構成では、音声に対するテキスト情報ＴＸを表示部３００に表示させる場合に、ユーザは、タッチパネル２００を常に操作している必要はなく、２箇所のタッチ入力（入力操作）だけでよい。すなわち、表示処理部１５６は、音声データを変換したテキストデータに対応するテキスト情報ＴＸを表示部３００に表示させる第１表示処理と、タッチパネル２００に対するユーザの手書き情報を表示部３００に表示させる第２表示処理とを、並行して行うことが可能である。このため、ユーザは、音声に対応するテキスト情報ＴＸを表示部３００に表示させながら、タッチパネル２００においてタッチ入力操作を行うことができる。よって、ユーザの利便性を向上させることが可能となる。
【００６８】
上述の処理では、音声をテキスト形式に変換したテキスト情報ＴＸは、ユーザにより第２入力情報２０１Ｅ（例えば、“」”）がタッチパネル２００に入力された後に、表示部３００に表示される構成であるが、前記テキスト情報ＴＸが表示部３００に表示されるタイミングは、上述の構成に限定されない。例えば、ユーザにより第１入力情報２０１Ｓ（例えば、“「”）がタッチパネル２００に入力された後、かつ、ユーザにより第２入力情報２０１Ｅ（例えば、“」”）がタッチパネル２００に入力される前に、表示部３００に表示されてもよい。この構成の概要を以下に示す。
【００６９】
先ず、図２に示すように、ユーザＡは、タッチパネル２００上の任意の位置に第１入力情報２０１Ｓ（“「”）を手書き入力する。すると、図８に示すように、ユーザＡの音声がテキスト情報ＴＸに変換され、当該テキスト情報ＴＸが表示部３００の第１入力情報２０１Ｓの位置（横）に表示される。なお、前記テキスト情報ＴＸは、ユーザＡの発言に追従（連動）して表示部３００に表示される。
【００７０】
次に、図９に示すように、ユーザＡは、タッチパネル２００上の任意の位置に第２入力情報２０１Ｅ（“」”）を手書き入力する。すると、前記テキスト情報ＴＸの表示処理を中止し、第１入力情報２０１Ｓの入力時（検出時）から第２入力情報２０１Ｅの入力時（検出時）までの間にユーザＡが発言した音声に対応するテキスト情報ＴＸが、第１入力情報２０１Ｓの位置から第２入力情報２０１Ｅの位置までの間の領域Ｓ１に表示される。
【００７１】
また、図４に示すように、領域Ｓ１に表示された前記テキスト情報ＴＸの文字の大きさが、前記領域Ｓ１に応じた大きさに変更される。最後に、図５に示すように、第１入力情報２０１Ｓ及び第２入力情報２０１Ｅが表示部３００から削除される。これにより、ユーザＡの音声に対応するテキスト情報ＴＸ（文字列）が、表示部３００に表示される。
【００７２】
以下、他の実施形態に係る情報処理システム１について説明する。なお、実施形態１に係る情報処理システム１と同一の機能を有する構成要素については、同一の名称を付し、説明を適宜省略する。
【００７３】
［実施形態２］
実施形態２に係る情報処理システム１では、入力検出処理部１５１が第１入力情報２０１Ｓ（例えば、“「”）を検出した場合に、前記音声変換処理（図７参照）を実行する。
【００７４】
具体的には、音声処理部１５３は、入力検出処理部１５１が第１入力情報２０１Ｓを検出した場合に、音声入力の処理を開始し、入力検出処理部１５１が第２入力情報２０１Ｅを検出した場合に、音声入力の処理を終了する。音声処理部１５３は、音声入力処理を開始すると、音声データをテキストデータに変換する。すなわち、音声処理部１５３は、第１入力情報２０１Ｓが検出されてから第２入力情報２０１Ｅが検出されるまでの間だけ音声データをテキストデータに変換する。音声処理部１５３は、前記テキストデータを表示テキスト記憶部１３２に記憶する。
【００７５】
以下、図１０を参照しつつ、実施形態２に係る音声変換処理の一例について説明する。
【００７６】
＜ステップＳ３０１＞
ステップＳ３０１において、入力検出処理部１５１が第１入力情報２０１Ｓを既に検出済みの場合は（Ｓ３０１：ＹＥＳ）、ステップＳ３０５に移行する。入力検出処理部１５１が第１入力情報２０１Ｓを未だ検出していない場合は（Ｓ３０１：ＮＯ）、ステップＳ３０２に移行する。
【００７７】
＜ステップ３０２＞
ステップＳ３０２において、入力検出処理部１５１が第１入力情報２０１Ｓを検出した場合は（Ｓ３０２：ＹＥＳ）、ステップＳ３０３に移行して、音声処理部１５３は、音声入力処理を開始する。音声入力処理が開始されると、ユーザの音声がマイク４００を介して情報処理装置１００に入力され、音声処理部１５３は、前記音声データを、マイク４００を介して取得する。入力検出処理部１５１が第１入力情報２０１Ｓを検出しない場合は（Ｓ３０２：ＮＯ）、ステップＳ３０１に戻る。
【００７８】
＜ステップＳ３０４＞
ステップＳ３０４において、表示テキスト記憶部１３２に記憶された前記テキストデータが、表示テキスト記憶部１３２から削除される。これにより、表示テキスト記憶部１３２がリセットされる。
【００７９】
＜ステップＳ３０５＞
ステップＳ３０５において、音声処理部１５３は、取得した音声データをテキストデータに変換する。
【００８０】
＜ステップＳ３０６＞
ステップＳ３０６において、音声処理部１５３は、変換した前記テキストデータを、表示テキスト記憶部１３２に記憶する。すなわち、第１入力情報２０１Ｓが検出されると、音声入力処理が開始されて、ユーザの音声に対応するテキスト情報が、順次、記憶部１３２に記憶される。
【００８１】
＜ステップＳ３０７＞
ステップＳ３０７において、入力検出処理部１５１が第２入力情報２０１Ｅを検出した場合は（Ｓ３０７：ＹＥＳ）、ステップＳ３０８に移行する。入力検出処理部１５１が第２入力情報２０１Ｅを検出しない場合は（Ｓ３０７：ＮＯ）、ステップＳ３０１に戻る。
【００８２】
ステップＳ３０１に戻ると、入力検出処理部１５１が第１入力情報２０１Ｓを既に検出済みであると判定するため（Ｓ３０１：ＹＥＳ）、ステップＳ３０５に移行する。音声処理部１５３は、引き続き、取得した音声データをテキストデータに変換し（Ｓ３０５）、変換した前記テキストデータを、表示テキスト記憶部１３２に記憶する（Ｓ３０６）。これにより、第２入力情報２０１Ｅが検出（入力）されるまで、ユーザの音声に対応するテキスト情報が表示テキスト記憶部１３２に記憶される。
【００８３】
＜ステップＳ３０８＞
ステップＳ３０８において、音声処理部１５３は、音声入力処理を終了する。以上のようにして、音声変換処理が実行される。音声処理部１５３は、前記第１入力情報２０１Ｓが検出されてから前記第２入力情報２０１Ｅが検出されるまでの間に前記音声データから変換した前記テキストデータを、表示テキスト記憶部１３２に記憶する。
【００８４】
なお、表示テキスト記憶部１３２に記憶された前記テキストデータに対応するテキスト情報は、ユーザの操作に応じて、表示部３００に表示される（実施形態１に係る［テキスト情報表示処理］（図６）を参照）。
【００８５】
［実施形態３］
実施形態３に係る情報処理システム１は、実施形態２に係る情報処理システム１において、さらに、音声入力処理を実行中であることを示す情報を表示部３００に表示する構成を備える。前記情報は、例えば、音声を認識中であることを示す情報である。
【００８６】
図１１は、実施形態３に係る音声変換処理の一例を示すフローチャートである。具体的には、音声入力処理が開始されると（Ｓ３０３）、表示処理部１５６は、図１２に示すように、音声を認識中であることを示す情報２０４を表示部３００の領域Ｓ１に表示させる（Ｓ４０１）。表示処理部１５６は、音声入力処理が終了すると（Ｓ３０８）、前記情報２０４を、表示部３００から削除する（Ｓ４０２）。
【００８７】
これにより、ユーザは、音声に対応するテキスト情報が表示部３００に表示されることを認識することができる。
【００８８】
［実施形態４］
実施形態４に係る情報処理システム１は、実施形態２に係る情報処理システム１において、さらに、音声入力処理を実行中に、ユーザによる所定の操作を検出した場合に、音声入力処理を終了する構成を備える。前記所定の操作は、例えば、ユーザがタッチパネル２００において、消しゴムツールを用いて第１入力情報２０１Ｓ（例えば、“「”）を削除する操作、領域Ｓ１に手書き入力する操作、及び、領域Ｓ１に表示されたテキスト情報ＴＸに上書きする操作などである。
【００８９】
図１３は、実施形態４に係る音声変換処理の一例を示すフローチャートである。図１３に示すフローチャートでは、例えば図１０に示すフローチャートにさらにステップＳ５０１、Ｓ５０２が追加されている。
【００９０】
具体的には例えば、第１入力情報２０１Ｓが検出され、音声データがテキストデータに変換され、変換された前記テキストデータが表示テキスト記憶部１３２に記憶された後に（Ｓ３０１〜Ｓ３０６）、入力検出処理部１５１が第２入力情報２０１Ｅを検出しない場合は（Ｓ３０７：ＮＯ）、ステップＳ３０１に戻る。
【００９１】
ステップＳ３０１に戻ると、入力検出処理部１５１が第１入力情報２０１Ｓを既に検出済みであると判定するため（Ｓ３０１：ＹＥＳ）、ステップＳ５０１に移行する。ステップＳ５０１において、入力検出処理部１５１が、第１入力情報２０１Ｓの削除操作を検出した場合は（Ｓ５０１：ＹＥＳ）、音声処理部１５３は、音声入力処理を終了する（Ｓ３０８）。また、ステップＳ５０２において、入力検出処理部１５１が、領域Ｓ１に手書き入力する操作を検出した場合は（Ｓ５０２：ＹＥＳ）、音声処理部１５３は、音声入力処理を終了する（Ｓ３０８）。
【００９２】
これにより、ユーザが意図せず前記音声入力処理のモードに入った場合でも、ユーザは、前記所定の操作を行うことにより、迅速に前記音声入力処理を終了させることができる。なお、図１３に示すフローチャートにおいて、入力検出処理部１５１が、第１入力情報２０１Ｓの削除操作を検出せず（Ｓ５０１：ＮＯ）、かつ、入力検出処理部１５１が、領域Ｓ１に手書き入力する操作を検出しなかった場合は（Ｓ５０２：ＮＯ）、ステップＳ３０５に移行する。
【００９３】
［実施形態５］
上述の各実施形態において、予め設定された所定の入力情報（トリガー情報）は、記号“「”、“」”に限定されない。前記トリガー情報は、例えば、図１４に示すように、直線記号Ｌ１、矩形枠Ｋ１、曲線Ｒ１、矢印Ｄ１，Ｄ２の情報であってもよいし、２点（２箇所）を同時（又は所定時間内）にタッチ入力（指定）した情報Ｐ１，Ｐ２であってもよい。それぞれのトリガー情報において、第１入力情報２０１Ｓは左端部の情報であり、第２入力情報２０１Ｅは右端部の情報である。よって、それぞれのトリガー情報において、第１入力情報２０１Ｓ（左端部）と、第２入力情報２０１Ｅ（右端部）との間の領域が、領域Ｓ１となる。
【００９４】
［実施形態６］
また、上述の各実施形態において、第１入力情報２０１Ｓ及び第２入力情報２０１Ｅの少なくとも何れか一方は、前記テキスト情報ＴＸが領域Ｓ１に表示される際の方向を示す表示方向情報を含んでもよい。例えば、図１５に示すように、第１入力情報２０１Ｓに横方向の矢印（表示方向情報）が含まれる場合、表示処理部１５６は、テキスト情報ＴＸを横方向に表示させる。また、第１入力情報２０１Ｓに縦方向の矢印（表示方向情報）が含まれる場合、表示処理部１５６は、テキスト情報ＴＸを縦方向に表示させる。さらに、第１入力情報２０１Ｓに斜め方向の矢印（表示方向情報）が含まれる場合、表示処理部１５６は、テキスト情報ＴＸを斜め方向に表示させる。
【００９５】
また、上述の各実施形態において、領域Ｓ１に表示させる情報は、音声データをテキスト形式に変換したテキスト情報ＴＸに限定されない。例えば、領域Ｓ１に表示させる情報は、ユーザが操作部１１０を使用して所定の入力操作を行った場合の入力情報であってもよい。この場合、表示処理部１５６は、ユーザが操作部１１０（例えば、キーボード）を使用して入力された前記入力情報を、入力検出処理部１５１により検出される前記入力位置情報に基づいて、表示部３００に表示させる。
【００９６】
また、領域Ｓ１に表示させる情報は、ユーザが操作部１１０（例えば、マウス）を使用して選択された画像であってもよい。この場合、表示処理部１５６は、ユーザにより操作部１１０を用いて選択された画像を、入力検出処理部１５１により検出される前記入力位置情報に基づいて、表示部３００に表示させる。
【００９７】
なお、本発明に係る情報処理システム１では、情報処理装置１００が、タッチパネル２００、表示部３００、及びマイク４００を備えてもよい。また、情報処理システム１は、電子黒板システムに限定されず、ＰＣ（パーソナルコンピュータ）などのタッチパネル付き表示装置に適用することもできる。
【００９８】
また、本発明に係る情報処理システム１では、情報処理装置１００の一部の機能がサーバで実現されてもよい。具体的には、情報処理装置１００の制御部１５０に含まれる、入力検出処理部１５１、描画処理部１５２、音声処理部１５３、領域検出処理部１５４、テキスト処理部１５５、及び表示処理部１５６の少なくとも何れか１つの機能がサーバで実現されてもよい。
【００９９】
例えば、マイク４００を介して取得した音声データをサーバに送信し、サーバが音声処理部１５３の処理、すなわち音声データをテキストデータに変換する処理を実行してもよい。この場合、情報処理装置１００は、サーバから前記テキストデータを受信する。また例えば、タッチパネル２００に対する入力情報（タッチ情報）をサーバに送信し、サーバが入力検出処理部１５１の処理、すなわち前記タッチ位置の検出処理及びタッチ位置の情報（入力位置情報）の記憶処理を実行してもよい。
【０１００】
上述の構成によれば、例えば、サーバからデータ（処理結果）を送信する際の送信先端末を、複数の表示装置（例えば電子黒板）に設定すると、複数の表示装置にテキスト化した内容（テキスト情報）を表示させることも可能になる。
【０１０１】
なお、本発明に係る「所定の情報」（領域Ｓ１に表示させる情報）は、ユーザの音声に対応するテキスト情報、及び、ユーザが操作部１１０を使用して選択した画像に限定されない。例えば、前記「所定の情報」は、翻訳テキスト情報であってもよい。具体的には、情報処理装置１００は、ユーザの発言による音声をテキスト情報に変換し、さらに前記テキスト情報を翻訳処理した翻訳テキスト情報を、前記領域Ｓ１に表示してもよい。
【０１０２】
また例えば、前記「所定の情報」は、ＷＥＢの検索キーワードの検索結果であってもよい。具体的には、情報処理装置１００は、ユーザの発言による音声をテキスト情報に変換し、さらに前記テキスト情報でキーワード検索した結果（検索結果情報）を、前記領域Ｓ１に表示してもよい。なお、「所定の情報」は、第１入力情報２０１Ｓ及び第２入力情報２０１Ｅを入力したユーザの行為（発言、操作）に対応する情報（テキスト情報、画像情報、入力情報など）に限定されず、当該ユーザとは異なる第三者の行為に対応する情報であってもよい。
【０１０３】
また情報処理装置１００は、領域Ｓ１に表示される「所定の情報」に対応する処理（コマンド）を実行する構成を備えてもよい。例えば、情報処理装置１００は、領域Ｓ１に表示される「印刷して」を操作コマンドとして認識し、印刷機能を起動する構成を備えてもよい。
【符号の説明】
【０１０４】
１          情報処理システム
１００      情報処理装置
１１０      操作部
１２０      通信部
１３０      記憶部
１３１      位置情報記憶部
１３２      表示テキスト記憶部
１５０      制御部
１５１      入力検出処理部
１５２      描画処理部
１５３      音声処理部
１５４      領域検出処理部
１５５      テキスト処理部
１５６      表示処理部
２００      タッチパネル
２０１Ｓ    第１入力情報
２０１Ｅ    第２入力情報
３００      表示部
４００      マイク
Ｓ１        領域
ＴＸ        テキスト情報
【図１】
2019149080.tif 000003
【図２】
2019149080.tif 000004
【図３】
2019149080.tif 000005
【図４】
2019149080.tif 000006
【図５】
2019149080.tif 000007
【図６】
2019149080.tif 000008
【図７】
2019149080.tif 000009
【図８】
2019149080.tif 000010
【図９】
2019149080.tif 000011
【図１０】
2019149080.tif 000012
【図１１】
2019149080.tif 000013
【図１２】
2019149080.tif 000014
【図１３】
2019149080.tif 000015
【図１４】
2019149080.tif 000016
【図１５】
2019149080.tif 000017