(57)【要約】【課題】ユーザの自由なレイアウトで、音声の認識結果を示す文字列を表示することができるようにする。【解決手段】表示制御部（１５）が、文字列取得部（５）により取得された文字列の言語に対応する色で、軌跡画像生成部（１２）により生成された軌跡画像を表示する。【選択図】図１
2018022528.tif 000002
【特許請求の範囲】
【請求項１】
軌跡の入力を受け付ける受付部と、
前記受付部により入力が受け付けられた軌跡を示す軌跡画像を生成する軌跡画像生成部と、
文字列を取得する文字列取得部と、
前記文字列取得部により取得された文字列を前記軌跡画像に重ねて表示する表示制御部とを備え、
前記表示制御部は、前記文字列取得部により取得された文字列の言語に対応する色で、前記軌跡画像生成部により生成された軌跡画像を表示することを特徴とする入力表示装置。
【請求項２】
軌跡の入力を受け付ける受付部と、
前記受付部により入力が受け付けられた軌跡を示す軌跡画像を生成する軌跡画像生成部と、
文字列を取得する文字列取得部と、
前記文字列取得部により取得された文字列を前記軌跡画像に重ねて表示する表示制御部と、
前記文字列を表示する際の文字のサイズを管理する文字管理部とを備え、
前記軌跡画像生成部は、前記軌跡画像として、前記文字管理部により管理されている文字のサイズに対応する線幅の軌跡画像を生成することを特徴とする入力表示装置。
【請求項３】
前記表示制御部は、前記軌跡画像と前記文字列を重ねて表示した後、前記軌跡画像を消すことを特徴とする請求項１または請求項２記載の入力表示装置。
【請求項４】
前記表示制御部は、前記文字列取得部により取得された文字列の先頭の文字から順番に後尾の文字まで表示することを特徴とする請求項１または請求項２記載の入力表示装置。
【請求項５】
前記受付部により受け付けられた軌跡の入力を検知する状態検知部を備え、
前記軌跡画像生成部は、前記状態検知部により検知された軌跡の入力の状態に対応する線幅の軌跡画像を生成することを特徴とする請求項１または請求項２記載の入力表示装置。
【請求項６】
前記軌跡画像生成部は、前記状態検知部により検知された軌跡の入力の状態が途中で変化していれば、線幅が途中で変化する軌跡画像を生成することを特徴とする請求項５記載の入力表示装置。
【請求項７】
前記受付部により入力が受け付けられた軌跡を切り換える切換部と、
前記切換部により切り換えられた軌跡が、絵を描画するための軌跡であれば、前記受付部により入力が受け付けられた軌跡にしたがって絵の画像を生成する絵画像生成部とを備え、
前記軌跡画像生成部は、前記切換部により切り換えられた軌跡が、絵を描画するための軌跡でなければ、前記受付部により入力が受け付けられた軌跡を示す軌跡画像を生成し、  前記表示制御部は、前記切換部により切り換えられた軌跡が、絵を描画するための軌跡であれば、前記絵画像生成部により生成された絵の画像を表示し、前記切換部により切り換えられた軌跡が、絵を描画するための軌跡でなければ、前記軌跡画像生成部により生成された軌跡画像を表示することを特徴とする請求項１または請求項２記載の入力表示装置。
【請求項８】
前記表示制御部が映像を表示するディスプレイをさらに備えることを特徴とする請求項１または請求項２記載の入力表示装置。
【請求項９】
受付部が、軌跡の入力を受け付け、
軌跡画像生成部が、前記受付部により入力が受け付けられた軌跡を示す軌跡画像を生成し、
文字列取得部が、文字列を取得し、
表示制御部が、前記文字列取得部により取得された文字列を前記軌跡画像に重ねて表示する入力表示方法であって、
前記表示制御部が、前記文字列取得部により取得された文字列の言語に対応する色で、前記軌跡画像生成部により生成された軌跡画像を表示することを特徴とする入力表示方法。
【請求項１０】
受付部が、軌跡の入力を受け付け、
軌跡画像生成部が、前記受付部により入力が受け付けられた軌跡を示す軌跡画像を生成し、
文字列取得部が、文字列を取得し、
表示制御部が、前記文字列取得部により取得された文字列を前記軌跡画像に重ねて表示する入力表示方法であって、
前記軌跡画像生成部が、前記軌跡画像として、前記文字管理部により管理されている文字のサイズに対応する線幅の軌跡画像を生成することを特徴とする入力表示方法。
【請求項１１】
軌跡の入力を受け付ける受付処理手順と、
前記受付処理手順により入力が受け付けられた軌跡を示す軌跡画像を生成する軌跡画像生成処理手順と、
文字列を取得する文字列取得処理手順と、
前記文字列取得処理手順により取得された文字列を前記軌跡画像に重ねて表示する際、前記文字列取得処理手順により取得された文字列の言語に対応する色で、前記軌跡画像生成処理手順により生成された軌跡画像を表示する表示制御処理手順とをコンピュータを実行させるための入力表示プログラム。
【請求項１２】
軌跡の入力を受け付ける受付処理手順と、
前記受付処理手順により入力が受け付けられた軌跡を示す軌跡画像を生成する軌跡画像生成処理手順と、
文字列を取得する文字列取得処理手順と、
前記文字列取得処理手順により取得された文字列を前記軌跡画像に重ねて表示する表示制御処理手順と、
前記文字列を表示する際の文字のサイズを管理する文字管理処理手順とをコンピュータを実行させるための入力表示プログラムであって、
前記軌跡画像生成処理手順は、前記軌跡画像として、前記文字管理処理手順により管理されている文字のサイズに対応する線幅の軌跡画像を生成することを特徴とする入力表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声の認識結果を示す文字列をディスプレイに表示する入力表示装置、入力表示方法及び入力表示プログラムに関するものである。
【背景技術】
【０００２】
以下の特許文献１には、音声の認識結果を示す文字列をディスプレイに表示する入力表示装置が開示されている。
この入力表示装置では、ユーザがペン型入力器を用いて、線を描く操作を行うと、その線の始点と終点を検知し、その始点と終点を結ぶ直線をディスプレイに描画する。
その後、ユーザがマイクを用いて、音声を入力すると、その音声の認識処理を実施して、その音声の認識結果を示す文字列を描画済みの直線に沿うように表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−８８９６９号公報（図２、図３、図６）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の入力表示装置は以上のように構成されているので、ユーザがペン型入力器を用いて、線を描く操作を行えば、その線の始点と終点を結ぶ直線がディスプレイに描画される。したがって、ユーザがマイクを用いて、音声を入力する前に、音声の認識結果を示す文字列が表示される位置を事前に把握することができる。しかし、ディスプレイに描画される線は、始点と終点を結ぶ直線に限られるため、ユーザの自由なレイアウトで、音声の認識結果を示す文字列を表示することができないという課題があった。
【０００５】
この発明は上記のような課題を解決するためになされたもので、ユーザの自由なレイアウトで、音声の認識結果を示す文字列を表示することができる入力表示装置、入力表示方法及び入力表示プログラムを得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る入力表示装置は、軌跡の入力を受け付ける受付部と、受付部により入力が受け付けられた軌跡を示す軌跡画像を生成する軌跡画像生成部と、文字列を取得する文字列取得部と、文字列取得部により取得された文字列を軌跡画像に重ねて表示する表示制御部とを備え、表示制御部が、文字列取得部により取得された文字列の言語に対応する色で、軌跡画像生成部により生成された軌跡画像を表示するようにしたものである。
【発明の効果】
【０００７】
この発明によれば、軌跡の入力を受け付ける受付部と、受付部により入力が受け付けられた軌跡を示す軌跡画像を生成する軌跡画像生成部と、文字列を取得する文字列取得部と、文字列取得部により取得された文字列を軌跡画像に重ねて表示する表示制御部とを備え、表示制御部が、文字列取得部により取得された文字列の言語に対応する色で、軌跡画像生成部により生成された軌跡画像を表示するように構成したので、ユーザの自由なレイアウトで、音声の認識結果を示す文字列を表示することができる効果がある。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１による入力表示装置を示す構成図である。
【図２】この発明の実施の形態１による入力表示装置のハードウェア構成図である。
【図３】入力表示装置がコンピュータで構成される場合のハードウェア構成図である。
【図４】この発明の実施の形態１による入力表示装置の処理内容である入力表示方法を示すフローチャートである（その１）。
【図５】この発明の実施の形態１による入力表示装置の処理内容である入力表示方法を示すフローチャートである（その２）。
【図６】文字管理ＤＢに記憶されている文字属性表を示す説明図である。
【図７】音声の認識結果を示す文字列が生成される前に軌跡画像が生成された場合の表示処理を示す説明図である。
【図８】軌跡画像が生成される前に音声の認識結果を示す文字列が生成された場合の表示処理を示す説明図である。
【図９】この発明の実施の形態２による入力表示装置を示す構成図である。
【図１０】この発明の実施の形態２による入力表示装置のハードウェア構成図である。
【図１１】この発明の実施の形態２による入力表示装置の処理内容である入力表示方法を示すフローチャートである。
【図１２】ユーザの筆圧に応じて線幅が設定された軌跡画像を示す説明図である。
【図１３】なぞる速度に応じて線幅が設定された軌跡画像を示す説明図である。
【図１４】途中で変化するユーザの筆圧やなぞる速度に応じて線幅が設定された軌跡画像を示す説明図である。
【図１５】この発明の実施の形態３による入力表示装置を示す構成図である。
【図１６】この発明の実施の形態３による入力表示装置のハードウェア構成図である。
【図１７】この発明の実施の形態３による入力表示装置の処理内容である入力表示方法を示すフローチャートである。
【図１８】音声の言語に対応する軌跡画像の色を示す説明図である。
【図１９】この発明の実施の形態４による入力表示装置を示す構成図である。
【図２０】この発明の実施の形態４による入力表示装置のハードウェア構成図である。
【図２１】操作受付部１により受け付けられる操作が切り換えられた際の処理内容を示すフローチャートである。
【図２２】操作受付部１により受け付けられる操作を切り換えるための操作の一例を示す説明図である。
【図２３】絵書きの操作内容にしたがって生成される絵の画像の一例を示す説明図である。
【発明を実施するための形態】
【０００９】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面にしたがって説明する。
【００１０】
実施の形態１．
図１はこの発明の実施の形態１による入力表示装置を示す構成図であり、図２はこの発明の実施の形態１による入力表示装置のハードウェア構成図である。
図１及び図２において、操作受付部１はポインティングデバイス２１で実現され、ユーザの操作として、なぞり書きの操作を受け付ける処理を実施する。
この実施の形態１では、ポインティングデバイス２１として、タッチパネルを用いるものを想定しているが、タッチパネルに限るものではなく、例えば、ジョイスティック、ポインティング・スティック（トラックポイント）、タッチパッド、スタイラス、データグローブ、トラックボール、ペンタブレット、マウス、ライトペン、ジョイパッドなどを用いることができる。
【００１１】
文字管理ＤＢ２は例えばＲＡＭやハードディスクなどのメモリ２２で実現され、文字種と文字サイズと文字高と文字幅との対応関係を示す文字属性表を記憶している。
文字管理部３は例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を実装している半導体集積回路やワンチップマイコンなどで構成されている文字管理処理回路２３で実現されるものである。文字管理部３は事前にディスプレイ２９に表示する文字のサイズが設定され、文字管理ＤＢ２に記憶されている文字属性表を参照して、その文字サイズに対応する文字高を示す文字属性情報を軌跡画像生成部４に出力する処理を実施する。
【００１２】
軌跡画像生成部４は例えばＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を実装している半導体集積回路やワンチップマイコンなどで構成されている画像生成処理回路２４で実現されるものである。軌跡画像生成部４は操作受付部１により受け付けられたなぞり書きの操作から、なぞり書きにより描かれる線の軌跡を判別して、その軌跡を示す軌跡画像を生成する処理を実施する。その際、文字管理部３から出力された文字属性情報が示す文字高に対応する線幅の軌跡画像を生成する。
【００１３】
文字列取得部５は音声検出部６、音声認識辞書ＤＢ７及び音声認識部８から構成されており、音声の認識結果を示す文字列を取得する処理を実施する。
音声検出部６は例えばマイク２５で実現され、ユーザの音声を検出する。
音声認識辞書ＤＢ７は例えばＲＡＭやハードディスクなどのメモリ２６で実現されるものであり、音声認識辞書ＤＢ７は、例えば、人間の発声の小さな単位である音素の音響特徴が記述されている音響モデルと、音声認識する言葉が記述されている認識辞書とから構成されている。
音声認識部８は例えばＣＰＵを実装している半導体集積回路やワンチップマイコンなどで構成されている音声認識処理回路２７で実現されるものであり、音声検出部６により検出された音声を認識する音声認識エンジンを搭載している。
即ち、音声認識部８は音声検出部６により検出された音声を分析して、その音声の音響特徴を算出し、音声認識辞書ＤＢ７の認識辞書に記述されている言葉の中から、その算出した音響特徴と最も近い音響特徴を有する言葉を探索し、その言葉を示す文字列を音声の認識結果を示す文字列として表示制御部９に出力する処理を実施する。
【００１４】
図１では、文字列取得部５が音声認識辞書ＤＢ７及び音声認識部８を実装している例を示しているが、音声認識辞書ＤＢ７及び音声認識部８の代わりに、データ送受信部が実装されているものであってもよい。
このデータ送受信部は、例えば、インターネットやＬＡＮなどの通信経路を介して、図示せぬ音声認識サーバとデータの送受信を行うことが可能なネットワークカードなどのネットワーク通信機器であり、音声検出部６により検出された音声を示すデータを音声認識サーバに送信する。
音声認識サーバは、音声を認識する音声認識エンジンを搭載しており、データ送受信部から送信された音声を示すデータを受信すると、その音声を認識して、その音声の認識結果を示す文字列を当該データ送受信部に送信する。
このデータ送受信部は、音声認識サーバから送信された音声の認識結果を示す文字列を受信すると、その文字列を表示制御部９に出力する。
【００１５】
表示制御部９は例えばＧＰＵを実装している半導体集積回路やワンチップマイコンなどで構成されている表示処理回路２８で実現されるものである。表示制御部９は軌跡画像生成部４により生成された軌跡画像をディスプレイ２９に表示するとともに、文字列取得部５により取得された文字列を軌跡画像の上に重ねて表示する処理を実施する。
即ち、表示制御部９は文字列取得部５の音声認識部８から文字列が出力される前に、軌跡画像生成部４により軌跡画像が生成された場合、その軌跡画像をディスプレイ２９に表示した後、文字列取得部５の音声認識部８から出力された文字列を軌跡画像の上に重ねて表示する。一方、軌跡画像生成部４により軌跡画像が生成される前に、文字列取得部５の音声認識部８から文字列が出力された場合、軌跡画像生成部４により軌跡画像が生成されるまで待機し、軌跡画像生成部４により軌跡画像が生成されると、その軌跡画像をディスプレイ２９に表示するとともに、その文字列を軌跡画像の上に重ねて表示する処理を実施する。
また、表示制御部９は文字列を軌跡画像の上に重ねて表示した後、その軌跡画像の表示を消す処理を実施する。
文字列一時保存部１０は例えばＲＡＭやハードディスクなどのメモリ３０で実現され、文字列取得部５の音声認識部８から出力された文字列を一時的に保存する。
【００１６】
図１では、入力表示装置の構成要素である操作受付部１、文字管理ＤＢ２、文字管理部３、軌跡画像生成部４、文字列取得部５、表示制御部９及び文字列一時保存部１０のそれぞれが専用のハードウェアで構成されているものを想定しているが、入力表示装置がコンピュータで構成されているものであってもよい。
図３は入力表示装置がコンピュータで構成される場合のハードウェア構成図である。
入力表示装置がコンピュータで構成される場合、文字管理ＤＢ２、音声認識辞書ＤＢ７及び文字列一時保存部１０をコンピュータのメモリ４１上に構成するとともに、操作受付部１、文字管理部３、軌跡画像生成部４、音声検出部６、音声認識部８及び表示制御部９の処理内容を記述しているプログラムをメモリ４１に格納し、プロセッサ４２がメモリ４１に格納されているプログラムを実行するようにすればよい。
図４及び図５はこの発明の実施の形態１による入力表示装置の処理内容である入力表示方法を示すフローチャートである。
【００１７】
次に動作について説明する。
図６は文字管理ＤＢ２に記憶されている文字属性表を示す説明図である。
図６の文字属性表では、各々の文字種（例えば、明朝体、ゴシック体など）毎に、文字サイズに対応している文字高と文字幅が記述されている。
文字管理部３には、ディスプレイ２９に表示する文字のサイズが事前に設定されており、文字管理部３は、文字管理ＤＢ２に記憶されている文字属性表を参照して、その文字サイズに対応する文字高を示す文字属性情報を軌跡画像生成部４に出力する（図４のステップＳＴ１）。
例えば、事前に設定されている文字の文字種が“Ａ”で、その文字サイズが“１０”であれば、文字高が“５ｍｍ”であることを示す文字属性情報が軌跡画像生成部４に出力される。
また、事前に設定されている文字の文字種が“Ｂ”で、その文字サイズが“５”であれば、文字高が“２ｍｍ”であることを示す文字属性情報が軌跡画像生成部４に出力される。
また、文字管理部３は、その文字サイズに対応する文字高及び文字幅を示す文字属性情報を表示制御部９に出力する。
【００１８】
軌跡画像生成部４は、文字管理部３から文字属性情報を受けると、生成する軌跡画像の線幅を文字属性情報が示す文字高に対応する線幅に設定する（ステップＳＴ２）。
例えば、文字属性情報が示す文字高が“１０ｍｍ”であるとき、仮に文字の上部及び下部の余白が“０．５ｍｍ”に設定されているとすれば、軌跡画像の線幅を“１１ｍｍ”に設定する。
１１＝１０＋０．５＋０．５（ｍｍ）
ここでは、文字の上部及び下部に余白を設ける例を示しているが、余白を設けずに、文字属性情報が示す文字高と軌跡画像の線幅が一致するものであってもよい。
【００１９】
この実施の形態１では、操作受付部１を実現しているポインティングデバイス２１がタッチパネルであるものを想定しているので、ユーザが自己の指や、タッチパネル用の入力ペンなどを用いて、なぞり書きの操作をタッチパネルに行うと（ステップＳＴ３：ＹＥＳの場合）、操作受付部１が、なぞり書きの操作を受け付けて、なぞり書きの操作内容を軌跡画像生成部４に出力する（ステップＳＴ４）。
なぞり書きの操作内容は、タッチパネルに接触している指や入力ペンの位置（タッチパネル上の座標）の連続的な変化を示す時系列データに相当するものである。
【００２０】
軌跡画像生成部４は、操作受付部１からなぞり書きの操作内容を受けると、その操作内容からなぞり書きにより描かれる線の軌跡を判別する（ステップＳＴ５）。
なぞり書きの操作内容は、上述したように、タッチパネルに対する接触位置の連続的な変化を示しているので、時系列の接触位置を繋ぎ合わせることで、なぞり書きにより描かれる線の軌跡を判別することができる。
軌跡画像生成部４は、なぞり書きにより描かれる線の軌跡を判別すると、その軌跡を示す軌跡画像を生成し、その軌跡画像を表示制御部９に出力する（ステップＳＴ６）。
この軌跡画像の線幅は、ステップＳＴ２で設定した線幅であり、上記の例では、軌跡画像の線幅を“１１ｍｍ”に設定しているので、線幅が“１１ｍｍ”の軌跡画像を生成する。
【００２１】
文字列取得部５の音声認識部８は、音声検出部６がユーザの音声を検出すると（ステップＳＴ７：ＹＥＳの場合）、音声認識辞書ＤＢ７を利用して、その音声の認識処理を実施することで、その音声の認識結果を示す文字列（テキスト）を生成し、その文字列を表示制御部９に出力する（ステップＳＴ８）。
音声認識部８による音声の認識処理自体は公知の技術であるため詳細な説明を省略するが、例えば、音声検出部６により検出された音声を分析して、その音声の音響特徴を算出し、音声認識辞書ＤＢ７の認識辞書に記述されている言葉の中から、その算出した音響特徴と最も近い音響特徴を有する言葉を探索し、その言葉を示す文字列を音声の認識結果を示す文字列として出力する方法が考えられる。
この実施の形態１では、説明の便宜上、ユーザが「春になったら桜を見に行きましょう」という発話をしており、音声認識部８が「春になったら桜を見に行きましょう」を示す文字列を出力するものとする。
【００２２】
ここで、図７は音声の認識結果を示す文字列が生成される前に軌跡画像が生成された場合の表示処理を示す説明図である。
また、図８は軌跡画像が生成される前に音声の認識結果を示す文字列が生成された場合の表示処理を示す説明図である。
表示制御部９は、文字列取得部５の音声認識部８から文字列が出力される前に、軌跡画像生成部４から軌跡画像が出力されると（図５のステップＳＴ１１：ＹＥＳの場合）、図７（ａ）に示すように、その軌跡画像をディスプレイ２９に表示する（ステップＳＴ１２）。
ここで、軌跡画像の表示は、軌跡画像の全体を同時に表示するようにしてもよいが、後で表示する文字列の先頭側から順次表示するアニメーションを行うようにしてもよい。
【００２３】
表示制御部９は、文字列取得部５の音声認識部８から文字列が出力されるまで待機し（ステップＳＴ１３：ＮＯの場合）、図７（ｂ）に示すように、ユーザが発話することで、音声認識部８から音声の認識結果を示す文字列が出力されると（ステップＳＴ１３：ＹＥＳの場合）、図７（ｃ）に示すように、その文字列を軌跡画像の上に重ねて表示する（ステップＳＴ１４）。軌跡画像の上に表示する文字列における文字の大きさは、文字管理部３から出力された文字属性情報が示す文字高及び文字幅に対応している。
ここで、文字列の表示は、文字列を構成している全ての文字を同時に表示するようにしてもよいが、文字列の先頭の文字から順番に後尾の文字まで表示するアニメーション表示の形態であってもよい。
【００２４】
表示制御部９は、図８（ａ）に示すように、ユーザがなぞり書きの操作を行う前に発話することで、軌跡画像生成部４から軌跡画像が出力される前に、文字列取得部５の音声認識部８から文字列が出力されると（図５のステップＳＴ１１：ＮＯの場合）、その文字列を文字列一時保存部１０に格納して、軌跡画像生成部４から軌跡画像が出力されるまで待機する（ステップＳＴ１５：ＮＯの場合）。
表示制御部９は、その後、ユーザがなぞり書きの操作を行うことで、軌跡画像生成部４から軌跡画像が出力されると（ステップＳＴ１５：ＹＥＳの場合）、文字列一時保存部１０から文字列を読み出し、図８（ｂ）に示すように、その軌跡画像をディスプレイ２９に表示するとともに、その文字列を軌跡画像の上に重ねて表示する。即ち、表示制御部９は、軌跡画像と文字列を同じ位置に重ねて表示する（ステップＳＴ１６）。ただし、軌跡画像及び文字列の表示は、全体を同時に表示するようにしてもよいが、文字列の先頭側から順次表示するアニメーション表示の形態であってもよい。
【００２５】
表示制御部９は、文字列を軌跡画像の上に重ねて表示すると、図７（ｄ）（ｅ）及び図８（ｃ）（ｄ）に示すように、軌跡画像を消して、文字列のみを表示している状態にする（ステップＳＴ１７）。
軌跡画像の消去は、軌跡画像の全体を同時に消去するようにしてもいが、文字列の先頭側から順次に消去するアニメーションを行うようにしてもよい。
ここでは、軌跡画像と文字列を重ねて表示してから、一定時間後に、軌跡画像を消去するものを想定しているが、文字列の表示が完了すると、直ちに、軌跡画像を消去するものであってもよい。
【００２６】
以上で明らかなように、この実施の形態１によれば、なぞり書きの操作を受け付ける操作受付部１と、操作受付部１により受け付けられたなぞり書きの操作から、なぞり書きにより描かれる線の軌跡を判別して、その軌跡を示す軌跡画像を生成する軌跡画像生成部４と、音声の認識結果を示す文字列を取得する文字列取得部５とを設け、表示制御部９が、軌跡画像生成部４により生成された軌跡画像をディスプレイ２９に表示するとともに、文字列取得部５により取得された文字列を軌跡画像の上に重ねて表示するように構成したので、ユーザの自由なレイアウトで、音声の認識結果を示す文字列を表示することができる効果を奏する。
【００２７】
また、この実施の形態１によれば、表示制御部９が、文字列取得部５の音声認識部８から文字列が出力される前に、軌跡画像生成部４により軌跡画像が生成された場合、その軌跡画像をディスプレイ２９に表示した後、文字列取得部５の音声認識部８から出力された文字列を軌跡画像の上に重ねて表示する一方、軌跡画像生成部４により軌跡画像が生成される前に、文字列取得部５の音声認識部８から文字列が出力された場合、軌跡画像生成部４により軌跡画像が生成されるまで待機し、軌跡画像生成部４により軌跡画像が生成されると、その軌跡画像をディスプレイ２９に表示するとともに、その文字列を軌跡画像の上に重ねて表示するように構成したので、ユーザが発話する前になぞり書きの操作を行った場合、音声の認識結果を示す文字列が表示される位置を事前に把握することができる。したがって、ユーザが文字列の表示イメージをつかむことができる効果を奏する。また、ユーザがなぞり書きの操作を行う前に発話した場合、なぞり書きの操作が行われると、直ちに軌跡画像と文字列が同じ位置に重ねて表示されるため、応答性が高い操作感をユーザに与えることができる効果を奏する。
【００２８】
実施の形態２．
上記実施の形態１では、軌跡画像の線幅が事前に設定されている文字サイズの文字高に対応する線幅に設定されるものを示したが、ユーザによるなぞり書きの操作の状態に応じて軌跡画像の線幅が設定されるようにしてもよい。
【００２９】
図９はこの発明の実施の形態２による入力表示装置を示す構成図であり、図１０はこの発明の実施の形態２による入力表示装置のハードウェア構成図である。
図９及び図１０において、図１及び図２と同一符号は同一または相当部分を示すので説明を省略する。
操作状態検知部１１は例えばＣＰＵを実装している半導体集積回路やワンチップマイコンなどで構成されている操作状態検知処理回路３１で実現されるものであり、操作受付部１により受け付けられた操作の状態を検知する処理を実施する。
即ち、操作状態検知部１１は、操作受付部１により受け付けられた操作の状態として、例えば、ポインティングデバイス２１であるタッチパネルに対するユーザの指や入力ペンの圧力（筆圧）を感知する。
【００３０】
軌跡画像生成部１２は例えばＧＰＵを実装している半導体集積回路やワンチップマイコンなどで構成されている画像生成処理回路３２で実現されるものである。軌跡画像生成部１２は、図１の軌跡画像生成部４と同様に、操作受付部１により受け付けられたなぞり書きの操作から、なぞり書きにより描かれる線の軌跡を判別して、その軌跡を示す軌跡画像を生成する処理を実施する。その際、図１の軌跡画像生成部４と異なり、操作状態検知部１１により検知された操作の状態に対応する線幅の軌跡画像を生成する。
【００３１】
表示制御部１３は例えばＧＰＵを実装している半導体集積回路やワンチップマイコンなどで構成されている表示処理回路３３で実現されるものであり、図１の表示制御部９と同様の表示処理を実施する。
また、表示制御部１３は軌跡画像生成部１２により設定された線幅に応じて、文字列取得部５により取得された文字列を構成する文字の文字サイズを変更し、変更後の文字サイズで文字列を軌跡画像の上に重ねて表示する処理を実施する。
【００３２】
図９では、入力表示装置の構成要素である操作受付部１、文字管理ＤＢ２、文字管理部３、操作状態検知部１１、軌跡画像生成部１２、文字列取得部５、表示制御部１３及び文字列一時保存部１０のそれぞれが専用のハードウェアで構成されているものを想定しているが、入力表示装置がコンピュータで構成されているものであってもよい。
入力表示装置がコンピュータで構成される場合、文字管理ＤＢ２、音声認識辞書ＤＢ７及び文字列一時保存部１０を図３に示すコンピュータのメモリ４１上に構成するとともに、操作受付部１、文字管理部３、操作状態検知部１１、軌跡画像生成部１２、音声検出部６、音声認識部８及び表示制御部１３の処理内容を記述しているプログラムをメモリ４１に格納し、プロセッサ４２がメモリ４１に格納されているプログラムを実行するようにすればよい。
図１１及び図５はこの発明の実施の形態２による入力表示装置の処理内容である入力表示方法を示すフローチャートである。
図１１において、図４と同一のステップ番号は同一または相当部分を示すものである。
【００３３】
次に動作について説明する。
この実施の形態２では、ポインティングデバイス２１であるタッチパネルに筆圧を感知する筆圧感知センサが搭載されているものとする。
操作状態検知部１１は、ポインティングデバイス２１に搭載されている筆圧感知センサから筆圧の感知結果を取得することで、操作受付部１により受け付けられた操作の状態として、ポインティングデバイス２１であるタッチパネルに対するユーザの筆圧を検知する（図１１のステップＳＴ２１）。
【００３４】
軌跡画像生成部１２は、操作状態検知部１１が操作受付部１により受け付けられた操作の状態として、ユーザの筆圧を検知すると、ユーザの筆圧と文字管理部３から出力された文字属性情報が示す文字高とから、生成する軌跡画像の線幅を設定する（ステップＳＴ２２）。
例えば、文字属性情報が示す文字高を軌跡画像の基準の線幅に設定し、ユーザの筆圧が事前に設定されている基準値以上であれば、その筆圧が基準値より大きい程、大きなオフセット値を設定し、基準の線幅とオフセット値を加算した値を最終的な軌跡画像の線幅に決定する。
最終的な軌跡画像の線幅＝基準の線幅＋オフセット値
一方、ユーザの筆圧が事前に設定されている基準値より小さければ、その筆圧が基準値より小さい程、大きなオフセット値を設定し、基準の線幅からオフセット値を減算した値を最終的な軌跡画像の線幅に決定する。
最終的な軌跡画像の線幅＝基準の線幅−オフセット値
【００３５】
表示制御部１３は、図１の表示制御部９と同様に、図５のフローチャートにしたがって軌跡画像と文字列をディスプレイ２９に表示する。
ただし、この実施の形態２では、軌跡画像の線幅をユーザの筆圧に応じて設定しているので、軌跡画像生成部１２が最終的な軌跡画像の線幅を基準の線幅より太くしている場合には、最終的な軌跡画像の線幅に応じて、文字列を構成する文字の文字サイズを大きくして、文字列を軌跡画像の上に表示する。
例えば、基準の線幅（＝文字属性情報が示す文字高）が“５ｍｍ”であるとき、最終的な軌跡画像の線幅を“１０ｍｍ”に設定していれば、文字列を構成する文字の文字高を“１０ｍｍ”に変更して、文字列を軌跡画像の上に表示する。ここでは、文字高と軌跡画像の線幅が一致する例を示しているが、文字の上部及び下部に余白を設ける場合、例えば、上部及び下部の余白が共に“１ｍｍ”であるとすれば、文字列を構成する文字の文字高を“８ｍｍ”に変更して、文字列を軌跡画像の上に表示する。
【００３６】
また、表示制御部１３は、軌跡画像生成部１２が最終的な軌跡画像の線幅を基準の線幅より細くしている場合には、最終的な軌跡画像の線幅に応じて、文字列を構成する文字の文字サイズを小さくして、文字列を軌跡画像の上に表示する。
例えば、基準の線幅（＝文字属性情報が示す文字高）が“５ｍｍ”であるとき、最終的な軌跡画像の線幅を“３ｍｍ”に設定していれば、文字列を構成する文字の文字高を“３ｍｍ”に変更して、文字列を軌跡画像の上に表示する。ここでは、文字高と軌跡画像の線幅が一致する例を示しているが、文字の上部及び下部に余白を設ける場合、例えば、上部及び下部の余白が共に“０．５ｍｍ”であるとすれば、文字列を構成する文字の文字高を“２ｍｍ”に変更して、文字列を軌跡画像の上に表示する。
【００３７】
図１２はユーザの筆圧に応じて線幅が設定された軌跡画像を示す説明図である。
図１２（ａ）は、ユーザの筆圧が基準値以上であるために、太い線幅が設定された軌跡画像を示しており、図１２（ｂ）は、ユーザの筆圧が基準値未満であるために、細い線幅が設定された軌跡画像を示している。
【００３８】
この実施の形態２では、操作状態検知部１１が、操作受付部１により受け付けられた操作の状態として、ポインティングデバイス２１であるタッチパネルに対するユーザの筆圧を検知する例を示したが、これは一例に過ぎず、例えば、操作受付部１により受け付けられた操作の状態として、ユーザが、ポインティングデバイス２１であるタッチパネルをなぞる速度を検知するようにしてもよい。
タッチパネルをなぞる速度については、操作状態検知部１１が、操作受付部１により受け付けられたなぞり書きの操作内容から、タッチパネルに対する接触位置の連続的な変化を特定すれば、タッチパネルに対する接触位置の単位時間当りの変化から求めることができる。
【００３９】
軌跡画像生成部１２は、操作状態検知部１１が操作受付部１により受け付けられた操作の状態として、タッチパネルをなぞる速度を検知すると、なぞる速度と文字管理部３から出力された文字属性情報が示す文字高とから、生成する軌跡画像の線幅を設定する。
例えば、文字属性情報が示す文字高を軌跡画像の基準の線幅に設定し、なぞる速度が事前に設定されている基準値以上であれば、なぞる速度が基準値より速い程、大きなオフセット値を設定し、基準の線幅とオフセット値を加算した値を最終的な軌跡画像の線幅に決定する。
最終的な軌跡画像の線幅＝基準の線幅＋オフセット値
一方、なぞる速度が事前に設定されている基準値より遅ければ、なぞる速度が基準値より遅い程、大きなオフセット値を設定し、基準の線幅からオフセット値を減算した値を最終的な軌跡画像の線幅に決定する。
最終的な軌跡画像の線幅＝基準の線幅−オフセット値
【００４０】
図１３はなぞる速度に応じて線幅が設定された軌跡画像を示す説明図である。
図１３（ａ）は、なぞる速度が基準値以上であるために、太い線幅が設定された軌跡画像を示しており、図１３（ｂ）は、なぞる速度が基準値未満であるために、細い線幅が設定された軌跡画像を示している。
【００４１】
この実施の形態２では、ユーザの筆圧やなぞる速度が均一である例を示したが、ユーザの筆圧やなぞる速度が途中で変化する場合には、軌跡画像生成部１２が、線幅が途中で変化する軌跡画像を生成するようにしてもよい。
図１４は途中で変化するユーザの筆圧やなぞる速度に応じて線幅が設定された軌跡画像を示す説明図である。
図１４（ａ）は、なぞる速度が徐々に速くなっている場合や、ユーザの筆圧が徐々に強くなっている場合の軌跡画像を示しており、軌跡画像の線幅が徐々に太くなっている。
図１４（ｂ）は、なぞる速度やユーザの筆圧が不規則に変化している場合の軌跡画像を示しており、軌跡画像の線幅が太くなったり、細くなったりしている。
【００４２】
以上で明らかなように、この実施の形態２によれば、操作受付部１により受け付けられた操作の状態を検知する操作状態検知部１１を備え、軌跡画像生成部１２が、操作状態検知部１１により検知された操作の状態に対応する線幅の軌跡画像を生成するように構成したので、文字列の表示形態の多様化を図ることができる効果を奏する。
【００４３】
この実施の形態２では、軌跡画像生成部１２が、操作状態検知部１１が操作受付部１により受け付けられた操作の状態（例えば、ユーザの筆圧）と、文字管理部３から出力された文字属性情報が示す文字高とから、生成する軌跡画像の線幅を設定するものを示したが、文字管理部３から出力される文字属性情報が示す文字高を使用せずに、操作受付部１により受け付けられた操作の状態のみから、生成する軌跡画像の線幅を設定するようにしてもよい。
例えば、ユーザの筆圧（または、なぞる速度）と、軌跡画像の線幅との対応関係を格納しているテーブルを用意し、軌跡画像生成部１２が、そのテーブルからユーザの筆圧（または、なぞる速度）に対応する線幅を読み出し、その線幅を軌跡画像の線幅に設定する態様が考えられる。
【００４４】
この実施の形態２では、操作受付部１により受け付けられた操作の状態に対応する線幅の軌跡画像を生成するものを示したが、操作受付部１により受け付けられた操作の状態に応じて、ディスプレイ２９に表示する文字の濃淡を変えるようにしてもよい。例えば、ユーザの筆圧が強い程、あるいは、なぞる速度が速い程、文字の濃淡を濃くする態様が考えられる。また、操作受付部１により受け付けられた操作の状態に応じて、ディスプレイ２９に表示する文字の太さを変えるようにしてもよい。例えば、ユーザの筆圧が強い程、あるいは、なぞる速度が速い程、文字の太さを太くする態様が考えられる。
また、軌跡画像生成部１２により生成された軌跡画像の線幅に応じて、その軌跡画像に重ねて表示する文字の文字高を変えるものを示したが、軌跡画像の線幅に応じて、文字列を構成する文字の文字種を変えるようにしてもよい。
例えば、軌跡画像の線幅が徐々に太くなる場合、文字種を文字種Ａ→文字種Ｂ→文字種Ｃのように変える態様が考えられる。
【００４５】
実施の形態３．
上記実施の形態１，２では、表示制御部９，１３が、軌跡画像生成部４，１２により生成された軌跡画像をディスプレイ２９に表示するものを示したが、音声の言語の判別結果を取得し、その判別結果が示す言語に対応する色で、軌跡画像を表示するようにしてもよい。
【００４６】
図１５はこの発明の実施の形態３による入力表示装置を示す構成図であり、図１６はこの発明の実施の形態３による入力表示装置のハードウェア構成図である。
図１５及び図１６において、図９及び図１０と同一符号は同一または相当部分を示すので説明を省略する。
文字列取得部５の言語判別部１４は例えばＣＰＵを実装している半導体集積回路やワンチップマイコンなどで構成されている言語判別処理回路３４で実現されるものであり、音声検出部６により検出された音声の言語判別処理を実施し、その言語の判別結果を表示制御部１５に出力する。
【００４７】
この実施の形態３では、文字列取得部５が言語判別部１４を実装している例を示しているが、言語判別部１４の代わりに、データ送受信部が実装されているものであってもよい。
このデータ送受信部は、例えば、インターネットやＬＡＮなどの通信経路を介して、図示せぬ言語判別サーバとデータの送受信を行うことが可能なネットワークカードなどのネットワーク通信機器であり、音声検出部６により検出された音声を示すデータを言語判別サーバに送信する。
言語判別サーバは、音声の言語を判別する言語判別エンジンを搭載しており、データ送受信部から送信された音声を示すデータを受信すると、その音声を認識して、その音声の言語判別結果を当該データ送受信部に送信する。
このデータ送受信部は、言語判別サーバから送信された音声の言語判別結果を表示制御部１５に出力する。
【００４８】
表示制御部１５は例えばＧＰＵを実装している半導体集積回路やワンチップマイコンなどで構成されている表示処理回路３５で実現されるものであり、図９の表示制御部１３と同様の表示処理を実施する。
また、表示制御部１５は言語判別部１４から出力された判別結果が示す言語に対応する色で、軌跡画像生成部１２により生成された軌跡画像をディスプレイ２９に表示する処理を実施する。
【００４９】
図１５では、入力表示装置の構成要素である操作受付部１、文字管理ＤＢ２、文字管理部３、操作状態検知部１１、軌跡画像生成部１２、文字列取得部５、表示制御部１５及び文字列一時保存部１０のそれぞれが専用のハードウェアで構成されているものを想定しているが、入力表示装置がコンピュータで構成されているものであってもよい。
入力表示装置がコンピュータで構成される場合、文字管理ＤＢ２、音声認識辞書ＤＢ７及び文字列一時保存部１０を図３に示すコンピュータのメモリ４１上に構成するとともに、操作受付部１、文字管理部３、操作状態検知部１１、軌跡画像生成部１２、音声検出部６、音声認識部８、言語判別部１４及び表示制御部１５の処理内容を記述しているプログラムをメモリ４１に格納し、プロセッサ４２がメモリ４１に格納されているプログラムを実行するようにすればよい。
図１７及び図５はこの発明の実施の形態３による入力表示装置の処理内容である入力表示方法を示すフローチャートである。
図１７において、図１１と同一のステップ番号は同一または相当部分を示すものである。
【００５０】
次に動作について説明する。
文字列取得部５の言語判別部１４は、音声検出部６がユーザの音声を検出すると、その音声の言語判別処理を実施し、その言語の判別結果を表示制御部１５に出力する（図１７のステップＳＴ９）。音声の言語判別処理自体は公知の技術であるため詳細な説明を省略する。
【００５１】
表示制御部１５は、図９の表示制御部１３と同様に、図５のフローチャートにしたがって軌跡画像と文字列をディスプレイ２９に表示する。
ただし、表示制御部１５は、図９の表示制御部１３と異なり、言語判別部１４から出力された判別結果が示す言語に対応する色で、軌跡画像生成部１２により生成された軌跡画像をディスプレイ２９に表示する。
なお、音声検出部６がユーザの音声を検出するまでは、言語判別部１４が音声の言語を判別することができないでの、音声検出部６がユーザの音声を検出する前に、軌跡画像生成部１２により軌跡画像が生成された場合、音声検出部６がユーザの音声を検出するまでの間、表示制御部１５は、軌跡画像の表示を行わない。また、音声検出部６がユーザの音声を検出するまでの間はグレーの色で軌跡を表示し、ユーザの音声を検出して言語の判別結果が出たら言語に対応する色で軌跡画像を表示するようにしてもよい。
【００５２】
図１８は音声の言語に対応する軌跡画像の色を示す説明図である。
図１８（ａ）は音声の言語が日本語である場合を示しており、軌跡画像が例えば青色で表示される。
図１８（ｂ）は音声の言語が英語である場合を示しており、軌跡画像が例えば赤色で表示される。
ここでは、音声の言語が日本語であれば、青色の軌跡画像を表示し、音声の言語が英語であれば、赤色の軌跡画像を表示する例を示しているが、あくまでも一例に過ぎず、他の色で表示してもよいことは言うまでもない。
【００５３】
以上で明らかなように、この実施の形態３によれば、音声検出部６により検出された音声の言語判別処理を実施して、その言語の判別結果を出力する言語判別部１４を備え、表示制御部１５が、言語判別部１４から出力された判別結果が示す言語に対応する色で、軌跡画像生成部１２により生成された軌跡画像をディスプレイ２９に表示するように構成したので、どの言語の文字が表示されているかを直感的に把握することができる効果を奏する。
【００５４】
実施の形態４．
上記実施の形態１〜３では、軌跡画像と文字列が表示された後、軌跡画像が消されることで、最終的には、文字列だけがディスプレイ２９に表示されるものを示したが、ユーザの絵書きの操作にしたがって生成された絵の画像がディスプレイ２９に表示されるようにしてもよい。
【００５５】
図１９はこの発明の実施の形態４による入力表示装置を示す構成図であり、図２０はこの発明の実施の形態４による入力表示装置のハードウェア構成図である。
図１９及び図２０において、図１５及び図１６と同一符号は同一または相当部分を示すので説明を省略する。
操作切換部１６は例えばＣＰＵを実装している半導体集積回路やワンチップマイコンなどで構成されている操作切換処理回路３６で実現されるものであり、操作受付部１により受け付けられる操作を切り換えるための操作として、例えば、ポインティングデバイス２１の長押し操作を検出すると、操作受付部１により受け付けられる操作を切り換える処理を実施する。
即ち、操作切換部１６は操作受付部１により受け付けられる操作がなぞり書きの操作であるとき、ポインティングデバイス２１の長押し操作を検出すると、操作受付部１により受け付けられる操作を、ディスプレイ２９に絵を描画する絵書きの操作に切り換える処理を実施する。一方、操作受付部１により受け付けられる操作が絵書きの操作であるとき、ポインティングデバイス２１の長押し操作を検出すると、操作受付部１により受け付けられる操作をなぞり書きの操作に切り換える処理を実施する。
【００５６】
絵画像生成部１７は例えばＧＰＵを実装している半導体集積回路やワンチップマイコンなどで構成されている画像生成処理回路３７で実現されるものであり、操作切換部１６により切り換えられた操作が、絵書きの操作であれば、操作受付部１により受け付けられた絵書きの操作にしたがって絵の画像を生成する処理を実施する。
表示制御部１８は例えばＧＰＵを実装している半導体集積回路やワンチップマイコンなどで構成されている表示処理回路３８で実現されるものであり、操作切換部１６により切り換えられた操作が、なぞり書きの操作であれば、図１５の表示制御部１５と同様の表示処理を実施する。
表示制御部１８は操作切換部１６により切り換えられた操作が、絵書きの操作であれば、絵画像生成部１７により生成された絵の画像をディスプレイ２９に表示する処理を実施する。
【００５７】
図１９では、入力表示装置の構成要素である操作受付部１、文字管理ＤＢ２、文字管理部３、操作状態検知部１１、軌跡画像生成部１２、操作切換部１６、絵画像生成部１７、文字列取得部５、表示制御部１８及び文字列一時保存部１０のそれぞれが専用のハードウェアで構成されているものを想定しているが、入力表示装置がコンピュータで構成されているものであってもよい。
入力表示装置がコンピュータで構成される場合、文字管理ＤＢ２、音声認識辞書ＤＢ７及び文字列一時保存部１０を図３に示すコンピュータのメモリ４１上に構成するとともに、操作受付部１、文字管理部３、操作状態検知部１１、軌跡画像生成部１２、操作切換部１６、絵画像生成部１７、音声検出部６、音声認識部８、言語判別部１４及び表示制御部１８の処理内容を記述しているプログラムをメモリ４１に格納し、プロセッサ４２がメモリ４１に格納されているプログラムを実行するようにすればよい。
図２１は操作受付部１により受け付けられる操作が切り換えられた際の処理内容を示すフローチャートである。
【００５８】
次に動作について説明する。
操作切換部１６は、操作受付部１により受け付けられる操作を切り換えるための操作として、長押し操作を検出すると（図２１のステップＳＴ３１：ＹＥＳの場合）、操作受付部１により受け付けられる操作を切り換える処理を実施する（ステップＳＴ３２）。
図２２は操作受付部１により受け付けられる操作を切り換えるための操作の一例を示す説明図である。
図２２では、操作受付部１により受け付けられる操作を切り換えるための操作が、長押し操作である例を示しており、長押し操作は、例えば、ポインティングデバイス２１であるタッチパネルの同じ場所を予め設定された時間以上継続して、ユーザの指が触れている操作である。
即ち、操作切換部１６は、現時点において、操作受付部１により受け付けられる操作がなぞり書きの操作であるとき、ポインティングデバイス２１の長押し操作を検出すると、以降、操作受付部１により受け付けられる操作を絵書きの操作に切り換える指令を操作受付部１に出力する。
一方、現時点において、操作受付部１により受け付けられる操作が絵書きの操作であるとき、ポインティングデバイス２１の長押し操作を検出すると、以降、操作受付部１により受け付けられる操作をなぞり書きの操作に切り換える指令を操作受付部１に出力する。
【００５９】
操作受付部１は、操作切換部１６の指令にしたがって受け付ける操作を切り換える。
したがって、操作受付部１は、受け付ける操作をなぞり書きの操作に切り換えている状態では（ステップＳＴ３３：ＹＥＳの場合）、上記実施の形態１〜３と同様に、なぞり書きの操作を受け付けて、なぞり書きの操作内容を軌跡画像生成部１２に出力する（ステップＳＴ３４）。
また、操作受付部１は、受け付ける操作を絵書きの操作に切り換えている状態では（ステップＳＴ３３：ＮＯの場合）、絵書きの操作を受け付けて、絵書きの操作内容を絵画像生成部１７に出力する（ステップＳＴ３５）。
【００６０】
軌跡画像生成部１２は、操作受付部１がなぞり書きの操作を受け付けると、上記実施の形態２と同様に、そのなぞり書きの操作内容にしたがって軌跡画像を生成する（ステップＳＴ３６）。
絵画像生成部１７は、操作受付部１が絵書きの操作を受け付けると、その絵書きの操作内容にしたがって絵の画像を生成する（ステップＳＴ３７）。
図２３は絵書きの操作内容にしたがって生成される絵の画像の一例を示す説明図である。
絵書きの操作内容にしたがって絵の画像を生成する処理自体は公知の技術であるため詳細な説明を省略する。なお、絵書きの操作内容には、線を描画する機能のほかに、描画する線の太さや色を変える機能や、線を消去する消しゴムの機能などが含まれていてもよい。
【００６１】
表示制御部１８は、軌跡画像生成部１２が軌跡画像を生成すると、図１５の表示制御部１５と同様に、その軌跡画像と文字列取得部５から出力された文字列をディスプレイ２９に表示する処理を実施する（ステップＳＴ３８）。
また、表示制御部１８は、絵画像生成部１７が絵の画像を生成すると、その絵の画像をディスプレイ２９に表示する（ステップＳＴ３９）。
【００６２】
以上で明らかなように、この実施の形態４によれば、操作受付部１により受け付けられる操作を切り換える操作切換部１６と、操作切換部１６により切り換えられた操作が、絵書きの操作であれば、操作受付部１により受け付けられた絵書きの操作にしたがって絵の画像を生成する絵画像生成部１７とを備え、表示制御部１８が、操作切換部１６により切り換えられた操作が、なぞり書きの操作であれば、図１５の表示制御部１５と同様に、軌跡画像と文字列を重ねて表示する一方、操作切換部１６により切り換えられた操作が、絵書きの操作であれば、絵画像生成部１７により生成された絵の画像を表示するように構成したので、文字列と一緒に絵の画像をディスプレイ２９に表示することができる効果を奏する。
【００６３】
この実施の形態４では、操作切換部１６が、操作受付部１により受け付けられる操作がなぞり書きの操作であるとき、ポインティングデバイス２１の長押し操作を検出すると、操作受付部１により受け付けられる操作を絵書きの操作に切り換える一方、操作受付部１により受け付けられる操作が絵書きの操作であるとき、ポインティングデバイス２１の長押し操作を検出すると、操作受付部１により受け付けられる操作をなぞり書きの操作に切り換える例を示している。
しかし、操作受付部１により受け付けられる操作の切り換え方法は、これに限るものではなく、下記の示すような切り換え方法を用いてもよい。
例えば、通常時において、操作受付部１により受け付けられる操作は、絵書きの操作に設定されており、ポインティングデバイス２１の長押し操作を検出すると、操作切換部１６が、操作受付部１により受け付けられる操作をなぞり書きの操作に切り換える指令を操作受付部１に出力して、操作受付部１によりなぞり書きの操作が受け付けられるようにする。
なぞり書きの操作が終わると、操作受付部１により受け付けられる操作が、自動的に絵書きの操作に戻り、その後、ポインティングデバイス２１の長押し操作を検出すると、再び、操作切換部１６が、操作受付部１により受け付けられる操作をなぞり書きの操作に切り換える指令を操作受付部１に出力して、操作受付部１によりなぞり書きの操作が受け付けられるようにする。
【００６４】
この実施の形態４では、操作切換部１６が、ポインティングデバイス２１の長押し操作を検出すると、操作受付部１により受け付けられる操作を切り換えるものを示したが、現在、操作受付部１により受け付けられる操作が、なぞり書きの操作であるのか、絵書きの操作であるのかを示す情報をディスプレイ２９に表示するようにしてもよい。
【００６５】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００６６】
この発明に係る入力表示装置及び入力表示方法は、音声の認識結果を示す文字列をディスプレイに表示する際、ユーザの自由なレイアウトで表示する必要があるものに適している。
【符号の説明】
【００６７】
１  操作受付部、２  文字管理ＤＢ、３  文字管理部、４  軌跡画像生成部、５  文字列取得部、６  音声検出部、７  音声認識辞書ＤＢ、８  音声認識部、９  表示制御部、１０  文字列一時保存部、１１  操作状態検知部、１２  軌跡画像生成部、１３  表示制御部、１４  言語判別部、１５  表示制御部、１６  操作切換部、１７  絵画像生成部、１８  表示制御部、２１  ポインティングデバイス、２２  メモリ、２３  文字管理処理回路、２４  画像生成処理回路、２５  マイク、２６  メモリ、２７  音声認識処理回路、２８  表示処理回路、２９  ディスプレイ、３０  メモリ、３１  操作状態検知処理回路、３２  画像生成処理回路、３３  表示処理回路、３４  言語判別処理回路、３５  表示処理回路、３６  操作切換処理回路、３７  画像生成処理回路、３８  表示処理回路、４１  メモリ、４２  プロセッサ。
【図１】
2018022528.tif 000003
【図２】
2018022528.tif 000004
【図３】
2018022528.tif 000005
【図４】
2018022528.tif 000006
【図５】
2018022528.tif 000007
【図６】
2018022528.tif 000008
【図７】
2018022528.tif 000009
【図８】
2018022528.tif 000010
【図９】
2018022528.tif 000011
【図１０】
2018022528.tif 000012
【図１１】
2018022528.tif 000013
【図１２】
2018022528.tif 000014
【図１３】
2018022528.tif 000015
【図１４】
2018022528.tif 000016
【図１５】
2018022528.tif 000017
【図１６】
2018022528.tif 000018
【図１７】
2018022528.tif 000019
【図１８】
2018022528.tif 000020
【図１９】
2018022528.tif 000021
【図２０】
2018022528.tif 000022
【図２１】
2018022528.tif 000023
【図２２】
2018022528.tif 000024
【図２３】
2018022528.tif 000025