(57)【要約】【課題】他のアプリケーションとの表示内容と共存させて、音声認識により取得された文字を読みやすいように表示する。【解決手段】コンピュータは、音声の入力を受け付け、入力された音声の認識結果である第１の言語の文字情報を音声認識手段から取得し、取得された文字情報によって示される文字を表示する文字表示領域を、並行して動作している他のアプリケーションによって表示されている表示内容よりも優先させて、表示装置に表示する。コンピュータは、音声の入力を受け付け、入力された音声の認識結果である第１の言語の文字情報を音声認識手段から取得し、表示装置の画面内の、並行して動作している他のアプリケーションによる表示内容が表示されていない空き領域を取得し、取得された文字情報によって示される文字を表示する文字表示領域を、表示装置の画面内の取得された空き領域に配置して、表示装置に表示させる。【選択図】図１４
2019016206.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータに、
音声の入力を受け付けさせ、
前記入力された音声の認識結果である第１の言語の文字情報を音声認識手段から取得させ、
前記取得された文字情報によって示される文字を表示する文字表示領域を、並行して動作している他のアプリケーションによって表示されている表示内容よりも優先させて、表示装置に表示させる、
ための音声認識文字表示プログラム。
【請求項２】
前記コンピュータに、
前記他のアプリケーションによる表示内容の前面に重ね合わせさせて、前記文字表示領域を表示させる、
請求項１に記載の音声認識文字表示プログラム。
【請求項３】
前記コンピュータに、
前記文字表示領域を含み、前記文字表示領域以外の領域は透明又は透明度が高い文字表示画面を生成させ、
前記他のアプリケーションによる表示内容を含む画面よりも前面に重ね合わせさせて、前記文字表示画面を表示させる、
請求項１又は２に記載の音声認識文字表示プログラム。
【請求項４】
前記コンピュータに、
前記文字表示画面内の前記透明又は透明度が高い領域が前面に重ね合せられて配置されている表示内容を有する他のアプリケーションへの入力を受け付けさせる、
請求項３に記載の音声認識文字表示プログラム。
【請求項５】
前記コンピュータに、
前記表示装置の画面内の、前記他のアプリケーションによる表示内容が表示されていない空き領域を探索させ、
前記文字表示領域を、前記探索により検出された空き領域に配置させて、表示させる、請求項１から４のいずれか一項に記載の音声認識文字表示プログラム。
【請求項６】
コンピュータに、
音声の入力を受け付けさせ、
前記入力された音声の認識結果である第１の言語の文字情報を音声認識手段から取得させ、
表示装置の画面内の、並行して動作している他のアプリケーションによる表示内容が表示されていない空き領域を取得させ、
前記取得された文字情報によって示される文字を表示する文字表示領域を、前記表示装置の画面内の前記取得された空き領域に配置させて、前記表示装置に表示させる、
ための音声認識文字表示プログラム。
【請求項７】
前記コンピュータに、
前記取得された空き領域のサイズに応じてサイズを変更させて、前記文字表示領域を表示させる、
請求項５又は６に記載の音声認識文字表示プログラム。
【請求項８】
前記コンピュータに、
前記取得された空き領域に前記文字表示領域が収まりきらない場合に、透明度を高く変更させて、前記文字表示領域を表示させる、
請求項５から７のいずれか一項に記載の音声認識文字表示プログラム。
【請求項９】
前記コンピュータに、
発声における一音又は一語の時間長である所定時間毎に、前記所定時間内に受け付けた音声を第１の言語の文字情報に変換することを、前記音声認識手段に指令させる、
請求項１から８のいずれか一項に記載の音声認識文字表示プログラム。
【請求項１０】
前記コンピュータに、
前記音声の認識結果である第１の文字情報が翻訳対象であるか否かを判定させ、
前記第１の文字情報が翻訳対象である場合に、翻訳手段から前記第１の文字情報を第２の言語に変換した第２の文字情報を前記取得させ、
前記第２の文字情報を配置して、前記文字表示領域を表示させる、
請求項１から９のいずれか一項に記載の音声認識文字表示プログラム。
【請求項１１】
前記コンピュータに、
発声における一音又は一語の時間長である所定時間毎に、前記所定時間内に受け付けた前記第１の文字情報を第２の言語に変換することを、前記翻訳手段に指令させる、
請求項１０に記載の音声認識文字表示プログラム。
【請求項１２】
音声の入力を受け付ける音声入力部と、
前記入力された音声の認識結果である第１の言語の文字情報を音声認識手段から取得する取得部と、
前記取得された文字情報によって示される文字を表示する文字表示領域を、並行して動作している他のアプリケーションによって表示されている表示内容よりも優先させて、表示装置に表示させる表示処理部と、
を備える情報処理装置。
【請求項１３】
コンピュータが、
音声の入力を受け付け、
前記入力された音声の認識結果である第１の言語の文字情報を音声認識手段から取得し、
前記取得された文字情報によって示される文字を表示する文字表示領域を、並行して動作している他のアプリケーションによって表示されている表示内容よりも優先させて、表示装置に表示させる、
音声認識文字表示方法。
【請求項１４】
音声の入力を受け付ける音声入力部と、
前記入力された音声の認識結果である第１の言語の文字情報を音声認識手段から取得する第１の取得部と、
表示装置の画面内の、並行して動作している他のアプリケーションによる表示内容が表示されていない空き領域を取得する第２の取得部と、
前記取得された文字情報によって示される文字を表示する文字表示領域を、前記表示装置の画面内の前記取得された空き領域に配置して、前記表示装置に表示させる表示処理部と、
を備える情報処理装置。
【請求項１５】
コンピュータが、
音声の入力を受け付け、
前記入力された音声の認識結果である第１の言語の文字情報を音声認識手段から取得し、
表示装置の画面内の、並行して動作している他のアプリケーションによる表示内容が表示されていない空き領域を取得し、
前記取得された文字情報によって示される文字を表示する文字表示領域を、前記表示装置の画面内の前記取得された空き領域に配置して、前記表示装置に表示させる、
音声認識文字表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識により音声から取得された文字を表示する音声認識文字表示プログラム、情報処理装置、及び、音声認識文字表示方法に関する。
【背景技術】
【０００２】
例えば、音声認識により取得された文字を表示する機能を備えるアプリケーションがある。例えば、インターネット電話サービスや動画共有サービスのアプリケーションが該当する。アプリケーションでは、予め決められた位置に音声認識により取得された文字を表示するものが多い。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−４１５３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の音声認識により取得された文字を表示する機能を備えるアプリケーションでは、当該アプリケーションの画像が音声認識により取得された文字の表示の邪魔となり、音声認識により取得された文字が読みづらいことがある。
【０００５】
本発明では、他のアプリケーションとの表示内容と共存させて、音声認識により取得された文字を読みやすいように表示可能な音声認識文字表示プログラム、情報処理装置、音声認識文字表示方法を提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明の態様の一つは、コンピュータに、音声の入力を受け付けさせ、入力された音声の認識結果である第１の言語の文字情報を音声認識手段から取得させ、取得された文字情報によって示される文字を表示する文字表示領域を、並行して動作している他のアプリケーションによって表示されている表示内容よりも優先させて、表示装置に表示させる、ための音声認識文字表示プログラムである。
【０００７】
本発明の態様の他の一つは、コンピュータに、音声の入力を受け付けさせ、入力された音声の認識結果である第１の言語の文字情報を音声認識手段から取得させ、表示装置の画面内の、並行して動作している他のアプリケーションによる表示内容が表示されていない空き領域を取得させ、取得された文字情報によって示される文字を表示する文字表示領域を、表示装置の画面内の取得された空き領域に配置させて、表示装置に表示させる、ための音声認識文字表示プログラムである。
【発明の効果】
【０００８】
本発明によれば、他のアプリケーションとの表示内容と共存させて、音声認識により取得された文字を読みやすいように表示することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、第１実施形態に係る音声認識文字表示システムの構成の一例を示す図である。
【図２】図２は、端末装置のハードウェア構成の一例を示す図である。
【図３】図３は、第１実施形態に係る端末装置の機能構成の一例を示す図である。
【図４】図４は、文字表示画面の設定用の画面の一例である。
【図５】図５は、画面の重ね合せ方法の一例を示す図である。
【図６】図６は、画面の重ね合せ方法の一例を示す図である。
【図７】図７は、音声認識文字表示プログラムの処理のフローチャートの一例である。
【図８】図８は、文字表示領域探索処理のフローチャートの一例である。
【図９】図９は、文字表示画面生成処理のフローチャートの一例である。
【図１０】図１０は、文字表示領域の再探索処理のフローチャートの一例である。
【図１１】図１１は、音声認識文字取得処理のフローチャートの一例である。
【図１２】図１２は、音声文字表示処理のフローチャートの一例である。
【図１３】図１３は、音声認識結果の表示画面の一例を示す図である。
【図１４】図１４は、音声認識結果の表示画面の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面に基づいて、本発明の実施の形態を説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。
【００１１】
＜第１実施形態＞
図１は、第１実施形態に係る音声認識文字表示システム１００の構成の一例を示す図である。音声認識文字表示システム１００は、端末装置１、音声認識装置２、翻訳装置３を含む。音声認識装置２は、入力される音声データを文字情報に変換して出力する。翻訳装置３は、入力される第１の言語の文字情報を、第１の言語とは異なる第２の言語の文字情報に変換して、出力する。
【００１２】
端末装置１、音声認識装置２、翻訳装置３は、互いに、例えば、インターネット等のネットワークで接続されている。端末装置１は、音声認識装置２に対して音声認識コマンドと音声データとを送信し、音声認識装置２から音声認識結果として文字情報を取得する。また、端末装置１は、翻訳装置３に対して翻訳コマンドと第１の言語の文字情報を送信し、翻訳装置３から翻訳結果として第２の言語の文字情報を取得する。端末装置１は、「情報処理装置」の一例である。音声認識装置２は、「音声認識手段」の一例である。翻訳装置３は、「翻訳手段」の一例である。
【００１３】
第１実施形態では、端末装置１は、例えば、ユーザから音声の入力を受け付け、音声認識装置２から当該音声の音声認識結果である文字情報を取得し、音声認識結果である文字情報を表示する文字表示領域を他のアプリケーションの表示内容よりも優先させて表示装置に表示させる。具体的には、第１実施形態では、端末装置１は、文字表示領域を含み、文字表示領域以外の領域は透明である文字表示画面を生成し、他のアプリケーションの表示内容を含む画面よりも文字表示画面を前面にして重ね合せて表示装置に表示させる。
【００１４】
また、第１実施形態では、端末装置１は、表示装置の画面における、他のアプリケーションの表示内容が表示されていない空き領域を取得し、音声認識結果である文字情報を表示する文字表示領域を取得した空き領域に配置する。これによって、端末装置１は、音声認識結果である文字情報を読みやすく表示することができる。文字表示領域は、「文字表示領域」の一例である。
【００１５】
図２は、端末装置１のハードウェア構成の一例を示す図である。端末装置１は、例えば、ＰＣ（Personal Computer）である。端末装置１は、ＰＣに限られず、例えば、複数の
アプリケーションそれぞれについてのウィンドウを表示可能な、いわゆるマルチウィンドウ可能で、且つ、マルチウィンドウを重ね合せて表示可能なコンピュータであればよい。
図２では、端末装置１がノート型のＰＣである場合のハードウェアの一例が示されている。
【００１６】
端末装置１は、例えば、ハードウェア構成要素として、プロセッサ１０１、主記憶装置１０２、補助記憶装置１０３、ネットワークインタフェース１０４、表示装置１０５、音声入力インタフェース１０６、入力インタフェース１０７を含む。これらは、互いにバスによって接続される。
【００１７】
音声入力インタフェース１０６は、例えば、マイクロフォンのような音声入力装置とのインタフェースである。音声入力インタフェース１０６を通じて音声入力装置から入力された音声データはプロセッサ１０１に出力される。
【００１８】
入力インタフェース１０７は、例えば、マウス等のポインティングデバイス、キーボード、ワイヤレスリモコン、タッチパネル等の入力装置とのインタフェースである。また、入力装置には、カメラやスキャナのような画像の入力装置を含むことができる。入力インタフェース１０７を通じて入力装置から入力されたデータは、プロセッサ１０１に出力される。
【００１９】
ネットワークインタフェース１０４は、ネットワークとの情報の入出力を行うインタフェースである。ネットワークインタフェース１０４は、有線のネットワーク、及び／又は、無線のネットワークと接続する。ネットワークインタフェース１０４は、例えば、ＮＩＣ（Network Interface Card）、無線ＬＡＮ（Local Area Network）カード、携帯電話網に接続するための無線回路等である。ネットワークインタフェース１０４を通じて受信されたデータ等は、プロセッサ１０１に出力される。第１実施形態では、ネットワークインタフェース１０４はインターネットに接続しており、インターネットを通じて、端末装置１は、音声認識装置２、翻訳装置３と接続する。
【００２０】
主記憶装置１０２及び補助記憶装置１０３は、コンピュータ読み取り可能な記録媒体である。主記憶装置１０２は、プロセッサ１０１に、補助記憶装置１０３に格納されているプログラムをロードする記憶領域および作業領域を提供したり、バッファとして用いられたりする記憶装置である。主記憶装置１０２は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を含む。
【００２１】
補助記憶装置１０３は、様々なプログラムや、各プログラムの実行に際してプロセッサ１０１が使用するデータを格納する。補助記憶装置１０３は、例えば、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ、Solid State Drive）である。補助記憶装置１０３は、
例えば、オペレーティングシステム（ＯＳ）、音声認識文字表示プログラム、その他様々なアプリケーションプログラムを保持する。なお、補助記憶装置１０３に格納される情報は、主記憶装置１０２に格納されてもよいし、主記憶装置１０２に格納される情報は、補助記憶装置１０３に格納されてもよい。
【００２２】
ＯＳは、ソフトウェアとハードウェアとの仲介、メモリ空間の管理、ファイル管理、プロセスやタスクの管理等を行うソフトウェアである。音声認識文字表示プログラムは、音声入力装置から入力された音声の音声認識結果である文字情報を他のアプリケーションよりも優先して表示装置１０５に表示させるためのプログラムである。また、音声認識文字表示プログラムは、いずれの他のアプリケーションにも依存していない、独立したプログラムである。音声認識文字表示プログラムは、「音声認識文字表示プログラム」の一例である。
【００２３】
プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital
Signal Processor）である。プロセッサ１０１は、例えば、補助記憶装置１０３に保持
されたＯＳや様々なプログラムを主記憶装置１０２にロードして実行し、実行を通じて他のハードウェア構成要素を制御することによって、様々な処理を実行する。プロセッサ１０１は、１つであってもよいし、複数であってもよい。
【００２４】
表示装置１０５は、プロセッサ１０１の処理の結果を出力する出力装置の一つである。表示装置１０５は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、ＬＣＤ（Liquid Crystal
Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electroluminescence）パネル等
である。また、表示装置１０５は、プロジェクタを含んでもよい。
【００２５】
なお、図２に示される端末装置１のハードウェア構成は、一例であり、上記に限られず、実施の形態に応じて、適宜、構成要素の省略や置換、追加が可能である。例えば、端末装置１は、プリンタ、スピーカのような音声出力装置等を出力装置として備えることができる。また、例えば、端末装置１は、可搬記録媒体を駆動し、可搬記録媒体に記録されたデータを読み出す可搬記録媒体駆動装置を備えてもよい。可搬記録媒体は、例えば、ＵＳＢ（Universal Serial Bus）メモリ、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc），Ｂｌｕ−ｒａｙ（登録商標）ディスクのようなディスク記録媒体、ＳＤメモリカード、ドフラッシュメモリカードのような記録媒体である。
【００２６】
なお、音声認識装置２、翻訳装置３についてハードウェア構成の図示は省略される。音声認識装置２、翻訳装置３は、例えば、サーバなどの専用のコンピュータであり、ハードウェア構成要素として、プロセッサ、主記憶装置、補助記憶装置、ネットワークインタフェース等を備える。音声認識装置２は、例えば、補助記憶装置に音声認識プログラムを保持し、プロセッサが音声認識プログラムを実行することで、音声認識を行う。翻訳装置３は、例えば、補助記憶装置に第１の言語を第２の言語に翻訳するための翻訳プログラムと第１の言語及び第２の言語の辞書データベースとを保持し、プロセッサが翻訳プログラムを実行することで、第１の言語の文字情報第２の言語の文字情報に変換する。
【００２７】
図３は、第１実施形態に係る端末装置１の機能構成の一例を示す図である。端末装置１は、機能構成要素として、入力部１１、設定部１２、記憶部１３、音声入力部１４、音声認識コマンド発行部１５Ａ、音声認識結果受付部１５Ｂ、翻訳コマンド発行部１６Ａ、翻訳結果受付部１６Ｂ、通信部１７、文字表示画面生成部１８、画面出力部１９を備える。これらの機能構成要素は、例えば、端末装置１のプロセッサ１０１が音声認識文字表示プログラムを実行することによって実現される。
【００２８】
入力部１１は、例えば、表示装置１０５の表示画面に対してポインティングデバイス等の入力装置から入力されるユーザ操作の入力を受ける。入力部１１は、入力されたユーザ操作のうち、例えば、文字表示画面の設定情報等の音声認識文字表示プログラムの設定に関するユーザ操作の入力を有効と判定する。入力部１１は、例えば、音声認識文字表示プログラムの設定に関するユーザ操作以外の入力を無効と判定し、該当するアプリケーションに渡す。
【００２９】
文字表示画面は、音声認識結果の文字を表示する文字表示領域を含み、文字表示領域以外の領域は透明な画面である。文字表示画面の設定情報は、例えば、文字表示画面の設定画面を通じて、ポインティングデバイスやキーボードによるユーザ操作によって入力される。文字表示画面内の透明な領域に対して入力されたユーザ操作は、入力部１１によって、該当する他のアプリケーションに渡される。入力部１１は、文字表示画面の設定情報等の音声認識文字表示プログラムの設定に関するユーザ操作の内容を設定部１２に出力する。文字表示画面は、「文字表示画面」の一例である。
【００３０】
設定部１２は、入力部１１から文字表示画面の設定情報の入力を受ける。文字表示画面の設定情報には、例えば、文字表示領域の配置位置、文字表示領域に表示される文字の大きさ、文字表示領域の透明度、文字表示領域の背景色等の情報が含まれている。設定部１２は、文字表示位置設定部１２１、透明度設定部１２２、文字大きさ設定部１２３、色設定部１２４を含む。
【００３１】
文字表示位置設定部１２１は、文字表示画面の設定情報から、文字表示画面における文字表示領域の配置位置の設定情報を受け付け、記憶部１３に格納する。透明度設定部１２２は、文字表示画面の設定情報から、文字表示領域の透明度の設定情報を受け付け、記憶部１３に格納する。文字大きさ設定部１２３は、文字表示画面の設定情報から、文字表示領域に表示される文字の大きさの設定情報を受け付け、記憶部１３に格納する。色設定部１２４は、文字表示画面の設定情報から、文字表示領域の文字色及び／又は背景色の設定情報を受け付け、記憶部１３に格納する。
【００３２】
なお、文字表示画面の設定情報は、上述のものに限定されない。また、設定部１２が受け付ける入力は、文字表示画面の設定情報に限定されない。例えば、設定部１２は、音声認識対象の言語及び／又は表示する言語の設定情報の入力を受け付け、記憶部１３に格納してもよい。例えば、設定部１２は、音声の翻訳の有効又は無効と、音声認識対象の言語及び表示する言語との設定情報の入力を受け付け、記憶部１３に格納してもよい。
【００３３】
記憶部１３は、文字表示画面の設定情報と、表示用の言語の情報と、を記憶する。記憶部１３は、例えば、補助記憶装置１０３の記憶領域に作成される。表示用の言語の情報は、例えば、予め端末装置１の使用者によって設定されている。なお、記憶部１３が記憶する情報は、文字表示画面の設定情報と、表示用の言語の情報と、に限定されない。記憶部１３は、例えば、音声認識対象用の言語の設定情報、音声の翻訳の有効又は無効の設定情報等、を記憶してもよい。
【００３４】
音声入力部１４は、マイクロフォンなどの音声入力装置により、端末装置１のユーザが発した音声の入力を受け付ける。音声入力部１４は、入力された音声を電気的な信号に変換して、音声データとして、音声認識コマンド発行部１５Ａに出力する。なお、音声入力部１４が受け付ける入力は、ユーザが発する音声に限定されず、例えば、他の音楽再生アプリケーションによって再生されている音声データ、他の動画再生アプリケーションによって再生されている動画データの音声データも含まれる。
【００３５】
音声入力部１４は、所定の周期で、入力を受け付けた音声データを音声認識コマンド発行部１５Ａに出力する。音声入力部１４の音声データの出力周期は、例えば、発声における一音や一語程度の長さに設定される。発声における一音や一語程度の長さは、例えば、２００ｍｓである。すなわち、音声入力部１４から出力される音声データの時間長は、最大で、音声データの出力周期の１周期分の長さとなる。音声入力部１４は、「音声入力部」の一例である。
【００３６】
音声認識コマンド発行部１５Ａは、音声入力部１４から、音声入力部１４の音声データの出力周期で音声データの入力を受ける。音声認識コマンド発行部１５Ａは、音声認識装置２に対して音声データを文字情報に変換することを指示するための音声認識コマンドを生成して、生成した音声認識コマンドを通信部１７へ出力する。通信部１７へ出力された音声認識コマンドは、通信部１７によって音声認識装置２に送信される。
【００３７】
音声認識コマンドとともに、例えば、音声データと、音声認識対象用の言語の情報も送信される。音声認識対象用の言語の情報は、例えば、記憶部１３から取得される。記憶部
１３に音声認識対象用の言語の情報が格納されていない場合には、例えば、音声認識コマンド発行部１５Ａは、ＯＳに問い合わせて音声認識対象用の言語の情報を取得し、記憶部１３に格納してもよい。または、例えば、他のアプリケーションによって再生されている音声データが音声入力部１４に入力される場合には、音声認識コマンド発行部１５Ａは、当該他のアプリケーションに問い合わせて音声認識対象用の言語の情報を取得し、記憶部１３に格納してもよい。
【００３８】
音声認識結果受付部１５Ｂは、通信部１７を介して、音声認識装置２による音声認識結果の入力を受ける。音声認識結果は、例えば、音声データに対応する文字情報と、当該音声データの言語の情報である。音声データに対応する文字情報は、例えば、文字コードである。音声認識結果受付部１５Ｂは、「取得部」、「第１の取得部」の一例である。
【００３９】
音声認識結果受付部１５Ｂは、音声認識結果である文字情報の翻訳の要不要を判定する。例えば、音声認識結果受付部１５Ｂは、音声認識結果である音声データの言語の情報と、記憶部１３に記憶されている表示用の言語の情報とが一致するか否かを判定する。音声認識結果である音声データの言語の情報と、記憶部１３に記憶されている表示用の言語の情報とが一致する場合には、翻訳不要であるため、音声認識結果受付部１５Ｂは、入力された音声認識結果である文字情報を文字表示画面生成部１８に出力する。
【００４０】
音声認識結果である音声データの言語の情報と、記憶部１３に記憶されている表示用の言語の情報とが一致しない場合には、翻訳が必要であるため、音声認識結果受付部１５Ｂは、入力された音声認識結果である文字情報と、音声認識結果である音声データの言語の情報と、表示用の言語の情報と、を翻訳コマンド発行部１６Ａに出力する。なお、記憶部１３に翻訳無効の設定情報が格納されている場合には、音声認識結果である音声データの言語の情報と、記憶部１３に記憶されている表示用の言語の情報とが一致しなくても、翻訳が無効に設定されているため、音声認識結果受付部１５Ｂは、入力された音声認識結果である文字情報を文字表示画面生成部１８に出力する。
【００４１】
翻訳コマンド発行部１６Ａは、音声認識結果受付部１５Ｂから、音声認識結果である文字情報と、音声認識結果である音声データの言語（第１の言語）の情報と、表示用の言語（第２の言語）の情報と、の入力を受ける。翻訳コマンド発行部１６Ａは、翻訳装置３で翻訳をさせるための翻訳コマンドを生成して、生成した翻訳コマンドを通信部１７に出力する。翻訳コマンドは、通信部１７によって、翻訳装置３に送信される。
【００４２】
翻訳コマンドは、音声認識結果である文字情報、音声認識結果である音声データの言語（第１言語）の情報、表示用の言語（第２言語）の情報を含む。翻訳コマンドは、第１言語の文字情報である音声認識結果を、第２言語に翻訳することを指令するコマンドである。
【００４３】
翻訳結果受付部１６Ｂは、通信部１７から、翻訳装置３による翻訳結果の入力を受ける。翻訳結果受付部１６Ｂは、入力された翻訳結果を、文字表示画面生成部１８に出力する。翻訳結果には、例えば、音声認識結果である文字情報に対応する表示用の言語（第２の言語）の文字情報が含まれている。表示用の言語（第２の言語）の文字情報は、例えば、表示用の言語の文字コードである。
【００４４】
通信部１７は、他の装置等と、データの送受信を行う。通信部１７は、他の機能構成要素から所定のコマンドの入力を受け、入力された所定のコマンドをネットワークを介して、音声認識装置２や翻訳装置３に送信する。また、通信部１７は、音声認識装置２や翻訳装置３から、所定の結果を受信し、該当する機能構成要素に出力する。
【００４５】
文字表示画面生成部１８は、起動すると、記憶部１３から文字表示画面の設定情報を読み出し、文字表示画面の設定情報に従って文字表示画面を作成する。文字表示画面生成部１８は、表示装置１０５の画面内の空き領域を探索する。例えば、文字表示画面生成部１８は、ＯＳに問い合わせることによって、表示装置１０５の画面内の空き領域を探索する。表示装置１０５の空き領域とは、他のアプリケーション（ＯＳは除く）の表示内容が表示されていない領域のことである。文字表示画面生成部１８は、表示装置１０５内の、文字表示領域の位置の設定情報によって指定された範囲内であり、且つ、空き領域である位置に文字表示領域を配置して、文字表示画面を生成する。また、文字表示画面生成部１８は、文字表示領域以外の領域を透明にして、文字表示画面を生成する。文字表示画面生成部１８は、生成した文字表示画面を画面出力部１９に出力する。文字表示画面生成部１８は、「第２の取得部」、「表示処理部」の一例である。
【００４６】
また、文字表示画面生成部１８は、音声認識結果受付部１５Ｂから音声認識結果である文字情報又は翻訳結果受付部１６Ｂから翻訳結果である文字情報の入力を受ける。文字表示画面生成部１８は、音声認識結果受付部１５Ｂ又は翻訳結果受付部１６Ｂから文字情報が入力される毎に、文字表示画面内の文字表示領域に入力された文字情報に対応する文字を配置し、文字表示画面内の文字表示領域を更新する。文字表示領域の更新ごとに、文字表示画面生成部１８は、文字表示画面を画面出力部１９に出力する。
【００４７】
文字表示画面内の文字表示領域の更新方法は、例えば、文字表示領域内に配置可能な文字数に達した場合に文字表示領域内に配置されていたすべての文字を削除して文字表示領域をリセットし、新たな文字を配置する方法であってもよい。または、文字表示領域内に配置可能な文字数に達した場合に、先頭から所定数の列を削除し、残りの列を上にスクロールさせ、新たな文字を新たな列に配置する方法であってもよい。または、文字表示領域内に配置可能な文字数に達した場合に文字表示領域内に配置されている先頭から所定数の文字を削除し、残りの文字を前方にシフトさせ新たな文字を最後尾に配置する方法であってもよい。
【００４８】
画面出力部１９は、文字表示画面生成部１８から文字表示画面の入力を受ける。また、画面出力部１９は、例えば、他のアプリケーションによって生成された他のアプリケーションの表示内容を含む画面、ＯＳによって生成された画面等の入力を受ける。画面出力部１９は、例えば、文字表示画面生成部１８から入力された文字表示画面を最前面に配置して、文字表示画面、他のアプリケーションの画面、ＯＳの画面を重ね合せて、表示装置１０５の表示画面を生成し、生成した表示画面を表示装置１０５に出力する。画面出力部１９は、「表示処理部」の一例である。
【００４９】
なお、端末装置１の機能構成は、図３に示される例に限定されない。例えば、音声認識結果受付部１５Ｂ、翻訳結果受付部１６Ｂは、文字情報を文字表示画面生成部１８に出力するとともに記憶部１３に格納してもよい。
【００５０】
図４は、文字表示画面の設定用の画面の一例である。文字表示画面の設定用の画面は、例えば、音声認識文字表示プログラムが端末装置１において初めて起動された場合や、ユーザ操作によって呼び出された場合に、表示される。文字表示画面の設定用の画面は、例えば、記憶部１３に記憶されており、設定部１２によって記憶部１３から読み出されて表示装置１０５に出力される。図４に示される例では、文字表示領域の位置、文字表示領域内の文字の大きさ、文字表示領域の透明度、文字表示領域の背景色を設定することが可能な文字表示画面の設定用の画面が示されている。
【００５１】
例えば、図４に示される例において、文字表示領域の位置の設定は、画面中の複数の配置候補の領域からユーザ所望の領域が選択されることによって、変更される。また、図４
に示される例では、「自動」のチェックボックスを選択することで、文字表示領域の位置を自動で決定することを選択することも可能である。
【００５２】
また、図４に示される例では、「文字表示領域の再探索」のチェックボックスを選択することで、再領域探索処理を有効にすることも可能である。再領域探索処理は、例えば、新たにアプリケーションが起動された場合や新たにウィンドウが追加された場合に、空き領域を再度探索し、文字表示領域の位置を再度決定し直す処理である。
【００５３】
文字表示画面の設定用の画面において選択された内容が入力部１１に入力される。なお、文字表示画面の設定用の画面は、図４に示される例に限定されない。例えば、文字表示領域の位置、文字表示領域の文字の大きさ、文字表示領域の透明度、文字表示領域の背景色等を一括して自動で設定されるような項目が含まれていてもよい。
【００５４】
図５は、画面の重ね合せ方法の一例を示す図である。図５では、例えば、１つのアプリケーションにつき１つの画面が生成され、優先度の高いアプリケーションの画面ほど前方に配置される場合の例が示されている。
【００５５】
例えば、図５では、文字表示画面、アプリケーション＃１の画面、アプリケーション＃２の画面が示されている。優先度は、文字表示画面＞アプリケーション＃１＞アプリケーション＃２であるため、アプリケーション＃２の上にアプリケーション＃１の画面、アプリケーション＃１の画面の上に文字表示画面の順で重ね合わされる。なお、アプリケーションの画面において、アプリケーションの表示内容以外の領域は透明である。
【００５６】
図６は、画面の重ね合せ方法の一例を示す図である。図６では、例えば、１つのウィンドウにつき当該ウィンドウを含む１つの画面が生成され、優先度の高いアプリケーションのウィンドウを含む画面ほど前方に配置される場合の例が示されている。
【００５７】
例えば、図６では、文字表示画面、ウィンドウ＃１を含む画面、ウィンドウ＃２を含む画面が示されている。優先度は、文字表示画面＞ウィンドウ＃１のアプリケーション＞ウィンドウ＃２のアプリケーションであるため、ウィンドウ＃２を含む画面の上にウィンドウ＃１を含む画面、ウィンドウ＃１を含む画面の上に文字表示画面の順で重ね合わされる。なお、ウィンドウを含む画面において、ウィンドウ以外の領域は透明である。
【００５８】
図５、図６に示されるいずれの重ね合せの結果の表示画面においても、文字表示画面の文字表示領域以外の領域は透明であり、且つ、文字表示画面の文字表示領域は、画面の空き領域に配置されるので、他のアプリケーションの表示内容は可視可能である。
【００５９】
なお、表示画面において、文字表示画面の文字表示領域以外の領域に対応する領域に対して入力されたユーザ操作については、例えば、入力部１１に入力されるものの、入力部１１は音声認識文字表示プログラムでは無効とし、表示されている他のアプリケーションへ渡す。入力されたユーザ操作をいずれのアプリケーションに渡すかは、例えば、優先度に基づいて判定される。例えば、表示画面内のユーザ操作の入力位置に対応する位置に表示内容が存在するアプリケーションのうち、最も優先度の高いアプリケーションにユーザ操作が渡される。重ね合せの優先度は、例えば、予め記憶部１３に保持されている。
【００６０】
＜処理の流れ＞
図７は、音声認識文字表示プログラムの処理のフローチャートの一例である。図７に示される処理は、例えば、ユーザ操作によって音声認識文字表示プログラムが起動されると開始される。
【００６１】
ＯＰ１では、プロセッサ１０１は、初回の起動であるか否かを判定する。初回の起動である場合には（ＯＰ１：ＹＥＳ）、処理がＯＰ２に進む。初回の起動でない場合には（ＯＰ１：ＮＯ）、処理がＯＰ４に進む。
【００６２】
ＯＰ２では、プロセッサ１０１は、文字表示画面の設定用の画面を表示装置１０５に表示する。ＯＰ３では、プロセッサ１０１は、文字表示画面の設定用の画面を通じて入力された文字表示画面の設定情報を記憶部１３に保存する。
【００６３】
ＯＰ４では、プロセッサ１０１は、文字表示領域探索処理を行う。文字表示領域探索処理は、表示装置１０５の画面中の空き領域を探索する処理である。文字表示領域探索処理の詳細は後述される。
【００６４】
ＯＰ５では、プロセッサ１０１は、文字表示画面生成処理を行う。文字表示画面生成処理は、文字表示画面を生成する処理である。文字表示画面生成処理の詳細は後述される。
【００６５】
ＯＰ６では、プロセッサ１０１は、文字表示画面を表示装置１０５に表示させる。なお、ＯＰ６において表示される文字表示画面は、初期状態であり、文字表示領域は空白である。
【００６６】
ＯＰ７では、プロセッサ１０１は、記憶部１３から文字表示画面の設定情報を読み出し、文字表示画面の設定情報に基づいて、文字表示領域の再探索処理が有効に設定されているか否かを判定する。文字表示領域の再探索処理が有効に設定されている場合には（ＯＰ７：ＹＥＳ）、処理がＯＰ８に進む。文字表示領域の再探索処理が無効に設定されている場合には（ＯＰ７：ＮＯ）、処理がＯＰ９に進む。
【００６７】
ＯＰ８では、プロセッサ１０１は、文字表示領域の再探索処理を起動する。文字表示領域の再探索処理の詳細は、後述される。
【００６８】
ＯＰ９では、プロセッサ１０１は、音声文字表示処理を起動する。音声文字表示処理は、入力された音声又は音声データの音声認識結果である文字を文字表示領域に表示させる処理である。音声文字表示処理の詳細は後述される。
【００６９】
ＯＰ１０では、プロセッサ１０１は、音声認識文字取得処理を起動する。音声認識文字取得処理は、入力された音声又は音声データの音声認識結果を取得する処理である。音声認識文字取得処理の詳細は後述される。その後、図７に示される処理が終了する。
【００７０】
ＯＰ１〜ＯＰ３の処理は、例えば、設定部１２の処理に相当する。ＯＰ４〜ＯＰ１０の処理は、例えば、文字表示画面生成部１８の処理に相当する。
【００７１】
図８は、文字表示領域探索処理のフローチャートの一例である。文字表示領域探索処理は、表示装置１０５の画面中の空き領域を探索する処理である。図８に示される文字表示領域探索処理は、例えば、図７のＯＰ４において実行される処理である。図８に示される処理の主体は、プロセッサ１０１であるが、文字表示領域探索処理は文字表示画面生成部１８の処理の一つであるため、図８に示される処理は、文字表示画面生成部１８を主体として説明される。
【００７２】
ＯＰ１１では、文字表示画面生成部１８は、記憶部１３に記憶されている文字表示画面の設定情報を読み出し、文字表示画面の設定情報に基づいて、文字表領域の位置の設定が自動であるか否かを判定する。文字表領域の位置の設定が自動である場合には（ＯＰ１１：ＹＥＳ）、処理がＯＰ１３に進む。文字表示領域の位置の設定が自動でない場合には（
ＯＰ１１：ＮＯ）、処理がＯＰ１２に進む。
【００７３】
ＯＰ１２では、文字表示画面生成部１８は、文字表領域の位置の設定が自動でないため、文字表示領域の位置として設定されている領域内の空き領域を探索する。具体的には、文字表示画面生成部１８は、例えば、文字表示領域の位置として設定されている領域について、ＯＳに空き領域を問い合わせることで空き領域を取得する。
【００７４】
ＯＰ１３では、文字表示画面生成部１８は、文字表領域の位置の設定が自動であるため、表示装置１０５の画面全体について空き領域を探索する。具体的には、文字表示画面生成部１８は、例えば、表示装置１０５の画面全体について、ＯＳに空き領域を問い合わせることで空き領域を取得する。
【００７５】
ＯＰ１４では、文字表示画面生成部１８は、空き領域を取得する。例えば、複数の空き領域が検出された場合には、文字表示画面生成部１８は、最もサイズの大きい空き領域を選択する。その後、図８に示される文字表示領域探索処理が終了し、処理が、例えば、図７のＯＰ５に進む。
【００７６】
なお、文字表示領域の位置が自動に設定されている場合には、例えば、画面内を所定数に分割した分割領域に優先度を付与し、優先度の高い順で空き領域の探索が行われてもよい。
【００７７】
図９は、文字表示画面生成処理のフローチャートの一例である。文字表示画面生成処理は、文字表示画面を生成する処理である。図９に示される処理は、例えば、図７のＯＰ５において実行される処理である。図９に示される処理の主体は、プロセッサ１０１であるが、文字表示画面生成処理は文字表示画面生成部１８の処理の一つであるため、図９に示される処理は、文字表示画面生成部１８を主体として説明される。
【００７８】
ＯＰ２１では、文字表示画面生成部１８は、記憶部１３から文字表示画面の設定情報を読み出す。ＯＰ２２では、文字表示画面生成部１８は、文字表示領域探索処理で取得された画面の空き領域が、文字表示領域を配置可能な十分な領域であるか否かを判定する。文字表示領域のサイズは、予め文字表示画面の設定情報に含まれている。
【００７９】
空き領域が文字表示領域を配置可能な十分な領域である場合には（ＯＰ２２：ＹＥＳ）、処理がＯＰ２３に進み、ＯＰ２３では、文字表示画面生成部１８は、空き領域に合わせて文字表示領域のサイズを調整する。
【００８０】
文字表示領域を配置可能な十分な領域がない場合には（ＯＰ２２：ＮＯ）、処理がＯＰ２４に進み、ＯＰ２４では、文字表示画面生成部１８は、文字表示領域の透明度を調整する。文字表示領域を配置可能な十分な領域がない場合には、他のアプリケーションの表示内容に文字表示領域が重なり、他のアプリケーションの表示内容を隠してしまう可能性があるため、例えば、文字表示領域の透明度は透明感が増すように調整される。
【００８１】
ＯＰ２５では、文字表示画面生成部１８は、空き領域に対応する位置に文字表示領域を配置する。ＯＰ２６では、文字表示画面生成部１８は、文字表示画面の設定情報に従って、文字表示画面を生成し、画面出力部１９に出力する。その後、図９に示される処理が終了し、処理が、例えば、図７のＯＰ６に進む。
【００８２】
図１０は、文字表示領域の再探索処理のフローチャートの一例である。文字表示領域の再探索処理は、表示装置１０５の画面の空き領域を再度探索する処理である。図１０に示される処理は、例えば、文字表示領域の再探索処理が有効に設定されている場合に、文字
表示画面の初期画面が生成されると（例えば、図７のＯＰ６）、開始される。図１０に示される処理の主体は、プロセッサ１０１であるが、文字表示領域の再探索処理は文字表示画面生成部１８の処理の一つであるため、図１０に示される処理は、文字表示画面生成部１８を主体として説明される。
【００８３】
ＯＰ３１では、文字表示画面生成部１８は、他のアプリケーションによる表示内容の追加の発生の有無を判定する。他のアプリケーションによる表示内容の追加とは、例えば、新たにアプリケーションが起動したことによって当該アプリケーションのウィンドウが画面に追加されること、すでに起動しているアプリケーションにおいて別のウィンドウが画面に追加されることである。
【００８４】
他のアプリケーションによる表示内容の追加が発生した場合には（ＯＰ３１：ＹＥＳ）、処理がＯＰ３２に進む。他のアプリケーションによる表示内容の追加が発生していない場合には（ＯＰ３１：ＮＯ）、処理がＯＰ３４に進む。
【００８５】
ＯＰ３２では、文字表示画面生成部１８は、文字表示領域探索処理を実行し、空き領域を探索する。ＯＰ３３では、文字表示画面生成部１８は、文字表示画面生成処理を実行し、再探索の結果検出された空き領域に文字表示領域を配置して文字表示画面を生成する。
【００８６】
ＯＰ３４では、文字表示画面生成部１８は、ユーザ操作による音声認識文字表示プログラムの終了指示が入力されたか否かを判定する。音声認識文字表示プログラムの終了指示が入力された場合には（ＯＰ３４：ＹＥＳ）、図１０に示される処理が終了する。音声認識文字表示プログラムの終了指示が入力されていない場合には（ＯＰ３４：ＮＯ）、処理がＯＰ３１に進み、図１０に示される処理が繰り返し実行される。
【００８７】
図１１は、音声認識文字取得処理のフローチャートの一例である。音声認識文字取得処理は、入力された音声又は音声データの音声認識結果を取得する処理である。図１１に示される処理は、例えば、文字表示画面の初期画面が生成されると（例えば、図７のＯＰ６）、開始される。
【００８８】
ＯＰ４１では、プロセッサ１０１は、マイクロフォン等の音声入力装置から音声の入力を、又は、音声データの入力を受け付ける。ＯＰ４１では、音声又は音声データは、例えば、音声入力の１区間の長さである所定時間ごとに受け付けられる。音声入力の１区間の長さである所定時間は、例えば、２００ｍｓである。
【００８９】
ＯＰ４２では、プロセッサ１０１は、例えば、音声入力の１区間の長さである所定時間の長さの音声データに対する音声認識コマンドを生成（発行）して、通信部１７を介して、音声認識装置２に送信する。音声認識コマンドとともに、音声データ、使用言語の情報も送信される。音声データには一連の通し番号が含まれてもよい。また、音声認識コマンドとともに、端末装置１のアドレスや端末装置１を識別する識別子が送信されてもよい。
【００９０】
音声認識装置２は、例えば、端末装置１から音声認識コマンドを受信すると、音声認識コマンドに従って、音声認識コマンドとともに送信される音声データを、音声認識コマンドとともに送信される使用言語の文字情報に変換する。音声認識装置２は、変換によって取得された文字情報を、音声認識結果として、端末装置１に送信する。
【００９１】
音声認識装置２は、例えば、端末装置１から送信される音声データをバッファし、バッファされている一連の音声データを結合して１つの結合音声データを作成し、当該音声データの音声を一連の文字情報に変換する。また、音声認識装置２は、例えば、音声データに所定時間継続する無音が含まれている場合、当該音声データを改行を示す制御文字に変
換する。音声認識装置２は、例えば、音声を改行を示す制御文字を含む文字情報に変換した場合、当該制御文字に対応する音声データ以前の音声データをバッファから削除する。これにより、音声認識装置２は、常に、無音（改行）以降の音声データについて、文字情報に変換することになる。
【００９２】
すなわち、音声認識装置２からの音声認識結果として送信される文字情報は、バッファに保持されている無音以降の音声データに対応する、１以上の文字についての文字情報となる。
【００９３】
ＯＰ４３では、プロセッサ１０１は、ＯＰ４２で送信した音声認識コマンドに対する、音声認識装置２による音声認識結果を、受信したか否かを判定する。音声認識結果を受信した場合には（ＯＰ４３：ＹＥＳ）、処理がＯＰ４４に進む。音声認識結果を受信していない場合（ＯＰ４３：ＮＯ）、ＯＰ４３の処理が繰り返し実行される。
【００９４】
ＯＰ４４では、プロセッサ１０１は、今回受信した音声認識結果と、前回受信した音声認識結果とを比較する。例えば、音声認識結果は、所定時間バッファされており、前回受信した音声認識結果は当該バッファから取得される。
【００９５】
今回受信した音声結果と前回受信した音声認識結果とが同じである場合には（ＯＰ４４：ＹＥＳ）、処理がＯＰ４１に進む。この場合、前回の音声認識結果に対してＯＰ４５以降の処理が行われているため、同じ音声認識結果に対して同じ処理を行う必要が無いからである。また、音声認識結果に、文字情報が含まれない場合も、同様にする。文字情報が含まれない場合には、表示などの以後の処理を行う必要が無いからである。
【００９６】
また、今回受信した音声結果と前回受信した音声認識結果とが異なる場合には（ＯＰ４４：ＮＯ）、処理がＯＰ４５に進む。
【００９７】
ＯＰ４５では、プロセッサ１０１は、音声認識結果の文字情報の翻訳の要不要を判定する。この判定は、例えば、音声認識結果である音声データの言語の情報と、記憶部１３に記憶されている表示用の言語の情報とが一致するか否かを判定することで判定される。音声認識結果の文字情報の翻訳が必要であると判定した場合には（ＯＰ４５：ＹＥＳ）、処理がＯＰ４６に進む。音声認識結果の文字情報の翻訳が不要であると判定した場合には（ＯＰ４５：ＮＯ）、処理がＯＰ４９に進む。
【００９８】
ＯＰ４６では、プロセッサ１０１は、翻訳コマンドを生成（発行）して、生成したコマンドを翻訳装置３に送信する。翻訳コマンドとともに、音声認識結果である文字情報と、音声認識結果である音声データの言語の情報（第１言語）と、表示用の言語の情報（第２言語）の情報とも送信される。翻訳コマンドとともに、端末装置１のアドレスや端末装置１を識別する識別子が送信されてもよい。
【００９９】
ＯＰ４７では、プロセッサ１０１は、翻訳装置３から翻訳結果を受信したか否かを判定する。翻訳装置３から翻訳結果を受信した場合には（ＯＰ４７：ＹＥＳ）、処理がＯＰ４８に進む。翻訳装置３から翻訳結果を受信していない場合には（ＯＰ４７：ＮＯ）、ＯＰ４７の処理が繰り返し実行される。
【０１００】
ＯＰ４８では、プロセッサ１０１は、翻訳結果である文字情報を音声認識文字取得処理の結果とする。
【０１０１】
ＯＰ４９では、プロセッサ１０１は、翻訳不要であるので、音声認識結果である文字情報を音声認識文字取得処理の結果とする。
【０１０２】
ＯＰ５０では、プロセッサ１０１は、ユーザ操作による音声認識文字表示プログラムの終了指示が入力されたか否かを判定する。音声認識文字表示プログラムの終了指示が入力された場合には（ＯＰ５０：ＹＥＳ）、図１１に示される処理が終了する。音声認識文字表示プログラムの終了指示が入力されていない場合には（ＯＰ５０：ＮＯ）、処理がＯＰ４１に進み、図１１に示される処理が繰り返し実行される。
【０１０３】
ＯＰ４１の処理は、例えば、音声入力部１４の処理の一つである。ＯＰ４２の処理は、例えば、音声認識コマンド発行部１５Ａの処理の一つである。ＯＰ４３、ＯＰ４４、ＯＰ４５、及び、ＯＰ４９の処理は、例えば、音声認識結果受付部１５Ｂの処理の一つである。ＯＰ４６の処理は、例えば、翻訳コマンド発行部１６Ａの処理の一つである。ＯＰ４７及びＯＰ４８の処理は、例えば、翻訳結果受付部１６Ｂの処理の一つである。
【０１０４】
図１２は、音声文字表示処理のフローチャートの一例である。音声文字表示処理は、入力された音声又は音声データの音声認識結果である文字を文字表示領域に表示させる処理である。図１２に示される処理は、例えば、文字表示画面の初期画面が生成されると（例えば、図７のＯＰ６）、開始される。図１２に示される処理の主体は、プロセッサ１０１であるが、音声文字表示処理は文字表示画面生成部１８の処理の一つであるため、図１２に示される処理は、文字表示画面生成部１８を主体として説明される。
【０１０５】
図１２では、文字表示画面内の文字表示領域の更新方法が、文字表示領域内に配置可能な文字数に達した場合に、所定数の列を削除し、残りの列を上にスクロールさせ、新たな文字を新たな列に配置する方法である場合の処理が示されている。ただし、音声文字表示処理として行われる処理は、他の文字表示画面内の文字表示領域の更新方法であってもよい。
【０１０６】
ＯＰ５１では、文字表示画面生成部１８は、文字情報の入力を受ける。音声認識コマンド及び翻訳コマンドは、例えば、音声入力の１区間の長さである所定時間の長さ（例えば、２００ｍｓ）の音声データ毎に発行されるので、音声認識結果又は翻訳結果の文字情報も音声認識コマンドまたは翻訳コマンドが発行される間隔とほぼ同じ間隔で受信される。すなわち、図１２に示される処理は、例えば、音声認識結果又は翻訳結果が受信される度に実行される。
【０１０７】
ＯＰ５２では、現在文字表示領域に表示されている文字数が、文字表示領域の表示可能文字数以上であるか否かを判定する。文字表示領域の表示可能文字数は、例えば、文字表示領域のサイズと文字表示領域内の文字の大きさとから求められる。
【０１０８】
現在文字表示領域に表示されている文字数が、文字表示領域の表示可能文字数以上である場合には（ＯＰ５２：ＹＥＳ）、処理がＯＰ５３に進む。現在文字表示領域に表示されている文字数が、文字表示領域の表示可能文字数未満である場合には（ＯＰ５２：ＮＯ）、処理がＯＰ５５に進む。
【０１０９】
ＯＰ５３では、文字表示画面生成部１８は、文字表示領域内に表示されている文字を、先頭からｎ（ｎ：正の整数）行分削除する。ＯＰ５４では、文字表示画面生成部１８は、文字表示領域内の残りの行を上方にシフトさせる。
【０１１０】
ＯＰ５５では、文字表示画面生成部１８は、文字表示領域内に表示されている文字の末尾に、入力された文字情報に対応する文字を配置する。ＯＰ５６では、文字表示画面生成部１８は、文字表示画面を更新する。ＯＰ５７では、文字表示画面生成部１８は、文字表示画面を画面出力部１９に出力し、画面出力部１９によって文字表示画面と他のアプリケ
ーションの画面とが重ね合わされて、表示装置１０５の画面に表示される。
【０１１１】
ＯＰ５９では、文字表示画面生成部１８は、ユーザ操作による音声認識文字表示プログラムの終了指示が入力されたか否かを判定する。音声認識文字表示プログラムの終了指示が入力された場合には（ＯＰ５９：ＹＥＳ）、図１２に示される処理が終了する。音声認識文字表示プログラムの終了指示が入力されていない場合には（ＯＰ５９：ＮＯ）、処理がＯＰ５１に進み、図１２に示される処理が繰り返し実行される。
【０１１２】
図１２に示される処理は、例えば、音声認識結果又は翻訳結果が受信される度に実行される。音声認識結果又は翻訳結果は、例えば、音声入力の１区間の長さである所定時間長（例えば、２００ｍｓ）毎に受信されるので、端末装置１への音声の入力（話者の話す速度）と表示装置１０５の音声認識結果の表示のタイムラグを小さくすることができる。視聴者から見た場合には、リアルタイムで話者の話した内容に対応する文字が表示装置１０５に表示されることになる。
【０１１３】
図７〜図１２に示される処理は、それぞれ、図７〜図１２に示される例に限定されない。図７〜図１２に示される処理は、実施の形態に応じて、処理の順序の変更、処理の省略及び追加が可能である。例えば、図７の音声表示領域の再探索処理の起動（ＯＰ８）、音声文字表示処理の起動（ＯＰ９）、音声認識文字取得処理の起動（ＯＰ１０）は、いずれから行われてもよい。
【０１１４】
＜表示画面例＞
図１３及び図１４は、音声認識結果の表示画面の一例を示す図である。図１３では、施設の案内を示す他のアプリケーションの２つのウィンドウの下部に文字表示領域が表示されている。図１４では、発表資料のスライドが全画面表示されており、スライドの下部に文字表示領域が表示されている。
【０１１５】
図１３及び図１４のいずれの例においても、音声認識結果は、他のアプリケーションの表示を邪魔することなく、また、他のアプリケーションによって邪魔されることなく、表示されており、音声認識結果は読みやすくなっている。
【０１１６】
＜第１実施形態の作用効果＞
第１実施形態では、端末装置１は、音声認識結果の文字情報を含む文字表示領域を、他のアプリケーションよりも優先して表示させる。具体的には、文字表示画面が、他のアプリケーションの表示内容を含む画面よりも前面に配置されて、重ね合わされる。これによって、音声認識結果を読みやすく表示することができる。
【０１１７】
また、第１実施形態では、文字表示画面の文字表示領域以外の領域は透明であるので、背面に配置される他のアプリケーションの表示内容が文字表示画面によって隠されることを抑制できる。また、文字表示画面の透明な領域に対する入力に対して、音声認識文字表示プログラムは無視し、対応する位置に表示内容を有する他のアプリケーションに渡す。これによって、他のアプリケーションへの操作を妨害することを抑制できる。なお、文字表示画面の文字表示領域以外の領域は透明に限定されず、透明度が高ければ透明でなくともよい。
【０１１８】
また、第１実施形態では、表示装置の画面内の他のアプリケーションによる表示内容が表示されていない空き領域が探索され、空き領域に文字表示領域が配置される。これによって、文字表示領域が他のアプリケーションの表示内容を隠してしまうことを抑制することができる。
【０１１９】
また、第１実施形態では、空き領域のサイズに応じて文字表示領域のサイズが調整される。これによって、文字表示領域が他のアプリケーションの表示内容を隠してしまうことを抑制することができる。
【０１２０】
また、第１実施形態では、空き領域に文字表示領域が収まりきらない場合には、文字表示領域が透明に近づくように透明度が調整される。これによって、他のアプリケーションの表示内容の文字表示領域が重なってしまう部分を可能な限り可視可能にすることができる。
【０１２１】
また、第１実施形態では、音声認識コマンドの発行が発声における一音又は一語の時間長毎に行われる。これによって、話者の発声と音声認識結果の表示とのタイムラグを短くすることができ、視聴者に不自然さを感じさせることを抑制できる。
【０１２２】
また、第１実施形態では、音声認識結果に基づいて翻訳の要不要が判定され、翻訳が必要な場合には翻訳装置３によって音声認識結果である文字情報の翻訳結果が取得され、翻訳結果が表示される。これによって、話者の使用言語と視聴者の使用言語とが異なる場合でも、リアルタイムに翻訳された文字を表示することができる。
【０１２３】
また、第１実施形態では、音声認識文字表示プログラムは、他のアプリケーションプログラムとは独立したプログラムである。これによって、音声認識文字表示プログラムと並行に起動させることによって、音声認識機能や翻訳機能を有しないアプリケーションであっても、音声認識結果や翻訳結果を表示させることができる。
【０１２４】
＜その他＞
第１実施形態では、端末装置１、音声認識装置２、翻訳装置３がそれぞれ異なる装置である場合の例が説明されたが、端末装置１は音声認識機能と翻訳機能とを備えてもよい。
【０１２５】
また、第１実施形態では、文字表示画面を他のアプリケーションの画面よりも前面に配置して重ね合せることで、文字表示領域を優先して表示させるが、文字表示領域の優先表示の方法はこれに限定されない。例えば、文字表示領域の透明度を低く（透明でない方向）し、他のアプリケーションの表示内容のうち文字表示領域と重なる部分の透明度を高く（透明に近い方向）することで、文字表示領域を優先表示させてもよい。
【０１２６】
＜プロセッサ＞
上記実施形態において、端末装置１は、ＣＰＵを備え、主記憶装置内にプログラムから展開された命令を実行することによって、説明された処理を実行する。ＣＰＵは、ＭＰＵ（Microprocessor）、プロセッサとも呼ばれる。ＣＰＵは、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のＣＰＵがマルチコア構成を有していても良い。上記各部の少なくとも一部の処理は、ＣＰＵ以外のプロセッサ、例えば、Digital Signal Processor(DSP)、Graphics Processing Unit（GPU）、数値演算プロセッサ、ベクトルプロセッサ、画像処理プロセッサ等の専用プロセッサで行われても良い。また、上記各部の少なくとも一部の処理は、集積回路（ＩＣ）、その他のディジタル回路であっても良い。また、上記各部の少なくとも一部にアナログ回路が含まれても良い。集積回路は、ＬＳＩ、Application Specific Integrated Circuit（ASIC）、プログラマブルロジックデバイス（ＰＬＤ）を含む。ＰＬＤは、
例えば、Field-Programmable Gate Array(FPGA)を含む。上記各部は、プロセッサと集積
回路との組み合わせであっても良い。組み合わせは、例えば、マイクロコントローラ（ＭＣＵ）、ＳｏＣ（System-on-a-chip），システムＬＳＩ、チップセットなどと呼ばれる。
【０１２７】
＜記録媒体＞
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
【０１２８】
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる非一時的な記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、ブルーレイディスク、ＤＡＴ、８ｍｍテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスク、ＲＯＭ（リードオンリーメモリ）等がある。さらに、ＳＳＤ（Solid State Drive）は、コンピュータ等から取り外し可能な記録媒体としても、コ
ンピュータ等に固定された記録媒体としても利用可能である。
【符号の説明】
【０１２９】
１        端末装置
２        音声認識装置
３        翻訳装置
１１      入力部
１２      設定部
１３      記憶部
１４      音声入力部
１５Ａ    音声認識コマンド発行部
１５Ｂ    音声認識結果受付部
１６Ａ    翻訳コマンド発行部
１６Ｂ    翻訳結果受付部
１７      通信部
１８      文字表示画面生成部
１９      画面出力部
１０１    プロセッサ
１０２    主記憶装置
１０３    補助記憶装置
１０４    ネットワークインタフェース
１０５    表示装置
１０６    音声入力インタフェース
１０７    入力インタフェース
【図１】
2019016206.tif 000003
【図２】
2019016206.tif 000004
【図３】
2019016206.tif 000005
【図４】
2019016206.tif 000006
【図５】
2019016206.tif 000007
【図６】
2019016206.tif 000008
【図７】
2019016206.tif 000009
【図８】
2019016206.tif 000010
【図９】
2019016206.tif 000011
【図１０】
2019016206.tif 000012
【図１１】
2019016206.tif 000013
【図１２】
2019016206.tif 000014
【図１３】
2019016206.tif 000015
【図１４】
2019016206.tif 000016