(57)【要約】【課題】音声出力された文章の中に聞き取れなかった単語があった場合に、その文章のテキストデータの表示とともに、最大難易度の単語をわかりやすく表示して、利用者の利便性および操作性を向上させることを課題とする。  【解決手段】第1言語からなる複数の文章データの音声情報を記憶する音声データ記憶手段と、音声情報に対応し、かつ、複数の単語からなるテキストデータを記憶するテキストデータ記憶手段と、音声データ記憶手段に記憶されている音声情報を出力する音声出力手段と、テキストデータを読み出して表示する表示手段と、音声出力手段から音声情報が出力されているとき、当該音声情報に対応するテキストデータを表示することを指示する指示手段と、指示された音声情報に対応するテキストデータを読み出して表示させる表示制御手段と、第１言語の単語ごとに難易度を記憶する難易度記憶手段とを備え、表示制御手段が、指示されたテキストデータを前記表示手段に表示させる際に難易度の高い単語を他の単語と判別可能に表示することを特徴とする。【選択図】図４
2006098968.tif 000002
【特許請求の範囲】
【請求項１】
複数の単語からなるテキストデータを記憶する記憶手段と、
前記記憶手段に記憶されたテキストデータを読み出して表示する表示手段と、
前記記憶手段に記憶された所望のテキストデータを前記表示手段に表示させる指示を行う指示手段と、
テキストデータを構成する単語ごとに難易度を記憶する難易度記憶手段と、
前記指示手段によって指示されたテキストデータを前記表示手段に表示する際に難易度の高い単語を他の単語と判別可能に表示する表示制御手段とを備えた
ことを特徴とする情報処理装置。
【請求項２】
第1言語からなる複数の文章データの音声情報を記憶する音声データ記憶手段と、
前記音声情報に対応し、かつ、複数の単語からなるテキストデータを記憶するテキストデータ記憶手段と、
前記音声データ記憶手段に記憶されている音声情報を出力する音声出力手段と、
前記テキストデータ記憶手段に記憶されたテキストデータを読み出して表示する表示手段と、
前記音声出力手段から音声情報が出力されているとき、当該音声情報に対応するテキストデータを表示することを指示する指示手段と、
前記指示手段で指示された音声情報に対応するテキストデータを前記テキストデータ記憶手段から読み出して表示させる表示制御手段と、
第１言語の単語ごとに難易度を記憶する難易度記憶手段とを備え、
前記表示制御手段が、前記指示手段によって指示されたテキストデータを前記表示手段に表示させる際に難易度の高い単語を他の単語と判別可能に表示することを特徴とする情報処理装置。
【請求項３】
前記音声データ記憶手段に記憶されている音声情報は、２つの文章データの間に分離情報を有することを特徴とする請求項2記載の情報処理装置。
【請求項４】
音声情報が出力されている際に、２つの文章データの間にある分離情報を検出する分離情報検出手段をさらに備え、
前記表示制御手段が、分離情報検出手段が検出した分離情報のうち前記指示手段による指示が入力された時点の直前の分離情報を抽出し、その抽出された分離情報の後方に記憶された１つの文章データに対応するテキストデータを、前記テキストデータ記憶手段から読み出して表示手段に表示させることを特徴とする請求項3記載の情報処理装置。
【請求項５】
前記表示手段に表示されるテキストデータが、前記抽出された分離情報の直前および直後の文章データに対応する２つのテキストデータであることを特徴とする請求項４記載の情報処理装置。
【請求項６】
単語ごとに、第１言語および第２言語の情報を対応づけて複数記憶する単語記憶手段と、
前記指示手段によって指示されたテキストデータが第１言語で表示されるとき、そのテキストデータの中の任意の単語を指定する単語指定手段とをさらに備え、
前記第１言語の情報が各単語の表記を含み、前記第２言語の情報が各単語の第２言語の意味情報を含み、
前記表示制御手段が、前記単語指定手段によって指定された単語の第２言語の情報を表示手段に表示することを特徴とする請求項１乃至４記載の情報処理装置。
【請求項７】
第１言語で記載された複数の文章データのテキストデータを記憶するテキストデータ記憶手段と、前記テキストデータを読み出してそのテキストデータに対応する音声情報を合成する音声合成部と、前記合成した音声情報を出力する音声出力手段と、
前記テキストデータ記憶手段に記憶されたテキストデータを読み出して表示する表示手段と、
前記音声出力手段から音声情報が出力されているとき、当該音声情報に対応するテキストデータを表示することを指示する指示手段と、
前記指示手段で指示された音声情報に対応するテキストデータを前記テキストデータ記憶手段から読み出して表示させる表示制御手段と、
第１言語の単語ごとに難易度を記憶する難易度記憶手段とを備え、
前記表示制御手段が、前記指示手段によって指示されたテキストデータを前記表示手段に表示させる際に難易度の高い単語を他の単語と判別可能に表示することを特徴とする情報処理装置。
【請求項８】
第1言語からなる複数の文章データの音声情報を記憶する音声データ記憶手段と、前記音声情報に対応し、かつ、複数の単語からなるテキストデータを記憶するテキストデータ記憶手段と、前記音声データ記憶手段に記憶されている音声情報を出力する音声出力手段と、前記テキストデータ記憶手段に記憶されたテキストデータを読み出して表示する表示手段と、前記音声出力手段から音声情報が出力されているとき、当該音声情報に対応するテキストデータを表示することを指示する指示手段と、前記指示手段で指示された音声情報に対応するテキストデータを前記テキストデータ記憶手段から読み出して表示させる表示制御手段と、第１言語の単語ごとに難易度を記憶する難易度記憶手段とを備えた情報処理装置の文書表示方法において、
前記音声出力手段が前記音声データ記憶手段に記憶されていた音声情報を出力しているときに、前記指示手段によりテキストデータの表示指示が入力された場合、
前記表示制御手段が、出力されている音声情報に対応するテキストデータを前記テキストデータ記憶手段から読み出し、前記難易度記憶手段を用いて読み出されたテキストデータに含まれる単語のうち難易度の最も高い単語を抽出し、読み出されたテキストデータを前記表示手段に表示し、かつ抽出された難易度の最も高い単語を他の単語と判別可能に表示させることを特徴とする情報処理装置の文書表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は情報処理装置およびその文書表示方法に関し、特に、予め記憶された文章データを文字情報として表示するだけでなく、音声でも出力することのできる情報処理装置およびその文書表示方法に関する。たとえば語学学習装置，翻訳装置，電子辞書，ヒアリング学習装置などの情報処理装置に関する。
【背景技術】
【０００２】
従来の電子辞書や翻訳装置において、利用者が予め記憶された文章データを選択すると、その文章データが表示されてさらに、その文章データに対応する音声を表示するものがあった。
また、ヒアリングの学習時において、選択されたフレーズに対応する音声がスピーカから発音されているときに、所定のキーが押されるまでは、そのフレーズを表示させないようにした言語情報出力装置が提案されている（特許文献１参照）。
【０００３】
また、音声情報をスピーカから発音させたときに、ユーザがその音声を聞きとることができないために特定のキーを操作した場合、その音声情報に対応付けて記憶されていた文字情報が表示され、また、特定のキー操作でカーソルを移動させ、選択された単語の意味を表示するようにすることにより、聞き取れなかった音声情報を文字情報で確認することのできる情報再生装置が提案されている（特許文献２参照）。
【特許文献１】特開平９−１１４３６１号公報
【特許文献２】特開２００１−６２９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載のものでは、音声の発音中はそのフレーズの表示はされず、ユーザが所定のキーを押した後にそのフレーズが表示されるので、ヒアリングの練習における学習効果を高めることはできるが、そのフレーズに含まれる単語ごとに、意味の確認や正しい発音の確認をすることはできなかった。
また、特許文献２に記載のものでは、ユーザが音声を聞きとれなかった時に、特定のキーを操作することにより、その音声に対応する文章を表示させ、さらに表示された単語のうち所望の単語にカーソルを移動させることによりその単語の意味を表示させることができるが、表示された文章が長い文章の場合、所望の単語を選択するためのカーソル移動操作は煩わしく、操作性が良いとは言えなかった。また、聞きとれなかった単語が、どれであるかを目視で探す必要があった。
【０００５】
一方、聞きとれなかった単語は、使用頻度の高い単語よりもむしろ使用頻度の低い単語や難解な単語などである可能性が高い。
そこで、この発明は、以上のような事情を考慮してなされたものであり、利用者がヒアリング学習などの際に、音声出力された文章の中に聞き取れなかった単語があった場合等において、利用者が文章を表示する指示をしたときに、その文章中の難易度の高い単語を特別な形態で表示させることにより、利用者の操作性を向上させる情報処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
この発明は、複数の単語からなるテキストデータを記憶する記憶手段と、前記記憶手段に記憶されたテキストデータを読み出して表示する表示手段と、前記記憶手段に記憶された所望のテキストデータを前記表示手段に表示させる指示を行う指示手段と、テキストデータを構成する単語ごとに難易度を記憶する難易度記憶手段と、前記指示手段によって指示されたテキストデータを前記表示手段に表示する際に難易度の高い単語を他の単語と判別可能に表示する表示制御手段とを備えたことを特徴とする情報処理装置を提供するものである。
【０００７】
また、この発明は、第1言語からなる複数の文章データの音声情報を記憶する音声データ記憶手段と、前記音声情報に対応し、かつ、複数の単語からなるテキストデータを記憶するテキストデータ記憶手段と、前記音声データ記憶手段に記憶されている音声情報を出力する音声出力手段と、前記テキストデータ記憶手段に記憶されたテキストデータを読み出して表示する表示手段と、前記音声出力手段から音声情報が出力されているとき、当該音声情報に対応するテキストデータを表示することを指示する指示手段と、前記指示手段で指示された音声情報に対応するテキストデータを前記テキストデータ記憶手段から読み出して表示させる表示制御手段と、第１言語の単語ごとに難易度を記憶する難易度記憶手段とを備え、前記表示制御手段が、前記指示手段によって指示されたテキストデータを前記表示手段に表示させる際に難易度の高い単語を他の単語と判別可能に表示することを特徴とする情報処理装置を提供するものである。これによれば、ユーザの意思で、音声出力されていた文章の表示とともに、難易度の最も高い単語を視覚的にわかりやすい形態で表示できるので、ヒアリング学習などをする利用者の利便性および操作性を向上させることができる。
【０００８】
ここで、前記音声データ記憶手段に記憶されている音声情報は、２つの文章データの間に分離情報を有することを特徴とする。
【０００９】
また、音声情報が出力されている際に、２つの文章データの間にある分離情報を検出する分離情報検出手段をさらに備え、前記表示制御手段が、分離情報検出手段が検出した分離情報のうち前記指示手段による指示が入力された時点の直前の分離情報を抽出し、その抽出された分離情報の後方に記憶された１つの文章データに対応するテキストデータを、前記テキストデータ記憶手段から読み出して表示手段に表示させることを特徴とする。
これによれば、利用者が意図的に指示した文章を視覚的にわかりやすい形態で表示することができる。
【００１０】
ここで、前記表示手段に表示されるテキストデータが、前記抽出された分離情報の直前および直後の文章データに対応する２つのテキストデータとしてもよい。
これによれば、利用者の指示タイミングが遅れた場合でも、利用者が意図的に指示した文章をより確実に表示することができる。
【００１１】
さらに、単語ごとに、第１言語および第２言語の情報を対応づけて複数記憶する単語記憶手段と、前記指示手段によって指示されたテキストデータが第１言語で表示されるとき、そのテキストデータの中の任意の単語を指定する単語指定手段とをさらに備え、前記第１言語の情報が各単語の表記を含み、前記第２言語の情報が各単語の第２言語の意味の情報を含み、前記表示制御手段が、前記単語指定手段によって指定された単語の第２言語の情報を表示手段に表示することを特徴とする。
これによれば、利用者が表示指示をした文章の中の所望の単語について、容易な操作で第２言語の情報を表示させることができる。
【００１２】
また、この発明は、第１言語で記載された複数の文章データのテキストデータを記憶するテキストデータ記憶手段と、前記テキストデータを読み出してそのテキストデータに対応する音声情報を合成する音声合成部と、前記合成した音声情報を出力する音声出力手段と、前記テキストデータ記憶手段に記憶されたテキストデータを読み出して表示する表示手段と、前記音声出力手段から音声情報が出力されているとき、当該音声情報に対応するテキストデータを表示することを指示する指示手段と、前記指示手段で指示された音声情報に対応するテキストデータを前記テキストデータ記憶手段から読み出して表示させる表示制御手段と、第１言語の単語ごとに難易度を記憶する難易度記憶手段とを備え、前記表示制御手段が、前記指示手段によって指示されたテキストデータを前記表示手段に表示させる際に難易度の高い単語を他の単語と判別可能に表示することを特徴とする情報処理装置を提供するものである。
【００１３】
さらに、この発明は、第1言語からなる複数の文章データの音声情報を記憶する音声データ記憶手段と、前記音声情報に対応し、かつ、複数の単語からなるテキストデータを記憶するテキストデータ記憶手段と、前記音声データ記憶手段に記憶されている音声情報を出力する音声出力手段と、前記テキストデータ記憶手段に記憶されたテキストデータを読み出して表示する表示手段と、前記音声出力手段から音声情報が出力されているとき、当該音声情報に対応するテキストデータを表示することを指示する指示手段と、前記指示手段で指示された音声情報に対応するテキストデータを前記テキストデータ記憶手段から読み出して表示させる表示制御手段と、第１言語の単語ごとに難易度を記憶する難易度記憶手段とを備えた情報処理装置の文書表示方法において、前記音声出力手段が、前記音声データ記憶手段に記憶されていた音声情報を出力しているときに、前記指示手段によりテキストデータの表示指示が入力された場合、前記表示制御手段が、出力されている音声情報に対応するテキストデータを前記テキストデータ記憶手段から読み出し、前記難易度記憶手段を用いて読み出されたテキストデータに含まれる単語のうち難易度の最も高い単語を抽出し、読み出されたテキストデータを前記表示手段に表示し、かつ抽出された難易度の最も高い単語を他の単語と判別可能に表示させることを特徴とする情報処理装置の文書表示方法を提供するものである。
【００１４】
この発明において、指示手段とは、利用者の意図するデータの入力や、利用者の意図する機能を実行させるための指示を入力する部分であり、キーボード等の入力手段に相当するものである。特に、音声情報に対応するテキストデータを表示することを指示する指示手段は、以下の実施例では、検索キーに相当する。
また、表示制御手段は、実施例における制御部に相当する。難易度記憶手段とは、単語と難易度とを対応づけて予め記憶したメモリであり、独立した記憶手段を設けてもよいが、電子辞書のような辞書データ記憶部に難易度に関する情報を含めて記憶しておいてもよい。この場合、辞書データ記憶部が、難易度記憶手段に相当する。
【００１５】
この発明の単語記憶手段は電子辞書に相当するものであり、各単語ごとに第１言語の表記、第１言語の発音情報、第２言語の意味、第１言語で記載された用例などのいずれか一つ以上の情報を記憶したものであり、さらにこの発明では難易度の情報も記憶する。また、単語指定手段が指定した単語の第２言語の情報を表示制御手段が表示する際、第２言語の情報とともにあるいは第２言語の情報に代えて第１言語の発音情報や用例を表示するようにしてもよい。
この発明の単語指定手段は、実施例の決定キーに相当する。
【発明の効果】
【００１６】
この発明によれば、利用者の指示により、聞き取れなかった単語を含む文章を表示させる際に、その文章に含まれる難易度の高い単語を他の単語と判別可能に表示するので、聞き取れなかった可能性の高い単語を視覚的にわかりやすい形式で利用者に表示でき、ヒアリング学習などにおける利便性および操作性を著しく向上させることができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を使用して本発明の実施の形態を説明する。なお、以下の実施例の記載によって、この発明が限定されるものではない。
＜この発明の情報処理装置の構成＞
図１に、この発明の情報処理装置の一実施例の構成ブロック図を示す。
この発明の情報処理装置は、主として、制御部１，入力部２，分離情報検出部３，表示部４，音声出力部５，および記憶部（１１〜１５）とから構成される。
制御部１は、プログラムに基づいてハードウェアを動作させ、各機能ブロックの機能を実行させる部分である。制御部１は、たとえば、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏコントローラ，タイマー等からなるマイクロコンピュータにより実現される。
【００１８】
入力部２は、ユーザがデータや特定の機能の実行指示を入力する部分であり、アルファベットキー，テンキー，特定機能キーなどからなるキーボードが用いられ、マウス，トラックボール，ペンなどのポインティングデバイスを設けてもよい。
特定機能キーとは、あらかじめ決められた特定の機能を実行するための専用のキーであり、たとえば、図１に示すような検索キー２１，決定キー２２，メニューキー２３，左右キー２４，上下キー２５などが設けられる。検索キー２１は、後述するように、音声出力中に押下げられた場合、その出力中の音声に対応するテキスト文章を表示部４に表示させる表示指示機能を実行するキーに相当する。
【００１９】
決定キー２２は、表示されたテキスト文章のうちカーソルが位置する単語を選択してその単語の意味を表示させる単語指示機能を実行するキーに相当する。メニューキー２３は、ユーザが所望する分野の文章あるいは音声を選択するためのキーである。左右キー２４および上下キー２５は、画面上のカーソルの位置を上下左右に移動させるためのキーである。特定機能キーは、これらに限られることはなく、必要に応じて設けてもよい。また、１つのキーに２つ以上の機能を割り当て、いくつかのキーの押下の組合せごとに別の特定機能を実行させるようにしてもよい。
【００２０】
分離情報検出部３は、分離情報を検出する機能ブロックであるが、後述するように、予め格納されたテキストデータや音声データの区切り部分に設けられた分離情報を検出するものである。分離情報とは、特定のパターンを有する連続データや、テキストデータや音声データの中には出現することのない特定パターンのデータが用いられる。
表示部４は、テキストデータやメニューなど各種情報を、視覚的にユーザに提示する部分であり、制御部１からの指示に基づいて表示データを作成する表示コントローラ４１と、表示画面を有するＬＣＤ４２とから構成される。表示画面は、ＬＣＤの他、ＥＬ素子などを用いてもよい。
【００２１】
音声出力部５は、ユーザの要求した情報を聴覚的に出力する部分であり、音声データをデコードしてＤ／Ａ変換する音声デコーダ５１とスピーカ５２とから構成される。
記憶部は、図１に示すように、主として、制御データ記憶部１１，プログラム記憶部１２，辞書データ記憶部１３，テキストデータ記憶部１４，および音声データ記憶部１５とから構成される。
【００２２】
ここで、制御データ記憶部１１は、制御部１が動作中に利用するデータであり、書き換え可能なメモリが用いられる。たとえば、ＲＡＭ，フラッシュメモリ，ハードディスクなどが用いられる。制御データ記憶部１１に記憶されるデータとしては、たとえば、分離数カウンタＸ，単語数カウンタＹ，難易度ＺY，最大難易度ＺMAX，最大難易度を持つ単語のカウント値ＹMAXなどである。これらは、後述する図４などのフローチャートで説明する。
【００２３】
プログラム記憶部１２は、この発明の情報処理装置の機能を実行させるためのプログラムを記憶した部分であり、制御部１がこのプログラムに基づいて各種ハードウェアを有機的に動作させる。このプログラム記憶部１２は、書き換えることができない読み出し専用のメモリ（ＲＯＭ）が用いられる。ただし、プログラムは、ＲＯＭの他に、フラッシュメモリなどの不揮発性メモリや，ハードディスク等の記憶装置に格納して提供してもよい。また、ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＩＣメモリカードなどの可搬型の記憶媒体に格納して提供してもよい。
さらに、図示しない通信機能を有する場合は、プログラムは、ＬＡＮやインターネット等を介して遠隔地のサーバや他のパソコンからハードディスク等の記憶部にダウンロードして提供することもできる。
【００２４】
辞書データ記憶部１３は、いわゆる電子辞書を記憶しておく部分であり、ＲＯＭ，ＣＤ−ＲＯＭ，ＩＣメモリカードなどが用いられる。この発明では、通常の電子辞書と異なり、図９に示すように、各単語ごとに難易度を付与しているものとする。図９は、この発明の辞書データ記憶部１３に格納される単語の一実施例を示したものである。
辞書は、各単語ごとに、通常第１言語（たとえば英語）の見出し語と、対応する第２言語（たとえば日本語）の意味内容，用例などから構成されるが、この発明では、図９のように各単語ごとに、難易度（１，２，……）を予め有している。
図９に示すように、たとえば、“and”という単語は難易度が「１」であり、比較的やさしいことを示し、“odometer”という単語は難易度が「７」であり、比較的難しい単語であることを示している。
【００２５】
この難易度はあらかじめ教育課程の学習レベルに基づいて付与することができる。たとえば、中学校で学習する単語には比較的小さいレベルの難易度（１あるいは２）を付与し、高等学校で学習する単語にはそれよりも高い難易度（３〜５）を付与し、大学以上で習うレベルの難しい単語にはもっと高い難易度（６あるいは７）を付与しておく。
【００２６】
ある特定分野に特有の単語が多数ある場合に、それらの単語ごとに難易度を付与してもよい。また、予め固定的に難易度を与えるのではなく、学習する者のレベルや使用頻度等を考慮して、柔軟的に難易度を変更できるようにしてもよい。
テキストデータ記憶部１４は、文字，記号，数字等で記述された文章データをテキストとして記憶する部分であり、文字等をたとえばＪＩＳやＡＳＣＩＩなどのコードとして記憶する部分である。テキストデータ記憶部１４も、ＲＯＭ，ＣＤ−ＲＯＭ等の固定記憶メモリが用いられる。ただし、追加，削除，変更ができるように、ＲＡＭや、フラッシュメモリなどの書き換え可能なメモリを用いてもよい。
【００２７】
音声データ記憶部１５は、文字等で記述された文章データを予め音声情報として記憶する部分であり、アナログ音声の他、デジタル音声情報として格納される。デジタル音声情報としては種々の規格のデータフォーマット（たとえばＭＰ３）があり、任意のものを用いることができる。音声データ記憶部１５も、ＲＯＭ，ＣＤ−ＲＯＭ等の固定記憶メモリが用いられる。
【００２８】
＜この発明で使用するデータの構造＞
図３に、音声データ記憶部１５に格納された音声データと、テキストデータ記憶部１４に格納されたテキストデータのデータ構造の一実施例の説明図を示す。
図３（ａ）は、音声データのデータ構造を示している。ここでは、音声情報化された４つの文章データ（Ａ，Ｂ，Ｃ，Ｄ）と、それらの文章データの区切りを示す３つの分離情報と、音声データの終了を示す終了情報とから構成される。文章データ（Ａ，Ｂ，Ｃ，Ｄ）は、音声に変換可能な情報であり、音声デコーダ５１に与えられると所定の復号化処理が実行され、さらにＤ／Ａ変換され、スピーカ５２から音声として出力される。
ここで、「分離情報」としては、前記したように特定パターン情報や、文章データ（Ａ，Ｂ，Ｃ，Ｄ）の中には決して出現しないパターン情報が用いられる。たとえば、「０，０，０，……，０」のような連続ゼロデータが用いられる。
【００２９】
終了情報も、分離情報とは異なる特定パターン情報が用いられる。ただし、ヘッダ情報として文章数やデータ長などのデータを有している場合は、終了情報は必須の情報ではない。
【００３０】
図３（ｂ）は、テキストデータのデータ構造を示している。図３（ａ）に示したデータ構造とほぼ同様であるが、ここでは、４つの文章データ（Ａ，Ｂ，Ｃ，Ｄ）が、テキストデータとして記憶されている。また、分離情報としては、音声データと同じ特定パターン情報を用いてもよいが、特定のテキストコードを用いてもよい。文章データには出現しないような情報、たとえば、複数個のピリオドからなる情報を用いることもできる。
終了情報も、同様に特定のテキストコードを用いることができ、文章数などのヘッダ情報がある場合には必須の情報ではない。図１０に、４つの文章データ（Ａ，Ｂ，Ｃ，Ｄ）の一実施例の説明図を示す。
図３（ａ）の場合は、これらの文章データに対応する音声データが音声データ記憶部１５に格納されており、図３（ｂ）の場合は、これらの文章データに対応するテキストデータがテキストデータ記憶部１４に格納されている。また、１つの文章に対して、音声データとテキストデータとが対応づけられてそれぞれの記憶部に格納されている。
【００３１】
＜この発明の特徴的な機能の概要＞
この発明では、音声データの音声出力が行われている場合に、検索キー２１が押下げられると、その音声データに対応するテキストデータがＬＣＤ４２に表示され、さらにその表示されたテキストデータを構成する単語の中で、最も高い難易度を持つ単語が強調表示（たとえば反転表示）される。
図３（ａ）に示すように、文章Ｃに相当する音声が出力されているときに、検索キー２１が押下げられると、図３（ｂ）に示す文章Ｃに相当するテキストデータがＬＣＤ４２に表示される。検索キー２１の押下げは、たとえば、ユーザが今聞いている文章が聞き取れないときに行われ、その聞き取れなかった文章を視覚的に確認するために行われる。
【００３２】
また、聞きとれなかった文章中には、難易度の高い単語が含まれている可能性があり、ユーザの学習レベルにもよるが、難易度の高い単語が聞き取れなかった可能性が高い。そこで、予め設定した難易度の最も高い単語の表示形態を他の単語と異ならせてＬＣＤ４２に表示させれば、聞き取れなかった単語を探す手間が省ける可能性が大きいと考えられる。特に長文の場合にその手間が省ける可能性が大きく、ユーザの利便性向上の効果が大きい。
また、表示形態を異ならせる以外に、難易度の最も高い単語を一時的に別の表示領域に表示し、他の単語と判別可能に表示してもよい。
【００３３】
また、表示されたテキストデータの中に、最も高い難易度を持つ単語が複数個ある場合は、一定時間ごとに最初の単語から順に反転表示していくか、あるいは、その複数個の単語すべてを同時に反転表示してもよい。このような難易度の高い単語を他の単語と異ならせた強調表示をすることにより、ヒアリング学習などの利用形態において、利用者の利便性，操作性を向上させることができる。
【００３４】
また、ユーザは、１つの文章を聞き終わった直後あるいは少し遅れて次の文章の音声出力が始まってしまった後に、検索キー２１を押下げる場合もあると考えられる。したがって、検索キーが押下げられた時の文章そのもののテキストデータを表示させるだけでなく、押下げられた時の１つ前の文章のテキストデータも同時に表示させるようにした方が好ましい場合もある。
以上のような機能および利用形態における処理の内容について、以下にフローチャートを用いて説明する。
【００３５】
＜実施例１：音声データの出力および表示処理＞
図４に、この発明の実施例１の音声データの出力および表示処理のフローチャートを示す。このフローチャートの処理は、制御部１が他の機能ブロックを利用して実行する。ところで、ユーザは、本情報処理装置を使用するにあたり、ヒアリング学習などの目的のために、聞きたい所望の文章を選択する必要がある。
ヒアリング学習の場合は、その所望の文章を表示させずに音声出力をさせるために、たとえば「日常会話」とか「旅行」というような使用局面を示す分野を選択する操作をする。たとえば、複数の分野からなるメニュー画面をＬＣＤ４２に表示させ、ユーザが所望の分野を選択してメニューキー２３を押すことにより図４の処理が開始される。
【００３６】
ステップＳ１において、制御部１は、上記のようなメニュー選択入力があったか否か確認する。メニュー選択入力がなければループし、メニューキー２３が押し下げられれば、ステップＳ２へ進む。
【００３７】
ステップＳ２において、分離情報の数をカウントするための分離数カウンタＸを、ゼロに初期化する。
また、ステップＳ２において、ステップＳ１で選択されたメニューに対応する音声データを、音声データ記憶部１５から読み出し、スピーカ５２から出力する。ここで、その音声データの中に複数の文章データが含まれる場合は先頭から順に読み出される。たとえば、図３（ａ）のような音声データの場合は、まず１番目の文章Ａの音声データを読み出して、音声デコーダ５１により復号化とＤ／Ａ変換をして、スピーカ５２から文章Ａの音声を出力する。スピーカ５２から音声出力している間は、ユーザがその文章内容を見ないようにするために、図１４に示すような表示をすることが好ましい。検索キー２１の押下げがない場合は、文章Ａ，分離情報，文章Ｂ，分離情報，文章Ｃ，分離情報，文章Ｄ，終了情報の順に読み出され、４つの文章に対応する音声が順に出力される。この一連の処理はステップＳ３からＳ７の処理に相当する。
【００３８】
ステップＳ３において、制御部１が検索キー２１が入力されたか否かチェックする。検索キー２１が押されたときはステップＳ８へ進み、そうでないときはステップＳ４へ進む。
ステップＳ４において、分離情報検出部３が、分離情報が検出されたか否かチェックする。ここで、分離情報検出部３は、現在出力されている音声の音声データがどの位置にあるかを監視しており、たとえば文章Ａの音声データの出力が終了し、文章Ａの直後の分離情報が読み出されたとき、分離情報が検出されたと判断する。すなわち、分離情報が検出された場合、１つの文章の音声出力が終了したと判断され、ステップＳ５へ進む。一方、分離情報がまだ検出されていない場合は、ステップＳ３へ戻る。
【００３９】
ステップＳ５において、すべての文章に対応する音声出力が終了したか否かチェックする。
ここで、すべての音声出力が終了したか否かは、図３（ａ）に示した終了情報が検出されたか否かを確認すればよい。あるいは、現在の分離数カウンタＸと、予めヘッダ情報に含められた文章数データとを比較して一致するか否か確認してもよい。そして、終了情報が検出されるか、あるいはカウンタＸが文章数データと一致した場合には処理を終了し、そうでない場合はステップＳ６へ進む。
【００４０】
音声出力がまだ終了していない場合は、分離数カウンタＸをインクリメントし（ステップＳ６）、次の文章に対応する音声データを出力し（ステップＳ７）、ステップＳ３へ戻る。
以上のステップＳ３からＳ７までの処理を繰り返すことにより、メニュー選択された文章の音声が順次出力される。この音声出力の途中で、検索キー２１が押下げられると、対応するテキストデータを表示するために、ステップＳ８以下の処理が実行される。
【００４１】
ステップＳ８において、単語数カウンタＹに、１をセットする。ここで、単語数カウンタＹは、ある文章中の先頭から数えた単語の番号を示すものである。また、メニュー選択された文章データの中にあるＸ＋１番目のテキストデータを読み出す（ステップＳ８）。ここで、読み出されるテキストデータは、音声出力されていた音声データと対応づけられた文章に相当するものである。また、Ｘ＋１番目とは、検出された分離情報のうち、検索キーが押下げられた直前の分離情報のすぐ後方に位置するテキストデータの番号を意味する。
【００４２】
ここで、１つの文章について、図３（ａ）に示された音声データと、図３（ｂ）に示されたテキストデータとが対応づけられて格納されているが、たとえば、Ｘ＝０の場合、Ｘ＋１＝１番目のテキストデータが読み出される。
次に、ステップＳ９において、読み出されたテキストデータの先頭からＹ番目の単語の難易度を辞書データ記憶部１３から検索し、難易度フラグＺYにセットする。たとえば、Ｙ＝１のとき、先頭の単語が“The”の場合、辞書データ記憶部１３の中に単語“The”とともに格納されている難易度「１」を抽出し、難易度フラグＺYに１をセットする。
【００４３】
ステップＳ１０において、最大の難易度を示すフラグＺMAXに、初期値としてステップＳ９でセットしたＺYを入力する。また、ＺMAXに対応する単語数カウンタＹMAXに、初期値として現在のＹをセットする。
ステップＳ１１において、単語数カウンタＹをインクリメントする。ステップＳ１２において、読み出されたテキストデータのＹ番目の単語に注目し、辞書データ記憶部１３からその単語の難易度を抽出して、難易度フラグＺYにセットする。ステップＳ１３において、現在セットされた難易度フラグＺYと、最大難易度フラグＺMAXとを比較し、ＺY＞ＺMAXの場合ステップＳ１４へ進み、そうでない場合ステップＳ１５へ進む。
【００４４】
ＺY＞ＺMAXの場合、現在注目している単語の方の難易度が高いので、ステップＳ１４において、最大難易度フラグ（ＺMAX，ＹMAX）を更新する。
ステップＳ１３でＺY≦ＺMAXの場合、最大難易度フラグは更新しない。このとき、同じ最大難易度の単語が複数個存在する場合は、最初に見つかった単語のみが最大難易度として記憶される。ただし、同じ最大難易度の単語が複数ある場合（ＺY＝ＺMAX）において、それらの単語すべてを記憶するようにしてもよい。この場合は、最大難易度フラグを複数個設けておき、最大難易度を持つ単語すべてについてＺMAXとＹMAXをセットすればよい。
【００４５】
ステップＳ１５において、現在の単語数カウンタＹがテキストデータの最後の単語を示しているか否かチェックする。ここで、たとえば、あるテキストデータに含まれる単語総数を予めヘッダ情報としてそのテキストデータの中に記憶しておき、カウンタＹとこの単語総数が一致するか否か確認すればよい。
最後の単語までチェックが終了した場合はステップＳ１６へ進み、最後でない場合はステップＳ１１へ戻り、次の単語のチェックを繰り返し行う。
【００４６】
ステップＳ１６において、ステップＳ８で読み出されていたＸ＋１番目のテキストデータをＬＣＤ４２に表示させ、さらに、その表示されたテキストデータの中で難易度の最も高いＹMAX番目の単語を反転表示させる。
図１２に、図１０に示した文章Ｃについて、難易度の最も高い単語“odometer”を反転表示させた実施例を示す。
ここで、反転表示に限定されるものではなく、難易度の最も高い単語の表示形態を、他の単語と異なる表示とすればよく、たとえば、難易度の最も高い単語が視覚的に目立つように、点滅表示、カラー表示，太字表示あるいは下線表示をしてもよい。
また、難易度の高い単語を他の単語と判別可能に表示してもよい。たとえば、別ウィンドウを設け、難易度の高い単語だけを、一時的にその別ウィンドウの中に表示するようにしてもよい。
【００４７】
ステップＳ１７において、読み出されたテキストデータについて、そのテキストデータに含まれる全単語の難易度を抽出し、その難易度の高いもの順に単語を並べた難易度順一覧リストを作成し、制御データ記憶部１１に記憶する。
図１１に、図１０に示した文章Ｃの難易度順一覧リストの一実施例を示す。ここでは上から順に難易度の高い単語を並べている。
さらに、ステップＳ１６の表示がされている状態で、特定のキー（たとえば検索キー２１）が押し下げられた場合には、図１２のような表示を消してあるいは、図１２の表示の下側に、図１１に示した一覧リストを表示するようにする。これにより、ユーザが聞き取れなかった文章について難易度の高い順に単語が表示され、後述する単語の意味表示の操作を容易にすることができる。
なお、図１１に示すように、対象となる文章が長文で単語が多数ある場合は、難易度の低い単語まですべて表示するのではなく、表示スペースを考慮して比較的難易度の高いいくつかの単語を表示するだけでもよい。
以上が実施例１の音声出力および表示処理である。
【００４８】
＜実施例１の単語の意味の検索と表示処理＞
次に、図４の表示処理の後、利用者が所望の単語の意味を検索し、かつその意味を表示させる処理について説明する。
図４の処理の後、前記したようにたとえば図１２のような文章が表示される。ここで反転表示されている単語は“odometer”であり、この単語“odometer”は、表示された文章の中で最大の難易度を持つ単語である。もし、この単語が利用者が聞きとれなかった単語であった場合には、利用者はこの単語の反転表示を見た状態で、すぐに自己が聞きとれなかった単語を確認できる。
【００４９】
しかし、利用者が聞きとれなかった単語が最大の難易度を持つ単語でない場合もあるので、図１２の反転表示を見た状態では、自分が聞きとれなかった単語がどれであるかはすぐに確認できない場合もある。たとえば、図１２の表示状態において、利用者の聞きとれなかった単語が“indicate”であった場合は、利用者は図１２のように表示された文章を先頭から読んでみて、どの単語が聞きとれなかったかを見つける作業をする必要があり、この“indicate”が聞きとれなかった単語であることを判断するのには数秒以上の時間を必要とすると考えられる。
【００５０】
また、聞きとれなかった単語は、初めてみた単語や、見たことはあるがその意味を知らないかあるいは忘れている単語である場合もあり、利用者はその単語の意味を知りたいと考える場合がある。そこで、ここでは、利用者が意味を知りたい単語を選択してその意味を表示させる処理について説明する。
【００５１】
図５に、この発明の実施例１の単語の意味検索および表示処理のフローチャートを示す。
図５のスタートの状態で、図４の処理により図１２のような文章が表示されているものとし、反転表示されている単語にカーソルがあるものとする。この状態で、ユーザがその意味を知りたい単語が現在反転表示されている単語でない場合は、左右キー２４を利用して意味を知りたい単語にまで、カーソルを移動させる。
その後、決定キー２２を押し下げると、カーソルの位置の単語の意味検索が行われ、その単語の意味を表示させる。
図５のフローチャートを用いて説明すると、まず、ステップＳ２１において、左右キー２４が押下げられたか否かをチェックし、ステップＳ２３において決定キー２２が押下げられたか否かをチェックする。
どちらのキーも押下げられていなければ、ステップＳ２１へ戻りループする。一方、ステップＳ２１で左右キー２４が押下げられたことを検出すると、ステップＳ２２へ進む。
【００５２】
ステップＳ２２において、カーソルの移動とカーソル位置の単語の反転表示を行う。たとえば、左移動用のキーが押下げられた場合は、左どなりの単語にカーソルを移動させ、新たにカーソルが位置する単語を反転表示させる。このとき、カーソル移動前の単語は通常表示に戻す。ステップＳ２２の後、ステップＳ２１へ戻り、さらに左右キー２４の入力の監視を行う。ここで、利用者が左右キー２４を用いて、所望の単語にまでカーソルを移動させると、そのカーソル位置の単語が反転表示される。そして、利用者は、意味を知りたい所望の単語が反転表示された状態で、決定キー２２を押下げる。
【００５３】
ステップＳ２３において、決定キー２２が押下げられたことが検出されると、ステップＳ２４へ進み、制御部１は反転表示されている単語の意味を検索する。ここで、辞書データ記憶部１３が検索され、その単語に対応づけられた意味が読み出される。
次に、ステップＳ２５において、読み出された意味内容がＬＣＤ４２に表示される。表示画面を意味内容の表示のみに切り替えてもよいが、図１２の表示に一部分オーバーラップさせて、マルチウィンドウ画面として文章と単語の意味が同時に見えるように表示してもよい。
なお、図１２に示す画面に最初に反転表示されている単語が、意味を知りたい単語である場合は、左右キーを入力する必要はなく、決定キー２２を押下げるだけですぐにその単語の意味を表示させることができる。
【００５４】
以上のように、ユーザが聞きとれなかった単語そのものあるいは、聞きとれない可能性の高い単語が優先的に見やすく強調された表示で提示されるので、ヒアリング学習等における利用者の利便性および操作性が向上できる。さらに、反転表示された単語が聞きとれなかった単語でなかった場合も簡単な入力操作をするだけで、所望の単語を目立つように強調表示をさせることができ、またその意味内容を表示させることができる。
【００５５】
＜実施例２：合成音声の出力＞
予め用意されたテキストデータから合成音声データを生成して、この合成音声をスピーカ５２から出力させるようにしてもよい。この実施例２では、音声合成処理を含む場合について説明する。
図２に、この発明の情報処理装置の実施例２における構成ブロック図を示す。図２において、図１と異なる部分は、音声データ記憶部１５がないこと、音声デコーダ５１の代わりに音声合成部５３を設ける点である。音声合成部５３は、通常用いられている合成音声生成用のＬＳＩなどで実現できる。音声合成処理は、既存の種々の合成方法を用いることができる。
【００５６】
音声合成部５３は、テキストデータ記憶部１４から読み出されたテキストデータを合成音声データに変換して、さらにＤ／Ａ変換する。その後Ｄ／Ａ変換された合成音声データはスピーカ５２から出力される。
分離情報検出部３は、図１と同様に文章データの区切りを検出するものであるが、この実施例２では、図３（ｂ）のテキストデータの文章の区切りである分離情報を検出する。すなわち、音声データの特定のパターン情報ではなく、テキストデータの特定のパターン情報（たとえばピリオドを含む情報）を検出する。その他の入力部２，表示部４，記憶部などについては図１と同様である。
【００５７】
図６に、この発明の実施例２の合成音声出力と表示処理のフローチャートを示す。
図６のフローにおいて、ステップＳ３２，Ｓ３３およびＳ３８が図４のフローと異なる。以下、この異なる部分のみについて説明する。
ステップＳ３２において、分離数カウンタＸの初期化と共に、１番目のテキストデータをテキストデータ記憶部１４から読み出す。たとえば、図３（ｂ）のようなテキストデータがメニュー選択された場合は、まず文章Ａに相当するテキストデータが読み出される。
ステップＳ３３において、読み出されたテキストデータを音声合成部５３に与え、そのテキストデータを合成音声に変換し、スピーカ５２から出力する。
【００５８】
ステップＳ３８において、次のテキストデータ、たとえば、文章Ａの次の文章Ｂに相当するテキストデータを読み込み、ステップＳ３３と同様に、読み込んだテキストデータの合成音声を生成してスピーカ５２から出力する。この合成音声の出力中も、図１４に示したような表示をすることが好ましい。他の処理は、図４のフローチャートで説明したのと同様である。
この実施例２においても、合成音声出力中に、ユーザが検索キー２１を押すと、その合成音声に対応するテキストデータがＬＣＤ４２に表示され、そのテキストデータの中で難易度の最も高い単語が視覚的にわかりやすい形態で表示される。
したがって、利用者にとって聞きとれなかった単語が強調表示される可能性が高いので、ヒアリング学習等における利用者の利便性および操作性を向上させることができる。
【００５９】
＜実施例３：２つのテキストデータの表示＞
ここでは、音声出力中に利用者が検索キー２１を押下げた場合、その押下げたタイミングで出力されている音声に対応する文章のテキストデータ（Ｘ−１番目）と、その１つ前の文章に対応するテキストデータ（Ｘ番目）との両方をＬＣＤ画面上に同時に表示させる実施例について説明する。これは前記したように、ユーザが検索キーを押すタイミングが遅れた場合を考慮したものである。
この実施例では、たとえば、図３（ａ）に示すタイミングで検索キーが押下げられた場合、文章Ｃと、その１つ前の文章Ｂのテキストデータが同じ画面上に表示される。すなわち、図１３に示すように２つの文章（Ｂ，Ｃ）のテキストデータが表示される。
【００６０】
図７に、この発明の実施例３の音声出力および表示処理のフローチャートを示す。
図７において、ステップＳ５１からＳ５７は、図４のステップＳ１からＳ７と同じ処理である。
また、ステップＳ５８とＳ６２は図４のステップＳ８に相当し、ステップＳ６０とＳ６４は図４のステップＳ１６に相当し、ステップＳ６１とＳ６５は図４のステップＳ１７に相当する。
さらに、ステップＳ５９とＳ６３は、図４のステップＳ９からＳ１５の処理を１つにまとめて記載したものであり、読み出されたテキストデータの中の最も高い難易度を持つ単語を見つけ出すための処理である。
また、図７のステップＳ５８からＳ６１は、Ｘ−１番目のテキストデータを読み出して表示し、その中の難易度の最も高い単語を反転表示させる処理である。
ここでＸ−１番目とは、検索キー２１が押し下げられたタイミングで音声出力されていた文章の１つ前の文章を意味する。
【００６１】
さらにステップＳ６２からＳ６５は、Ｘ番目のテキストデータを読み出して表示し、その中の難易度の最も高い単語を反転表示させる処理である。ここで、Ｘ番目とは、検索キー２１が押下げられたタイミングに音声出力されていた文章を意味する。
この２つのグループの表示処理（ステップＳ５８〜Ｓ６１，ステップＳ６２〜Ｓ６５）により、前記した図１３のような２つのテキストデータの表示がされ、各テキストデータごとに、難易度の最も高い単語が反転表示される。
これによれば、ユーザの検索キー２１を押すタイミングが遅れても、ユーザが意図したテキストデータを確実に表示させることができ、利用者の利便性および操作性を向上させることができる。
なお、図７の各ステップの処理内容は前記した図４の処理とほぼ同様であるので省略する。
【００６２】
＜実施例３における意味表示処理＞
図８に、この発明の実施例３において、単語の意味を表示させる処理のフローチャートを示す。図８のＳＴＡＲＴの状態において、図１３に示すような文章のテキストデータが表示されているものとする。また、図１３の表示画面において、文章の番号のどちらかにカーソルが表示されていたものとする。
図８のフローにおいて、ステップＳ７２からＳ７６は図５のステップＳ２１からＳ２５と同じであり、ステップＳ７１が追加された点が図５と異なる。
ステップＳ７１は、表示された２つのテキストデータのうちどちらの文章が選択されたかをチェックする処理である。すなわち、ユーザが意味を知りたい単語が含まれている文章を選択する入力をした場合に、そのどちらの選択入力があったかを検出する。
たとえば、ユーザは、上下キー２５を用いて文章番号を指示するカーソルを移動させる操作をすることにより、文章を選択する。このとき、選択された文章を明示するために、カーソルの位置する文章番号を反転表示してもよい。
【００６３】
この後、ステップＳ７２において左右キーが入力されると、ステップＳ７３で選択された方の文章の単語のカーソル位置を移動させ、カーソル位置の単語を反転表示させる。その後の単語の意味表示などの処理は図５で説明したものと同様である。
これによれば、ユーザが意図した文章の中で知りたい単語の意味を容易な操作で表示させることができ、利用者の利便性および操作性を向上させることができる。
なお、表示させるテキストの数は、実施例３のように２つに限定するものではなく、表示画面の大きさを考慮して３つ以上表示してもよい。また上下キーなどの操作により前後に記憶された文章のテキストデータを表示させるようにしてもよい。
【図面の簡単な説明】
【００６４】
【図１】この発明の情報処理装置の一実施例の構成ブロック図である。
【図２】この発明の情報処理装置の実施例２の構成ブロック図である。
【図３】この発明で使用するデータのデータ構造の一実施例の説明図である。
【図４】この発明の実施例１の音声データ出力と表示処理のフローチャートである。
【図５】この発明の実施例１における単語の意味の表示処理のフローチャートである。
【図６】この発明の実施例２の音声データ出力と表示処理のフローチャートである。
【図７】この発明の実施例３の音声データ出力と表示処理のフローチャートである。
【図８】この発明の実施例３における単語の意味の表示処理のフローチャートである。
【図９】この発明の辞書データ記憶部に格納される単語の一実施例の説明図である。
【図１０】この発明の文章データの一実施例の説明図である。
【図１１】この発明において、文章データに含まれる単語を難易度順に並べた難易度順一覧リストの一実施例の説明図である。
【図１２】この発明において画面表示されたテキストデータの一実施例の説明図である。
【図１３】この発明の実施例３において画面表示されたテキストデータの説明図である。
【図１４】この発明において、音声出力中における画面表示の一実施例の説明図である。
【符号の説明】
【００６５】
１    制御部
２    入力部
３    分離情報検出部
４    表示部
５    音声出力部
１１  制御データ記憶部
１２  プログラム記憶部
１３  辞書データ記憶部
１４  テキストデータ記憶部
１５  音声データ記憶部
２１  検索キー
２２  決定キー
２３  メニューキー
２４  左右キー
２５  上下キー
４１  表示コントローラ
４２  ＬＣＤ
５１  音声デコーダ
５２  スピーカ
５３  音声合成部
【図１】
2006098968.tif 000003
【図２】
2006098968.tif 000004
【図３】
2006098968.tif 000005
【図４】
2006098968.tif 000006
【図５】
2006098968.tif 000007
【図６】
2006098968.tif 000008
【図７】
2006098968.tif 000009
【図８】
2006098968.tif 000010
【図９】
2006098968.tif 000011
【図１０】
2006098968.tif 000012
【図１１】
2006098968.tif 000013
【図１２】
2006098968.tif 000014
【図１３】
2006098968.tif 000015
【図１４】
2006098968.tif 000016