(57)【要約】    【課題】声質の異なる複数の人間味に溢れた音声を安価に提供できる電子書籍の再生方法及びその装置を実現すること。    【解決手段】複数の話者の音声を別々に収録することで作成した各話者に対応する複数の音声合成用データベース１１を具備した再生装置を用い、再生制御部１６により、電子書籍の実行ファイル１内の制御情報もしくはユーザから入力された指定情報に従い、複数の音声合成用データベース１１を切り替えて、当該電子書籍の実行ファイル１内のテキスト情報に対応する音声を音声合成部１２に合成処理させる。【選択図】図１
2005321706.tif 000002
【特許請求の範囲】
【請求項１】
文字や画像などの視覚情報とともに音声などの聴覚情報により表現され、記憶媒体もしくはネットワークを介して配布される電子書籍を再生する方法であって、
文字や合成音声のテキスト情報を含み、再生のための制御情報がマークアップ言語で記述された実行ファイルと、画像情報を含むデータファイルとからなる電子書籍と、
音声合成用データベースと、音声合成エンジンと、表示制御部と、再生制御部とを具備した再生装置とを用い、
再生制御部が、
電子書籍の実行ファイル内の制御情報に従い、当該電子書籍の実行ファイル内のテキスト情報に対応する文字やデータファイルに対応する画像を表示制御部に表示処理させるとともに、電子書籍の実行ファイル内の制御情報もしくはユーザから入力された指定情報に従い、当該電子書籍の実行ファイル内のテキスト情報に対応する音声を音声合成エンジンに合成処理させる
ことを特徴とする電子書籍の再生方法。
【請求項２】
請求項１記載の電子書籍の再生方法において、
音声合成用データベースとして、複数の話者の音声を別々に収録することで作成した各話者に対応する複数の音声合成用データベースを具備した再生装置を用い、
再生制御部が、
電子書籍の実行ファイル内の制御情報もしくはユーザから入力された指定情報に従い、複数の音声合成用データベースを切り替えて、当該電子書籍の実行ファイル内のテキスト情報に対応する音声を音声合成エンジンに合成処理させる
ことを特徴とする電子書籍の再生方法。
【請求項３】
請求項２記載の電子書籍の再生方法において、
前記に加え、音声認識手段と、要求対応手段と、対話制御手段とを具備した再生装置を用い、
対話制御手段が、
電子書籍の再生途中におけるユーザからの要求を受け付けて再生制御部に再生を一時中止させ、
音声認識手段及び要求対応手段にユーザからの要求を解析させ、
再生制御部に解析結果に応じた処理を実行させ、その後、再生を再開させる
ことを特徴とする電子書籍の再生方法。
【請求項４】
文字や画像などの視覚情報とともに音声などの聴覚情報により表現され、記憶媒体もしくはネットワークを介して配布される電子書籍を再生する装置であって、
複数の話者の音声を別々に収録することで作成した各話者に対応する複数の音声合成用データベースと、
音声合成用データベースを用いてテキスト情報に対応する音声を合成する音声合成エンジンと、
電子書籍の実行ファイル内の制御情報もしくはユーザから入力された指定情報に従い、複数の音声合成用データベースを切り替えて、当該電子書籍の実行ファイル内のテキスト情報に対応する音声を音声合成エンジンに合成処理させる再生制御部とを備えた
ことを特徴とする電子書籍の再生装置。
【請求項５】
請求項４記載の電子書籍の再生装置において、
ユーザからの要求を含む音声を認識する音声認識手段と、
認識結果に基づいてユーザからの要求の内容を解析し、該要求に対する回答もしくは命令を導き出す要求対応手段と、
電子書籍の再生途中におけるユーザからの要求を受け付けて再生制御部に再生を一時中止させ、音声認識手段及び要求対応手段にユーザからの要求を解析させ、再生制御部に解析結果に応じた処理を実行させ、その後、再生を再開させる対話制御手段とを備えた
ことを特徴とする電子書籍の再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字や画像などの視覚情報とともに音声などの聴覚情報により表現される電子書籍の再生方法及びその装置に関するものである。
【背景技術】
【０００２】
従来、小説や絵本、マンガなどのコンテンツは、それらを構成する文字や絵、写真（静止画）が紙の上に印刷された状態で配布、つまり紙を媒体として提供されていた。しかし、今日のコンピュータ技術の進歩により、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）やフレキシブルディスクなどの携帯性に優れた各種の記憶媒体やＷｅｂなどのネットワークを媒体として配布、いわゆる電子出版物（電子書籍）として提供されるようになってきた（非特許文献１参照）。
【０００３】
また、電子書籍の場合、その利用に際して使用される再生装置がパーソナルコンピュータやＰＤＡ、携帯電話など、動画表示可能な表示装置や可聴音を再生可能なスピーカなどを備えている場合が多いため、文字や静止画だけでなく、動画や音声などの情報を含むことも多く、紙を媒体としたものより、多様な情報を提供できるという特徴がある。
【非特許文献１】”電子書籍とは”、電子書籍コンソーシアム、［平成１６年４月２６日検索］、インターネット＜ＵＲＬ：http://www.ebj.gr.jp/concept/a0101.html＞
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ここで、音声を提供する方法として、録音音声を用いる方法と、合成音声を用いる方法との２つが考えられる。録音音声を用いる方法では、音声自体は人間味の溢れるものとなるが、コンテンツ毎に音声を収録する必要があるため、コストが高くなるという問題があった。一方、合成音声を用いる方法では、音声合成用データベースと音声合成エンジンを用意すれば、コンテンツ毎に音声を収録するような必要はなくなるが、声質の異なる複数の音声を信号処理による声質変換で対応させると、人間味のない音声になってしまうという問題があった。
【０００５】
また、電子書籍の再生中、一旦、再生を止めたり、聞き逃した箇所を再度聞くために少し前に戻って再生したり、再生中に生じた疑問を解消するために質問したいという要求がユーザから発生することが考えられる。例えば、子供は絵本を見ている途中で何か疑問を持った時に、その疑問をよく投げかけてくる。この疑問に答えることは、教育上、とても重要なことであると考えられている。しかし、従来の電子書籍では、これらの要求への対処は考えられていなかった。
【０００６】
本発明の目的は、声質の異なる複数の人間味に溢れた音声を安価に提供でき、再生途中における繰り返し再生や質問などのユーザの要求に対処可能な電子書籍の再生方法及びその装置を実現することにある。
【課題を解決するための手段】
【０００７】
本発明の電子書籍の再生方法及びその装置は、例えば小説や絵本、マンガといったような、従来は紙などの媒体によって表現していたコンテンツを電子的手段を用いて手軽に表現するものである。
【０００８】
本発明における電子書籍は、マークアップ言語などによって記述されているものとし、ＣＤ−ＲＯＭやフレキシブルディスクなどの携帯性に優れた各種の記憶媒体やＷｅｂなどのネットワーク経由により配布される。
【０００９】
このマークアップ言語などにより、視覚情報のうち、文字についてはテキスト情報として含め、静止画や動画の画像情報についてはデータファイルを指定することができるものとし、指定されたデータファイルも各種の記憶媒体やネットワーク経由により入手することが可能であり、再生装置が備えるメモリに蓄積できるものとする。
【００１０】
音声については、マークアップ言語と互換性のある、テキスト発声に関するプログラム言語などを用いて、発声内容をテキスト情報として登録しておく。また、このテキスト発声に関するプログラム言語を用いて、再生する音声の声質に関する識別を行い、所望の声質の音声を指定することができるものとする。
【００１１】
所望の音声は、音声合成技術により合成音声を生成することで実現することができる。音声合成を行うには、言語を構成する単位の音声素片を含む音声合成用データベースと、音声合成エンジンが必要である。多数の声質を生成するため、本発明では、基本周波数を変化させるような音声合成エンジンにより声質に変化を持たせる手法ではなく、複数の話者の音声を別々に収録することで各話者にそれぞれ対応する複数の音声合成用データベースを作成し、これらの複数の音声合成用データベースを状況に応じて使い分けるという手法を用いる。つまり、音声の声質は使用する音声合成用データベースに依存する。これらの多数の音声合成用データベースも再生装置が備えるメモリに蓄積できるものとする。
【００１２】
このように、音声合成エンジンにおける信号処理に依らず、それぞれの声質に対応した音声合成用データベースを用いることで、声質の異なる複数の音声をより自然に発声させることができ、自然で異なる声質を登場人物毎に割り当てたりすることが可能である。また、所望の声質の話者に対応した音声合成用データベースを用意することで、どのような声質の合成音声も生成することが可能となる。なお、所望の声質の話者に対応した音声合成用データベースから作成した合成音声に対し、さらなる音声品質の向上のために信号処理を行うようにしても良い。
【００１３】
再生制御に関して記述されたマークアップ言語を実行することにより、装置内のメモリに蓄積された視覚情報源と音声情報源を使用するタイミングを計ることが可能であり、電子書籍の再生をスムーズに実現することができる。
【００１４】
次に、電子書籍の再生途中において、ユーザの要求に対処するための手段について述べる。
【００１５】
ユーザは疑問や要望を持った時、所定のボタンを操作するなどによりその旨を再生装置に知らせることができ、この時、再生装置は再生プロセスを一時停止し、その位置をメモリに記憶させた上で、マイクを音声入力待機状態とする。マイクにより入力された音声は、音声認識部で認識され、質問対応処理部で認識文を意味解析し、動作制御についての要求の場合はその意図を、また、書籍の内容に対する質問の場合は質問対応辞書から導き出された答えを対話制御部に伝えることができる。この質問対応処理部から得られた指示を受けて、対話制御部でプログラミングされた的確な動作制御を実行したり、質問への返答をスピーカとディスプレイを用いて示したりする。書籍の内容に対する質問を終えた後は、一時停止された位置を記憶しているメモリから情報を得て、電子書籍の再生プロセスを再開することができる。
【発明の効果】
【００１６】
本発明によれば、電子書籍の再生音声の生成に関するコストを大幅に削減することが可能な合成音声において、声質の違いの表現を信号処理によるものではなく、複数の話者にそれぞれ対応する複数の音声合成用データベースを用いて表現することで、より人間味が溢れた音声の生成が可能である。
【００１７】
また、本発明によれば、ユーザの希望する声質の音声を、任意の登場人物に使用したりすることが可能となる。
【００１８】
また、本発明によれば、電子書籍の再生途中におけるユーザの疑問や要望に適切に対処することが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２０】
＜第１の実施の形態＞
図１は本発明の電子書籍の再生装置の第１の実施の形態を、電子書籍とともに示すものである。
【００２１】
本発明において電子書籍は、文字や合成音声のテキスト情報を含み、再生のための制御情報、即ち再生の実行手順や再生に使用するファイルやデータベースの指定情報等がマークアップ言語で記述された実行ファイル１と、視覚情報として提示するための静止画または動画のいずれか一方もしくは両方の画像情報を含むデータファイル２とから構成されるものとする。
【００２２】
絵本や小説、マンガなどの電子書籍の実行ファイル１は、ＨＴＭＬやＸＭＬ、ＶｏｉｃｅＸＭＬ、ＳＡＬＴ（Speech Application Language Tags）などのマークアップ言語や独自に定義した音声を扱える言語、音声オブジェクトを定義する独自に作成したタグなどを用いて記述することができる。また、文字や画像などの視覚情報と音声などの聴覚情報との同期は、実行ファイル１内に記述されたマークアップ言語や独自に定義した言語やタグを用いて実現することができる。
【００２３】
電子書籍の実行ファイル１及びデータファイル２は、ＣＤ−ＲＯＭ、フレキシブルディスク、半導体メモリ、光磁気ディスクなどの携帯性に優れた各種の記憶媒体やＷｅｂなどの情報提供媒体３を介して手に入れることができる。
【００２４】
図１において、１１は音声合成用データベース、１２は音声合成部（音声合成エンジン）、１３は表示用メモリ、１４は表示制御部、１５はマークアップ言語用メモリ、１６は再生制御部であり、これらにより本発明の電子書籍の再生装置の主要部（再生専用システム部）１０が構成される。また、２１はスピーカ、２２はディスプレイである。
【００２５】
電子書籍の再生処理は、基本的に再生制御部１６が実行ファイル１内に記述されたマークアップ言語を実行することによって行われる。
【００２６】
実行ファイル１内にテキスト情報で記述されている発声すべき音声は、合成用データベース１１と音声合成部１２を用いることにより、音声としてスピーカ２１から出力される。
【００２７】
この際、電子書籍の実行ファイル１内の制御情報もしくはユーザから入力された指定情報に従い、使用する音声合成用データベース１１を選択することで、登場人物毎に異なる声質の音声で再生したり、ユーザ好みの声質の音声で再生させることができる。本再生装置は、予め十分な人数分の音声合成用データベース、即ち複数の話者の音声を別々に収録することで作成した各話者に対応する複数の音声合成用データベース１１を含んでいるものとする。また、更に別の話者に対応した音声合成用データベースを必要とする場合は、Ｗｅｂなどのネットワークを経由したり、携帯性に優れている記憶媒体から入手したりできるものとする。
【００２８】
このようにして生成された音声と同期して、ディスプレイ２２を用いて画像を表示させる必要がある。電子書籍の一部として、予めＷｅｂや記憶媒体から入手してある画像情報を含むデータファイル２を表示用メモリ１３に格納しておく。音声の発声と同期して、再生制御部１６から表示制御部７に発令された命令により、表示すべき画像情報を含むデータファイル２の指定が可能である。表示制御部７は、ここで指定されたデータファイル２を表示用メモリ１３から取り出し、ディスプレイ２２に表示することができる。
【００２９】
小説など、ほとんどが文字からなる電子書籍の場合、視覚情報として、紙を媒体とした書物を見開いた格好の画像などを表示することが望ましいと考えられる。
【００３０】
挿絵がある場合には、紙による書物と同様のレイアウトで表示することも可能であるが、挿絵を背景として用いることも可能である。
【００３１】
また、今、どの部分を再生しているかを明示するために、読み上げ部分の色を変えるという手法が有効であると考えられる。この色を変える範囲は、文単位でもいいし、行単位や段落単位でも良い。
【００３２】
これらの制御はマークアップ言語により実現することが可能なので、電子書籍の出版元が実行ファイル１を所定の記述法で作成することにより、上に述べたような仕様の電子書籍を実現することができる。
【００３３】
一方、電子書籍が絵本などの画像を多く含む書物の場合、絵による表現が重要と考えられるため、絵に文字（テキスト文）が重なって表示されるのは好ましいとはいえない。
【００３４】
この場合には、絵の表示スペースとテキスト文の表示スペースを分けることで回避することができる。この場合には、小説などの電子書籍と同様に、現在の再生部分を色で表示することが可能である。
【００３５】
電子書籍による絵本の場合、紙を媒体とした絵本とは違って、動画を表示することも可能になる。また、動画と似た形式であるが、静止画を短い間隔で次々と表示することで絵本独特の臨場感を出すことも可能であると考えられる。
【００３６】
＜第２の実施の形態＞
電子書籍による、幼い子供を対象とした絵本の場合、幼い子供が視聴することを考慮に入れ、適切なアプローチが必要になると考えられる。絵本は人間性を高める上でとても重要な役割を担っており、子供に生じた疑問に答えることはとりわけ大切であると考えられる。
【００３７】
また、再生の途中で一旦、再生を止めたり、聞き逃した箇所を再度聞くために少し前に戻って再生（巻き戻し再生）したい時や、興味の薄いところを飛ばしてその先の部分を再生（早送り再生）したい時などにも対処する必要がある。
【００３８】
これらの理由により、疑問に対する答えを与えるなど、要求に対する応答機能を備えた電子書籍が必要になると考えられる。
【００３９】
図２は本発明の電子書籍の再生装置の第２の実施の形態、ここでは簡単な対話応答機能を備えた形態を示すもので、図中、図１と同一構成部分は同一符号をもって表す。即ち、１０は再生専用システム部、２１はスピーカ、２２はディスプレイ、３１はマイク、３２は音声認識部、３３は質問対応処理部、３４は質問対応辞書、３５は対話制御部、３６は対話ボタン、３７は再生ＩＤタグ用メモリである。
【００４０】
ユーザが何か疑問や要望を持った時には、対話ボタン３６を押すことにより、その意図を対話制御部３５を介して再生専用システム部１０側に知らせ、再生を一時停止する。その際、現在、マークアップ言語内のどの部分を実行しているかを把握しておく必要がある。例としては、段落やページなど、ある程度のまとまりに対してＩＤタグを予め付しておき、再生しながらそのＩＤタグをメモリ３７に格納しておく。一時停止をした時にメモリ３７には停止した個所のＩＤタグが入っているので、要求を処理した後、該メモリ３７に格納しておいたＩＤタグの先頭から電子書籍の再生を再開する。
【００４１】
ユーザの疑問に対する対応については、対話ボタン３６が押された時点で、対話制御部３５により音声認識部３２の動作をスタートさせる。より詳しくいうとマイク３１による音声の入力を受け付ける状態にする。
【００４２】
質問をマイク３１に向かって音声入力し、その音声を音声認識部３２により認識し、該認識結果に基づいて質問対応辞書３４を参照しながら質問に対する返答を質問対応処理部３３によって導き出す。
【００４３】
一例として、マイク３１から入力された質問事項が予め答えが用意されている質問であり、その質問が質問対応処理部３３の意味解析結果から特定された場合、対話制御部３５は質問応答処理部３３を介して質問対応辞書３４から応答内容及び提示資料を受け取ることができ、それらは再生専用システム部１０を介してスピーカ２１とディスプレイ２２を用いて示される。
【００４４】
その後、ユーザに対して疑問が解決できたかという確認を対話ボタン３６より行い、上述の方法により電子書籍の再生を再開する。
【００４５】
巻き戻し再生などのユーザの要望に対する対応については、対話ボタン３６が押された時点で、対話制御部３５により音声認識部３２の動作をスタートさせ、ユーザに要望をマイク３１から入力させて音声認識部３２により音声認識させ、該認識結果に基づいて当該要望の内容を質問対応処理部３３及び質問対応辞書３４により解析させ、解析結果に対応する命令、例えば再生を中断した段落より前の段落まで戻って再生する命令を、前述したＩＤタグなどによる段落指定を含めて対話制御部３５より再生専用システム部１０へ送らせることによって行う。
【００４６】
なお、前述したマイク３１及び音声認識部３２が請求項でいう音声認識手段を構成し、質問対応処理部３３及び質問対応辞書３４が請求項でいう要求認識手段を構成し、対話制御部３５、対話ボタン３６及びメモリ３７が請求項でいう対話制御手段を構成するものとする。
【００４７】
以上説明した電子書籍の再生装置は、電子書籍の構成要素である、マークアップ言語などで書かれた実行ファイル１と、画像情報を含むデータファイル２さえあれば再生が可能である。
【００４８】
つまり、マークアップ言語に対するある程度の知識があれば実行ファイルは作成可能であり、データファイルについても簡単な絵やデジタルカメラなどで撮影した画像や録画した映像を用いることで簡単に用意できる。つまり、自作の電子書籍が簡単に作成できるというメリットがある。
【００４９】
簡単に電子書籍が作成できる要因の１つとして、合成音声による音声の生成が挙げられる。音声については、実行ファイル内にテキスト情報として書き込むだけで所望の音声が再生できる。
【００５０】
このような使用方法により、この電子書籍の再生装置はエンターテイメント性にも優れたシステムとして考えることができる。
【図面の簡単な説明】
【００５１】
【図１】本発明の電子書籍の再生装置の第１の実施の形態を示す構成図である。
【図２】本発明の電子書籍の再生装置の第２の実施の形態を示す構成図である。
【符号の説明】
【００５２】
１：実行ファイル、２：データファイル、３：情報提供媒体、１０：再生専用システム部、１１：音声合成用データベース、１２：音声合成部（音声合成エンジン）、１３：表示用メモリ、１４：表示制御部、１５：マークアップ言語用メモリ、１６：再生制御部、２１：スピーカ、２２：ディスプレイ、３１：マイク、３２：音声認識部、３３：質問対応処理部、３４：質問対応辞書、３５：対話制御部、３６：対話ボタン、３７：再生ＩＤタグ用メモリ。
【図１】
2005321706.tif 000003
【図２】
2005321706.tif 000004