(57)【要約】【課題】コンテンツに含まれる映像や字幕を容易に視聴することができる情報提示装置を提供すること。【解決手段】映像情報、音声情報および文字情報を含むコンテンツを入力するコンテンツ入力手段１１０と、コンテンツ入力手段１１０によって入力されたコンテンツに含まれる映像情報を提示する映像提示手段１２０と、コンテンツ入力手段１１０によって入力されたコンテンツに含まれる文字情報を所定の話速に基づいて音声合成する音声合成手段１６０と、音声合成手段１６０によって音声合成された合成音声情報に応じて合成音声を出力すると共にコンテンツ入力手段１１０によって入力されたコンテンツに含まれる音声情報に応じて音声を出力する音声出力手段１７０とを備えるように構成する。【選択図】　図１
2004140583.tif 000002
【特許請求の範囲】
【請求項１】
映像情報および文字情報を含むコンテンツを入力するコンテンツ入力手段と、前記コンテンツから文字情報を抽出する文字情報抽出手段と、前記文字情報抽出手段によって抽出された文字情報を前記映像情報と同期した音声に変換して出力する音声出力手段とを備えたことを特徴とする情報提示装置。
【請求項２】
前記情報提示装置は、前記コンテンツ入力手段によって入力されたコンテンツに含まれる文字情報を所定の話速に基づいて音声合成する音声合成手段をさらに備え、前記コンテンツ入力手段は、映像情報および文字情報に加えて音声情報を含むコンテンツを入力し、前記音声出力手段は、前記音声合成手段によって音声合成された合成音声情報に応じて合成音声を出力すると共に前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報に応じて音声を出力することを特徴とする請求項１に記載の情報提示装置。
【請求項３】
前記情報提示装置は、前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報から無音部分を検出する無音検出手段と、前記無音検出手段によって検出された無音部分の期間を測定する無音期間測定手段と、前記無音期間測定手段によって測定された無音期間に基づいて前記合成音声の話速を算出する無音話速算出手段とをさらに備え、前記音声合成手段は、前記無音話速算出手段によって算出された合成音声の話速に基づいて前記コンテンツ入力手段によって入力されたコンテンツに含まれる文字情報を音声合成し、前記音声出力手段は、前記音声合成手段によって音声合成された合成音声情報に応じて前記無音期間内に合成音声を出力すると共に前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報に応じて音声を出力することを特徴とする請求項２に記載の情報提示装置。
【請求項４】
前記情報提示装置は、前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報から無声部分を検出する無声検出手段と、前記無声検出手段によって検出された無声部分の期間を測定する無声期間測定手段と、前記無声期間測定手段によって測定された無声期間に基づいて前記合成音声の話速を算出する無声話速算出手段とをさらに備え、前記音声合成手段は、前記無声話速算出手段によって算出された合成音声の話速に基づいて前記コンテンツ入力手段によって入力されたコンテンツに含まれる文字情報を音声合成し、前記音声出力手段は、前記音声合成手段によって音声合成された合成音声情報に応じて前記無声期間内に合成音声を出力すると共に前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報に応じて音声を出力することを特徴とする請求項３に記載の情報提示装置。
【請求項５】
前記情報提示装置は、前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報に基づいて発声部分を検出する発声検出手段と、前記発声検出手段によって検出された発声部分の期間を測定する発声期間測定手段と、前記発声期間測定手段によって測定された発声期間だけ前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声を消音する音声消音手段とをさらに備え、前記音声合成手段は、前記コンテンツ入力手段によって入力されたコンテンツに含まれる文字情報を所定の話速に基づいて音声合成し、前記音声出力手段は、前記音声合成手段によって音声合成された合成音声情報に応じて合成音声を出力すると共に前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報に応じて音声を出力することを特徴とする請求項２に記載の情報提示装置。
【請求項６】
前記情報提示装置は、前記発声期間測定手段によって測定された発声期間内の音声情報を解析する発声解析手段と、前記発声解析手段によって解析された音声情報から得られる周波数に基づいて前記音声情報を各々の声質に分類する声質分類手段とをさらに備え、前記音声合成手段は、前記声質分類手段によって分類された各々の声質に応じて前記コンテンツ入力手段によって入力されたコンテンツに含まれる文字情報を音声合成し、前記音声出力手段は、前記音声合成手段によって音声合成された合成音声情報に応じて合成音声を出力すると共に前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報に応じて音声を出力することを特徴とする請求項５に記載の情報提示装置。
【請求項７】
前記情報提示装置は、前記発声期間測定手段によって測定された発声期間に基づいて前記合成音声の話速を算出する発声話速算出手段をさらに備え、前記音声合成手段は、前記発声話速算出手段によって算出された合成音声の話速に基づいて前記コンテンツ入力手段によって入力されたコンテンツに含まれる文字情報を音声合成し、前記音声出力手段は、前記音声合成手段によって音声合成された合成音声情報に応じて前記発声期間内に合成音声を出力すると共に前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報に応じて音声を出力することを特徴とする請求項５又は請求項６に記載の情報提示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文字多重放送などの番組コンテンツの情報や記録媒体に記録されたコンテンツに含まれる情報を再生して利用者に提示する情報提示装置に関する。
【０００２】
【従来の技術】
従来の情報提示装置は、番組コンテンツを表示させるための大型の画面表示部と小型の画面表示部とを有しており、大型の画面表示部に番組コンテンツに含まれる映像を表示させ、字幕の表示を容易にするために利用者の近傍に設置される小型の画面表示部に番組コンテンツに含まれる字幕を表示させていた（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開平１１−１９６３４５号公報（５４段落目−５６段落目、図１）
【０００４】
【発明が解決しようとする課題】
しかしながら、上述の従来の情報提示装置では、大型の画面表示部と小型の画面表示部の双方の画面を見なければならず、映像や字幕の視聴が煩雑になってしまうという問題があった。
本発明は、このような従来の問題を解決するためになされたもので、コンテンツに含まれる映像や字幕を容易に視聴することができる情報提示装置を提供するものである。
【０００５】
【課題を解決するための手段】
本発明の情報提示装置は、映像情報および文字情報を含むコンテンツを入力するコンテンツ入力手段と、前記コンテンツから文字情報を抽出する文字情報抽出手段と、前記文字情報抽出手段によって抽出された文字情報を前記映像情報と同期した音声に変換して出力する音声出力手段とを備えた構成を有している。
この構成により、字幕を表す文字情報を音声として聴覚的に出力するため、映像や字幕を容易に視聴することができる。
【０００６】
また、本発明の情報提示装置は、映像情報、音声情報および文字情報を含むコンテンツを入力するコンテンツ入力手段と、前記コンテンツ入力手段によって入力されたコンテンツに含まれる映像情報を提示する映像提示手段と、前記コンテンツ入力手段によって入力されたコンテンツに含まれる文字情報を所定の話速に基づいて音声合成する音声合成手段と、前記音声合成手段によって音声合成された合成音声情報に応じて合成音声を出力すると共に前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報に応じて音声を出力する音声出力手段とを備えた構成を有している。
この構成により、字幕を表す文字情報を合成音声として聴覚的に出力するため、映像や字幕を容易に視聴することができる。また、狭い画面を有する携帯端末を使用する場合でも、映像情報、音声情報および文字情報を含むコンテンツを容易に視聴することができる。
【０００７】
また、本発明の情報提示装置は、映像情報、音声情報および文字情報を含むコンテンツを入力するコンテンツ入力手段と、前記コンテンツ入力手段によって入力されたコンテンツに含まれる映像情報を提示する映像提示手段と、前記コンテンツ入力手段によって入力されたコンテンツに含まれる文字情報を所定の話速に基づいて音声合成する音声合成手段と、前記音声合成手段によって音声合成された合成音声情報に応じて合成音声を出力すると共に前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報に応じて音声を出力する音声出力手段とを備え、さらに、前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報から無音部分を検出する無音検出手段と、前記無音検出手段によって検出された無音部分の期間を測定する無音期間測定手段と、前記無音期間測定手段によって測定された無音期間に基づいて前記合成音声の話速を算出する無音話速算出手段とを備え、前記音声合成手段は、前記無音話速算出手段によって算出された合成音声の話速に基づいて前記コンテンツ入力手段によって入力されたコンテンツに含まれる文字情報を音声合成し、前記音声出力手段は、前記音声合成手段によって音声合成された合成音声情報に応じて前記無音期間内に合成音声を出力すると共に前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報に応じて音声を出力する構成を有している。
この構成により、コンテンツに含まれる音声と合成音声とが重複しないように合成音声を出力するため、合成音声の聞き取りを容易にすることができる。
【０００８】
また、本発明の情報提示装置は、映像情報、音声情報および文字情報を含むコンテンツを入力するコンテンツ入力手段と、前記コンテンツ入力手段によって入力されたコンテンツに含まれる映像情報を提示する映像提示手段と、前記コンテンツ入力手段によって入力されたコンテンツに含まれる文字情報を所定の話速に基づいて音声合成する音声合成手段と、前記音声合成手段によって音声合成された合成音声情報に応じて合成音声を出力すると共に前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報に応じて音声を出力する音声出力手段とを備え、さらに、前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報から無声部分を検出する無声検出手段と、前記無声検出手段によって検出された無声部分の期間を測定する無声期間測定手段と、前記無声期間測定手段によって測定された無声期間に基づいて前記合成音声の話速を算出する無声話速算出手段とを備え、前記音声合成手段は、前記無声話速算出手段によって算出された合成音声の話速に基づいて前記コンテンツ入力手段によって入力されたコンテンツに含まれる文字情報を音声合成し、前記音声出力手段は、前記音声合成手段によって音声合成された合成音声情報に応じて前記無声期間内に合成音声を出力すると共に前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報に応じて音声を出力する構成を有している。
この構成により、コンテンツに含まれる音声の無声部分と合成音声とが重複しないように合成音声を出力するため、合成音声の聞き取りをさらに容易にすることができる。
【０００９】
また、本発明の情報提示装置は、映像情報、音声情報および文字情報を含むコンテンツを入力するコンテンツ入力手段と、前記コンテンツ入力手段によって入力されたコンテンツに含まれる映像情報を提示する映像提示手段と、前記コンテンツ入力手段によって入力されたコンテンツに含まれる文字情報を所定の話速に基づいて音声合成する音声合成手段と、前記音声合成手段によって音声合成された合成音声情報に応じて合成音声を出力すると共に前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報に応じて音声を出力する音声出力手段とを備え、さらに、前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報に基づいて発声部分を検出する発声検出手段と、前記発声検出手段によって検出された発声部分の期間を測定する発声期間測定手段と、前記発声期間測定手段によって測定された発声期間だけ前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声を消音する音声消音手段とを備え、前記音声合成手段は、前記コンテンツ入力手段によって入力されたコンテンツに含まれる文字情報を所定の話速に基づいて音声合成し、前記音声出力手段は、前記音声合成手段によって音声合成された合成音声情報に応じて合成音声を出力すると共に前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報に応じて音声を出力する構成を有している。
この構成により、翻訳された字幕を表示する洋画などのコンテンツを視聴するときに発声部分を消音するため、出演者の台詞などを自動的に吹き替えすることができる。
【００１０】
また、本発明の情報提示装置は、映像情報、音声情報および文字情報を含むコンテンツを入力するコンテンツ入力手段と、前記コンテンツ入力手段によって入力されたコンテンツに含まれる映像情報を提示する映像提示手段と、前記コンテンツ入力手段によって入力されたコンテンツに含まれる文字情報を所定の話速に基づいて音声合成する音声合成手段と、前記音声合成手段によって音声合成された合成音声情報に応じて合成音声を出力すると共に前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報に応じて音声を出力する音声出力手段と、前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報に基づいて発声部分を検出する発声検出手段と、前記発声検出手段によって検出された発声部分の期間を測定する発声期間測定手段と、前記発声期間測定手段によって測定された発声期間だけ前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声を消音する音声消音手段とを備え、さらに、前記発声期間測定手段によって測定された発声期間内の音声情報を解析する発声解析手段と、前記発声解析手段によって解析された音声情報から得られる周波数に基づいて前記音声情報を各々の声質に分類する声質分類手段とを備え、前記音声合成手段は、前記声質分類手段によって分類された各々の声質に応じて前記コンテンツ入力手段によって入力されたコンテンツに含まれる文字情報を音声合成し、前記音声出力手段は、前記音声合成手段によって音声合成された合成音声情報に応じて合成音声を出力すると共に前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報に応じて音声を出力する構成を有している。
この構成により、翻訳された字幕を表示する洋画などのコンテンツを視聴するときに出演者などの声質に応じて合成音声を出力するため、コンテンツの理解性を向上させることができる。
【００１１】
また、本発明の情報提示装置は、映像情報、音声情報および文字情報を含むコンテンツを入力するコンテンツ入力手段と、前記コンテンツ入力手段によって入力されたコンテンツに含まれる映像情報を提示する映像提示手段と、前記コンテンツ入力手段によって入力されたコンテンツに含まれる文字情報を所定の話速に基づいて音声合成する音声合成手段と、前記音声合成手段によって音声合成された合成音声情報に応じて合成音声を出力すると共に前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報に応じて音声を出力する音声出力手段と、前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報に基づいて発声部分を検出する発声検出手段と、前記発声検出手段によって検出された発声部分の期間を測定する発声期間測定手段と、前記発声期間測定手段によって測定された発声期間だけ前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声を消音する音声消音手段とを備え、さらに、前記発声期間測定手段によって測定された発声期間に基づいて前記合成音声の話速を算出する発声話速算出手段を備え、前記音声合成手段は、前記発声話速算出手段によって算出された合成音声の話速に基づいて前記コンテンツ入力手段によって入力されたコンテンツに含まれる文字情報を音声合成し、前記音声出力手段は、前記音声合成手段によって音声合成された合成音声情報に応じて前記発声期間内に合成音声を出力すると共に前記コンテンツ入力手段によって入力されたコンテンツに含まれる音声情報に応じて音声を出力する構成を有している。
この構成により、翻訳された字幕を表示する洋画などのコンテンツを視聴するときに出演者などが発声する速度に応じて合成音声を出力するため、リアルに出演者の台詞などを吹き替えすることができる。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る情報提示装置のブロック構成図である。本発明の第１の実施の形態に係る情報提示装置１００は、映像情報、音声情報および文字情報を含むコンテンツを入力するコンテンツ入力手段１１０、コンテンツ入力手段１１０によって入力されたコンテンツに含まれる映像情報を提示する映像提示手段１２０、コンテンツ入力手段１１０によって入力されたコンテンツに含まれる音声情報から無音部分を検出する無音検出手段１３０、無音検出手段１３０によって検出された無音部分の期間を測定する無音期間測定手段１４０、無音期間測定手段１４０によって測定された無音期間に基づいて合成音声の話速を算出する無音話速算出手段１５０、コンテンツ入力手段１１０によって入力されたコンテンツに含まれる文字情報を所定の話速に基づいて音声合成する音声合成手段１６０、および音声合成手段１６０によって音声合成された合成音声情報に応じて合成音声を出力すると共にコンテンツ入力手段１１０によって入力されたコンテンツに含まれる音声情報に応じて音声を出力する音声出力手段１７０を含むように構成される。なお、本発明の不図示の文字情報抽出手段は、音声合成手段１６０を構成するようにしてもよい。
【００１３】
コンテンツ入力手段１１０は、文字多重放送などの番組コンテンツや記録媒体に記録されたコンテンツであって、映像情報、音声情報および文字情報を含むコンテンツを入力し、入力されたコンテンツに含まれる映像情報を映像提示手段１２０に出力し、入力されたコンテンツに含まれる音声情報を無音検出手段１３０および音声出力手段１７０に出力し、入力されたコンテンツに含まれる字幕などの文字情報を無音話速算出手段１５０および音声合成手段１６０に出力するようになっている。
なお、本発明によれば、コンテンツは、翻訳された字幕を表示する洋画などであり、コンテンツに含まれる映像情報、音声情報および文字情報は、例えば、画面に提示されている字幕などが切り替わるタイミングで区切られたフレームによって構成されている。
【００１４】
映像提示手段１２０には、コンテンツ入力手段１１０によって出力されたコンテンツに含まれる映像情報が入力され、映像提示手段１２０は、入力された映像情報を再生して提示するようになっている。なお、本発明によれば、映像提示手段１２０は、液晶ディスプレイなどを含むように構成されるが、映像情報を提示する手段であれば如何なるもので構成されてもよい。
【００１５】
無音検出手段１３０には、コンテンツ入力手段１１０によって出力されたコンテンツに含まれる音声情報が入力され、無音検出手段１３０は、入力されたコンテンツに含まれる音声情報から無音部分を検出するようになっている。無音部分とは、人の耳に聞こえない音からなる音声である。なお、本発明によれば、無音部分を検出する方法に関しては、無音検出手段１３０が音声情報を構成するフレームを所定期間、例えば５ｍｓ程度の期間を構成するサブフレームに分割し、分割された各サブフレームから音圧値の平均を算出し、算出された音圧平均値が所定の閾値を超えないサブフレームを無音部分として検出するようにしてもよい。無音検出手段１３０は、検出された無音部分に関する情報を無音期間測定手段１４０に出力するようになっている。
【００１６】
無音期間測定手段１４０には、無音検出手段１３０によって出力された無音部分に関する情報が入力され、無音期間測定手段１４０は、入力された無音部分に関する情報に基づいて無音部分の期間を測定するようになっている。なお、本発明によれば、無音期間測定手段１４０は、無音部分に関する情報に含まれる無音部分が連続して検出された連続回数と所定期間とを掛け合わせて無音部分の期間を測定するようにしてもよい。
無音期間測定手段１４０は、測定された無音部分の期間を表す無音期間情報を無音話速算出手段１５０に出力するようになっている。
【００１７】
無音話速算出手段１５０には、無音期間測定手段１４０によって出力された無音期間情報およびコンテンツ入力手段１１０によって出力されたコンテンツに含まれる文字情報が入力され、無音話速算出手段１５０は、入力された無音期間情報に基づいて合成音声の話速を算出するようになっている。なお、本発明によれば、無音話速算出手段１５０は、１文字あたりの平均的な合成音声が発せられる所定の話速と文字情報を構成するフレームに含まれる文字数とを掛け合わせて、合成音声が発せられる標準時間を算出し、算出された標準時間で無音期間を割って話速変更率を算出するようにしてもよい。
無音話速算出手段１５０は、算出された話速に関する話速情報を音声合成手段１６０に出力するようになっている。
【００１８】
音声合成手段１６０には、入力されたコンテンツに含まれる文字情報が入力され、音声合成手段１６０は、入力された文字情報を所定の話速に基づいて音声合成するようになっている。また、音声合成手段１６０に無音話速算出手段１５０によって話速情報が入力されたときには、音声合成手段１６０は、話速情報すなわち話速変更率に基づいて話速を変更し、変更された話速に基づいて文字情報を音声合成するようになっている。音声合成手段１６０は、素片データベース１６１を含むように構成され、文字情報に含まれるテキストデータから素片データベース１６１を用いて音声素片情報に変換し、変換したそれぞれの音声素片情報を合成するようになっている。
音声合成手段１６０は、音声合成された合成音声情報を音声出力手段１７０に出力するようになっている。なお、本発明によれば、文字情報抽出手段は、コンテンツ入力手段１１０によって出力されたコンテンツから文字情報を抽出し、抽出された文字情報を音声出力手段１７０に出力するようにしてもよい。
【００１９】
音声出力手段１７０には、音声合成手段１６０によって出力された合成音声情報およびコンテンツ入力手段１１０によって出力されたコンテンツに含まれる音声情報が入力され、音声出力手段１７０は、入力された合成音声情報に応じて合成音声を再生して出力すると共に、入力されたコンテンツに含まれる音声情報に応じて音声を再生して出力するようになっている。なお、本発明によれば、音声出力手段１７０は、文字情報抽出手段によって出力された文字情報を映像情報と同期した音声に変換して出力するようにしてもよい。
【００２０】
図２は、本発明の第１の実施の形態に係る合成音声出力および音声出力のタイミングチャートである。なお、本発明によれば、図２に示すように音声情報を構成するフレームを再生して出力する期間であるフレーム出力期間２０内に、無音期間２２と無音期間２２以外からなる有音期間２１が複数存在する場合がある。音声出力手段１７０は、無音期間測定手段１４０によって測定された無音期間２２内に合成音声を出力すると共に、有音期間２１内に音声を再生して出力するようになっている。例えば、無音期間２２内に合成音声を出力するとき、音声出力手段１７０は、句点や読点を示すタイミングで合成音声の出力を一時停止し、次の無音期間２２内で合成音声の出力を再開するようになっている。
【００２１】
以下、本発明の第１の実施の形態に係る情報提示装置１００の動作について、図１を参照して説明する。
まず、映像情報、音声情報および文字情報を含むコンテンツは、コンテンツ入力手段１１０によって文字多重放送や記録媒体から入力され、映像提示手段１２０、無音検出手段１３０、無音話速算出手段１５０および音声出力手段１７０に出力される。
次に、コンテンツに含まれる映像情報は、映像提示手段１２０によって再生されてディスプレイなどに提示される。
【００２２】
一方、無音部分は、無音検出手段１３０によってコンテンツに含まれる音声情報から検出され、検出された無音部分に関する情報が無音期間測定手段１４０に出力にされたとき、無音期間情報は、無音期間測定手段１４０によって無音部分に関する情報に基づいて無音部分の期間が測定されて生成され、無音話速算出手段１５０に出力される。
話速情報は、無音話速算出手段１５０によって無音期間情報およびコンテンツ入力手段１１０によって出力された文字情報に基づいて算出されて生成され、音声合成手段１６０に出力される。
【００２３】
次に、文字情報に含まれるテキストデータから素片データベース１６１を用いて変換されたそれぞれの音声素片情報は、音声合成手段１６０によって話速情報に基づいて音声合成され、音声合成された合成音声情報は、音声出力手段１７０に出力される。
音声出力手段１７０によって再生される合成音声は、音声合成手段１６０から出力された合成音声情報に応じて無音期間内に出力されると共に、音声出力手段１７０によって再生される音声は、コンテンツ入力手段１１０によって出力された音声情報に応じて出力される。
【００２４】
以上説明したように、本発明の第１の実施の形態に係る情報提示装置は、字幕を表す文字情報を合成音声として聴覚的に出力するため、映像や字幕を容易に視聴することができ、狭い画面を有する携帯端末を使用する場合でも、映像情報、音声情報および文字情報を含むコンテンツを容易に視聴することができる。
また、コンテンツに含まれる音声と合成音声とが重複しないように合成音声を出力するため、合成音声の聞き取りを容易にすることができる。
【００２５】
（第２の実施の形態）
図３は、本発明の第２の実施の形態に係る情報提示装置のブロック構成図である。本発明の第２の実施の形態に係る情報提示装置２００は、映像情報、音声情報および文字情報を含むコンテンツを入力するコンテンツ入力手段１１０、コンテンツ入力手段１１０によって入力されたコンテンツに含まれる映像情報を提示する映像提示手段１２０、コンテンツ入力手段１１０によって入力されたコンテンツに含まれる音声情報から無声部分を検出する無声検出手段２３０、無声検出手段２３０によって検出された無声部分の期間を測定する無声期間測定手段２４０、無声期間測定手段２４０によって測定された無声期間に基づいて前記合成音声の話速を算出する無声話速算出手段２５０、無声話速算出手段２５０によって算出された合成音声の話速に基づいてコンテンツ入力手段１１０によって入力されたコンテンツに含まれる文字情報を音声合成する音声合成手段２６０、および音声合成手段２６０によって音声合成された合成音声情報に応じて合成音声を出力すると共にコンテンツ入力手段１１０によって入力されたコンテンツに含まれる音声情報に応じて音声を出力する音声出力手段２７０を含むように構成される。
なお、本発明の第２の実施の形態に係る情報提示装置２００を構成する手段のうち、本発明の第１の実施の形態に係る情報提示装置１００を構成する手段と同一の手段には同一の符号を付し、それぞれの説明を省略する。
【００２６】
無声検出手段２３０には、コンテンツ入力手段１１０によって出力されたコンテンツに含まれる音声情報が入力され、無声検出手段２３０は、入力されたコンテンツに含まれる音声情報から無声部分を検出するようになっている。無声部分とは、無音部分に加えて雑音や効果音などからなる音声である。なお、本発明によれば、無声部分を検出する方法に関しては、無声検出手段２３０が音声情報を構成するフレームを所定期間、例えば５ｍｓ程度の期間を構成するサブフレームに分割し、分割された各サブフレームから周波数分析して人の声とされる周波数範囲以内でないサブフレームと、周波数範囲以内の成分の音圧値が所定の閾値以下となるサブフレームとを無声部分として検出するようにしてもよい。人の声とされる周波数範囲は、例えば、約５ｋＨｚ以下となるような範囲である。
無声検出手段２３０は、検出された無声部分に関する情報を無声期間測定手段２４０に出力するようになっている。
【００２７】
無声期間測定手段２４０には、無声検出手段２３０によって出力された無音部分に関する情報が入力され、無声期間測定手段２４０は、入力された無声部分に関する情報に基づいて無声部分の期間を測定するようになっている。なお、本発明によれば、無声期間測定手段２４０は、無声部分に関する情報に含まれる無声部分が連続して検出された連続回数と所定期間とを掛け合わせて無声部分の期間を測定するようにしてもよい。
無声期間測定手段２４０は、測定された無声部分の期間を表す無声期間情報を無声話速算出手段２５０に出力するようになっている。
【００２８】
無声話速算出手段２５０には、無声期間測定手段２４０によって出力された無声期間情報およびコンテンツ入力手段１１０によって出力されたコンテンツに含まれる文字情報が入力され、無声話速算出手段２５０は、入力された無声期間情報に基づいて合成音声の話速を算出するようになっている。なお、本発明によれば、無声話速算出手段２５０は、１文字あたりの平均的な合成音声が発せられる所定の話速と文字情報を構成するフレームに含まれる文字数とを掛け合わせて、合成音声が発せられる標準時間を算出し、算出された標準時間で無声期間を割って話速変更率を算出するようにしてもよい。
無声話速算出手段２５０は、算出された話速に関する話速情報を音声合成手段２６０に出力するようになっている。
【００２９】
音声合成手段２６０には、入力されたコンテンツに含まれる文字情報が入力され、音声合成手段２６０は、入力された文字情報を所定の話速に基づいて音声合成するようになっている。また、音声合成手段２６０に無声話速算出手段２５０によって話速情報が入力されたときには、音声合成手段２６０は、話速情報すなわち話速変更率に基づいて話速を変更し、変更された話速に基づいて文字情報を音声合成するようになっている。音声合成手段２６０は、素片データベース１６１を含むように構成され、文字情報に含まれるテキストデータから素片データベース１６１を用いて音声素片情報に変換し、変換したそれぞれの音声素片情報を合成するようになっている。
音声合成手段２６０は、音声合成された合成音声情報を音声出力手段２７０に出力するようになっている。
【００３０】
音声出力手段２７０には、音声合成手段２６０によって出力された合成音声情報およびコンテンツ入力手段１１０によって出力されたコンテンツに含まれる音声情報が入力され、音声出力手段２７０は、入力された合成音声情報に応じて合成音声を再生して出力すると共に、入力されたコンテンツに含まれる音声情報に応じて音声を再生して出力するようになっている。
【００３１】
図４は、本発明の第２の実施の形態に係る合成音声出力および音声出力のタイミングチャートである。なお、本発明によれば、図４に示すように音声情報を構成するフレームを再生して出力する期間であるフレーム出力期間２０内に、無声期間２４と無声期間２４以外からなる発声期間２３が複数存在する場合がある。音声出力手段２７０は、無声期間測定手段２４０によって測定された無声期間２４内に合成音声を出力すると共に、発声期間２３内に音声を再生して出力するようになっている。例えば、無声期間２４内に合成音声を出力するとき、音声出力手段２７０は、句点や読点を示すタイミングで合成音声の出力を一時停止し、次の無声期間２４内で合成音声の出力を再開するようになっている。
【００３２】
以下、本発明の第２の実施の形態に係る情報提示装置２００の動作について、図３を参照して説明する。
まず、映像情報、音声情報および文字情報を含むコンテンツは、コンテンツ入力手段１１０によって文字多重放送や記録媒体から入力され、映像提示手段１２０、無声検出手段２３０、無声話速算出手段２５０および音声出力手段２７０に出力される。
次に、コンテンツに含まれる映像情報は、映像提示手段１２０によって再生されてディスプレイなどに提示される。
【００３３】
一方、無声部分は、無声検出手段２３０によってコンテンツに含まれる音声情報から検出され、検出された無声部分に関する情報が無声期間測定手段２４０に出力にされたとき、無声期間情報は、無声期間測定手段２４０によって無声部分に関する情報に基づいて無声部分の期間が測定されて生成され、無声話速算出手段２５０に出力される。
話速情報は、無声話速算出手段２５０によって無声期間情報およびコンテンツ入力手段１１０によって出力された文字情報に基づいて算出されて生成され、音声合成手段２６０に出力される。
【００３４】
次に、文字情報に含まれるテキストデータから素片データベース１６１を用いて変換されたそれぞれの音声素片情報は、音声合成手段２６０によって話速情報に基づいて音声合成され、音声合成された合成音声情報は、音声出力手段２７０に出力される。
音声出力手段２７０によって再生される合成音声は、音声合成手段２６０から出力された合成音声情報に応じて無声期間内に出力されると共に、音声出力手段２７０によって再生される音声は、コンテンツ入力手段１１０によって出力された音声情報に応じて出力される。
【００３５】
以上説明したように、本発明の第２の実施の形態に係る情報提示装置は、コンテンツに含まれる音声の無声部分と合成音声とが重複しないように合成音声を出力するため、合成音声の聞き取りをさらに容易にすることができる。
【００３６】
（第３の実施の形態）
図５は、本発明の第３の実施の形態に係る情報提示装置のブロック構成図である。本発明の第３の実施の形態に係る情報提示装置３００は、映像情報、音声情報および文字情報を含むコンテンツを入力するコンテンツ入力手段１１０、コンテンツ入力手段１１０によって入力されたコンテンツに含まれる映像情報を提示する映像提示手段１２０、コンテンツ入力手段１１０によって入力されたコンテンツに含まれる音声情報に基づいて発声部分を検出する発声検出手段３３０、発声検出手段３３０によって検出された発声部分の期間を測定する発声期間測定手段３４０、発声期間測定手段３４０によって測定された発声期間に基づいて合成音声の話速を算出する発声話速算出手段３５０、発声期間測定手段３４０によって測定された発声期間だけコンテンツ入力手段１１０によって入力されたコンテンツに含まれる音声を消音する音声消音手段３８０、発声期間測定手段３４０によって測定された発声期間内の音声情報を解析する発声解析手段３９１、発声解析手段３９１によって解析された音声情報から得られる周波数に基づいて前記音声情報を各々の声質に分類する声質分類手段３９２、発声話速算出手段３５０によって算出された合成音声の話速に基づいてコンテンツ入力手段１１０によって入力されたコンテンツに含まれる文字情報を音声合成する音声合成手段３６０、および音声合成手段３６０によって音声合成された合成音声情報に応じて合成音声を出力すると共にコンテンツ入力手段１１０によって入力されたコンテンツに含まれる音声情報に応じて音声を出力する音声出力手段３７０を含むように構成される。
なお、本発明の第３の実施の形態に係る情報提示装置３００を構成する手段のうち、本発明の第１の実施の形態に係る情報提示装置１００を構成する手段と同一の手段には同一の符号を付し、それぞれの説明を省略する。
【００３７】
発声検出手段３３０には、コンテンツ入力手段１１０によって出力されたコンテンツに含まれる音声情報が入力され、発声検出手段３３０は、入力されたコンテンツに含まれる音声情報から発声部分を検出するようになっている。発声部分とは、人が発する声からなる音声である。なお、本発明によれば、発声部分を検出する方法に関しては、発声検出手段３３０が音声情報を構成するフレームを所定期間、例えば５ｍｓ程度の期間を構成するサブフレームに分割し、分割された各サブフレームから周波数分析して人の声とされる周波数範囲以内の成分の音圧値が所定の閾値を越えるサブフレームを発声部分として検出するようにしてもよい。人の声とされる周波数範囲は、例えば、約５ｋＨｚ以下となるような範囲である。
発声検出手段３３０は、検出された発声部分に関する情報を発声期間測定手段３４０に出力するようになっている。
【００３８】
発声期間測定手段３４０には、発声検出手段３３０によって出力された発声部分に関する情報が入力され、発声期間測定手段３４０は、入力された発声部分に関する情報に基づいて発声部分の期間を測定するようになっている。なお、本発明によれば、発声期間測定手段３４０は、発声部分に関する情報に含まれる発声部分が連続して検出された連続回数と所定期間とを掛け合わせて発声部分の期間を測定するようにしてもよい。
発声期間測定手段３４０は、測定された発声部分の期間を表す発声期間情報を発声話速算出手段３５０、音声消音手段３８０、および発声解析手段３９１に出力するようになっている。
【００３９】
発声話速算出手段３５０には、発声期間測定手段３４０によって出力された無声期間情報およびコンテンツ入力手段１１０によって出力されたコンテンツに含まれる文字情報が入力され、発声話速算出手段３５０は、入力された発声期間情報に基づいて合成音声の話速を算出するようになっている。なお、本発明によれば、発声話速算出手段３５０は、１文字あたりの平均的な合成音声が発せられる所定の話速と文字情報を構成するフレームに含まれる文字数とを掛け合わせて、合成音声が発せられる標準時間を算出し、算出された標準時間で発声期間を割って話速変更率を算出するようにしてもよい。
発声話速算出手段３５０は、算出された話速に関する話速情報を音声合成手段３６０に出力するようになっている。
【００４０】
音声消音手段３８０には、発声期間測定手段３４０によって出力された発声期間情報およびコンテンツ入力手段１１０によって出力されたコンテンツに含まれる音声情報が入力され、音声消音手段３８０は、入力されたコンテンツに含まれる音声を発声期間だけ消音するようになっており、例えば、音声消音手段３８０は、発声期間に含まれない音声情報を音声出力手段３７０に出力するようになっている。または、音声消音手段３８０は、発声期間だけ消音するように利得を調節するようにしてもよい。
【００４１】
発声解析手段３９１には、発声期間測定手段３４０によって出力された発声期間情報およびコンテンツ入力手段１１０によって出力されたコンテンツに含まれる音声情報が入力され、発声期間内の音声情報を解析するようなっている。例えば、発声解析手段３９１は、発声期間内の音声情報から周波数分析して周波数の平均値など算出した音声属性情報をおよび音声情報を声質分類手段３９２に出力するようなっている。
【００４２】
声質分類手段３９２には、発声解析手段３９１によって出力された音声属性情報をおよび音声情報が入力され、声質分類手段３９２は、入力された音声属性情報に基づいて音声情報を各々の声質に分類するようになっている。なお、本発明によれば、声質分類手段３９２は、音声属性情報に含まれる周波数平均値が所定の閾値より高い場合、女声に分類し、周波数平均値が所定の閾値より高い場合、男声に分類するようにしてもよい。男声の周波数は、一般的に１００Ｈｚから２００Ｈｚの範囲であるため１００Ｈｚとし、女声の周波数は、一般的に１５０Ｈｚから４００Ｈｚの範囲であるため３００Ｈｚとし、男声周波数１００Ｈｚと女声の周波数３００Ｈｚの中間値をとれば、所定の閾値は、２００Ｈｚ程度になる。また、声質分類手段３９２は、声質を男声、女声の２種類に限定せず、多数の周波数範囲を設けて声質を多種類に分類するようにしてもよい。
声質分類手段３９２は、分類された声質を表す声質情報を音声合成手段３６０に出力するようになっている。
【００４３】
音声合成手段３６０には、入力されたコンテンツに含まれる文字情報が入力され、音声合成手段３６０は、入力された文字情報を所定の話速に基づいて音声合成するようになっている。また、音声合成手段３６０は、男声の音声素片情報を有する素片データベース１６１および女声の音声素片情報を有する素片データベース１６２を含むように構成され、音声合成手段３６０に声質情報が入力されたときには、音声合成手段３６０は、声質情報に応じて文字情報に含まれるテキストデータから素片データベースを用いて音声素片情報に変換し、変換したそれぞれの音声素片情報を合成するようになっており、例えば、声質情報が男声を表していた場合には、素片データベース１６１を用いて音声素片情報に変換し、声質情報が女声を表していた場合には、素片データベース１６２を用いて音声素片情報に変換するようになっている。
【００４４】
また、音声合成手段３６０に発声話速算出手段３５０によって話速情報が入力されたときには、音声合成手段３６０は、話速情報すなわち話速変更率に基づいて話速を変更し、変更された話速に基づいて文字情報を音声合成するようになっている。
音声合成手段３６０は、音声合成された合成音声情報を音声出力手段３７０に出力するようになっている。
【００４５】
音声出力手段３７０には、音声合成手段３６０によって出力された合成音声情報および音声消音手段３８０によって出力された音声情報が入力され、音声出力手段３７０は、入力された合成音声情報に応じて合成音声を再生して出力すると共に、入力されたコンテンツに含まれる音声情報に応じて音声を再生して出力するようになっている。
【００４６】
図６は、本発明の第３の実施の形態に係る合成音声出力および音声出力のタイミングチャートである。なお、本発明によれば、図６に示すように音声情報を構成するフレームを再生して出力する期間であるフレーム出力期間２０内に、無声期間２５と発声期間２６が複数存在する場合がある。音声出力手段３７０は、発声期間測定手段３４０によって測定された発声期間２６内に合成音声を出力すると共に、無声期間２５内に音声を再生して出力するようになっている。
【００４７】
以下、本発明の第３の実施の形態に係る情報提示装置３００の動作について、図５を参照して説明する。
まず、映像情報、音声情報および文字情報を含むコンテンツは、コンテンツ入力手段１１０によって文字多重放送や記録媒体から入力され、映像提示手段１２０、発声検出手段３３０、発声話速算出手段３５０、発声解析手段３９１および音声消音手段３８０などに出力される。
次に、コンテンツに含まれる映像情報は、映像提示手段１２０によって再生されてディスプレイなどに提示される。
【００４８】
一方、発声部分は、発声検出手段３３０によってコンテンツに含まれる音声情報から検出され、検出された発声部分に関する情報が発声期間測定手段３４０に出力にされたとき、発声期間情報は、発声期間測定手段３４０によって発声部分に関する情報に基づいて発声部分の期間が測定されて生成され、発声話速算出手段３５０、音声消音手段３８０、および発声解析手段３９１に出力される。
話速情報は、発声話速算出手段３５０によって発声期間情報およびコンテンツ入力手段１１０によって出力された文字情報に基づいて算出されて生成され、音声合成手段３６０に出力される。
【００４９】
次に、音声情報は、発声期間測定手段３４０によって測定された発声期間だけ音声消音手段３８０によって消音され、音声出力手段３７０に出力される。
また、発声期間測定手段３４０によって測定された発声期間内の音声情報は、発声解析手段３９１によって解析され、解析された音声情報などの音声属性情報が声質分類手段３９２に出力され、音声属性情報に基づいて音声情報は、声質分類手段３９２によって各々の声質に分類され、声質情報は、声質分類手段３９２によって生成され、音声合成手段３６０に出力される。
【００５０】
音声合成手段３６０に声質情報が入力されたとき、音声素片情報は、声質情報に応じて文字情報に含まれるテキストデータから素片データベース１６１または素片データベース１６２を用いて音声合成手段３６０によって変換され、変換されたそれぞれの音声素片情報は、話速情報に基づいて音声合成され、音声合成された合成音声情報は、音声出力手段３７０に出力される。
音声出力手段３７０によって再生される合成音声は、音声合成手段３６０から出力された合成音声情報に応じて発声期間内に出力されると共に、音声出力手段３７０によって再生される音声は、コンテンツ入力手段１１０によって出力された音声情報に応じて出力される。
【００５１】
以上説明したように、本発明の第３の実施の形態に係る情報提示装置は、翻訳された字幕を表示する洋画などのコンテンツを視聴するときに発声部分を消音するため、出演者の台詞などを自動的に吹き替えすることができる。
また、翻訳された字幕を表示する洋画などのコンテンツを視聴するときに出演者などの声質に応じて合成音声を出力するため、コンテンツの理解性を向上させることができ、翻訳された字幕を表示する洋画などのコンテンツを視聴するときに出演者などが発声する速度に応じて合成音声を出力するため、リアルに出演者の台詞などを吹き替えすることができる。
【００５２】
【発明の効果】
以上説明したように、本発明は、字幕を表す文字情報を合成音声として聴覚的に出力するため、映像や字幕を容易に視聴することができる情報提示装置を提供するものである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る情報提示装置のブロック構成図
【図２】本発明の第１の実施の形態に係る合成音声出力および音声出力のタイミングチャート
【図３】本発明の第２の実施の形態に係る情報提示装置のブロック構成図
【図４】本発明の第２の実施の形態に係る合成音声出力および音声出力のタイミングチャート
【図５】本発明の第３の実施の形態に係る情報提示装置のブロック構成図
【図６】本発明の第３の実施の形態に係る合成音声出力および音声出力のタイミングチャート
【符号の説明】
２０　フレーム出力期間
２１　有音期間
２２　無音期間
２３、２６　発声期間
２４、２５　無声期間
１００、２００、３００　情報提示装置
１１０　コンテンツ入力手段
１２０　映像提示手段
１３０　無音検出手段
１４０　無音期間測定手段
１５０　無音話速算出手段
１６０、２６０、３６０　音声合成手段
１６１、１６２　素片データベース
１７０、２７０、３７０　音声出力手段
２３０　無声検出手段
２４０　無声期間測定手段
２５０　無声話速算出手段
３３０　発声検出手段
３４０　発声期間測定手段
３５０　発声話速算出手段
３８０　音声消音手段
３９１　発声解析手段
３９２　声質分類手段
【図１】
2004140583.tif 000003
【図２】
2004140583.tif 000004
【図３】
2004140583.tif 000005
【図４】
2004140583.tif 000006
【図５】
2004140583.tif 000007
【図６】
2004140583.tif 000008