(57)【要約】【課題】使用される言語にユーザが必ずしも堪能でなくとも、あたかもユーザ本人が自然に話しているように聴衆に感じさせることができる技術を提供すること。【解決手段】本技術に係る音声再生システムは、記憶部と、撮像部と、制御部とを具備する。前記記憶部は、複数の部分波形データを含む音声データを予め記憶する。前記撮像部は、ユーザの口を撮像可能とされる。前記制御部は、前記撮像部により撮像された画像に基づいてユーザの口が開いたことを判定し、前記ユーザの口が開いたことに応じて前記部分波形データを順次再生するように前記音声データの再生のタイミングを制御する。【選択図】図５
2015108705.tif 000002
【特許請求の範囲】
【請求項１】
複数の部分波形データを含む音声データを予め記憶する記憶部と、
ユーザの口を撮像可能な撮像部と、
前記撮像部により撮像された画像に基づいてユーザの口が開いたことを判定し、前記ユーザの口が開いたことに応じて前記部分波形データを順次再生するように前記音声データの再生のタイミングを制御する制御部と
を具備する音声再生システム。
【請求項２】
請求項１に記載の音声再生システムであって、
前記撮像部は、前記ユーザの顔を撮像可能であり、
前記制御部は、撮像された画像に基づいて顔情報を抽出し、前記顔情報に基づいて、現在再生されている音声データにおける音声の抑揚を制御する
音声再生システム。
【請求項３】
請求項２に記載の音声再生システムであって、
前記制御部は、前記顔情報として目と眉毛との間の距離を抽出し、目と眉毛との間の距離に基づいて、音声の大きさを制御する
音声再生システム。
【請求項４】
請求項２に記載の音声再生システムであって、
前記制御部は、前記顔情報として顔の上下方向での向きを抽出し、顔の上下方向での向きに基づいて、音声の高さを制御する
音声再生システム。
【請求項５】
請求項１に記載の音声再生システムであって、
プロンプタ部を更に具備し、
前記記憶部は、前記音声データに対応するテキストデータをさらに記憶し、
前記制御部は、前記テキストデータをプロンプタ部に表示させるようにプロンプタ部の表示を制御する
音声再生システム。
【請求項６】
請求項５に記載の音声再生システムであって、
前記テキストデータは、複数の部分テキストデータを含み、
前記記憶部は、前記部分波形データと、前記部分波形データに対応する部分テキストデータとを関連付けて記憶し、
前記制御部は、前記部分波形データの再生のタイミングに合わせて、現在再生されている前記部分波形データに対応する部分テキストデータが強調表示されるようにプロンプタ部の表示を制御する
音声再生システム。
【請求項７】
請求項６に記載の音声再生システムであって、
前記制御部は、前記部分波形データと、前記部分波形データに対応する部分テキストデータとを関連付けて記憶部に記憶させるために、前記部分波形データと、前記部分テキストデータとを対応付ける処理を実行する
音声再生システム。
【請求項８】
請求項１に記載の音声再生システムであって、
前記記憶部は、ナレータがテキストデータを読み上げることによって取得されたデータを前記音声データとして記憶する
音声再生システム。
【請求項９】
請求項１に記載の音声再生システムであって、
前記記憶部は、音声合成による合成音声を前記音声データとして記憶する
音声再生システム。
【請求項１０】
複数の部分波形データを含む音声データを予め記憶し、
ユーザの口を撮像し、
撮像された画像に基づいてユーザの口が開いたことを判定し、
前記ユーザの口が開いたことに応じて前記部分波形データを順次再生するように前記音声データの再生のタイミングを制御する
音声再生方法。
【請求項１１】
音声再生システムに、
複数の部分波形データを含む音声データを予め記憶するステップと、
ユーザの口を撮像するステップと、
撮像された画像に基づいてユーザの口が開いたことを判定するステップと、
前記ユーザの口が開いたことに応じて前記部分波形データを順次再生するように前記音声データの再生のタイミングを制御するステップと
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、音声を再生する音声再生システム、音声再生方法及びプログラムに関する。
【背景技術】
【０００２】
近年においては、国際会議や国際的なイベントにおいて、母国語以外の言語でスピーチやプレゼンテーションなどの発表を行う機会が増えてきている。例えば、発表を行う者が日本人である場合、その者が英語で発表を行ったり、訪問先の国の言語で発表を行ったりする場合がある。
【０００３】
母国語以外の言語で流暢に発表を行うためには、その言語を習得するための膨大な労力が必要とされる。流暢な発表を行うことができない発表者の場合、発表者の発表内容を通訳者によって同時通訳し、イヤホンから通訳者の音声を流すことによって、その音声を聴衆に提示するといった方法が用いられる場合が多い（例えば、下記特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３０６４２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、同時通訳が用いられる場合、発表の自然さが失われてしまうといった問題がある。そこで、使用される言語にユーザが必ずしも堪能でなくとも、あたかもユーザ本人が自然に話しているように聴衆に感じさせることができる技術が望まれている。
【０００６】
以上のような事情に鑑み、本技術の目的は、使用される言語にユーザが必ずしも堪能でなくとも、あたかもユーザ本人が自然に話しているように聴衆に感じさせることができる技術を提供することにある。
【課題を解決するための手段】
【０００７】
本技術に係る音声再生システムは、記憶部と、撮像部と、制御部とを具備する。
前記記憶部は、複数の部分波形データを含む音声データを予め記憶する。
前記撮像部は、ユーザの口を撮像可能とされる。
前記制御部は、前記撮像部により撮像された画像に基づいてユーザの口が開いたことを判定し、前記ユーザの口が開いたことに応じて前記部分波形データを順次再生するように前記音声データの再生のタイミングを制御する。
【０００８】
本技術では、例えば、発表などに用いられる音声データが予め記憶部に記憶される。そして、実際に発表などが行われるときに、ユーザの口が開くと、音声データにおける部分波形データが順次再生されるので、音声データの再生タイミングが口が開いたタイミングと一致することになる。結果として、使用される言語にユーザが必ずしも堪能でなくとも、あたかもユーザ本人が自然に話しているように聴衆に感じさせることができる。
【０００９】
上記音声再生システムにおいて、前記撮像部は、前記ユーザの顔を撮像可能であってもよい。
この場合、前記制御部は、撮像された画像に基づいて顔情報を抽出し、前記顔情報に基づいて、現在再生されている音声データにおける音声の抑揚を制御してもよい。
【００１０】
このように、顔情報に基づいて、現在再生されている音声データにおける音声の抑揚を制御することによって、現在再生されている音声データに感情表現を加えることが可能になる。
【００１１】
上記音声再生システムにおいて、前記制御部は、前記顔情報として目と眉毛との間の距離を抽出し、目と眉毛との間の距離に基づいて、音声の大きさを制御してもよい。
【００１２】
これにより、現在再生されている音声データに感情表現を加えることが可能になる。
【００１３】
上記音声再生システムにおいて、前記制御部は、前記顔情報として顔の上下方向での向きを抽出し、顔の上下方向での向きに基づいて、音声の高さを制御してもよい。
【００１４】
これにより、現在再生されている音声データに感情表現を加えることが可能になる。
【００１５】
上記音声再生システムは、プロンプタ部を更に具備していてもよい。
この場合、前記記憶部は、前記音声データに対応するテキストデータをさらに記憶してもよい。
この場合、前記制御部は、前記テキストデータをプロンプタ部に表示させるようにプロンプタ部の表示を制御してもよい。
【００１６】
この音声再生システムでは、ユーザがプロンプタ部に表示されるテキストデータを読み上げる（口パクでもよい）と、ユーザの口が開いたタイミングに合わせて、音声データにおける部分波形データが順次再生される。
【００１７】
上記音声再生システムにおいて、前記テキストデータは、複数の部分テキストデータを含んでいてもよい。
この場合、前記記憶部は、前記部分波形データと、前記部分波形データに対応する部分テキストデータとを関連付けて記憶してもよい。
この場合、前記制御部は、前記部分波形データの再生のタイミングに合わせて、現在再生されている前記部分波形データに対応する部分テキストデータが強調表示されるようにプロンプタ部の表示を制御してもよい。
【００１８】
この音声再生システムでは、ユーザは、強調表示されている部分テキストデータを視認することで、現在、テキストデータのどの部分が再生されているのかを容易に認識することができる。
【００１９】
上記音声再生システムにおいて、前記制御部は、前記部分波形データと、前記部分波形データに対応する部分テキストデータとを関連付けて記憶部に記憶させるために、前記部分波形データと、前記部分テキストデータとを対応付ける処理を実行してもよい。
【００２０】
これにより、部分波形データと、部分テキストデータとを適切に対応付けることができる。
【００２１】
上記音声再生システムにおいて、前記記憶部は、ナレータがテキストデータを読み上げることによって取得されたデータを前記音声データとして記憶してもよい。
【００２２】
上記音声再生システムにおいて、前記記憶部は、音声合成による合成音声を前記音声データとして記憶してもよい。
【００２３】
本技術に係る音声再生方法は、複数の部分波形データを含む音声データを予め記憶することを含む。
ユーザの口が撮像される。
撮像された画像に基づいてユーザの口の開いたことが判定される。
前記ユーザの口が開いたことに応じて前記部分波形データを順次再生するように前記音声データの再生のタイミングが制御される。
【００２４】
本技術に係るプログラムは、音声再生システムに、
複数の部分波形データを含む音声データを予め記憶するステップと、
ユーザの口を撮像するステップと、
撮像された画像に基づいてユーザの口が開いたことを判定するステップと、
前記ユーザの口が開いたことに応じて前記部分波形データを順次再生するように前記音声データの再生のタイミングを制御するステップと
を実行させる。
【発明の効果】
【００２５】
以上のように、本技術によれば、使用される言語にユーザが必ずしも堪能でなくとも、あたかもユーザ本人が自然に話しているように聴衆に感じさせることができる技術を提供することができる。
【図面の簡単な説明】
【００２６】
【図１】本技術の第１実施形態に係る音声再生システムの電気的な構成を示すブロック図である。
【図２】準備段階での音声再生システムの動作を説明するための図である。
【図３】動的計画法によって、コストが最小となる対応付けを求める処理を説明するための図である。
【図４】ユーザが発表を行うときの音声再生システムの動作を示すフローチャートである。
【図５】ユーザが発表を行うときの音声再生システムの動作を説明するための模式図である。
【図６】目と眉毛との間の距離の変化を表す図である。
【図７】顔の上下方向での向きの変化を表す図である。
【発明を実施するための形態】
【００２７】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【００２８】
＜第１実施形態＞
［音声再生システム１０の全体構成及び各部の構成］
図１は、本技術の第１実施形態に係る音声再生システム１０の電気的な構成を示すブロック図である。本実施形態の説明では、音声再生システム１０は、例えば、スピーチやプレゼンテーションなどの発表を行う際に使用されるシステムであるとして説明する。なお、本実施形態に係る音声再生システム１０は、発表以外にも、演劇などの他の用途にも用いることができる。
【００２９】
また、第１実施形態の説明では、発表に用いられる言語（英語）をユーザが流暢に話すことができない場合に、この音声再生システム１０を利用する場合について説明する。
【００３０】
図１に示すように、音声再生システム１０は、制御部１と、記憶部２と、入力部３と、表示部４と、撮像部５と、プロンプタ部６と、マイクロフォン７と、スピーカ８とを含む。
【００３１】
記憶部２は、制御部１の処理に必要な各種のプログラムが記憶される不揮発性のメモリ（例えば、ＲＯＭ（Read Only memory））と、制御部１の作業領域として用いられる揮発性のメモリ（例えば、ＲＡＭ（Random Access Memory））とを含む。上記各種のプログラムは、光ディスク、半導体メモリ等の可搬性の記録媒体から読み取られてもよい。
【００３２】
特に、本実施形態においては、記憶部２には、ユーザにより用意された、発表に用いられる言語（英語）によって作成されたテキストデータ（スピーチ原稿）と、このテキストデータに対応する音声データとが相互に関連付けて記憶されている。
【００３３】
表示部４は、例えば、液晶ディスプレイ、あるいは、ＥＬディスプレイ（ＥＬ：Electro Luminescence）等により構成され、制御部１の制御に基づき、各種の画像を画面上に表示させる。例えば、表示部４の画面上には、プロンプタ部６に表示されるテキストデータ（１ページ分）と同じデータが表示される。
【００３４】
入力部３は、キーボードやマウスなどにより構成される。入力部３は、ユーザからの指示を入力して、ユーザの指示に応じた信号を制御部１へ出力する。
【００３５】
制御部１は、ＣＰＵ（Central Processing Unit）等により構成される。制御部１は、記憶部２に記憶された各種のプログラムに基づき種々の演算を実行し、音声再生システム１０の各部を統括的に制御する。例えば、制御部１は、撮像部５により撮像された画像に基づいてユーザの口が開いたことを判定したり、ユーザの口が開いたことに応じて部分波形データ（後述）を順次再生するように音声データの再生のタイミングを制御したりする。なお、制御部１の処理についての詳細は後述する。
【００３６】
制御部１、記憶部２、入力部３及び表示部４は、例えば、ＰＣ（Personal Computer）によって構成されていてもよい。また、記憶部２は、サーバ装置における記憶部２が用いられてもよい。この場合、制御部１は、ネットワークを介して記憶部２に記憶された各種のデータを取得してもよい。
【００３７】
撮像部５は、ＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子と、撮像素子の撮像面に像を結像させる結像レンズ等の光学系とを含む。撮像部５は、少なくともユーザの口を撮像可能なように構成されている。なお、本実施形態では、撮像部５は、口だけでなくユーザの顔全体を撮像可能なように構成されている。
【００３８】
プロンプタ部６は、制御部１の制御に応じて、テキストデータを１ページ毎に表示させる。プロンプタ部６は、垂直面に対して傾斜するように配置された板状のハーフミラーと、ハーフミラーに対してテキストデータ（１ページ分）を投影するための上向きに配置された液晶表示装置とを含む。このプロンプタ部６は、ユーザ（発表者）からは、ハーフミラー上にテキストデータに対応する文字が見えるが、聴衆からはこの文字は見えずにハーフミラーが透明に見えるように構成されている。このプロンプタ部６は、例えば、ユーザが発表を行う壇上に配置される。
【００３９】
なお、プロンプタ部６は、ハーフミラー及び液晶表示装置によって構成されたものに限られない。例えば、プロンプタ部６は、液晶表示装置のみによって構成されていてもよい。この場合、液晶表示装置は、液晶表示装置に表示された文字をユーザ（発表者）が見やすい位置に配置される。
【００４０】
マイクロフォン７は、入力される音声を電気信号に変換して制御部１に出力する。このマイクロフォン７は、発表が行われる前の準備段階において、発表に用いられる言語（英語）で作成されたテキストデータ（スピーチ原稿）をナレータが読み上げる際に使用される。ナレータは、典型的には、テキストデータ（英語）を流暢に読み上げることが可能な者とされる。
【００４１】
スピーカ８は、制御部１の制御に応じて音声を出力する。スピーカ８は、発表が行われる会場に配置される。会場に配置されるスピーカ８の数は、１つであってもよいし、２以上であってもよい。
【００４２】
［動作説明］
次に、音声再生システム１０の動作について説明する。動作説明においては、まず、発表が行われる前に行われる準備段階での音声再生システム１０の動作について説明し、次に、ユーザが発表を行うときの音声再生システム１０の動作について説明する。
【００４３】
「準備段階での音声再生システム１０の動作」
図２は、準備段階での音声再生システム１０の動作を説明するための図であり、英語で作成されたテキストデータと、このテキストデータが読み上げられた際に取得された音声データとの対応関係を示す図である。
【００４４】
まず、図２の上側を参照して、ユーザは、発表を行うときに使用される、英語で作成されたテキストデータ（スピーチ原稿）を用意する。図２の上側の図では、「I am a cat. I don't have a name. I am a cat」という、テキストデータの文頭の部分が一例として示されている。なお、テキストデータは、図２に示されるテキストデータよりも実際には長い。
【００４５】
次に、ユーザは、用意したテキストデータを流暢に読み上げることが可能なナレータに、このテキストデータを読み上げてもらう。ナレータによって読み上げられた音声は、マイクロフォン７によって電気信号に変換される。これにより、流暢に読み上げられた音声データが取得される（図２の下側の図参照）。取得された音声データは、記憶部２に記憶される。
【００４６】
次に、制御部１は、取得された音声データから無音部分（図２の下側の図において、四角で囲まれた部分参照）を検出し、検出された無音部分で音声データを分割する。これにより音声データが複数の部分波形データに分割される。この部分波形データは、ユーザが発表を行う際に再生される１単位（１セグメント）に相当する。部分波形データは、無音部分が開始された時点から、一群の波形を経て次の無音部分が開始される時点までのデータである。
【００４７】
次に、制御部１は、テキストデータを部分テキストデータに分割する。典型的には、制御部１は、テキストデータに含まれる区切り（ピリオド、カンマ）に基づいて、テキストデータを分割することによって、テキストデータを部分テキストデータに分割する。
【００４８】
なお、部分テキストデータが分割される前に、ユーザによって、分割の目印となるカンマがテキストデータに追加される。このカンマは、入力部３を介して入力される。図２に示す例では、"I am"と、"a cat"との間に、ユーザによってカンマが追加されている（２箇所）。また、図２に示す例では、"I don't have" と、"a name"との間に、ユーザによってカンマが追加されている。
【００４９】
ユーザは、部分波形データに対応する部分テキストデータの長さを予測しながら、テキストデータにカンマを追加することになる。なお、制御部１が、部分波形データに対応する部分テキストデータの長さを予測して自動的にテキストデータを部分テキストデータに分割する処理を実行してもよい。
【００５０】
音声データが部分波形データに分割され、かつ、テキストデータが部分テキストデータに分割されると、次に、制御部１は、部分波形データと、部分テキストデータとを対応付ける処理を実行する。図２に示す例では、１番目、２番目、・・の部分波形データが、順番に、１番目、２番目・・の部分テキストデータである"I am"、"a cat"、・・にそれぞれ対応付けられている。これにより、部分波形データと、部分テキストデータが相互に関連付けられて記憶部２に記憶される。
【００５１】
ここで、音声データの区切りと、テキストデータの区切りが完全に一致しない場合も想定される。例えば、部分波形データの個数と、部分テキストデータの個数とが異なるような場合も想定される。このような場合に、部分波形データと、部分テキストデータとが順番に１対１で対応付けられてしまった場合、その対応付けの処理は、不正確な処理となる。
【００５２】
従って、音声データの区切りと、テキストデータの区切りが完全に一致しないような場合には、制御部１は、動的計画法を使用してコストが最小となる対応付けを求める処理を実行する。
【００５３】
図３は、動的計画法によって、コストが最小となる対応付けを求める処理を説明するための図である。図３を参照して、今、音声データにおける各部分波形データの再生時間をａ１、ａ２、ａ３、・・とする。同様に、テキストデータにおける各部分テキストデータの再生時間をｔ１、ｔ２、ｔ３、・・とする。部分テキストデータの再生時間は、ボイスシンセサイザーにテキストデータを入力して音声化した場合の再生時間から推定することができる。
【００５４】
このとき、音声データと、テキストデータとの対応付けは、図３に示すように、一本の折れ線によって表現することができる。この折れ線をＳ１、Ｓ２、Ｓ３、・・とする。また、Ｓｉに対応するテキストデータを｛ｔｋ、ｔk＋１、・・｝＝ｔ｛Ｓｉ｝、｛ａｌ、ａｌ＋１、・・｝＝ａ｛Ｓｉ｝とする。図３に示す例では、ｔ｛Ｓ２｝＝｛ｔ２、ｔ３｝、ａ｛Ｓ２｝＝｛ａ２｝である。このとき、この対応付けのコストは、Σ（（Σｔ｛Ｓｉ｝）−（Σａ｛Ｓｉ｝））２、ｉ＝１、ｎとなる。制御部１は、このコストを最小にするような対応付けを動的計画法によって求める。
【００５５】
これにより、音声データの区切りと、テキストデータの区切りが完全に一致しないような場合にも、部分波形データと、部分テキストデータとを適切に対応付けることができる。
【００５６】
「ユーザが発表を行うときの音声再生システム１０の動作」
【００５７】
図４は、ユーザが発表を行うときの音声再生システム１０の動作を示すフローチャートである。図５は、ユーザが発表を行うときの音声再生システム１０の動作を説明するための模式図である。
【００５８】
まず、制御部１は、テキストデータのうち、最初のページに対応するテキストデータをプロンプタ部６に表示させる（ステップ１０１）。制御部１は、表示部４の画面上にプロンプタ部６に表示されるテキストデータと同じデータを表示させてもよい。
【００５９】
次に、制御部１は、撮像部５により撮像された画像に基づいて（画像解析によって）、ユーザの口が開いたかどうかを判定する（ステップ１０２）。ユーザの口が閉じた状態である場合（ステップ１０２のＮＯ）、制御部１は、再びステップ１０２へ戻って、ユーザの口が開いたかどうかを判定する。したがって、ユーザの口が閉じた状態である場合には、部分波形データの再生は開始されない。
【００６０】
例えば、ユーザがプロンプタ部６に表示されているテキストデータ（１ページ分）を読み上げると（必ずしも音読する必要はなく、口パクでもよい）、制御部１は、ユーザの口が開いたと判定し（ステップ１０２のＹＥＳ）、部分波形データの再生を開始する（ステップ１０３）。部分波形データの再生が開始されると、ナレータによって読み上げられた流暢な英語がスピーカ８から出力される。
【００６１】
次に、制御部１は、部分波形データの再生のタイミングに合わせて、現在再生されている部分波形データに対応する部分テキストデータが強調表示されるようにプロンプタ部６の表示を制御する（ステップ１０４）。
【００６２】
これにより、ユーザは、強調表示されている部分テキストデータを視認することで、現在、テキストデータのどの部分が再生されているのかを容易に認識することができる。
【００６３】
強調表示の方法としては、部分テキストデータの全部又は一部を点滅表示させる方法、部分テキストデータの全部又は一部の色を他の色に変える方法などが挙げられる。なお、強調表示としては、どのような方法が用いられても構わない。
【００６４】
強調表示の処理を実行すると、次に、制御部１は、撮像部５により撮像された画像に基づいて（画像解析によって）、顔情報を抽出し、顔情報に基づいて、現在再生されている音声データにおける音声の抑揚を制御する（ステップ１０５）。
【００６５】
ステップ１０５では、制御部１は、顔情報として目と眉毛との間の距離を抽出し、目と眉毛との間の距離に基づいて、音声の大きさを制御する処理を実行する。
【００６６】
図６は、目と眉毛との間の距離の変化を表す図である。制御部１は、目と眉毛との間の距離が大きくなるほど、音声の大きさが大きくなるように音声の大きさを制御する。
【００６７】
また、ステップ１０５では、制御部１は、顔情報として顔の上下方向での向きを抽出し、顔の上下方向での向きに基づいて、音声の高さを制御する。
【００６８】
図７は、顔の上下方向での向きの変化を示す図である。制御部１は、顔の向きが基準よりも下向きである場合には、音声の高さが低くなるように音声の高さを制御する。一方、顔の向きが基準よりも上向きである場合には、音声の高さが高くなるように音声の高さを制御する。
【００６９】
ステップ１０３で部分波形データの再生が開始されてから、その部分波形データの再生時間（部分波形データ毎に異なる）が経過すると、部分波形データの再生が終了する（ステップ１０６）。
【００７０】
部分波形データの再生が終了されると、制御部１は、次の部分波形データが存在するかどうかを判定する（ステップ１０７）。次の部分波形データが存在する場合（ステップ１０７のＹＥＳ）、制御部１は、プロンプタ部６上に現在表示されているページ内のテキストデータに対応する音声データの再生が完了したかどうかを判定する（ステップ１０８）。
【００７１】
プロンプタ部６上に現在表示されているページ内のテキストデータに対応する音声データの再生が完了している場合（ステップ１０８のＹＥＳ）、制御部１は、次のページに対応するテキストデータをプロンプタ部６上に表示させる（ステップ１０９）。そして、制御部１は、ステップ１０２へ戻り、ユーザの口が開いたかどうかを判定する。
【００７２】
一方、プロンプタ部６上に現在表示されているページ内のテキストデータに対応する音声データの再生が完了していない場合（ステップ１０８のＮＯ）、制御部１は、ページを切替える処理を実行せずに、ステップ１０２へ戻り、ユーザの口が開いたかどうかを判定する。
【００７３】
すなわち、制御部１は、部分波形データの再生が終了した時点で、再び、ユーザの口が開いたかどうかを判定する。そして、制御部１は、ユーザの口が開いたと判定された場合には、次の部分波形データの再生を開始する（ステップ１０３）。これにより、ユーザの口が開いたタイミングに合わせて、音声データにおける部分波形データが順次再生されることになる。
【００７４】
ステップ１０７において、次の部分波形データが存在しないと判定された場合（ステップ１０７のＮＯ）、制御部１は処理を終了する。
【００７５】
［作用等］
本実施形態では、発表に用いられる音声データが予め記憶部に記憶される。そして、実際に発表などが行われるときに、ユーザの口が開くと、音声データにおける部分波形データが順次再生されるので、音声データの再生タイミングが口が開いたタイミングと一致することになる。結果として、使用される言語にユーザが必ずしも堪能でなくとも、あたかもユーザ本人が自然に話しているように聴衆に感じさせることができる。
【００７６】
ここで、比較例として、音声データが部分波形データに分割されておらず、音声データが最初から最後まで途切れなく再生される場合を想定する。このような場合、再生される音声データに合わせてユーザが口パクを行うことも不可能ではないが、発表のテンポが予め録音された音声データのテンポに支配されてしまう。この場合、ユーザが聴衆の反応などを見ながら、ユーザ自身のテンポで発表を行うことができない。
【００７７】
一方、本実施形態に係る音声再生システム１０では、ユーザが口を閉じた状態とすれば、次の部分波形データは再生されない。従って、ユーザは、聴衆の反応などを見ながら、ユーザ自身のテンポで発表を行うこともできる。
【００７８】
さらに、本実施形態では、顔情報に基づいて、現在再生されている音声データにおける音声の抑揚が制御されるので、現在再生されている音声データに感情表現を加えることが可能になる。
【００７９】
＜各種変形例＞
以上の説明では、音声データは、ナレータがテキストデータを読み挙げることによって取得されたデータであるとして説明した。一方、音声データは、音声合成による合成音声であってもよい。この合成音声についても、発表が行われる前の準備段階において、部分波形データに分割されて記憶部２に予め記憶される。なお、音声データとして合成音声が用いられる場合、動的計画法による、部分波形データと、部分テキストデータとの対応付けの処理は行う必要はない。
【００８０】
ここで、音声データとして、合成音声が用いられた場合、ナレータの読み上げによる音声データに比べて、単調になりがちであり、また、流暢さも多少軽減するといったことが考えられる。しかしながら、上述の抑揚制御（ステップ１０５参照）を実行することによって、単調さを解消することができ、また、流暢さも向上させることができる。
【００８１】
以上の説明では、ユーザが英語を流暢に話すことができない場合に、発表において音声再生システム１０を利用する場合について説明した。一方、ユーザが何らかの理由（聴覚障害、声帯の障害等）で声を出すことができないような場合にも、発表において本技術に係る音声再生システム１０を利用することができる。
【００８２】
音声再生システムは、一時停止機能や、スキップ機能を備えていてもよい。例えば、ユーザは、発表の途中で質問などがされたときに、音声データの再生を一時停止させる。また、ユーザは、発表の時間が足らなくなった場合に、音声データの再生位置を任意の位置にスキップさせる。この場合、制御部は、リモートコントローラ（図示せず）に設けられた一時停止ボタン、スキップボタンが操作されたときに、この操作信号に基づいて一時停止や、スキップを実行させればよい。
【００８３】
以上の説明では、音声再生システム１０を発表において利用する場合について説明したが、音声再生システム１０は、演劇などの他の用途にも利用することができる。さらに、例えば、アニメーション、映画におけるキャラクターや、俳優などの音声を音声データとして用いることによって、音声再生システム１０にエンターテイメント性を持たせることも可能である。この場合、ユーザが口を動かすと、キャラクターや、俳優などの音声がスピーカ８から出力される。また、女性が男性の声で話しているように見せかけることもでき（その逆も可能）、子供が大人の声で話しているように見せかけることもできる（その逆も可能）。
【００８４】
さらに、音声再生システム１０は、学習用の用途としても用いることが可能である。例えば、英語の教科書におけるテキストデータが１ページごとにプロンプタ部６に表示される。ユーザがプロンプタ部６に表示された英語を読み上げると、口が開いたタイミングに合わせて、音声データにおける部分波形データが順次再生される。これにより、模範となる流暢な英語がスピーカ８から出力される。ユーザは、ユーザが読み上げた英語の発音と、模範となる流暢な英語の発音の違いから間違いを修正して、正確な英語の発音を覚えることができる。
【００８５】
以上の説明では、再生される言語が１種類である場合について説明した。しかしながら、再生される言語は、２種類以上であってもよい。この場合には、例えば、２種類以上のチャネルにそれぞれ異なる言語の音声データが出力され、イヤホンによって受信される。イヤホンは、受信するチャネルを調整可能に構成されている。聴衆は、希望の言語に対応するチャネルを選択することによって、イヤホンを介して希望の言語で発表や演劇を聴くことができる。
【００８６】
プロンプタ部６上には、テキストデータの他に、音声データが表示されてもよい。例えば、ユーザがほとんど知識のない言語で発表や演劇を行う場合、ユーザは、音声データの波形を視認することによって、口の動かし方の足がかりを掴むことが可能となる。
【００８７】
本技術は、以下の構成を採用することもできる。
（１）複数の部分波形データを含む音声データを予め記憶する記憶部と、
ユーザの口を撮像可能な撮像部と、
前記撮像部により撮像された画像に基づいてユーザの口が開いたことを判定し、前記ユーザの口が開いたことに応じて前記部分波形データを順次再生するように前記音声データの再生のタイミングを制御する制御部と
を具備する音声再生システム。
（２）  上記（１）に記載の音声再生システムであって、
前記撮像部は、前記ユーザの顔を撮像可能であり、
前記制御部は、撮像された画像に基づいて顔情報を抽出し、前記顔情報に基づいて、現在再生されている音声データにおける音声の抑揚を制御する
音声再生システム。
（３）  上記（２）に記載の音声再生システムであって、
前記制御部は、前記顔情報として目と眉毛との間の距離を抽出し、目と眉毛との間の距離に基づいて、音声の大きさを制御する
音声再生システム。
（４）  上記（２）または（３）に記載の音声再生システムであって、
前記制御部は、前記顔情報として顔の上下方向での向きを抽出し、顔の上下方向での向きに基づいて、音声の高さを制御する
音声再生システム。
（５）  上記（１）〜（４）のうち何れか１つに記載の音声再生システムであって、
プロンプタ部を更に具備し、
前記記憶部は、前記音声データに対応するテキストデータをさらに記憶し、
前記制御部は、前記テキストデータをプロンプタ部に表示させるようにプロンプタ部の表示を制御する
音声再生システム。
（６）  上記（５）に記載の音声再生システムであって、
前記テキストデータは、複数の部分テキストデータを含み、
前記記憶部は、前記部分波形データと、前記部分波形データに対応する部分テキストデータとを関連付けて記憶し、
前記制御部は、前記部分波形データの再生のタイミングに合わせて、現在再生されている前記部分波形データに対応する部分テキストデータが強調表示されるようにプロンプタ部の表示を制御する
音声再生システム。
（７）  上記（６）に記載の音声再生システムであって、
前記制御部は、前記部分波形データと、前記部分波形データに対応する部分テキストデータとを関連付けて記憶部に記憶させるために、前記部分波形データと、前記部分テキストデータとを対応付ける処理を実行する
音声再生システム。
（８）  上記（１）〜（７）のうちいずれか１つに記載の音声再生システムであって、
前記記憶部は、ナレータが前記テキストデータを読み上げることによって取得されたデータを前記音声データとして記憶する
音声再生システム。
（９）  上記（１）〜（７）のうちいずれか１つに記載の音声再生システムであって、
前記記憶部は、音声合成による合成音声を前記音声データとして記憶する
音声再生システム。
【符号の説明】
【００８８】
１…制御部
２…記憶部
３…入力部
４…表示部
５…撮像部
６…プロンプタ部
７…マイクロフォン
８…スピーカ
１０…音声再生システム
【図１】
2015108705.tif 000003
【図４】
2015108705.tif 000004
【図６】
2015108705.tif 000005
【図７】
2015108705.tif 000006
【図２】
2015108705.tif 000007
【図３】
2015108705.tif 000008
【図５】
2015108705.tif 000009