(57)【特許請求の範囲】
【請求項１】
再生された映像と対応して、主音声及び前記主音声に対応する副音声を再生する映像音声再生装置であって、
前記主音声又は前記副音声の所定区間を検出する区間検出手段と、
前記映像を再生する映像再生手段と、
前記所定区間の映像再生に対応し、当該所定区間内に前記主音声を再生後に続けて前記副音声を再生する音声再生手段とを備え、
前記所定区間は、１区間前の前記所定区間における最後の無声区間の終了時から、所定時間経過後に最初に検出された無声区間の次の有声区間の開始時までの区間からなることを特徴とする映像音声再生装置。
【請求項２】
再生された映像と対応して、主音声及び前記主音声に対応する副音声を再生する映像音声再生方法であって、
前記主音声又は前記副音声の所定区間を検出する区間検出ステップと、
前記映像を再生する映像再生ステップと、
前記所定区間の映像再生に対応し、当該所定区間内に前記主音声を再生後に続けて前記副音声を再生する音声再生ステップとを備え、
前記所定区間は、１区間前の前記所定区間における最後の無声区間の終了時から、所定時間経過後に最初に検出された無声区間の次の有声区間の開始時までの区間からなることを特徴とする映像音声再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像に同期して外国語と外国語に対応する母国語の音声を交互に再生する映像音声再生装置及びその映像音声再生方法に関する。
【背景技術】
【０００２】
テレビ放送等では、多重音声放送の場合、映像に同期して、いずれか一方の音声か又は同時に両方の音声を再生することができる。語学学習者である視聴者は、これをヒアリング学習に利用するため、外国語音声のみで番組を視聴したり、番組を記録媒体に録画等して聞き取れなかった箇所を巻き戻して視聴したりしていた。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、視聴者は、外国語音声のみで番組を視聴した場合、知らない言葉や聞き取れない言葉の確認ができなかった。また、視聴者は外国語音声のみで番組を視聴した場合、分からない言葉が増えるにつれて話の流れを推測できず、番組を楽しむことができなかった。
【０００４】
そこで、特許文献１では、音声を出力する各チャンネルに対応する音声信号を記録媒体に記録し、無音区間で再生チャンネルを交互に切換えて出力している。
また、特許文献２では、テレビ番組の音声を所定時間経過毎に主音声と副音声とを交互に切換えて再生できる。
【特許文献１】特開平11-167396
【特許文献２】特開2004-104595
【０００５】
しかし、特許文献１では、一度、記録媒体に記録した後に、再度確認したい箇所を探さなければならず作業が煩雑であった。また、音声信号のみを記録して再生するため、映像と同期して音声が再生されなかった。また、特許文献２では、英語に対応する日本語を再生しないため、知らない言葉の意味を理解できず、語学学習に効果的でなかった。
【０００６】
本発明は、上記点に鑑み、映像に同期して、外国語と外国語に対応する母国語の音声を交互に再生することで、語学学習に役立つ映像音声再生装置及び映像音声再生方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の映像音声再生装置は、再生された映像と対応して、主音声及び前記主音声に対応する副音声を再生する映像音声再生装置であって、前記主音声又は前記副音声の所定区間を検出する区間検出手段と、前記映像を再生する映像再生手段と、前記所定区間の映像再生に対応し、当該所定区間内に前記主音声を再生後に続けて前記副音声を再生する音声再生手段とを備え、前記所定区間は、１区間前の前記所定区間における最後の無声区間の終了時から、所定時間経過後に最初に検出された無声区間の次の有声区間の開始時までの区間からなることを特徴とする。
本発明の映像音声再生方法は、再生された映像と対応して、主音声及び前記主音声に対応する副音声を再生する映像音声再生方法であって、前記主音声又は前記副音声の所定区間を検出する区間検出ステップと、前記映像を再生する映像再生ステップと、前記所定区間の映像再生に対応し、当該所定区間内に前記主音声を再生後に続けて前記副音声を再生する音声再生ステップとを備え、前記所定区間は、１区間前の前記所定区間における最後の無声区間の終了時から、所定時間経過後に最初に検出された無声区間の次の有声区間の開始時までの区間からなることを特徴とする。
【発明の効果】
【０００８】
放送番組をリアルタイムで視聴しながら、主音声（外国語の音声）の再生後に対応する副音声（母国語の音声）が再生されるので、英会話の勉強などでは言葉の意味を確認しながら番組を視聴できる。また、再生速度を変更することができるので、視聴者のヒアリング能力に合った速度で音声を再生することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して本発明の実施の形態を説明する。
【００１０】
図１は本発明による実施の形態で使用される映像音声再生装置のブロック構成図である。
【００１１】
本実施の形態の装置は、テレビ受信機に本発明を実施するための態様を盛り込んだ装置を想定しており、放送波を受信するアンテナ１０と、受信した放送波から選択されたチャンネルの放送波を復調して誤り訂正処理等を行うチューナー１１と、チューナーから伝送される多重信号を分離する多重分離部１２と、圧縮符号化された信号を復号化処理する映像デコーダ１３、及び音声デコーダ１４と、映像・音声データを一時保存する映像信号入力用バッファ１３ａ、音声信号入力用バッファ１４ａと、有声無声の１区間（有声区間と無声区間とが複数回繰り返しているときの、任意の数の有声区間と無声区間とで構成される所定の１区間を「有声無声の１区間」ということにする。）を検出する区間検出部１５と、設定速度等を記憶する記憶部１６と、設定速度に応じて映像・音声データを変速する変速処理部１７と、変速処理された映像・音声データを一時保存する映像信号出力用バッファ１３ｂ、音声信号出力用バッファ１４ｂと、各出力用バッファから映像・音声データを読み出して再生する同期制御部１８と、映像を出力するモニタ１９と、音声を出力するスピーカ２０とで構成される。
【００１２】
次に、図２を参照して本実施形態の処理の流れを説明する。
【００１３】
アンテナ１０は放送波を受信し、チューナー１１は、受信した放送波から希望のチャンネルの放送波を選択して復調して誤り訂正処理、フレームの再構成、エネルギーの逆拡散等を行う。次に多重分離部１２は、復調された多重化ＴＳ（トランスポートストリーム）から映像データと音声データとを分離して取り出す（ステップｓ１）。
【００１４】
映像デコーダ１３、音声デコーダ１４は、分離された各データの復号化処理を行い、フレーム単位でそれぞれ映像信号入力用バッファ１３ａ、音声信号入力用バッファ１４ａに格納する（ステップｓ２）。映像信号入力用バッファ１３ａ、音声信号入力用バッファ１４ａは、少なくとも、区間検出処理ステップｓ３の開始から同期再生ステップｓ８が開始するまでの処理時間内に次の１区間分以上の映像信号を、音声信号をバッファできる容量を有するものとする。
【００１５】
有声無声の１区間に相当するデータ量が音声信号入力用バッファ１４ａに格納された後に、区間検出部１５は、音声信号入力用バッファ１４ａからフレーム単位で音声データを順次読み出し、音声データのエネルギーレベル等から音声の有声無声の１区間を検出する。（ステップｓ３）。
【００１６】
本実施形態では、区間検出部１５により、所定区間として検出されたｎ個の有声区間と検出されたｍ個の無声区間とを有声無声の１区間とする（ｎ、ｍ＞１の自然数）。なお、本実施形態では、人間が発声する音声を有声区間とし、それ以外の背景雑音を無声区間として取り扱う。
【００１７】
また、有声無声の１区間は、図３に示すように、１区間前の有声無声区間における最後の無声区間の終了時から、所定時間経過後に初めて検出された無声区間の次の有声区間の開始時までの区間におけるｎ個の有声区間とｍ個の無声区間とから構成されるものとしても良い。この場合、再生される副音声のタイミングが常に所定時間経過後となり、ある程度まとまった量の主音声が再生されるので、視聴者はゆとりを持って副音声を聴くための準備をすることができる。
【００１８】
そのため、この所定時間は会話のテンポに合わせて適宜設定されることが望ましい。この所定時間の設定は、ユーザがリモコン等のユーザインタフェースを介して、記憶部１６の値を書き換えるように指示を出すことで、設定し、又は設定値を変更できるように構成しても良い。また、その場合、区間検出部１５は、記憶部１６から所定時間値を読み出して有声無声の１区間の検出に利用する。
【００１９】
また、区間検出の方法は、多重化データに字幕データが含まれる場合、字幕データが表示されるタイミング間を有声無声の１区間として、字幕データに対応する主音声を再生し、その後、その主音声に対応する副音声を再生することで実現してもよい。
【００２０】
また、区間の検出方法において、主音声と副音声とが同時に無声である区間を、無声区間として検出しても良い。
【００２１】
なお、本実施の形態は、外国語学習を想定し、外国語番組を視聴していることを考え、主音声を外国語音声、副音声を母国語音声とする場合を例としている。
【００２２】
次に、変速処理部１７は、検出された有声無声の１区間のデータを変速処理する。変速処理部１７は、予め記憶された映像、主音声、副音声を再生するための各設定速度をフラッシュメモリ等の書き換え可能なＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）で構成される記憶部１６から読み出す（ステップｓ４）。設定速度は、ユーザがリモコン等のユーザインタフェースを介して、記憶部１６の値を書き換えるように指示を出すことで、設定し、又は設定値を変更できるように構成しても良い。
【００２３】
次に、変速処理部１７は、読み出した設定速度が通常速度か判断する（ステップｓ５）。設定速度が通常速度でない場合は、変速処理部１７は、設定速度に合うように時間軸圧縮伸長処理等による再生速度の変更処理を行う。ここで、再生時間を通常の再生時間より短くする処理を圧縮といい、再生時間を通常の再生時間より長くする処理を伸長という。この処理により、検出された有声無声の１区間における有声区間の主副音声データ、又はそれに対応する有声無声の１区間における映像データの再生速度は、高速再生又は低速再生に変更される（ステップｓ６）。
【００２４】
次に、変速処理部１７は、変速処理したデータを映像信号出力用バッファ１３ｂ、又は音声信号出力用バッファ１４ｂに格納する（ステップｓ７）。設定速度が通常速度の場合は、変速処理部１７は、変速処理を省略し、変速処理しないデータを映像信号出力用バッファ１３ｂ、又は音声信号出力用バッファ１４ｂに格納する（ステップｓ５のＹ）。また、音声を聞き取りやすくするために、副音声の前後に所定の無声区間を付加したものを副音声データとしてバッファリングすることが好ましい。
【００２５】
次に、同期制御部１８は、映像と音声の再生タイミングを合わせた上で、映像信号出力用バッファ１３ｂ、音声信号出力用バッファ１４ｂから、映像と音声を読み出し、モニタ１９、スピーカ２０に出力する（ステップｓ８）。ここで、映像信号出力用バッファ１３ｂと表示装置であるモニタ１９が本発明の映像再生手段に相当し、音声信号出力用バッファ１４ｂと音声出力装置であるスピーカ２０が本発明の音声再生手段に相当する。
【００２６】
具体的には、同期制御部１８は、映像データの提示時刻情報であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）値が、システム基準時刻情報であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）値に一致したときに映像データを出力する。それと同時に同期制御部１８は、変速処理された主音声データを、有声無声の１区間の開始時刻にあたる映像データのＰＴＳ値に同期させて出力する。また、同期制御部１８は、変速処理された副音声データを、有声無声の１区間の開始時刻から変速処理された主音声データの再生時間分遅延させた場合の映像データのＰＴＳ値に同期させて、有声無声の１区間が終了するまで出力する。
【００２７】
また、同期制御の方法は、変速処理部１７でバッファリングする際に予め同期信号を付加することで行っても良い。具体的には、映像信号出力用バッファ１３ｂ、音声信号出力用バッファ１４ｂに格納する際に、有声無声の１区間の映像・音声データの先頭に同期信号を付加し、有声無声の１区間の開始タイミング毎に、付加した同期信号によって映像と音声を同期させて出力する。この場合、音声データのバッファリングは、主音声データの後に副音声データを格納して１つの音声データとすると、映像データと副音声データとの同期制御は必要なくなる。
【００２８】
有声無声の１区間の再生時間内に再生終了できない副音声データは、同期制御部１８によって破棄されるように処理しても良い。若しくは、変速処理部１７が、有声無声の１区間の再生時間内に再生しうる副音声データのデータ量を音声信号出力用バッファ１４ｂに格納するように処理しても良い。
【００２９】
以上の処理で有声無声の１区間の処理は終了する。なお、次の区間に対する処理は、前の区間に対する同期再生ステップｓ８の開始と並行して、後の区間に対する処理として区間検出処理ステップｓ３から開始されるものとする。以上の処理を映像音声の再生中繰り返す。
【００３０】
次に、図４〜６を参照して、変速する設定速度に基づいて再生される音声の時間配分を説明する。以下簡便に、有声無声の１区間は、１個の有声区間と１個の無声区間とから構成されるものとして説明する。
【００３１】
検出された有声無声の１区間内の英語再生時間をｅｔ時間、無声時間をｍｔ時間とすると、１区間内の全区間長はｅｔ＋ｍｔ時間となる。映像は音声と同期して再生されるため、映像再生時間は１区間内にｅｔ＋ｍｔ時間となる。
以下、主音声（外国語音声）を英語、副音声（母国語音声）を日本語として説明する。
【００３２】
図４を参照して、英語音声の後の無声時間を利用して日本語音声を再生する実施例を説明する。
【００３３】
仮に、映像と英語音声を通常速度のまま再生する場合、１区間内の音声の時間配分は、日本語再生時間をｊｔ時間とすると、ｅｔ：ｊｔ＝ｅｔ：ｍｔとなる。
【００３４】
日本語音声の再生は、より多くの日本語訳を聴けるように、日本語再生時間を圧縮して、無声時間内に行う。仮に、ユーザに設定された再生速度が日本語再生時間を５０％に圧縮するものであった場合、英語再生時間の約１／２の時間で日本語訳を聴くことができるので、無声時間を効率的に利用して語学学習ができる。もちろん、日本語再生時間を圧縮せずに通常速度のまま無声時間内に再生することも可能である。
【００３５】
この場合、無声時間を超える日本語音声は再生されずカットされる。しかし、英語上級者は、英語音声のみで話の全容をほぼ理解できるため、すべての日本語音声が再生されることを望まない場合がある。そのため、日本語音声の一部を補助的に再生することで、煩わしさが解消されて良い。
【００３６】
次に、図５を参照して、さらに多くの日本語音声を再生できるように、映像再生時間は通常速度のまま、英語再生時間を圧縮して、日本語再生時間を確保する実施例を説明する。
【００３７】
仮に、英語再生時間を７０％に圧縮して再生する場合、１区間内の音声の時間配分は、日本語再生時間をｊｔ時間とすると、ｅｔ：ｊｔ＝０．７ｅｔ：０．３ｅｔ＋ｍｔとなる。
【００３８】
ユーザに設定された再生速度の日本語再生時間（ｊｔ）が、英語再生時間（ｅｔ）を圧縮して余った時間（１−０．７ｅｔ）と無声時間（ｍｔ）との和（０．３ｅｔ＋ｍｔ）より長い場合には、日本語音声はすべて再生されず途中でカットされ、短い場合には、日本語音声はすべて再生され、残りは無声時間となる。
【００３９】
ここで、日本語音声がすべて再生されるように、若しくは無駄な無声時間ができないように、日本語再生時間（ｊｔ）を、英語再生時間（ｅｔ）を圧縮して余った時間（１−０．７ｅｔ）と無声時間（ｍｔ）との和（０．３ｅｔ＋ｍｔ）になるように圧縮伸長しても良い。
【００４０】
この場合、英語再生時間を圧縮して、日本語再生時間を確保することで、多くの日本語訳を聴くことができる。また、英語再生時間を圧縮することで、英語音声の速聴ができるので、語学学習に最適である。さらに、英語音声の速聴により、聞き取れない箇所があっても、対応する日本語訳が後出しで再生されるので、話の流れを理解しやすい。
【００４１】
次に、図６を参照して、映像再生時間を伸長して、日本語再生時間を確保する実施例を説明する。
【００４２】
仮に、映像再生時間を１３０％に伸長して、英語再生時間を通常のまま再生する場合、１区間内の音声の時間配分は、日本語再生時間をｊｔ時間とすると、ｅｔ：ｊｔ＝ｅｔ：１．３（ｅｔ＋ｍｔ）-ｅｔとなる。
【００４３】
ユーザに設定された再生速度の日本語再生時間（ｊｔ）が、映像再生時間（ｅｔ＋ｍｔ）を伸長した時間（１．３（ｅｔ＋ｍｔ））と英語再生時間（ｅｔ）との差（１．３（ｅｔ＋ｍｔ）-ｅｔ）より長い場合には、日本語音声はすべて再生されず途中でカットされ、短い場合には、日本語音声はすべて再生され、残りは無声時間となる。
【００４４】
ここで、日本語音声がすべて再生されるように、若しくは無駄な無声時間ができないように、日本語再生時間（ｊｔ）を、映像再生時間（ｅｔ＋ｍｔ）を伸長した時間（１．３（ｅｔ＋ｍｔ））と英語再生時間（ｅｔ）との差（１．３（ｅｔ＋ｍｔ）-ｅｔ）になるように圧縮伸長しても良い。
【００４５】
この場合、映像再生時間を伸長して、日本語再生時間を確保することで、多くの日本語訳を聴くことができる。また、英語再生時間は変更しないので、英語音声を通常速度のまま、多くの日本語訳を聴くことができる。この場合、映像を伸長するため、ニュース番組等の動きの少ない番組に最適である。
【００４６】
以上のように、本実施形態では、日本語再生時間、英語・日本語再生時間、及び映像・日本語再生時間を圧縮伸長して、映像を連続して再生しながら、英語音声と英語音声に対応する日本語音声を交互に再生する形態を説明したが、これらの形態に限定されるものではなく、種々の設定速度を組み合わせて再生することが可能である。
【００４７】
例えば、英語音声を聞き取りやすくするために、映像・英語再生時間を伸長することで、通常より遅い速度で英語音声を再生することができる。また、日本語音声をすべて再生させるために、日本語再生時間が終了するまで、無声区間で映像を一時停止させても良い。この場合、映像を一時停止させるタイミングを無声区間の終了時とすると、会話の流れと映像が合っていないことによる不自然さを減らすことができる。
【００４８】
また、有声無声の１区間における最後の無声区間までのｍ−１個の無声区間の再生時間を圧縮し、有声無声の１区間における最後の無声区間の再生時間を、圧縮した再生時間分だけ伸長することで、日本語再生時間を多く取ることができる。
【００４９】
また、英語音声と日本語音声の再生順序を逆にすることも可能である。その場合、書き換え可能なＲＯＭ等により構成される記憶部１６に再生順序を記憶させ、音声信号出力用バッファ１４ｂに格納する際に設定された再生順序に従って主音声に続けて副音声を格納する。また、主音声と副音声とを分けて音声信号出力用バッファ１４ｂに格納する場合は、音声を再生する際に、同期制御部１８が記憶部１６から再生順序を読み出し、設定された再生順序に従って音声を出力することで実現できる。再生順序は、設定速度と同様に、ユーザがリモコン等のユーザインタフェースを介して、記憶部１６の値を書き換えるように指示を出すことで、設定し、又は設定値を変更できるように構成しても良い。
【００５０】
また、多重化データが字幕データを含む場合、音声と対応する字幕を表示しても良い。日本語音声を再生せず、英語音声とそれに対応する字幕を表示するのみでは、字幕を目で追いがちになり、映像や音声に集中しづらい。そこで、英語音声と英語音声に対応する日本語音声とを再生し、かつ、それに対応する字幕を表示することで、字幕を意識せずに映像・音声に集中して視聴することが可能となる。
【００５１】
表示する字幕は、英語音声と日本語音声とのそれぞれの字幕を、音声再生タイミングに合わせて表示しても良い。この場合、聞き逃した箇所や単語のスペルを確認したいとき等に補助的に字幕を参考にすることができるので、語学学習に効果的である。
【００５２】
また、表示する字幕は、英語音声又は日本語音声のいずれか一方のみとしても良い。この場合、重点的に確認したい言語の字幕を、有声無声の１区間の間中表示されるようにすると、字幕を視認し易く好ましい。
【００５３】
また、本発明は放送番組に限定されるものではなく、光ディスク、磁気テープ、磁気ディスク、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の記録装置に録画された音声多重データに適用することができる。この場合は、音声多重データを読み出し、本実施形態の多重分離部以降の処理を行うことで実現できる。
【産業上の利用可能性】
【００５４】
本発明は、複数ヶ国語の音声を記録して再生できる映像音声再生装置に適用できる。
【図面の簡単な説明】
【００５５】
【図１】本発明における実施形態のブロック構成図である。
【図２】本発明における実施形態の処理を説明するフローチャートである。
【図３】本発明における実施形態の有声無声の１区間を表す構成図である。
【図４】本発明における実施形態の音声再生の時間配分を示す図である。
【図５】本発明における実施形態の音声再生の時間配分を示す図である。
【図６】本発明における実施形態の音声再生の時間配分を示す図である。
【符号の説明】
【００５６】
１０・・・アンテナ
１１・・・チューナー
１２・・・多重分離部
１３・・・映像デコーダ
１４・・・音声デコーダ
１３ａ・・・映像信号入力用バッファ
１３ｂ・・・映像信号出力用バッファ
１４ａ・・・音声信号入力用バッファ
１４ｂ・・・音声信号出力用バッファ
１５・・・区間検出部
１６・・・記憶部
１７・・・変速処理部
１８・・・同期制御部
１９・・・モニタ
２０・・・スピーカ
【図１】
0004916988.tif 000002
【図２】
0004916988.tif 000003
【図３】
0004916988.tif 000004
【図４】
0004916988.tif 000005
【図５】
0004916988.tif 000006
【図６】
0004916988.tif 000007