(57)【特許請求の範囲】
【請求項１】
音声信号を再生するとともに、前記音声信号に含まれる台詞に対応する字幕の文字列を表示させる再生装置において、
情報記録媒体に記録されている音声データおよび字幕データを読み出す読み出し手段と、
前記読み出し手段により読み出された前記音声データをデコードして、前記音声信号を生成する音声デコード手段と、
前記読み出し手段により読み出された前記字幕データをデコードして、字幕信号を生成する字幕デコード手段と、
前記音声信号および前記字幕信号に基づいて、前記音声信号に含まれる前記台詞の開始点および終了点のうちの少なくとも一方を判定する台詞判定手段と、
前記台詞の繰り返し再生の指示を入力する入力手段と、
前記入力手段により入力された前記指示に対応し、前記台詞判定手段の判定結果に基づいて、再生ポイントが前記台詞の開始点まで遡るように、前記読み出し手段、前記音声デコード手段、および前記字幕デコード手段を制御する制御手段と
を含むことを特徴とする再生装置。
【請求項２】
前記情報記録媒体は、DVDである
ことを特徴とする請求項１に記載の再生装置。
【請求項３】
台詞判定手段は、
前記字幕信号に含まれる前記文字列の表示タイミングおよび消去タイミングに対応して窓関数を設定する設定手段と、
前記音声信号のレベルを検出して、音声レベル信号を生成するレベル検出手段と、
前記音声レベル信号の極小値を台詞候補点として抽出する抽出手段と、
前記台詞候補点に対して第１の評価値を付与する付与手段と、
前記台詞候補点の第１の評価値に前記窓関数の対応する値を乗算することにより、前記台詞候補点に対して第２の評価値を付与する乗算手段と、
前記第２の評価値に基づいて、複数の前記台詞候補点のなかから、前記台詞の前記開始点および前記終了点のうちの少なくとも一方を決定する決定手段と
を含むことを特徴とする請求項１に記載の再生装置。
【請求項４】
音声信号を再生するとともに、前記音声信号に含まれる台詞に対応する字幕の文字列を表示させる再生装置の再生方法において、
情報記録媒体に記録されている音声データおよび字幕データを読み出す読み出しステップと、
前記読み出しステップの処理で読み出された前記音声データをデコードして、前記音声信号を生成する音声デコードステップと、
前記読み出しステップの処理で読み出された前記字幕データをデコードして、字幕信号を生成する字幕デコードステップと、
前記音声信号および前記字幕信号に基づいて、前記音声信号に含まれる前記台詞の開始点および終了点のうちの少なくとも一方を判定する台詞判定ステップと、
前記台詞の繰り返し再生の指示を入力する入力ステップと、
前記入力ステップの処理で入力された前記指示に対応し、前記台詞判定ステップの処理での判定結果に基づいて、再生ポイントが前記台詞の開始点まで遡るように、前記読み出しステップの処理、前記音声デコードステップの処理、および前記字幕デコードステップの処理を制御する制御ステップと
を含むことを特徴とする再生方法。
【請求項５】
音声信号を再生するとともに、前記音声信号に含まれる台詞に対応する字幕の文字列を表示させるためのプログラムであって、
情報記録媒体に記録されている音声データおよび字幕データを読み出す読み出しステップと、
前記読み出しステップの処理で読み出された前記音声データをデコードして、前記音声信号を生成する音声デコードステップと、
前記読み出しステップの処理で読み出された前記字幕データをデコードして、字幕信号を生成する字幕デコードステップと、
前記音声信号および前記字幕信号に基づいて、前記音声信号に含まれる前記台詞の開始点および終了点のうちの少なくとも一方を判定する台詞判定ステップと、
前記台詞の繰り返し再生の指示を入力する入力ステップと、
前記入力ステップの処理で入力された前記指示に対応し、前記台詞判定ステップの処理での判定結果に基づいて、再生ポイントが前記台詞の開始点まで遡るように、前記読み出しステップの処理、前記音声デコードステップの処理、および前記字幕デコードステップの処理を制御する制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項６】
音声信号を再生するとともに、前記音声信号に含まれる台詞に対応する字幕の文字列を表示させるコンピュータに、
情報記録媒体に記録されている音声データおよび字幕データを読み出す読み出しステップと、
前記読み出しステップの処理で読み出された前記音声データをデコードして、前記音声信号を生成する音声デコードステップと、
前記読み出しステップの処理で読み出された前記字幕データをデコードして、字幕信号を生成する字幕デコードステップと、
前記音声信号および前記字幕信号に基づいて、前記音声信号に含まれる前記台詞の開始点および終了点のうちの少なくとも一方を判定する台詞判定ステップと、
前記台詞の繰り返し再生の指示を入力する入力ステップと、
前記入力ステップの処理で入力された前記指示に対応し、前記台詞判定ステップの処理での判定結果に基づいて、再生ポイントが前記台詞の開始点まで遡るように、前記読み出しステップの処理、前記音声デコードステップの処理、および前記字幕デコードステップの処理を制御する制御ステップと
を実行させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、再生装置および方法、記録媒体、並びにプログラムに関し、例えば、DVDに記録されている映画などのＡＶコンテンツを再生しているときに、音声を台詞単位で繰り返して再生させる場合に用いて好適な再生装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
従来のDVD(Digital Versatile Disc)プレーヤなどを用いて、映画などのＡＶコンテンツを再生させている最中、「いまの台詞をもう一度聞きたい」と思ったユーザは、巻き戻しボタンを押下することによって、希望する台詞の開始点と自己が判断する位置まで再生タイミングを遡らせるか、または予め設定されている固定時間（例えば、１０秒間）だけ巻き戻しが行われるボタンを押下することによって、固定時間単位で再生タイミングを遡らせるかのいずれかの操作を実行していた。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した２種類の操作のいずれかを行うことでは、希望する台詞の開始点まで再生タイミングを正確に遡らせることは困難である課題があった。
【０００４】
また、外国語学習などの用途で同じ台詞を何度も繰り返して再生させる場合などには、ユーザが音声を聞きながら、その台詞の終了点がきたことを判断した後、上述した２種類の操作のいずれかを行うことを繰り返して実行する必要があった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、再生時においては常に音声の台詞の開始点と終了点を把握しておくことにより、１回のボタン操作に対応して、再生ポイントを台詞単位で遡らせることができる再生装置を実現することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の再生装置は、情報記録媒体に記録されている音声データおよび字幕データを読み出す読み出し手段と、読み出し手段により読み出された音声データをデコードして、音声信号を生成する音声デコード手段と、読み出し手段により読み出された字幕データをデコードして、字幕信号を生成する字幕デコード手段と、音声信号および字幕信号に基づいて、音声信号に含まれる台詞の開始点および終了点のうちの少なくとも一方を判定する台詞判定手段と、台詞の繰り返し再生の指示を入力する入力手段と、入力手段により入力された指示に対応し、台詞判定手段の判定結果に基づいて、再生ポイントが台詞の開始点まで遡るように、読み出し手段、音声デコード手段、および字幕デコード手段を制御する制御手段とを含むことを特徴とする。
【０００７】
前記情報記録媒体は、DVDであるようにすることができる。
【０００８】
前記台詞判定手段は、字幕信号に含まれる文字列の表示タイミングおよび消去タイミングに対応して窓関数を設定する設定手段と、音声信号のレベルを検出して、音声レベル信号を生成するレベル検出手段と、音声レベル信号の極小値を台詞候補点として抽出する抽出手段と、台詞候補点に対して第１の評価値を付与する付与手段と、台詞候補点の第１の評価値に窓関数の対応する値を乗算することにより、台詞候補点に対して第２の評価値を付与する乗算手段と、第２の評価値に基づいて、複数の台詞候補点のなかから、台詞の開始点および終了点のうちの少なくとも一方を決定する決定手段とを含むようにすることができる。
【０００９】
本発明の再生方法は、情報記録媒体に記録されている音声データおよび字幕データを読み出す読み出しステップと、読み出しステップの処理で読み出された音声データをデコードして、音声信号を生成する音声デコードステップと、読み出しステップの処理で読み出された字幕データをデコードして、字幕信号を生成する字幕デコードステップと、音声信号および字幕信号に基づいて、音声信号に含まれる台詞の開始点および終了点のうちの少なくとも一方を判定する台詞判定ステップと、台詞の繰り返し再生の指示を入力する入力ステップと、入力ステップの処理で入力された指示に対応し、台詞判定ステップの処理での判定結果に基づいて、再生ポイントが台詞の開始点まで遡るように、読み出しステップの処理、音声デコードステップの処理、および字幕デコードステップの処理を制御する制御ステップとを含むことを特徴とする。
【００１０】
本発明の記録媒体のプログラムは、情報記録媒体に記録されている音声データおよび字幕データを読み出す読み出しステップと、読み出しステップの処理で読み出された音声データをデコードして、音声信号を生成する音声デコードステップと、読み出しステップの処理で読み出された字幕データをデコードして、字幕信号を生成する字幕デコードステップと、音声信号および字幕信号に基づいて、音声信号に含まれる台詞の開始点および終了点のうちの少なくとも一方を判定する台詞判定ステップと、台詞の繰り返し再生の指示を入力する入力ステップと、入力ステップの処理で入力された指示に対応し、台詞判定ステップの処理での判定結果に基づいて、再生ポイントが台詞の開始点まで遡るように、読み出しステップの処理、音声デコードステップの処理、および字幕デコードステップの処理を制御する制御ステップとを含むことを特徴とする。
【００１１】
本発明のプログラムは、情報記録媒体に記録されている音声データおよび字幕データを読み出す読み出しステップと、読み出しステップの処理で読み出された音声データをデコードして、音声信号を生成する音声デコードステップと、読み出しステップの処理で読み出された字幕データをデコードして、字幕信号を生成する字幕デコードステップと、音声信号および字幕信号に基づいて、音声信号に含まれる台詞の開始点および終了点のうちの少なくとも一方を判定する台詞判定ステップと、台詞の繰り返し再生の指示を入力する入力ステップと、入力ステップの処理で入力された指示に対応し、台詞判定ステップの処理での判定結果に基づいて、再生ポイントが台詞の開始点まで遡るように、読み出しステップの処理、音声デコードステップの処理、および字幕デコードステップの処理を制御する制御ステップとをコンピュータに実行させることを特徴とする。
【００１２】
本発明の再生装置および方法、並びにプログラムにおいては、情報記録媒体に記録されている音声データおよび字幕データが読み出され、読み出された音声データがデコードされて音声信号が生成され、読み出された字幕データがデコードされて字幕信号が生成される。また、音声信号および字幕信号に基づいて、音声信号に含まれる台詞の開始点および終了点のうちの少なくとも一方が判定される。さらに、台詞の繰り返し再生の指示が入力され、入力された指示に対応し、台詞判定の判定結果に基づいて、再生ポイントが台詞の開始点まで遡るように、読み出しの処理、音声デコードの処理、および字幕デコードの処理が制御される。
【００１３】
【発明の実施の形態】
図１は、本発明の一実施の形態であるDVDプレーヤの構成例を示している。当該DVDプレーヤは、DVD１に記録されている映画などの映像、音声、および字幕がエンコードされている映像データ、音声データ、および字幕データを読み出してデコードし、字幕を重畳した映像をディスプレイ８に表示させ、映像に対応する音声をスピーカ９から出力させるものである。
【００１４】
当該DVDプレーヤにおいて、読み出し部２は、映像データ、音声データ、および字幕データを含むデータストリームをDVD１から読み出してデマルチプレクサ(DEMUX)３に出力する。デマルチプレクサ３は、読み出し部２から入力されたデータストリームを、映像データ、音声データ、および字幕データに分離して、それぞれ、映像デコーダ４、音声デコーダ５、または字幕デコーダ６に出力する。
【００１５】
映像デコーダ４は、例えば、MPEG２方式でエンコードされている映像データをデコードし、得られる映像信号をOSD部７に出力する。音声デコーダ５は、例えば、MPEG２方式でエンコードされている音声データをデコードし、得られる音声信号をスピーカ９および台詞判定部１０に出力する。字幕デコーダ６は、エンコードされている字幕データをデコードし、得られる字幕信号（表示する文字、表示位置、表示タイミング、消去タイミングなどを含む）をOSD部７および台詞判定部１０に出力する。
【００１６】
OSD(On Screen Display)部７は、字幕デコーダ６から入力される字幕信号に基づき、映像デコーダ４から入力される映像信号に字幕の文字列を重畳してディスプレイ８に出力する。
【００１７】
台詞判定部１０は、音声デコーダ５から入力される音声信号、および字幕デコーダ６から入力される字幕信号に基づき、音声に含まれる台詞の開始点および終了点を判定して、その情報を制御部１１に通知する。
【００１８】
制御部１１は、記録媒体１３に記録されている制御用プログラムを読み出し、読み出した制御用プログラムに基づき、操作入力部１２から入力されるユーザの操作情報に対応して、当該DVDプレーヤの全体を制御する。
【００１９】
例えば、制御部１１は、ユーザによって操作入力部１２の台詞繰り返しボタン３１が押下された場合、台詞判定部１０から入力される台詞の開始点および終了点の情報に基づき、再生中の台詞の開始点から再度読み出して再生するように読み出し部２乃至OSD部７を制御する。
【００２０】
リモートコントローラや本体に設けられるボタンなどよりなる操作入力部１２は、ユーザの操作を受け付け、その操作情報を制御部１１に出力する。記録媒体１３は、磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどである。
【００２１】
図２は、台詞判定部１０の構成例を示している。台詞判定部１０は、音声信号の振幅変化に対応する音声レベル信号を生成するレベル検出部２１、音声レベル信号の極小値を台詞候補点として検出し、各台詞候補点に第１の評価値を設定する台詞候補点検出部２２、字幕の文字列の表示タイミングおよび消去タイミングに対応して窓関数を生成する窓関数出力部２３、各台詞候補点の第１の評価値に窓関数の値を乗算して、各台詞候補点に対応する第２の評価値を設定する乗算部２４、および各台詞候補点の第２の評価値と字幕信号に基づき、台詞開始点と台詞終了点を判定する台詞検出部２５から構成される。
【００２２】
図３は、リモートコントローラなどよりなる操作入力部１２の一例を示している。操作入力部１２には、再生ボタン、再生停止ボタン、一時停止ボタン、巻き戻しボタン、早送りボタンなどの一般的なボタンの他、再生中の台詞を繰り返して再生させるときに押下する台詞繰り返しボタン３１が設けられている。
【００２３】
次に、台詞判定部１０の動作について、図４のフローチャートを参照して説明する。この台詞判定処理は、DVD１に記録されているＡＶコンテンツを再生している間、常に繰り返して実行される。
【００２４】
ステップＳ１において、窓関数出力部２３は、図５（Ａ）に示すような字幕の文字列の表示タイミングＴｓおよび消去タイミングＴｅに対応して、例えば、図５（Ｅ）に示すような窓関数を生成して乗算部２４に出力する。なお、図５（Ｅ）の窓関数は、表示タイミングＴｓおよび消去タイミングＴｅを頂点とする三角形をなしているが、窓関数の頂点は必ずしも表示タイミングＴｓおよび消去タイミングＴｅに一致させる必要はない。また、窓関数に正規分布関数や指数関数などを適用してもよい。
【００２５】
ステップＳ２において、レベル検出部２１は、包絡線検波などの方法により、例えば、図５（Ｂ）に示すような音声信号の振幅変化を検出し、図５（Ｃ）に示すような音声レベル信号を生成して台詞候補点検出部２２に出力する。ステップＳ３において、台詞候補点検出部２２は、レベル検出部２１から入力された音声レベル信号の極小値を、例えば、図５（Ｄ）に示すように台詞候補点Ｃ１乃至Ｃ６として検出し、検出した台詞候補点Ｃ１乃至Ｃ６に第１の評価値を設定して、台詞候補点Ｃ１乃至Ｃ６の第１の評価値を乗算部２４に出力する。なお、第１の評価値は、音声レベル信号の値がより小さい台詞候補点に、より大きな第１の評価値が設定されるようにする。また、無音時間がより長い台詞候補点に、より大きな第１の評価値が設定されるようにする。
【００２６】
例えば、図５（Ｄ）の場合、台詞候補点Ｃ１に対しては、第１の評価値として５が設定される。台詞候補点Ｃ２に対しては、第１の評価値として５が設定される。台詞候補点Ｃ３に対しては、第１の評価値として３が設定される。台詞候補点Ｃ４に対しては、第１の評価値として４が設定される。台詞候補点Ｃ５に対しては、第１の評価値として１が設定される。台詞候補点Ｃ６に対しては、第１の評価値として５が設定される。
【００２７】
ステップＳ４において、乗算部２４は、台詞候補点検出部２２から入力された台詞候補点Ｃ１乃至Ｃ６の第１の評価値に、窓関数の値を乗算して、図５（Ｆ）に示すように、台詞候補点Ｃ１乃至Ｃ６に対応する第２の評価値を設定し、台詞候補点Ｃ１乃至Ｃ６の第２の評価値を台詞検出部２５に出力する。
【００２８】
例えば、図５（Ｆ）の場合、台詞候補点Ｃ１に対しては、第１の評価値（５）に窓関数の値（０．２）が乗算されて、第２の評価値として１に設定される。台詞候補点Ｃ２に対しては、第１の評価値（５）に窓関数の値（０．８）が乗算されて、第２の評価値として４に設定される。台詞候補点Ｃ３に対しては、第１の評価値（３）に窓関数の値（０）が乗算されて、第２の評価値として０に設定される。台詞候補点Ｃ４に対しては、第１の評価値（４）に窓関数の値（０）が乗算されて、第２の評価値として０に設定される。台詞候補点Ｃ５に対しては、第１の評価値（１）に窓関数の値（０．６）が乗算されて、第２の評価値として０．６に設定される。台詞候補点Ｃ６に対しては、第１の評価値（５）に窓関数の値（０．４）が乗算されて、第２の評価値として２に設定される。
【００２９】
ステップＳ５において、台詞検出部２５は、乗算部２４からの台詞候補点Ｃ１乃至Ｃ６の第２の評価値と、字幕信号に基づき、字幕の文字列の表示タイミングＴｓの近傍の台詞候補点のうち、第２の評価値が最も大きいものを台詞開始点と判定する。また、字幕の文字列の消去タイミングＴｅの近傍の台詞候補点のうち、第２の評価値が最も大きいものを台詞終了点と判定する。
【００３０】
図５の例の場合、字幕の文字列の表示タイミングＴｓの近傍で第２の評価値が最も大きい台詞候補点Ｃ２が台詞開始点と判定される。また、字幕の文字列の消去タイミングＴｅの近傍で第２の評価値が最も大きい台詞候補点Ｃ２が台詞終了点と判定される。判定された台詞開始点および台詞終了点の情報は、制御部１１に供給される。
【００３１】
なお、表示タイミングＴｓや消去タイミングＴｅの近傍の台詞候補点の第２の評価値に違いが無いような場合には、字幕の文字列の表示タイミングＴｓの例えば１秒前を台詞開始点と判定するようにし、字幕の文字列の消去タイミングＴｅの１秒後を台詞終了点と判定するようにする。
【００３２】
以上説明したような台詞判定処理により、制御部１１には、再生中のＡＶコンテンツの音声信号に含まれる台詞の開始点と終了点が常に供給されることになる。
【００３３】
この情報を利用して制御部１１は、操作入力部１２の台詞繰り返しボタン３１が押下された場合、再生ポイントが再生中の台詞の終了点まで進むことを待ち、その後、再生ポイントを当該台詞の開始点まで遡らせて、当該台詞が繰り返して再生されるように、読み出し部２乃至OSD部７を制御する。特に、再生ポイントを当該台詞の開始点まで遡らせたときに、対応する字幕の文字列が表示されているように、字幕デコーダ６およびOSD部７を制御する。
【００３４】
なお、再生中のＡＶコンテンツの音声信号に含まれる台詞の開始点と終了点の情報は、再生中の台詞の開始点まで再生ポイントを直ちに戻すこと、前の台詞や次の台詞の開始点に再生ポイントを進めることなどを実現する場合に利用することができる。
【００３５】
なお、本発明は、DVD以外の情報記録媒体からＡＶコンテンツを再生する機器に対しても適用することが可能である。
【００３６】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、図１に示したような記録媒体１３からインストールされる。
【００３７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００３８】
【発明の効果】
以上のように、本発明の再生装置および方法、並びにプログラムによれば、音声信号および字幕信号に基づいて、音声信号に含まれる台詞の開始点および終了点のうちの少なくとも一方を判定し、その判定結果に基づいて、再生ポイントが台詞の開始点まで遡るように、読み出しの処理、音声デコードの処理、および字幕デコードの処理を制御するようにしたので、１回のボタン操作に対応して、再生ポイントを台詞単位で遡らせることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施の形態であるDVDプレーヤの構成例を示すブロック図である。
【図２】台詞判定部１０の構成例を示すブロック図である。
【図３】操作入力部１２の一例を示す図である。
【図４】台詞判定部１０の動作を説明するフローチャートである。
【図５】台詞判定部１０の動作を説明するための図である。
【符号の説明】
１  DVD，  ２  読み出し部，  ３  デマルチプレクサ，  ４  映像デコーダ，５  音声デコーダ，  ６  字幕デコーダ，  ７  OSD部，  １０  台詞判定部，  １１  制御部，  １２  操作入力部，  １３  記録媒体，  ２１  レベル検出部，  ２２  台詞候補点検出部，  ２３  窓関数出力部，  ２４  乗算部，  ２５  台詞検出部，  ３１  台詞繰り返しボタン
【図１】
0004543298.tif 000002
【図２】
0004543298.tif 000003
【図３】
0004543298.tif 000004
【図４】
0004543298.tif 000005
【図５】
0004543298.tif 000006