(57)【要約】【課題】映像データ、音声データ及び字幕データを含む視聴用データを再生する場合に、ユーザが聞き取りにくい登場人物の会話又は台詞等を自動的に字幕として表示することができる再生装置を提供する。【解決手段】音量判定部２５は、所定の判定期間毎に音声の音量の平均値を算出し、平均音量が閾値記憶部２６に記憶された閾値より小さいか否かを判定する。平均音量が閾値より小さい場合、映像データの映像に字幕データの字幕を合成部１９にて合成し、ディスプレイ２７に表示する。判定のための閾値は、ユーザが閾値設定ボタン３２を操作することで変更することができる。また、ユーザが音量設定ボタン３３を操作して音量を変更した場合、設定後の音量に応じて閾値が変更される。【選択図】図１
2007129663.tif 000002
【特許請求の範囲】
【請求項１】
映像データ、音声データ及び字幕データを含む視聴用データを再生する再生装置において、
前記音声データの音量が所定の閾値より小さいか否かを判定する判定手段と、
該判定手段により音量が小さいと判定された音声データに対応する映像データの映像に、対応する字幕データの字幕を合成する合成手段と、
字幕が合成された映像の出力に係る処理を行う映像出力処理手段と、
該映像出力処理手段により出力される映像に対応する音声の出力に係る処理を行う音声出力処理手段と
を備えることを特徴とする再生装置。
【請求項２】
前記判定手段は、所定の判定期間の音声の音量の平均値を算出し、算出した平均値と前記閾値とを比較して判定を行うようにしてある請求項１に記載の再生装置。
【請求項３】
前記字幕データの字幕の表示時間を取得する取得手段と、
取得した表示時間の平均時間を算出する算出手段とを備え、
前記判定手段は、前記算出手段が算出した平均時間毎の期間を前記判定期間として前記判定を行うようにしてある請求項２に記載の再生装置。
【請求項４】
前記字幕データの字幕の表示開始時刻及び表示終了時刻を取得する取得手段を備え、
前記判定手段は、前記取得手段が取得した表示開始時刻から表示終了時刻までの期間を前記判定期間として前記判定を行うようにしてある請求項２に記載の再生装置。
【請求項５】
前記閾値を受け付ける閾値受付手段を備える請求項１乃至請求項４のいずれか１つに記載の再生装置。
【請求項６】
前記音声出力処理手段により出力される音声の出力音量の設定を受け付ける出力音量受付手段と、
該出力音量受付手段が受け付けた出力音量の設定に応じて、前記閾値を変更する閾値変更手段と
を備える請求項１乃至請求項５のいずれか１つに記載の再生装置。
【請求項７】
前記閾値変更手段は、出力音量を増大させた場合に前記閾値を減少させ、出力音量を減少させた場合に前記閾値を増大させるようにしてある請求項６に記載の再生装置。
【請求項８】
前記音声データから人の声の周波数帯の音声を抽出する抽出手段を備え、
前記判定手段は、前記抽出手段が抽出した音声の音量が前記閾値より小さいか否かを判定するようにしてある請求項１乃至請求項７のいずれか１つに記載の再生装置。
【請求項９】
装置外部の音を取得し、取得した音の音量が所定の外部音量閾値より大きいか否かを判定する外部音量判定手段を備え、
前記合成手段は、前記外部音量判定手段が外部の音の音量が大きいと判定した場合に、映像データの映像に字幕データの字幕を合成するようにしてある請求項１乃至請求項８のいずれか１つに記載の再生装置。
【請求項１０】
前記外部音量閾値を受け付ける外部音量閾値受付手段を備える請求項９に記載の再生装置。
【請求項１１】
前記音声出力処理手段により出力される音声の出力音量の設定を受け付ける出力音量受付手段と、
該出力音量受付手段が受け付けた出力音量の設定に応じて、前記外部音量閾値を変更する外部音量閾値変更手段と
を備える請求項９又は請求項１０に記載の再生装置。
【請求項１２】
前記外部音量閾値変更手段は、前記音声出力処理手段により出力される音声の出力音量を増大させた場合に前記外部音量閾値を増大させ、出力音量を減少させた場合に前記外部音量閾値を減少させるようにしてある請求項１１に記載の再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データ、音声データ及び字幕データを含む視聴用データの再生を行う再生装置に関し、更に詳しくは、ユーザが音声データを聞き取れない虞がある場合に、対応する字幕データを表示する再生装置に関する。
【背景技術】
【０００２】
従来から、例えば外国語の映画のＤＶＤには、映画の映像及び音声のデータと共に字幕のデータが収められており、ユーザは映画を視聴する場合に字幕を表示するか否かを選択することができるようにしてある。また、複数の言語による字幕データが収められている場合には、ユーザは字幕として表示する言語を選択することができる。これにより、外国語を理解できないユーザであっても外国語の映画の視聴を行うことができる。また、テレビ放送においては、文字放送を利用して母国語の番組に母国語の字幕を表示することができる番組が放送されている。これは主に耳の不自由なユーザを対象としたサービスであり、字幕により登場人物の会話を知ることができ、番組を楽しむことができる。
【０００３】
特許文献１においては、字幕を吹き出し内に表示するために必要な吹き出しデータを作成するコンテンツ作成装置、作成された吹き出しデータを映像及び音声データと共に多重化して送信するコンテンツ送信装置、及び送信されたデータを受信して再生する生成装置等を含む映像コンテンツの提供システムが提案されている。このシステムは、ユーザは映像中の人物と字幕との対応がわかりやすいという利点がある。
【０００４】
一方、ユーザが母国語の映画のＤＶＤを視聴する場合、及び母国語のテレビ番組を視聴する場合等に、音声データの音量が小さく、登場人物の会話又は台詞を聞き取れないことがある。特に、ユーザの視聴環境によっては、周囲の騒音が大きい場合があり、この場合には会話又は台詞が更に聞き取れない虞がある。会話又は台詞が聞き取れなかった場合、ユーザはＤＶＤの再生時刻を数秒程度戻して再視聴する必要があり、また、テレビ番組を録画せずに視聴しているときには番組を再視聴することができないため、番組の内容がわからなくなる虞がある。
【特許文献１】特開２００５−１２４１６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
予めＤＶＤプレーヤ又はテレビジョン装置等の音声の出力音量を十分に上げて視聴することにより、登場人物の会話又は台詞が聞き取れない虞があるという上記の問題を解決することができるが、深夜に視聴を行う場合又は病院内で視聴を行う場合等、ユーザの視聴環境によっては十分に出力音量を上げることができない場合がある。また、ＤＶＤに字幕データが含まれている場合、又はテレビ番組が文字放送による字幕表示に対応している場合には、予め映像と共に字幕を表示しておくことで、上記の問題を解決することができる。しかし、音声が十分に聞き取れる場合には、字幕の表示は映像の一部を見えにくくするため、ユーザにとって字幕の表示が煩わしいものとなる。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、音量データの音量が小さい場合に映像データの映像に字幕データの字幕を合成して出力する構成とすることにより、ユーザが聞き取りにくい可能性が高い会話又は台詞を字幕として表示することができる再生装置を提供することにある。
【０００７】
また本発明の他の目的とするところは、音声データの音量が小さいか否かを、所定の判定期間の音量の平均値から判定する構成とすることにより、音声データに含まれる一瞬の無音状態により誤判定し、必要のない字幕を表示することがない再生装置を提供することにある。
【０００８】
また本発明の他の目的とするところは、字幕データの字幕の表示時間の平均時間を算出し、この平均時間毎の期間を判定期間として音量の判定を行う構成とすることにより、登場人物の会話又は台詞の長さに適した判定期間で判定を行うことができる再生装置を提供することにある。
【０００９】
また本発明の他の目的とするところは、字幕データの字幕の表示開始時刻及び終了時刻までの期間を判定期間として音量の判定を行う構成とすることにより、登場人物の会話又は台詞が聞き取りにくいか否かをより正確に判定することができる再生装置を提供することにある。
【００１０】
また本発明の他の目的とするところは、音量が小さいか否かを判定するための閾値をユーザが入力し、これを受け付ける構成とすることにより、ユーザの視聴環境及びユーザの聞き取り能力の個人差に応じて、ユーザが判定の基準を変更できる再生装置を提供することにある。
【００１１】
また本発明の他の目的とするところは、ユーザがボリュームスイッチなどにより音量を変更した場合に、判定のための閾値の値を変更する構成とすることにより、登場人物の会話又は台詞をユーザが聞き取れるか否かをより確実に判定することができる再生装置を提供することにある。
【００１２】
また本発明の他の目的とするところは、ユーザが音量を上げた場合には判定のための閾値を下げ、音量を下げた場合には閾値を上げる構成とすることにより、出力される音量が小さい場合に確実に字幕を表示することができる再生装置を提供することにある。
【００１３】
また本発明の他の目的とするところは、音声データから人の声の周波数帯の音声を抽出し、抽出した音声が小さいか否かを判定する構成とすることにより、登場人物の会話又は台詞のみを音量の判定の対象とすることができる再生装置を提供することにある。
【００１４】
また本発明の他の目的とするところは、装置外部の音の音量が大きいか否かを判定し、判定結果に応じて映像データの映像に字幕データの字幕を合成して出力する構成とすることにより、ユーザの視聴環境に応じて登場人物の会話又は台詞が聞き取れるか否かを判定し、字幕データの表示を行うことができる表示装置を提供することにある。
【００１５】
また本発明の他の目的とするところは、外部の音量を判定するための外部音量閾値をユーザが入力し、これを受け付けて判定のための外部音量閾値を変更して判定を行う構成とすることにより、ユーザの視聴環境及びユーザの聞き取り能力の個人差に応じて、ユーザが判定の基準を変更できる再生装置を提供することにある。
【００１６】
また本発明の他の目的とするところは、ユーザがボリュームスイッチなどにより音量を変更した場合に、外部の音の判定を行うための閾値の値を変更する構成とすることにより、登場人物の会話又は台詞をユーザが聞き取れるか否かをより確実に判定することができる再生装置を提供することにある。
【００１７】
また本発明の他の目的とするところは、ユーザが音量を上げた場合には判定のための外部音量閾値を上げ、音量を下げた場合には外部音量閾値を下げる構成とすることにより、出力される音量が小さい場合に確実に字幕を表示することができる再生装置を提供することにある。
【課題を解決するための手段】
【００１８】
本発明に係る再生装置は、映像データ、音声データ及び字幕データを含む視聴用データを再生する再生装置において、前記音声データの音量が所定の閾値より小さいか否かを判定する判定手段と、該判定手段により音量が小さいと判定された音声データに対応する映像データの映像に、対応する字幕データの字幕を合成する合成手段と、字幕が合成された映像の出力に係る処理を行う映像出力処理手段と、該映像出力処理手段により出力される映像に対応する音声の出力に係る処理を行う音声出力処理手段とを備えることを特徴とする。
【００１９】
本発明においては、音声データの音声の音量が小さい場合に、映像データの映像に字幕データの字幕を合成して出力する。音量が小さい登場人物の会話又は台詞はユーザが聞き逃す可能性が高いため、聞き逃す可能性が高い会話又は台詞に対応する字幕を表示する。ユーザは字幕から登場人物の会話又は台詞を理解できる。
【００２０】
また、本発明に係る再生装置は、前記判定手段が、所定の判定期間の音声の音量の平均値を算出し、算出した平均値と前記閾値とを比較して判定を行うようにしてあることを特徴とする。
【００２１】
本発明においては、所定の判定期間毎に音声の音量の平均値を算出し、この平均値から音量が小さいか否かの判定を行う。再生される映画又は番組等には登場人物の会話又は台詞が途切れて音声が出力されない瞬間が存在する可能性があるため、この瞬間を音量が小さい部分と判定しないように、判定をある程度の幅を持たせた期間の平均値を用いて行うようにする。
【００２２】
また、本発明に係る再生装置は、前記字幕データの字幕の表示時間を取得する取得手段と、取得した表示時間の平均時間を算出する算出手段とを備え、前記判定手段は、前記算出手段が算出した平均時間毎の期間を前記判定期間として前記判定を行うようにしてあることを特徴とする。
【００２３】
本発明においては、字幕データの字幕の表示時間を取得して、表示時間の平均時間を算出し、この平均時間毎の期間を音量判定を行う判定期間とする。これにより、再生される映画又は番組に含まれる会話又は台詞の長さに応じて判定期間を変更し、再生される映画又は番組に適した判定を行うことができる。
【００２４】
また、本発明に係る再生装置は、前記字幕データの字幕の表示開始時刻及び表示終了時刻を取得する取得手段を備え、前記判定手段は、前記取得手段が取得した表示開始時刻から表示終了時刻までの期間を前記判定期間として前記判定を行うようにしてあることを特徴とする。
【００２５】
本発明においては、字幕データの字幕の表示開始時刻及び表示終了時刻を取得し、この表示開始時刻から表示終了時刻までの期間を判定期間として判定を行う。これにより、各字幕毎に対応する音声の音量を判定し、各字幕毎に表示を行うか否かを判定できる。
【００２６】
また、本発明に係る再生装置は、前記閾値を受け付ける閾値受付手段を備えることを特徴とする。
【００２７】
本発明においては、音声データの音声の音量が小さいか否かを判定するための閾値を受け付け可能とし、受け付けた閾値を用いて判定を行う。よって、ユーザが視聴環境及び聞き取り能力の個人差を考慮して判定の閾値を変更することができる。
【００２８】
また、本発明に係る再生装置は、前記音声出力処理手段により出力される音声の出力音量の設定を受け付ける出力音量受付手段と、該出力音量受付手段が受け付けた出力音量の設定に応じて、前記閾値を変更する閾値変更手段とを備えることを特徴とする。
【００２９】
本発明においては、ユーザがボリュームスイッチを操作して出力音量の設定を変更した場合に、音量を判定する閾値を出力音量の設定に応じて変更する。実際に出力される出力音量の設定が大きい場合にはユーザが登場人物の会話又は台詞を聞き取れない可能性は低く、出力音量の設定が小さい場合には聞き取れない可能性は高い。よって、出力音量の設定に応じて閾値を変更し、ユーザが聞き取れるか否かの判定の確度を上げる。
【００３０】
また、本発明に係る再生装置は、前記閾値変更手段が、出力音量を増大させた場合に前記閾値を減少させ、出力音量を減少させた場合に前記閾値を増大させるようにしてあることを特徴とする。
【００３１】
本発明においては、ユーザが出力音量の設定を上げた場合に判定のための閾値を下げ、出力音量の設定を下げた場合に閾値を上げる。実際に出力される音声の音量が小さい場合には、ユーザが登場人物の会話又は台詞を聞き取れない可能性が高いため、閾値を上げることでより多くの字幕が表示される。実際に出力される音声の音量が大きい場合には、ユーザが登場人物の会話又は台詞を聞き取れない可能性は低いため、閾値を下げることで字幕が表示されにくくなる。
【００３２】
また、本発明に係る再生装置は、前記音声データから人の声の周波数帯の音声を抽出する抽出手段を備え、前記判定手段は、前記抽出手段が抽出した音声の音量が前記閾値より小さいか否かを判定するようにしてあることを特徴とする。
【００３３】
本発明においては、音声データから人の声の周波数帯の音声を抽出する。例えば、日本語は１２５Ｈｚ〜１５００Ｈｚ程度の周波数帯に収まるため、この周波数帯の音声を抽出することで、音声データから登場人物の会話又は台詞を抽出できる。よって、抽出した音声の音量を判定することで、会話又は台詞の音量を判定できる。
【００３４】
また、本発明に係る再生装置は、装置外部の音を取得し、取得した音の音量が所定の外部音量閾値より大きいか否かを判定する外部音量判定手段を備え、前記合成手段は、前記外部音量判定手段が外部の音の音量が大きいと判定した場合に、映像データの映像に字幕データの字幕を合成するようにしてあることを特徴とする。
【００３５】
本発明においては、再生装置の外部の騒音又は雑音等の音を取得して、取得した音の音量が所定の外部音量閾値より大きいか否かを判定する。これにより、ユーザの視聴環境が音声を聞き取りやすい環境であるか否かを判定できる。判定の結果から、外部の音が外部音量閾値より大きい場合、即ち視聴環境が音声を聞き取りにくい環境である場合には、映像に字幕を合成して出力する。
【００３６】
また、本発明に係る再生装置は、前記外部音量閾値を受け付ける外部音量閾値受付手段を備えることを特徴とする。
【００３７】
本発明においては、再生装置外部の音の音量を判定するための外部音量閾値を受付可能とし、受け付けた外部音量閾値を用いて判定を行う。よって、ユーザが視聴環境及び聞き取り能力の個人差を考慮して外部音量判定の閾値を変更することができる。
【００３８】
また、本発明に係る再生装置は、前記音声出力処理手段により出力される音声の出力音量の設定を受け付ける出力音量受付手段と、該出力音量受付手段が受け付けた出力音量の設定に応じて、前記外部音量閾値を変更する外部音量閾値変更手段とを備えることを特徴とする。
【００３９】
本発明においては、ユーザがボリュームスイッチを操作して出力音量の設定を変更した場合に、再生装置の外部の音の音量を判定する外部音量閾値を出力音量の設定に応じて変更する。外部の音量が大きいときであっても、実際に出力される出力音量の設定が大きい場合には、ユーザが登場人物の会話又は台詞を聞き取れない可能性は低く、また、出力音量の設定が小さい場合には聞き取れない可能性は高い。よって、出力音量の設定に応じて外部音量閾値を変更し、ユーザが聞き取れるか否かの判定の確度を上げる。
【００４０】
また、本発明に係る再生装置は、前記外部音量閾値変更手段が、前記音声出力処理手段により出力される音声の出力音量を増大させた場合に前記外部音量閾値を増大させ、出力音量を減少させた場合に前記外部音量閾値を減少させるようにしてあることを特徴とする。
【００４１】
本発明においては、ユーザが出力音量の設定を上げた場合に判定のための外部音量閾値を上げ、出力音量の設定を下げた場合に外部音量閾値を下げる。実際に出力される音声の音量が小さい場合には、ユーザが登場人物の会話又は台詞を外部の騒音又は雑音等の音により聞き取れない可能性が高いため、外部音量閾値を下げて確実に字幕を表示する。実際に出力される音声の音量が大きい場合には、外部の騒音又は雑音等の音が大きくてもユーザが登場人物の会話又は台詞を聞き取れない可能性は低いため、外部音量閾値を上げることで字幕が表示されにくくなる。
【発明の効果】
【００４２】
本発明による場合は、音量データの音量が小さい場合に映像データの映像に字幕データの字幕を合成して出力する構成とすることにより、音量が小さくユーザが聞き逃す可能性が高い会話又は台詞を表示することができ、ユーザは字幕から登場人物の会話又は台詞を理解できるため、ユーザが聞き逃した会話又は台詞を再度聞くために再生時刻を戻して再視聴する必要がなく、また、再視聴できない場合に番組の内容がわからなくなる虞がなくなる。よって、再生装置の利便性を向上することができる。
【００４３】
また、本発明による場合は、音声データの音量が小さいか否かを、所定の判定期間の音量の平均値から判定する構成とすることにより、登場人物の会話又は台詞が途切れて音声が出力されない瞬間を音量が小さい部分と誤判定することがないため、会話又は台詞に対する字幕を適切なときのみに表示することができ、ユーザが字幕の表示を煩わしく感じることがない。
【００４４】
また、本発明による場合は、字幕データの字幕の表示時間の平均時間を算出し、この平均時間毎の期間を判定期間として音量の判定を行う構成とすることにより、再生される映画又は番組に含まれる会話又は台詞の長さに応じて判定期間を変更することができるため、再生される映画又は番組に最適な字幕の表示を行うことができる。
【００４５】
また、本発明による場合は、字幕データの字幕の表示開始時刻及び終了時刻までの期間を判定期間として音量の判定を行う構成とすることにより、各字幕毎に対応する音声の音量を判定することができ、字幕を表示を行うか否かを各字幕毎に判定することができるため、字幕の表示をより適切なときに行うことができる。よって、ユーザが字幕の表示を煩わしく感じることがない。
【００４６】
また、本発明による場合は、音声データの音声の音量が小さいか否かを判定するための閾値をユーザから受け付け可能とし、受け付けた閾値を用いて判定を行う構成とすることにより、ユーザが判定の閾値を変更することができるため、視聴環境及び聞き取り能力の個人差等を考慮した閾値を用いた判定を行うことができ、各ユーザごとに最適な字幕の表示を行うことができる。よって、再生装置の利便性を向上することができる。
【００４７】
また、本発明による場合は、ユーザがボリュームスイッチなどにより出力音量の設定を変更した場合に、判定のための閾値を変更する構成とすることにより、実際に出力される出力音量の設定が大きい場合には字幕の表示を少なくし、出力音量の設定が小さい場合には字幕の表示を多くできるため、ユーザが会話又は台詞を聞き取れない可能性が高い場合に確実に字幕の表示を行うことができる。よって、聞き逃した会話又は台詞を再度聞くために再生時刻を戻して再視聴する必要がなく、また、再視聴できない場合に番組の内容がわからなくなる虞がなくなる。
【００４８】
また、本発明による場合は、ユーザが音量を上げた場合には判定のための閾値を下げ、音量を下げた場合には閾値を上げる構成とすることにより、実際に出力される音声の音量が小さく、ユーザが登場人物の会話又は台詞を聞き取れない可能性が高い場合に、確実に字幕の表示を行うことができるため、聞き逃した会話又は台詞を再度聞くために再生時刻を戻して再視聴する必要がなく、また、再視聴できない場合に番組の内容がわからなくなる虞がなくなる。また、実際に出力される音声の音量が大きく、ユーザが登場人物の会話又は台詞を聞き取れない可能性は低い場合には、字幕が表示されないため、ユーザが字幕の表示を煩わしく感じることがない。
【００４９】
また、本発明による場合は、音声データから人の声の周波数帯の音声を抽出し、抽出した音声が小さいか否かを判定する構成とすることにより、音声データから登場人物の会話又は台詞を抽出できるため、登場人物の会話又は台詞のみを音量の判定の対象とすることができ、ユーザが会話又は台詞を聞き取れるか否かをより確実に判定することができる。
【００５０】
また、本発明による場合は、再生装置の外部の騒音又は雑音等の音を取得し、取得した音の音量が所定の外部音量閾値より大きいか否かを判定する構成とすることにより、ユーザの視聴環境が音声を聞き取りやすい環境であるか否かを判定できるため、視聴環境が音声を聞き取りにくい環境である場合に確実に映像に字幕を合成して出力することができ、ユーザが聞き逃した会話又は台詞を再度聞くために再生時刻を戻して再視聴する必要がなく、また、再視聴できない場合に番組の内容がわからなくなる虞がなくなる。
【００５１】
また、本発明による場合は、再生装置外部の音の音量を判定するための外部音量閾値をユーザから受付可能とし、受け付けた外部音量閾値を用いて判定を行う構成とすることにより、ユーザが判定のための外部音量閾値を変更することができるため、視聴環境及び聞き取り能力の個人差等を考慮した外部音量閾値を用いた判定を行うことができ、各ユーザ毎に最適な字幕の表示を行うことができる。よって、再生装置の利便性を向上することができる。
【００５２】
また、本発明による場合は、ユーザがボリュームスイッチを操作して出力音量の設定を変更した場合に、再生装置の外部の音の音量を判定する外部音量閾値を出力音量の設定に応じて変更する構成とすることにより、外部の音量が大きいときであっても、実際に出力される出力音量の設定が大きく、ユーザが登場人物の会話又は台詞を聞き取れない可能性は低い場合に、字幕が表示されないため、ユーザが字幕の表示を煩わしく感じることがない。また、出力音量の設定が小さく、ユーザが聞き取れない可能性が高い場合には、確実に字幕の表示を行うことができるため、聞き逃した会話又は台詞を再度聞くために再生時刻を戻して再視聴する必要がなく、また、再視聴できない場合に番組の内容がわからなくなる虞がなくなる。
【００５３】
また、本発明による場合は、ユーザが出力音量の設定を上げた場合に判定のための外部音量閾値を上げ、出力音量の設定を下げた場合に外部音量閾値を下げる構成とすることにより、実際に出力される音声の音量が大きい場合には、外部の騒音又は雑音等の音が大きくてもユーザが登場人物の会話又は台詞を聞き取れない可能性は低いため、外部音量閾値を上げることで字幕が表示を少なくでき、ユーザが字幕の表示を煩わしく感じることがない。また、実際に出力される音声の音量が小さく、ユーザが登場人物の会話又は台詞を聞き取れない可能性が高い場合に、確実に字幕の表示を行うことができるため、聞き逃した会話又は台詞を再度聞くために再生時刻を戻して再視聴する必要がなく、また、再視聴できない場合に番組の内容がわからなくなる虞がなくなる。
【発明を実施するための最良の形態】
【００５４】
（実施の形態１）
以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。図１は、本発明の実施の形態１に係るＤＶＤプレーヤの構成を示すブロック図である。本実施の形態に係るＤＶＤプレーヤは、映像を表示するための液晶ディスプレイ及び音声を出力するためのスピーカを備えた一体型のＤＶＤプレーヤである。
【００５５】
図において１はＤＶＤプレーヤの制御部であり、ＤＶＤドライブ２、復調部５及び再生部１０等のＤＶＤプレーヤの各部を制御する。ＤＶＤドライブ２はピックアップ３及びモータ４等を備えており、装着されたＤＶＤ１００をモータ４により回転させながら、ピックアップ３からビーム光をＤＶＤ１００へ照射し、ＤＶＤ１００からの反射光を受光して電気信号に変換し、復調部５へ与える。復調部５は、与えられた信号をデジタルデータに復調すると共に、データの誤り訂正を行って再生部１０の分離部１１へ与える。
【００５６】
再生部１０は、内部にデコーダ、バッファ、Ｄ／Ａ変換器等を備え、ＤＶＤ１００から読み出されたデータの再生を行うものである。復調部５が復調したデジタルデータは再生部１０内の分離部１１へ与えられ、分離部１１は与えられたデジタルデータを映像データ、音声データ及び字幕データの３つに分離する。分離された映像データは映像デコーダ１２へ与えられ、音声データは音声デコーダ１３へ与えられる。また、分離された字幕データは字幕バッファ１４へ与えられて蓄えられる。
【００５７】
ＤＶＤ１００には、映画又はドラマ等の映像及び音声のデータが記録されており、また、登場人物の台詞を文字で表示するための字幕データが記録されている。これらの映像データ、音声データ及び字幕データは、ＰＳ（Ｐｒｏｇｒａｍ  Ｓｔｒｅａｍ）形式のパケットに分割された状態でＤＶＤ１００に記録されている。各パケットには、パケット内のデータの種類及びデータサイズ等の情報を有するヘッダが付加されており、分離部１１は各パケットのヘッダからパケット内のデータの種類を判断し、データの分離を行うようにしてある。
【００５８】
映像データ及び音声データはＤＶＤ１００に圧縮された状態で記録されており、映像デコーダ１２は、ＭＰＥＧ形式で圧縮された映像データを伸張して映像バッファ１５へ与え、映像バッファ１５に一時的に映像データを蓄える。また、音声デコーダ１３は、ＡＣ−３形式で圧縮された音声データを伸張して音声バッファ１６へ与え、音声バッファ１６に一時的に音声データを蓄える。字幕バッファ１４、映像バッファ１５及び音声バッファ１６は、例えばＳＲＡＭ、ＤＲＡＭ又はフラッシュメモリ等の記憶素子により構成される。
【００５９】
映像バッファ１５に蓄えられた映像データはＤ／Ａ変換部１７へ与えられ、Ｄ／Ａ変換部１７にてデジタルの映像データからアナログの映像信号に変換される。Ｄ／Ａ変換部１７は変換した映像信号を合成部１９へ与える。また、合成部１９には字幕バッファ１４から字幕データが与えられており、合成部１９は映像信号に字幕を合成してディスプレイ２７に出力し、ディスプレイ２７に映像を表示する。なお、ＤＶＤ１００に字幕データが含まれていない場合、又は字幕データを表示する必要がない場合には、合成部１９は字幕を合成することなくＤ／Ａ変換部１７から与えられた映像信号をディスプレイ２７に与えて表示を行うようにしてある。
【００６０】
音声バッファ１６に蓄えられた音声データはＤ／Ａ変換部１８へ与えられ、Ｄ／Ａ変換部１８にてデジタルの音声データからアナログの音声信号に変換される。また、Ｄ／Ａ変換部１８は、変換した音声信号をスピーカ２８へ与え、スピーカ２８にて音声の出力を行うようにしてある。
【００６１】
本実施の形態に係るＤＶＤプレーヤは、音声データの音量の大小を判定して音量が小さい場合に、対応する字幕を自動的に表示する機能を備えている。この機能を実現するために、ＤＶＤプレーヤは音声データの音量を判定する音量判定部２５を備えている。音量判定部２５には、再生部１０の音声バッファ１６に予め定められた所定の期間分の音声データが蓄えられた場合に、音声バッファ１６から所定の期間分の音声データが与えられる。音量判定部２５は、与えられた音声データの音量の所定の期間での平均値を算出し、且つ閾値記憶部２６に記憶された判定のための閾値を読み出し、算出した音量の平均値と読み出した閾値との比較を行って、音声データの音量の大小を判定する。
【００６２】
音量判定部２５の判定結果は制御部１へ与えられ、音量が閾値より小さい場合には、ユーザが登場人物の台詞を聞き取れない可能性が高いため、合成部１９にて映像に字幕を合成してディスプレイ２７に表示する。音量が閾値より大きい場合には、ユーザが登場人物の台詞を聞き取れない可能性は低いため、合成部１９にて字幕の合成を行うことなく映像をディスプレイ２７に表示する。
【００６３】
ＤＶＤプレーヤは、ユーザがＤＶＤの再生及び停止等の処理を行う指示を与えるためのボタン又はスイッチ等が複数設けられた操作部３１を備えている。また、操作部３１には、音量判定部２５が判定を行う場合に用いる閾値、即ち閾値記憶部２６に記憶された閾値の値を変更するための閾値設定ボタン３２、及びスピーカ２８から出力される音声の音量を増減する音量設定ボタン３３が設けられている。例えば、閾値設定ボタン３２を押下した場合には、閾値の設定画面がディスプレイ２７に表示され、ユーザは設定画面を見ながら操作部３１のカーソルキー（図示せず）を操作して閾値の変更を行うことができるようにしてある。
【００６４】
また、例えば、音量設定ボタン３３は、音量を増加させるボタン及び減少させるボタンの２つのボタンにより構成され、これらのボタンを押下することで音量の増減を行うことができるようにしてある。制御部１は操作部３１の閾値設定ボタン３２が押下され、閾値が変更された場合には、閾値記憶部２６に記憶された閾値を変更するが、音量設定ボタン３３により音量の設定が変更された場合にも、閾値記憶部２６の閾値を変更するようにしてある。音量設定ボタン３３によりスピーカ２８から出力される音量が増加された場合、ユーザは登場人物の台詞を聞き取りやすくなるため、音量判定の閾値を下げて字幕が表示されにくくする。スピーカ２８から出力される音量が減少された場合、ユーザは登場人物の台詞を聞き取りにくくなるため、音量判定の閾値を上げて字幕が表示されやすくする。
【００６５】
図２は、本発明の実施の形態１に係るＤＶＤプレーヤの音量判定と映像データ、音声データ及び字幕データの出力との処理タイミングの一例を示すタイミングチャートである。図２においては、横軸を時間軸として上から音声データの音量判定のタイミング、映像データの出力タイミング、音声データの出力タイミング、字幕データの出力タイミングを図示してある。また、各データは所定の期間（判定期間）毎に区切って図示してあり、音声データの音量の判定はこの判定期間毎の平均音量に対して行われ、字幕の出力もこの判定期間毎に出力するか否かが決定される。
【００６６】
また、図２においては、映像データをＶｉ（ｉ＝１、２…）で示し、音声データをＳｉ（ｉ＝１、２…）で示し、字幕データをＴｉ（ｉ＝１、２…）で示す。例えば、映像データＶ１に対応する音声データがＳ１であり、音声データＳ１に対応する字幕データがＴ１である。
【００６７】
ＤＶＤ１００から読み出された映像データＶｉ、音声データＳｉ及び字幕データＴｉは、それぞれ映像バッファ１５、音声バッファ１６及び字幕バッファ１４に蓄えられる。判定期間分の音声データＳｉが蓄えられた後、音量判定部２５にて判定期間内の音声データＳｉの平均音量を算出し、閾値記憶部２６に記憶された閾値との比較を行う。音量判定部２５は、判定期間毎に判定を繰り返し行う。
【００６８】
映像バッファ１５に蓄えられた映像データＶｉの出力処理及び音声バッファ１６に蓄えられた音声データＳｉの出力処理及び字幕バッファ１４に蓄えられた字幕データＴｉの出力処理は、対応する音声データＳｉの音量判定が終了した後に行われる。このため、映像データＶｉ、音声データＳｉ及び字幕データＴｉの出力処理は、ＤＶＤ１００からデータが読み出された後、約判定期間分遅れて行われる。また、字幕データＴｉは、対応する音声データＳｉの音量判定の結果、閾値より音量が小さい場合のみ、対応する映像データＶｉに合成部１９にて合成され、ディスプレイ２７に出力される。
【００６９】
例えば、図２において最初の判定期間には、最初の音声データＳ１の音量判定を行う。音声データＳ１より前の映像データは存在しないため、最初の判定期間には映像データ、音声データ及び字幕データの出力は行われない。２番目の判定期間には、音声データＳ２の音量判定を行い、前の判定期間に判定を行った音声データＳ１に対応する映像データＶ１及び音声データＳ１の出力が行われる。また、音声データＳ１は判定の結果、閾値より平均音量が大きいため、字幕データＴ１の出力は行われない。次いで、３番目の判定期間には、音声データＳ３の音量判定を行い、前の判定期間に判定を行った音声データＳ２に対応する映像データＶ２及び音声データＳ２の出力が行われる。また、前の判定期間に行われた音声データＳ２の判定の結果、閾値より平均音量が小さいため、字幕データＴ２が映像データＶ２に合成されて出力される。このように、音声データＳｉの音量判定を映像データＶｉ、音声データＳｉ及び字幕データＴｉの出力より先行して行うことで、音声データＳｉの音量に応じて字幕データＴｉの出力を行うことができる。
【００７０】
図３は、本発明の実施の形態１に係るＤＶＤプレーヤの制御部１がＤＶＤ１００の再生を行う場合の処理手順を示すフローチャートである。なお、図３においては、一つの判定期間のデータに対して行われる処理のフローを図示するが、実際にはこのフローが全ての判定期間のデータに対してパイプライン的に平行して行われる。
【００７１】
ＤＶＤ１００の再生を行う場合、制御部１は、ＤＶＤドライブ２のピックアップ３及びモータ４等、並びに復調部５により、ＤＶＤ１００からデジタルデータの読み出しを行う（ステップＳ１）。次いで、読み出したデータを分離部１１にて映像データ、音声データ及び字幕データに分離し（ステップＳ２）、分離した映像データ及び音声データを映像デコーダ１２及び音声デコーダ１３にてデコードして、映像バッファ１５及び音声バッファ１６に蓄える（ステップＳ３）。なお、字幕データは分離部１１で分離した後、字幕バッファ１４に蓄える。
【００７２】
次いで、音声バッファ１６に予め定められた判定期間分の音声データが蓄積されたか否かを調べる（ステップＳ４）。判定期間分の音声データが蓄積されていない場合には（Ｓ４：ＮＯ）、ステップＳ１へ戻り、ＤＶＤ１００からデータの読み出しを行う。判定期間分の音声データが蓄積された場合には（Ｓ４：ＹＥＳ）、音量判定部２５にて判定期間の音量の平均値を算出し（ステップＳ５）、閾値記憶部２６から判定のための閾値を読み出し、算出した音量の平均値と閾値とを比較して、音声データの音量の判定を行う（ステップＳ６）。
【００７３】
次いで、前判定期間に相当するデータが出力中であるか否か、即ち前判定期間に相当する映像データ及び字幕データがディスプレイ２７に表示され、前判定期間に相当する音声データがスピーカ２８から出力されているか否かを調べる（ステップＳ７）。前判定期間のデータが出力中である場合（Ｓ７：ＹＥＳ）、出力が終了するまで待機する。前判定期間のデータが出力中でない場合、即ち前判定期間のデータの出力が終了した場合（Ｓ７：ＮＯ）、ステップＳ６での判定結果から、音声データの音量の平均値が閾値より小さいか否かを調べる（ステップＳ８）。
【００７４】
音声データの音量の平均値が閾値より小さい場合（Ｓ８：ＹＥＳ）、映像に字幕を合成して出力する、即ち、映像バッファ１５に蓄えられた現判定期間分のデジタルの映像データをアナログの映像信号に変換し、対応する字幕データを字幕バッファ１４から取得して合成部１９にて映像信号に合成し、ディスプレイ２７への出力すると共に、音声バッファ１６に蓄えられた現判定期間分のデジタルの音声データをアナログの音声信号に変換し、スピーカ２８への出力する（ステップＳ９）。音声データの音量の平均値が閾値より大きい場合は（Ｓ８：ＮＯ）、映像信号に字幕の合成は行わずにデータを出力する（ステップＳ１０）。
【００７５】
ステップＳ９又はステップＳ１０にてデータを出力した後、現判定期間の全てのデータに関して処理を終了したか否かを調べ（ステップＳ１１）、全てのデータの処理が終了していない場合（Ｓ１１：ＮＯ）、ステップＳ８へ戻り、データの出力を継続する。全てのデータの処理が終了した場合（Ｓ１１：ＹＥＳ）、処理を終了する。ただし、以上の処理は一判定期間のデータに関してのみの処理であり、実際には制御部１は再生を行う全てのデータに関して同じ処理を行う。このとき、各データに対する処理はパイプライン的に平行して順次処理を行うようにしてある。
【００７６】
以上の手順により、図２に示すように音声データの音量に応じて映像に字幕を合成してディスプレイ２７に出力することができる。また、本実施形態のＤＶＤプレーヤは、音声データの音量の平均値と比較する閾値を使用状況に応じて変更することができる。閾値の変更は、ユーザが操作部３１の閾値設定ボタン３２を操作して閾値設定画面をディスプレイ２７に表示し、閾値設定画面にて閾値の変更を行った場合、又はユーザが操作部３１の音量設定ボタン３３を操作して音量を増減した場合に行われる。
【００７７】
図４は、本発明の実施の形態１に係るＤＶＤプレーヤの制御部１が閾値変更処理を行う場合の処理手順を示すフローチャートである。まず、制御部１は操作部３１の閾値設定ボタン３２が押下されたか否かを調べる（ステップＳ２１）。閾値設定ボタン３２が押下された場合（Ｓ２１：ＹＥＳ）、ディスプレイ２７に閾値設定画面の表示を行う（ステップＳ２２）。
【００７８】
図５は、閾値設定画面の表示例である。例えば、閾値設定画面には２つの子ウインドウ１２１、１２２が上下に並べて表示され、上側の子ウインドウ１２１にＤＶＤ１００から数十秒〜数分程度分の映像を抽出して繰り返し表示し、下側の子ウインドウ１２２には抽出された映像に対応する音声データの音量が、横軸を時間とし、縦軸を音量としてグラフ化されて表示される。また、子ウインドウ１２２には音量のグラフと共に、音量判定の閾値を示す破線が縦軸と直交して表示されており、ユーザは操作部３１に設けられたカーソルキー（図示せず）を操作して破線を上下に移動させることで閾値を変更することができ、変更後に操作部３１に設けられた決定キー（図示せず）を押下することで設定を終了し、変更した閾値を反映させることができる。
【００７９】
ステップＳ２２にて閾値設定画面を表示した後、ユーザにより操作部３１の決定キーが押下されて閾値の設定が終了したか否かを調べる（ステップＳ２３）。閾値の設定が終了していない場合には（Ｓ２３：ＮＯ）、ステップＳ２２へ戻り、閾値設定画面を表示して設定が終了するまで待機する。閾値の設定が終了した場合には（Ｓ２３：ＹＥＳ）、設定された閾値を取得する（ステップＳ２４）。
【００８０】
ステップＳ２１にて、閾値設定ボタン３２が押下されていない場合（Ｓ２１：ＮＯ）、操作部３１の音量設定ボタン３３により音量の設定が変更されたか否かを調べる（ステップＳ２５）。音量の設定が変更されていない場合（Ｓ２５：ＮＯ）、ステップＳ２１へ戻り、閾値設定ボタン３２が押下されるか、又は音量の設定が変更されるまで待機する。
【００８１】
音量の設定が変更された場合（Ｓ２５：ＹＥＳ）、音量が増加されたか否かを調べる（ステップＳ２６）。音量が増加された場合には（Ｓ２６：ＹＥＳ）、閾値を減少させ（ステップＳ２７）、音量が増加されていない場合、即ち音量が減少された場合には（Ｓ２６：ＮＯ）、閾値を増大させる（ステップＳ２８）。
【００８２】
図６は、音量の設定の増減と閾値の増減との関係を示すグラフである。図６に示すように音量設定と閾値とは略反比例の関係で増減するようにしてあり、音量設定が増加した場合には閾値を減少し、音量設定が減少した場合には閾値を増大させるようにしてある。これにより、スピーカ２８から出力される実際の音量が大きい場合には、ユーザが台詞を聞き取れる可能性が高いため字幕を表示せず、実際の音量が小さい場合には、台詞を聞き逃す可能性が高いため確実に字幕を表示することができる。
【００８３】
ステップＳ２４にてユーザが設定した閾値を取得した後、ステップＳ２７にて閾値を減少させた後、又はステップＳ２８にて閾値を増大させた後、制御部１は閾値記憶部２６に新たな閾値を記憶し（ステップＳ２９）、処理を終了する。これにより、音量判定部２５が音量の判定を行う場合に、新たな閾値を閾値記憶部２６から読み出して判定を行うことができる。
【００８４】
以上の構成のＤＶＤプレーヤにおいては、音声データを所定の判定期間毎に平均化して閾値と比較することで音量の大小を判定し、判定の結果音量が小さい場合には対応する映像に字幕を合成してディスプレイ２７にて表示する構成としたため、ユーザが聞き取れない可能性が高い台詞を字幕表示することができ、ＤＶＤプレーヤの利便性を向上できる。また、音量判定のための閾値をユーザが変更することができるため、ユーザが視聴環境などを考慮して判定基準を設定することができる。また、スピーカ２８から出力される実際の音量の設定に応じて閾値を変更する構成とすることにより、ユーザが台詞を聞き逃しやすい場合により確実に字幕表示を行うことができる。
【００８５】
なお、本実施の形態においては、音声データの音量の判定をＤＶＤ１００の再生時に行う構成を示したが、これに限るものではなく、例えばＤＶＤ１００がＤＶＤドライブ２に装着された場合に予め音声データの音量の判定を全て行って判定結果をメモリなどに記憶しておき、ＤＶＤ１００の再生時に記憶しておいた判定結果を参照して字幕の合成を行う構成としてもよい。また、ユーザが判定の閾値を変更する機能、及びユーザの音量設定の変更に応じて閾値を変更する機能の両機能を有する構成を示したが、これに限るものではなく、いずれか一方のみの機能を有する構成としてもよく、閾値を変更しない構成であってもよい。また、音量の判定を予め定められた判定期間毎に行う構成としたが、これに限るものではなく、例えばユーザが任意に指定する判定期間毎に行う構成としてもよい。また、音量の判定を全ての判定期間について行う構成を示したが、これに限るものではなく、判定期間内の音声データ中に登場人物の台詞がない場合、即ち、対応する字幕データが存在しない場合には、その判定期間については音量の判定を行わない構成としてもよい。
【００８６】
また、本実施の形態においては再生装置としてＤＶＤプレーヤを例に説明を行ったが、これに限るものではなく、例えばハードディスク、ブルーレイディスク又はＨＤ−ＤＶＤ等の記録媒体を再生する装置であってもよく、字幕データを含むデジタル又はアナログのテレビ番組を有線又は無線にて受信し、これを再生する装置であってもよい。また、ＤＶＤプレーヤにディスプレイ２７及びスピーカ２８を一体的に備える構成を示したが、これに限るものではなく、外部のディスプレイ及び外部のスピーカに映像及び音声を出力する構成であってもよい。
【００８７】
（変形例１）
変形例１においては、音声データの音量の判定を行う判定期間として、予め定められた所定の判定期間を用いるのではなく、再生するＤＶＤ１００に記録されたデータに応じて判定期間を決定し、決定した判定期間毎に判定を行う構成を示す。図７は、本発明の実施の形態１の変形例に係るＤＶＤプレーヤの制御部１が行う判定期間決定処理の処理手順を示すフローチャートである。
【００８８】
制御部１は、ＤＶＤドライブ２のピックアップ３及びモータ４等、並びに復調部５により、ＤＶＤ１００からデジタルデータの読み出しを行う（ステップＳ４１）。次いで、読み出したデータを分離部１１にて映像データ、音声データ及び字幕データに分離し（ステップＳ４２）、分離した映像データ及び音声データを映像デコーダ１２及び音声デコーダ１３にてデコードして、映像バッファ１５及び音声バッファ１６に蓄える。
【００８９】
次いで、ＤＶＤ１００に記録された全データに関してデータの分離処理が終了したか否かを調べ（ステップＳ４３）、終了していない場合には（Ｓ４３：ＮＯ）、ステップＳ４１へ戻り、データの読み出し及び分離を継続して行う。全データに関してデータの分離処理が終了した場合（Ｓ４３：ＹＥＳ）、字幕バッファ１４に蓄えられた字幕データを取得して（ステップＳ４４）、各字幕の表示時間を調べ、表示時間の平均時間を算出し（ステップＳ４５）、処理を終了する。
【００９０】
図８は、字幕バッファ１４に蓄えられた字幕データの構成例を示す模式図である。字幕データは、映像に合成されて表示される文字列、字幕の表示を開始する時刻、及び表示開始時刻から字幕の表示を続ける表示時間等の情報を有しており、字幕バッファ１４には、表示開始時刻順に字幕データが蓄えられる。例えば、図８の例では、字幕文字列Ａは再生時刻が１時間１５分４１．２８秒の映像から３．１１秒間合成されて表示され、字幕文字列Ｂは１時間１６分１２．０５秒の映像から４．４９秒間合成されて表示される。よって、制御部１は、字幕バッファ１４に蓄えられた全字幕データの表示時間を合計し、平均値を算出することができる。
【００９１】
以上の処理により、各字幕データから字幕の表示時間の平均時間を算出でき、この平均時間を判定時間として音声データの音量の判定を行うことができる。なお、図７に示すフローチャートにおいては、予め全てのデータをＤＶＤ１００から読み出して分離し、その後に表示時間の平均値を算出する構成を示したが、これに限るものではなく、字幕バッファ１４の記憶容量がＤＶＤ１００に記録された全字幕データの合計容量より小さい場合には、字幕バッファ１４に一定量の字幕データが蓄えられる毎に部分的な平均値又は合計値を算出し、全字幕データを読み出した後で部分的な平均値又は合計値から全体の平均値を算出してもよい。また、全字幕データの表示時間の平均値を算出する構成を示したが、これに限るものではなく、例えば開始から再生時刻が１５分までの字幕データのみの表示時間の平均値など、部分的に抽出した字幕データの表示時間の平均値を算出して、これを判定期間とする構成であってもよい。
【００９２】
（変形例２）
変形例２においては、音声データの音量の判定を固定時間長の判定期間に行うのではなく、字幕データの長さに応じて判定期間を変更する構成を示す。図９は、本発明の実施の形態１の変形例２に係るＤＶＤプレーヤの音量判定と映像データ、音声データ及び字幕データの出力との処理タイミングの一例を示すタイミングチャートである。本例では、音声データＳ３及びＳ５の期間には登場人物が台詞を発することがなく、無音であるか、又はＢＧＭ及び効果音等のみが音声データに含まれる。
【００９３】
音声データ中に登場人物の台詞が含まれない場合、対応する字幕データが存在しないため、音量の判定を行う必要がない。そこで、予め字幕データから字幕の表示開始時刻及び表示終了時刻を取得しておき、開始時刻から終了時刻の間の期間のみに音量の判定を行う。例えば、ＤＶＤドライブ２にＤＶＤ１００が装着された場合に、ＤＶＤ１００に記録された全字幕データを順次読み出して、各字幕データの表示開始時刻及び表示終了時刻を調べ、判定を行う時刻の一覧を作成し、図示しないメモリに記憶しておく。即ち、図７に示す変形例１のフローチャートにおいて、ステップＳ４５にて行う平均時間の算出処理に代えて、取得した字幕データから判定を行う時刻の一覧を作成する処理を行う。
【００９４】
図１０は、判定を行う時刻の一覧として字幕データから作成される判定期間テーブルの一例を示す模式図である。判定期間テーブルは、判定の開始時刻及び終了時刻と、この期間に対応する字幕データとに関する情報を有している。判定の開始時刻は字幕データに含まれる字幕の表示開始時刻から得ることができ、判定の終了時刻は字幕の開始時刻に字幕の表示時間を加えて算出することができる。ＤＶＤ１００の再生時には、メモリに記憶した判定期間テーブルを読み出し、判定期間テーブルに含まれる判定期間にのみ音声データの音量判定を行う。
【００９５】
以上の構成により、各字幕データの字幕に対応する台詞の音量の大小をより確実に判定することができる。なお、本変形例においては、判定期間テーブルに判定の開始時刻及び終了時刻を含む構成を示したが、これに限るものではなく、例えば、判定の開始時刻及び開始時刻から判定を行なう時間を含む構成であってもよい。また、開始時刻及び終了時刻に対応する字幕データに関する情報は含まれていなくてもよい。
【００９６】
（変形例３）
図１１は、本発明の実施の形態１の変形例３に係るＤＶＤプレーヤの構成を示すブロック図である。図１１に示すＤＶＤプレーヤは、図１に示すＤＶＤプレーヤとほぼ同じ構成であるが、抽出部４１を備えている点が異なる。
【００９７】
音声バッファ１６に蓄えられた音声データはＤ／Ａ変換部１８へ与えられると共に、予め定められた判定期間分の音声データが蓄えられた場合に、この期間分の音声データが抽出部４１へ与えられる。抽出部４１は、与えられた音声データから人の声に相当する音声を抽出して音量判定部２５へ与える。人が日本語を発する場合、声の周波数は１２５Ｈｚ〜１５００Ｈｚ程度であり、音声データからこの周波数帯域に収まる音声のみを抽出することで、人の声に相当する音声の抽出を行うことができる。音声データからの特定周波数帯のデータの抽出は、例えば、音声データをフーリエ変換して周波数分布を取得し、取得した周波数スペクトルから特定周波数帯以外の周波数を有するデータをカットすることで行うことができる。
【００９８】
以上の構成により、音声データの人の声のみを音量判定の対象とすることができるため、ユーザが登場人物の台詞を聞き取れるか否かをより正確に判定することができる。なお、人の声の抽出方法は、上記の方法に限定するものではなく、他の方法であってもよい。
【００９９】
（実施の形態２）
図１２は、本発明の実施の形態２に係るＤＶＤプレーヤの構成を示すブロック図である。実施の形態２に係るＤＶＤプレーヤは、図１に示す実施の形態１に係るＤＶＤプレーヤに外部音量判定部５１、集音部５２、外部音量閾値記憶部５３及び外部音量閾値設定ボタン５４を追加した構成であり、外部の騒音及び雑音等の音量を判定して、判定結果に応じて字幕の表示を行うことができる。
【０１００】
集音部５２は、例えばマイクなどを備えてＤＶＤプレーヤの外部の騒音及び雑音等の音を取得し、取得した音を外部音量判定部５１へ与える。また、外部音量閾値記憶部５３には取得した外部の騒音及び雑音等が大きいか否かを判定するための外部音量閾値が記憶されている。外部音量判定部５１は、外部音量閾値記憶部５３に記憶された外部音量閾値を読み出し、集音部５２から与えられた外部の音と外部音量閾値とを比較して外部の音の音量が大きいか否かを判定し、判定結果を制御部１へ与える。制御部１は、与えられた判定結果から、外部の音の音量が大きい場合には、合成部１９にて映像に字幕を合成してディスプレイ２７に出力する。
【０１０１】
また、ユーザは操作部３１に設けられた外部音量閾値設定ボタン５４を押下することにより、ディスプレイ２７に外部音量閾値設定画面を表示することができ、この画面の表示中に操作部３１に設けられたカーソルキー及び決定キー等を操作することで、外部の音の音量の大小を判定する判定基準をなす外部音量閾値を変更することができる。
【０１０２】
図１３は、本発明の実施の形態２に係るＤＶＤプレーヤの音量判定及び外部音量判定と映像データ、音声データ及び字幕データの出力との処理タイミングの一例を示すタイミングチャートである。図１３においては、横軸を時間軸として上から音声データの音量判定のタイミング、映像データの出力タイミング、音声データの出力タイミング、字幕データの出力タイミング、外部の音の音量の判定結果を図示してある。また、各データは所定の判定期間毎に区切って図示してあり、音声データの音量の判定はこの判定期間毎の平均音量に対して行われる。外部の音の音量の判定は常時行う。
【０１０３】
ＤＶＤ１００から読み出された映像データＶｉ、音声データＳｉ及び字幕データＴｉは、それぞれ映像バッファ１５、音声バッファ１６及び字幕バッファ１４に蓄えられる。判定期間分の音声データＳｉが蓄えられた後、音量判定部２５にて判定期間内の音声データＳｉの平均音量を算出し、閾値記憶部２６に記憶された閾値との比較を行う。音量判定部２５は、判定期間毎に判定を繰り返し行う。映像バッファ１５に蓄えられた映像データＶｉの出力処理及び音声バッファ１６に蓄えられた音声データＳｉの出力処理及び字幕バッファ１４に蓄えられた字幕データＴｉの出力処理は、対応する音声データＳｉの音量判定が終了した後に行われる。このため、映像データＶｉ、音声データＳｉ及び字幕データＴｉの出力処理は、ＤＶＤ１００からデータが読み出された後、約判定期間分遅れて出力される。
【０１０４】
また、字幕データＴｉは、対応する音声データＳｉの音量が閾値より音量が小さい場合に、且つ、ＤＶＤプレーヤの外部の騒音及び雑音等の音量が外部音量閾値より大きい場合に、対応する映像データＶｉに合成部１９にて合成され、ディスプレイ２７に出力される。
【０１０５】
例えば、図１３においては、２番目、４番目及び５番目の判定期間の音声データＳ２、Ｓ４及びＳ５の音量が閾値より小さい。また、音声データＳ２及びＳ３の出力期間、並びに音声データＳ５及びＳ６の出力期間に外部の雑音及び騒音等の音量が外部音量閾値より大きい期間がある。このため、音声データＳ２の出力期間中の外部の雑音及び騒音等の音量が大きい期間にのみ字幕データＴ２が出力され、音声データＳ５の出力期間中の外部の雑音及び騒音等の音量が大きい期間にのみ字幕データＴ５が出力される。音声データＳ４の出力期間中には外部の雑音及び騒音等の音量が小さいため、字幕データＴ４は出力されない。
【０１０６】
図１４及び図１５は、本発明の実施の形態２に係るＤＶＤプレーヤの制御部１がＤＶＤ１００の再生を行う場合の処理手順を示すフローチャートである。なお、図１４においては、一つの判定期間のデータに対して行われる処理のフローを図示するが、実際にはこのフローが全ての判定期間のデータに対してパイプライン的に平行して行われる。
【０１０７】
制御部１は、ＤＶＤドライブ２のピックアップ３及びモータ４等、並びに復調部５により、ＤＶＤ１００からデジタルデータの読み出しを行う（ステップＳ５１）。次いで、読み出したデータを分離部１１にて映像データ、音声データ及び字幕データに分離し（ステップＳ５２）、分離した映像データ及び音声データを映像デコーダ１２及び音声デコーダ１３にてデコードして、映像バッファ１５及び音声バッファ１６に蓄える（ステップＳ５３）。なお、字幕データは分離部１１で分離した後、字幕バッファ１４に蓄える。
【０１０８】
次いで、音声バッファ１６に予め定められた判定期間分の音声データが蓄積されたか否かを調べる（ステップＳ５４）。判定期間分の音声データが蓄積されていない場合には（Ｓ５４：ＮＯ）、ステップＳ５１へ戻り、ＤＶＤ１００からデータの読み出しを行う。判定期間分の音声データが蓄積された場合には（Ｓ５４：ＹＥＳ）、音量判定部２５にて判定期間の音量の平均値を算出し（ステップＳ５５）、閾値記憶部２６から判定のための閾値を読み出し、算出した音量の平均値と閾値とを比較して、音声データの音量の判定を行う（ステップＳ５６）。
【０１０９】
次いで、前判定期間に相当するデータが出力中であるか否か、即ち前判定期間に相当する映像データ及び字幕データがディスプレイ２７に表示され、前判定期間に相当する音声データがスピーカ２８から出力されているか否かを調べる（ステップＳ５７）。前判定期間のデータが出力中である場合（Ｓ５７：ＹＥＳ）、再生が終了するまで待機する。前判定期間のデータが出力中でない場合、即ち前判定期間のデータの出力が終了した場合（Ｓ５７：ＮＯ）、ステップＳ５６での判定結果から、音声データの音量の平均値が閾値より小さいか否かを調べる（ステップＳ５８）。
【０１１０】
音声データの音量の平均値が閾値より小さい場合（Ｓ５８：ＹＥＳ）、外部音量閾値記憶部５３から外部音量閾値を読み出し、集音部５２にて集音された外部の騒音及び雑音等の音量との比較を行って、外部の音の音量が大きいか否かを調べる（ステップＳ５９）。外部の音の音量が大きい場合（Ｓ５９：ＹＥＳ）、映像バッファ１５に蓄えられた現判定期間分のデジタルの映像データをアナログの映像信号に変換し、対応する字幕データを字幕バッファ１４から取得して合成部１９にて映像信号に合成し、ディスプレイ２７への出力すると共に、音声バッファ１６に蓄えられた現判定期間分のデジタルの音声データをアナログの音声信号に変換し、スピーカ２８への出力する（ステップＳ６０）。外部の音の音量が大きくない場合（Ｓ５９：ＮＯ）、合成部１９にて字幕を合成せずに、映像データ及び音声データの出力を行う（ステップＳ６１）。ステップＳ６０又はＳ６１にて映像データ及び音声データの出力処理を行った後、現判定期間分のデータの出力が終了したか否かを調べ（ステップＳ６２）、終了していなければ（Ｓ６２：ＮＯ）、ステップＳ５９へ戻り、映像データ及び音声データの出力処理を継続する。
【０１１１】
ステップＳ５８にて、音声データの音量の平均値が閾値より小さくない場合（Ｓ５８：ＮＯ）、合成部１９にて字幕を合成せずに、映像データ及び音声データの出力を行う（ステップＳ６３）。次いで、現判定期間分のデータの出力が終了したか否かを調べ（ステップＳ６４）、終了していなければ（Ｓ６４：ＮＯ）、ステップＳ６３へ戻り、映像データ及び音声データの出力処理を継続する。
【０１１２】
ステップＳ６２又はＳ６４にて、現判定期間分のデータの出力が終了した場合には（Ｓ６２：ＹＥＳ、Ｓ６４：ＹＥＳ）、制御部１は処理を終了する。ただし、以上の処理は一判定期間のデータに関してのみの処理であり、実際には制御部１は再生を行う全てのデータに関して同じ処理を行う。このとき、各データに対する処理はパイプライン的に平行して順次処理を行うようにしてある。
【０１１３】
また、本実施形態２に係るＤＶＤプレーヤは、外部の騒音及び雑音等の音量と比較して判定するための外部音量閾値を、ユーザが使用状況に応じて変更することができる。外部音量閾値の変更は、ユーザが操作部３１の外部音量閾値設定ボタン５４を操作して外部音量閾値設定画面をディスプレイ２７に表示し、外部音量閾値設定画面にて外部音量閾値の変更を行った場合、又はユーザが操作部３１の音量設定ボタン３３を操作して音量を増減した場合に行われる。
【０１１４】
図１６は、本発明の実施の形態２に係るＤＶＤプレーヤの制御部１が外部音量閾値変更処理を行う場合の処理手順を示すフローチャートである。まず、制御部１は操作部３１の外部音量閾値設定ボタン５４が押下されたか否かを調べる（ステップＳ７１）。外部音量閾値設定ボタン５４が押下された場合（Ｓ７１：ＹＥＳ）、ディスプレイ２７に外部音量閾値設定画面の表示を行う（ステップＳ７２）。外部音量閾値設定画面を表示した後、ユーザにより操作部３１の決定キーが押下されて外部音量閾値の設定が終了したか否かを調べる（ステップＳ７３）。外部音量閾値の設定が終了していない場合には（Ｓ７３：ＮＯ）、ステップＳ７２へ戻り、外部音量閾値設定画面を表示して設定が終了するまで待機する。外部音量閾値の設定が終了した場合には（Ｓ７３：ＹＥＳ）、設定された外部音量閾値を取得する（ステップＳ７４）。
【０１１５】
ステップＳ７１にて、外部音量閾値設定ボタン５４が押下されていない場合（Ｓ７１：ＮＯ）、操作部３１の音量設定ボタン３３により音量の設定が変更されたか否かを調べる（ステップＳ７５）。音量の設定が変更されていない場合（Ｓ７５：ＮＯ）、ステップＳ７１へ戻り、外部音量閾値設定ボタン５４が押下されるか、又は音量の設定が変更されるまで待機する。
【０１１６】
音量の設定が変更された場合（Ｓ７５：ＹＥＳ）、音量が増加されたか否かを調べる（ステップＳ７６）。音量が増加された場合には（Ｓ７６：ＹＥＳ）、外部音量閾値を増大させ（ステップＳ７７）、音量が増加されていない場合、即ち音量が減少された場合には（Ｓ７６：ＮＯ）、外部音量閾値を減少させる（ステップＳ７８）。
【０１１７】
ステップＳ７４にてユーザが設定した外部音量閾値を取得した後、ステップＳ７７にて外部音量閾値を増大させた後、又はステップＳ７８にて外部音量閾値を減少させた後、制御部１は外部音量閾値記憶部５３に新たな外部音量閾値を記憶し（ステップＳ７９）、処理を終了する。これにより、音量判定部２５が外部の騒音及び雑音等の音量の判定を行う場合に、新たな外部音量閾値を外部音量閾値記憶部５３から読み出して判定を行うことができる。
【０１１８】
以上の構成のＤＶＤプレーヤにおいては、装置外部の騒音及び雑音等の音量が大きい場合に自動的に字幕を表示することができるため、ユーザが視聴環境の悪化により登場人物の台詞が聞き取れなくなる虞をなくすことができる。また、判定のための外部音量閾値をユーザが変更することができるため、ユーザの聞き取り能力などを考慮して判定基準を設定することができる。また、スピーカ２８から出力される実際の音量の設定に応じて外部音量閾値を変更する構成とすることにより、ユーザが台詞を聞き逃しやすい場合により確実に字幕表示を行うことができる。
【０１１９】
なお、本実施の形態においては、音声データの音量が小さい場合、且つ、外部の騒音及び雑音等の音量が大きい場合の２つの条件が成立した場合に映像に字幕を合成して出力する構成を示したが、これに限るものではなく、いずれか一方の条件が成立した場合に字幕を出力する構成としてもよい。また、ユーザが外部音量閾値を変更する機能、及びユーザの音量設定の変更に応じて外部音量閾値を変更する機能の両機能を有する構成を示したが、これに限るものではなく、いずれか一方のみの機能を有する構成としてもよく、外部音量閾値を変更しない構成であってもよい。
【０１２０】
なお、実施の形態２に係るＤＶＤプレーヤのその他の構成は、実施の形態１に係るＤＶＤプレーヤの構成と同様であるため、対応する箇所には同じ符号を付して詳細な説明を省略する。
【図面の簡単な説明】
【０１２１】
【図１】本発明の実施の形態１に係るＤＶＤプレーヤの構成を示すブロック図である。
【図２】本発明の実施の形態１に係るＤＶＤプレーヤの音量判定と映像データ、音声データ及び字幕データの出力との処理タイミングの一例を示すタイミングチャートである。
【図３】本発明の実施の形態１に係るＤＶＤプレーヤの制御部がＤＶＤの再生を行う場合の処理手順を示すフローチャートである。
【図４】本発明の実施の形態１に係るＤＶＤプレーヤの制御部が閾値変更処理を行う場合の処理手順を示すフローチャートである。
【図５】閾値設定画面の表示例である。
【図６】音量の設定の増減と閾値の増減との関係を示すグラフである。
【図７】本発明の実施の形態１の変形例に係るＤＶＤプレーヤの制御部が行う判定期間決定処理の処理手順を示すフローチャートである。
【図８】字幕バッファに蓄えられた字幕データの構成例を示す模式図である。
【図９】本発明の実施の形態１の変形例２に係るＤＶＤプレーヤの音量判定と映像データ、音声データ及び字幕データの出力との処理タイミングの一例を示すタイミングチャートである。
【図１０】判定を行う時刻の一覧として字幕データから作成される判定期間テーブルの一例を示す模式図である。
【図１１】本発明の実施の形態１の変形例３に係るＤＶＤプレーヤの構成を示すブロック図である。
【図１２】本発明の実施の形態２に係るＤＶＤプレーヤの構成を示すブロック図である。
【図１３】本発明の実施の形態２に係るＤＶＤプレーヤの音量判定及び外部音量判定と映像データ、音声データ及び字幕データの出力との処理タイミングの一例を示すタイミングチャートである。
【図１４】本発明の実施の形態２に係るＤＶＤプレーヤの制御部がＤＶＤの再生を行う場合の処理手順を示すフローチャートである。
【図１５】本発明の実施の形態２に係るＤＶＤプレーヤの制御部がＤＶＤの再生を行う場合の処理手順を示すフローチャートである。
【図１６】本発明の実施の形態２に係るＤＶＤプレーヤの制御部が外部音量閾値変更処理を行う場合の処理手順を示すフローチャートである。
【符号の説明】
【０１２２】
１  制御部
２  ＤＶＤドライブ
１０  再生部
１１  分離部
１２  映像デコーダ（映像出力処理手段）
１３  音声デコーダ（音声出力処理手段）
１４  字幕バッファ
１５  映像バッファ
１６  音声バッファ
１７  Ｄ／Ａ変換部（映像出力処理手段）
１８  Ｄ／Ａ変換部（音声出力処理手段）
１９  合成部（合成手段）
２５  音量判定部（判定手段）
２６  閾値記憶部
２７  ディスプレイ
２８  スピーカ
３１  操作部
３２  閾値設定ボタン
３３  音量設定ボタン（出力音量受付手段）
４１  抽出部（抽出手段）
５１  外部音量判定部（外部音量判定手段）
５２  集音部
５３  外部音量閾値記憶部
５４  外部音量閾値設定ボタン
【図１】
2007129663.tif 000003
【図２】
2007129663.tif 000004
【図３】
2007129663.tif 000005
【図４】
2007129663.tif 000006
【図５】
2007129663.tif 000007
【図６】
2007129663.tif 000008
【図７】
2007129663.tif 000009
【図８】
2007129663.tif 000010
【図９】
2007129663.tif 000011
【図１０】
2007129663.tif 000012
【図１１】
2007129663.tif 000013
【図１２】
2007129663.tif 000014
【図１３】
2007129663.tif 000015
【図１４】
2007129663.tif 000016
【図１５】
2007129663.tif 000017
【図１６】
2007129663.tif 000018