(57)【要約】【課題】映像音声コンテンツを早送り再生する場合であっても、映像音声コンテンツに正しく対応付けて字幕を表示することが可能な字幕表示装置を提供する。【解決手段】字幕表示装置１は、字幕の時間区間を示す表示開始時刻と表示終了時刻とを、再生倍率に対応した時間幅を有する表示開始区間と表示終了区間とにそれぞれ拡張する時間拡張手段１５ａと、映像フレームの表示時刻を示す表示タイムスタンプが、表示開始区間または表示終了区間に含まれるか否かを判定する区間判定手段１５ｂと、表示タイムスタンプが表示開始区間に含まれると判定された場合に、字幕の表示をオンにし、表示タイムスタンプが表示終了区間に含まれると判定された場合に、字幕の表示をオフに制御する字幕切替手段１５ｃと、を備えることを特徴とする。【選択図】図１
2013219639.tif 000002
【特許請求の範囲】
【請求項１】
映像音声コンテンツに字幕を同期させて表示する字幕表示装置において、
前記映像音声コンテンツと、当該映像音声コンテンツの字幕ごとの字幕文字および当該字幕の時間区間を特定する時間情報を含んだ字幕文字データとを記憶する記憶手段と、
指定された映像音声コンテンツを前記記憶手段から読み出して、指定された再生倍率で再生する映像音声再生手段と、
前記指定された映像音声コンテンツに対応する字幕を前記記憶手段から読み出して表示する字幕再生手段と、
前記字幕の時間区間の始端を示す表示開始時刻を、当該時刻を含み前記再生倍率に対応した時間幅を有する表示開始区間に拡張するとともに、前記字幕の時間区間の終端を示す表示終了時刻を、当該時刻を含み前記時間幅を有する表示終了区間に拡張する時間拡張手段と、
前記映像音声コンテンツが再生されて表示される映像フレームの表示時刻を示す表示タイムスタンプが、前記時間拡張手段で拡張された表示開始区間または表示終了区間に含まれるか否かを判定する区間判定手段と、
この区間判定手段で前記表示タイムスタンプが前記表示開始区間に含まれると判定された場合に、前記字幕再生手段における字幕の表示をオンにし、前記表示タイムスタンプが前記表示終了区間に含まれると判定された場合に、前記字幕再生手段における字幕の表示をオフに制御する字幕切替手段と、
を備えることを特徴とする字幕表示装置。
【請求項２】
前記時間拡張手段は、前記時間幅を、前記再生倍率に映像フレームの時間長を乗算した時間長とすることを特徴とする請求項１に記載の字幕表示装置。
【請求項３】
前記時間拡張手段は、前記表示開始区間の始端を、前記表示開始時刻に設定し、前記表示開始区間の終端を、前記時間幅分の時間長を前記表示開始時刻に加算した時刻に設定することを特徴とする請求項１または請求項２に記載の字幕表示装置。
【請求項４】
前記時間拡張手段は、前記表示終了区間の始端を、前記表示終了時刻から前記時間幅分の時間長を減算した時刻に設定し、前記表示終了区間の終端を、前記表示終了時刻に設定することを特徴とする請求項１から請求項３のいずれか一項に記載の字幕表示装置。
【請求項５】
映像音声コンテンツと、当該映像音声コンテンツに対応した字幕ごとの字幕文字および当該字幕の時間区間を特定する時間情報を含んだ字幕文字データとを記憶する記憶手段を備えた字幕表示装置において、前記映像音声コンテンツおよび字幕を再生するために、コンピュータを、
指定された映像音声コンテンツを前記記憶手段から読み出して、指定された再生倍率で再生する映像音声再生手段、
前記指定された映像音声コンテンツに対応する字幕を前記記憶手段から読み出して表示する字幕再生手段、
前記字幕の時間区間の始端を示す表示開始時刻を、当該時刻を含み前記再生倍率に対応した時間幅を有する表示開始区間に拡張するとともに、前記字幕の時間区間の終端を示す表示終了時刻を、当該時刻を含み前記時間幅を有する表示終了区間に拡張する時間拡張手段、
前記映像音声コンテンツが再生されて表示される映像フレームの表示時刻を示す表示タイムスタンプが、前記時間拡張手段で拡張された表示開始区間または表示終了区間に含まれるか否かを判定する区間判定手段、
この区間判定手段で前記表示タイムスタンプが前記表示開始区間に含まれると判定された場合に、前記字幕再生手段における字幕の表示をオンにし、前記表示タイムスタンプが前記表示終了区間に含まれると判定された場合に、前記字幕再生手段における字幕の表示をオフに制御する字幕切替手段、
として機能させるための字幕表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像音声コンテンツに字幕を同期させて表示する字幕表示装置およびそのプログラムに関する。
【背景技術】
【０００２】
従来、デジタルテレビ放送では、映像音声コンテンツ（放送番組）の映像中に、受信機で表示／非表示を切り替えることが可能な字幕（クローズドキャプション）を多重化して伝送している。
この字幕は、放送事業者によって、映像音声コンテンツ内における表示タイミング（表示開始時刻等）、位置、大きさ等が指定されている。そこで、通常、受信機では、その指定された表示タイミング等でしか字幕を表示することができない。
【０００３】
この表示タイミングには、例えば、ＭＰＥＧ−２システムにおいては、映像や音声の再生単位であるアクセスユニット単位で再生すべき時刻を示すＰＴＳ（Presentation Time Stamp）が用いられる。また、字幕においても、映像や音声と同様に、字幕を表示するタイミングを示すＰＴＳが用いられる（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１２２１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来のように、ＰＴＳ等の表示タイミングで映像音声コンテンツと字幕とを対応付けた場合、標準再生（１倍速再生）においては、表示タイミングを、映像の１フレーム単位で正確に同期させることができる。
しかし、映像音声コンテンツを一旦蓄積した後に再生を行うタイムシフト再生において、映像音声コンテンツの再生速度を変えた場合、映像の表示タイミングと字幕の表示タイミングとにおいて、ずれが生じる場合があり、その結果、字幕の表示漏れや、字幕の消し残しが生じるという問題がある。
【０００６】
ここで、図５を参照して、従来の字幕表示装置における表示タイミングのずれの問題について具体的に説明する。
図５（ａ）では、標準再生時における字幕と映像音声コンテンツの映像フレームとの表示タイミングの関係を時系列に示している。
図５（ａ）に示すように、標準再生時には、字幕を表示（ＯＮ）するタイミングを示す字幕ＰＴＳ（表示開始時刻）と同一の映像ＰＴＳで示される映像フレーム（図５中ｐ）が必ず存在するため、字幕表示装置は、映像音声コンテンツを再生中に、この字幕ＰＴＳと映像ＰＴＳとが一致したタイミングで、字幕を表示する。
また、同様に、図５（ａ）に示すように、字幕を非表示（ＯＦＦ）にするタイミングを示す字幕ＰＴＳ（表示終了時刻）と同一の映像ＰＴＳで示される映像フレーム（図５中ｑ）も必ず存在するため、字幕表示装置は、映像音声コンテンツを再生中に、この字幕ＰＴＳと映像ＰＴＳとが一致したタイミングで、字幕を消去する。
【０００７】
次に、映像音声コンテンツを早送り再生（ここでは、３倍速再生）する場合を例に説明する。
図５（ｂ）に示すように、３倍速再生を行った場合、映像フレームは、３フレームごとに間引いて再生される。この図５（ｂ）において、字幕をＯＮにするタイミングを示す字幕ＰＴＳと同一の映像ＰＴＳで示される映像フレーム（図５中r）が存在した場合、字幕表示装置は、字幕ＰＴＳと映像ＰＴＳとが一致したタイミングで、字幕を表示する。しかし、字幕をＯＦＦにするタイミングを示す字幕ＰＴＳと同一の映像ＰＴＳで示される映像フレーム（図５中s）が間引きにより表示対象でなかった場合、字幕をＯＦＦにするタイミングを示す字幕ＰＴＳと映像ＰＴＳとが一致することがなく、字幕表示装置は、字幕を消去するタイミングを逸してしまう。
【０００８】
また、図５（ｃ）に示すように、３倍速再生を行った場合に、字幕をＯＮにするタイミングを示す字幕ＰＴＳと同一の映像ＰＴＳで示される映像フレーム（図５中ｔ）が表示対象でなかった場合、字幕をＯＮにするタイミングを示す字幕ＰＴＳと映像ＰＴＳとが一致することがなく、字幕表示装置は、字幕を表示するタイミングを逸してしまう。
このように、従来の字幕表示装置は、映像音声コンテンツの再生速度と、字幕の表示タイミングとによって、字幕の表示が正しく制御されないという問題がある。
【０００９】
本発明は、以上のような問題に鑑みてなされたものであり、映像音声コンテンツを早送り再生する場合であっても、映像音声コンテンツに正しく対応付けて字幕を表示することが可能な字幕表示装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【００１０】
本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載の字幕表示装置は、映像音声コンテンツに字幕を同期させて表示する字幕表示装置において、記憶手段と、映像音声再生手段と、字幕再生手段と、時間拡張手段と、区間判定手段と、字幕切替手段と、を備える構成とした。
【００１１】
かかる構成において、字幕表示装置は、記憶手段に、映像音声コンテンツと、当該映像音声コンテンツの字幕ごとの字幕文字および当該字幕の時間区間を特定する時間情報を含んだ字幕文字データとを記憶する。この映像音声コンテンツや字幕文字データは、予め記憶手段に記憶したものであってもよいし、放送波や通信回線を介して取得したものを逐次蓄積したものであってもよい。
【００１２】
また、字幕表示装置は、映像音声再生手段によって、指定された映像音声コンテンツを記憶手段から読み出して、指定された再生倍率で再生する。すなわち、映像音声再生手段は、指定された再生倍率が標準再生（１倍速再生）でなければ、映像の画速変換や、音声の話速変換を行う。
また、字幕表示装置は、字幕再生手段によって、指定された映像音声コンテンツに対応する字幕、すなわち、映像音声コンテンツの表示時刻に対応付けられている字幕を記憶手段から読み出して表示する。
【００１３】
さらに、字幕表示装置は、時間拡張手段によって、字幕の時間区間の始端を示す表示開始時刻を、当該時刻を含み再生倍率に応じた時間幅を有する表示開始区間に拡張する。すなわち、字幕表示装置は、時間拡張手段によって、字幕の時間区間の始端である１つの映像フレームに対応する時刻を、再生倍率に応じた複数の映像フレームに対応付けることが可能なように、再生倍率に応じた映像フレーム分の時間幅を有する時間区間（表示開始区間）とする。これによって、例えば、表示開始区間において、再生倍率に応じて映像フレームが間引かれた場合であっても、字幕の始端となる映像フレームを検出することができる。
同様に、字幕表示装置は、時間拡張手段によって、字幕の時間区間の終端を示す表示終了時刻を、当該時刻を含み再生倍率に応じた時間幅を有する表示終了区間に拡張する。これによって、例えば、表示終了区間において、再生倍率に応じて映像フレームが間引かれた場合であっても、字幕の終端となる映像フレームを検出することができる。
【００１４】
そして、字幕表示装置は、区間判定手段によって、映像音声コンテンツが再生されて表示される映像フレームの表示時刻を示す表示タイムスタンプが、時間拡張手段で拡張された表示開始区間または表示終了区間に含まれるか否かを判定する。
【００１５】
そして、字幕表示装置は、字幕切替手段によって、区間判定手段で表示タイムスタンプが表示開始区間に含まれると判定された場合に、字幕再生手段における字幕の表示をオンにする。また、字幕表示装置は、字幕切替手段によって、表示タイムスタンプが表示終了区間に含まれると判定された場合に、字幕再生手段における字幕の表示をオフにする。
【００１６】
これによって、字幕表示装置は、早送り再生で映像フレームが間引き再生され、字幕の表示開始時刻や表示終了時刻に対応する映像フレームが表示されない場合であっても、表示開始区間および表示終了区間において、それぞれ、表示される映像フレームが確実に検出され、表示されない映像フレームに替わって、字幕のオン／オフ制御が可能になる。
【００１７】
また、請求項２に記載の字幕表示装置は、請求項１に記載の字幕表示装置において、時間拡張手段が、表示開始時刻と表示終了時刻とを拡張する時間幅を、再生倍率に映像フレームの時間長を乗算した時間長とすることを特徴とする。
【００１８】
かかる構成において、字幕表示装置は、時間拡張手段が拡張する時間幅を、再生倍率に映像フレームの時間長を乗算した時間長とすることで、拡張した表示開始区間や表示終了区間に、再生倍率に応じて間引かれて表示されない映像フレームの時刻をも含ませるようにする。
【００１９】
また、請求項３に記載の字幕表示装置は、請求項１または請求項２に記載の字幕表示装置において、時間拡張手段が、表示開始区間の始端を、表示開始時刻に設定し、表示開始区間の終端を、再生倍率に対応した時間幅分の時間長を表示開始時刻に加算した時刻に設定することを特徴とする。
【００２０】
かかる構成において、字幕表示装置は、時間拡張手段によって、字幕の表示開始時刻を、当該時刻から、時間方向で再生倍率に対応した時間幅分だけ後方の時刻までの区間に拡張する。これによって、字幕表示装置は、区間判定手段によって、字幕の表示開始時刻以降の表示開始区間において、表示される映像フレームの表示タイムスタンプを検出することができる。
【００２１】
さらに、請求項４に記載の字幕表示装置は、請求項１から請求項３のいずれか一項に記載の字幕表示装置において、時間拡張手段が、表示終了区間の始端を、表示終了時刻から再生倍率に対応した時間幅分の時間長を減算した時刻に設定し、表示終了区間の終端を、表示終了時刻に設定することを特徴とする。
【００２２】
かかる構成において、字幕表示装置は、時間拡張手段によって、字幕の表示終了時刻を、当該時刻から時間方向に前方で、再生倍率に対応した時間幅分だけ遡った時刻までの区間に拡張する。これによって、字幕表示装置は、区間判定手段によって、字幕の表示終了時刻以前の表示終了区間において、表示される映像フレームの表示タイムスタンプを検出することができる。
【００２３】
また、請求項５に記載の字幕表示プログラムは、映像音声コンテンツと、当該映像音声コンテンツに対応した字幕ごとの字幕文字および当該字幕の時間区間を特定する時間情報を含んだ字幕文字データとを記憶する記憶手段を備えた字幕表示装置において、前記映像音声コンテンツおよび字幕を再生するために、コンピュータを、映像音声再生手段、字幕再生手段、時間拡張手段、区間判定手段、字幕切替手段、として機能させる構成とした。
【００２４】
かかる構成において、字幕表示プログラムは、映像音声再生手段によって、指定された映像音声コンテンツを記憶手段から読み出して、指定された再生倍率で再生する。
また、字幕表示プログラムは、字幕再生手段によって、指定された映像音声コンテンツに対応する字幕、すなわち、映像音声コンテンツの表示時刻に対応付けられている字幕を記憶手段から読み出して表示する。
【００２５】
さらに、字幕表示プログラムは、時間拡張手段によって、字幕の時間区間の始端を示す表示開始時刻を、当該時刻を含み再生倍率に対応した時間幅を有する表示開始区間に拡張するとともに、字幕の時間区間の終端を示す表示終了時刻を、当該時刻を含み時間幅を有する表示終了区間に拡張する。
【００２６】
そして、字幕表示プログラムは、区間判定手段によって、映像音声コンテンツが再生されて表示される映像フレームの表示時刻を示す表示タイムスタンプが、時間拡張手段で拡張された表示開始区間または表示終了区間に含まれるか否かを判定する。
【００２７】
そして、字幕表示プログラムは、字幕切替手段によって、区間判定手段で表示タイムスタンプが表示開始区間に含まれると判定された場合に、字幕再生手段における字幕の表示をオンにする。また、字幕表示プログラムは、字幕切替手段によって、表示タイムスタンプが表示終了区間に含まれると判定された場合に、字幕再生手段における字幕の表示をオフにする。
【発明の効果】
【００２８】
本発明は、以下に示す優れた効果を奏するものである。
請求項１，５に記載の発明によれば、映像音声コンテンツを早送り再生する際に、映像フレームが間引かれて再生される場合であっても、字幕の表示や消去（非表示）のタイミングに合わせた映像フレームを認識することができる。これによって、本発明の字幕表示装置は、字幕の表示漏れや、字幕の消し残しが生じることなく、映像音声コンテンツに正しく対応付けて字幕を表示することができる。
【００２９】
請求項２に記載の発明によれば、拡張した表示開始区間や表示終了区間のそれぞれには、再生倍率に応じて表示される映像フレームが確実に含まれることになるため、対応する字幕の表示漏れや、字幕の消し残しが生じることなく、映像音声コンテンツに正しく対応付けて字幕を表示することができる。
【００３０】
請求項３に記載の発明によれば、字幕の表示開始時刻以降の表示開始区間で、表示される映像フレームの表示タイミングを確実に検出して字幕を表示させることができるため、字幕の表示漏れの発生を防止することができる。
【００３１】
請求項４に記載の発明によれば、字幕の表示終了時刻以前の表示終了区間で、表示される映像フレームの表示タイミングを確実に検出して、それ以降の字幕を非表示にすることができるため、字幕の消し忘れの発生を防止することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態に係る字幕表示装置の構成を示すブロック構成図である。
【図２】図１の字幕表示制御手段において、字幕をＯＮ／ＯＦＦ制御する際の字幕と映像フレームとの表示タイミングの関係を示す模式図であって、（ａ）は標準再生時、（ｂ）は３倍速再生時で字幕ＯＦＦに対応する映像ＰＴＳがない場合、（ｃ）は３倍速再生時で字幕ＯＮに対応する映像ＰＴＳがない場合を示す。
【図３】図１の字幕再生手段の表示領域検出手段の構成を示すブロック構成図である。
【図４】本発明の実施形態に係る字幕表示装置の動作を示すフローチャートである。
【図５】従来の字幕表示装置において、字幕をＯＮ／ＯＦＦ制御する際の字幕と映像フレームとの表示タイミングの関係を示す模式図であって、（ａ）は標準再生時、（ｂ）は３倍速再生時で字幕ＯＦＦに対応する映像ＰＴＳがない場合、（ｃ）は３倍速再生時で字幕ＯＮに対応する映像ＰＴＳがない場合を示す。
【発明を実施するための形態】
【００３３】
以下、本発明の実施形態について図面を参照して説明する。
［字幕表示装置の構成］
まず、図１を参照して、本発明の実施形態に係る字幕表示装置１の構成について説明する。
図１に示した字幕表示装置１は、映像音声コンテンツと当該映像音声コンテンツに対応した字幕とを再生するものである。ここでは、字幕表示装置１は、放送受信手段１０と、放送信号解析手段１１と、通信送受信手段１２と、コンテンツ取得手段１３と、記憶手段１４と、字幕表示制御手段１５と、字幕再生手段１６と、映像音声再生手段１７と、表示手段１８と、操作制御手段１９と、を備える。
【００３４】
放送受信手段１０は、アンテナＡを介して、放送データ（放送信号）を受信するものである。この放送受信手段１０は、例えば、地上デジタル放送で放送される放送データを受信、復調し、誤り訂正やＴＭＣＣ（Transmission and Multiplexing Configuration Control）復号等の復号を行い、ＭＰＥＧ２のトランスポートストリーム（ＴＳ：Transport Stream）として、放送信号解析手段１１に出力する。
なお、この放送受信手段１０は、アンテナＡを介して、電波によって放送信号を受信するものに限定されず、ケーブルを介して受信するものであってもよい。あるいは、通信データとして放送信号を受信するものであってもよい。
【００３５】
放送信号解析手段１１は、放送受信手段１０で復調されたストリームデータ（トランスポートストリーム）において、ＰＳＩ／ＳＩ（Program Specific Information〔番組特定情報〕／Service Information〔番組配列情報〕）を解析し、現在選局されている編成チャンネルに対応するデータを抽出するものである。なお、選局は操作制御手段１９から指示されるチャンネル切り替え指示に基づいて行われる。
ここでは、放送信号解析手段１１は、字幕抽出手段１１ａと、映像音声抽出手段１１ｂと、を備える。
【００３６】
字幕抽出手段１１ａは、放送受信手段１０で復調されたストリームデータから、現在選局されている編成チャンネルに対応する字幕文字データを抽出するものである。
この字幕抽出手段１１ａは、操作制御手段１９からの指示により字幕文字データの出力先を切り替えて出力する。すなわち、字幕抽出手段１１ａは、映像音声コンテンツがリアルタイム再生される場合、操作制御手段１９からの指示により、字幕再生手段１６に字幕文字データを出力する。
また、字幕抽出手段１１ａは、映像音声コンテンツを蓄積（録画）する場合、操作制御手段１９からの指示により、記憶手段１４に字幕文字データを書き込む。
【００３７】
映像音声抽出手段１１ｂは、放送受信手段１０で復調されたストリームデータから、現在選局されている編成チャンネルに対応する放送番組である映像音声コンテンツを抽出するものである。
この映像音声抽出手段１１ｂは、操作制御手段１９からの指示により映像音声コンテンツの出力先を切り替えて出力する。すなわち、映像音声抽出手段１１ｂは、映像音声コンテンツがリアルタイム再生される場合、操作制御手段１９からの指示により、映像音声再生手段１７に映像音声コンテンツを出力する。
また、映像音声抽出手段１１ｂは、映像音声コンテンツを蓄積（録画）する場合、操作制御手段１９からの指示により、記憶手段１４に映像音声コンテンツを書き込む。
【００３８】
通信送受信手段１２は、通信回線ＮＷを介して、データの通信を行うものである。例えば、ＴＣＰ／ＩＰ等の通信プロトコルによってデータ（通信データ）を、外部のサーバ（図示せず）との間で送受信する。この通信送受信手段１２は、コンテンツ取得手段１３から要求のあったデータを、外部のサーバから取得し、コンテンツ取得手段１３に出力する。
【００３９】
コンテンツ取得手段１３は、通信送受信手段１２を介して、操作制御手段１９から要求のあった映像音声コンテンツや字幕文字データを取得するものである。このコンテンツ取得手段１３は、予め設定された、あるいは、操作制御手段１９によって指定された外部のサーバ（図示せず）から、映像コンテンツや字幕文字データを取得する。
ここでは、コンテンツ取得手段１３は、字幕取得手段１３ａと、映像音声取得手段１３ｂと、を備える。
【００４０】
字幕取得手段１３ａは、操作制御手段１９から要求のあった映像音声コンテンツに対応する字幕文字データを、通信送受信手段１２を介して取得するものである。
この字幕取得手段１３ａは、操作制御手段１９からの指示により字幕文字データの出力先を切り替えて出力する。すなわち、字幕取得手段１３ａは、映像音声コンテンツがリアルタイム再生される場合、操作制御手段１９からの指示により、字幕再生手段１６に字幕文字データを出力する。
また、字幕取得手段１３ａは、映像音声コンテンツを蓄積（録画）する場合、あるいは、すでに、蓄積されている映像音声コンテンツに対して後から字幕を取得する場合、操作制御手段１９からの指示により、記憶手段１４に字幕文字データを書き込む。
【００４１】
映像音声取得手段１３ｂは、操作制御手段１９から要求のあった映像音声コンテンツを、通信送受信手段１２を介して取得するものである。
この映像音声取得手段１３ｂは、操作制御手段１９からの指示により映像音声コンテンツの出力先を切り替えて出力する。すなわち、映像音声取得手段１３ｂは、映像音声コンテンツがリアルタイム再生される場合、操作制御手段１９からの指示により、映像音声再生手段１７に映像音声コンテンツを出力する。
また、映像音声取得手段１３ｂは、映像音声コンテンツを蓄積（録画）する場合、操作制御手段１９からの指示により、記憶手段１４に映像音声コンテンツを書き込む。
【００４２】
記憶手段１４は、映像音声コンテンツと、その映像音声コンテンツに対応する字幕文字データとを記憶するものである。この記憶手段１４は、例えば、ハードディスク、ブルーレイディスク等の一般的な記憶媒体である。
この記憶手段１４に記憶される映像音声コンテンツは、例えば、ＭＰＥＧ２で符号化された符号化データである。この映像音声コンテンツには、当該コンテンツを復号する時刻を示すタイムスタンプ（ＤＴＳ：Decode Time Stamp）や、表示する時刻を示すタイムスタンプ（ＰＴＳ：Presentation Time Stamp）が埋め込まれている。
【００４３】
また、記憶手段１４に記憶される字幕文字データは、映像音声コンテンツの字幕ごとの字幕文字および当該字幕の時間区間を特定する時間情報を含んだデータである。
ここで、字幕文字データに含まれる字幕文字は、例えば、各字幕の文字数、文字コード等である。
また、字幕の時間区間を特定する時間情報（字幕ＰＴＳ〔Presentation Time Stamp〕）は、例えば、映像音声コンテンツを再生する際に字幕の表示の開始時刻（表示開始時刻）と、表示時間長とで表される情報であってもよいし、開始時刻（表示開始時刻）と、字幕の表示を終了する終了時刻（表示終了時刻）とで表される情報であってもよい。なお、この字幕の開始時刻や終了時刻は、映像音声コンテンツの表示単位（映像ＰＴＳ）に対応したものであって、例えば、時、分、秒およびフレーム番号で表されるタイムコードを用いることができる。
【００４４】
字幕表示制御手段１５は、字幕の表示／非表示（ＯＮ／ＯＦＦ）を制御するものである。この字幕表示制御手段１５は、操作制御手段１９から指示される映像音声コンテンツの再生倍率に対応して、字幕の表示開始時刻や表示終了時刻に時間幅を持たせ、その範囲で、字幕のＯＮ／ＯＦＦを制御する。ここでは、字幕表示制御手段１５は、時間拡張手段１５ａと、区間判定手段１５ｂと、字幕切替手段１５ｃと、を備える。
【００４５】
時間拡張手段１５ａは、再生を指示された映像音声コンテンツに対応する字幕において、字幕の時間区間の始端を示す表示開始時刻を、当該時刻を含み再生倍率に対応した時間幅を有する表示開始区間に拡張するとともに、字幕の時間区間の終端を示す表示終了時刻を、当該時刻を含み再生倍率に対応した時間幅を有する表示終了区間に拡張するものである。ここで、「拡張する」とは、ある時刻（表示開始時刻、表示終了時刻）に対して、所定の時間幅を持たせることであって、ある時刻に対して、時間幅を持った時間区間（例えば、始端と終端の時刻）を設定することである。なお、時間拡張手段１５ａは、再生倍率については、操作制御手段１９から指示される。また、時間拡張手段１５ａは、字幕の表示開始時刻等の時間情報（字幕ＰＴＳ）については、リアルタイム再生であれば、放送信号解析手段１１やコンテンツ取得手段１３から入力され、タイムシフト再生であれば、記憶手段１４から取得する。
【００４６】
ここで、時間拡張手段１５ａは、字幕の表示開始時刻については、当該時刻を始端とし、映像フレームの時間長に再生倍率（ｎ倍〔ｎ＞１〕）を乗算した時間長を有する時間区間（表示開始区間）とする。
また、時間拡張手段１５ａは、字幕の表示終了時刻については、当該時刻を終端とし、当該時刻から遡って、映像フレームの時間長に再生倍率（ｎ倍〔ｎ＞１〕）を乗算した時間長を有する時間区間（表示終了区間）とする。
これによって、字幕を表示する時刻が映像フレームの１つのＰＴＳではなく、ある時間幅を持ち、再生倍率に対応した複数の映像ＰＴＳに対応するようになる。
【００４７】
具体的には、例えば、再生倍率として３倍速が設定された場合、時間拡張手段１５ａは、字幕の表示開始区間の始端を、予め設定されている表示開始時刻とし、当該区間の終端を、映像の３フレーム分の時間（１フレーム時間長×３）を加算した値とする。
また、再生倍率として３倍速が設定された場合、時間拡張手段１５ａは、字幕の表示終了区間の始端を、字幕に予め設定されている表示終了時刻から映像の３フレーム分の時間（１フレーム時間長×３）を減算した値とし、当該区間の終端を、当該字幕に予め設定されている表示終了時刻とする。
【００４８】
なお、時間拡張手段１５ａは、操作制御手段１９から指示される再生倍率が、標準再生以下（ｎ≦１：標準再生またはスロー再生）の場合には、それぞれの区間に時間幅を持たせず、表示開始区間の始端と終端には、予め設定されている表示開始時刻を設定し、表示終了区間の始端と終端には、予め設定されている表示終了時刻を設定することとする。このように拡張された字幕の時間区間は、区間判定手段１５ｂに出力される。
【００４９】
区間判定手段１５ｂは、映像音声再生手段１７において、映像音声コンテンツが再生されて表示される映像フレームの表示時刻を示す表示タイムスタンプ（映像ＰＴＳ）が、時間拡張手段１５ａで設定された表示開始区間または表示終了区間に含まれるか否かを判定するものである。
すなわち、区間判定手段１５ｂは、映像音声再生手段１７において再生された映像フレームに対応する映像ＰＴＳが、表示開始区間内の時刻であって、字幕を表示するタイミングであるか、あるいは、表示終了区間内の時刻であって、字幕を消去するタイミングであるかを逐次判定するものである。
この区間判定手段１５ｂは、この判定結果を字幕切替手段１５ｃに出力する。
【００５０】
字幕切替手段１５ｃは、区間判定手段１５ｂで判定された判定結果に基づいて、字幕のＯＮとＯＦＦとを切り替えるものである。
この字幕切替手段１５ｃは、判定結果として映像ＰＴＳが字幕の表示開始区間内のタイムスタンプであると判定された場合、字幕再生手段１６に対して、当該字幕を表示（ＯＮ）の状態に設定する旨を指示する。一方、判定結果として映像ＰＴＳが字幕の表示終了区間内のタイムスタンプであると判定された場合、字幕切替手段１５ｃは、字幕再生手段１６に対して、その映像ＰＴＳより後において当該字幕を非表示（ＯＦＦ）の状態に設定する旨を指示する。
【００５１】
ここで、図２を参照（適宜図１参照）して、字幕表示制御手段１５における字幕のＯＮ／ＯＦＦ制御について模式的に説明する。
図２（ａ）では、標準再生時における字幕と映像音声コンテンツの映像フレームとの表示タイミングの関係を時系列に示している。
図２（ａ）に示すように、字幕表示制御手段１５は、標準再生時において、区間判定手段１５ｂによって、表示開始区間ＷＯＮ（始端＝終端）に、映像フレーム（映像ＰＴＳ）が含まれる（一致する）と判定された場合（図２中、映像フレームｐ）、字幕切替手段１５ｃによって、字幕のＯＮを字幕再生手段１６に指示する。また、区間判定手段１５ｂによって、表示終了区間ＷＯＦＦ（始端＝終端）に、映像フレーム（映像ＰＴＳ）が含まれる（一致する）と判定された場合（図２中、映像フレームｑ）、字幕切替手段１５ｃによって、字幕のＯＦＦを字幕再生手段１６に指示する。
【００５２】
なお、図２では、字幕や映像フレームのＰＴＳごとの表示タイミングを１つの四角で図示しているため、図２（ａ）において、形式的に、表示開始区間ＷＯＮや表示終了区間ＷＯＦＦを一定の幅で記載している。しかし、図２（ａ）の表示開始区間ＷＯＮや表示終了区間ＷＯＦＦは、それぞれ、前記したように、区間の始端と終端とが同じである。
【００５３】
次に、映像音声コンテンツを早送り再生（ここでは、３倍速再生）する場合を例に説明する。
図２（ｂ）に示すように、３倍速再生を行った場合、映像フレームは、３フレームごとに間引いて再生される。この図２（ｂ）において、字幕表示制御手段１５は、区間判定手段１５ｂによって、表示開始区間ＷＯＮに、映像フレーム（映像ＰＴＳ）が含まれると判定された場合（図２中、映像フレームｒ）、字幕切替手段１５ｃによって、字幕のＯＮを字幕再生手段１６に指示する。
【００５４】
また、図２（ｂ）に示すように、字幕表示制御手段１５は、区間判定手段１５ｂによって、表示終了区間ＷＯＦＦに、映像フレーム（映像ＰＴＳ）が含まれると判定された場合（図２中、映像フレームｓ２）、字幕切替手段１５ｃによって、判定時の映像ＰＴＳまで字幕をＯＮにして、それ以降の映像ＰＴＳに対して字幕をＯＦＦにするように字幕再生手段１６に指示する。これによって、映像フレームが間引かれて、字幕の終了を示す字幕ＰＴＳと一致する映像ＰＴＳで示される映像フレーム（図２中、映像フレームｓ）が存在しない場合で合っても、字幕のＯＦＦを確実に行うことができる。
【００５５】
また、図２（ｃ）に示すように、字幕表示制御手段１５は、区間判定手段１５ｂによって、表示開始区間ＷＯＮに、映像フレーム（映像ＰＴＳ）が含まれると判定された場合（図２中、映像フレームｔ２）、字幕切替手段１５ｃによって、判定時の映像ＰＴＳから字幕をＯＮするように字幕再生手段１６に指示する。これによって、映像フレームが間引かれて、字幕の表示を示す字幕ＰＴＳと一致する映像ＰＴＳで示される映像フレーム（図２中、映像フレームｔ）が存在しない場合であっても、字幕のＯＮを確実に行うことができる。
図１に戻って、字幕表示装置１の構成について説明を続ける。
【００５６】
字幕再生手段１６は、映像音声コンテンツに対応する字幕を再生するものである。
この字幕再生手段１６は、操作制御手段１９から字幕を表示する旨が指示された場合、字幕表示制御手段１５から指示される字幕のＯＮ／ＯＦＦの指示に基づいて、記憶手段１４から対応する字幕を読み出して表示手段１８に出力したり、その出力を停止したりする。すなわち、字幕再生手段１６は、字幕表示制御手段１５から字幕ＯＮを指示された場合に、字幕ＯＮの状態が継続する間、字幕文字を表示手段１８に出力し、字幕ＯＦＦを指示された場合に、字幕文字の表示手段１８への出力を停止する。
なお、ここでは、字幕再生手段１６は、字幕の表示位置を制御するため、表示領域検出手段１６ａと、位置指定表示手段１６ｂと、を備える。
【００５７】
表示領域検出手段１６ａは、映像音声コンテンツを再生した際の映像フレーム上において、字幕を表示可能な領域を検出するものである。この表示領域検出手段１６ａは、映像上において、例えば、文字が表示されている領域、人物が表示されている領域、動きが激しい領域等、視覚的に映像の意味内容を示す領域を除いた領域を、字幕の表示可能領域として検出する。この表示領域検出手段１６ａは、検出した字幕の表示可能領域を位置指定表示手段１６ｂに出力する。
【００５８】
ここで、図３を参照（適宜図１参照）して、表示領域検出手段１６ａの構成について具体的に説明する。図３に示すように、表示領域検出手段１６ａは、オープンキャプション領域検出手段１６１と、非動き領域検出手段１６２と、人物領域検出手段（顔領域検出手段）１６３と、平坦領域検出手段１６４と、表示可能領域決定手段１６５と、を備える。
【００５９】
なお、表示領域検出手段１６ａが入力する映像信号は、映像音声再生手段１７において順次再生された映像信号（映像フレーム）である。また、表示領域検出手段１６ａが入力する字幕表示可能領域データ（または字幕表示不可領域データ）は、図示を省略しているが、放送信号解析手段１１で解析された放送信号に多重化された放送事業者（あるいは放送番組制作者）によって指定された字幕を表示してもよい領域（または字幕を表示してはいけない領域）を示すデータである。
【００６０】
オープンキャプション領域検出手段１６１は、映像内に合成されている文字（オープンキャプション）の領域を検出するものである。通常、オープンキャプション上に字幕が表示されると、オープンキャプションと字幕の双方ともに、文字の判別が困難になる。つまり、オープンキャプション領域検出手段１６１は、字幕の表示に適さない領域として、映像フレームからオープンキャプション領域を検出する。
【００６１】
なお、映像内から文字領域を検出する手法は、一般的な手法を用いればよい。例えば、オープンキャプション領域検出手段１６１は、文字ごとの形状等の画像特徴量を予め保持し、映像の画像特徴量と類似する領域を、文字の領域として検出する。
このオープンキャプション領域検出手段１６１は、検出したオープンキャプション領域を表示可能領域決定手段１６５に出力する。
【００６２】
非動き領域検出手段１６２は、映像内において静止した領域、あるいは、動きの少ない領域を非動き領域として検出するものである。通常、動きを伴った領域に字幕を表示すると、字幕周辺の明暗等の変化が大きくなり、字幕が読み難くなってしまう。つまり、非動き領域検出手段１６２は、字幕の表示に適した領域として、映像フレームから非動き領域を検出する。
【００６３】
なお、映像内から非動き領域を検出する手法は、一般的な手法を用いればよい。例えば、非動き領域検出手段１６２は、映像を所定の大きさのブロックに分割し、ブロックごとにフレーム差の絶対値を求め、その絶対値が予め定めた閾値よりも小さいブロックの領域を非動き領域として検出する。
この非動き領域検出手段１６２は、検出した非動き領域を、表示可能領域決定手段１６５に出力する。
【００６４】
人物領域検出手段（顔領域検出手段）１６３は、映像内において、人物領域（あるいは顔領域）を検出するものである。通常、映像内に登場する人物は、その映像内において会話や動作を行う重要な役割を担っており、その人物上に字幕を重畳させるのは好ましくない。つまり、人物領域検出手段１６３は、字幕の表示に適さない領域として、映像フレームから人物領域や顔領域を検出する。
【００６５】
なお、映像内から人物領域（顔領域）を抽出する手法は、一般的な手法を用いればよい。例えば、人物領域検出手段１６３は、映像内から予め定めた肌色領域を検出し、その領域、あるいは、その領域を含む予め定めた大きさの範囲を人物領域とする。あるいは、人物領域検出手段１６３は、目のテクスチャを保持しておき、そのテクスチャと画像特徴量が類似する領域を目の領域として検出し、その領域を含む予め定めた大きさの範囲を人物領域（顔領域）としてもよい。
この人物領域検出手段１６３は、検出した人物領域（顔領域）を、表示可能領域決定手段１６５に出力する。
【００６６】
平坦領域検出手段１６４は、映像内において、特徴量や変化が少ない平坦な領域、すなわち、非テクスチャ領域を検出するものである。通常、映像内で特徴量や変化が多い領域は、その領域の重要性、字幕の見易さ等から、その領域に字幕を重畳させるのは好ましくない。つまり、平坦領域検出手段１６４は、字幕の表示に適する領域として、映像フレームから平坦領域を検出する。
【００６７】
なお、映像内から平坦領域（非テクスチャ領域）を検出する手法は、一般的な手法を用いればよい。例えば、平坦領域検出手段１６４は、映像内においてエッジを検出し、その密度が予め定めた閾値よりも少ない領域を平坦領域として検出する。あるいは、平坦領域検出手段１６４は、映像信号に対して予め定めた振幅を基準としたローパスフィルタをかけることで、映像フレームを平坦領域と非平坦領域とに区分することとしてもよい。
この平坦領域検出手段１６４は、検出した平坦領域を、表示可能領域決定手段１６５に出力する。
【００６８】
表示可能領域決定手段１６５は、オープンキャプション領域検出手段１６１等の領域検出手段で検出された字幕の領域として適した領域、あるいは、適さない領域を統合して、字幕の表示可能領域を決定するものである。
ここでは、表示可能領域決定手段１６５は、字幕表示可能領域データ（または字幕表示不可領域データ）が入力された場合、その領域を優先して、映像内の字幕の表示可能領域を決定する。すなわち、表示可能領域決定手段１６５は、字幕表示可能領域データが入力された場合、当該字幕表示可能領域データで指定される領域を字幕の表示可能領域とする。あるいは、表示可能領域決定手段１６５は、字幕表示不可領域データが入力された場合、映像フレームから、字幕表示不可領域データで指定された領域を除いた領域を字幕の表示可能領域とする。
【００６９】
そして、表示可能領域決定手段１６５は、字幕表示可能領域データ（または字幕表示不可領域データ）が入力されない場合、オープンキャプション領域検出手段１６１等の領域検出手段で検出された領域に基づいて、字幕の表示可能領域を決定する。
ここでは、表示可能領域決定手段１６５は、オープンキャプチャ領域および人物領域（顔領域）に属さない領域と、非動き領域と、平坦領域とで共通する領域を字幕の表示可能領域とする。すなわち、映像フレーム内におけるオープンキャプチャ領域をＡＣ、人物領域をＡＨ、非動き領域をＡＭ、平坦領域をＡＴとしたとき、表示可能領域決定手段１６５は、以下の式（１）の論理式で示される領域Ｒを、字幕の表示可能領域とする。
【００７０】
【数１】
2013219639.tif 000003
【００７１】
なお、ここでは、表示領域検出手段１６ａは、オープンキャプション領域検出手段１６１と、非動き領域検出手段１６２と、人物領域検出手段１６３と、平坦領域検出手段１６４と、を備える構成としたが、これらの手段は必ずしもすべて備える必要はない。
図１に戻って、字幕表示装置１の構成について説明を続ける。
【００７２】
位置指定表示手段１６ｂは、表示領域検出手段１６ａで決定された字幕の表示可能領域に字幕を表示するものである。この位置指定表示手段１６ｂは、字幕表示制御手段１５から字幕のＯＮが指示された段階で、表示可能領域の位置を指定して字幕を表示手段１８に出力する。また、位置指定表示手段１６ｂは、字幕表示制御手段１５から字幕のＯＮが指示された段階で、字幕の表示手段１８への出力を停止する。
【００７３】
ここで、位置指定表示手段１６ｂは、操作制御手段１９からの指示により、放送波を介して受信した映像音声コンテンツをリアルタイム再生する場合、放送信号解析手段１１の字幕抽出手段１１ａで抽出された字幕文字を表示手段１８に出力する。
また、位置指定表示手段１６ｂは、操作制御手段１９からの指示により、通信回線ＮＷを介して取得した映像音声コンテンツをリアルタイム再生する場合、コンテンツ取得手段１３の字幕取得手段１３ａから取得した字幕文字を表示手段１８に出力する。
また、位置指定表示手段１６ｂは、操作制御手段１９からの指示により、記憶手段１４に記憶されている映像音声コンテンツを再生するタイムシフト再生が指示された場合、記憶手段１４から字幕文字を読み出して、表示手段１８に出力する。
【００７４】
なお、位置指定表示手段１６ｂは、字幕の文字数や大きさによって、表示領域検出手段１６ａで決定された字幕の表示可能領域に１行で字幕を表示することができない場合、例えば、複数行で字幕を表示することとしてもよいし、縦方向に字幕を配列して表示することとしてもよい。あるいは、位置指定表示手段１６ｂは、表示可能領域に拘束されず予め定めた初期位置に字幕を表示することとしてもよい。
【００７５】
映像音声再生手段１７は、映像音声コンテンツを復号するとともに、再生倍率に応じて映像音声コンテンツの再生速度を変換するものである。ここでは、映像音声再生手段１７は、復号手段１７ａと、画速変換手段１７ｂと、話速変換手段１７ｃと、を備える。
【００７６】
復号手段１７ａは、映像音声コンテンツを復号するものである。なお、この復号は、例えば、映像音声コンテンツがＭＰＥＧ２符号化方式で符号化されたものであれば、ＭＰＥＧ２に対応した復号処理である。
【００７７】
ここでは、復号手段１７ａは、放送波を介して受信した映像音声コンテンツを再生する場合、放送信号解析手段１１の映像音声抽出手段１１ｂで抽出された映像音声コンテンツを復号し、通信回線ＮＷを介して取得した映像音声コンテンツを再生する場合、コンテンツ取得手段１３の映像音声取得手段１３ｂで取得された映像音声コンテンツを復号する。
また、復号手段１７ａは、記憶手段１４に記憶されている映像音声コンテンツを再生する場合、操作制御手段１９から指示された映像音声コンテンツを記憶手段１４から読み出して復号する。このとき、復号手段１７ａは、映像音声コンテンツから、復号対象の映像フレームに付されているタイムスタンプ（映像ＰＴＳ）を抽出する。
【００７８】
なお、操作制御手段１９からの指示により、映像音声コンテンツをリアルタイム再生、あるいは、タイムシフト再生における標準再生（１倍速再生）で再生する場合、復号手段１７ａは、復号した映像音声コンテンツを表示手段１８に出力する。このとき、映像音声再生手段１７は、復号手段１７ａで復号された映像フレームに対応するタイムスタンプ（映像ＰＴＳ）を、字幕表示制御手段１５に出力する。
一方、操作制御手段１９からの指示により、映像音声コンテンツの再生倍率を変えて再生する場合、復号手段１７ａは、復号した映像音声コンテンツのうち、映像信号については画速変換手段１７ｂに、音声信号については話速変換手段１７ｃにそれぞれ出力する。
【００７９】
画速変換手段１７ｂは、再生倍率に基づいて、映像音声コンテンツの映像信号を速度変換するものである。この画速変換手段１７ｂにおける速度変換は、一般的な画速変換技術を用いればよい。例えば、画速変換手段１７ｂは、再生倍率に応じて、標準再生時の映像信号をフレーム単位で間引いたり、繰り返したりすることで、再生時間長を変更することができる。
この画速変換手段１７ｂは、画速変換を行った映像信号を、順次、表示手段１８に出力する。このとき、映像音声再生手段１７は、画速変換手段１７ｂで表示対象とされた映像フレームに対応するタイムスタンプ（映像ＰＴＳ）を、字幕表示制御手段１５に出力する。
【００８０】
話速変換手段１７ｃは、再生倍率に基づいて、映像音声コンテンツの音声信号を速度変換するものである。この話速変換手段１７ｃにおける速度変換は、一般的な話速変換技術を用いればよい。例えば、話速変換手段１７ｃは、再生倍率に応じて、音声ピッチ（基本周波数）の周期で、音声波形の間引きや繰り返しを行い、音声波形どうしを順次重ね合わせて接続すればよい。
この話速変換手段１７ｃは、話速変換を行った音声信号を、順次、表示手段１８に出力する。
【００８１】
表示手段１８は、映像音声再生手段１７で再生された音声信号を表示するとともに、映像音声再生手段１７で再生された映像信号に字幕再生手段１６で再生された字幕を合成して表示するものである。
なお、表示手段１８は、音声信号については、外部に接続されたスピーカ等の音声出力装置Ｓｐに出力し、映像信号については、外部に接続された液晶ディスプレイ等の映像表示装置Ｍｏに出力する。
【００８２】
操作制御手段１９は、外部に接続されたリモコン装置等の入力装置Ｒｉからの操作信号を入力して、字幕表示装置１内の各手段の動作を制御するものである。
例えば、操作制御手段１９は、入力装置Ｒｉから、テレビ放送のチャンネル切り替えを指示されることで、放送信号解析手段１１に対して、選択されたチャンネルを示すチャンネル切り替え指示を通知する。
【００８３】
また、例えば、操作制御手段１９は、入力装置Ｒｉを介して、外部のサーバから映像音声コンテンツや字幕を取得する旨を指示されることで、コンテンツ取得手段１３に対して、映像音声コンテンツ等の所在を特定する情報（例えば、サーバのＩＰアドレス、映像音声コンテンツのファイル名等の識別情報）を、コンテンツ取得手段１３に通知する。
【００８４】
また、操作制御手段１９は、映像音声コンテンツや字幕をリアルタイム再生するのか、あるいは、蓄積するのかを、入力装置Ｒｉを介して指示されることで、放送信号解析手段１１やコンテンツ取得手段１３に対して、映像音声コンテンツや字幕の出力先を切り替える指示を行う。
【００８５】
また、操作制御手段１９は、記憶手段１４に記憶されている映像音声コンテンツを再生（タイムシフト再生）させる指示を、入力装置Ｒｉを介して指示されることで、字幕表示制御手段１５、字幕再生手段１６および映像音声再生手段１７に対して、記憶手段１４に記憶されている字幕や映像音声コンテンツを再生させる旨を指示する。
【００８６】
以上のように字幕表示装置１を構成することで、字幕表示装置１は、字幕表示制御手段１５の時間拡張手段１５ａによって、字幕の表示開始時刻や表示終了時刻に時間幅を持たせるため、映像音声コンテンツを早送り再生して、映像フレームが間引かれた場合であっても、字幕のＯＮ／ＯＦＦに対応する映像フレームを検出することができる。これによって、字幕表示装置１は、字幕の表示するタイミングで確実に字幕を表示し、字幕を消すタイミングで確実に字幕を消すことができる。
なお、字幕表示装置１は、コンピュータを前記した各手段として機能させるプログラム（字幕表示プログラム）によって動作させることができる。
【００８７】
［字幕表示装置の動作］
次に、図４を参照（構成については適宜図１参照）して、本発明の実施形態に係る字幕表示装置１の動作について説明する。なお、ここでは、本発明の特徴である記憶手段１４に一旦蓄積した映像音声コンテンツを早送り再生する動作について説明する。
【００８８】
まず、字幕表示装置１は、操作制御手段１９によって、外部の入力装置Ｒｉを介して、利用者（視聴者）が所望する再生倍率と、再生を行う映像音声コンテンツ（番組）を特定する情報（番組名、ファイル名等）を入力する（ステップＳ１）。
【００８９】
そして、字幕表示装置１は、字幕表示制御手段１５の時間拡張手段１５ａによって、ステップＳ１で指定された映像音声コンテンツに対応する複数の字幕ごとに、字幕の時間区間を示す表示開始時刻と表示終了時刻とを、再生倍率に対応した時間幅を有する表示開始区間と表示終了区間とにそれぞれ拡張する（ステップＳ２）。
【００９０】
また、字幕表示装置１は、映像音声再生手段１７によって、ステップＳ１で指定された映像音声コンテンツを再生するとともに、表示対象の映像フレームに対応するタイムスタンプを映像音声コンテンツから抽出する（ステップＳ３）。このとき、映像音声再生手段１７は、復号手段１７ａによって、操作制御手段１９から指示された映像音声コンテンツを記憶手段１４から読み出して復号する。また、再生倍率が“１”でない場合、映像音声再生手段１７は、画速変換手段１７ｂによって、再生倍率に応じた画速変換を行うとともに、話速変換手段１７ｃによって、再生倍率に応じた話速変換を行う。
なお、映像音声再生手段１７は、表示対象の映像フレームに対応するタイムスタンプ（映像ＰＴＳ）を字幕表示制御手段１５に通知するが、早送り再生する場合、間引きされて再生された映像フレームのタイムスタンプ（映像ＰＴＳ）を通知する。
【００９１】
そして、字幕表示装置１は、字幕表示制御手段１５の区間判定手段１５ｂによって、ステップＳ３で再生された映像フレームに対応するタイムスタンプ（映像ＰＴＳ）が、ステップＳ２で字幕の表示開始時刻を拡張した表示開始区間に含まれるか否かを判定する（ステップＳ４）。ここで、映像ＰＴＳが表示開始区間内の時刻である場合（ステップＳ４でＹｅｓ）、字幕表示装置１は、字幕表示制御手段１５の字幕切替手段１５ｃによって、字幕の表示をＯＮに設定する（ステップＳ５）。
【００９２】
一方、映像ＰＴＳが表示開始区間内の時刻ではない場合（ステップＳ４でＮｏ）、さらに、字幕表示装置１は、字幕表示制御手段１５の区間判定手段１５ｂによって、ステップＳ３で再生された映像フレームに対応する映像ＰＴＳが、ステップＳ２で字幕の表示終了時刻を拡張した表示終了区間に含まれるか否かを判定する（ステップＳ６）。ここで、映像ＰＴＳが表示終了区間内の時刻である場合（ステップＳ６でＹｅｓ）、字幕表示装置１は、字幕表示制御手段１５の字幕切替手段１５ｃによって、字幕の表示をＯＦＦに設定する（ステップＳ７）。なお、このステップＳ７は、ステップＳ３から、後記するステップＳ１２までループにおいて、ステップＳ５で字幕の表示がＯＮに設定された後に動作することになる。
【００９３】
そして、字幕表示装置１は、字幕再生手段１６によって、字幕がＯＮ状態であれば（ステップＳ８でＹｅｓ）、字幕がＯＮ状態である間、当該字幕に対応する字幕文字を記憶手段１４から読み出して再生する（ステップＳ９）。このとき、字幕再生手段１６は、表示領域検出手段１６ａによって、逐次、映像音声再生手段１７で再生される映像フレームにおいて字幕の表示可能領域を検出する。そして、字幕再生手段１６は、位置指定表示手段１６ｂによって、表示可能領域の位置に字幕を配置する。
【００９４】
そして、字幕表示装置１は、表示手段１８によって、ステップＳ３で再生された映像（映像フレーム）に、ステップＳ９で再生された字幕を合成する（ステップＳ１０）。
また、字幕表示装置１は、表示手段１８によって、ステップＳ１０で字幕が合成された映像を表示（映像表示装置Ｍｏに出力）する。あるいは、字幕表示装置１は、字幕がＯＦＦ状態であれば（ステップＳ８でＮｏ）、表示手段１８によって、字幕が合成されていないステップＳ３で再生された映像を表示（映像表示装置Ｍｏに出力）する。さらに、字幕表示装置１は、表示手段１８によって、ステップＳ３で再生された音声を表示（音声出力装置Ｓｐに出力）する（ステップＳ１１）。
【００９５】
そして、字幕表示装置１は、映像音声再生手段１７において、映像音声コンテンツの再生が終了した場合（ステップＳ１２でＹｅｓ）、動作を終了する。一方、まだ、映像音声コンテンツの再生が終了していない場合（ステップＳ１２でＮｏ）、字幕表示装置１は、ステップＳ３に戻って、映像音声コンテンツの再生を続ける。
【００９６】
以上の動作によって、字幕表示装置１は、映像音声コンテンツを再生する際に、再生速度を変化させた場合であっても、字幕の表示するタイミング、あるいは、消去するタイミングを、映像フレームに対応させることができる。これによって、字幕の表示漏れや消し残しを防止することができる。
【００９７】
以上、本発明の実施形態に係る字幕表示装置１の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
【００９８】
例えば、ここでは、字幕表示装置１が、映像音声コンテンツや字幕を、放送波を介して受信したり、外部サーバから通信回線を介して取得したりすることとしたが、少なくとも、記憶手段１４に映像音声コンテンツや字幕が蓄積された状態であれば、本発明を実施することができる。
すなわち、字幕表示装置１の構成から、放送受信手段１０および放送信号解析手段１１を省略してもよい。また、字幕表示装置１の構成から、通信送受信手段１２およびコンテンツ取得手段１３を省略してもよい。
【符号の説明】
【００９９】
１      字幕表示装置
１０    放送受信手段
１１    放送信号解析手段
１１ａ  字幕抽出手段
１１ｂ  映像音声抽出手段
１２    通信送受信手段
１３    コンテンツ取得手段
１３ａ  字幕取得手段
１３ｂ  映像音声取得手段
１４    記憶手段
１５    字幕表示制御手段
１５ａ  時間拡張手段
１５ｂ  区間判定手段
１５ｃ  字幕切替手段
１６    字幕再生手段
１６ａ  表示領域検出手段
１６ｂ  位置指定表示手段
１７    映像音声再生手段
１７ａ  復号手段
１７ｂ  画速変換手段
１７ｃ  話速変換手段
１８    表示手段
１９    操作制御手段
【図１】
2013219639.tif 000004
【図２】
2013219639.tif 000005
【図３】
2013219639.tif 000006
【図４】
2013219639.tif 000007
【図５】
2013219639.tif 000008