(57)【要約】【課題】予めコンテンツ製作者が定義した表示形態以外の形態で字幕表示する場合に、映像の崩れがない字幕を字幕映像表示時刻に表示させることができる映像再生装置を提供する。【解決手段】字幕付きの映像コンテンツを再生する映像再生装置であって、ユーザが指定する字幕の表示形態を取得するユーザ操作受信部８０と、ユーザ指定の表示形態である字幕を生成する処理が、その字幕の表示時期に間に合わない場合に、ユーザ指定の表示形態を表示時期に表示可能な表示形態に修正した修正形態情報を作成する字幕形態修正部１００と、字幕形態修正部１００が間に合わないと判定した場合に、予め定められた表示形態を修正形態情報に変更した字幕情報をレンダリングした字幕映像情報を出力する字幕デコーダ１２０と、その字幕映像情報を映像コンテンツに同期させた字幕付きの映像コンテンツを表示させる映像同期部１９０とを備える。【選択図】図１
2008016946.tif 000002
【特許請求の範囲】
【請求項１】
字幕付きの映像コンテンツを再生する映像再生装置であって、
前記字幕に含まれる表示文字を示す情報と、予め定められた前記字幕の表示形態を示す情報と、前記字幕の表示時期を示す情報とを含む字幕情報を取得する字幕情報取得手段と、
ユーザが指定する前記字幕の表示形態を取得する指定形態取得手段と、
前記ユーザ指定の表示形態である前記字幕を生成するレンダリング処理が、前記表示時期に間に合うか否かを判定するレンダリング時間判定手段と、
前記レンダリング時間判定手段により間に合わないと判定された場合に、前記ユーザ指定の表示形態を前記表示時期に表示可能な表示形態に修正した修正形態情報を作成する修正形態作成手段と、
前記レンダリング時間判定手段により間に合わないと判定された場合に、前記予め定められた前記字幕の表示形態を前記修正形態情報に変更した前記字幕情報をレンダリングした字幕映像情報を出力する字幕映像出力手段と、
前記字幕映像情報を前記映像コンテンツに同期させた字幕付きの映像コンテンツを表示させる同期表示手段とを備える
ことを特徴とする映像再生装置。
【請求項２】
前記レンダリング時間判定手段は、前記表示時期に間に合わせて前記字幕を表示するために前記字幕情報のレンダリングに費やせる時間の最大値であるレンダリング許容時間を計算し、前記レンダリング許容時間内に前記ユーザ指定の表示形態での字幕情報をレンダリングできるか否かにより前記表示時期に間に合うか否かを判定する
ことを特徴とする請求項１に記載の映像再生装置。
【請求項３】
さらに、前記ユーザ指定の表示形態での字幕情報をレンダリングした場合、予め定められた字幕表示領域内に前記字幕を表示できるか否かを判定する表示領域判定手段を備え、
前記修正形態作成手段は、さらに、前記表示領域判定手段により前記予め定められた字幕表示領域内に前記字幕を表示できないと判定された場合に、前記予め定められた表示領域内に表示可能な表示形態に修正した修正形態情報を作成する
ことを特徴とする請求項１または請求項２に記載の字幕映像処理機能付き再生装置。
【請求項４】
前記予め定められた字幕表示領域は、前記字幕情報の予め定められた前記字幕の表示形態を示す情報に含まれる
ことを特徴とする請求項３に記載の映像再生装置。
【請求項５】
前記予め定められた字幕表示領域は、前記映像再生装置に接続されている表示部の画面サイズまたは前記画面サイズに対する予め定められた割合を占める部分である
ことを特徴とする請求項３に記載の映像再生装置。
【請求項６】
前記字幕情報取得手段は、映像を画像圧縮した主映像情報と、前記字幕情報とが混在する情報から前記字幕情報を分離することにより、前記字幕情報を取得する
ことを特徴とする請求項１から請求項５のいずれか１項に記載の映像再生装置。
【請求項７】
字幕付きの映像コンテンツを再生する映像再生方法であって、
前記字幕に含まれる表示文字を示す情報と、予め定められた前記字幕の表示形態を示す情報と、前記字幕の表示時期を示す情報とを含む字幕情報を取得する字幕情報取得ステップと、
ユーザが指定する前記字幕の表示形態を取得する指定形態取得ステップと、
前記ユーザ指定の表示形態である前記字幕を生成するレンダリング処理が、前記表示時期に間に合うか否かを判定するレンダリング時間判定ステップと、
前記レンダリング時間判定ステップにおいて間に合わないと判定された場合に、前記ユーザ指定の表示形態を前記表示時期に表示可能な表示形態に修正した修正形態情報を作成する修正形態作成ステップと、
前記レンダリング時間判定ステップにおいて間に合わないと判定された場合に、前記予め定められた前記字幕の表示形態を前記修正形態情報に変更した前記字幕情報をレンダリングした字幕映像情報を出力する字幕映像出力ステップと、
前記字幕映像情報を前記映像コンテンツに同期させた字幕付きの映像コンテンツを表示させる同期表示ステップとを備える
ことを特徴とする映像再生方法。
【請求項８】
字幕付きの映像コンテンツを再生する映像再生プログラムであって、
前記字幕に含まれる表示文字を示す情報と、予め定められた前記字幕の表示形態を示す情報と、前記字幕の表示時期を示す情報とを含む字幕情報を取得する字幕情報取得ステップと、
ユーザが指定する前記字幕の表示形態を取得する指定形態取得ステップと、
前記ユーザ指定の表示形態である前記字幕を生成するレンダリング処理が、前記表示時期に間に合うか否かを判定するレンダリング時間判定ステップと、
前記レンダリング時間判定ステップにおいて間に合わないと判定された場合に、前記ユーザ指定の表示形態を前記表示時期に表示可能な表示形態に修正した修正形態情報を作成する修正形態作成ステップと、
前記レンダリング時間判定ステップにおいて間に合わないと判定された場合に、前記予め定められた前記字幕の表示形態を前記修正形態情報に変更した前記字幕情報をレンダリングした字幕映像情報を出力する字幕映像出力ステップと、
前記字幕映像情報を前記映像コンテンツに同期させた字幕付きの映像コンテンツを表示させる同期表示ステップとをコンピュータに実行させる
ことを特徴とする映像再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記憶媒体に記録された字幕情報を含む映像情報から字幕付きの映像コンテンツを再生する映像再生装置、映像再生方法および映像再生プログラムに関する。
【背景技術】
【０００２】
ＤＶＤ(デジタルバーサタイルディスク)ビデオ規格に代表されるデジタルコンテンツの規格の中には、ビデオ情報やオーディオ情報の他に、字幕情報を記録し、字幕を表示する機能を持つものがある。字幕情報は字幕として表示する文字自体についての情報であるテキスト情報と、字幕に表示する文字をどのような形態で表示するかについて定義した字幕形態情報と、字幕をいつ画面に表示するべきかを定義した字幕映像表示時刻とからなっている。
【０００３】
字幕形態情報は、字幕の大きさ、表示形態、色、表示位置、表示領域などに関する情報を持っている。再生装置は、テキスト形式で表現された字幕の文字列を、字幕形態情報で定義された表示形態である字幕映像となるように、レンダリング処理を行う。
【０００４】
ここでいうレンダリング処理とは、字幕情報を基に、テキスト形式の文字列が、字幕形態情報で定義された表示形態で画像化された字幕映像を作成する処理のことを意味する。
【０００５】
一般的には、コンテンツ製作者は、ビデオ情報で定義された主映像の邪魔にならない形態で字幕形態情報を定義している。
【０００６】
また、コンテンツ製作者は、登場人物の台詞やナレーションなどの音声の出力タイミングにあった字幕の表示となるように、字幕映像表示時刻を定義している。このため、再生装置は、字幕を字幕映像表示時刻に表示すれば、音声と同期した字幕の表示を行うことが出来る。
【０００７】
上記のように、再生装置は、コンテンツ製作者の定義した字幕表示形態情報でしか、字幕を表示できない。したがって、コンテンツを視聴するユーザの好みの表示形態でコンテンツを視聴できない。
【０００８】
たとえば、目の不自由なユーザが視聴中のコンテンツの字幕の文字を大きくしようとした場合、コンテンツ製作者がユーザの所望する文字の大きさである字幕表示形態情報を定義し、媒体に記録させていれば、ユーザは所望の大きさの文字の字幕を利用することが出来る。しかし、媒体にユーザが所望する文字の大きさの字幕形態情報が記録されていない場合、ユーザは視聴中のコンテンツの字幕の文字を大きくすることができない。
【０００９】
そこで、従来は、コンテンツ製作者が定義した字幕の表示形態を、ユーザが指示した字幕の表示形態に変換することにより、コンテンツ製作者が定義していない表示形態で字幕を表示する。例えば、特許文献１に記載の技術は、字幕の表示形態をユーザが所望する表示形態に変更するサブピクチャ変更部を備えることによって、ユーザが指示した表示形態で字幕を表示させる。
【００１０】
これにより、自分の所望する表示形態を定義した字幕形態情報が媒体に記録されていない場合でも、ユーザは、コンテンツの字幕を自分の所望する表示形態で表示させることができる。
【特許文献１】特開２００１−７８１４９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、従来の技術は、コンテンツの字幕をユーザの所望する表示形態に変更することはできても、予め決められた字幕映像表示時刻に字幕を表示することができない、もしくは、不完全な字幕を表示するという課題を有する。
【００１２】
表示する文字列が同じであっても、字幕の表示形態が異なれば、レンダリング処理に要する時間は異なる。例えば、同じ文字列の字幕を画面に表示させようとした場合、１０ｐｔ（ポイント）で表示するより、３０ｐｔで表示する方が、ビットマップ化する文字の面積が大きくなるために、レンダリングに時間がかかる。
【００１３】
字幕のレンダリング時間は字幕の表示形態によって異なることから、コンテンツ製作者は、字幕映像表示時刻に字幕を表示できるように、レンダリング処理にかかる時間を考慮して、字幕の表示形態を定義する。しかし、ユーザが指示する字幕の表示形態は、字幕映像表示時刻に字幕を表示することが保証されていない。
【００１４】
ユーザが自分の好みの表示形態に変更することにより、変更前の表示形態より変更後の表示形態の方が字幕のレンダリング処理に時間がかかる場合、字幕のレンダリング処理が終了する前に字幕映像表示時刻となり、字幕を画面に表示する処理を行い、１度に表示すべき全ての文字が表示されない、不完全な字幕を表示してしまう。不完全な字幕が表示されれば、ユーザがコンテンツの内容を理解できなくなってしまう不都合が起こる。
【００１５】
また、上記の不都合を回避するために、字幕のレンダリング処理が終了するまで、字幕を画面に表示しない方法にした場合でも、コンテンツ制作者が音声の出力と同期するように定義した字幕映像表示時刻に字幕を表示できないため、音声と同期しない字幕の表示になり、コンテンツの内容を理解しにくくなる。
【００１６】
上記のように、従来の技術では、字幕の表示形態を変更しようとする場合、字幕情報のレンダリング処理に費やす時間を考慮せずに、字幕の表示形態を変えてしまうために、字幕の表示形態の変更は可能でも、字幕映像表示時刻に字幕を表示できない、もしくは、不完全な字幕を表示するという不都合がある。
【００１７】
本発明は、従来の課題を解決するために、予めコンテンツ製作者が定義した表示形態以外の形態で字幕表示する場合に、映像の崩れがない字幕を字幕映像表示時刻に表示させることができる映像再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１８】
前記従来の課題を解決するために、本発明の映像再生装置は、字幕付きの映像コンテンツを再生する映像再生装置であって、前記字幕に含まれる表示文字を示す情報と、予め定められた前記字幕の表示形態を示す情報と、前記字幕の表示時期を示す情報とを含む字幕情報を取得する字幕情報取得手段と、ユーザが指定する前記字幕の表示形態を取得する指定形態取得手段と、前記ユーザ指定の表示形態である前記字幕を生成するレンダリング処理が、前記表示時期に間に合うか否かを判定するレンダリング時間判定手段と、前記レンダリング時間判定手段により間に合わないと判定された場合に、前記ユーザ指定の表示形態を前記表示時期に表示可能な表示形態に修正した修正形態情報を作成する修正形態作成手段と、前記レンダリング時間判定手段により間に合わないと判定された場合に、前記予め定められた前記字幕の表示形態を前記修正形態情報に変更した前記字幕情報をレンダリングした字幕映像情報を出力し、前記レンダリング時間判定手段により間に合うと判定された場合に、前記ユーザが指定する前記字幕の表示形態で前記字幕情報をレンダリングした字幕映像情報を出力する字幕映像出力手段と、前記字幕映像情報を前記映像コンテンツに同期させた字幕付きの映像コンテンツを表示させる同期表示手段とを備える。
【００１９】
このように、ユーザが指定した表示形態での字幕表示のための処理が字幕の表示時期に間に合わない場合に、ユーザが指定した表示形態を字幕の表示時期に間に合うように変更する。これにより、ユーザが指定した表示形態に基づいて変更された字幕映像を、映像の崩れなく、しかも、その字幕の表示時期に表示することができ、字幕付きの映像コンテンツを閲覧するユーザの利便性を向上させることが可能となる。
【発明の効果】
【００２０】
本発明によれば、ユーザが指示する表示形態で字幕表示する場合に、字幕映像表示時刻に、映像の崩れがない字幕の表示が可能となる。また、字幕付きの映像コンテンツを閲覧するユーザの利便性を向上させることが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００２２】
（実施の形態１）
図１は、実施の形態１における再生装置１の構成を示すブロック図である。再生装置１は、字幕付きの映像コンテンツを再生する映像再生装置であって、光ディスクドライブ２０と、映像情報分離部３０と、字幕情報格納部４０と、主映像情報格納部５０と、音声情報格納部６０と、ユーザ操作受信部８０と、変更指示格納部９０と、字幕形態修正部１００と、字幕形態書換部１１０と、字幕デコーダ１２０、主映像デコーダ１４０と、音声デコーダ１６０と、映像同期部１９０とを備える。
【００２３】
また、本図に示す再生装置１は、光ディスク１０が着脱可能であり、ユーザが操作するリモートコントローラ７０からユーザの指示に基づく信号を受け、外部に接続されたスピーカ１８０から音声を出力させ、また、外部に接続されたモニタ等の表示部２２０に映像を表示させる。なお、これらの一部または全部は再生装置１に内臓されていてもよい。
【００２４】
光ディスク１０には再生するコンテンツが記録されている。光ディスクドライブ２０は、光ディスク１０に記録されているコンテンツの情報を読み出し、映像情報分離部３０に出力する。
【００２５】
映像情報分離部３０は、光ディスク１０から読み出された情報を取得し、取得した情報を主映像情報と、字幕情報と、音声情報とに分離する。映像情報分離部３０は、字幕情報を字幕情報格納部４０に、主映像情報を主映像情報格納部５０に、音声情報を音声情報格納部６０に格納する。
【００２６】
リモートコントローラ７０は、ユーザの操作にしたがって、信号をユーザ操作受信部８０に送る。ユーザ操作受信部８０は、送られた信号が字幕の表示形態の変更を指示するものであれば、指示された字幕の表示形態を変更指示情報として、変更指示格納部９０に一時格納する。
【００２７】
変更指示格納部９０に格納された変更指示情報は、字幕形態修正部１００に出力される。
【００２８】
字幕形態修正部１００は、変更指示情報を基に外部変更字幕形態情報を作成する。
字幕形態修正部１００は、字幕情報格納部４０に格納されている字幕情報を参照し、外部変更字幕形態情報の表示形態で字幕をレンダリングした場合、字幕情報に含まれる字幕映像表示時刻に表示できるかを判定し、間に合わないと判定した場合は、外部指示字幕形態情報を、字幕映像表示時刻に字幕が表示可能なレンダリング処理の時間内にレンダリングすることが可能な字幕形態に修正した表示保証字幕形態情報を出力する。
【００２９】
字幕形態書換部１１０は、表示保証字幕形態情報に従って、字幕情報格納部４０に格納された字幕情報の字幕形態情報を変更する。
【００３０】
字幕デコーダ１２０は、字幕情報格納部４０に格納された字幕情報を読み込み、字幕のレンダリング処理を行い、字幕映像信号を出力する。字幕デコーダ１２０は、自身が管理する内部バッファである字幕映像信号バッファ１３０に、字幕映像信号を一時的に格納する。
【００３１】
主映像デコーダ１４０は主映像情報格納部５０に格納されている主映像情報を読み込み、デコードして、主映像信号を出力する。主映像デコーダ１４０は、自身が管理する内部バッファである主映像信号バッファ１５０に、主映像信号を一時格納する。
【００３２】
音声デコーダ１６０は音声情報格納部６０に格納されている音声情報を読み込み、デコードして、音声信号を出力する。音声デコーダ１６０は、自身が管理する内部バッファである音声信号バッファ１７０に、音声信号を一時格納する。格納された音声信号は、出力時間になるとスピーカ１８０に出力される。
【００３３】
映像同期部１９０は、字幕プレーンバッファ２００と主映像プレーンバッファ２１０とを持つ。主映像信号は、表示する時刻までに主映像信号バッファから主映像プレーンバッファ２１０に出力され、表示時刻になると表示装置２２０に出力される。字幕映像信号は字幕表示時刻までに、字幕映像信号バッファ１３０から、字幕プレーンバッファ２００に出力される。字幕プレーンバッファ２００は字幕映像信号を一時格納し、字幕表示時刻に表示装置２２０に出力される。
【００３４】
次に、実施の形態１の光ディスク１０に記録されているコンテンツの情報について、説明する。
【００３５】
光ディスク１０には、コンテンツを構成する、主映像情報、字幕情報、音声情報が混在して記録されている。
【００３６】
主映像情報は、例えば、ＭＰＥＧ−２のフォーマットで記録されており、各パケットデータ内に、各アクセスユニット単位の映像を表示する時間である映像表示時刻ＰＴＳ（プレゼンテイションタイムスタンプ）とデコードを開始する時刻ＤＴＳ（デコードタイムスタンプ）とが記録されている。音声情報も同様にパケットデータ内に、各アクセスユニット単位のＰＴＳ、ＤＴＳが記述されている。
【００３７】
実施の形態１の字幕情報には、１度に表示する字幕映像のレンダリングに必要な字幕情報を１単位とした、サブタイトルセットが１つ以上含まれる。サブタイトルセットには、１度に表示する文字列をテキスト形式で定義したテキスト情報と、文字列を表示する字幕の大きさ、表示形態、色、表示位置、表示領域などを格納した字幕形態情報と、字幕を表示する時刻を定義した字幕映像表示時刻ＰＴＳと、字幕デコーダ１２０が字幕のレンダリング処理を開始する時刻ＤＴＳと、字幕を表示し続ける時間ＰＤＴ（プレゼンテーションデュレイションタイム）とが含まれる。以下、先頭から数えてｉ番目に表示する字幕の字幕映像表示時刻をＰＴＳ＿ＳＴ［ｉ］、字幕デコーダ１２０が字幕のレンダリング処理を開始する時刻をＤＴＳ＿ＳＴ［ｉ］、字幕を表示し続ける時間をＰＤＴ＿ＳＴ［ｉ］と書く。
【００３８】
字幕情報内には、１度に表示する字幕１セットに対して、１対１に対応したサブタイトルセットが存在する。また、字幕情報内では、サブタイトルセットは表示される順番に並んで記録されている。
【００３９】
コンテンツ製作者は、字幕のレンダリング処理が遅れて、不完全な字幕映像が表示されることはないように、サブタイトルセットの字幕形態情報と字幕映像表示時刻とを定義している。
【００４０】
次に、実施の形態１の再生装置１が実行する再生処理について、説明する。実施の形態１の再生装置１は、システムタイムクロックを持っており、システムタイムクロックは再生に必要な処理を行なわれる際の基準となる。以下、システムタイムクロックをＳＴＣと書く。
【００４１】
再生装置１において、再生がスタートすると、光ディスクドライブ２０は、自身の内部に持つディスクモータを回転駆動させ、光ディスク１０に記録されている情報を読み出す。光ディスクドライブ２０から読み出された情報は、映像情報分離部３０に出力され、主映像情報と、字幕情報と、音声情報とに分離される。
【００４２】
映像情報分離部３０は、字幕情報を字幕情報格納部４０に格納し、主映像情報を主映像情報格納部５０に格納し、音声情報を音声情報格納部６０に格納する。
【００４３】
主映像情報を構成する各パケットデータは、各パケットデータに含まれるＤＴＳがＳＴＣと同じ時刻になると、主映像デコーダ１４０に出力される。主映像デコーダ１４０は、前記パケットデータが入力されると、デコードを行い、主映像信号を出力する。
【００４４】
出力された主映像信号は、主映像デコーダ１４０が管理する内部バッファである主映像信号バッファ１５０に格納される。
【００４５】
主映像信号バッファ１５０に出力された主映像信号は、ＳＴＣがデコード前のパケットに定義されていたＰＴＳになると、映像同期部１９０に出力される。映像同期部１９０は、主映像信号を映像同期部１９０が管理するメモリ上の主映像プレーンバッファ２１０内に格納する。
【００４６】
主映像プレーンバッファ２１０に格納された主映像信号は、ＳＴＣがＰＴＳ時刻になると、表示部２２０に出力される。
【００４７】
音声情報は、パケットデータのＤＴＳがＳＴＣと同じ時刻になったときに、音声情報バッファから音声デコーダ１６０に出力される。音声デコーダ１６０は、音声情報のパケットデータをデコードし、音声信号を出力する。出力された音声信号は、音声信号バッファ１７０に格納され、ＳＴＣがＰＴＳになると、スピーカ１８０に出力される。
【００４８】
字幕表示処理について、図２を参照して説明する。図２は、本発明の実施の形態１の再生装置１が実行する字幕表示処理を示すフローチャートである。本図では、次に表示する字幕のサブタイトルセットは先頭からｉ番目とする。
【００４９】
ユーザ操作受信部８０は、ユーザが字幕の表示形態の変更を指示したかを判定する（ステップＳ１０）。ユーザがリモートコントローラ７０用いて、字幕の表示形態を変更する指示を出すと、リモートコントローラ７０は信号を発信する。
【００５０】
ユーザ操作受信部８０が、上記の信号を受信した場合（ステップＳ１０でＹＥＳ）、ステップＳ２０に進み、受信していない場合（ステップＳ１０でＮＯ）、ステップＳ３０に進む。ただし、ユーザから字幕の表示形態の変更が指示された時刻に、次に表示する字幕のレンダリング処理がすでに始まっていた場合は、ステップＳ３０に進む。
【００５１】
字幕形態修正部１００および字幕形態書換部１１０は、表示形態変更処理を行う（ステップＳ２０）。字幕形態修正部１００は、ユーザから指示された字幕の表示形態である外部指示字幕形態情報を作成する。字幕形態修正部１００は、外部指示字幕形態情報の表示形態で字幕映像表示時刻に字幕を表示ができる場合は、字幕情報格納部４０に格納されているサブタイトルセットの字幕形態情報を、外部指示字幕形態情報に基づいて、書き換える。また、字幕形態修正部１００は、外部指示字幕形態情報の表示形態での字幕の表示が字幕映像表示時刻に間に合わない場合は、間に合う表示形態となるように外部指示字幕形態情報を修正する。字幕形態書換部１１０は、修正した外部指示字幕形態情報を基に、字幕情報格納部４０に格納されているサブタイトルセットの字幕形態情報を書き換える。表示形態変更処理の詳細な説明は後述する。
【００５２】
字幕情報格納部４０に格納された字幕のサブタイトルセットは、ＳＴＣがＤＴＳ＿ＳＴ［ｉ］と同時刻になると、字幕情報格納手段４０から字幕デコーダ１２０に読み込まれる（ステップＳ３０）。
【００５３】
字幕デコーダ１２０は、ｉ番目のサブタイトルセットの読み込みを完了すると、レンダリング処理を開始する（ステップＳ４０）。すなわち、字幕デコーダ１２０は、入力されたサブタイトルセット内のテキスト情報に定義された文字列を、字幕形態情報で定義された表示形態で、レンダリング処理を行なう。レンダリング処理により、表示用のビットマップ情報に変換された字幕映像信号は、字幕映像信号バッファ１３０に出力される。字幕映像バッファは字幕デコーダ１２０が管理するバッファである。
【００５４】
ｉ番目のサブタイトルセットのレンダリング処理が完了すると、字幕映像信号バッファ１３０にある字幕表示信号は、映像同期部１９０が管理する字幕プレーンバッファ２００内に出力され、一時格納される（ステップＳ５０）。
【００５５】
映像同期部１９０は、主映像信号をＳＴＣが各パケットに設定されたＰＴＳ時間がなったときに表示部２２０に出力し、ＳＴＣがＰＴＳ＿ＳＴ［ｉ］になった時に、字幕映像信号を表示部２２０に出力する（ステップＳ６０）。映像同期部１９０は、ＳＴＣがＰＴＳ＿ＳＴ［ｉ］から、ＰＤＴ＿ＳＴ［ｉ］時間が経過するまで、ｉ番目の字幕映像信号を表示部２２０に出力し続ける。
【００５６】
同時刻に、主映像、字幕映像の両方を表示部２２０に出力する場合は、映像同期部１９０は、主映像信号と字幕映像信号を合成して、表示部２２０に出力する。
【００５７】
上記により、コンテンツ製作者が意図した時刻に、表示部２２０に主映像信号、字幕映像信号、音声信号を出力できるので、それぞれを同期して出力できる。
【００５８】
次に、表示形態変更処理の詳細について、図３を参照して説明する。図３は、本発明の実施の形態１の再生装置１が実行する表示形態変更処理の詳細を示すフローチャートである。字幕の表示形態は、先頭から数えて、ｉ番目の字幕から変更する。
【００５９】
実施の形態１では、コンテンツ制作者が定義した字幕形態は、フォントの種類が明朝で、外枠がなく、文字の大きさが３０ｐｔである。また、ｉ番目のサブタイトルセットのレンダリング時間ＲＴ［ｉ］は３ｓｅｃで、文字数は２０文字であるとする。ユーザがリモートコントローラ７０を用いて、字幕の文字を６０ｐｔの大きさにするように指示したとする。なお、これらの字幕形態やレンダリング時間ＲＴ［ｉ］は一例であって、ここに挙げたものに限られない。
【００６０】
ユーザ操作受信部８０は、リモートコントローラ７０からの信号を受信し、ユーザが字幕の文字の大きさを６０ｐｔに変更するように指示したことを検知すると、ユーザ操作受信部８０は、このユーザに指示された字幕形態を変更指示情報として、変更指示格納部９０に一時格納する。
【００６１】
字幕形態修正部１００は、変更指示格納部９０に格納されている変更指示情報を参照し、外部指示字幕形態情報を作成する（ステップＳ１００）。
【００６２】
ここで、図４は、本発明の実施形態１における、外部変更字幕形態情報のフォーマットの例を示す図である。外部変更字幕形態情報は図４に例示するように、表示形態の要素ごとにどのように変更するかを記述した表のように定義する。本図は、例えば、形態のうち「文字の大きさ」を「６０」ｐｔに変更し、その他を「変更なし」とする外部変更字幕形態情報の例を示す。
【００６３】
字幕形態修正部１００は、字幕情報格納部４０にアクセスし、字幕情報格納部４０に格納されている、次に表示するサブタイトルセット内に格納されている字幕映像表示時刻を参照し、レンダリング処理に費やせる時間ＲＴを計算する（ステップＳ２００）。
【００６４】
バッファから情報を読み込んだり、バッファに情報を格納したりする処理に時間が無視できる程小さい場合、上記の処理により、字幕デコーダ１２０はＰＴＳ＿ＳＴ［ｉ］までにレンダリングを終了すれば、ＰＴＳ＿ＳＴ［ｉ］時刻までに、字幕映像プレーンバッファ２００に字幕映像情報を格納することができる。したがって、ｉ番目の字幕サブタイトルセットのレンダリング処理に費やせるＲＴ［ｉ］は、
【数１】
2008016946.tif 000003
によって求めることができる。
【００６５】
字幕形態修正部１００は、変更指示格納部９０にアクセスし、外部変更字幕形態情報を読み込む（ステップＳ３００）。次に、字幕形態修正部１００は、字幕情報格納部４０にアクセスし、ｉ番目のサブタイトルセット情報を参照する。字幕形態修正部１００は、参照したサブタイトルセットの字幕形態情報を外部変更字幕形態情報にあわせて変更した場合、レンダリング処理にどのくらい時間がかかるかを計算する。
【００６６】
このレンダリング処理の時間の計算は、字幕デコーダ１２０のレンダリング処理の性能を示したレンダリング処理性能表を利用することにより実現できる。レンダリング処理性能表は、字幕表示形態のパターンごとに、１文字あたりのレンダリング処理にかかる最大の時間を示すものである。
【００６７】
レンダリング処理性能表は、字幕デコーダ１２０のレンダリング処理の性能を、コンテンツの規格でサポートする字幕の表示形態のパターンについて、実際に測定することによって、作成することができる。実施の形態１の再生装置１の前記レンダリング処理性能表は図５に示すものであるとする。
【００６８】
図５は、本発明の実施形態１における、レンダリング処理性能表の例を示す図である。図５の実施の形態１の再生装置１のレンダリング処理性能表は、例えば、文字の大きさが６１ｐｔの時は、１文字のレンダリング処理に８０ｍｓｅｃかかることを示す。よって、ユーザが指示した表示形態に変更した場合にレンダリング処理にかかる時間ＲＴ＿ｍｏｄ［ｉ］は、
【数２】
2008016946.tif 000004
となる。
【００６９】
字幕形態修正部１００は、ｉ番目のサブタイトルセットについて、ＲＴ［ｉ］とＲＴ＿ｍｏｄ［ｉ］の比較を行う（ステップＳ４００）。ＲＴ［ｉ］がＲＴ＿ｍｏｄ［ｉ］以上の場合（ステップＳ４００でＮＯ）、ステップＳ５００に進み、ＲＴ＿ｍｏｄ［ｉ］がＲＴ［ｉ］より大きい場合（ステップＳ４００でＹＥＳ）、ステップＳ６００に進む。
【００７０】
上記の場合は、ＲＴ［ｉ］の方が大きいので、ステップＳ５００に進む。
ユーザから指示された字幕の表示形態でｉ番目のサブタイトルセットをレンダリングした場合、ＰＴＳ＿ＳＴ［ｉ］時刻で字幕を表示できるので、字幕形態修正部１００は、外部変更字幕形態情報を基に、表示保証字幕形態情報を作成し、字幕形態書換部１１０に出力する（ステップＳ５００）。
【００７１】
実施の形態１の再生装置１では、表示保証字幕形態情報と外部変更字幕形態情報とを同一のフォーマットとする。
【００７２】
字幕形態書換部１１０は、字幕情報格納部４０に格納されている、次に表示するｉ番目のサブタイトルセットの字幕表示形態情報を、表示保証字幕形態情報に記述されている字幕の表示形態と同じ表示形態になるように書き換える（ステップＳ８００）。上記の例の場合は、サブタイトルセットの字幕表示形態情報のメンバ変数として定義している、文字の大きさを示すパラメータを６０ｐｔに書き換える。
【００７３】
前記のような処理を行うことにより、次に表示するサブタイトルセットを、字幕デコーダ１２０によってレンダリングされる前に、ユーザが変更を指示した字幕形態に書き換えることができる。書き換えられたサブタイトルセットの字幕の表示形態は、字幕デコーダ１２０でのレンダリング処理の時間が、字幕をＰＴＳに表示することを保証する時間になっている。よって、上記のステップＳ３０からステップＳ６０までの手順を踏めば、字幕をＰＴＳ＿ＳＴ［ｉ］に字幕を表示することができる。
【００７４】
次に、ＳＴＣがｋ番目のサブタイトルをレンダリングする直前の時刻に、ユーザが、外枠ありで、外枠の色が黒で、８０ｐｔの文字の大きさである字幕を表示するように指示したとする。
【００７５】
この場合、ステップＳ１００とステップＳ２００とでは、上記と同様の処理が実行される。ＲＴ［ｋ］は３ｓｅｃ、ｋ番目のサブタイトルセットの文字数は２０であるとする。
【００７６】
字幕形態修正部１００は、参照したサブタイトルセットの字幕形態情報を外部変更字幕形態情報にあわせて変更した場合、レンダリング処理にどのくらい時間がかかるかを計算する。図５のレンダリング処理性能表によると、文字の大きさが８０ｐｔで外枠アリの場合は、１文字に１６０ｍｓｅｃかかるため、
【数３】
2008016946.tif 000005
となる（ステップＳ３００）。
【００７７】
字幕形態修正部１００により、ＲＴ＿ｍｏｄ［ｋ］の方が大きいことが判定され（ステップＳ４００でＹＥＳ）、字幕形態修正部１００は、ステップＳ６００における処理を実行する。
【００７８】
ユーザが指示した字幕形態では字幕の表示がＰＴＳ＿ＳＴに間に合わないので、字幕形態修正部１００は、ユーザに指示した字幕の表示形態に一番近く、かつ、レンダリング処理の時間が字幕映像表示時刻に間に合う字幕表示形態を探す（ステップＳ６００）。
【００７９】
上記の場合、字幕形態修正部１００は、レンダリング処理性能表を参照し、８０ｐｔ、外枠アリに一番近く、かつ、レンダリング処理の時間が字幕映像表示時刻に間に合う字幕表示形態を、図５の実施の形態１の再生装置１の前記レンダリング処理性能表から探す。
【００８０】
図５より、字幕の文字の大きさが６０ｐｔ、字幕アリの形態であれば、１文字当たり１２０ｍｓｅｃのレンダリング処理時間でレンダリングできることがわかる。よって、字幕の文字の大きさが６０ｐｔ、字幕アリの形態でのｉ番目のサブタイトルセットのレンダリング時間は、１２０×２０＝２．４ｓｅｃとなる。
【００８１】
また、字幕の文字の大きさが６１ｐｔ、字幕アリの形態であれば、１文字当たり１６０ｍｓｅｃのレンダリング処理時間でレンダリングできるので、この表示形態でのｉ番目のサブタイトルセットのレンダリング時間は、１６０×２０＝３．２ｓｅｃとなる。
【００８２】
よって、ユーザが指示した字幕形態に一番近く、かつ、ＰＴＳ＿ＳＴ［ｉ］時刻に表示できる表示形態は、６０ｐｔ、字幕アリの字幕形態となる。
【００８３】
ここで、ユーザに指示した字幕の表示形態に一番近く、かつ、レンダリング処理の時間が字幕映像表示時刻に間に合う字幕表示形態を探す具体的な処理としては（ステップＳ６００）、例えば、予め定めた順で文字の大きさ、外枠、ｆｏｎｔを変更することにより、字幕映像表示時刻に間に合う字幕表示形態を探す方法がある。
【００８４】
なお、字幕映像表示時刻に間に合う字幕表示形態を探すためには、文字の大きさのみを変更することとしてもよい。
【００８５】
さらに、文字の大きさを変更する場合は、１文字あたりのレンダリング処理時間がユーザに指示した字幕の表示形態より短い文字の大きさの中で最大のものを段階的に探しても良い。すなわち、例えば、ユーザに指示した字幕の表示形態の文字の大きさが８０ｐｔの場合は、６０ｐｔとした場合に間に合うかを判断し、間に合う場合は６０ｐｔとし、間に合わない場合は４０ｐｔとして順次判断してもよい。
【００８６】
字幕形態修正部１００は、ステップＳ６００で検索した、ユーザが指示した字幕形態に一番近く、かつ、ＰＴＳ＿ＳＴ［ｉ］時刻に表示できる表示形態である表示保証字幕形態情報を作成し、字幕形態書換部１１０に出力する（ステップＳ７００）。実施の形態１のｋ番目のサブタイトルセットの場合、上記より、字幕形態修正部１００は、字幕形態を外枠アリ、文字の大きさ６０ｐｔである表示保証字幕形態情報を作成し、字幕形態書換部１１０に出力する。
【００８７】
字幕形態書換部１１０は、上記と同様に、字幕情報バッファ内に格納してある、次に表示するサブタイトルセット（ｋ番目）の字幕表示形態情報を前記表示保証字幕形態情報に記述してある字幕の表示形態と同じ表示形態になるように書き換える（ステップＳ８００）。この例の場合は、サブタイトルセットの字幕表示形態情報のメンバ変数として定義している、文字の大きさを示すパラメータが６０ｐｔとなるように、外枠の有無を表すパラメータが外枠アリとなるように、外枠の色を表すパラメータが黒色となるように、字幕表示形態に書き換える。
【００８８】
前記のような処理を行うことにより、ｋ番目のサブタイトルセットの字幕形態情報はＰＴＳ＿ＳＴ時刻での字幕の表示が可能な字幕形態になっているので、ステップＳ３０からステップＳ６０までの処理を行えば、ｋ番目の字幕をＰＴＳ＿ＳＴ［ｋ］時刻に表示することができる。
【００８９】
上記のようなｋ番目のサブタイトルセットに対する処理を、ｋ番目以降の字幕でも、ユーザが指示した字幕の表示形態で字幕を表示し続けることができる。もし、ユーザが指示した字幕の表示形態で字幕を表示できないサブタイトルセットに対しては、ＰＴＳ＿ＳＴ［ｋ］時刻に表示可能で、かつ、一番近い字幕形態で、字幕を表示できる。
【００９０】
（実施の形態２）
図６は、本発明の実施の形態２の再生装置２３０の構成を示すブロック図である。図６において、図１と同じ構成要素については同じ符号を用い、ここでの説明を省略する。
【００９１】
実施の形態２の字幕形態修正部２４０は、字幕情報格納部４０に格納されている字幕情報を参照し、外部変更字幕形態情報の表示形態で字幕をレンダリングした場合、字幕情報内の字幕映像表示時刻に表示できるかを判定し、間に合わないと判定した場合は、外部指示字幕形態情報を、字幕映像表示時刻に字幕が表示可能なレンダリング処理の時間内にレンダリングすることが可能な字幕形態に修正した表示保証字幕形態情報を作成する。
【００９２】
さらに、字幕形態修正部２４０は、表示保証字幕形態情報で字幕をレンダリングした場合、サブタイトルセットで定義された字幕表示領域内に字幕を表示できるか否かを判定し、サブタイトルセットで定義された字幕表示領域内に字幕を表示できないと判定した場合は、サブタイトルセットで定義された字幕表示領域内に字幕を表示できるように前記表示保証字幕形態情報を修正し、出力する。
【００９３】
光ディスク１０に格納されている情報は、実施の形態１と同じである。
実施の形態２の字幕表示処理は実施の形態１と同様であるため、説明は省略する。
【００９４】
図７は、実施の形態２の再生装置２３０が実行する表示形態変更処理の詳細を示すフローチャートである。図７を参照しながら、実施の形態２の再生装置２３０の表示形態変更処理について、説明する。
【００９５】
図７において、図３と同じ処理については同じ符号を用い、ここでの説明を省略する。
字幕形態修正部２４０は、字幕情報バッファにアクセスし、字幕情報バッファ内に格納されている、次に表示するサブタイトルセット内に格納されている字幕映像表示時刻を参照し、レンダリング処理に費やせる時間ＲＴを計算する（ステップＳ１０００）。ＲＴの計算方法は、実施の形態１のステップＳ２００と同様である。
【００９６】
字幕形態修正部２４０は、変更指示格納部９０にアクセスし、外部変更字幕形態情報を読み込んだ後に、字幕情報格納部４０にアクセスし、ｉ番目のサブタイトルセット情報を参照して、参照したサブタイトルセットの字幕形態情報を外部変更字幕形態情報にあわせて変更した場合、レンダリング処理にどのくらい時間がかかるかを計算する（ステップＳ１１００）。レンダリング処理にかかる時間の計算方法は、実施の形態１のステップＳ３００と同様である。
【００９７】
字幕形態修正部２４０は、ｉ番目のサブタイトルセットについて、ＲＴ［ｉ］とＲＴ＿ｍｏｄ［ｉ］の比較を行う（ステップＳ１２００）。ＲＴ［ｉ］がＲＴ＿ｍｏｄ［ｉ］以上である場合（ステップＳ１２００でＮＯ）、ステップＳ１３００に進み、ＲＴ＿ｍｏｄ［ｉ］がＲＴ［ｉ］より大きい場合（ステップＳ１２００でＹＥＳ）、ステップＳ１４００に進む。ＲＴ＿ｍｏｄの計算方法は、実施の形態１と同様である。
【００９８】
ＲＴ［ｉ］がＲＴ＿ｍｏｄ［ｉ］以上である場合（ステップＳ１２００でＮＯ）、ユーザから指示された字幕の表示形態でｉ番目のサブタイトルセットをレンダリングでは、ＰＴＳ＿ＳＴ［ｉ］時刻で字幕を表示できることがわかったので、字幕形態修正部２４０は、外部変更字幕形態情報を基に、表示保証字幕形態情報を作成し、字幕形態書換部１１０に出力する（ステップＳ１３００）。
【００９９】
ＲＴ＿ｍｏｄ［ｉ］がＲＴ［ｉ］より大きい場合（ステップＳ１２００でＹＥＳ）、ユーザが指示した字幕形態では字幕の表示がＰＴＳ＿ＳＴに間に合わないので、字幕形態修正部２４０は、ユーザに指示した字幕の表示形態に一番近く、かつ、レンダリング処理の時間が字幕映像表示時刻に間に合う字幕表示形態を探す（ステップＳ１４００）。レンダリング処理の時間が字幕映像表示時刻に間に合う字幕表示形態を探す方法は実施の形態１の図３に示すステップＳ６００と同様である。
【０１００】
字幕形態修正部２４０は、ステップＳ６００で検索した、ユーザが指示した字幕形態に一番近く、かつ、ＰＴＳ＿ＳＴ［ｉ］時刻に表示できる表示形態である表示保証字幕形態情報を作成する（ステップＳ１５００）。
【０１０１】
字幕形態修正部２４０は、前記表示保証字幕形態情報の表示形態でｉ番目のサブタイトルセットをレンダリングした場合、ｉ番目に表示する字幕の文字全てが、ｉ番目のサブタイトルセットで定義されている表示領域内に収まっているかどうかを判定する（ステップＳ１６００）。
【０１０２】
字幕形態修正部２４０は、字幕情報格納部４０に格納されているｉ番目のサブタイトルセットの字幕形態情報を参照する。
【０１０３】
ここで、字幕形態情報を表示保証字幕形態情報の表示形態となるように変更した場合の、表示領域の水平方向の長さをＲ＿ｘ、垂直方向の長さがＲ＿ｙとする。ｉ番目のサブタイトルセットの文字数をｎとし、行数を１とする。ｉ番目のサブタイトルセットの字幕の文字の大きさがＣ＿ｓｉｚｅとする。また、Ｃ＿ｓｉｚｅの時の、１文字当りの水平方向の長さをＣ＿ｘ、垂直方向の長さをＣ＿ｙとする。
【０１０４】
表示保証字幕形態情報の表示形態でｉ番目のサブタイトルセットをレンダリングした場合、ｉ番目に表示する字幕の文字全てが表示領域内に収まっているかどうかを以下のように判定する。
【０１０５】
すなわち、
【数４】
2008016946.tif 000006
【数５】
2008016946.tif 000007
の２つの不等式が成り立つ場合は、ｉ番目に表示する字幕の文字全てが表示領域内に収まっていると判定する。
【０１０６】
表示保証字幕形態情報の表示形態でｉ番目のサブタイトルセットをレンダリングした場合に、ｉ番目に表示する字幕の文字全てが表示領域内に収まっていると判定された場合は、ステップＳ８００に進み、それ以外の場合はステップＳ１７００に進む。
【０１０７】
字幕形態書換部１１０は、ｉ番目のサブタイトルセットをレンダリングした場合、表示領域内に収まるように、表示保証字幕形態情報を修正する（ステップＳ１７００）。
【０１０８】
【数６】
2008016946.tif 000008
【数７】
2008016946.tif 000009
で求められる、Ｃ＿ｘ＿ｎｅｗとＣ＿ｙ＿ｎｅｗとを算出する。
【０１０９】
上記、Ｃ＿ｓｉｚｅのＣ＿ｘとＣ＿ｙとがそれぞれ、Ｃ＿ｘ＿ｎｅｗとＣ＿ｙ＿ｎｅｗとより小さい字幕の文字の大きさであるＣ＿ｓｉｚｅ＿ｎｅｗを検索する。
【０１１０】
字幕形態書換部１１０は、表示保証字幕形態情報内の文字の大きさを表すパラメータをＣ＿ｓｉｚｅ＿ｎｅｗに修正し、ステップＳ８００に進む。
【０１１１】
ステップＳ８００以降の処理は、実施の形態１と同様であるため、ここでの説明は省略する。
【０１１２】
上記のような処理を、各サブタイトルセットについて行うことにより、ユーザが指示した字幕の表示形態、もしくは、表示保証字幕形態情報で字幕を表示した場合に、表示する字幕の文字が必ず表示領域内に収まるようにすることが可能となる。
【０１１３】
（実施の形態３）
図８は、本発明の実施の形態３の再生装置２５０の構成を示すブロック図である。図８において、図１と同じ構成要素については同じ符号を用い、ここでの説明は省略する。
【０１１４】
字幕形態修正部２６０は、字幕情報格納部２６０に格納している字幕情報をレンダリングする場合に、字幕を字幕情報内に定義された字幕映像表示時刻に表示できるかどうかを判定し、字幕映像表示時刻に表示できないと判定した場合は、字幕を字幕映像表示時刻に表示可能な字幕情報に修正した表示保証字幕形態情報を出力する。
【０１１５】
光ディスク１０に格納されている情報は、実施の形態１と同じである。
図９は、実施の形態３の再生装置２５０が実行する字幕表示処理のフローチャートである。図９において、実施の形態１の字幕表示処理のフローチャートである図２と同じ処理については同じ符号を用い、ここでの説明を省略する。次に表示する字幕は、先頭からｉ番目であるとする。
【０１１６】
字幕形態修正部１００および字幕形態書換部１１０は、表示形態修正処理を行う（ステップＳ７０）。字幕形態修正部１００は、字幕情報格納部４０に格納されているｉ番目のサブタイトルセットをレンダリングする場合に、字幕を字幕情報内に定義された字幕映像表示時刻ＰＴＳ＿ＳＴ［ｉ］に表示できるかどうかを判定する。字幕形態修正部１００は、字幕映像表示時刻に表示できないと判定された場合は、ｉ番目のサブタイトルセットの字幕形態情報をＰＴＳ＿ＳＴ［ｉ］に表示可能な字幕形態に修正し、ステップＳ３０に進む。
【０１１７】
ステップＳ４０からステップＳ６０は、実施の形態１と同様である。そのため、ここでの説明は省略する。
【０１１８】
図１０は、実施の形態３の再生装置２５０が実行する表示形態修正処理の詳細を示すフローチャートである。図１０を参照しながら、実施の形態３の再生装置２５０の表示形態変更処理について、説明する。図１０において、図３と同じ処理については同じ符号を用い、ここでの説明を省略する。
【０１１９】
字幕形態修正部２６０は、字幕情報バッファにアクセスし、字幕情報バッファ内に格納されている、次に表示するサブタイトルセット内に格納されている字幕映像表示時刻を参照し、レンダリング処理に費やせる時間ＲＴを計算する（ステップＳ２１００）。
【０１２０】
ｉ番目のサブタイトルのレンダリング処理に費やせる時間ＲＴ［ｉ］の計算方法は、ステップＳ２００のＲＴ［ｉ］の計算方法と同様である。
【０１２１】
字幕形態修正部２６０は、字幕情報格納部４０にアクセスし、ｉ番目のサブタイトルセット情報を参照して、参照したサブタイトルセットのレンダリング処理にかかる時間ＲＴ＿ｒｅａｌ［ｉ］を計算する（ステップＳ２２００）。
【０１２２】
このＲＴ＿ｒｅａｌ［ｉ］の計算方法は、実施の形態１のステップＳ３００における、レンダリング処理性能表を利用したＲＴ＿ｍｏｄの計算方法と同様である。
【０１２３】
字幕形態修正部１００は、ｉ番目のサブタイトルセットについて、ＲＴ［ｉ］とＲＴ＿ｒｅａｌ［ｉ］とを比較する（ステップＳ２３００）。
【０１２４】
ＲＴ［ｉ］がＲＴ＿ｒｅａｌ［ｉ］以上の場合（ステップＳ２３００でＮＯ）、字幕形態修正部１００は、ｉ番目のサブタイトルセットの表示形態変更処理を終了する。ＲＴ＿ｒｅａｌ［ｉ］がＲＴ［ｉ］より大きい場合（ステップＳ２３００でＹＥＳ）、字幕形態修正部１００は、ＰＴＳ＿ＳＴ［ｉ］時刻にｉ番目のサブタイトルセットの字幕を表示できないので、字幕形態を修正するために、ステップＳ２４００に進む。
【０１２５】
すなわち、ＲＴ＿ｒｅａｌ［ｉ］の方が大きい場合（ステップＳ２３００でＹＥＳ）、字幕形態修正部１００は、ユーザが指示した字幕形態では字幕の表示がＰＴＳに間に合わないので、字幕形態修正部２６０は、実施の形態１のステップＳ６００と同様の方法で、ユーザに指示した字幕の表示形態に一番近く、かつ、レンダリング処理の時間が字幕映像表示時刻に間に合う字幕表示形態を探す（ステップＳ２４００）。
【０１２６】
字幕形態修正部２６０は、ステップＳ２４００で検索した、ユーザが指示した字幕形態に一番近く、かつ、ＰＴＳ＿ＳＴ［ｉ］時刻に表示できる表示形態である表示保証字幕形態情報を作成する（ステップＳ２５００）。
【０１２７】
字幕形態修正部２６０は、次の字幕の字幕形態情報の書き換え処理（Ｓ８００）を実行する。Ｓ８００での処理は、図３を参照して説明したため、ここでの説明は省略する。
【０１２８】
以上のような処理により、ｋ番目のサブタイトルセットの字幕形態情報はＰＴＳ＿ＳＴ時刻での字幕の表示が可能な字幕形態になっているので、ステップＳ３０からステップＳ６０までの処理を行えば、ｋ番目の字幕をＰＴＳ＿ＳＴ［ｋ］時刻に表示できる。
【０１２９】
実施の形態３の再生表示は先頭のサブタイトルセットから最後のサブタイトルセットに対して、Ｓ７０からＳ６０の処理を行うことにより、表示形態修正処理を行う。これにより、ｉ番目のサブタイトルセットの字幕形態情報がＰＴＳ＿ＳＴ［ｉ］に表示できない字幕形態であった場合でも、ｉ番目のサブタイトルセットの字幕形態情報にもっとも近く、かつ、ＰＴＳ＿ＳＴ［ｉ］時刻に表示可能な字幕形態に修正することができるので、映像の崩れていない、完全な字幕映像をＰＴＳ＿ＳＴ［ｉ］時刻に表示できる。
【０１３０】
以上、本発明の実施の形態１、実施の形態２および実施の形態３について説明したが、発明は、これらの実施の形態に限定されるものではない。
【０１３１】
実施の形態１、実施の形態２、及び実施の形態３では、光ディスク１０に記録させている情報は、主映像情報と、字幕情報と、音声情報との３つの種類のみであったが、これら以外の情報を含んでいても良い。
【０１３２】
実施の形態１、実施の形態２、及び実施の形態３では、上記のように、各サブタイトルセットに字幕形態情報が含まれる字幕情報のフォーマットとしたが、字幕形態情報がサブタイトルセットに含まれなくても良い。この場合、例えば、字幕形態情報が別の配列として定義され、各サブタイトルセットが字幕形態情報を参照するためにＩＤ情報を持つフォーマットとして、サブタイトルセットと字幕形態情報とを関連付けることにより、実施の形態１、実施の形態２、及び実施の形態３と同様に、字幕形態情報に基づくサブタイトルセットの表示ができる。
【０１３３】
実施の形態１、実施の形態２、及び実施の形態３では、上記のように、各サブタイトルセットが字幕形態情報を持つ字幕情報のフォーマットとしたが、表示する文字列がサブタイトルセットとは別に格納されており、各サブタイトルセットは、自身の文字列を参照するためのＩＤ情報を持つフォーマットでも良い。
【０１３４】
実施の形態１、実施の形態２、及び実施の形態３では、表示保証字幕形態情報のフォーマットを外部変更字幕形態情報のフォーマットと同じにしたが、表示保証字幕形態情報のフォーマットを字幕形態情報のフォーマットと同一にしても良い。
【０１３５】
実施の形態１、実施の形態２、及び実施の形態３では、表示保証字幕形態情報のフォーマットと外部変更字幕形態情報のフォーマットとが同じであるとしたが、表示保証字幕形態情報のフォーマットと外部変更字幕形態情報のフォーマットとは異なっていても良い。
【０１３６】
実施の形態１、実施の形態２、及び実施の形態３の字幕情報のフォーマットでは、各サブタイトルセットのＤＴＳ＿ＳＴが定義されていることとしたが、各サブタイトルセットのＤＴＳ＿ＳＴが定義されていないフォーマットでも良い。各サブタイトルセットのＤＴＳ＿ＳＴが定義されていない場合は、例えば、先頭から数えてｉ番目に表示する字幕のサブタイトルセットのデコード開始時間ＤＳＴ＿ＳＴ［ｉ］を、ひとつ前の字幕サブタイトルセットのＰＴＳ＿ＳＴ［ｉ−１］と同値とすることにより、字幕を字幕映像表示時刻に表示することができる。
【０１３７】
ＳＴＣがＰＴＳ＿ＳＴ［ｉ−１］以降であれば、字幕デコーダ１２０での１つ前の字幕のレンダリング処理は必ず終了しているので、２つのサブタイトルセットのレンダリング処理を同じ時間帯に１つの字幕デコーダ１２０に要求することが回避できる。また、ＰＴＳ＿ＳＴ［ｉ−１］以降であれば、ｉ−１番目の字幕映像信号が字幕プレーンバッファ２００に読み込まれているので、ｉ番目の字幕映像信号を字幕映像バッファに出力して、ｉ−１番目の字幕映像信号が上書きされても、問題ない。
【０１３８】
実施の形態１、実施の形態２、及び実施の形態３の字幕情報のフォーマットでは、字幕を表示する時間を、字幕映像表示時刻ＰＴＳ＿ＳＴ時刻から字幕を表示し続ける時間をＰＤＴ＿ＳＴで、字幕を表示する時間を定義したが、ＰＤＴ＿ＳＴの代わりに、字幕の表示を終える時刻をフォーマットにしても良い。
【０１３９】
実施の形態１、実施の形態２、及び実施の形態３では、コンテンツの情報が記録されている媒体は光ディスクであったが、ハードディスクや、半導体メモリであっても良い。
【０１４０】
実施の形態１では、ステップＳ３００において、字幕形態修正部２４０では、レンダリング処理性能表を用いて、字幕形態情報を外部変更字幕形態情報に従った表示形態の場合、サブタイトルセットのレンダリング処理にどのくらい時間がかかるかを計算したが、擬似的にデコードし、計算しても良い。
【０１４１】
この場合、字幕形態情報を外部変更字幕形態情報にあわせて変更したサブタイトルセットを字幕デコーダに読み込ませ、レンダリング処理を開始した時刻から、レンダリング処理を終了した時刻を計測することにより、サブタイトルセットのレンダリング処理に要する時間を求めることができる。
【０１４２】
実施の形態２では、ステップＳ１１００において、字幕形態修正部２４０では、レンダリング処理性能表を用いて、字幕形態情報を外部変更字幕形態情報に従った表示形態の場合、サブタイトルセットのレンダリング処理にどのくらい時間がかかるかを計算したが、擬似的にデコードし、計算しても良い。
【０１４３】
実施の形態３では、ステップＳ２２００において、字幕形態修正部２６０では、レンダリング処理性能表を用いて、サブタイトルセットのレンダリング処理にどのくらい時間がかかるかを計算したが、擬似的にデコードし、計算しても良い。
【０１４４】
この場合、次に表示するサブタイトルセットを字幕デコーダに読み込ませ、レンダリング処理を開始した時刻から、レンダリング処理を終了した時刻を計測することにより、サブタイトルセットのレンダリング処理にどのくらい時間がかかるかを求めることができる。
【０１４５】
実施の形態１のステップＳ２００、及び実施の形態２のステップＳ１０００、実施の形態３のステップＳ２１００において、バッファから情報を読み込んだり、バッファに情報を格納したりする処理に時間が無視できない場合は、後述のようにｉ番目に表示する字幕のレンダリング時間ＲＴ［ｉ］を求める。
【０１４６】
すなわち、字幕デコーダ１２０が字幕情報格納部４０からサブタイトルセットを読み込む時間をＴ１［ｉ］と、字幕映像信号バッファ１３０から字幕映像プレーン１９０に１サブタイトルセット分の字幕映像信号を転送する時間Ｔ２［ｉ］とすると、
【数８】
2008016946.tif 000010
によって求めることができる。
【０１４７】
実施の形態１、実施の形態２、及び実施の形態３では、字幕デコーダ１２０で色信号を字幕映像信号に付与したが、字幕映像信号バッファ１３０で付与しても、字幕プレーンバッファ２００で付与しても良い。
【０１４８】
実施の形態１では、ユーザが指示した字幕形態では字幕の表示がＰＴＳに間に合わない場合、ステップＳ６００、Ｓ７００の処理を行ったが、ユーザが指示した字幕形態では字幕の表示がＰＴＳに間に合わない場合はサブタイトルセットの字幕の表示形態を変更しないようにしても良い。
【０１４９】
実施の形態２では、ユーザが指示した字幕形態では字幕の表示がＰＴＳに間に合わない場合、ステップＳ１４００、Ｓ１５００の処理を行ったが、ユーザが指示した字幕形態では字幕の表示がＰＴＳに間に合わない場合はサブタイトルセットの字幕の表示形態を変更しないようにしても良い。
【０１５０】
実施の形態１、及び実施の形態３では、ステップＳ３００において、字幕形態修正部１００では、レンダリング処理性能表を用いて、字幕形態情報を外部変更字幕形態情報に従って変更した場合に、サブタイトルセットのレンダリング処理にどのくらい時間がかかるかを計算したが、規格で満たさなければならないレンダリング処理性能が決まっている場合は、そのレンダリング処理性能を基に、サブタイトルセットのレンダリング処理にどのくらい時間がかかるかを計算しても良い。
【０１５１】
実施の形態２では、ステップＳ１１００において、字幕形態修正部２４０では、レンダリング処理性能表を用いて、字幕形態情報を外部変更字幕形態情報に従って変更した場合に、サブタイトルセットのレンダリング処理にどのくらい時間がかかるかを計算したが、規格で満たさなければならないレンダリング処理性能が決まっている場合は、そのレンダリング処理性能を基に、サブタイトルセットのレンダリング処理にどのくらい時間がかかるかを計算しても良い。
【０１５２】
実施の形態３では、ステップＳ２２００において、字幕形態修正部２６０では、レンダリング処理性能表を用いて、サブタイトルセットのレンダリング処理にどのくらい時間がかかるかを計算したが、規格で満たさなければならないレンダリング処理性能が決まっている場合は、そのレンダリング処理性能を基に、サブタイトルセットのレンダリング処理にどのくらい時間がかかるかを計算しても良い。
【０１５３】
実施の形態１、実施の形態２、及び実施の形態３では、字幕信号バッファ１３０は字幕デコーダ１２０内部のものであったが、独立した外部のものであっても良い。
【０１５４】
実施の形態１、実施の形態２、及び実施の形態３では、主映像信号バッファ１５０は主映像デコーダ１４０内部のものであったが、独立した外部のものであっても良い。
【０１５５】
実施の形態１、実施の形態２、及び実施の形態３では、音声信号バッファ１７０は音声デコーダ１６０内部のものであったが、独立した外部のものであっても良い。
【０１５６】
実施の形態１、実施の形態２において、変更指示格納部９０は、字幕形態修正手段１００の外部であるが、字幕形態修正部１００の内部にしても良い。
【０１５７】
実施の形態１、実施の形態２、及び実施の形態３では、外部変更字幕形態情報のフォーマットは図４のように定義したが、このフォーマットに限定しなくても良い。
【０１５８】
実施の形態１、実施の形態２、及び実施の形態３では、レンダリング処理性能表のフォーマットは図５のように定義したが、このフォーマットに限定しなくても良い。
【０１５９】
実施の形態２では、字幕形態修正部２４０は、字幕をレンダリングした場合、サブタイトルセットで定義された字幕表示領域内に字幕を表示できるか否かを判定し、サブタイトルセットで定義された字幕表示領域内に字幕を表示できない場合は、サブタイトルセットで定義された字幕表示領域内に字幕を表示できるようにしたが、字幕をレンダリングした場合、表示画面内に字幕を表示できるか否かを判定し、表示画面内に字幕を表示できない場合は、表示画面内に字幕を表示できるようにしても良い。
【０１６０】
実施の形態２では、字幕は１行のみであったが、Ｌ行である場合は、ｌ行目の字幕の文字数をｎ［ｌ］（０＜ｌ≦Ｌ）とすると、式（４）を、
【数９】
2008016946.tif 000011
式（５）を、
【数１０】
2008016946.tif 000012
式（６）を、
【数１１】
2008016946.tif 000013
式（７）を、
【数１２】
2008016946.tif 000014
とすればよい。
【０１６１】
この場合、以下のようにする。
ステップＳ８００における、表示保証字幕形態情報の表示形態でｉ番目のサブタイトルセットをレンダリングした場合、ｉ番目に表示する字幕の文字全てが表示領域内に収まっているかどうか判定は、式（９）と式（１０）とが０行目からＬ行目まで満たされているかどうかで判定する。
【０１６２】
ステップＳ１７００における、表示保証字幕形態情報に修正方法を、０行目からＬ行目まで式（１１）で計算した中で最小のＣ＿ｘ＿ｎｅｗと式（１２）で計算したＣ＿ｙ＿ｎｅｗを基に、Ｃ＿ｓｉｚｅ＿ｎｅｗを求める。
【０１６３】
さらに、文字の間隔Ｘ＿ｉｎｔ、行の間隔Ｙ＿ｉｎｔを考慮する必要がある場合は、式（９）を、
【数１３】
2008016946.tif 000015
式（１０）を、
【数１４】
2008016946.tif 000016
式（１１）を、
【数１５】
2008016946.tif 000017
式（１２）を、
【数１６】
2008016946.tif 000018
と、すればよい。
【０１６４】
実施の形態２では、ステップＳ８００における、表示保証字幕形態情報の表示形態でｉ番目のサブタイトルセットをレンダリングした場合、ｉ番目に表示する字幕の文字全てが表示領域内に収まっているかどうか判定を、式（４）と式（５）とを用いて行ったが、字幕デコーダを擬似的に使って、出力された字幕映像信号から表示領域内に収まっているかどうか判定しても良い。
【０１６５】
実施の形態２では、ステップＳ１７００における、ｉ番目のサブタイトルセットをレンダリングした場合、表示領域内に収まるように、表示保証字幕形態情報を修正する処理を、式（６）と式（７）とを用いてＣ＿ｓｉｚｅ＿ｎｅｗを求めていたが、字幕デコーダを擬似的に使って、出力された字幕映像信号から表示領域内に収まっていることが確認できるまで、字幕の文字の大きさを調節する処理を行い、Ｃ＿ｓｉｚｅ＿ｎｅｗを求めても良い。
【０１６６】
実施の形態３の字幕形態修正部２６０は、字幕映像表示時刻ＰＴＳ＿ＳＴに表示できるように字幕の表示形態を修正したが、実施の形態２の字幕形態修正部２４０のように、サブタイトルセットで定義された字幕表示領域内に字幕を表示できるか否かを判定し、サブタイトルセットで定義された字幕表示領域内に字幕を表示できない場合は、サブタイトルセットで定義された字幕表示領域内に字幕を表示できるように修正する機能を兼ね備えても良い。
【０１６７】
この場合、ステップＳ２５００の処理が終了したのちに、ステップＳ１６００、ステップＳ１７００に相当する処理を行うことにより、サブタイトルセットで定義された字幕表示領域内での字幕の表示が実現できる。
【０１６８】
実施の形態１において、ユーザからの指示が、「表示装置のディスプレイの大きさに応じた表示」であった場合は、字幕形態修正手段１００は、表示装置のディスプレイで表示できる最大の文字の大きさで、字幕を表示して良い。
【０１６９】
この場合、ステップＳ１００において、外部指示字幕形態情報内の文字の大きさを表すパラメータを、表示装置のディスプレイで表示できる最大の文字の大きさＣ＿ｓｉｚｅ＿ｎｅｗとすればよい。Ｃ＿ｓｉｚｅ＿ｎｅｗは以下のように求めることができる。
【０１７０】
すなわち、ディスプレイの大きさをＤ＿ｓｉｚｅ＿ｘ（水平方向）、Ｄ＿ｓｉｚｅ＿ｙ（垂直方向）と、字幕の文字列がＬ行で、ｌ行目の字幕の文字数をｎ［ｌ］（０＜ｌ≦Ｌ）とすると、
【数１７】
2008016946.tif 000019
【数１８】
2008016946.tif 000020
の式（１７）で求められた各行Ｃ＿ｘ＿ｎｅｗの最小値と、式（１８）から求められるＣ＿ｙ＿ｎｅｗを基に、字幕の文字の大きさＣ＿ｓｉｚｅ＿ｎｅｗを求める。
【０１７１】
もしくは、実施の形態１のステップＳ１００において、ユーザからの指示が、「表示装置のディスプレイの大きさに応じた表示」であった場合は、予め用意された、表示装置のディスプレイの大きさを字幕の文字の大きさを変換する表に従って、字幕形態修正部１００は、外部指示字幕形態情報内の文字の大きさを表すパラメータを決定しても良い。
【０１７２】
実施の形態２において、ユーザからの指示が、「表示装置のディスプレイの大きさに応じた表示」であった場合は、上記と同様に、字幕形態修正部２４０は、表示装置のディスプレイで表示できる最大の文字の大きさで、字幕を表示して良い。また、ステップＳ１７００における、字幕の表示させる領域の大きさＲ＿ｘ（水平方向）、Ｒ＿ｙ（垂直方向）を、表示装置のディスプレイの大きさと同じにしても良い。
【０１７３】
もしくは、実施の形態２のステップＳ１００において、ユーザからの指示が、「表示装置のディスプレイの大きさに応じた表示」であった場合は、予め用意された、表示装置のディスプレイの大きさを字幕の文字の大きさを変換する表に従って、字幕形態修正部２４０は、外部指示字幕形態情報内の文字の大きさを表すパラメータを決定しても良い。
【０１７４】
実施の形態１と実施の形態２とにおいて、「表示装置のディスプレイの大きさに応じた表示」という、ユーザからの指示がない場合でも、上記のように、表示装置のディスプレイで表示できる最大の文字の大きさ、もしくは、表示装置のディスプレイの大きさを字幕の文字の大きさを変換する表に従った文字の大きさで字幕を表示しても良い。
【０１７５】
実施の形態１において、ユーザは所望する文字の大きさを、絶対値で指示したが、たとえば、「文字の大きさを１ｐｔ大きくする」のように、相対的な値で指示しても良い。
【０１７６】
なお、図１に示すような構成要素を備える実施の形態１の再生装置１、図６に示すような構成要素を備える実施の形態２の再生装置２３０および図８に示すような構成要素を備える実施の形態３の再生装置２５０は、それぞれ、システムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）で実現しても良い。また、再生装置１、再生装置２３０および再生装置２５０が備える各構成要素は、個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。
【産業上の利用可能性】
【０１７７】
本発明にかかる映像再生装置は、外部変更指示形態修正手段を有し、再生装置用の字幕表示方法等として有用である。またコンテンツのオーサリング機器等の用途にも応用できる。
【図面の簡単な説明】
【０１７８】
【図１】本発明の実施形態１における、再生装置の構成を示すブロック図。
【図２】本発明の実施の形態１の再生装置が実行する字幕表示処理を示すフローチャート。
【図３】本発明の実施の形態１の再生装置が実行する表示形態変更処理の詳細を示すフローチャート。
【図４】本発明の実施形態１における、外部変更字幕形態情報のフォーマットの例を示す図。
【図５】本発明の実施形態１における、レンダリング処理性能表の例を示す図。
【図６】本発明の実施形態２における、再生装置の構成を示すブロック図。
【図７】本発明の実施の形態２の再生装置が実行する表示形態変更処理の詳細を示すフローチャート。
【図８】本発明の実施形態３における、再生装置の構成を示すブロック図。
【図９】本発明の実施の形態３の再生装置が実行する字幕表示処理のフローチャート。
【図１０】本発明の実施の形態３の再生装置が実行する表示形態修正処理の詳細を示すフローチャート。
【符号の説明】
【０１７９】
１、２３０、２５０  再生装置
１０  光ディスク
２０  光ディスクドライブ
３０  映像情報分離部
４０  字幕情報格納部
５０  主映像情報格納部
６０  音声情報格納部
７０  リモートコントローラ
８０  ユーザ操作受信部
９０  変更指示格納部
１００、２４０、２６０  字幕形態修整部
１１０  字幕形態書換部
１２０  字幕デコーダ
１３０  字幕映像信号バッファ
１４０  主映像デコーダ
１５０  主映像信号バッファ
１６０  音声デコーダ
１７０  音声信号バッファ
１８０  スピーカ
１９０  映像同期部
２００  字幕プレーンバッファ
２１０  主映像プレーンバッファ
２２０  表示部
【図１】
2008016946.tif 000021
【図２】
2008016946.tif 000022
【図３】
2008016946.tif 000023
【図４】
2008016946.tif 000024
【図５】
2008016946.tif 000025
【図６】
2008016946.tif 000026
【図７】
2008016946.tif 000027
【図８】
2008016946.tif 000028
【図９】
2008016946.tif 000029
【図１０】
2008016946.tif 000030