(57)【要約】  小さなスクリーン（１２）を備えたユーザデバイス（１０）に表示されるサブピクチャデータを調整するためのコンピュータシステム（４０）及び方法であって、該サブピクチャデータは、関連映像データと時間的に関連付けられており、該方法は、データ源からサブピクチャデータを読み取るステップ（Ｓ１）と、読み取ったサブピクチャデータから所定の可読性限度より低い／高い可読レベル値を有するサブピクチャデータ部分を判定するステップ（Ｓ２）と、サブピクチャデータ部分を少なくとも２つのサブピクチャデータ部分パートに分割するステップ（Ｓ３）と、サブピクチャデータ部分パートを、該サブピクチャデータ部分パートの各々が所定の可読性限度より以上／以下の可読レベル値を持つように、サイズ変更するステップ（Ｓ４）とを含む。【選択図】図３
2008517489.tif 000002
【特許請求の範囲】
【請求項１】
小さなスクリーン（１２）を備えたユーザデバイス（１０）に表示されるようサブピクチャデータを調整する方法であって、前記サブピクチャデータは、関連映像データと時間的に関連付けられており、前記方法は、
データ源からサブピクチャデータ（１）を読み取るステップ（Ｓ１）と、
前記読み取ったサブピクチャデータ（１）から所定の可読性限度より低い／高い可読レベル値を有するサブピクチャデータ部分（２）を判定するステップ（Ｓ２）と、
前記サブピクチャデータ部分（２）を少なくとも２つのサブピクチャデータ部分パート（３）に分割するステップ（Ｓ３）、及び前記サブピクチャデータ部分パート（３）の各々が前記所定の可読性限度より高い／以下である可読レベル値を持つように、前記サブピクチャデータ部分パート（３）を、サイズ変更するステップ（Ｓ４）とを含む、方法。
【請求項２】
前記可読レベル値は、表示された前記元のサブピクチャデータが実際にオーバーラップしている面積と、表示された前記映像データが占める全体面積との比率から得られる、請求項１に記載の方法。
【請求項３】
前記可読レベル値は、文字ラインの数を算定して得られ、それぞれの前記文字ラインは、前記サブピクチャデータが表示されたとき表示される、請求項１に記載の方法。
【請求項４】
前記サブピクチャデータ部分（３）を判定する前記ステップ（Ｓ２）は、少なくとも２本の数の文字ラインで表示されることになるサブピクチャデータを判定する前記ステップ（Ｓ３２）と、文字ラインの前記数を算定するステップ（Ｓ３３）とを含む、請求項３に記載の方法。
【請求項５】
前記サブピクチャデータ部分（２）の各文字ラインに対し、所定の表示サイズを有するそれぞれ一つのサブピクチャデータ部分パート（３）が生成される、請求項４に記載の方法。
【請求項６】
前記サブピクチャデータ部分（２）を判定する前記ステップ（Ｓ２）は、その表示期間を算定するステップ（Ｓ３３）を含む、請求項１ないし請求項５のいずれかに記載の方法。
【請求項７】
前記表示期間は、前記関連映像データに時間的にそれぞれ関連付けられている開始時間と終了時間とを含む、請求項６に記載の方法。
【請求項８】
前記開始時間及び前記終了時間は、前記サブピクチャデータ部分（２）とこれに対応する前記映像データとの間の前記時間的関係が維持されるように、前記サブピクチャデータ部分パート（３）に割り当てられる、請求項７に記載の方法。
【請求項９】
さらなるサブピクチャデータ部分（２）が、時間的に前記サブピクチャ部分（２）に先行又は後続しており、前記さらなるサブピクチャデータ部分（２）が存在するかどうかを判定する前記ステップ（Ｓ３４）をさらに含む、請求項６に記載の方法。
【請求項１０】
さらなるサブピクチャデータ部分が存在しない場合、前記サブピクチャデータ部分パートの各々の開始及び終了時間が最適化される（Ｓ３６）、請求項９に記載の方法。
【請求項１１】
前記サブピクチャデータ部分パート（３）の表示期間の合計は、前記対応するサブピクチャデータ部分（２）の表示期間より長い、請求項１０に記載の方法。
【請求項１２】
前記データ源は、映画データファイル、具体的にはＤＶＤ映像データファイルである、請求項１ないし請求項１１のいずれかに記載の方法。
【請求項１３】
前記ファイルは、前記ユーザデバイス（１０）のメモリに格納されている、請求項１２に記載の方法。
【請求項１４】
前記格納されたサブピクチャデータ部分パート（３）は、前記対応するサブピクチャデータ部分（２）と置換する、請求項１ないし請求項１３のいずれかに記載の方法。
【請求項１５】
文字ラインの数を算定する前記ステップ（Ｓ３３）はパターン認識の適用を含む、請求項４に記載の方法。
【請求項１６】
前記サブピクチャデータ（１）は字幕データである、請求項１ないし請求項１５のいずれかに記載の方法。
【請求項１７】
サイズを変更する前記ステップは、前記サブピクチャデータの所望解像度が前記方法ステップを実施した後、すべての前記サブピクチャデータに対して同じになるように行われる、請求項１ないし請求項１６のいずれかに記載の方法。
【請求項１８】
サイズを変更する前記ステップは、前記方法ステップを実施した後、前記サブピクチャデータに対し異なる所望の解像度が得られるように行われる、請求項１ないし請求項１６のいずれかに記載の方法。
【請求項１９】
前記サブピクチャ部分パート（３）は、連続して表示することが可能なバンドを形成するように組み合わされる、請求項１ないし請求項１８のいずれかに記載の方法。
【請求項２０】
請求項１ないし請求項１９のいずれかに記載の方法を実施するように好適になされたデータ処理システム（４０）であって、該システムは、
データ源からサブピクチャデータ（１）を読み取るための手段（４４）と、
前記読み取ったサブピクチャデータ（１）から所定の可読性限度より低い／高い可読レベル値を有するサブピクチャデータ部分（２）を判定するための手段（４６）と、
前記サブピクチャデータ部分（２）を少なくとも２つのサブピクチャデータ部分パート（３）に分割し、前記サブピクチャデータ部分パート（３）の各々が前記所定の可読性限度より高い／低い可読レベル値を持つように、前記サブピクチャデータ部分パート（３）をサイズ変更するための手段（４８）とを含むシステム。
【請求項２１】
処理システムに、請求項１から請求項１９のいずれかに記載の方法を実行させるコンピュータ可読の命令を包含する、コンピュータ可読媒体。
【請求項２２】
請求項１ないし請求項１９のいずれかに記載の方法を実行するためのコンピュータ可読の命令を含むようになされ、インターネットを介して送信するための信号。
【請求項２３】
請求項１ないし請求項１９のいずれかに記載の方法を実行するようになされたソフトウエアツール。
【請求項２４】
データ処理システム上で作動されると、前記データ処理システムが請求項１ないし請求項１９のいずれかに記載の方法を実行できるようにする、コンピュータプログラムコードを含むコンピュータプログラム。
【請求項２５】
データ処理システム上で作動されると、前記データ処理システムが請求項１ないし請求項１９のいずれかに記載の方法を実行できるようにする、コンピュータプログラムコードを含むコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サブピクチャデータを、低い解像度のディスプレイ（例、ＰＤＡのディスプレイ）に表示されるように調整するためのシステム及び方法に関し、サブピクチャデータは関連映像データと時間的に関連付けられる。
【背景技術】
【０００２】
近年、携帯情報端末（ＰＤＡ）がますます普及している。ＰＤＡは、小さなフォーマット管理ソフトを含み、多くの場合キーパッドを持たない。ＰＤＡの制御は、例えば、ペンを使って、スクリーンにタッチすることで行うことができる。
【０００３】
ＰＤＡには多種類のオペレーティングシステム（ＯＳ）が使われているが、Ｐａｌｍ社のＰａｌｍ  ＯＳとＭｉｃｒｏｓｏｆｔ社のＰｏｃｋｅｔ  ＰＣとが２つの主要なプラットフォームであり、両社とも自社のシステムを第三者メーカーにライセンスしている。欧州で普及している無線デバイス用の別のオペレーティングシステムとしてＳｙｂｉａｎがある。Ｐｏｃｋｅｔ  ＰＣ２００３は最新型のＯＳである。機能として、Ｐｏｃｋｅｔ  Ｉｎｔｅｒｎｅｔ  Ｅｘｐｌｏｒｅｒ、新しいＷｉｎｄｏｗｓ（登録商標）  Ｍｅｄｉａ  Ｐｌａｙｅｒ、Ｎｅｔｗｏｒｋ  Ａｃｃｅｓｓ、ＭＳＮメッセンジャー、赤外線通信、Ｃｏｎｎｅｃｔｉｏｎ  Ｍａｎａｇｅｒ、強化版Ｐｏｃｋｅｔ  Ｏｕｔｌｏｏｋ、最新版Ｐｏｃｋｅｔ  Ｗｏｒｄ及びＥｘｃｅｌを備え、外観はＷｉｎｄｏｗｓ（登録商標）  ＸＰデスックトップに似ている。
【０００４】
一般的なＰＤＡは、ポケット計算器、電子電話及びアドレス帳、手帳、ＰＣ、及び携帯電話機能といった複数の機能を一体化している。
【０００５】
ＰＤＡ、特に携帯型ＰＣの別の使い方として、例えば、ＤＶＤによる映画のようなエンターテインメント情報の表示がある。この場合には、ＤＶＤ映像データがＰＤＡの画面に映し出される。ＰＤＡのスクリーンは、ノート型パソコンによく見られるような型のＬＣＤ（液晶ディスプレイ）とすることも、多彩な色を表示できるフラットパネルディスプレイとすることもできる。スクリーンの解像度は、水平方向及び垂直方向に規定されたピクセルの数で測られる（例、６４０×２４０）。解像度が大きいほど画像は鮮明になる。当然ながら、ＰＤＡの解像度は、スクリーンのコンパクトさからの制限を受ける。Ｐａｌｍのユニットでは、スクリーンは対角線で約４インチ大で、解像度は、３２０×２４０までである。
【０００６】
通常、ＭＰＥＧ−２フォーマットで映画を格納されているＤＶＤから映画を表示するため、ＤＶＤ映像データは分割されて、もっと小さな複数のファイルに変換される。この変換を、例えば「Ｎｅｒｏ  Ｄｅｇｉｔａｌ」によって行うことができる。ここでＮｅｒｏ  Ｄｅｇｉｔａｌとは、ドイツのＡｈｅａｄ  Ｓｏｆｔｗａｒｅ  ＡＧ社による次世代のＭＰＥＧ−４互換性圧縮技術である。Ｎｅｒｏ  Ｄｅｇｉｔａｌは、ＭＰＥＧ−４映像及びＭＰＥＧ−４  Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  ＡＡＣと互換性があり、これにより、ホームエンターテインメント用の高音質のサラウンドサウンド及び高画質映像が得られる。これを使えば、ＤＶＤ品質のマルチメディアを、そのたった２０％のスペースに符号化できる。出回っている殆どのシンプル及びアドバンストＭＰＥＧ−４ビジュアルプロファイルに対応することができる。
【０００７】
このような方法によれば、ＤＶＤ映画を、ＰＤＡのような携帯デバイスに転送することができる。また一方、将来においては、ネットワーク接続、又はＵＳＢタイプの接続を使って、これらのデバイス上でＤＶＤを再生することが期待されている。
【０００８】
また、通常、ＤＶＤ映像データは、字幕、例えば、俳優などが話しているテキストを表す情報（これは聴力が低い人、及び話されている言語が分からない人にとって特に助力となる）を含んでいる。
【０００９】
他方で、スクリーンの幾何的サイズ及び解像度は、字幕の付いたオリジナルのものより小さいので、この上に表示される字幕テキストは、元の映像と同じ比率でサイズ変更された場合、判読が困難である。サブピクチャが映像よりも緩い縮小でサイズ設定されると、サブピクチャデータはスクリーンの左右にはみ出してしまうか、又は、スクリーン上で過大に表現され、映像の大きな部分にオーバーレイされてしまうことにもなろう。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
従って、本発明の目的は、サブピクチャデータ、特に字幕データを調整し、小さなスクリーン上に、十分に認知できるように、すなわち満足な解像度をもって表示するためのシステム及び方法を提供することである。
【課題を解決するための手段】
【００１１】
上記の目的は、サブピクチャデータを、小さなスクリーンを備えたユーザデバイスに表示されるように調整するためのシステム及び方法によって達成され、サブピクチャデータは、関連映像データと時間的に関連付けられ、該方法は、データ源からサブピクチャデータを読み取るステップと、読み取ったサブピクチャデータの中の、所定の可読性限度よりも低い／高い可読レベル値を有するサブピクチャデータ部分を判定するステップと、該サブピクチャデータ部分を少なくとも２つのサブピクチャデータ部分パートに分割するステップと、サブピクチャデータ部分パートの各々が、所定の可読性限度以上又は以下の可読性レベル値を持つようにサブピクチャデータ部分パートをサイズ変更するステップとを含む。
【００１２】
従来式のデータファイル、特にＤＶＤ映画データファイルに本方法を用いると、通常一本以上の文字ラインで表示されるサブピクチャデータは、対応する複数の単一行ラインのサブピクチャに変換される。従って、幾何的サイズは元の単一行ラインのサイズ、又はそれよりも大きなサイズに調整することもできる。サブピクチャ情報の（幾何的）表示サイズが大きくなるほど、解像度はよくなる、その結果、情報は認知し易くなる。
【００１３】
望ましくは、可読性レベル値は、サブピクチャデータが、表示されたとき実際にオーバーラップする面積と映像データが表示されたときに占める合計面積との比率によって算定される。
【００１４】
これに換えて、サブピクチャデータが表示され、そのそれぞれの文字ラインが表示されたときの文字ラインの数を判定することによって可読レベル値が得られる。
【００１５】
これは、どのサブピクチャデータの表現を、サイズ変更し、視聴者がよりよく判読できるように調整しなければならないかを判定するための簡単な方法である。
【００１６】
本発明の好適な実施形態によれば、サブピクチャデータ部分を判定するステップには、少なくとも２本以上の、いくつかの文字ラインに表示するサブピクチャデータを判定するステップと、文字ラインの数を算定するステップが含まれる。
【００１７】
元は複数行文字ラインに含まれている情報が、単一行文字ラインに変換可能とされ、元のいくつかのラインの各ラインが、対応する、サイズ変更された単一行ラインに変換されることを確実にすることによって可読性が向上される。元の複数行ラインの内容は、単一行ラインに「圧縮」して結果的にその表示サイズをさらに縮小する必要はなく、これらを時間連続的に表示される適切な数の単一行ラインに分配することができる。
【００１８】
さらに、各々のサブピクチャデータ部分パートが、サブピクチャデータ部分の単一行文字ラインを表現していることが望ましい。
【００１９】
このように、例えば元の３行ラインのうちの２行が、同一のサブピクチャデータ部分パートに区分けされ、これも判読できないようになる可能性は防止される。このことは、例えば、元の３本線の字幕に対し、単一行ラインの字幕が生成され、時間的に連続して表示される３本の単線ラインが得られるということである。
【００２０】
別の好適な実施形態によれば、サブピクチャデータ部分を判定するステップには、その表示期間を判定するステップが含まれる。
【００２１】
これにより、字幕データ部分が元々表示される（元の）持続時間を得る。この期間は、対応するサブピクチャデータ部分パートの表示期間を計算するために使用される。
【００２２】
有利には、表示期間は、関連映像データに時間的に関連付けられた開始時間と終了時間とを含めることができる。
【００２３】
開始時間は、対応するサブピクチャデータ部分を分割たときに得られたサブピクチャデータ部分パートの群に属する第一サブピクチャデータ部分パートの表示開始時間を設定する。終了時間は、これらサブピクチャデータ一部分パートの群を表示するときに、最後のサブピクチャデータ部分パートの表示が終了すべき最終予定時間を設定する。
【００２４】
さらなる好適な実施形態によれば、開始時間及び終了時間は、関連映像データとの時間的関連付けが維持されるように、サブピクチャデータ部分パートには開始時間及び終了時間が割り当てられる。
【００２５】
該時間的相互関係が維持されれば、サブピクチャデータ部分パートは、適切な表示のために新しい関連付けを設定する必要なく、元のサブピクチャデータ部分の置き換えを行うことができる。
【００２６】
まださらなる好適な実施形態によれば、本方法は、サブピクチャデータ部分に時間的に直ぐに先行する又は後続するさらなるサブピクチャデータ部分が存在するかどうかを判定するステップをさらに含む。
【００２７】
ある特定のサブピクチャデータ部分の時間的前及び／又は後に、さらなるサブピクチャデータ部分が存在しない場合は、この対応する特定のサブピクチャデータ部分から生成された関連サブピクチャデータ部分パートの表示期間を、そういったサブピクチャデータ部分が存在しない方向にシフトさせることができる。この結果、該サブピクチャデータ部分パートのそれぞれの表示期間を延長することができる。これにより、さらに可読性が改善される。
【００２８】
同様に、全てのサブピクチャデータ部分パートの表示期間の合計を、元のサブピクチャデータ部分自体の表示期間より長くすることができる。
【００２９】
望ましくは、データ源は映画データファイル、特にＤＶＤ映像データファイルで、ユーザデバイスのメモリ内に格納できるファイルである。加えて、サブピクチャデータ部分パートは、対応する元のサブピクチャデータ部分に置き換えることができる。
【００３０】
従って、サブピクチャデータを、従来のやり方で表示させることができ、デコーダモジュールなどのような再生デバイスの機能を変更する必要はない。所望する場合、関連映像データとの時間的関連付けをそのまま維持することができ、また、これを変更、特に延長することができる。
【００３１】
まださらなる好適な実施形態によれば、文字ラインの行数を判定するステップには、パターン認識を適用するステップが含まれる。
【００３２】
パターン認識は、サブピクチャデータ部分に含まれる文字ラインの行数を判定するための一つの好適なやり方である。パターン認識は、人手による操作が必要なく、従って、サブピクチャデータ部分パートの生成を速くすることができる。
【００３３】
なお、前記で説明し以降においてさらに説明する諸機能については、それぞれに説明した組み合わせだけでなく、本発明の範囲を逸脱することなく、他の組み合わせ又は単独で用いることができる。
【００３４】
本発明の例を図面で示し、以降にさらなる詳細を引き続き説明する。
図１は、従来型ＰＤＡの略斜視図である。
図２は、字幕データ及びそのサブセットの数を示す。
図３は、本発明の方法の第一実施形態のフローチャートである。
図４は、本発明の方法の第二実施形態を示すフローチャートである。
図５は、本発明のシステムである。
【発明を実施するための最良の形態】
【００３５】
以降、「サブピクチャデータ」という用語は、字幕、ホットスポットの色付け、オーバーレイグラフィックスなどといった情報を含む一般名称として使用される。
【００３６】
例えば、ＤＶＤ映像ディスクでは、サブピクチャテキストは、通常主映像とは別に、通常低ビット深度（４色）画像の形で格納される。別にという意味は、サブピクチャデータが、特に視聴者の意向によって字幕を表示したりしなかったりできるようにして、主映像情報から独立して存在することを言う。
【００３７】
ＤＶＤ規格（一般にＭＰＥＧ−２）は、３２までの別々のサブピクチャデータストリームに対応しているが、どのストリームもちょうど３．３６Ｍｐｓバンド幅に限定されている。このバンド幅要件を満たし、さらに、これらを主映像と組み合わせる処理を簡単にするために、多くの場合、サブピクチャはランレングス符号化ビットマップで構成されている。このようなサブピクチャ画像の各ピクセルは、１６色の固定パレットからの値を割り当てられる。
【００３８】
各サブピクチャピクセルは、４つのピクセルタイプの一つ、バックグラウンド、フォアグラウンド、エンファシス−１及びエンファシス−２のいずれか一つとして指定することができる。各ピクセルタイプは、各種の色及び透明性の値を持たせることができる。さらに、各サブピクチャピクセルの色及び透明性を、フィールドごとに、又はフレームごとに変化させることができる。このようなパレットをプログラム連鎖（ＰＧＣ）の移行ごとに変えることができる。
【００３９】
これらの結果、サブピクチャデータは、非常に効率的且つフレキシブルな方法で定義され、例えば、拡大多言語又は他の形式によるプログラム拡張を可能にする一方、データストリームは処理しやすいビット速度に抑えられる。
【００４０】
スクリーンにサブピクチャデータを最終的に表示するやり方はいくつかあるが、その一つがハードウエアミキシングである。
【００４１】
ハードウエアミキシングは、単に、例えばサブピクチャテキストを取ってきて、それを映像データの上に置く必要があるだけである。サブピクチャピクセルが映像ピクセルにオーバーラップ又はオーバーレイされる箇所ではいずれも、前者が後者に置き換わり、下側の映像ピクセル上に完全に上書きされる。
【００４２】
別のやり方は、ハードウエアアルファブレンディングである。ハードウエアアルファブレンディングは、アルファチャンネルの指定により、さまざまな透明性レベルを使って、サブピクチャ画像データを下側にある映像とブレンドする方法である。このアルファチャンネルは、どの位のサブピクチャデータを、どの位のパーセントでバックグラウンド映像データとブレンドするかを決定するマスクを包含している。
【００４３】
図１は、典型的な従来型ＰＤＡ又はポケットＰＣ１０を示す。
【００４４】
ＰＤＡ１０は、ＬＣＤなどのディスプレイ又はスクリーン１２と、ハウジング１４と、メニューセレクタ１６と、メモリスロット１８とを含む。メモリスロット１８は、図１には示されていないが携帯メモリを受け入れることができる。該メモリユニットには映像データを格納することができる。
【００４５】
また、ＰＤＡ１０は、データ、特に、音声ファイル（ＭＰ３、ウエイブファイルなど）、映像ファイル（ＭＰＥＧ−２、ＭＰＥＧ−４など）等々といったエンターテインメントデータを格納するための内部メモリも含む。
【００４６】
図１において、ＰＤＡ１０のスクリーン１２は、２行の字幕テキスト２０を含む映画の場面を映している。但し、本発明は、ＰＤＡの小スクリーンに適用できるだけでなく、小型サイズのスクリーンを備えたデバイス類（例、スマートフォーン）ならびに、一般に、低い解像度でサブピクチャデータが最適化されてきた低解像度のデバイスすべてに適用可能である。
【００４７】
図２には、サブピクチャ又は字幕データの全体量１が示されている。
【００４８】
この全量１は、小サイズのスクリーン上に高い解像度で表示されるように調整する必要のあるサブピクチャデータと、それ以外の、小サイズスクリーン上でも十分な解像度があるので調整の必要がないサブピクチャデータとが包含されている。調整するサブピクチャデータは参照番号２で示され、全体サブピクチャデータ量１のサブセットとして表される。
【００４９】
調整されるサブピクチャデータは、以下に説明する本発明による方法の一つで判定されることになる。この調整対象とするサブピクチャデータは、以降、「サブピクチャデータ部分」とも呼ばれる。サブピクチャデータ部分２の周りの継ぎ目は必ずしも調整の必要はない、というのはこれらの解像度は十分で小サイズスクリーンでも十分に判読可能だからである。望ましくは、再生デバイスは最適化を行う必要がないことを「分かって」いる。
【００５０】
他方で、サブピクチャデータ部分２は、複数のサブピクチャデータ部分２（図示せず）となることもあり、サブピクチャデータ部分を複数のサブピクチャデータ部分の小部分又はパート３に、さらに（サブ）分割することができる。
【００５１】
図２に関連して前記で説明した関係が、以下に、例えば映画に使われるような、いくつかの例示的な字幕に基づいて説明される。このような映画はＤＶＤに格納可能である。
＃１  「おい、バート、お前ね」
「リサを苦しませちゃいけないよ！」
「とんでもない！！あいつが俺を苦しめているんだ！！」
＃２  「じゃ、さようなら！」
＃３  「このすばらしいショーに来てくださって、とても嬉しいわ！」
【００５２】
第一の例は、この場合アニメ映画シリーズ「Ｔｈｅ  Ｓｉｍｏｎｓ」の登場人物であるが、映画の登場人物により、実際に話されている情報を包含する３行のテキストラインで構成されている。すなわち、該テキストは、視聴者に聴取可能であって、同時に画面上に目視表示されている。この第一の例は、以下にさらに詳細を説明するように、本発明の方法によって、小サイズスクリーンに十分な解像度で表示できるように調整する対象候補となり得るサブピクチャデータ部分である。
【００５３】
第一の例は、図２に照らせば、サブピクチャデータ部分２を表しており、例えば１２秒の表示期間とすればよい。この部分２を３つのサブピクチャデータ部分パート３に分割し、その１番目で第１行目のライン「おい、バート、お前ね」を表し、２番目の部分で第２行目のライン「リサを苦しませちゃいけないよ！」を、３番目部分で第３行目のライン「とんでもない！！あいつが俺を苦しめているんだ！！」を表すことができる。
【００５４】
また、以下にさらなる詳細を説明するように、これら３つのサブピクチャデータ部分パート３に、同等な表示期間（各４秒）、あるいは、各分割パート３のそれぞれの長さに応じて異なる表示期間（例、５秒−２秒−５秒）を割り振ることができる。
【００５５】
第二の例は、テキストの単一行ラインの字幕を表しており、十分な可読性を持つと見られるので、調整の必要がないことになろう。
【００５６】
また、第三の例も単一行ラインの字幕である。但し、これは第二の例と比べるとずっと長い。小サイズスクリーン上の第三例の字幕の表示は、聴視者にとって読むのに見にくい可能性がある。従って、単一行のラインであってもパート３に分割することができる。＃３の例のケースでは、１番目のパート３で「このすばらしいショーに来てくださって、」を表し、２番目のパート３で残り（「とても嬉しいわ！」）を表して、双方のパート３を単一行ラインの字幕で表示するよう調整し、その各々に、元のサブピクチャデータ部分（「このすばらしいショーに来てくださって、とても嬉しいわ！」）の表示期間の半分ずつ、又は他の任意の（可能な）表示期間を割り当てることができよう。
【００５７】
望ましくは、字幕の解像度の変更は、再生の間中、一貫して変更しないでおくか、あるいは、利用可能なスペースに合わせて常に変更する。
【００５８】
図３は、本発明の第一実施形態を示す。
【００５９】
第一ステップＳ１において、必要により調整することになる、ベースサブピクチャデータを取得するために、例えば、ＤＶＤ映画ディスクのようなデータ源から、サブピクチャデータは、読み取られ又は受信される。
【００６０】
ステップＳ２において、ステップＳ１で読み取ったデータに、サブピクチャデータ部分が存在するかどうかを判定する。前記のように、サブピクチャデータ部分とは、サブピクチャデータを読み取るために属するある量のデータでその可読性が劣悪な部分である。読み取ったサブピクチャデータから可読性が劣悪なサブピクチャデータが選定されるが、以降これをサブピクチャデータ部分という。ただし、一般に読み取りサブピクチャデータの全てが劣悪として類別されることはない。
【００６１】
このように、読み取られたサブピクチャデータの各々に対し可読レベル値が判定される。可読レベル値は、データが格納されているファイルのフォーマットなどサブピクチャデータの種類に応じて、いろいろなやり方で定義することができる。
【００６２】
可読レベル値については、例えば、サブピクチャデータがビットマップで保存されている場合、関連する映像データ上にマップされるサブピクチャデータの実際の視覚的オーバーラップのパーセントを検出することによって算定することができよう。例えば、初期に字幕が非常に小さなフォントサイズで表示されている場合、実際の視覚的オーバーラップパーセント、すなわち解像度合いはかなり低くなる。こういったことは、例えば、単一行ラインの字幕が、対応するビットマップによって表示される場合にも起こり得る。このような場合、所定の可読性限限度、これを所定解像度とすることもできるが、これを下回る可能性がかなり高くなる。このようなやり方で、可読レベル値が可読性限度より低いものを、サブピクチャデータ部分を選定することができる。
【００６３】
これに代えて、可読レベル値を、表示される字幕ラインの数に基づいて決めることもできる（前記＃１の例、参照）。字幕ラインの数が多い、すなわち複数行のラインの場合、それぞれのラインは、特にポケットＰＣのＬＣＤのような非常に小さなスクリーン上に表示された場合には、読み取りが困難となる。こういったケースでは、可読レベル値は、表示変更する必要が（まだ）なく表示可能な字幕ラインの上限行数として定義することができる。但し、一般に、ミニスクリーンでは、２本の字幕ラインは、同時に表示するだけでもうほとんど認知されない。
【００６４】
ステップＳ３において、サブピクチャデータ部分は、少なくとも２つのサブピクチャデータ部分パートに分割される。次いで、これらのサブピクチャデータ部分パートはサイズ変更される。サブピクチャデータ部分を分割するステップによって、一回で表示すべきサブピクチャデータの量が低減される。このことにより、それぞれのパートを視聴者が十分認知できる（幾何的）サイズ（すなわち解像度）にサイズ変更することが可能になる。
【００６５】
当然、このため表示タイミングの調整が必要となることがあろう。表示タイミングの調整については、後記で説明する。
【００６６】
これに換えて、このように生成されたサブピクチャデータ部分パートを、繰り返し再生操作のため保存しておくことができる（図３には示さず）。
【００６７】
図４には、本発明の方法の第二の実施形態が概略的に示されている。
【００６８】
第一のステップＳ３１において、例えばＭＰＥＧ−２のような映像データに包含され、時間的にこれと関連付けられているサブピクチャデータは、例えばＰＣのようなデータ処理装置に読み取られる。
【００６９】
データがＤＶＤ映像ディスクに収納される場合、データは通常ＭＰＥＧ−２ファイルフォーマット中に格納される。例えば、図１のＰＤＡ１０のような再生デバイスは、「ＶＩＤＥＯ＿ＴＳ」と表題されたディレクトリによってＤＶＤ映像データを認識する。ＭＰＥＧ−２規格で、このディレクトリは、表示に関連する全てのファイルを包含する。
【００７０】
ＶＩＤＥＯ＿ＴＳディレクトリは、次の３つの終端記号「．ＩＯＦ」、「．ＢＵＰ」「．ＶＯＢ」の一つを持つファイルを包含する。終端記号「．ＩＯＦ」はインデックスファイルを表す。終端記号「．ＢＵＰ」は対応バックアップファイルを表す。実際の音声及び／又は映像データは、「．ＶＯＢ」（Ｖｉｄｅｏ  Ｏｂｊｅｃｔ（映像オブジェクト））の終端記号を持つファイルに包含されている。
【００７１】
ＶＯＢファイルは、音声データ、映像データ、及び／又は字幕データを包含し、これらは多重化されている。再生するために、再生デバイスは、まずデータを逆多重化しなければならない。また、ＶＯＢファイルは、ナビゲーションパック（ＮＶ＿ＰＣＫ）をも包含し、これにはジャンプ命令及びタイミング情報が含まれており、また、ＶＯＢファイルは、一つ以上の映像群（ＧＯＰ）を包含し、これもまた映像パック（Ｖ＿ＰＣＫ）、音声パック（Ａ＿ＰＣＫ）及び字幕パック（ＳＰ＿ＰＣＫ）、すなわち実際の映像／音声及び／又は字幕データを含んでいる。
【００７２】
この全ての情報は、特に、サブピクチャデータ例えば字幕データの解析が可能となるように、ステップＳ３１において読み取られる。多くの場合、字幕データは、ビットマップフォーマット「．ｂｍｐ」中に格納される。再生過程において、字幕ビットマップは、実際の映像データの上にオーバーレイされる。但し、字幕データがビットマップフォーマット「．ｂｍｐ」中に格納されていなくても、本発明の方法は実施可能である。別の字幕フォーマットであっても、単に、字幕データを解析する方法に影響があるだけである。
【００７３】
第２ステップＳ３２において、例えばパターン認識によって、どのサブピクチャデータが複数行ラインのサブピクチャデータで表現されているかが判定される。複数行ラインサブピクチャデータは、例えば２行以上のラインで表される字幕である。図１に示す例では、字幕２０は、２行のラインで表示されている。一方で、ＰＤＡ１０のディスプレイ１２は非常に小さく、例えば対角線で４インチしかなく、文字サイズは、非常に小さくなる。該字幕テキスト２０はほとんど判読できない。
【００７４】
そして、ステップＳ３２において、２行以上のラインで表示される字幕データはさらなる処理のために識別される。
【００７５】
第３ステップＳ３３において、関連映像データのタイムスタンプ、すなわち開始時間及び終了時間を判定することができる。該映像データは、ステップＳ３２で判定された複数行ラインのサブピクチャデータと関連付けられる。
【００７６】
また、これに代えて、複数行ラインサブピクチャデータの（字幕）ラインの行数だけを判定することもできる。生成予定の単一行ライン字幕の各々に対する表示時間を計算するために、ラインの行数を用いることができる。
【００７７】
当然ながら、ラインの表示数及びタイムスタンプの双方をステップＳ３３で一緒に算定することができる。
【００７８】
さらなるステップＳ３４において、時間的途切れ又は切れ目があるかどうかを判定することができる。このことは、ステップＳ３２において判定された実際の字幕データの時間的直前及び／又は直後にさらなる字幕を表示するかどうかを判断することを意味する。時には、いくつかの複数行ラインの字幕が次々と表示される。このような場合、字幕の時間的流れには時間途切れがない。従って、それぞれの字幕を表示するため利用可能な時間は確定する。
【００７９】
時間的な途切れがないと判定される場合、すなわち、時間的に直ぐ先行している及び／又は後続しているさらなるサブピクチャデータ部分がある場合、この実際のサブピクチャデータ部分の表示時間を、それぞれの字幕に利用できる時間を得るために、同様にステップＳ３で算定した文字ラインの表示数で簡単に除算される。
【００８０】
例として、一回の表示対象字幕ラインの数が３本で、この３本の字幕データに対する表示時間が１８秒である場合、各々の単一行ラインに使える表示時間は６秒となる。
【００８１】
また、利用可能な時間を違った方法で分配し、例えば３秒＋４秒＋１１秒、又は３秒＋１ｓｐ＋４秒＋１ｓｐ＋９秒とすることもできる（１ｓｐは１秒の休止間を意味するが、当然例えば５秒の間を取ることもできよう）。各字幕ラインのそれぞれの間、すなわち意味内容に応じて、これを決めることができよう。
【００８２】
他方で、ステップＳ３４において、ステップＳ３２で選定された複数行ラインのサブピクチャデータの時間的前及び／又は後に時間途切れがあると判定された場合、ステップＳ３６において最適化した表示時間を計算することができる。
【００８３】
表示時間の最適化は、例えばそれが延長できることを意味する。例えば、映画の中で、３行ラインの字幕場面の後、何の情報も表示されない字幕の休止間がある。この休止間の長さに応じて、初期の複数行ライン字幕の代わりに生成される一本又は全ての単一行ライン字幕の表示時間の長さを変えることができる。
【００８４】
同様に、各単一行ライン字幕の意味内容により、それに応じて表示時間を調整することもできる。
【００８５】
ステップＳ３７において、前のステップで得られた情報を用いて、複数の単一行ラインサブピクチャデータが生成される。それぞれの単一行ラインサブピクチャデータの幾何的な表示サイズ、例えば文字サイズについては、対応する（元の）単一行ライン・字幕のサイズに合わせることができる。
【００８６】
必要ならば、サイズを大きくすることもできる、というのは、複数行ラインサブピクチャデータを包含するデータに対し本発明の方法を適用した後は、単一行ラインサブピクチャデータだけしか表示されないからである。字幕の可読性を向上させるために、元の単一行ラインサブピクチャデータのサイズをもさらに拡大することができる。
【００８７】
単一行ラインサブピクチャデータが生成された後、このデータを、元データを読み込んだデータ源、あるいは別のメモリに格納することができる。
【００８８】
図５は、本発明によるシステム４０を示すブロックダイヤグラムである。
【００８９】
図５のシステム４０を、例えば、ＰＣなどによって実行することができる。これには、例えばＤＶＤ４３又は他の適切な任意の記憶媒体から、サブピクチャデータの読み込みが可能なメモリ４２が含まれる。該システムは、サブピクチャデータを読み取る手段４４、サブピクチャデータ部分を判定する手段４６、及び分割及びサイズ変更を行う手段４８をさらに含む。手段４４、４６、及び４８を、例えば、マイクロプロセッサ又はＣＰＵ５０によって実行することができる。
【００９０】
なお、サブピクチャデータは、テキストラインばかりでなく、メニュー、ナビゲーションアイコンなどの文字ラインも表示することができる。
【００９１】
本発明の方法を、ソフトウエア及び／又はハードウエアとして実行することができる。従って、本発明の方法を実行するよう適応させたコンピュータシステム又はデータ処理システムを提供することができる。また、本発明を、ソフトウエアツールとして、さらにはＤＶＤ再生デバイスの中に実装することができる。コンピュータ可読の媒体を、ＣＤ−ＲＯＭ、ＤＶＤ、フロッピー（登録商標）ディスク、ハードディスクなどの一つとすることができる。
【００９２】
可読レベル値を定義するため前述した例は、単なる例示的性質のものであって、該定義を限定することを意図したものではない。可読レベル値は、字幕ピクセルの映像ピクセルへの実際のオーバーラップと関係なく、表示されたときの字幕ラインが必要とする面積（バーという意味の）によって定義することもできる。
【００９３】
さらに、小サイズスクリーン上にサブピクチャデータの標準化された解像度を得るために、全てのサブピクチャデータを調整することができるのは明らかである。
【００９４】
前記に代えて、サブピクチャデータ部分パート３を、これらが、望ましくは水平方向のバンドで、スクリーンを通して流れる連続したテキストを形成するように、再組み合わせをすることもできよう。
【００９５】
本発明を、その好適な実施形態を参照して具体的に示したが、当業者は、添付の特許請求の範囲に明示した本発明の範囲から逸脱することなく、その中の構造及び細部に他のさまざまな変更を加えることが可能なことを理解されるだろう。
【図面の簡単な説明】
【００９６】
【図１】従来型ＰＤＡの略斜視図である。
【図２】字幕データ及びそのサブセットの数を示す。
【図３】本発明の方法の第一実施形態のフローチャートである。
【図４】本発明の方法の第二実施形態を示すフローチャートである。
【図５】本発明のシステムである。
【図１】
2008517489.tif 000003
【図２】
2008517489.tif 000004
【図３】
2008517489.tif 000005
【図４】
2008517489.tif 000006
【図５】
2008517489.tif 000007
【手続補正書】
【提出日】平成19年5月22日(2007.5.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
スクリーン（１２）を備えたユーザデバイス（１０）に表示されるようサブピクチャデータを調整する方法であって、解像度が、前記サブピクチャデータが最適化された解像度よりも小さく、前記サブピクチャデータは、関連映像データと時間的に関連付けられており、前記方法は、
データ源からサブピクチャデータ（１）を読み取るステップ（Ｓ１）と、
前記読み取ったサブピクチャデータ（１）から所定の可読性限度より低い／高い可読レベル値を有するサブピクチャデータ部分（２）を判定するステップ（Ｓ２）と、
前記サブピクチャデータ部分（２）を少なくとも２つのサブピクチャデータ部分パート（３）に分割するステップ（Ｓ３）、及び前記サブピクチャデータ部分パート（３）の各々が前記所定の可読性限度以上である／以下である可読レベル値を持つように、前記サブピクチャデータ部分パート（３）を、サイズ変更するステップ（Ｓ４）と、
サブピクチャデータは、サブピクチャデータ部分の表示期間および少なくとも２つのサブピクチャデータ部分パートの時間的に連続する表示に対する部分の表示期間を使用して少なくともサブピクチャデータ部分パートの表示期間を算出するステップを含む判定するステップ（Ｓ２）を含む、方法。
【請求項２】
前記可読レベル値は、表示された前記元のサブピクチャデータが実際にオーバーラップしている面積と、表示された前記映像データが占める全体面積との比率から得られる、請求項１に記載の方法。
【請求項３】
前記可読レベル値は、文字ラインの数を算定して得られ、それぞれの前記文字ラインは、前記サブピクチャデータが表示されたとき表示される、請求項１に記載の方法。
【請求項４】
前記サブピクチャデータ部分（３）を判定する前記ステップ（Ｓ２）は、少なくとも２本の数の文字ラインで表示されることになるサブピクチャデータを判定する前記ステップ（Ｓ３２）と、文字ラインの前記数を算定するステップ（Ｓ３３）とを含む、請求項３に記載の方法。
【請求項５】
前記サブピクチャデータ部分（２）の各文字ラインに対し、所定の表示サイズを有するそれぞれ一つのサブピクチャデータ部分パート（３）が生成される、請求項４に記載の方法。
【請求項６】
さらに、前記データ源または他のメモリに少なくとも２つのサブピクチャデータ部分パート（３）を格納するステップを含む、請求項１に記載の方法。
【請求項７】
前記表示期間は、前記関連映像データに時間的にそれぞれ関連付けられている開始時間と終了時間とを含む、請求項６に記載の方法。
【請求項８】
前記開始時間及び前記終了時間は、前記サブピクチャデータ部分（２）とこれに対応する前記映像データとの間の前記時間的関係が維持されるように、前記サブピクチャデータ部分パート（３）に割り当てられる、請求項７に記載の方法。
【請求項９】
さらなるサブピクチャデータ部分（２）が、時間的に前記サブピクチャ部分（２）に先行又は後続しており、前記さらなるサブピクチャデータ部分（２）が存在するかどうかを判定する前記ステップ（Ｓ３４）をさらに含む、請求項６に記載の方法。
【請求項１０】
さらなるサブピクチャデータ部分が存在しない場合、前記サブピクチャデータ部分パートの各々の開始及び終了時間が最適化される（Ｓ３６）、請求項９に記載の方法。
【請求項１１】
前記サブピクチャデータ部分パート（３）の表示期間の合計は、前記対応するサブピクチャデータ部分（２）の表示期間より長い、請求項１０に記載の方法。
【請求項１２】
前記データ源は、映画データファイル、具体的にはＤＶＤ映像データファイルである、請求項１ないし請求項１１のいずれかに記載の方法。
【請求項１３】
前記ファイルは、前記ユーザデバイス（１０）のメモリに格納されている、請求項１２に記載の方法。
【請求項１４】
前記格納されたサブピクチャデータ部分パート（３）は、前記対応するサブピクチャデータ部分（２）と置換する、請求項１ないし請求項１３のいずれかに記載の方法。
【請求項１５】
文字ラインの数を算定する前記ステップ（Ｓ３３）はパターン認識の適用を含む、請求項４に記載の方法。
【請求項１６】
前記サブピクチャデータ（１）は字幕データである、請求項１ないし請求項１５のいずれかに記載の方法。
【請求項１７】
サイズを変更する前記ステップは、前記サブピクチャデータの所望解像度が前記方法ステップを実施した後、すべての前記サブピクチャデータに対して同じになるように行われる、請求項１ないし請求項１６のいずれかに記載の方法。
【請求項１８】
サイズを変更する前記ステップは、前記方法ステップを実施した後、前記サブピクチャデータに対し異なる所望解像度が得られるように行われる、請求項１ないし請求項１６のいずれかに記載の方法。
【請求項１９】
前記サブピクチャ部分パート（３）は、前記スクリーンを通して実行される表示することが可能な連続的なバンドを形成するように組み合わされる、請求項１ないし請求項１８のいずれかに記載の方法。
【請求項２０】
データ処理システム（４０）であって、該システムは、
データ源からサブピクチャデータ（１）を読み取るための手段（４４）と、
前記読み取ったサブピクチャデータ（１）から所定の可読性限度より低い／高い可読レベル値を有するサブピクチャデータ部分（２）を判定するための手段（４６）と、
前記サブピクチャデータ部分（２）を少なくとも２つのサブピクチャデータ部分パート（３）に分割し、前記サブピクチャデータ部分パート（３）の各々が前記所定の可読性限度以上である／以下である可読レベル値を持つように、前記サブピクチャデータ部分パート（３）をサイズ変更するための手段（４８）と、
サブピクチャデータは、サブピクチャデータ部分の表示期間および少なくとも２つのサブピクチャデータ部分パートの時間的に連続する表示に対する部分の表示期間を使用して少なくともサブピクチャデータ部分パート表示期間を算出するために適応される判断するための手段（Ｓ２）を含むシステム。
【請求項２１】
データ処理システムを実行する場合に、請求項１から請求項１９のいずれかに記載の方法を実行するために、前記データ処理システムを可能とするコンピュータプログラムコードを含む、コンピュータプログラム。
【請求項２２】
コンピュータ可読媒体に格納される請求項２１に記載のコンピュータプログラム。
【請求項２３】
インターネットを介して送信するための信号として実行することを特徴とする、請求項２１に記載のコンピュータプログラム。
【請求項２４】
ソフトウエアツールとして実行される、請求項２１に記載のコンピュータプログラム。
【請求項２５】
コンピュータプログラム製品として実行される、請求項２１に記載のコンピュータプログラム。
【国際調査報告】
2008517489.tif 000008
2008517489.tif 000009
2008517489.tif 000010