(57)【要約】主映像のアスペクト比とは独立したアスペクト比で、字幕を表示することができる。字幕のアスペクト比が１６：９であることを示すフラグが設定されている場合、字幕の映像の画枠サイズ（７２０×４８０）が、１６：９のアスペクト比に合うように変換され、その結果得られた字幕の映像が、主映像に重畳されて表示される。すなわち主映像のアスペクト比が４：３である場合には、第１９図に示すように、横方向に縮小されて左右に黒味が付加された主映像が表示されるが、字幕の映像は、１６：９のアスペクト比で表示される。【特許請求の範囲】
【請求項１】
主映像に副映像を重ね合わせて表示される映像の符号化データを生成する符号化装置において、
前記主映像を符号化すると共に前記主映像のアスペクト比を組み込むように構成された第１の符号化部と、
前記副映像を符号化すると共に前記副映像のアスペクト比を組み込むように構成された第２の符号化部と
を備える符号化装置。
【請求項２】
前記第２の符号化部は、前記副映像のアスペクト比を表すフラグを設定して前記副映像のアスペクト比の組み込みを行う
請求の範囲１に記載の符号化装置。
【請求項３】
主映像に副映像を重ね合わせて表示される映像の符号化データを生成する符号化方法において、
前記主映像を符号化すると共に前記主映像のアスペクト比を組み込む第１の符号化ステップと、
前記副映像を符号化すると共に前記副映像のアスペクト比を組み込む第２の符号化ステップと
を含む符号化方法。
【請求項４】
主映像に副映像を重ね合わせて表示される映像の符号化データを生成する符号化装置を制御するプロセッサに実行させるプログラムにおいて、
前記主映像を符号化すると共に前記主映像のアスペクト比を組み込む第１の符号化ステップと、
前記副映像を符号化すると共に前記副映像のアスペクト比を組み込む第２の符号化ステップと
を含むプログラム。
【請求項５】
主映像の符号化データ、および前記主映像に重ね合わせて表示される副映像の符号化データを復号する復号装置において、
前記主映像の符号化データに組み込まれている前記主映像のアスペクト比を取得するように構成された第１の取得部と、
前記主映像の画枠を、前記第１の取得部により取得された前記主映像のアスペクト比に応じて変換するように構成された第１の変換部と、
前記副映像の符号化データに組み込まれている前記副映像のアスペクト比を取得するように構成された第２の取得部と、
前記副映像の画枠を、前記第２の取得部により取得された前記副映像のアスペクト比に応じて変換するように構成された第２の変換部と
を備える復号装置。
【請求項６】
主映像の符号化データ、および前記主映像に重ね合わせて表示される副映像の符号化データを復号する復号方法において、
前記主映像の符号化データに組み込まれている前記主映像のアスペクト比を取得する第１の取得ステップと、
前記主映像の画枠を、前記第１の取得ステップの処理で取得された前記主映像のアスペクト比に応じて変換する第１の変換ステップと、
前記副映像の符号化データに組み込まれている前記副映像のアスペクト比を取得する第２の取得ステップと、
前記副映像の画枠を、前記第２の取得ステップの処理で取得された前記副映像のアスペクト比に応じて変換する第２の変換ステップと
を含む復号方法。
【請求項７】
主映像の符号化データ、および前記主映像に重ね合わせて表示される副映像の符号化データを復号する復号装置を制御するプロセッサに実行させるプログラムにおいて、
前記主映像の符号化データに組み込まれている前記主映像のアスペクト比を取得する第１の取得ステップと、
前記主映像の画枠を、前記第１の取得ステップの処理で取得された前記主映像のアスペクト比に応じて変換する第１の変換ステップと、
前記副映像の符号化データに組み込まれている前記副映像のアスペクト比を取得する第２の取得ステップと、
前記副映像の画枠を、前記第２の取得ステップの処理で取得された前記副映像のアスペクト比に応じて変換する第２の変換ステップと
を含むプログラム。
【請求項８】
主映像データを符号化した主映像符号化データと、前記主映像データに重ね合わせて表示される副映像データを符号化した副映像符号化データとが多重化されて記録された記録媒体において、
前記主映像符号化データは、前記主映像データのアスペクト比を表す第１のアスペクト比フラグを有し、
前記副映像符号化データは、前記第１のアスペクト比フラグとは独立した、前記副映像データのアスペクト比を表す第２のアスペクト比フラグを有する記録媒体。
【請求項９】
主映像データを符号化した主映像符号化データと、前記主映像データに重ね合わせて表示される副映像データを符号化した副映像符号化データとが多重化されたデータ構造において、
前記主映像符号化データは、前記主映像データのアスペクト比を表す第１のアスペクト比フラグを有し、
前記副映像符号化データは、前記第１のアスペクト比フラグとは独立した、前記副映像データのアスペクト比を表す第２のアスペクト比フラグを有するデータ構造。
【発明の詳細な説明】
【技術分野】  本発明は、符号化装置および方法、復号装置および方法、プログラム、記録媒体、ならびに、データ構造に関し、主映像のアスペクト比とは独立したアスペクト比で、副映像を表示することができるようにした符号化装置および方法、復号装置および方法、プログラム、記録媒体、ならびに、データ構造に関する。
【背景技術】  コンテンツの映像（以下、適宜、主映像と称する）に、字幕などの主映像を補足等する理由で表示される映像（以下、適宜、副映像と称する）を重ね合わせて表示されることがある。
通常、副映像のアスペクト比は、主映像のアスペクト比に関連づけられており、主映像のアスペクト比が、ａ：ｂであれば、副映像もａ：ｂのアスペクト比で、また主映像のアスペクト比が、ｃ：ｄであれば、副映像もｃ：ｄのアスペクト比で、主映像に重ね合わされるようになされている。
具体的な例としては、表示装置のアスペクト比が１６：９である場合であって、主映像のアスペクト比が４：３であるとき、第１図に示すように、主映像の画枠サイズを変更して左右に黒色を表示させるデータが付されて表示されるが、そのとき字幕は、必ず４：３のアスペクト比で表示される（特許文献１「特開平１０−３０８９２４号公報」参照）。
しかしながら、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）などの携帯性を重視した小型の電子機器には、通常画面が小さい表示装置が設けられているので、その表示画面のアスペクト比が１６：９である場合であって、主映像のアスペクト比が４：３であるとき、字幕が、サイドパネル部分があるにもかかわらず、第１図に示したように４：３のアスペクト比で表示されると、見えづらくなってしまう場合があった。
【発明の開示】
本発明はこのような状況に鑑みてなされたものであり、主映像のアスペクト比とは独立したアスペクト比で、副映像を表示することができるようにするものである。
本発明の符号化装置は、主映像を符号化すると共に主映像のアスペクト比を組み込むように構成された第１の符号化部と、副映像を符号化すると共に副映像のアスペクト比を組み込むように構成された第２の符号化部とを備えることを特徴とする。
第２の符号化部は、副映像のアスペクト比を表すフラグを設定して副映像のアスペクト比の組み込みを行うことができる。
本発明の符号化方法は、主映像を符号化すると共に前記主映像のアスペクト比を組み込む第１の符号化ステップと、副映像を符号化すると共に前記副映像のアスペクト比を組み込む第２の符号化ステップとを含むことを特徴とする。
本発明の第１のプログラムは、主映像を符号化すると共に主映像のアスペクト比を組み込む第１の符号化ステップと、副映像を符号化すると共に副映像のアスペクト比を組み込む第２の符号化ステップとを含むことを特徴とする。
本発明の符号化装置および方法、並びに第１のプログラムにおいては、主映像が符号化されると共に主映像のアスペクト比が組み込まれ、副映像が符号化されると共に副映像のアスペクト比が組み込まれる。
本発明の復号装置は、主映像の符号化データに組み込まれている主映像のアスペクト比を取得するように構成された第１の取得部と、主映像の画枠を、第１の取得部により取得された主映像のアスペクト比に応じて変換するように構成された第１の変換部と、副映像の符号化データに組み込まれている副映像のアスペクト比を取得するように構成された第２の取得部と、副映像の画枠を、第２の取得部により取得された副映像のアスペクト比に応じて変換するように構成された第２の変換部とを備えることを特徴とする。
本発明の復号方法は、主映像の符号化データに組み込まれている主映像のアスペクト比を取得する第１の取得ステップと、主映像の画枠を、第１の取得ステップの処理で取得された主映像のアスペクト比に応じて変換する第１の変換ステップと、副映像の符号化データに組み込まれている副映像のアスペクト比を取得する第２の取得ステップと、副映像の画枠を、第２の取得ステップの処理で取得された副映像のアスペクト比に応じて変換する第２の変換ステップとを含むことを特徴とする。
本発明の第２のプログラムは、主映像の符号化データに組み込まれている主映像のアスペクト比を取得する第１の取得ステップと、主映像の画枠を、第１の取得ステップの処理で取得された主映像のアスペクト比に応じて変換する第１の変換ステップと、副映像の符号化データに組み込まれている副映像のアスペクト比を取得する第２の取得ステップと、副映像の画枠を、第２の取得ステップの処理で取得された副映像のアスペクト比に応じて変換する第２の変換ステップとを含むことを特徴とする。
本発明の復号装置および方法、並びに第２のプログラムにおいては、主映像の符号化データに組み込まれている主映像のアスペクト比が取得され、主映像の画枠が、取得された主映像のアスペクト比に応じて変換され、副映像の符号化データに組み込まれている副映像のアスペクト比が取得され、副映像の画枠が、取得された副映像のアスペクト比に応じて変換される。
本発明の記録媒体は、主映像データを符号化した主映像符号化データと、主映像データに重ね合わせて表示される副映像データを符号化した副映像符号化データとが多重化されて記録され、主映像符号化データは、主映像データのアスペクト比を表す第１のアスペクト比フラグを有し、副映像符号化データは、第１のアスペクト比フラグとは独立した、副映像データのアスペクト比を表す第２のアスペクト比フラグを有することを特徴とする。
本発明のデータ構造は、主映像データを符号化した主映像符号化データと、主映像データに重ね合わせて表示される副映像データを符号化した副映像符号化データとが多重化され、主映像符号化データは、主映像データのアスペクト比を表す第１のアスペクト比フラグを有し、副映像符号化データは、第１のアスペクト比フラグとは独立した、副映像データのアスペクト比を表す第２のアスペクト比フラグを有することを特徴とする。
本発明の記録媒体およびデータ構造においては、主映像データを符号化した主映像符号化データと、主映像データに重ね合わせて表示される副映像データを符号化した副映像符号化データとが多重化されて記録され、主映像符号化データは、主映像データのアスペクト比を表す第１のアスペクト比フラグを有し、副映像符号化データは、第１のアスペクト比フラグとは独立した、副映像データのアスペクト比を表す第２のアスペクト比フラグを有するため、この記録媒体に記録されたデータまたはこのデータ構造を有するデータから、主映像の符号化データに組み込まれている主映像のアスペクト比と、副映像の符号化データに組み込まれている副映像のアスペクト比とが取得され、主映像の画枠を、取得された主映像のアスペクト比に応じて変換でき、副映像の画枠を、取得された副映像のアスペクト比に応じて変換できる。
本発明によれば、主映像のアスペクト比とは独立したアスペクト比で、副映像を表示することができる。
【図面の簡単な説明】  第１図は、従来の字幕の表示例を示す図、第２図は、本発明を適用した符号化装置の構成例を示すブロック図、第３図は、第２図のビデオエンコーダ２６の構成例を示すブロック図、第４図は、ビデオエンコーダにおける一例の処理を概略的に示すフローチャート、第５図は、字幕の座標を説明する図、第６図は、本発明を適用した復号装置の構成例を示すブロック図、第７図は、第６図のビデオデコーダ６６の構成例を示すブロック図、第８図は、ビデオデコーダにおける一例の処理を概略的に示すフローチャート、第９図は、第７図の副映像画枠サイズ変換部７５の動作を説明するフローチャート、第１０図は、本発明での字幕の表示例を示す図、第１１図は、本発明での字幕の表示例を示す他の図、第１２図Ａおよび第１２図Ｂは、表示装置のアスペクト比が４：３であれば主映像のアスペクト比が１６：９であっても字幕の映像をアスペクト比が４：３で投射することを説明するための図、第１３図は、字幕座標に対する主映像の表示領域を示す図、第１４図は、字幕座標に対する主映像の表示領域を示す他の図、第１５図は、字幕座標に対する主映像の表示領域を示す他の図、第１６図は、字幕座標に対する主映像の表示領域を示す他の図、第１７図は、字幕座標に対する主映像の表示領域を示す他の図、第１８図は、字幕座標に対する主映像の表示領域を示す他の図、第１９図は、本発明での字幕の表示例を示す他の図、第２０図は、本発明での字幕の表示例を示す他の図、第２１図は、字幕座標に対する主映像の表示領域を示す他の図、第２２図は、字幕座標に対する主映像の表示領域を示す他の図、第２３図は、字幕座標に対する主映像の表示領域を示す他の図、第２４図は、本発明での字幕の表示例を示す他の図、第２５図は、本発明での字幕の表示例を示す他の図である。
【符号の説明】
１１    符号化装置
２６    ビデオエンコーダ
３１    主映像符号化部
３２    副映像符号化部
３３    多重化部
５１    復号装置
６６    ビデオデコーダ
７１    多重化分離部
７２    主映像復号部
７３    副映像復号部
７４    主映像画枠サイズ変換部
７５    副映像画枠サイズ変換部
７６    加算器
７７    出力バッファ
Ｓ１    主映像についての符号化処理およびアスペクト比等組み込み処理
Ｓ２    副映像についての符号化処理およびアスペクト比等組み込み処理
Ｓ３    アスペクト比等が組み込まれた主映像の符号化データと副映像の符号化データとを多重化
Ｓ１０  主映像表示処理
Ｓ１１  副映像表示処理
Ｓ１２  表示装置のアスペクト比に合わせて決められた主映像に副映像を重ね合わせて表示
Ｓ２１  字幕アスペクト比のフラグを取得する
Ｓ２２  表示装置のアスペクト比は１６：９または４：３？
Ｓ２３  字幕をアスペクト比が４：３になるように投射する
Ｓ２４  両方のアスペクト比を示すフラグまたは一方のアスペクト比を示すフラグ？
Ｓ２５  字幕アスペクト比は１６：９または４：３？
Ｓ２６  字幕をアスペクト比が１６：９になるように投射する
Ｓ２７  字幕をスペクト比が４：３になるように投射する
Ｓ２８  字幕をスペクト比が１６：９になるように投射する
【発明を実施するための最良の形態】  以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
請求の範囲１に記載の符号化装置は、主映像に副映像を重ね合わせて表示される映像の符号化データを生成する符号化装置において、前記主映像を符号化すると共に主映像のアスペクト比を組み込むように構成された第１の符号化部（例えば、第３図の主映像符号化部３１）と、前記副映像を符号化すると共に副映像のアスペクト比を組み込むように構成された第２の符号化手段（例えば、第３図の副映像符号化部３２）とを備えることを特徴とする。
前記第２の組み込み手段は、前記副映像のアスペクト比を表すフラグ（例えば、１６：９であることを示すフラグ、４：３であることを示すフラグ、１６：９および４：３のいずれでもよいことを示すフラグ）を設定して副映像のアスペクト比の組み込みを行うことを特徴とする。
請求の範囲３に記載の符号化方法および請求の範囲４に記載のプログラムは、主映像に副映像を重ね合わせて表示される映像の符号化データを生成する符号化方法において、前記主映像を符号化すと共に主映像のアスペクト比を組み込む第１の符号化ステップ（例えば、第３図の主映像符号化部３１の処理）と、前記副映像を符号化すると共に副映像のアスペクト比を組み込む第２の符号化ステップ（例えば、第３図の副映像符号化部３２の処理）とを含むことを特徴とする。
請求の範囲５の復号装置は、主映像の符号化データ、および前記主映像に重ね合わせて表示される副映像の符号化データを復号する復号装置において、前記主映像の符号化データに組み込まれている前記主映像のアスペクト比を取得するように構成された第１の取得部（例えば、第７図の主映像復号部７２）と、前記主映像の画枠を、前記第１の取得部により取得された前記主映像のアスペクト比に応じて変換するように構成された第１の変換部（例えば、第７図の主映像画枠サイズ変換部７４）と、前記副映像の符号化データに組み込まれている前記副映像のアスペクト比を取得するように構成された第２の取得部（例えば、第７図の副映像復号部７３）と、前記副映像の画枠を、前記第２の取得部により取得された前記副映像のアスペクト比に応じて変換するように構成された第２の変換部（例えば、第７図の副映像画枠サイズ変換部７５）とを備えることを特徴とする。
請求の範囲６に記載の復号方法および請求の範囲７に記載のプログラムは、前記主映像の符号化データに組み込まれている前記主映像のアスペクト比を取得する第１の取得ステップ（例えば、第７図の主映像復号部７２の処理）と、前記主映像の画枠を、前記第１の取得ステップの処理で取得された前記主映像のアスペクト比に応じて変換する第１の変換ステップ（例えば、第７図の主映像画枠サイズ変換部７４の処理）と、前記副映像の符号化データに組み込まれている前記副映像のアスペクト比を取得する第２の取得ステップ（例えば、第７図の副映像復号部７３の処理）と、前記副映像の画枠を、前記第２の取得ステップの処理で取得された前記副映像のアスペクト比に応じて変換する第２の変換ステップ（例えば、第７図の副映像画枠サイズ変換部７５の第９図に示す処理）とを含むことを特徴とする。
第２図は、本発明を適用した符号化装置１１の構成例を示している。
バス２１には、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２２、メモリ２３、ビデオ信号入力インタフェース２４、制御信号入力インタフェース２５、ビデオエンコーダ２６、およびビデオデータ出力インタフェース２７等が接続されている。
ＣＰＵ２２およびメモリ２３は、コンピュータシステムを形成している。即ち、ＣＰＵ２２は、メモリ２３に記憶されたプログラムを実行し、装置全体を制御するとともに、後述する処理を行う。メモリ２３は、ＣＰＵ２２が実行するプログラムを記憶している。また、メモリ２３は、ＣＰＵ２２の動作上必要なデータを一時記憶する。なお、メモリ２３は、不揮発性メモリのみ、または揮発性メモリと不揮発性メモリとの組み合わせで構成することが可能である。また、第２図の装置に、ハードディスクを設け、そのハードディスクに、ＣＰＵ２２が実行するプログラムを格納しておく場合には、メモリ２３は、揮発性メモリのみで構成することが可能である。
ここで、ＣＰＵ２２が実行するプログラムは、装置に内蔵されている記録媒体としてのメモリ２３に予め格納しておくことができる。
あるいはまた、プログラムは、ディスク、さらには、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＭＯ（Ｍａｇｎｅｔｏ  Ｏｐｔｉｃａｌ）ディスク、磁気ディスク、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、メモリ２３にあらかじめ記憶させておくこと、あるいは、上述したようなリムーバブル記録媒体から装置にインストールすることができる。また、プログラムは、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、装置に無線で転送したり、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、装置に有線で転送し、装置では、そのようにして転送されてくるプログラムを受信し、内蔵するメモリ２３にインストールすることができる。
さらに、プログラムは、１のＣＰＵにより処理されるものであっても良いし、複数のＣＰＵによって分散処理されるものであっても良い。
ビデオ信号入力インタフェース２４は、ＣＰＵ２２の制御の下、ビデオカメラ等から供給された主映像のビデオ信号や副映像のビデオ信号を入力し、バス２１を介して、ＣＰＵ２２や、メモリ２３、ビデオエンコーダ２６などに供給する。
制御信号入力インタフェース２５は、図示せぬキー（ボタン）や、リモコン（リモートコントロールコマンダ）がユーザに操作されることによって供給される制御信号を入力し、バス２１を介して、ＣＰＵ２２に供給する。なお、制御信号入力インタフェース２５は、その他、例えば、モデム（ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）モデムを含む）や、ＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）などの通信インタフェースとしても機能する。
ビデオエンコーダ２６は、ビデオ信号入力インタフェース２４を介して入力されたビデオ信号を符号化し、その結果得られたビデオデータを、バス２１を介して、ＣＰＵ２２に供給する。
ビデオデータ出力インタフェース２７は、ＣＰＵ２２によりビデオデータがパケット化されて得られたビデオトランスポートストリームを出力する。
第３図は、第２図のビデオエンコーダ２６の構成例を示している。また、第４図のフローチャートは、ビデオエンコーダ２６における一例の処理を概略的に示す。
先ず、第４図のフローチャートを用いてビデオエンコーダ２６における一例の処理を概略的に説明する。ステップＳ１で、主映像符号化部３１において、主映像のビデオ信号の符号化処理がなされると共に、主映像のアスペクト比等が符号化データに組み込まれる。次に、ステップＳ２で、副映像符号化部３２において、副映像のビデオ信号の符号化処理がなされると共に、副映像のアスペクト比等が符号化データに組み込まれる。そして、ステップＳ３で、主映像のアスペクト比等が組み込まれた主映像の符号化データと、副映像のアスペクト比等が組み込まれた副映像の符号化データとが多重化される。
なお、ステップＳ１およびステップＳ２の順序は、この第４図の順序に限られない。例えば、ステップＳ２で副映像に関する処理を行ってから、ステップＳ１の主映像に関する処理を行ってもよいし、ステップＳ１の処理とステップＳ２の処理とを並列的に行うこともできる。
ビデオエンコーダ２６における処理を、より詳細に説明する。主映像符号化部３１は、ビデオ信号入力インタフェース２４を介して入力された主映像のビデオ信号を符号化するとともに、ＣＰＵ２２から通知された主映像のアスペクト比等を、その符号化データに組み込んで、多重化部３３に供給する。
主映像のアスペクト比等のデータは、主映像のビデオ信号が符号化された符号化データに対して組み込まれる。これに限らず、符号化される前の主映像のビデオ信号に主映像のアスペクト比等のデータを組み込み、主映像のビデオ信号とアスペクト比等のデータとを共に符号化してもよい。
副映像符号化部３２は、ビデオ信号入力インタフェース２４を介して入力された、例えば字幕やグラフィクスといった副映像のデータを符号化するとともに、ＣＰＵ２２から通知された副映像の大きさおよび位置情報、並びにアスペクト比等を、その符号化データに組み込んで、多重化部３３に供給する。以下、副映像として字幕を例に挙げて説明する。
副映像のアスペクト比等のデータは、副映像のビデオ信号が符号化された符号化データに対して組み込まれる。これに限らず、符号化される前の副映像のビデオ信号に副映像のアスペクト比等のデータを組み込み、副映像のビデオ信号とアスペクト比等のデータとを共に符号化してもよい。
なお副映像のアスペクト比については、アスペクト比が４：３であることを示すフラグ、アスペクト比が１６：９であることを示すフラグ、またはアスペクト比が４：３および１６：９のいずれでもよいことを示すフラグが設定される。
また、第５図に示すように副映像を表示可能な画枠が７２０×４８０の１種類だけと規定されている場合、字幕の大きさは、字幕の高さｐｈ（Ｙ軸方向の大きさ）と、幅ｐｗ（Ｘ軸方向の大きさ）により表され、その位置は、字幕の図上左上角の座標（ｂｘ，ｂｙ）で表されており、（ｂｘ＋ｐｗ，ｂｙ＋ｐｈ）＜＝（７１９，４７９）を満たすようになされている。すなわち字幕は、７２０×４８０内に位置するようになされており、後述するように、表示装置のアスペクト比と字幕のアスペクト比に応じて表示装置の画面上に投射される大きさや位置を適当な値に変換し、主映像と重ね合わせて出力される。
第３図に戻り多重化部３３は、主映像符号化部３１から供給された、主映像のアスペクト比等が組み込まれた主映像の符号化データと、副映像符号化部３２から供給された、副映像の大きさおよび位置、並びにアスペクト比等が組み込まれた副映像の符号化データとを多重化し、ビデオデータ出力インタフェース２７に出力する。
第６図は、本発明を適用した復号装置５１の構成例を示している。
バス６１には、ＣＰＵ６２、メモリ６３、ビデオデータ入力インタフェース６４、制御信号入力インタフェース６５、ビデオデコーダ６６、およびビデオ出力インタフェース６７が接続されている。
ＣＰＵ６２およびメモリ６３は、コンピュータシステムを形成している。即ち、ＣＰＵ６２は、メモリ６３に記憶されたプログラムを実行し、装置全体を制御するとともに、後述する処理を行う。メモリ６３は、ＣＰＵ６２が実行するプログラムを記憶している。また、メモリ６３は、ＣＰＵ６２の動作上必要なデータを一時的記憶する。なお、メモリ６３は、不揮発性メモリのみ、または揮発性メモリと不揮発性メモリとの組み合わせで構成することが可能である。また、装置に、ハードディスクを設け、そのハードディスクに、ＣＰＵ６２が実行するプログラムを記録（インストール）しておく場合には、メモリ６３は、揮発性メモリのみで構成することが可能である。
ここで、ＣＰＵ６２が実行するプログラムは、装置に内蔵されている記録媒体としてのメモリ６３に予め格納しておくことができる。
あるいはまた、プログラムは、ディスク、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＭＯ（Ｍａｇｎｅｔｏ  Ｏｐｔｉｃａｌ）ディスク、磁気ディスク、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、メモリ６３にあらかじめ記憶させておくこと、あるいは、上述したようなリムーバブル記録媒体から装置にインストールすることができる。また、プログラムは、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、装置に無線で転送したり、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、装置に有線で転送し、装置では、そのようにして転送されてくるプログラムを受信し、内蔵するメモリ６３にインストールすることができる。
さらに、プログラムは、１のＣＰＵにより処理されるものであっても良いし、複数のＣＰＵによって分散処理されるものであっても良い。
ビデオデータ入力インタフェース６４は、ＣＰＵ６２の制御の下、復号装置５１に供給された、符号化装置１１によって符号化された符号化データを入力し、ＣＰＵ６２や、メモリ６３、ビデオデコーダ６６などに供給する。
制御信号入力インタフェース６５は、図示せぬキー（ボタン）や、リモコン（リモートコントロールコマンダ）がユーザに操作されることによって供給される信号を受信し、バス６１を介して、ＣＰＵ６２に供給する。なお、制御信号入力インタフェース６５は、その他、例えば、モデム（ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）モデムを含む）や、ＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）などの通信インタフェースとしても機能する。
ビデオデコーダ６６は、ビデオデータ入力インタフェース６４およびバス６１を介して供給される、ビデオデータの符号化データをデコードし、その結果得られるビデオデータを、バス６１を介して、ＣＰＵ６２やビデオ出力インタフェース６７に供給する。
ビデオ出力インタフェース６７は、バス６１を介して供給されるビデオデータに必要な処理を施し、ビデオ出力端子６８から出力する。
ビデオ出力端子６８は、図示せぬＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）や、液晶パネル等の表示装置に接続されており、従って、ビデオ出力端子６８から出力されるビデオデータは、その表示装置に供給されて表示される。
なお、復号装置５１から、表示装置へのビデオデータの供給は、有線または無線のいずれによって行うことも可能である。
第７図は、第６図のビデオデコーダ６６の構成例を示している。また、第８図のフローチャートは、ビデオデコーダ６６の一例の処理を概略的に示す。
先ず、第８図のフローチャートを用いてビデオデコーダ６６における一例の表示処理を概略的に説明する。ステップＳ１０で、多重化分離部７１で分離された主映像の符号化データが主映像復号部７２で復号化されると共に、符号化時に組み込まれた主映像のアスペクト比等のデータが抽出され、主映像画枠サイズ変換部７４で主映像および表示装置のアスペクト比に基づき画枠サイズが変換される。ステップＳ１１で、多重化分離部７１で分離された副映像の符号化データが副映像復号部７３で復号化されると共に、符号化時に組み込まれた副映像のアスペクト比等のデータが抽出され、副映像画枠サイズ変換部７５で副映像および表示装置のアスペクト比に基づき画枠サイズが変換される。そして、次のステップＳ１２で、加算器７６により、表示装置のアスペクト比に合わせて決められた主映像に副映像が重ね合わされ、この主映像に副映像が重ね合わされた映像が表示される。
なお、ステップＳ１０およびステップＳ１１の順序は、この第８図の順序に限られない。例えば、ステップＳ１１で副映像に関する処理を行ってから、ステップＳ１０の主映像に関する処理を行ってもよいし、ステップＳ１０の処理とステップＳ１１の処理とを並列的に行うこともできる。
ビデオデコーダ６６における処理を、より詳細に説明する。多重化分離部７１は、ビデオデータ入力インタフェース６４から供給された符号化データから、主映像の符号化データと副映像の符号化データを分離するとともに、主映像の符号化データを主映像復号部７２に供給し、副映像の符号化データを副映像復号部７３に供給する。
主映像復号部７２は、主映像の符号化データを復号し、その結果得られたビデオデータを主映像画枠サイズ変換部７４に供給する。主映像復号部７２はまた、その際、主映像の符号化データに組み込まれていた主映像のアスペクト比等の情報を抽出して、主映像画枠サイズ変換部７４に供給する。
副映像復号部７３は、副映像の符号化データを復号し、その結果得られた字幕データを副映像画枠サイズ変換部７５に供給する。副映像復号部７３はまた、その際、副映像の符号化データに組み込まれている副映像の大きさおよび位置、並びにアスペクト比等に関する情報を抽出して、副映像画枠サイズ変換部７５に供給する。
主映像画枠サイズ変換部７４は、ビデオ出力端子６８に接続されている表示装置のアスペクト比と、主映像復号部７２から供給された主映像のアスペクト比に基づいて、出力する主映像の画枠サイズを変換し、加算器７６に供給する。
例えば、表示装置のアスペクト比が１６：９である場合において、主映像のアスペクト比が４：３であるときには、主映像画枠サイズ変換部７４は、主映像を、横方向（水平方向）に縮小するとともに、左右に黒色を表示させるデータを付加して出力する。
また表示装置のアスペクト比が４：３である場合において、主映像のアスペクト比が１６：９であるときには、主映像画枠サイズ変換部７４は、主映像を、縦方向に縮小するとともに、上下に黒色を表示させるデータを付加して出力する。
表示装置のアスペクト比と主映像のアスペクト比がいずれも、４：３や１６：９で同一である場合、主映像画枠サイズ変換部７４は、主映像を縮小することなく、そのまま出力する。
副映像画枠サイズ変換部７５は、原則、副映像復号部７３から供給された副映像のアスペクト比に基づいて、副映像の画枠サイズを変換し、加算器７６に供給する。
加算器７６は、主映像画枠サイズ変換部７４から供給された主映像に、副映像画枠サイズ変換部７５から供給された副映像を重ね合わせて、出力バッファ７７に供給する。
出力バッファ７７は、加算器７６から供給されたデータを一時的に記憶して、所定のタイミングでビデオ出力インタフェース６７に出力する。
次に、第９図のフローチャートを参照して、ビデオデコーダ６６の副映像画枠サイズ変換部７５の動作を説明する。
ステップＳ２１において、副映像画枠サイズ変換部７５は、副映像復号部７３から、いま副映像画枠サイズ変換部７５に供給されている副映像のアスペクト比を示すフラグを取得する。
ステップＳ２２において、副映像画枠サイズ変換部７５は、表示装置のアスペクト比が４：３（例えば、３６０×２７０）であるか１６：９（例えば、４８０×２７０）であるかを判定し、４：３であると判定した場合、ステップＳ２３に進み、副映像を表示可能な７２０×４８０の画枠サイズを、４：３のアスペクト比に合うように変換し（ピクセルアスペクト比＝１０：１１）、その結果得られた字幕データを、加算器７６に出力する。
すなわち副映像は、主映像のアスペクト比に関係なく、４：３のアスペクト比で投射される。
主映像のアスペクト比が１６：９である場合には、第１０図に示すように、画枠サイズが変更され上下に黒色を表示させるデータが付加された主映像に、４：３のアスペクト比の字幕の映像が重ね合わされて表示される。主映像のアスペクト比も４：３である場合には、第１１図に示すように、そのままの主映像に、４：３のアスペクト比の字幕の映像が重ね合わされて表示される。
なお表示装置のアスペクト比が４：３である場合、主映像のアスペクト比が１６：９であっても、アスペクト比が４：３の字幕の映像で投射されるようにした（第９図のステップＳ２３）のは、１６：９のアスペクト比で投射すると、第１２図Ａに一例が示されるように、字幕の両端が表示されなくなる可能性があるためである。表示装置のアスペクト比が４：３で主映像のアスペクト比が４：３の場合も同様である（第１２図Ｂ参照）。そのため、字幕のアスペクト比を１６：９としての投射が禁止されていたり、表示装置のアスペクト比が４：３であるとき、そもそも字幕のアスペクト比が４：３とされていたりする。
副映像のアスペクト比が４：３で主映像のアスペクト比が１６：９である場合（第１０図）の、副映像の座標系に対する主映像の表示領域は、第１３図乃至第１５図に示される影が付されている領域となる。第１３図は、主映像の画枠が７２０×４８０である場合、第１４図は、３５２×４８０である場合、第１５図は、３５２×２４０である場合の領域を表している。
また副映像のアスペクト比が４：３で主映像のアスペクト比も４：３である場合（第１１図）の副映像の座標系に対する主映像の表示領域は、第１６図乃至第１８図に示される影が付されている領域となる。第１６図は、主映像の画枠が７２０×４８０である場合、第１７図は、３５２×４８０である場合、第１８図は、３５２×２４０である場合の領域を表している。
第９図に戻りステップＳ２２で、表示装置のアスペクト比が１６：９であると判定された場合、ステップＳ２４に進み、副映像画枠サイズ変換部７５は、ステップＳ２１で取得したフラグが、副映像のアスペクト比が１６：９および４：３のいずれでもよいことを示すフラグであるか、また１６：９または４：３のいずれか１つのアスペクト比を示すフラグであるかを判定し、いずれか１つのアスペクト比を示すフラグであると判定した場合、ステップＳ２５に進む。
ステップＳ２５において、副映像画枠サイズ変換部７５は、ステップＳ２１で取得したフラグが、副映像のアスペクト比が１６：９であることを示すフラグかまたは４：３であることを示すフラグかを判定し、１６：９であることを示すフラグであると判定した場合、ステップＳ２６に進む。
ステップＳ２６において、副映像画枠サイズ変換部７５は、字幕の映像の７２０×４８０の画枠サイズを、１６：９のアスペクト比に合うように変換し（ピクセルアスペクト比＝４０：３３）、その結果得られた字幕データを、加算器７６に出力する。
すなわち副映像は、主映像のアスペクト比に関係なく、１６：９のアスペクト比で表示される。
主映像のアスペクト比が４：３である場合には、第１９図に示すように、横方向に縮小されて左右に黒色を表示させるデータが付加された主映像に、１６：９のアスペクト比の字幕の映像が重ね合わされて表示される。すなわち、このように表示装置の表示画面をフルに用いて、字幕を表示することができるので、表示装置が小型の装置であって表示画面が小さいときでも、字幕を大きく表示することができる。
主映像のアスペクト比も１６：９である場合には、第２０図に示すように、そのままの主映像に、１６：９の字幕の映像が重ね合わされて表示される。
なお副映像のアスペクト比が１６：９で主映像のアスペクト比が１６：９である場合（第２０図）の、副映像の座標系に対する主映像の表示領域は、第１６図乃至第１８図に示す影が付されている領域となる。
また副映像のアスペクト比が１６：９で主映像のアスペクト比が４：３である場合（第１９図）の副映像の座標系に対する主映像の表示領域は、第２１図乃至第２３図に示す影が付されている領域となる。第２１図は、主映像の画枠が７２０×４８０である場合、第２２図は、３５２×４８０である場合、第２３図は、３５２×２４０である場合の領域を表している。
第９図に戻りステップＳ２５で、副映像のアスペクト比が４：３であると判定された場合、ステップＳ２７に進み、副映像画枠サイズ変換部７５は、字幕の７２０×４８０の画枠サイズを、４：３のアスペクト比に合うように変換し、その結果得られた字幕データを、加算器７６に出力する。
すなわちこの場合、副映像は、主映像のアスペクト比に関係なく、４：３のアスペクト比で表示（投射）される。
主映像のアスペクト比が４：３である場合には、第２４図に示すように、横方向に縮小されて左右に黒色を表示させるデータが付加された主映像に、４：３のアスペクト比の字幕の映像が重ね合わされて表示される。主映像のアスペクト比が１６：９である場合には、第２５図に示すように、そのままの主映像に、４：３の字幕の映像が重ね合わされて表示される。
なお副映像のアスペクト比が４：３で主映像のアスペクト比も４：３である場合（第２４図）の副映像の座標系に対する主映像の表示領域は、第１６図乃至第１８図に示される領域となる。
また副映像のアスペクト比が４：３で主映像のアスペクト比が１６：９である場合（第２５図）の副映像の座標系に対する主映像の表示領域は、第１３図乃至第１５図に示すような領域となる。
ステップＳ２４で、１６：９および４：３のいずれのアスペクト比でもよいことを示すフラグであると判定された場合、ステップＳ２８に進み、ここでは表示装置のアスペクト比が１６：９であるので、ステップＳ２６における場合と同様に、字幕の７２０×４８０の画枠サイズを、１６：９のアスペクト比に合うように変換し、その結果得られた字幕データを、加算器７６に出力する。
ステップＳ２３、ステップＳ２６、またはステップＳ２８の処理で字幕が表示されると、処理は終了する。
以上のようにして、主映像のアスペクト比と独立して設定された副映像のアスペクト比と表示装置のアスペクト比とに基づいて、副映像を表示することができる。
上述した一連の処理は、ハードウエアにより実現させることもできるが、ソフトウエアにより実現させることもできる。一連の処理をソフトウエアにより実現する場合には、そのソフトウエアを構成するプログラムがコンピュータにインストールされ、そのプログラムがコンピュータで実行されることより、上述した符号化装置１１および復号装置５１が機能的に実現される。
なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図１】
2006059779.tif 000002
【図２】
2006059779.tif 000003
【図３】
2006059779.tif 000004
【図４】
2006059779.tif 000005
【図５】
2006059779.tif 000006
【図６】
2006059779.tif 000007
【図７】
2006059779.tif 000008
【図８】
2006059779.tif 000009
【図９】
2006059779.tif 000010
【図１０】
2006059779.tif 000011
【図１１】
2006059779.tif 000012
【図１２Ａ】
2006059779.tif 000013
【図１２Ｂ】
2006059779.tif 000014
【図１３】
2006059779.tif 000015
【図１４】
2006059779.tif 000016
【図１５】
2006059779.tif 000017
【図１６】
2006059779.tif 000018
【図１７】
2006059779.tif 000019
【図１８】
2006059779.tif 000020
【図１９】
2006059779.tif 000021
【図２０】
2006059779.tif 000022
【図２１】
2006059779.tif 000023
【図２２】
2006059779.tif 000024
【図２３】
2006059779.tif 000025
【図２４】
2006059779.tif 000026
【図２５】
2006059779.tif 000027
【国際調査報告】
2006059779.tif 000028
2006059779.tif 000029
2006059779.tif 000030
2006059779.tif 000031