(57)【特許請求の範囲】
【請求項１】
複数の入力映像ソースの映像データとOSD描画データとをプレーン構成の共有メモリに書き込み且つレイアウト情報に基づいて前記共有メモリから読み出すメモリ制御部と、前記映像データ及び前記OSD描画データを１つの表示器に同時に表示する表示制御装置とを有するマルチ画面合成装置であって、
前記共有メモリへの書き込む映像データを前記入力映像ソース毎にフレーム単位で間引き制御するフレーム間引き制御部と、
前記レイアウト情報から前記映像データの表示優先度を決定する表示優先度制御部と、
前記表示優先度の低い第１と第２の入力映像ソースから成る入力映像ソースペアの垂直同期信号をそれぞれ第１と第２の垂直同期信号とし且つ前記第１と第２の垂直同期信号の位相差を判定する位相差判定部とを備え、
前記フレーム間引き制御部は、マルチ画面表示が所定の画面数を超えたときに、前記表示優先度に基づいて、前記OSD描画期間に前記第１の入力映像ソースの映像データを、前記第１の垂直同期信号に同期して、フレーム単位に間引くのを開始し、前記位相差が前記第１の垂直同期信号の垂直同期期間の１／２より小さい場合は、前記第２の垂直同期信号を２回検知した後に、前記第２の入力映像ソースの映像データをフレーム単位に間引くのを開始し、前記位相差が前記第１の垂直同期信号の垂直同期期間の１／２以上の場合は、前記第２の垂直同期信号を１回検知した後に、前記第２の入力映像ソースの映像データをフレーム単位に間引くのを開始するよう制御することを特徴とするマルチ画面合成装置。
【請求項２】
請求項１記載のマルチ画面合成装置と、テレビ信号を受信して映像データを前記マルチ画面合成装置に出力するチューナ部と、前記マルチ画面合成装置から出力された映像データに基づいて画像を表示する表示器とを有することを特徴とするデジタルテレビ受信装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、マルチ画面表示機能を有するデジタルテレビ受信装置等における共有メモリ（ユニファイドメモリ）を制御するマルチ画面合成装置及びデジタルテレビ受信装置に関する。
【０００２】
【従来の技術】
現在、放送業界は、アナログ地上波放送からBS／CSデジタル放送への移行が進む、いわゆる放送のデジタル化が進展している。これに伴い、テレビの担う役割は“お茶の間のTV”から“家庭の情報の窓”へと変貌していく大きな流れが出来つつある。このデジタル化の流れは、家庭へ送られる番組数を増やし（多チャンネル化）、映像の情報量もSD（Standard Definition）からHD(High Definition)へと高精細化がなされている。
【０００３】
このような流れを受けて、表示装置の担う役割も変わってきている。つまり、家庭のリビングでリアルな臨場感あふれる映像を表現するために、大画面高精細化に向かっている。この典型的な例は、５０インチオーバーのPDP（プラズマディスプレイ）等が挙げられる。このクラスの表示装置は、従来は、公共の場での業務用途としてしか需要がなかったが、将来的にコストが下がってくれば家庭にも入ってくることが予想されている。更に、受信器（セットトップボックス）の担う役割も、低コストで高機能化へ向かっていくことは必須である。
【０００４】
このように、放送のデジタル化、表示装置の大画面高精細化により、テレビが“家庭の情報の窓”となる手段の１つとして、様々なメディアを１つの表示装置に同時表示できるマルチ画面表示という表示形態が期待されている。
【０００５】
最近のテレビ受信機には、２チャンネルを同時受信して画面に同時表示することのできる機能も組み込まれることがあるが、この画面数は、目的に応じて更に増える可能性が高い。
【０００６】
また、放送のデジタル化によって、テレビは単なる一方的に放送映像を映すだけものから、ユーザが双方向でやり取りできる仕組みも用意されている。この典型的な例としては、データ放送が挙げられる。
【０００７】
これは、従来のアナログ放送におけるテレビ局から視聴者に対して一方的に情報を提供する文字多重放送方式を発展させ、双方向性、オンデマンド型のマルチメディアサービス等の新規サービスを付加したもので、番組連動サービス、EPG（電子番組ガイド）サービス、eコマース、データ配信を代表とした様々な放送サービスが検討されている。
【０００８】
このデータ放送は、電波産業界（ARIB）にて規格化がなされ、データ放送の詳細については、ARIB規格書（ARIB STD B-24 デジタル放送におけるデータ放送符号化方式と伝送方式）に記載されている。これにより、受信機にはパソコンと同様に、グラフィカルなユーザインタフェース（GUI）をスムーズに合成できる表示能力も求められている。このGUI表示は、上記データ放送のみならず、多種多様な機器（デジタルカメラ、デジタルビデオ、DVD、DVHS等）の映像をテレビに接続し、テレビ側から簡単に機器制御を可能とさせるための操作支援用のGUI画面を適宜表示できる能力も求められる。
【０００９】
以上の背景から将来的に家庭用の受信機に求められる機能としては、複数画面の放送映像、周辺機器からの映像をマルチ画面で違和感なく同時表示でき、しかも、データ放送、UI等のGUI画面のスムーズなグラフィックを違和感なく表示でき、かつ、これらの表示機能を低コストで実現することが望まれている。
【００１０】
このようなマルチ画面表示機能を実現するための従来の方法は、フレームレートが異なる入力ソースを一旦メモリに蓄えて、表示装置のリフレッシュレートに同期してメモリから読み出して合成出力する方法がある。この場合、システムコストを低減するためにフレームメモリは、UMA（Unified Memory Architecture）を用いた共有メモリとして制御する方法が知られている。
【００１１】
この場合、フレームメモリに要求される転送レートは、同時に処理できる全ての転送レートの合計を、下記式（１）から決定する方法が一般的に採用されている。
【００１２】
メモリ転送レート＞Σ（入力レート）＋Σ（出力レート）……（１）
【００１３】
【発明が解決しようとする課題】
しかしながら、フレームメモリに要求される全ての転送レートの合計からメモリの転送レートを決定すると、マルチ画面表示機能を持つデジタルテレビにおいては、メモリ転送クロックが非常に高くなる。
【００１４】
これに関して以下に具体的に説明する。（これは、あくまでも１例に過ぎない。）
まず、転送容量の見積もりをする上でのパラメータを、以下のように設定する。
【００１５】
HD映像入力（YcbCr444）24bit、75MHz  ------▲１▼
HD映像出力（YcbCr444）24bit、75MHz  ------▲２▼
OSD描画（YcbCr444）    24bit、75MHz  -----▲３▼
OSD描画（INDEXカラー）8bit、75MHz  -------▲４▼
▲１▼はハイビジョン映像を入力する場合に要求されるパラメータである。
▲２▼はハイビジョン映像を出力する場合に要求されるパラメータである。
▲３▼はデータ放送の静止画プレーンにOSD描画する場合に要求されるパラメータである。
【００１６】
▲４▼はデータ放送の文字図形・字幕プレーンにOSD描画する場合に要求されるパラメータである。
（１）映像入力２系統＋OSD３系統で２画面マルチウィンドウを構成する場合の共有メモリは、以下のプレーン構成になる。
【００１７】
動画プレーン０（▲１▼より）  ：１２８０×７２０×２４
動画プレーン１（▲１▼より）  ：１２８０×７２０×２４
OSDプレーン０（▲３▼より）  ：１２８０×７２０×２４
※ARIB仕様では静止画プレーンに相当
OSDプレーン１（▲３▼より）：６４０×３６０×８
※ARIB仕様では文字図形プレーンに相当
OSDプレーン２（▲３▼より）：６４０×３６０×８
※ARIB仕様では字幕プレーンに相当
共有メモリに要求される仕様を計算する。
0004011949.tif 000002
（２）映像入力４系統＋OSD３系統で４画面マルチウィンドウを構成する場合の共有メモリは、以下のプレーン構成になる。
【００１８】
動画プレーン０（▲１▼より）  ：１２８０×７２０×２４
動画プレーン１（▲１▼より）  ：１２８０×７２０×２４
動画プレーン２（▲１▼より）  ：１２８０×７２０×２４
動画プレーン３（▲１▼より）  ：１２８０×７２０×２４
OSDプレーン０（▲３▼より）  ：１２８０×７２０×２４
※ARIB仕様では静止画プレーンに相当
OSDプレーン１（▲３▼より）：６４０×３６０×８
※ARIB仕様では文字図形プレーンに相当
OSDプレーン２（▲３▼より）：６４０×３６０×８
※ARIB仕様では字幕プレーンに相当
共有メモリに要求される仕様を計算する。
0004011949.tif 000003
以上の結果から分かることは、上記（１）及び（２）のいずれの条件の場合も、必要とされるメモリの容量がシステムコストに与える影響はないということである。これは、近年、DRAMのプロセス技術の進展により最低でも１チップ１２８Mビット以上と大容量化がなされているためである。
【００１９】
しかし、転送レートに関しては、上記（１）及び（２）のいずれの条件の場合も、必要メモリバンド幅２GB/S〜３GB/S位が要求されるので、システムコストに与える影響は大きい。
【００２０】
実際、このバンド幅を処理できるDRAM構成を見積もると、
DDR-SDRAMの×３２品を２００MHｚで構成した場合（最大８００MB/S）は、
（１）は３個、（２）は４個必要となる
RDRAMの場合もほぼ同様である。
つまり、メモリの個数が増えるため、システムコストが高くなってしまう。
【００２１】
また、メモリの転送スピードは様々な研究開発がなされることで将来的に向上する可能性が高いが、基板を含めた物理的な伝送まで考慮すると、メモリの大容量化に比べて難しいのが現状である。
【００２２】
このような問題を解決する手段として、前述したように全ての最大転送レートを加味して必要メモリバンド幅を決定する方法以外に、OSDプレーンへの書き込みは、水平或いは垂直同期信号のブランク期間に行う方法が提案されている。
【００２３】
この期間は、動画プレーンへのアクセスがなくなるので、必要なメモリバンド幅からOSDプレーンへのアクセスを外して見積もることが出来るため、上記例では、
（１）は、２．２GB/S  →  １．８GB/S
（２）は、２．９GB/S  →  ２．５GB/S
まで必要バンド幅を下げることが可能となる。
【００２４】
しかし、この方法は、映像ソースの処理を優先して行うために、マルチ画面数が増える場合は、OSD（GUI）描画の待ち時間が多くなる可能性が高い。
【００２５】
特に、データ放送等のGUI画面をアクセラレーションして描画展開する場合や、将来的にMPEG４等の動画のストリーム系がGUI画面の要素となる場合は、特にこの問題が顕著となり、ユーザにとっては、更新の違和感が見た目で分かるため、大きなストレスになる可能性がある。
【００２６】
更に、別の手段として、OSDの描画を優先し、その期間に同時表示できるマルチ画面数を制限すると言う方法もあるが、マルチ画面を用いたアプリケーションの発展にとっては自由度がなくなるため、好適とは言えない。
【００２７】
よって、これらの相反するジレンマを解決し、且つシステムコストを低減できるメモリ制御が望まれている。
【００２８】
本発明は上記従来技術の有する問題点を解決するためになされたもので、その目的は、マルチ画面機能の制約及び映像データの表示とOSD描画更新の見た目の違和感を排除して、システムコストの低減を図ることが可能なマルチ画面合成装置及びデジタルテレビ受信装置を提供することである。
【００２９】
【課題を解決するための手段】
上記目的を達成するために本発明の請求項１記載のマルチ画面合成装置は、複数の入力映像ソースの映像データとOSD描画データとをプレーン構成の共有メモリに書き込み且つレイアウト情報に基づいて前記共有メモリから読み出すメモリ制御部と、前記映像データ及び前記OSD描画データを１つの表示器に同時に表示する表示制御装置とを有するマルチ画面合成装置であって、前記共有メモリへの書き込む映像データを前記入力映像ソース毎にフレーム単位で間引き制御するフレーム間引き制御部と、前記レイアウト情報から前記映像データの表示優先度を決定する表示優先度制御部と、前記表示優先度の低い第１と第２の入力映像ソースから成る入力映像ソースペアの垂直同期信号をそれぞれ第１と第２の垂直同期信号とし且つ前記第１と第２の垂直同期信号の位相差を判定する位相差判定部とを備え、前記フレーム間引き制御部は、マルチ画面表示が所定の画面数を超えたときに、前記表示優先度に基づいて、前記OSD描画期間に前記第１の入力映像ソースの映像データを、前記第１の垂直同期信号に同期して、フレーム単位に間引くのを開始し、前記位相差が前記第１の垂直同期信号の垂直同期期間の１／２より小さい場合は、前記第２の垂直同期信号を２回検知した後に、前記第２の入力映像ソースの映像データをフレーム単位に間引くのを開始し、前記位相差が前記第１の垂直同期信号の垂直同期期間の１／２以上の場合は、前記第２の垂直同期信号を１回検知した後に、前記第２の入力映像ソースの映像データをフレーム単位に間引くのを開始するよう制御することを特徴とする。
【００３４】
更に、上記目的を達成するために本発明の請求項２記載のデジタルテレビ受信装置は、請求項１記載のマルチ画面合成装置と、テレビ信号を受信して映像データを前記マルチ画面合成装置に出力するチューナ部と、前記マルチ画面合成装置から出力された映像データに基づいて画像を表示する表示器とを有することを特徴とする。
【００３６】
【発明の実施の形態】
以下、本発明の各実施の形態を、図面に基づき説明する。
【００３７】
（第１の実施の形態）
まず、本発明の第１の実施の形態を図１乃至図１２に基づき説明する。
【００３８】
図１は、本実施の形態に係るマルチ画面合成装置を含む表示システムの構成を示すブロック図である。
【００３９】
本実施の形態は、２つの独立した放送映像ソースと２つの独立した外部映像入力ソースとの計４つの独立した映像ソースを、予め決められた所定のレイアウトに基づいて、１つの表示装置にマルチ画面合成表示できるように構成している。これらの映像ソースは、４つ以上でも、また、４つ以下でも良い。
【００４０】
また、少なくとも１つ以上の放送映像ソースが含まれれば、組み合わせる映像ソースの種類は問わない。
【００４１】
図１において、１はアンテナ（パラボラアンテナ）で、BSデジタル放送やCSデジタル放送を受信する。本実施の形態では衛星放送を例にしているが、地上波、光ケーブル等から受信しても良い。２−１，２−２はチューナ部で、帯域フィルタ、ダウンコンバータ等を通過させた後、復調部３−１，３−２へ出力する。復調部３−１，３−２は、伝送形態に合致した復調処理を施すと共に、誤り訂正処理等を行い、所望のMPEG２トランスポートストリームをデマルチプレクサ４−１，４−２に受け渡す。デマルチプレクサ４−１，４−２は、前記トランスポートストリームから、所望の番組のMPEG２の映像データとMPEG２の音声データと付加情報とに分離する。分離されたMPEG２の音声データは、図示しない音声デコーダで復号され、オーディオ信号として出力される。これにアンプ、スピーカーを接続すれば、受信した番組の音声を聞くことが出来る。また、前記分離されたMPEG２の映像データは、映像デコーダ５−１，５−２で復号され、ラスタースキャン形式の表示フォーマットに変換された後、放送映像ソースとして後段の解像度変換部７−１，７−２に受け渡される。更に、前記分離された付加情報は制御部１５へ受け渡される。
【００４２】
前記付加情報がBSデジタル放送で運用が予定されているデータ放送の場合は、制御部１５はBMLスクリプト言語を解釈し、マルチメディア情報サービス提供者のコンテンツシナリオを得る。このシナリオは、構造化されたコンテンツの属性（テキストや静止画、動画、音声等の個別データと、それら個別データの画面上の配置を指定する制御情報や、ボタン等の操作に応じて画面を更新する画面制御情報等）から成り、制御部１５がこれを解釈し、後述する画像描画部１８や映像デコーダ５−１，５−２と連動し、データ放送画面を構成する。また、前記付加情報がEPG（Electrical Program Guid）情報の場合は、制御部１５はPSI／SI情報を解釈して番組情報（例えば、番組、放送時間、タイトル、カテゴリ等）を得る。
【００４３】
ここで、前記データ放送について簡単に説明する。
【００４４】
デジタル技術の発展に伴い、放送界でも放送信号を含めた各種情報をデジタル化した放送システムが開発され、その中にあって、データカルーセル伝送という新しい伝送方式が開発されている。これは、番組に付随するマルチメディアサービスのコンテンツファイルをMPEG２トランスポートストリーム上で繰り返し伝送し、これを受信機が放送中の任意のタイミングで取得する。これによって、ユーザは、最新のニュース、天気予報、プロ野球の結果等をいつでもオンデマンドで見ることができる。また、受信機は、モデムを介した電話機能を内蔵するため、ユーザのクイズ番組、映画の人気投票番組等に参加できる放送局とユーザとを結ぶ双方向型のサービスも実現できる。
【００４５】
６−１，６−２は入力処理部で、一方の入力処理部６−１は、外部映像ソース（外部映像入力１）を、他方の入力処理部６−２は、外部映像ソース（外部映像入力２）を、それぞれ受け取る。若し、受け取る画像データがコンピュータのアナログ信号であれば、A/Dコンバータや画像データをサンプリングするためのPLL(Phase  Locked  Loop)が入っており、また、LVDS(Low Voltage Differential Signaling)等のデジタル信号であれば、その復号器や差動のバッファが入っている。また、テレビやDVDのコンポジット信号であれば、NTSCビデオデコーダや、YUVからRGB信号に変換する色変換回路や走査方式をインタレースからプログレッシブに変換するIP変換回路等が入っている。いずれも、ラスタースキャン形式の表示フォーマットに変換された後、外部映像ソースとして後段の解像度変換部７−３，７−４に受け渡される。
【００４６】
解像度変換部７−１〜７−４で、制御部１５が表示フォーマット（表示ライン数やドット数、色数）と予めプリセットされたマルチ画面レイアウト情報に基づいて、解像度変換パラメータ（拡大率・縮小率・拡大縮小の重み付けフィルタ係数等）をそれぞれに独立設定することで、拡大・縮小・等倍処理を行う。また、ここでは、独立した４つの画像データを１つの共通した共有バス８に出力するためのバスインタフェースの機能も有している。
【００４７】
解像度変換部７−１〜７−４から出力される画像は、共有バス８を経由して、メモリ制御部９の制御の下に、少なくとも表示画像１画面分（本実施の形態では、少なくとも表示画像４画面分）の容量を持つ共有メモリ１０に格納される。これと同時に、合成部１２は、制御部１５からのマルチウィンドウ管理指示に基づき、表示すべき入力画像のストアされているメモリアドレスをメモリ制御部９に発行することにより、共有メモリ１０から表示データを読み出し、最終的なマルチ画面合成を実現する。
【００４８】
共有バス８に対する非同期で起こるメモリへのアクセスは、調停部１１により優先順位に基づいたスケーラブルな管理がなされている。表示制御部１３は、後述する表示装置１４のフレームレートに同期して該表示装置１４の特性に応じた表示駆動の制御及び表示フォーマット変換等を行う。１４は表示装置で、そのデバイスとしては、マトリクス電極構造を持つフラットパネル（液晶、プラズマ等）でも、CRT（陰極線管）でも、画像を表示するデバイスであれば何でも良い。本実施の形態では、テレビであればハイビジョン、PC（パーソナルコンピュータ）であればSXGA以上の高精細画像を表示できる大画面ディスプレイをターゲットにしている。
【００４９】
１５は本実施の形態に係るマルチ画面合成装置を含む表示システム全体を制御する制御部であり、演算能力を持つCPU（中央演算処理装置）データを一時格納するRAM（ランダムアクセスメモリ）１７、制御プログラムを格納するROM（リードオンリーメモリ）１６、時間を計測するカウンタ、周辺入出力インタフェース等を有している。また、制御部１５は、論理ロジックのみで構成されていても、CPUや並列演算が可能なメディアプロセッサであっても良い。
【００５０】
本実施の形態に係るマルチ画面合成装置を含む表示システムの制御を行うプログラムは、ROM１６に内蔵されていても良いし、周辺入出力インタフェースを介して外部から転送されても良い。また、ROM１６には、必要に応じて文字フォント等が格納されており、WWWやデータ放送の文字情報を画面に展開する場合に使用される。また、制御部１５には、モデム２１及びリモコン（リモートコントローラ）受光部１９が接続され、インターネット接続（インターネットブラウジングや電子メールだけでなく、データ放送の双方向通信時にも使用される。）や赤外線を用いたリモコン（リモートコントローラ）２０のコマンドを受け付けることができる。このリモコン２０は、通常のリモコンだけにとどまらず、赤外線発光ができるキーボードやマウス、更には、ジョイスティック等であっても良い。
【００５１】
１８は画像描画部で、制御部１５が描画命令を発行することにより、共有メモリ１０にOSD（On Screen Display）画面や、EPG（電子プログラムガイド）画面、データ放送画面等のGUI(Graphical User Interface)を、BitBltやDMA等のアクセラレーション機能を用いて生成する場合に使われる。
【００５２】
以下、本実施の形態に係るマルチ画面合成装置を含む表示システムの動作を説明する。
【００５３】
尚、下記に説明するフローチャートは、全て制御部１５の動作である。
【００５４】
まず、マルチ画面表示動作を、図２のフローチャートに基づき説明する。
【００５５】
制御部１５は、ステップＳ２００で電源投入を検知すると、次のステップＳ２０１で初期化処理を行う。ここでは、初期画面レイアウト情報（表示する画面数分の始点・終点情報、画面が重なった場合の表示優先度情報等）をROM１６から取得し、放送映像ソースの場合は、該放送映像ソースのフォーマットやデフォルト選択チャンネルの決定を行い、これを受けてチューナ部２−１，２−２、復調部３−１，３−２、マルチプレクサ４−１，４−２、映像デコーダ５−１，５−２に初期設定を行う。外部映像ソースの場合は、その外部映像ソースの種別の検知を行い、これを受けて入力処理部６−１，６−２に外部映像ソースを受け取るためのパラメータの初期設定を行う。
【００５６】
次に、ステップＳ２０２で、前記ステップＳ２０１において取得した画面レイアウト情報を元に、各映像ソースの水平・垂直の拡大・縮小倍率を算出して解像度変換パラメータを決め、各解像度変換部７−１〜７−４にパラメータを設定する。次に、ステップＳ２０３で、各解像度変換部７−１〜７−４の出力を共用メモリ１０に書き込む場合に必要な書き込み用のメモリアドレスを設定する。
【００５７】
図３のメモリ論理アドレスマップに示したように、本実施の形態における共用メモリ１０は、４つの動画プレーン#０〜#３、ARIB規格によるGUIデータ用のOSDプレーン（静止画プレーン、文字図形プレーン、字幕プレーン）の計７プレーンで構成している。
【００５８】
このOSDプレーンの構成方法についての詳細は、ARIB規格書（ARIB STD TR-15 BSデジタル放送運用規定）に記載されている。
【００５９】
各プレーンは、表示装置１４の表示解像度分のメモリ空間を割り当てている。また、共用メモリ１０に書き込む時点では、表示のための合成は行われていない。ここでは、主に図３に示すメモリ論理アドレスマップにおける開始アドレス＃０〜＃６が、各解像度変換部７−１〜７−４及び画像描画部１８で参照され、これらにて構成される書き込みアドレス生成部のメモリアドレスのオフセット値として使用される。
【００６０】
再び図２に戻って、同図のステップＳ２０４で、マルチウィンドウ表示時の背景色（パターン）を合成部１２に設定する。これは、非映像表示領域に適用される。次に、ステップＳ２０５で、前記ステップＳ２０１において取得した表示優先度を合成部１２に設定する。但し、OSDプレーンは最上位の優先度を持つ。
【００６１】
次に、ステップＳ２０６で、マルチ画面制御用GUIの表示設定を行う（このGUIは、Web画面やEPG画面、更にはデータ放送画面等、制御部１５が描画する全ての画面を含んでいる。）。具体的には、制御部１５がGUIを描画するための描画命令を画像描画部１８に発行し、該画像描画部１８のDMAやBitBlt等のアクセラレート機能を用いてビットマップ形式に展開した文字やその他のデータを共用メモリ１０に書き込むことで画面作成を行う。次に、ステップＳ２０７で、読み出し用メモリアドレスを設定、即ち、合成部１２を動作させるための各種設定を行う。
【００６２】
ここで、合成部１２の概略動作を簡単に説明する。
【００６３】
合成部１２は、表示装置１４の水平・垂直同期信号を基準に表示領域の水平画素数カウンタ、垂直ライン数カウンタを持ち、表示期間のラスタースキャン走査をカウントする。そして、このカウント値によって、メモリ制御部９は、OSDプレーンに常時読み出しアドレスを発生する。読み出しアドレスの開始アドレスは、所望のOSDデータに対応する図３に示すメモリ論理アドレスマップにおける開始アドレス＃４，＃５，＃６を指定する。また、これらのGUIデータにおいて、文字図形プレーンと字幕プレーンだけは、８ビットのCLUT（Color Look Up Table）のインデックスデータとして共用メモリ１０に描画されており、このインデックスデータは、合成部１２中に構成されるCLUTで画像データとαデータとに変換され、合成部１２中に構成されるα演算回路で合成されることがARIBで推奨されている。
【００６４】
一方、制御部１５により設定された画面レイアウト情報（放送映像＃０、放送映像＃１、外部映像＃０、外部映像＃１の上記表示領域での各始点、終点座標）を基に、前記カウンタが各映像ソースの領域と一致した場合に、図３に示すメモリ論理アドレスマップの対応する動画プレーン領域へ読み出しアドレスを発生する。仮に、読み出し要求が重なった場合は、制御部１５により設定された表示優先度情報において最上位の優先度である映像ソースの読み出しを選択し、それ以外の読み出しアドレスは発生させない。
【００６５】
また、合成すべきデータが無いと判断した場合には、読み出しアドレスは発生せず、制御部１５により設定された背景データを出力する。これにより、表示レイアウトに対応した映像データが読み出され、映像データの合成が実現される。
【００６６】
前記GUIデータと映像ソースの共用メモリ１０からの読み出しは、時分割で交互に読み出され、GUIデータとマルチ画面合成データは、α値に応じて、GUIデータ選択、映像合成データ選択、GUIデータと映像合成データのアルファ合成がなされ、最終的なマルチ画面合成データとして表示制御部１３に出力する。
【００６７】
このような初期化後に、図４に示すようなマルチ画面合成の初期化時のイメージが出来上がる。
【００６８】
図４（ａ）は、GUI付き４画面均等表示画面を、図４（ｂ）は、GUI付き４画面ピクチャ−インピクチャ表示画面を、それぞれ示し、これらの画面は、マルチ画面背景データとGUIデータとを有している。
【００６９】
再び図２に戻って、同図のステップＳ２０８でレイアウト変更が有るか否かを有るまで判断する。そして、レイアウト変更が有ると判断されると、ステップＳ２０９でレイアウト決定を行い、その後、上述したステップＳ２０２〜ステップＳ２０７を繰り返すことにより、マルチ画面のレイアウト変更が実行される。
【００７０】
ここで、データ放送の画面描画の方法について簡単に説明する。
【００７１】
データ放送の伝送方法は、MPEG２のトランスポートストリーム上にストリーム系で送信される動画・音声・静止画と、カルーセル系で送信される静止画・文字・図形等の各種モノメディアとがある。これらのモノメディアは、個々の種別が明示された属性が付加されて伝送されるので、制御部１５は、容易にメディア属性を判断できる仕組みになっている。また、これらを組み合わせて放送事業者が意図したマルチメディア表現を実現するBML(BroadcastMarkupLanguage)と呼ばれるマルチメディア記述言語も送信される。
【００７２】
前述したように、本実施の形態に係るマルチ画面合成装置を含む表示システムにおいては、デマルチプレクサ４−１，４−２でデータ及び情報を分離し、カルーセル系のモノメディアやBML文書等のファイルは制御部１５に渡され、RAM１７に格納される。ストリーム系のモノメディアは、映像デコーダ５−１，５−２に渡されてデコード処理が施される。
【００７３】
制御部１５は、データ放送の画面を提示するために、カルーセル系のモノメディアをデコードすると共に、BML記述中のCSS（Cascading Style Sheet）に記載された画面レイアウト情報を基に、背景、文字データ、メニューボタン等の要素を、画像描画部１８の機能を用いて共用メモリ１０のOSDプレーンに描画する。また、各要素には、文字サイズ、色、大きさ、サイズ、絶対座標による表示位置等の詳細な特性が記述されているため、提示の一意性が保たれるようになっている。
【００７４】
また、ストリーム系のモノメディアである放送映像等の動画は、指定された前記レイアウト情報を元に、必要とあれば、解像度変換部７−１，７−２で拡大縮小処理を施した後、共用メモリ１０の動画プレーン＃０、或いは動画プレーン＃１に描画する。このストリーム系のモノメディアは、現在の運用ではMPEG2-VIDEO等を動画プレーンに描画するようになっているが、データ放送とインターネットが高度に融合することによって、将来的にはMPEG4−VIDEO等のモノメディアをOSDプレーンに描画するような運用の可能性は高い。現在、OSDプレーンに描画される動画は、MNG等のフォーマットによるアニメーション画像程度である。つまり、将来的にOSDプレーンは、静止画系のコンテンツだけでなく、動画系のコンテンツにも利用される可能性が高いのである。
【００７５】
データ放送画面提示の前記レイアウト情報は、制御部１５から合成部１２に渡され、合成部１２は、これを基に前述した読み出しアドレスを適宜切り替えてメモリ制御部９に発生することにより、図５のような放送事業者の意図したデータ放送画面の提示がなされる。
【００７６】
図５は、動画像（MPEG２映像）と文字図形情報と背景（ビットマップ）とを組み合わせた画面構成を示す図であり、同図に示すように、文字図形情報は、リモコン２０から制御できるメニューボタン（テキスト＋ビットマップ）と文字データ（テキスト＋ビットマップ）とから構成されている。メニューボタンは、リモコン２０からの選択が可能なように、フォーカス特性等の特別な属性が付加され、メニュー選択がなされると再びカルーセル系から次の画面を取得し、上記と同様の手続き後、新たなデータ放送画面提示に切り替わる。
【００７７】
このようにして、決められた手続きを基にデータ放送のインタラクティブなシナリオが実現されていく。
【００７８】
本発明におけるマルチ画面合成装置の目的は、前述したように、複数画面の放送映像、周辺機器からの映像をマルチ画面で見た目に違和感無く同時表示出来、しかも、データ放送、UI等のGUI画面のスムーズなグラフィック表示を見た目に違和感なく行うことが出来、且つこのような表示機能を低コストで実現することである。
【００７９】
この中で、低コスト化に対しては、図１に示す共用メモリ１０のメモリバンド幅を、周期的な更新がある動画映像ソースのみにアサインし、非周期的にしか更新されないGUI（OSD）描画にはアサインしないことで実現する。これは、上述した【発明が解決しようとする課題】の章で説明した通りである。
【００８０】
次に、このシステム条件において、映像入力もGUI（OSD）描画もユーザの見た目に違和感なく更新されるための制御方法について、図６のマルチ画面レイアウトによる間引き処理のフローチャートを用いて説明する（ここからが、本発明の特徴である。）。
【００８１】
図６において、まず、ステップＳ６００で制御部１５は、表示画面のレイアウト変更があるか否かを判断する。そして、表示画面のレイアウト変更があると判断された場合はステップＳ６０１へ進み、OSD描画があるか否かを判断する。そして、OSD描画がないと判断された場合は、本表示システムは十分に動画処理ができるバンド幅を持たせているのでステップＳ６０９へ進み、図２で説明した処理フローと同様に、通常描画処理を続けながら表示レイアウトだけを変更する処理を行う。
【００８２】
また、前記ステップＳ６０１においてOSD描画があると判断された場合はステップＳ６０２へ進み、レイアウト変更によるマルチ画面表示数が最大表示数（本実施の形態では４画面）以上か否かを判断する。そして、レイアウト変更によるマルチ画面表示数が最大表示数以上でないと判断された場合は前記ステップＳ６０９へ進み、また、レイアウト変更によるマルチ画面表示数が最大表示数以上であると判断された場合は図６の破線で示した入力間引き処理ステップ群へ進む。
【００８３】
この入力間引き処理ステップ群は、具体的には、まず、ステップＳ６０３でマルチ画面の重なり判定を行う。例えば、図７に示すマルチ画面の重ね合わせのイメージ例では、動画プレーンの優先度は、VP1>VP0>VP3、VP2>VP3のようになっている。
【００８４】
図７において、VP0は動画プレーン#１の映像、VP1は動画プレーン#1の映像、VP2は動画プレーン#2の映像、VP3は動画プレーン#3の映像である。
【００８５】
再び図６に戻って、同図のステップＳ６０４で間引き対象とする入力ソースを１つ決定する。この決定方法は、本実施の形態では、前記ステップＳ６０３において重ね合わせの優先度が一番低い映像ソースであるVP3を間引き対象としている。これは、表示上一番見え難い部位を間引き対象として選択した方がユーザにとって好適だと判断されるためである。そして、次のステップＳ６０５で入力間引き処理を実行し、OSD描画のために十分なメモリバンドを確保する。
【００８６】
ここで入力間引き処理方法について、図８を用いて説明する。
【００８７】
図８は、本実施の形態に係るマルチ画面合成装置を含む入力フレーム間引き機能部を有する表示システムの構成を示すブロック図であり、同図において図１と同一部分には、同一符号が付してある。
【００８８】
図８において図1と異なる点は、図１の構成における解像度変換部７−１〜７−４の前段に、間引き処理部２２−１〜２２−４と、間引き制御部２３とを付加した点である。
【００８９】
間引き処理部２２−１〜２２−４の処理方法はシンプルであり、これを、図９及び図１０を用いて説明する。
【００９０】
図９は、フレーム間引きなしの場合の間引き処理部の動作タイミングを示す図、図１０は、フレーム間引きありの場合の間引き処理部の動作タイミングを示す図である。図９において、「有効」はメモリ書き込みを行うことであり、また、図１０において、「無効」はメモリ書き込みを行わないことである。
【００９１】
図９及び図１０に示すように、インタフェース信号は、VSYNC（垂直同期信号）３０、HSYNC（水平同期信号）３１、DE（データイネーブル信号）３２、入力映像データ３４の一般的なラスター信号系を基本に、FMASK（フレームマスク信号）３３を付加している。
【００９２】
通常の入力映像のデータ処理は、図９に示す「フレーム間引きなし」の場合のように、FMASK３３は“L”であり、且つDE３２の“H”の期間に入力映像データ３４は有効とみなされ、解像度変換部７−１〜７−４を経由して共有メモリ１０への書き込みが連続的に実行される。しかし、図１０に示す「フレーム間引きあり」の場合には、FMASK３３は、VSYNC３０に同期して“H”に変化する。これにより、DE３２の“H”の期間はマスクさせることができるので、事実上、後段の解像度変換部７−１〜７−４は、入力映像データ３４を無効とみなし、共有メモリ１０への書き込みを行わないようにすれば、フレーム間引き処理は容易に実現できる。
【００９３】
次に、間引き制御部２３について説明する。この間引き制御部２３のブロックは、制御部１５の指示に従い、各間引き処理部２２−１〜２２−４にFMASK信号を発生させることが主な機能である。
【００９４】
図１１は、図７に示すマルチ画面の重ね合わせのイメージ例にOSDを描画したイメージ例を示す図、図１２は、１映像ソース対象のフレーム間引き処理のタイミングを示す図であり、同図（ａ）は、VSYNC及びFMASKＦ０〜３の発生タイミングを、同図（ｂ）は、入力映像０〜３及びOSD描画バンドの発生タイミングを、それぞれ示す。
【００９５】
図１１において、VP0は動画プレーン#１の映像、VP1は動画プレーン#1の映像、VP2は動画プレーン#2の映像、VP3は動画プレーン#3の映像である。
【００９６】
図１１に示すイメージの場合、間引き制御部２３は、上述したようにVP3を間引き対象として、図１２（ａ）に示すように、FMASKＦ３〜FMASK１を発生させる。本実施の形態では、FMASKＦ３は１フレーム周期毎にトグルで間引いている（1/2間引き）が、この理由は、間引き時に入力信号の更新の見栄えが損なわれないようにするためで、特に、本実施の形態のように、OSDの描画期間にフレーム間引きを入れても、まず、人間の目には違和感として判別できないことは、実機での実験により確認されている。
【００９７】
このように、入力映像ソースであるFMASK３をフレーム間引きによって間引かれた期間は、空きのメモリバンドとして図１２（ｂ）に示すように、OSD描画バンドとして解放できる。この期間に、図６のステップＳ６０６でOSD描画処理を実行する。次に、ステップＳ６０７でOSD描画処理が終了したか否かを判断する。そして、OSD描画処理が終了しないと判断された場合は前記ステップＳ６０６へ戻り、また、OSD描画処理が終了したと判断された場合は次のステップＳ６０８で入力間引き処理を解除し、OSDの描画バンドを解放する。具体的には、間引き制御部２２は、FMASK３を“L”にする。これにより、通常の描画モードに復帰する。
【００９８】
前記ステップＳ６００において表示画面レイアウト変更がないと判断された場合、及び前記ステップＳ６０９の処理を終了した場合、及び前記入力間引き処理ステップ群を終了した場合は、いずれも本処理動作を終了する。
【００９９】
以上のように、マルチ画面の表示レイアウトによって、共有メモリ１０の最大メモリバンド幅を超えるような非周期的なOSD描画があっても、重ね合わせの最下位の映像データを処理優先度の低い映像ソースと判断し、その入力データの書き込みをOSDの描画期間だけフレーム単位で間引く処理を行うことで、映像ソースの表示とOSD描画の更新の見た目の違和感をユーザに与えず、且つ表示システムのコストを低減した共有メモリ制御が実現できる。
【０１００】
尚、本実施の形態においては、４種類の入力のVSYNCは共通な完全同期として説明しているが、４種類の入力のVSYNCが全く別々な非同期系の場合もありうる。このケースに対する説明は、後述する第４の実施の形態において詳しく説明する。
【０１０１】
（第２の実施の形態）
次に、本発明の第２の実施の形態を、図１３に基づき説明する。
【０１０２】
図１３は、本実施の形態に係るマルチ画面合成装置を含む表示システムにおけるマルチ画面の重ね合わせのイメージ例を示す図である。図１３において、VP0は動画プレーン#１の映像、VP1は動画プレーン#1の映像、VP2は動画プレーン#2の映像、VP3は動画プレーン#3の映像である。
【０１０３】
尚、本実施の形態に係るマルチ画面合成装置を含む表示システムの基本的な構成は、上述した第１の実施の形態における図１と同一であるから、同図を流用して説明する。
【０１０４】
上述した第１の実施の形態においては、図７に示すマルチ画面の重ね合わせのイメージ例のように、PinP（ピクチャ−インピクチャ）表示も含めて画面が相互に重ね合わされている場合のフレーム間引き制御方法について説明したが、図１３に示したように、マルチ画面表示がレイアウト上重なっていない場合は、対応できないという問題がある。
【０１０５】
この問題を防ぐために、本実施の形態では、更なる改善を行っている。
【０１０６】
尚、本実施の形態における基本的な処理手順は、上述した第１の実施の形態と同様であるから、相違点のみを以下に説明する。
【０１０７】
本実施の形態において、上述した第１の実施の形態との違いは、間引き対象の入力映像ソースを決定する方法のみである。具体的には、前述した図６の破線部分の入力間引き処理ステップ群におけるステップＳ６０３においてマルチ画面の重なり判定による優先度決定を行う代わりに、マルチ画面の表示領域（水平解像度×垂直ライン数）の大きさで、表示領域の一番小さい入力映像ソースをフレーム間引き対象ソースとする点である。
【０１０８】
図１３に示すイメージ例では、動画プレーンの優先度は、表示領域の大きい順にVP０>VP１>VP2>VP3のようになっている。従って、本実施の形態では、図６のステップＳ６０４で表示領域の優先度が一番低いソースであるVP3を間引き対象としている。以降の処理は、述した第１の実施の形態と同様であり、同様の効果が期待できる。
【０１０９】
尚、本実施の形態及び上述した第１の実施の形態では、間引き対象入力映像ソースの決定方法を、“重ね合わせの優先度”、或いは“表示領域の優先度”のように別の方法で区別した例を説明したが、本発明は、これに限定されるものではなく、上述した２つの方法を融合して決める手段を採用しても良い。
【０１１０】
更に、主画面と子画面との組み合わせによる表示形態や、表示画面の１つがフォーカスされて選択されている注目画面と非注目画面等のような優先度が明確に区別されているような表示形態の場合は、上記方法ではなく、制御部１５が間引き対象の入力映像を決めても良い。
【０１１１】
（第３の実施の形態）
次に、本発明の第３の実施の形態を、図１４〜図１６に基づき説明する。
【０１１２】
尚、本実施の形態に係るマルチ画面合成装置を含む表示システムの基本的な構成は、上述した第１の実施の形態における図１と同一であるから、同図を流用して説明する。
【０１１３】
図１４は、マルチ画面表示時の動画特性OSD合成イメージ例を示す図であり、同図において、VP0は動画プレーン#１の映像、VP1は動画プレーン#1の映像、VP2は動画プレーン#2の映像、VP3は動画プレーン#3の映像であり、OSDデータはアニメーションである。
【０１１４】
図１５は、本実施の形態に係るマルチ画面合成装置を含む表示システムにおけるマルチ画面レイアウトによる間引き処理動作の流れを示すフローチャートである。
【０１１５】
図１６は、２映像ソース対象のフレーム間引き処理のタイミングを示す図であり、同図（ａ）は、VSYNC及びFMASKＦ０〜３の発生タイミングを、同図（ｂ）は、入力映像０〜３及びOSD描画バンドの発生タイミングを、それぞれ示す。
【０１１６】
上述した第１及び第２の実施の形態におけるフレーム間引き制御方法は、低い優先度と判断された入力映像ソースを１つ選択してフレーム間引き処理を実行する例について説明した。この第１及び第２の実施の形態における制御方法は、静止画系のパターンをドローするような通常のOSD描画に対しては、描画更新の見た目の違和感がない充分な効果が得られるが、図１４に示すイメージ例のようなMNG等のフォーマットによるアニメーション動画等をよりスムーズに動かしたい場合は、OSD描画にアサインされるメモリバンドが不足するケースも生じる。
【０１１７】
更に、将来的にMPEG4−VIDEO等のモノメディアをOSDプレーンに描画するような運用が行われた場合や、３D（３次元）でのアニメーションキャラクタ等の描画が行われるようになった場合まで考慮すると、上記問題は、より一層顕著になることが予想される。
【０１１８】
本実施の形態では、上記問題を解決するものであり、その間引き制御方法について、図１５のフローチャートを用いて、以下に説明する。
【０１１９】
図１５は、前述した図６の破線部分の入力間引き処理ステップ群の一部分を改良したものである。
【０１２０】
まず、ステップＳ１５０１でマルチ画面優先度の判定を行う。この判定方法については、上述した第１の実施の形態において説明した通りである。次に、ステップＳ１５０２で描画するOSDのモノメディアの属性を判定する。特に、本実施の形態では、動画属性か静止画属性かの判断をする点が特徴である。デジタル放送の場合は、データ放送の受信において、BMLコンテンツのモノメディアにはメディア属性が付加されてくるので、制御部１５は、描画するモノメディアの属性を容易に識別できる。
【０１２１】
例えば、データ放送においての属性の識別は、
静止画属性：JPEG、PNG、MPEG2−Iフレーム、ドローデータ等
動画属性  ：JPEG、MNG等
と分けてしまうことが簡単にできる。
【０１２２】
次に、ステップＳ１５０３で静止画属性のOSD描画であるか否かを判断する。そして、静止画属性のOSD描画であると判断された場合は、前記第１の実施の形態において説明したフレーム間引き制御と同様に、ステップＳ１５０４〜ステップＳ１５０８までの処理を行えば良い。これらステップＳ１５０４〜ステップＳ１５０８は、上述した第１の実施の形態における図６のステップＳ６０４〜ステップＳ６０８と同一であるから、その説明は省略する。
【０１２３】
前記ステップＳ１５０３において静止画属性ではなく動画属性のOSD描画であると判断された場合はステップＳ１５０９へ進み、ここで間引き対象の入力映像ソースのペアを決定する。
【０１２４】
具体的には、優先度の低い入力映像ソースを２つ決定すれば良いので、図１４に示す例では、重ね合わせの優先度が低く、表示領域の小さい２つの映像ソースVP2とVP3を間引き対象としている。
【０１２５】
前記ステップＳ１５０９の処理を終了後は、前記ステップＳ１５０５へ進んで入力映像ソースの間引き処理を実行し、動画属性のOSD描画のために十分なメモリバンドを確保する。
【０１２６】
この場合、間引き制御部２２は、上述したように映像ソースVP3を間引き対象として、図１６（ａ）に示すようにFMASK３〜FMASK１を発生させる。
【０１２７】
本実施の形態では、FMASK３とFMASK２とを１フレーム周期毎に交互にトグルで間引いている（各入力映像ソースは1/2間引き）。その理由は、間引き時に入力信号の更新の見栄えが損なわれないようにするためで、特に、２つの入力映像ソースを交互に間引くことによって、本実施の形態のような動画属性OSDに対する空きのメモリバンドを広く解放できるメリットがある。この期間に、図１５のステップＳ１５０６でOSD描画処理を実行する。次に、ステップＳ１５０７でOSD描画処理が終了したか否かを判断する。そして、OSD描画処理が終了したと判断された場合は、ステップＳ１５０８へ進んで、入力間引き処理を解除し、図１６（ｂ）に示すように、OSDの描画バンドを解放する。
【０１２８】
具体的には、間引き制御部２２は、図１６（ａ）に示すように、FMASK３とFMASK２とを“L”にする。これにより、通常の描画モードに復帰する。
【０１２９】
以上のように、本実施の形態に係る共有メモリ制御装置によれば、マルチ画面の表示レイアウトによって、共有メモリ１０の最大メモリバンド幅を超えるような非周期的な動画属性のOSD描画があっても、映像ソースの表示とOSD描画の更新の見た目の違和感をユーザに与えず、且つ表示システムのコストを低減した共有メモリ制御が実現できる。
【０１３０】
（第４の実施の形態）
次に、本発明の第４の実施の形態を、図１７及び図１８に基づき説明する。
【０１３１】
尚、本実施の形態に係るマルチ画面合成装置を含む表示システムの基本的な構成は、上述した第１の実施のお形態における図１と同一であるから、同図を流用して説明する。
【０１３２】
図１７は、本実施の形態に係るマルチ画面合成装置を含む表示システムにおける入力非同期時の２映像ソース対象のフレーム間引き処理のタイミングを示す図であり、同図（ａ）はVSYNC0〜VSYNC3の発生タイミングを、同図（ｂ）はOSD描画バンドが最小となるケースのFMASK0〜FMASK3の発生タイミングを、同図（ｃ）はOSD描画バンドが最小となるケースの入力映像０〜３及びOSD描画バンドの発生タイミングを、同図（ｄ）はOSD描画バンドが最大となるケースのFMASK0〜FMASK3の発生タイミングを、同図（ｅ）はOSD描画バンドが最大となるケースの入力映像０〜３及びOSD描画バンドの発生タイミングを、それぞれ示す。
【０１３３】
上述した第１乃至第３の実施の形態までは、間引き制御部２２がFMASKを生成する場合、同期基準となるVSYNCは、４入力全て共通の同期系の例として説明したが、本実施の形態は、４入力独立したVSYNC（VSYNC3〜VSYNC0）の非同期系でシステムを構成したものであり、その間引き制御方法について、以下に説明する。
【０１３４】
本実施の形態における間引き制御の基本的な考え方は、上述した各実施の形態と同様であるから、相違点のみを以下に説明する。
【０１３５】
非同期系の間引き処理方法も同期系と同じ様に、
（１）静止画属性のOSDを描画展開する場合
（２）動画属性のOSDを描画展開する場合
の２つに大別される。
【０１３６】
上記（１）の場合は、上述した第１及び第２の実施の形態において説明した処理ステップで、間引き対象の低優先の入力映像ソースを１つ選択するだけである。
【０１３７】
本実施の形態における上述した各実施の形態との相違点は、FMASK３はVSYNC３、FMASK２はVSYNC２、FMASK１はVSYNC１、FMASK０はVSYNC０にそれぞれ同期して生成することだけである。
【０１３８】
また、上記（２）の場合は、上述した第３の実施の形態において説明した処理ステップで、間引き対象の低優先の入力映像ソースペアを２つ選択するところまでは同じであるが、２つの低優先ペアから如何にしてOSD描画バンドを広く取るようなFMASKを生成するかが間引き制御部２２のポイントになる。
【０１３９】
この内容について、図１７及び図１８を用いて詳しく説明する。
【０１４０】
図１４に示すような表示パターンの場合は、VP3とVP2が低優先入力ペアとなることを説明したが、間引き制御部２２のFMASK生成方法によっては、OSD描画バンドが、図１７（ｂ）のCASE1のようにOSD描画バンドが最小となる場合と、図１７（ｄ）のCASE２のようにOSD描画バンドが最大となる場合との２つのケースが存在する。CASE1の方は、VSYNC３に同期してFMASK3を生成し、その直後の１回目のVSYNC2に同期してFMASK２を生成するというタイミングでペア間引きを実行した場合の例である。CASE２の方は、VSYNC３に同期してFMASK3を生成し、その直後の２回目のVSYNC2に同期してFMASK２を生成するというタイミングでペア間引きを実行した場合の例である。
【０１４１】
このように最初のFMASKの生成の違いだけで、CASE2の方がCASE1よりもOSD描画バンドを広く取れるので、常に、こちらのケース（CASE2）が選択できる仕組みを提供することが表示システムとして有利になる。
【０１４２】
このケース（CASE2）を表示システムが自動的に選択する方法について、図１８のフローチャートに基づき説明する。
【０１４３】
まず、ステップＳ１８０１で低優先度の入力映像ソースのペアを決定する。本実施の形態では、ＶＰ３とＶＰ２が該当し、ＶＰ３が最低優先となる。次に、ステップＳ１８０２で前記ペアの垂直同期信号間の位相差（｜ＶＳＹＮＣ３−ＶＳＹＮＣ２｜）を判定する。図１７（ａ）におけるPhaseAがこれに該当する。そして、最も低優先な入力映像ソースから間引きを開始する。具体的には、ステップＳ１８０３で１番目に低い優先度の入力映像ソースに該当するVSYNC（ここではVSYNC３）を１回検知したか否かを検知するまで判断する。そして、１回検知した場合は、次のステップＳ１８０４へ進んで１番目に低い優先度の入力映像ソースに該当するFMASK（ここではFMASK3）をフレーム同期でトグル生成する。引き続いて、２番目に低い優先度の入力映像ソースの間引きを開始する。具体的には、ステップＳ１８０５で、前記ステップＳ１８０２において判定した位相差が、１番目に低い優先度の入力映像ソースのVSYNC期間の1/2より小さいか否かを判断する。図１７に示す例では、PhaseA＜(VSYNC３のVSYNC期間）／２が成り立つので、ステップＳ１８０６へ進む。
【０１４４】
このステップＳ１８０６では、２番目に低い優先度の入力映像ソースに該当するVSYNC（ここではVSYNC２）を２回検知したか否かを検知するまで判断する。そして、２回検知した場合は、ステップＳ１８０７へ進んで２番目に低い優先度の入力映像ソースに該当するFMASK（ここではFMASK２）をフレーム同期でトグル生成する。このステップを踏むことで、OSD描画バンドが最大となる図１７（ｄ）に示すCASE２が自動的に選択される。
【０１４５】
また、前記ステプＳ１８０５において、前記ステップＳ１８０２で判定した位相差が、１番目に低い優先度の入力映像ソースのVSYNC期間の1/2以上と判断された場合（図１７に示す例では、PhaseBのようなケース）は、ステップＳ１８０８へ進む。
【０１４６】
このステップＳ１８０８では、２番目に低い優先度の入力映像ソースに該当するVSYNC（ここではVSYNC２）を１回検知したか否かを検知するまで判断する。そして、１回検知した場合は、前記ステップＳ１８０７へ進んで、２番目に低い優先度の入力映像ソースに該当するFMASKをフレーム同期でトグル生成する。このステップを踏むことで、OSD描画バンドが最大となるようにフレーム間引きが自動的に実行される。
【０１４７】
以上の説明において、４つの入力が非同期であるとして説明してきたが、テレビのプログレッシブな表示系を考慮すると、実際の垂直同期信号のフレームレートは、実際の使用では全て同じ（通常は、６０Ｈｚ近傍）である。
【０１４８】
しかし、各垂直同期信号の位相は、ばらばらな非同期系である。つまり、本実施の形態での非同期とは、垂直同期信号がほぼ同じで位相が合っていないことを示している。
【０１４９】
本発明は、このような実使用の状況下において、OSD描画時にアサインされる描画用のメモリバンドをより広く取れるように工夫していることを補足する。
【０１５０】
以上のように、マルチ画面の表示レイアウトによって、共有メモリ１０の最大メモリバンド幅を超えるような非周期的な動画属性のOSD描画があり、且つ非同期系の入力であっても、入力映像ソースの表示とOSD描画の更新の見た目の違和感をユーザに与えず、且つ表示システムのコストを低減した共有メモリ制御が実現できる。
【０１５１】
（その他の実施の形態）
本発明の目的は、上記各実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成されることは言うまでもない。
【０１５２】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した各実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１５３】
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１５４】
また、コンピュータが読み出したプログラムコードを実行することにより、上記各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１５５】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１５６】
【発明の効果】
以上述べたように、本発明によれば、表示システムのコストの低減を、マルチ画面機能の制約及び映像データの表示とOSD描画更新の見た目の違和感の２点を排除して実現することが可能になる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るマルチ画面合成装置を含む表示システムの構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係るマルチ画面合成装置を含む表示システムにおけるマルチ画面表示処理動作の流れを示すフローチャートである。
【図３】本発明の第１の実施の形態に係るマルチ画面合成装置を含む表示システムにおける共用メモリの論理アドレスマップを示す図である。
【図４】本発明の第１の実施の形態に係るマルチ画面合成装置を含む表示システムにおけるマルチ画面合成の初期化時のイメージ例を示す図である。
【図５】本発明の第１の実施の形態に係るマルチ画面合成装置を含む表示システムにおけるデータ放送画面の提示イメージ例を示す図である。
【図６】本発明の第１の実施の形態に係るマルチ画面合成装置を含む表示システムにおけるマルチ画面レイアウトによる間引き処理動作の流れを示すフローチャートである。
【図７】本発明の第１の実施の形態に係るマルチ画面合成装置を含む表示システムにおけるマルチ画面表示時の重ね合わせのイメージ例を示す図である。
【図８】本発明の第１の実施の形態に係るマルチ画面合成装置を含む入力フレーム間引き機能部を有する表示システムの構成を示すブロック図である。
【図９】本発明の第１の実施の形態に係るマルチ画面合成装置を含む表示システムにおけるフレーム間引きなしの場合の間引き処理部の動作タイミングを示す図である。
【図１０】本発明の第１の実施の形態に係るマルチ画面合成装置を含む表示システムにおけるフレーム間引きありの場合の間引き処理部の動作タイミングを示す図である。
【図１１】本発明の第１の実施の形態に係るマルチ画面合成装置を含む表示システムにおける入力映像ソースとOSD画面のイメージ例を示す図である。
【図１２】本発明の第１の実施の形態に係るマルチ画面合成装置を含む表示システムにおける映像ソース対象のフレーム間引き処理のタイミングを示す図である。
【図１３】本発明の第２の実施の形態に係るマルチ画面合成装置を含む表示システムにおけるマルチ画面表示時の重ね合わせのイメージ例を示す図である。
【図１４】本発明の第３の実施の形態に係るマルチ画面合成装置を含む表示システムにおけるマルチ画面表示時の動画属性のOSD合成イメージ例を示す図である。
【図１５】本発明の第３の実施の形態に係るマルチ画面合成装置を含む表示システムにおけるマルチ画面レイアウトによる間引き処理動作の流れを示すフローチャートである。
【図１６】本発明の第３の実施の形態に係るマルチ画面合成装置を含む表示システムにおける映像ソース対象のフレーム間引き処理のタイミングを示す図である。
【図１７】本発明の第４の実施の形態に係るマルチ画面合成装置を含む表示システムにおける入力非同期時の映像ソース対象のフレーム間引き処理のタイミングを示す図である。
【図１８】本発明の第４の実施の形態に係るマルチ画面合成装置を含む表示システムにおけるマルチ画面レイアウトによる非同期系の間引き処理動作の流れを示すフローチャートである。
【符号の説明】
１        アンテナ
２−１    チューナ部
２−２    チューナ部
３−１    復調部
３−２    復調部
４−１    デマルチプレクサ
４−２    デマルチプレクサ
５−１    映像デコーダ
５−２    映像デコーダ
６−１    映像デコーダ
６−２    映像デコーダ
７−１    解像度変換部
７−２    解像度変換部
７−３    解像度変換部
７−４    解像度変換部
８        共有バス
９        メモリ制御部
１０      共有メモリ
１１      調停部
１２      合成部
１３      表示制御部
１４      表示装置
１５      制御部
１６      ROM
１７      RAM
１８      画像描画部
１９      リモコン受光部
２０      リモコン
２１      モデム
２２−１  間引き処理部
２２−２  間引き処理部
２２−３  間引き処理部
２２−４  間引き処理部
２３      間引き制御部
【図１】
0004011949.tif 000004
【図２】
0004011949.tif 000005
【図３】
0004011949.tif 000006
【図４】
0004011949.tif 000007
【図５】
0004011949.tif 000008
【図６】
0004011949.tif 000009
【図７】
0004011949.tif 000010
【図８】
0004011949.tif 000011
【図９】
0004011949.tif 000012
【図１０】
0004011949.tif 000013
【図１１】
0004011949.tif 000014
【図１２】
0004011949.tif 000015
【図１３】
0004011949.tif 000016
【図１４】
0004011949.tif 000017
【図１５】
0004011949.tif 000018
【図１６】
0004011949.tif 000019
【図１７】
0004011949.tif 000020
【図１８】
0004011949.tif 000021