(57)【要約】【目的】サブピクチャのビットレートが高くてもビデオの画質劣化が発生しないようにする「オーディオ・ビジュアル機器及びそのオーディオ・ビデオフレーム伝送方法」を提供することである。【構成】ビデオフレームとオーディオフレームが多重化されたデータストリームを入力され、該ビデオフレームとオーディオフレームを多数のチャンネルを有するオーディオ・ビデオフレームの所定チャンネルを用いて伝送するオーディオ・ビジュアル機器のオーディオ・ビデオフレーム伝送方法であり、本編再生中に、メニュー表示などサーチを伴う要求がなされたとき、最初にサーチ先のサブピクチャユニットのみ伝送し、しかる後、該サブピクチャと共に表示するビデオストリームの伝送を行う。【選択図】  図３
2008154152.tif 000002
【特許請求の範囲】
【請求項１】
ビデオフレームとオーディオフレームが多重化されたデータストリームを入力され、該ビデオフレームとオーディオフレームを多数のチャンネルを有するオーディオ・ビデオフレームの所定チャンネルを用いて伝送するオーディオ・ビジュアル機器のオーディオ・ビデオフレーム伝送方法において、
本編再生中に、メニュー表示などサーチを伴う要求がなされたとき、最初にサーチ先のサブピクチャユニットのみを伝送し、
しかる後、該サブピクチャと共に表示する画像のビデオストリームの伝送を行う、
ことを特徴とするオーディオ・ビデオフレーム伝送方法。
【請求項２】
ビデオフレームとオーディオフレームが多重化されたデータストリームを入力され、該ビデオフレームとオーディオフレームを多数のチャンネルを有するオーディオ・ビデオフレームの所定チャンネルを用いて伝送するオーディオ・ビジュアル機器のオーディオ・ビデオフレーム伝送方法において、
本編再生中に、メニュー表示などサーチを伴う要求がなされたとき、サーチ先のサブピクチャユニットのサイズが設定値より大きいかチェクし、
大きい場合には、最初に該サブピクチャユニットのみを伝送し、
ついで、該サブピクチャと共に表示する画像のビデオストリームの伝送を行う、
ことを特徴とするオーディオ・ビデオフレーム伝送方法。
【請求項３】
サーチ先のサブピクチャユニットのサイズが小さい場合には、サブピクチャユニットを伝送する分、ビデオストリームのビットレートを下げ、サブピクチャユニットとビデオストリームを同時に伝送する、
ことを特徴とする請求項２記載のオーディオ・ビデオフレーム伝送方法。
【請求項４】
ビデオフレームとオーディオフレームが多重化されたデータストリームを入力され、該ビデオフレームとオーディオフレームを多数のチャンネルを有するオーディオ・ビデオフレームの所定チャンネルを用いて伝送するオーディオ・ビジュアル機器において、
本編再生中に、メニュー表示などサーチを伴う要求を入力する操作部、
サーチ先のサブピクチャユニットのサイズを取得し、サイズが設定値より大きいかチェクし、大きい場合には、最初に該サブピクチャユニットのみを伝送し、ついで、該サブピクチャと共に表示する画像のビデオストリームの伝送するよう制御する制御部、
を有することを特徴とするオーディオ・ビジュアル機器。
【請求項５】
サーチ先のサブピクチャユニットのサイズが小さい場合には、サブピクチャユニットを伝送する分、ビデオストリームのビットレートを下げるトランスコーダ、
を備え、前記制御部はサーチ先のサブピクチャユニットのサイズが小さいとき、サブピクチャユニットとビデオストリームを同時に伝送するように制御する、
ことを特徴とする請求項４記載のオーディオ・ビジュアル機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はオーディオ・ビジュアル機器及びそのオーディオ・ビデオフレーム伝送方法に係わり、特に、ビデオフレームとオーディオフレームが多重化されたデータストリームを入力され、該ビデオフレームとオーディオフレームを多数のチャンネルを有するオーディオ・ビデオフレームの所定チャンネルを用いて伝送するオーディオ・ビジュアル機器及びそのオーディオ・ビデオフレーム伝送方法に関する。
【背景技術】
【０００２】
自動車向けオーディオビデオ（AV）伝送システムとして、MOST（Media Oriented System Transport）システムが提案されている。かかるMOSTシステムは、図７に示すようにDVDプレーヤ１やモニター２，３、アンプ/オーディオプロセッサ４などのノードをMOSTバス５でリング状に接続し、１フレーム６０チャンネルを有するMOSTフレームをバス線５を介して転送するようになっている。なお、最大ノード数は６４、データの転送速度（帯域）は２５Mbpsである。DVDプレーヤ１などのMOSTフレーム出力部は、DVDディスク等から取得したMPEGストリームのビデオフレームとオーディオフレームを順次MOSTフレームの所定チャンネルンに挿入してMOSTフレームを生成し、該MOSTフレームをMOSTバス５に出力し、モニター２，３やアンプ/オーディオプロセッサ４等は該MOSTフレームの所定のチャンネルからオーディオ、ビデオデータを取り込んで再生出力するようになっている。
上記MOSTシステムでは、オーディオとビデオのデータをDTCPで暗号化して保護したMPEGストリームとして伝送する方法が検討されている。しかし、オーディオとビデオを一本のMPEGストリームとして伝送すると、オーディオアンプ側にもDTCP解読機能とMPEGのデマックス機能、タイムスタンプ管理機能が必要となり、システムが複雑で高価となる。そこで、ビデオを含むDTCPプロテクトMPEGストリームと、DTCPプロテクトしないオーディオのパケッタイズド・エレメンタリーストリーム(PES)をそれぞれ、MOSTフレームのオーディオ用チャンネル、ビデオ用のチャンネルで多重化して伝送する方法が提案されている。
【０００３】
図８はかかる提案されている伝送方法を実現するMOSTフレームの構成図である。MOSTフレームは６０チャンネル（CH0〜CH59）で構成され、最初の６チャンネル（CH0〜CH5)がオーディオ用チャンネルとして使用され、次の２６チャンネル（CH6〜CH31）がビデオ用チャンネルとして使用され、残りのチャンネルは別の装置がオーディオ・ビデオデータを送信するために使用される。ビデオ用チャンネルは、ビットレートにより４種類の割り当て法があり、圧縮率が高くビットレートが小さい場合にはビデオ用として２チャンネル（CH6,CH7）を使用し、圧縮率が低くビットレートが大きい場合にはビデオ用として２６チャンネル（CH6〜CH31）を使用する。オーディオアンプやオーディオプロセッサはCH0〜CH5からPESオーディオデータを取得し、モニターは指定されたビデオ用チャンネルからMPEGストリーム（例えばMPEG-PS）を取得する。
一方、MOSTバスに最大10.08MbpsのDVD-Videoコンテンツ等を複数本伝送する為に、DVDディスクに記録されているMPEG-Videoのビットレートをレート変換して伝送する事が推奨されている。レート変換目標のビットレートは前述のようにMOSTバス上の何チャンネルを映像伝送に割り当てるかで一意に決まる。この決定した固定ビットレートになるように，トランスコード部はMPEG-Videoストリームの量子化ステップサイズの変更等を行い出力MPEG-Videoストリームのビットレートを調節する。
【０００４】
以上のように、MPEG-Videoストリームはトランスコード部でレート変換する必要があるが、これに対してDVD-Videoのサブピクチャストリームデータは、レート変換が不要である。このためサブピクチャストリームはMPEG-Videoストリームと別に伝送しなければならない。しかし，実際にサブピクチャストリームをMPEG-PS内に多重化し伝送する場合のビデオストリームのビットレートの設定方法について詳細に規定されていない。
最も単純な方法、DVD-Video規格で規定する１サブピクチャストリームの最大ビットレート分の帯域をサブピクチャ用に常に確保し、その分をビデオに割り当てるビットレートから減じることである。しかし、かかる方法では、サブピクチャの規格上の最大ビットレートは3.36Mbpsもある為，サブピクチャのビットレートがこれより実際は小さい場合であっても、3.36Mbps分の帯域をビデオから常に減じなければならない。なお、ディスクに記録されるサブピクチャストリームのビットレートは再生してみなければ分からない。
【０００５】
そこで、サブピクチャの伝送に割り当てるビットレートＢrsを計算し、サブピクチャ送信期間中は、ビデオストリームの伝送に割り当てられたビットレートBrvからＢrsを引いた値をビデオトリームの伝送に割り当て、サブピクチャを伝送しない期間では、全ての割当ビットレートBrvをビデオストリーム伝送に割り当てる方法が提案されている（特許文献１）。図９は上記従来技術のビットレート割り当て説明図であり、時刻t1〜t2，t3〜t4においてサブピクチャが伝送され、そのときのサブピクチャの伝送に必要なビットレートがＢrs１、Brs2とした場合である。サブピクチャを伝送していない時点において、ビデオストリームは全ての割当ビットレートBrvを用いて伝送され、サブピクチャを伝送する時点において、サブピクチャの伝送に割り当てるビットレートBrs1，Brs2を差し引いたビットレート（Brv−Brs1）、(Brv−Brs2) を用いて伝送される。このようにビデオの割当ビットレートを実際のサブピクチャのビットレートに従って随時変更する事で，狭帯域のバスにおいてもビデオに割り当てるビットレートをできるだけ確保し高画質化を行う事ができる。
【特許文献１】特開２００２−１７１５２９号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、従来技術では、サブピクチャのビットレートが高くなると画質劣化が発生する問題がある。たとえば、一般的にメニュー画面のビットレートは高い。これは、メニュー画面では多数の複雑な形状のボタンを表示する必要があるためデータ量が多くなるからである。かかるビットレートが高いメニュー画面などのサブピクチャを伝送する際に、上記従来技術を採用すると、ビデオに割り当てるビットレートが瞬間的に小さくなり、画質劣化が発生する。
以上から、本発明の目的はサブピクチャのビットレートが高くてもビデオの画質劣化が発生しないようにすることである。
【課題を解決するための手段】
【０００７】
・オーディオ・ビデオフレームの伝送方法
本発明は、ビデオフレームとオーディオフレームが多重化されたデータストリームを入力され、該ビデオフレームとオーディオフレームを多数のチャンネルを有するオーディオ・ビデオフレームの所定チャンネルを用いて伝送するオーディオ・ビジュアル機器のオーディオ・ビデオフレーム伝送方法である。
第１の態様のオーディオ・ビデオフレーム伝送方法は、本編再生中に、メニュー表示などサーチを伴う要求がなされたとき、最初にサーチ先のサブピクチャユニットのみを伝送するステップ、しかる後、該サブピクチャと共に表示するビデオストリームの伝送を行うステップを有している。
第２の態様のオーディオ・ビデオフレーム伝送方法は、本編再生中に、メニュー表示などサーチを伴う要求がなされたとき、サーチ先のサブピクチャユニットのサイズが設定値より大きいかチェクするステップ、大きい場合には、最初に該サブピクチャユニットのみを伝送するステップ、該サブピクチャと共に表示する画像のビデオストリームの伝送を行うステップを有している。
また、上記伝送方法は、サーチ先のサブピクチャユニットのサイズが小さい場合、サブピクチャユニットを伝送する分、ビデオストリームのビットレートを下げ、サブピクチャユニットとビデオストリームを同時に伝送するステップを有している。
【０００８】
・オーディオ・ビジュアル機器
本発明は、ビデオフレームとオーディオフレームが多重化されたデータストリームを入力され、該ビデオフレームとオーディオフレームを多数のチャンネルを有するオーディオ・ビデオフレームの所定チャンネルを用いて伝送するオーディオ・ビジュアル機器であり、メニュー表示などサーチを伴う要求をする操作部、サーチ先のサブピクチャユニットのサイズを取得し、サイズが設定値より大きいかチェックし、大きい場合には、最初に該サブピクチャユニットのみを伝送し、ついで、該サブピクチャと共に表示する画像のビデオストリームの伝送するように制御する制御部を有している。上記オーディオ・ビジュアル機器は、更に、サーチ先のサブピクチャユニットのサイズが小さい場合には、サブピクチャユニットを伝送する分、ビデオストリームのビットレートを下げるトランスコーダを備え、前記制御部はサーチ先のサブピクチャユニットのサイズが小さいとき、サブピクチャユニットとビデオストリームを同時に伝送するように制御する。
【発明の効果】
【０００９】
本発明によれば、本編再生中に、メニュー表示などサーチを伴う要求がなされたとき、サーチ先のサブピクチャユニットのサイズが設定値より大きいかチェックし、大きい場合には、最初に該サブピクチャユニットのみを伝送し、ついで、該サブピクチャと共に表示する画像のビデオストリームの伝送を行うようにしたから、サブピクチャのビットレートが大きくても、ビデオストリームに割り当てられている全ビットレートを用いて伝送することが可能になり、画質劣化することがない。
また、本発明によれば、サーチ先のサブピクチャのサイズが小さければ、サブピクチャを伝送する分、ビデオストリームのビットレートを下げ、サブピクチャとビデオストリームを同時に伝送するようにしたから、サブピクチャのビットレートが低い場合、ビデオ画像を遅延なく表示することができる。
また、本発明によれば、本編再生中に、メニュー表示などサーチを伴う要求がなされたとき、最初にサーチ先のサブピクチャユニットのみを伝送し、しかる後、該サブピクチャと共に表示するビデオストリームの伝送を行うようにしたから、サブピクチャのビットレートに関係なく、ビデオストリームに割り当てられている全ビットレートを用いて伝送することが可能になり、画質劣化することがない。
【発明を実施するための最良の形態】
【００１０】
（A）第１実施例
図１は本発明のオーディオ・ビジュアル機器の構成図であり、DVDプレーヤがディスクから読み取ったMPEG-PSデータストリームが入力されている場合を示している。
分離部２１はMPEG-PSデータストリームよりビデオストリーム、サブピクチャストリーム、オーディオストリームを分離し、それぞれをビデオバッファ２２、サブピクチャバッファ２３、オーディオバッファ２４に格納する。
出力遅延部２５はメニュー表示などサーチを伴う要求がなされたとき（ビデオストリームが不連続になるとき）、ビデオ出力を遅延し、それ以外では遅延せずにそのまま出力する。デコーダ２６はビデオデータをデコードし、トランスコーダ２７はデコードされたビデオ信号を別途指定されたビットレートでエンコードし、多重部２８に入力する。サブピクチャ読出し部２９はサブピクチャバッファ２３に保存されているサブピクチャユニットSPU(Sub-Picture Unit) を読み出して多重部２８に入力する。多重部２８はトランスコーダ２７から出力するビデオとSPUを多重し、暗号化部３０は多重データにDTCP暗号化処理してMOST多重部３１に入力する。パケット化部３２はオーディオESデータをオーディオPESに加工してMOST多重部３１に入力し、MOST多重部３１はビデオ、SPU及びオーディオデータを所定チャンネルで伝送するようにMOSTフレームを順次作成し、MOSTストリームとしてMOSTバスに送出する。
【００１１】
操作部３３は各種操作キーを備え、メニュー表示などサーチ動作を必要とするキーが操作されると所定のコマンド信号を制御部３４に入力する。制御部３４はサーチ動作を必要とするコマンドが入力するとＤＶＤプレーヤにサーチ要求すると共に、サーチ要求発生信号をサブピクチャ制御部３５に入力する。
サブピクチャ制御部３５はサーチ要求発生信号が入力されたとき、サーチ先のサブピクチャを優先的に送信する制御を行う。すなわち、サブピクチャ制御部３０はサーチ要求発生信号が入力されたとき、まず、サーチ先のサブピクチャの送信を優先的に行い、サブピクチャの送信が完了するまでビデオデータの送信を停止し、送信完了後にビデオデータの送信を行う。かかる制御を行なうために、サブピクチャ制御部３０はサーチ先のサブピクチャの送信中、ビデオ出力遅延部２５を制御してビデオバッファ２２からビデオデータがデコーダ２６に入力しないようにする。
【００１２】
図２は本発明のMOSTフレーム伝送処理フローである。
本編再生中に、操作部３３よりサーチ動作を必要とするキー、例えばメニューキーが操作されると（ステップ１０１）、制御部３４はＤＶＤプレーヤにサーチ要求すると共に、サーチ要求発生信号をサブピクチャ制御部３５に入力する（ステップ１０２）。これにより、サブピクチャ制御部３５はビデオ出力遅延部２５にビデオデータの送出を停止を指示する。なお、受信側のモニターにはサーチ直前の最終映像の静止画が表示される。
サーチ先のサブピクチャのサーチが完了すれば（ステップ１０３）、分離部２１はサーチ先の画像のビデオストリームとサブピクチャのストリームに分離してビデオバッファ２２とサブピクチャバッファ２３に入力する。
サブピクチャ読取部２９は、サブピクチャバッファ２３にSPU(Sub-Picture Unit) が入力されると該SPUを順次読み出し、多重部２８、暗号化部３０を介してMOST多重部３１に入力し、MOST多重部３１はSPUを所定チャンネルで伝送するためのMOSTフレームを生成してMOSTバスに送信する（ステップ１０４）。
SPUの全ての送信が完了すれば（ステップ１０５）、サブピクチャ制御部３５はビデオ出力遅延部２５に出力OK信号を入力する。これにより、以後、ビデオデータがビデオバッファ２２から読み出され、MOST多重部３１に入力し、MOST多重部３１はMOSTフレームを生成してMOSTバスに送信する。
【００１３】
図３は上記のMOSTフレーム伝送処理の説明図であり、(1)本編映像を再生中にタイミングTMでメニューキーが操作されると、(2)メニュー用SPUのサーチが開始し、(3)サーチ完了後にメニュー用SPUを送信し、(4)送信完了後に、メニューと共に表示する画像のビデオストリームを送信してメニュー(字幕)と共に表示する。
第１実施例によれば、サブピクチャのビットレートに関係なく、ビデオストリームを割り当てられている全ビットレートを用いて伝送することが可能になり、画質が劣化することはない。
【００１４】
（Ｂ）第２実施例
図４は第２実施例のオーディオ・ビジュアル機器の構成図であり、図１と同一部分には同一符号を付している。異なる点は、サブピクチャ制御部３５からの指示でトランスコーダ２７がビットレートを制御する点である。すなわち、サーチ先のサブピクチャユニットのサイズが設定値より大きいかチェックし、大きい場合は、第１実施例と同様の伝送制御を行い、小さい場合には、サブピクチャユニットを伝送する分、ビデオストリームのビットレートを下げ、サブピクチャユニットとビデオストリームを同時に伝送する。
図５はサブピクチャストリームの構成図であり、複数のSPU(Sub-Picture Unit)で構成されている。SPUは一度に表示されるサブピクチャの圧縮データ（ランレングス圧縮ビットマップデータ）と、SPUサイズ等を保持するヘッダと、サブピクチャ制御コマンドとで構成されている。
【００１５】
図６は第２実施例のMOSTフレーム伝送処理フローである。
本編再生中に、操作部３３よりサーチ動作を必要とするキー、例えばメニューキーが操作されると（ステップ２０１）、制御部３４はＤＶＤプレーヤにサーチ要求すると共に、サーチ要求発生信号をサブピクチャ制御部３５に入力する（ステップ２０２）。
サーチ先のサブピクチャのサーチが完了すれば（ステップ２０３）、分離部２１はサーチ先の画像のビデオストリームとサブピクチャのストリームに分離してビデオバッファ２２とサブピクチャバッファ２３に入力する。サブピクチャ制御部３５はSPUのヘッダよりSPUサイズを取得し(ステップ２０４)、該SPUサイズが設定値より大きいかチェックする(ステップ２０５)。大きければ、ビデオ出力遅延部２５にビデオデータの送出を停止を指示する。
サブピクチャ読取部２９は、サブピクチャバッファ２３にSPUが入力されると該SPUを順次読み出し、多重部２８、暗号化部３０を介してMOST多重部３１に入力し、MOST多重部３１はSPUを所定チャンネルで伝送するためのMOSTフレームを生成してMOSTバスに送信する（ステップ２０６）。
SPUのすべての送信が完了すれば（ステップ２０７）、サブピクチャ制御部３５はビデオ出力遅延部２５に出力OK信号を入力する。これにより、以後、ビデオデータがビデオバッファ２２から読み出され、MOST多重部３１に入力し、MOST多重部３１はMOSTフレームを生成してMOSTバスに送信する(ステップ２０８)。
【００１６】
一方、ステップ２０５において、SPUサイズが設定値より小さければ、SPUとサーチ先画像データを同時に送信する(ステップ２０９)。この際、サブピクチャ制御部３５はSPUのビットレートBrsを求め、該ビットレートをトランスコーダ２７に入力する。トランスコーダ２７はビデオストリームの伝送に割り当てられているビットレートBrvからBrsを差し引いたビットレート（Brv−Brs）でビデオ信号をエンコードして出力する。すなわち、SPUはビットレートBrsで送信され、ビデオはビットレート（Brv−Brs）で送信される。
第２実施例によれば、サブピクチャのビットレートが大きくても、ビデオストリームに割り当てられている全ビットレートを用いて伝送することが可能になり、画質が劣化することはない。また、第２実施例によれば、サブピクチャのビットレートが低い場合、ビデオ画像を遅延なく表示することができる。
以上の実施例ではMOSTシステムについて本発明を適用した場合について説明したが、本発明はMOSTシステムだけでなく類似したシステムにも適用できるものである。
【図面の簡単な説明】
【００１７】
【図１】本発明のオーディオ・ビジュアル機器の構成図である。
【図２】本発明のMOSTフレーム伝送処理フローである。
【図３】MOSTフレーム伝送処理の説明図である。
【図４】第２実施例のオーディオ・ビジュアル機器の構成図である。
【図５】サブピクチャストリームの構成図である。
【図６】第２実施例のMOSTフレーム伝送処理フローである。
【図７】MOSTシステムの説明図である。
【図８】提案されている伝送方法を実現するMOSTフレームの構成図である。
【図９】従来技術のビットレート割り当て説明図である。
【符号の説明】
【００１８】
２１  分離部
２２  ビデオバッファ
２３  サブピクチャバッファ
２４  オーディオバッファ
２５  出力遅延部
２６  デコーダ
２７  トランスコーダ
２８  多重部
２９  サブピクチャ読出し部
３０  暗号化部
３１  MOST多重部
３２  パケット化部
３３  操作部
３４  制御部３４
【図１】
2008154152.tif 000003
【図２】
2008154152.tif 000004
【図３】
2008154152.tif 000005
【図４】
2008154152.tif 000006
【図５】
2008154152.tif 000007
【図６】
2008154152.tif 000008
【図７】
2008154152.tif 000009
【図８】
2008154152.tif 000010
【図９】
2008154152.tif 000011