(57)【要約】【課題】所定の番組の映像信号及び音響信号を予め定めたビットレートで割り当てて符号化し、多重化する映音符号化装置及びその映音復号装置を提供する。【解決手段】本発明の映音符号化装置１は、完プロ番組の音響信号を或る一定時間分、映像信号に対して先行読み出しする手段（１０２）と、先行読み出しした音響信号を符号化するとともに、所定の時間単位で所要ビットレートを決定する手段（１０３）と、前記先行読み出しした音響信号に対応する映像信号を、前記所要ビットレートに対応する残余ビットレートで符号化する手段（１０６）と、前記符号化した音響信号及び映像信号を同期させて多重化する手段（１０９）とを備える。【選択図】図１
2010028643.tif 000002
【特許請求の範囲】
【請求項１】
完プロ番組の映像信号及び音響信号を予め定めたビットレートで割り当てて符号化し、多重化する映音符号化装置であって、
完プロ番組の音響信号を或る一定時間分、映像信号に対して先行読み出しする手段と、
先行読み出しした音響信号を符号化するとともに、所定の時間単位で所要ビットレートを決定する手段と、
前記先行読み出しした音響信号に対応する映像信号を、前記所要ビットレートに対応する残余ビットレートで符号化する手段と、
前記符号化した音響信号及び映像信号を同期させて多重化する手段と、
を備えることを特徴とする、映音符号化装置。
【請求項２】
完プロ番組の映像信号及び音響信号を予め定めたビットレートで割り当てて符号化し、多重化する映音符号化装置であって、
完プロ番組の音響信号を、完プロ収録時に符号化して、所定の時間毎の所要ビットレートを決定し、完プロ番組における符号化した音響信号及び所要ビットレートを所定のメモリに予め蓄積する手段と、
蓄積していた音響信号の前記所要ビットレートを、或る一定時間分、映像信号に対して先行読み出しを行い、前記先行読み出しした音響信号に対応する映像信号を、該所要ビットレートに対応する残余ビットレートで符号化する手段と、
前記符号化した音響信号及び映像信号を同期させて多重化する手段と、
を備えることを特徴とする、映音符号化装置。
【請求項３】
リアルタイム放送番組の映像信号及び音響信号を予め定めたビットレートで割り当てて符号化し、多重化する映音符号化装置であって、
リアルタイム放送番組のリハーサル時の音響信号を符号化して、所定の時間毎の所要ビットレートを決定し、リハーサル時の符号化した音響信号及び所要ビットレートを所定のメモリに予め蓄積する手段と、
蓄積していた符号化した音響信号と、リアルタイム放送番組の音響信号とを比較して、双方の信号のずれを表す時間差を決定し、該時間差に対応する所要ビットレートを前記所定のメモリから読み出し、リアルタイム放送番組の映像信号を、当該読み出した所要ビットレートに対応する残余ビットレートで符号化する手段と、
リアルタイム放送番組の音響信号を符号化する手段と、
前記符号化した音響信号及び映像信号を同期させて多重化する手段と、
を備えることを特徴とする、映音符号化装置。
【請求項４】
前記所定の時間は、複数の音響フレームからなるブロック単位として規定されていることを特徴とする、請求項１〜３のいずれか一項に記載の映音符号化装置。
【請求項５】
前記ブロック単位で決定する所要ビットレートは、複数の音響フレームにおける所要ビットレートの最大値として規定されていることを特徴とする、請求項４に記載の映音符号化装置。
【請求項６】
連続するブロック単位の所要ビットレートを逐次比較して、時間的に前のブロックにおける所要ビットレートが時間的に後のブロックにおける所要ビットレートよりも大きい場合に、当該時間的に前のブロックにおける所要ビットレートから前記残余ビットレートを決定する手段を更に備えることを特徴とする、請求項５に記載の映音符号化装置。
【請求項７】
前記比較した結果に関わらず、前記映像信号から構成される映像フレームのシーンチェンジのタイミング、前記映像信号の映像符号化に用いられるＧＯＰ構造のグループ単位、残余ビットレート量の上限値、映像信号の所定の長さ以上のシーン長のうち、少なくとも１つ以上に基づいて、当該時間的に後のブロックにおける所要ビットレートから前記残余ビットレートを決定する手段を更に備えることを特徴とする、請求項６に記載の映音符号化装置。
【請求項８】
複数の符号化ビットレートを設定するスケーラブル映像符号化が用いられる場合に、前記所要ビットレートに対応する残余ビットレートは、映像スケーラブル符号化において複数のビットレートを設定した範囲内のものを選択する手段を更に備えることを特徴とする、請求項１〜７のいずれか一項に記載の映音符号化装置。
【請求項９】
請求項１〜８のいずれか一項に記載の映音符号化装置からの信号を受信して、逆多重化し、映像信号及び音響信号を復号することを特徴とする、映音復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所与の全体送出ビットレートを映像・音響信号等に最適に配分する映音符号化・多重化技術に関し、特に、音響信号優先ビット割当機能を有する映音符号化装置及び復号装置に関する。
【背景技術】
【０００２】
デジタル放送は、放送局側で番組内容などによって映像や音響など優先する品質（モード）を切り替えて放送している。放送局は、番組内容に応じて随意、映像及び音響の品質モードにおける一定のビットレートを定め、このビットレートを更に映像・音響・データに一定のビットレートで配分し、配分したそれぞれの一定のビットレートで映像及び音響信号の符号化（高能率符号化を含む）を行い、これらの信号及びデータを多重化して送信している（例えば、特許文献１参照）。
【０００３】
つまり、従来からの映像及び音響（以下、総括して「映音」とも称する）の符号化・多重化装置は、映像又は音響のいずれかの品質を優先するように所与の全体送出ビットレートを予め映像・音響等に配分し、この配分したビットレート内で映像及び音響信号の符号化を行い、これらの信号を多重化してＴＳストリームを生成し、送出する。
【０００４】
例えば、音楽番組などの音質重視の番組の場合には、視聴者が十分に満足できる高音質を保てるようなビットレートをまず音響信号に配分し、映像・データの信号はその残りのビットレート（以下、残余ビットレートとも称する）内で符号化するように品質設定を行う。尚、映像信号に優先的にビットレートを配分する映像重視の番組や、情報そのものに価値があり（番組あたりの割当ビットレートが小さくなるが）複数の番組を同時に伝送する（マルチ編成を行う）情報番組などもある。
【０００５】
この音質重視の番組において、音響信号を高品質に保つためのビットレートは、音響信号の情報量の面又は知覚的な面から、音響信号のフレーム単位で時間的に変動させている。
【０００６】
つまり、映像・音響の知覚品質を一定に保つように符号化を行う場合、映像・音響の必要とされるビットレート（以下、所要ビットレートとも称する）は、時々刻々と変動することになる。多数の番組を多重化して送出する場合は、統計的な観点からビットレートの変動量を抑えるように送信することができるので、個々の映像・音響の信号は、時々刻々と変動する所要ビットレートを配分し、多数の番組全体として所与の大きな送出ビットレート内で統計的に符号化・多重化することもできる。
【０００７】
また、リアルタイムの放送信号の送出が必須とされないデータ放送番組の場合に、変動する残余ビットレートを割り当てる方法が用いられることもある。
【０００８】
さらに、符号化遅延が大きくても問題とならない場合には、変動する音響信号の所要ビットレートを算出し、音響信号にこの所要ビットレートをまず配分し、一方、映像信号を、この間隔に相当する期間バッファに予め格納しておき、信号送信時に残余ビットレートを映像信号に割り当て、割当ビットレート内で、十分な時間をかけて最適な映像符号化を行うこともある。
【０００９】
ところで、放送局においては、緊急ニュースなどの緊急時に備えて、事前収録された番組（完プロ番組）においても、この完プロ番組をリアルタイムに再生して放送する運用が行われている。
【００１０】
【特許文献１】特開平８−１３３９６４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、従来では、放送局側で事前に設定した一定の映像・音響信号の符号化・多重化をしており、例えば音響信号が持つ情報量又は知覚的な情報量の変動に対応した適応的な配分がリアルタイムで行えず、音響信号の情報量の最大値を予め長時間にわたって予想してビット配分を行う必要があった。
【００１２】
また、仮に、時事刻々と変動する所要ビットレートに対応するとしても、多数の番組の統計的な多重又はリアルタイムの送出が必要とされないような個々のデータ放送番組への割り当てに使用できるのみであった。
【００１３】
また、放送局においては、緊急ニュースなどの緊急番組に備えて、事前収録されたいわゆる「完プロ番組」においても、リアルタイム再生による符号化・多重化の放送運用が行われている。
【００１４】
従って、音質重視の番組の音響信号を高品質に保ちつつ、また低遅延時間で映像・音響信号の符号化品質を向上させることを可能にする技法が望まれる。
【００１５】
本発明の目的は、音楽番組などの音質重視の番組において、時間的に変動する音響信号に必要ビット配分をまず配分し、一方、映像及び付随するデータ等の信号は、その残余ビットレートを割り当て、割当ビットレート内で最適な映像符号化を行う映音符号化装置において、低遅延で音響信号の高音質符号化及び最適画質の映像符号化を行うことを可能とする、音響信号優先ビット割当機能を有する映音符号化装置及び復号装置を提供することにある。
【課題を解決するための手段】
【００１６】
本発明は、主に、２通りの番組提供、即ち完プロ番組及び生放送番組における音響信号優先ビット割当機能を有する映音符号化装置及び復号装置を提供する。
【００１７】
完プロ番組において、音響信号の所要ビットレート算出に要する遅延時間を短縮するため、完プロ番組を或る一定間隔で音響信号の先行読み出しを行い、変動する音響信号の所要ビットレートを事前に求めるか、又は完プロ番組の収録時に算出・蓄積した、変動する音響信号の所要ビットレートの先行読出しを行うようにする。
【００１８】
生放送番組において、音響信号の所要ビットレート算出に要する遅延時間を短縮するため、実際の生放送時のものと対応する事前に収録されたリハーサル時の音響信号を用いて、この音響信号の所要ビットレートの情報をフレーム単位（又は、複数フレームからなるブロック単位）で蓄積しておき、生放送本番時は、蓄積した所要ビットレートを読み出し、変動する音響信号の所要ビットレートを予測する。
【００１９】
音響信号にこの所要ビットレートをまず配分し、またその剰余ビットレートを映像信号等に割り当て、低遅延時間で且つ割当ビットレート内で最適な映像符号化を行うことで、リアルタイムで音響信号の高音質符号化及び最適な映像符号化を行うことを可能とする。
【００２０】
即ち、本発明による映音符号化装置は、完プロ番組の映像信号及び音響信号を予め定めたビットレートで割り当てて符号化し、多重化する映音符号化装置であって、完プロ番組の音響信号を或る一定時間分、映像信号に対して先行読み出しする手段と、先行読み出しした音響信号を符号化するとともに、所定の時間単位で所要ビットレートを決定する手段と、前記先行読み出しした音響信号に対応する映像信号を、前記所要ビットレートに対応する残余ビットレートで符号化する手段と、前記符号化した音響信号及び映像信号を同期させて多重化する手段と、を備えることを特徴とする。
【００２１】
また、本発明による映音符号化装置において、完プロ番組の映像信号及び音響信号を予め定めたビットレートで割り当てて符号化し、多重化する映音符号化装置であって、完プロ番組の音響信号を、完プロ収録時に符号化して、所定の時間毎の所要ビットレートを決定し、完プロ番組における符号化した音響信号及び所要ビットレートを所定のメモリに予め蓄積する手段と、蓄積していた音響信号の前記所要ビットレートを、或る一定時間分、映像信号に対して先行読み出しを行い、前記先行読み出しした音響信号に対応する映像信号を、該所要ビットレートに対応する残余ビットレートで符号化する手段と、前記符号化した音響信号及び映像信号を同期させて多重化する手段と、を備えることを特徴とする。
【００２２】
また、本発明による映音符号化装置において、リアルタイム放送番組の映像信号及び音響信号を予め定めたビットレートで割り当てて符号化し、多重化する映音符号化装置であって、リアルタイム放送番組のリハーサル時の音響信号を符号化して、所定の時間毎の所要ビットレートを決定し、リハーサル時の符号化した音響信号及び所要ビットレートを所定のメモリに予め蓄積する手段と、蓄積していた符号化した音響信号と、リアルタイム放送番組の音響信号とを比較して、双方の信号のずれを表す時間差を決定し、該時間差に対応する所要ビットレートを前記所定のメモリから読み出し、リアルタイム放送番組の映像信号を、当該読み出した所要ビットレートに対応する残余ビットレートで符号化する手段と、リアルタイム放送番組の音響信号を符号化する手段と、前記符号化した音響信号及び映像信号を同期させて多重化する手段と、を備えることを特徴とする。
【００２３】
また、本発明による映音符号化装置において、前記所定の時間は、複数の音響フレームからなるブロック単位として規定されていることを特徴とする。
【００２４】
また、本発明による映音符号化装置において、前記ブロック単位で決定する所要ビットレートは、複数の音響フレームにおける所要ビットレートの最大値として規定されていることを特徴とする。
【００２５】
また、本発明による映音符号化装置において、連続するブロック単位の所要ビットレートを逐次比較して、時間的に前のブロックにおける所要ビットレートが時間的に後のブロックにおける所要ビットレートよりも大きい場合に、当該時間的に前のブロックにおける所要ビットレートから前記残余ビットレートを決定する手段を更に備えることを特徴とする。
【００２６】
また、本発明による映音符号化装置において、前記比較した結果に関わらず、前記映像信号から構成される映像フレームのシーンチェンジのタイミング、前記映像信号の映像符号化に用いられるＧＯＰ構造のグループ単位、残余ビットレート量の上限値、映像信号の所定の長さ以上のシーン長のうち、少なくとも１つ以上に基づいて、当該時間的に後のブロックにおける所要ビットレートから前記残余ビットレートを決定する手段を更に備えることを特徴とする。
【００２７】
また、本発明による映音符号化装置において、複数の符号化ビットレートを設定するスケーラブル映像符号化が用いられる場合に、前記所要ビットレートに対応する残余ビットレートは、最も高いビットレートから選択する手段を更に備えることを特徴とする。
【００２８】
また、本発明による映音復号装置は、本発明の映音符号化装置からの信号を受信して、逆多重化し、映像信号及び音響信号を復号することに特徴付けられる。
【発明の効果】
【００２９】
本発明によれば、音質重視の番組において、音響信号を高品質を保つように音響信号に優先的にビットの配分を行い、その剰余ビットレート内でリアルタイムに符号化される映像品質を向上させることができる。
【発明を実施するための最良の形態】
【００３０】
まず、本発明による実施例１の映音符号化装置を説明する。音楽番組など音質重視の番組においては、時々刻々と変動する音響信号の所要ビットレートに基づいて、優先的に音響信号に所要ビットレートを割り当て、符号化することが必要である。また、その残余ビットレートは、映像信号に割り当てられるが、映像符号化に伴う知覚的な劣化が少なくなるように符号化を行うことが重要である。
【００３１】
まず、本発明による実施例１の映音符号化装置を説明する。
【００３２】
（実施例１）
図１に、本発明による実施例１の映音符号化装置を示す。映音符号化装置１は、映像信号及び音響信号を符号化して多重化する際に、音響信号を優先的にビットレートの割当を行い、残余ビットレートを映像信号に割り当てる、音響信号優先ビット割当機能を有し、音質重視の番組において、音響信号に優先的に所要ビットレートを割り当て、映像音声の適切な符号化を行うための装置である。
【００３３】
映音符号化装置１は、映像・音響データディスクレコーダ１０１と、音響符号化器１０２と、音響符号化データ量解析装置１０３と、映像シーン切り替え検出器１０４と、映像データ量設定／符号化切り替え回路１０５と、映像符号化装置１０６と、映像符号化信号切り替えスイッチ１０７と、遅延回路１０８と、多重装置１０９と、音響優先設定部１１０と、全体レート設定部１１１とを備える。映像符号化装置１０６は、第１映像符号化器１０６１と、第２映像符号化器１０６２とを有する。
【００３４】
映像・音響データディスクレコーダ１０１は、放送する番組の映像及び音響のデータを予め格納しておくことができ、番組の映像信号及び音響信号を送出する記憶装置として機能する。
【００３５】
音響符号化器１０２は、映像・音響データディスクレコーダ１０１から放送する番組の音響データを或る一定時間分、映像信号に対して事前に読み出し（以下、先行読出とも称する）、放送送信に用いる所定の符号化方式に基づいて読み出した音響データを、予め定めたフレーム単位で符号化する機能を有する。尚、この一定時間分とは、任意に設定することができ、少なくとも本実施例の映音符号化装置における音響信号優先ビット割当機能を達成するのに必要な時間とし、番組情報全部の時間としてもよい。この音響符号化処理は、既知の処理と同様である。また、１音声フレームは、映像信号と同期をとることが可能なように構成する。例えば、音響信号４８ｋＨｚサンプリング、映像信号３０Ｈｚの間で同期をとる場合、１音声フレームは、１６００音声サンプルで構成する。
【００３６】
また、音響符号化器１０２は、音響優先設定部１１０から「音質重視の番組」であることを示すフラグが設定されると、音響信号を符号化する際に、映像信号よりも高品質となるように優先的にビットレートを音響信号に割り当てるように機能する。
【００３７】
例えば、図３に、音響符号化器１０２における、変動する音響信号の所要ビットレートの一例を示す。図３は、音声重視の番組では、音響信号が高品質となるように優先的にビットを割り当てるために必要な、時々刻々変動する所要ビットレートの一例を示している。この所要ビットレートは、音響フレーム単位でビットレートが割り当てられ、音響信号の情報量又は知覚的な面からみた場合、音響信号を符号化・伝送するために必要なビットレートは時間的に変動する。
【００３８】
音響符号化データ量解析装置１０３は、音響符号化器１０２によって割り当てられた音声フレーム毎のビットレートの情報を取得し、数個の音声フレームをまとめた１音声フレームブロックのうち、音声フレームの所要ビットレートの最大値を算出し、このブロック内で最大のビットレートを「１音声フレームブロックの所要ビットレート」として決定し、決定した１音声フレームブロックの所要ビットレートを、映像信号とともに同期・多重化して放送することが可能なように、図示しないメモリに格納しておく。従って、音響符号化データ量解析装置１０３は、映像信号とともに同期・多重化して放送するのが十分な時間で先行読出を行った放送する番組における音響信号について、割り当てた１音声フレームブロックの所要ビットレートの情報を保持している。映像データ量設定／符号化切り替え回路１０５に送出する機能を有する。
【００３９】
例えば、図４に、１音声フレームブロック（例えば１０個の、一連の音声フレームからなる）での音響信号の所要ビットレートの割当の一例を示す。図４は、図３における音声フレーム毎のビットレートに対応させて図示している。図３に示すような、１音声フレームの変動に基づいて映像フレームの割当ビットレートが変動する場合、映像符号化の制御が困難であり、映像品質が時々刻々変動すると（ビットレートの有効活用の面からは優れるが）映像の知覚的な品質面からは好ましくない。一方、図４に示すように、例えば、１０個の音声フレーム単位で１音声フレームブロックを形成することで、時々刻々と変動する音響信号の所要ビットレート（図３参照）の変動を抑制することで、映像信号のための残余ビットレートの変動量を少なくすることができる。
【００４０】
映像シーン切り替え検出器１０４は、映像・音響データディスクレコーダ１０１から取り出した映像信号から、映像フレームを構成し、時系列順に映像フレーム間のシーンを監視するとともに、シーンチェンジを検出するたびにその旨を映像データ量設定／符号化切り替え回路１０５に送出する機能を有する。このシーンチェンジの検出の方法には、例えば特許公開２００６−２７０３０１など、様々な方法が既に開示されており、その検出方法自体は本願発明の趣旨ではないため詳細な説明を省略するが、例えば前後の映像フレームについてブロック分割した各ブロックの特徴ベクトルを算出し、これらの特徴ベクトルの類似度が所定の範囲外となる場合にシーンチェンジとして判別することができる。
【００４１】
映像データ量設定／符号化切り替え回路１０５は、音響信号における音声フレームブロック単位の所要ビットレートについて直前のものと比較し、この比較結果の大きい方の所要ビットレートに対する残余ビットレートで、リアルタイムの放送時間に読み出された映像信号に対して映像符号化を行うように制御するとともに、映像シーンのシーンチェンジの検出の度に、前記比較結果に関わらず、シーンチェンジの時刻に対応する音声フレームブロックの割当ビットレートで、当該映像信号に対して映像符号化を行うように制御する機能を有する。より具体的には、映像データ量設定／符号化切り替え回路１０５は、映像符号化装置１０６と、音響符号化データ量解析装置１０３との同期制御を実現するとともに、互いに異なる割当ビットレートを有する、第１映像符号化器１０６１（例えば、高めの割当ビットレート）及び第２映像符号化器１０６２（例えば、相対的に低めの割当ビットレート）の切り替えを行う映像符号化信号切り替えスイッチ１０７を制御する。
【００４２】
即ち、映像データ量設定／符号化切り替え回路１０５は、映像符号化装置１０６を制御して、映像符号化装置１０６が、映像・音響データディスクレコーダ１０１から映像信号を取り出し、映像データ量設定／符号化切り替え回路１０５から指示される残余ビットレートで映像信号を符号化するように制御する。ここで、好適には、映像符号化装置１０６は、互いに異なる割当ビットレートを有する、第１映像符号化器１０６１及び第２映像符号化器１０６２を備え、映像データ量設定／符号化切り替え回路１０５から指示される残余ビットレートに対応する方を選択制御される。また、映像データ量設定／符号化切り替え回路１０５は、選択制御した第１映像符号化器１０６１及び第２映像符号化器１０６２のいずれかの映像符号化信号を送出するように、映像符号化信号切り替えスイッチ１０７を制御する。
【００４３】
好適には、映像データ量設定／符号化切り替え回路１０５は、変動の少ない映像信号のビットレートを提供するために、音響符号化データ量解析装置１０３から映像信号と同期させて取得した音声フレームブロック単位の所要ビットレートの情報に基づいて、映像符号化装置１０６を制御する。具体的には、映像データ量設定／符号化切り替え回路１０５は、取得した「現在の１音声フレームブロックの所要ビットレート」と「直前の音声フレームブロックの所要ビットレート」との比較を行い、「直前の１音声フレームブロックの所要ビットレート」が「現在の音声フレームブロックの所要ビットレート」よりも大きい場合、直前の音声フレームブロックの所要ビットレートを現在のブロックの割当ビットレートとして採用し、対応する残余ビットレートで映像符号化装置１０６を制御する。
【００４４】
一方、映像データ量設定／符号化切り替え回路１０５は、その比較した結果として、「直前の音声フレームブロック」が「現在の音声フレームブロックの所要ビットレート」よりも小さい場合、現在の所要ビットレートを割当ビットレートとして採用し、対応する残余ビットレートで映像符号化装置１０６を制御する。
【００４５】
更に、映像データ量設定／符号化切り替え回路１０５は、映像シーン切り替え検出器１０４から、シーンチェンジを検出した旨の情報を取得した場合には、取得時点における「現在の音声フレームブロックの所要ビットレート」を、前記比較結果に関わらず現在の所要ビットレートを割当ビットレートとして採用してリセットするようにし、対応する残余ビットレートで映像符号化装置１０６を制御する。
【００４６】
また、映像データ量設定／符号化切り替え回路１０５は、映像シーン切り替え検出器１０４からシーンチェンジの旨を長時間取得しない場合も考えられるため、映像符号化のＧＯＰ構造に基づいて、即ちＩピクチャの発生をトリガとした所定の符号化グループ単位で割当ビットレートをリセットするように、前記比較結果に関わらず現在の所要ビットレートを割当ビットレートとして採用するようにするのが好適である。
【００４７】
このように、映像データ量設定／符号化切り替え回路１０５は、「現在の１音声フレームブロックの所要ビットレート」と「直前の音声フレームブロックの所要ビットレート」との比較を行い、大きい方の所要ビットレートを採用して、対応する残余ビットレートで映像信号を符号化するように制御するとともに、シーンチェンジのタイミングか、又はＧＯＰ構造のグループ単位でリセットするように、「現在の１音声フレームブロックの所要ビットレート」を採用して、対応する残余ビットレートで映像信号を符号化するように制御する。
【００４８】
例えば、映像データ量設定／符号化切り替え回路１０５は、「直前の音声フレームブロックの所要ビットレート（ＡＢ１）」に対応する残余ビットレートを第１映像符号化器１０６１に割り当て、「現在の音声フレームブロックの所要ビットレート（ＡＢ２）」に対応する残余ビットレートを第２映像符号化器１０６２に割り当てていた場合に、シーンチェンジのタイミングか、又はＧＯＰ構造のグループ単位で、ＡＢ１とＡＢ２との比較結果に関わらず、第２映像符号化器１０６２で符号化するように制御し、シーンチェンジが発生しないか、又はＧＯＰ構造のグループ内では、ＡＢ１＞ＡＢ２となる場合に、第１映像符号化器１０６１で符号化するように制御する。
【００４９】
このように制御した様子を、図５に示している。１音声フレームブロック内で映像シーンチェンジが発生する場合は、シーンチェンジ発生直後のビットレートは、現在のブロックの所要ビットレートであるＡＢ２とする。また、シーンチェンジでの映像符号化の割当ビットレートの変更を容易にするため、第１映像符号化器１０６１及び第２映像符号化器１０６２が設けられているとする。
【００５０】
図５は、図４に示す例に対して、映像のシーンＳｎのシーンチェンジを考慮した音響信号の所要ビットレートの割当例を示す図である。音声フレーム単位で変動する音響信号の所要ビットレート（３０１，図３参照）及び音声フレームブロック単位で変動する音響信号の所要ビットレート（３０２，図４参照）に対し、映像のシーンチェンジでリセットされた上で音声フレームブロック単位で変動する音響信号の所要ビットレート（３０３）が割り当てられる。また、比較した結果に関わらず、映像信号から構成される映像フレームのシーンチェンジ（シーン１〜４）のタイミング（ＳＣ１〜ＳＣ４）、映像信号の映像符号化に用いられるＧＯＰ構造のグループ単位、残余ビットレート量の上限値、映像信号の所定の長さ以上のシーン長のうち、少なくとも１つ以上に基づいて、実際の映像の符号化に用いるビットレートを逐次決定することもできる。
【００５１】
遅延回路１０８は、リアルタイムの放送時間に先行して読み出された音響信号について符号化された音響符号化ストリームを、リアルタイムの放送時間の映像符号化ストリームと同期するように遅延させる機能を有する。図示しない外部インタフェースにより、放送時間の設定を、遅延回路１０８及び映像データ量設定／符号化切り替え回路１０５に対して行って同期させることもできるし、映像データ量設定／符号化切り替え回路１０５の制御により、遅延回路１０８の遅延時間を制御するように構成することもできる。
【００５２】
多重装置１０９は、映像符号化ストリーム及び音響符号化ストリームを既存の多重化規格に従うシーケンスで同期させて多重化し、既存の受信装置（復号装置）で受信（復号）可能な態様の放送用ストリームとして、外部に伝送する機能を有する。
【００５３】
音響優先設定部１１０は、音響優先設定として、「音質重視の番組」であるか否かを示すフラグを音響符号化器１０２に設定する。本実施例では、「音質重視の番組」である場合であるため、音響優先設定部１１０は、「音質重視の番組」であることを示すフラグを音響符号化器１０２に設定する。
【００５４】
全体レート設定部１１１は、放送用ストリーム全体のビットレート（全体レートと称する）を、映像データ量設定／符号化切り替え回路１０５に設定する機能を有する。これにより、映像データ量設定／符号化切り替え回路１０５は、音響信号の所要ビットストリームを決定すれば、全体レートの範囲内で残余ビットストリームを決定することができ、この残余ビットストリームを映像信号の割当ビットストリームとして選定することができる。
【００５５】
このように、実施例１の映音符号化装置１によれば、完プロ番組において、リアルタイムの放送時間に先行して音響信号を読み出し、音響信号に優先的に所要ビットレートを割り当て、残余ビットレートを映像信号に割り当てる際に、映像信号における割当ビットレートの変動量を少なくし、映像品質を知覚的な面から向上させることができる。
【００５６】
また、実施例１の映音符号化装置１によれば、完プロ番組において、リアルタイムの放送時間に先行して音響信号を読み出す場合について説明をしたが、リアルタイムの放送時間に先行して音響信号を読み出す代わりに、完プロ番組に収録時に算出・蓄積した、変動する音響信号の所要ビットレートの先行読み出しを或る一定時間分行って割当ビットレートを定めるように上述の実施例１を変形することもできる。これにより、映像品質を知覚的な面から向上させるような割当ビットレートの動的変更を行うようにすることもできる。
【００５７】
また、実施例１の映音符号化装置１からの放送用ストリームは、既存の受信装置又は復号装置で特に変更を要することなく、逆多重化し、映像信号及び音響信号を受信又は復号することができる。
【００５８】
次に、本発明による実施例２の映音符号化装置を説明する。
【００５９】
（実施例２）
実施例２の映音符号化装置１は、リアルタイム且つ音質重視の番組において、事前リハーサル時の情報を用いて、音響信号に優先的に割り当てる所要ビットレートを予測し、映音の適切な符号化を行うための装置である。特に、実施例２の映音符号化装置１は、リアルタイムの生放送番組において、リアルタイム放送前に実施したリハーサル時に収集した音声フレーム毎の所要ビットレートをリアルタイムの音響信号と比較して時間調整し、時間調整した音響信号の所要ビットレートに対応する残余ビットレートをリアルタイムの映像信号に割り当てるようにする。
【００６０】
従って、実施例２は、実施例１に示した先行して読み出して算出した音響信号の所要ビットレートの代わりに、リアルタイムの映像信号及び音響信号に対して、事前リハーサル時に収集した音声フレームごとの所要ビットレートを用いて、音響信号に優先的に所要ビットレートを割り当てる。ただし、基本的な動作は実施例１と同様である。
【００６１】
図２に、本発明による実施例２の映音符号化装置１を示す。実施例２の映音符号化装置１は、リハ音響符号化データ量収集装置２０１と、音響符号化器２０２と、音響符号化データ量解析装置２０３と、映像シーン切り替え検出器２０４と、映像データ量設定／符号化切り替え回路２０５と、映像符号化装置２０６と、映像符号化信号切り替えスイッチ２０７と、リハ・本番時間調整回路２０８と、多重装置２０９と、音響優先設定部２１０と、全体レート設定部２１１とを備える。映像符号化装置２０６は、第１映像符号化器２０６１と、第２映像符号化器２０６２と、第３映像符号化器２０６３とを有する。
【００６２】
実施例２の映音符号化装置１における、音響符号化器２０２、音響符号化データ量解析装置２０３、映像シーン切り替え検出器２０４、映像データ量設定／符号化切り替え回路２０５、映像符号化装置２０６、映像符号化信号切り替えスイッチ２０７、多重装置２０９、音響優先設定部２１０、及び全体レート設定部２１１は、実施例１の映音符号化装置１における、音響符号化器１０２、音響符号化データ量解析装置１０３、映像シーン切り替え検出器１０４、映像データ量設定／符号化切り替え回路１０５、映像符号化装置１０６、映像符号化信号切り替えスイッチ１０７、多重装置１０９、音響優先設定部１１０、及び全体レート設定部１１１と同様に機能し、その詳細な説明は省略する。
【００６３】
従って、実施例２の映音符号化装置１は、リアルタイム放送番組の映像信号及び音響信号を予め定めたビットレートで割り当てて符号化し、多重化する際に、リアルタイム放送番組のリハーサル時の音響信号を符号化して、所定の時間毎の所要ビットレートを決定し、リハーサル時の符号化した音響信号及び所要ビットレートを所定のメモリに予め蓄積し、蓄積していた符号化した音響信号と、リアルタイム放送番組の音響信号とを比較して、双方の信号のずれを表す時間差を決定し、該時間差に対応する所要ビットレートを所定のメモリから読み出し、リアルタイム放送番組の映像信号を、当該読み出した所要ビットレートに対応する残余ビットレートで符号化するとともに、リアルタイム放送番組の音響信号を符号化し、符号化した音響信号及び映像信号を同期させて多重化する装置として構成することができる。実施例２では、特に、以下のように構成することが好ましい。
【００６４】
（１）第１映像符号化器２０６１及び第２映像符号化器２０６２における音声フレーム毎の所要ビットレートの設定
放送番組のリアルタイム放送前には、当該放送番組の事前リハーサルを行うことがよくあり、この事前リハーサル時に取得した音響信号を利用して予め番組全体の音響信号の音響符号化信号と所要ビットレートとを決定しておき、リハ音響符号化データ量収集装置２０１の内部メモリ（図示せず）に格納しておくようにする。しかしながら、リアルタイム放送時の音響信号の所要ビットレートは、事前リハーサル時に収集した音声フレームごとの所要ビットレートよりも大きくなる場合も当然に発生しうるため、実施例１の映音符号化装置１の構成を単に適用することができない。そこで、第１映像符号化器２０６１及び第２映像符号化器２０６２の割当ビットレートは、予め予想される割当ビットレートよりも少なめに設定しておく。即ち、実施例１の第１映像符号化器１０６１及び第２映像符号化器１０６２の割当ビットレートよりも、少なめ（例えば、１％程度）に設定しておくようにする。
【００６５】
（２）第３映像符号化器２０６３による、第１映像符号化器２０６１及び第２映像符号化器２０６２に設定した割当ビットレートよりも大きな音響信号の所要ビットレートの場合の対処
映像データ量設定／符号化切り替え回路２０５は、全ての音響信号を考慮した所要ビットレートの最大値（即ち、従来と同様に予め設定しておく予測の最大値）に基づいて、その残余ビットレートを割り当てる第３映像符号化器２０６３を更に備え、第１映像符号化器２０６１及び第２映像符号化器２０６２に設定した割当ビットレートに収まらない場合に、第３映像符号化器２０６３によって符号化処理する映像ストリームへの切り替え制御を行う。
【００６６】
（３）リハーサル・本番時間調整回路２０８
事前リハーサル時の音響信号の進行とリアルタイム放送時の音響信号の進行に差が生じすることがよくあり、これは音声フレーム毎の所要ビットレートのずれを生じさせる。そこで、リハーサル・本番時間調整回路２０８は、リハ音響符号化データ量収集装置２０１の内部メモリ（図示せず）に格納したリハーサル時の音響符号化信号及び対応する音響フレーム単位の所要ビットレートを読み出し、リハーサル時の音響符号化信号と音響符号化器２０２からのリアルタイムの音響符号化信号との間で所定の時間幅以内（例えば、１音響フレームの時間）でシフトさせながら相関演算を行って（例えば、双方の符号化信号を復号して高サンプリングし、類似判定するか、又は双方の符号化データそのものを単純比較する）、双方の信号間の時間差を決定し、この時間差に対応する音響フレームフレーム単位の所要ビットレートを音響符号化データ量解析装置２０３に送出するようにする。このようなリハ音響符号化データ量収集装置２０１及びリハーサル・本番時間調整回路２０８に対する制御は、音響符号化データ量解析装置２０３によって行うことができる。
【００６７】
従って、実施例２の映音符号化装置１は、実施例１の利点を包含し、且つリアルタイムの映像信号及び音響信号に対しても、リハーサル時の音響信号から予め取得しておいた音響符号化データを用いて、常にリアルタイム放送時の進行状況を監視し、事前リハーサル時に収集した音声フレーム毎の所要ビットレートについて、リアルタイム放送の進行に合わせて動的に調整し、この所要ビットレートから残余ビットレートを用いて、映像信号の符号化を第１〜第３映像符号化器２０６１，２０６２，２０６３のいずれかから選択するようにする。
【００６８】
前述した実施例１及び実施例２においては、複数の映像符号化器を用いて、映像シーン切り替え検出時に放送用ストリームの切り替えを行うものとして説明したが、映像スケーラブル符号化において複数のビットレートを設定し、映像スケーラブル符号化において複数のビットレートを設定した範囲内の残余ビットレートを選択する（又は、映像ストリームを選択する）ように構成することもできる。また、映音符号化装置１からの放送用ストリームは、既存の受信装置又は復号装置で特に変更を要することなく、逆多重化し、映像信号及び音響信号を受信又は復号することができる。さらに、複数の異なる割当ビットレートの第１，第２，第３の映像符号化器は、それぞれ割当ビットレートの高い順に任意に設定し、さらに数多くの映像符号化器を設けることもできるし、或いは又、１つの映像符号化器で複数の割当ビットレートの切替機構を設けるようにすることもできる。従って、本発明は、上記の実施例に限定するものではなく、特許請求の範囲によってのみ制限される。
【産業上の利用可能性】
【００６９】
本発明によれば、映像信号の割当ビットレートの変動を、音響信号の音響フレームブロック単位の所要ビットレートに従って映像信号の割当ビットレートを割り当てるようにするため、映像信号の割当ビットレートの変動を低減させることができ、これに伴い復号時の映像のちらつきなどの悪影響を低減させることができるため、映像符号化を扱う分野に有用である。
【図面の簡単な説明】
【００７０】
【図１】本発明による実施例１の映音符号化装置を示す図である。
【図２】本発明による実施例２の映音符号化装置１を示す図である。
【図３】変動する音響信号の所要ビットレートの一例を示す図である。
【図４】１音声フレームブロックでの音響信号の所要ビットレートの割当の一例を示す図である。
【図５】映像のシーンチェンジを考慮した音響信号の所要ビットレートの割当例を示す図である。
【符号の説明】
【００７１】
１  映音符号化装置
１０１  映像・音響データディスクレコーダ
１０２  音響符号化器
１０３  音響符号化データ量解析装置
１０４  映像シーン切り替え検出器
１０５  映像データ量設定／符号化切り替え回路
１０６  映像符号化装置
１０７  映像符号化信号切り替えスイッチ
１０８  遅延回路
１０９  多重装置
１１０  音響優先設定部
１１１  全体レート設定部
１０６１  第１映像符号化器
１０６２  第２映像符号化器
２０１  リハ音響符号化データ量収集装置
２０２  音響符号化器
２０３  音響符号化データ量解析装置
２０４  映像シーン切り替え検出器
２０５  映像データ量設定／符号化切り替え回路
２０６  映像符号化装置
２０７  映像符号化信号切り替えスイッチ
２０８  リハ・本番時間調整回路
２０９  多重装置
２１０  音響優先設定部
２１１  全体レート設定部
２０６１  第１映像符号化器
２０６２  第２映像符号化器
２０６３  第３映像符号化器
【図１】
2010028643.tif 000003
【図２】
2010028643.tif 000004
【図３】
2010028643.tif 000005
【図４】
2010028643.tif 000006
【図５】
2010028643.tif 000007