(57)【要約】      （修正有）【課題】切り替えられる２つの映像信号の入出力間の遅延を小さくした映像信号切替装置を提供すること。【解決手段】第１バッファ分析器３は、ストリームバッファ（Ａ）１から映像信号Ａの属性情報ａを受け取り、切替終端処置のための修正後の符号化ピクチャタイプおよび修正後の発生符号量を決定する。また、第２バッファ分析器６は、ストリームバッファ（Ｂ）２から映像信号Ｂの属性情報ｂと切替終端処置後の最終バッファ状態情報を受け取り、切替開始処置のための修正後の符号化ピクチャタイプおよび修正後の発生符号量を決定する。再符号化・再量子化器（Ａ）４および再符号化・再量子化器（Ｂ）５は、前記第１，２バッファ分析器３，６からの前記修正情報に基づいて、映像信号ＡおよびＢに対して、それぞれ、切替終端処置および切替開始処置を行う。【選択図】図１
2009246489.tif 000002
【特許請求の範囲】
【請求項１】
２つの映像信号Ａ及びＢを入力とし、任意の時刻に映像信号ＡからＢに切り替えて出力する映像信号切替装置において、
前記映像信号Ａ及びＢを一時的に蓄積する入力ストリームバッファと、
切替前後の映像信号Ａのストリームバッファから取得される映像信号の属性情報を基に、切替終端処置のための修正後の符号化ピクチャタイプおよび修正後の発生符号量を決定する第１のバッファ分析器と、
切替前後の映像信号Ｂのストリームバッファから取得される映像信号の属性情報および前記第1のバッファ分析器から得られる切替終端処置後の最終バッファ状態情報を基に、切替開始処置のための修正後の符号化ピクチャタイプおよび修正後の発生符号量を決定する第２のバッファ分析器と、
前記第１のバッファ分析器で決定された修正後の符号化ピクチャタイプおよび発生符号量により、前記映像信号Ａの情報量修正処理を行い、修正後バッファ遷移情報を出力する第１の映像信号修正処理器と、
前記第２のバッファ分析器で決定された修正後の符号化ピクチャタイプおよび発生符号量により、前記映像信号Ｂの情報量修正処理を行う第２の映像信号修正処理器と、
前記第１の映像信号修正処理器で生成された映像信号と前記第２の映像信号修正処理器で生成された映像信号とを切り替えて出力する切替器とを具備したことを特徴とする映像信号切替装置。
【請求項２】
請求項１に記載の映像信号切替装置において、
前記映像信号Ａ及びＢは、ＭＰＥＧ等の符号化方式で圧縮された映像信号であることを特徴とする映像信号切替装置。
【請求項３】
請求項１に記載の映像信号切替装置において、
前記発生符号量の修正は、各フレームの情報量を修正することを特徴とする映像信号切替装置。
【請求項４】
請求項１または３に記載の映像信号切替装置において、
前記発生符号量の修正は、フレームの削除またはフレーム間隔の修正を行うことを特徴とする映像信号切替装置。
【請求項５】
請求項１に記載の映像信号切替装置において、
前記映像信号の属性情報は、前記映像信号から取得される映像バッファサイズ、ビデオバッファ量遷移情報、および映像フレームの符号化ピクチャタイプ情報であることを特徴とする映像信号切替装置。
【請求項６】
請求項１ないし３のいずれかに記載の映像信号切替装置において、
前記第１および第２のバッファ分析器は、前記映像信号の属性情報に基づいて、符号化ピクチャタイプの修正手順および発生符号量の修正量を決定することを特徴とする映像信号切替装置。
【請求項７】
請求項１ないし６のいずれかに記載の映像信号切替装置において、
前記第１及び第２の映像信号修正処理器は、それぞれ、第１及び第２の再符号化・再量子化器であることを特徴とする映像信号切替装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像信号切替装置に関し、特に２つの映像信号を高速で切り替えることができる映像信号切替装置に関する。 
【背景技術】
【０００２】
従来の映像信号切替装置の一例として、例えば特許文献１に記されているようなものがある。該特許文献１に記されているビデオ情報編集装置は、図１２に示すように、復号判定部・復号部５１と制御部５２と再符号化部５３とからなり、前記復号判定部・復号部５１に編集対象の映像信号ＡおよびＢと、切り出し位置情報Ｃが入力する。そうすると、復号判定部・復号部５１は該切り出し位置およびその近辺のピクチャ（フレーム）を復号し、ピクチャモード、ビット量、量子化パラメータ等の属性情報ｐを制御部５２に送る。制御部５２は、該属性情報ｐを受け取ると、映像信号ＡとＢの切り出し位置のピクチャの相関値を求め、該相関値がある閾値以上であれば、映像信号Ｂの切り出し位置のピクチャを映像信号Ａの切り出し位置のピクチャと同一のインターピクチャとして符号化し、一方前記閾値より小さければ、映像信号Ｂの切り出し位置のピクチャをイントラピクチャとして符号化すると決定する。さらに、決定した符号化モードで再符号化した場合に符号化のビット量の関係で所定の品質維持が可能かどうかを判断し、その判断結果に応じて、前記映像信号ＡとＢの切り出し位置を中心として、前後の複数フレーム分のピクチャタイプと符号量の修正を行うための分析を行う。そして、該再構築すべき各フレーム等に関する制御情報ｑ（ピクチャモード、量子化パラメータ等）を再符号化部５３に送る。該再符号化部５３は、前記制御情報ｑに基づいて映像信号ＡとＢを切り替える編集行い、修正後処理情報ｒ（仮想バッファ占有量情報、ビット量等）を制御部５２に通知する。このようにして、再符号化部５３からは、編集された映像信号Ｅが出力される。
【０００３】
上記のような構成を有し、上記のような動作を行う従来技術によれば、再符号化に伴うビット量の増加を抑えながら、画像の品質劣化を抑制できるという効果を奏することができる。
【特許文献１】特開２００６−２８７４４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記した従来技術では、前記制御部５２は、前記切り出し位置より後の映像信号Ｂの入力後に、映像信号ＡとＢの切り出し位置のピクチャの相関値を求め、その相関値に基づいて、前後の複数フレームの再符号化の方針を立てた上で実際の再符号化が行われるため、映像信号の入出力間の遅延が大きくなるという課題があった。
【０００５】
この発明の目的は、前記した従来技術の課題を解決し、切り替えられる２つの映像信号の入出力間の遅延を小さくした映像信号切替装置を提供することにある。
【課題を解決するための手段】
【０００６】
前記した目的を達成するために、本発明は、２つの映像信号Ａ及びＢを入力とし、任意の時刻に映像信号ＡからＢに切り替えて出力する映像信号切替装置において、
【０００７】
前記映像信号Ａ及びＢを一時的に蓄積する入力ストリームバッファと、
【０００８】
切替前後の映像信号Ａのストリームバッファから取得される映像信号の属性情報を基に、切替終端処置のための修正後の符号化ピクチャタイプおよび修正後の発生符号量を決定する第１のバッファ分析器と、
【０００９】
切替前後の映像信号Ｂのストリームバッファから取得される映像信号の属性情報および前記第1のバッファ分析器から得られる切替終端処置後の最終バッファ状態情報を基に、切替開始処置のための修正後の符号化ピクチャタイプおよび修正後の発生符号量を決定する第２のバッファ分析器と、
【００１０】
前記第１のバッファ分析器で決定された修正後の符号化ピクチャタイプおよび修正後の発生符号量により、前記映像信号Ａの情報量修正処理を行い、修正後バッファ遷移情報を出力する第１の映像信号修正処理器と、
【００１１】
前記第２のバッファ分析器で決定された修正後の符号化ピクチャタイプおよび修正後の発生符号量により、前記映像信号Ｂの情報量修正処理を行う第２の映像信号修正処理器と、
【００１２】
前記第１の映像信号修正処理器で生成された映像信号と前記第２の映像信号修正処理器で生成された映像信号とを切り替えて出力する切替器とを具備した点に特徴がある。
【発明の効果】
【００１３】
本発明によれば、前記第１のバッファ分析器と第２のバッファ分析器とが、独立的に、切替終端処置のための修正後の符号化ピクチャタイプと切替開始処置のための修正後の符号化ピクチャタイプを決定するので、該第１及び第２のバッファ分析器が切替点の符号化ピクチャを切替点前後の２つの映像信号の相関を取る必要がなく、切り替えられる２つの映像信号の入出力間の遅延を小さくすることができる。
【００１４】
また、このため、第１の映像信号から第２の映像信号への切替を早くかつスムーズに行うことができる。
【発明を実施するための最良の形態】
【００１５】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の映像信号切替装置の一実施形態の概略の構成を示すブロック図である。図１では、入力映像信号がＭＰＥＧに代表される、フレーム間予測を用いた圧縮符号化方式により符号化されている場合であって、任意の切替位置で、入力映像信号Ａから入力映像信号Ｂに切り替える場合について説明するが、これに限定されるものではない。すなわち、図１の入力映像信号ＡおよびＢは、ＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ１３８１８−２）を例としているが、ＭＰＥＧ−４ＡＶＣ（ＩＳＯ／ＩＥＣ１４４９６−１０）等のその他の圧縮符号化方式においても同様に適用可能である。なお、図中の太線は映像信号の流れ、細線は制御情報および再度情報の流れを示す。
【００１６】
前記映像信号ＡおよびＢは、それぞれストリームバッファ（Ａ）１および（Ｂ）２に入力される。また、第１バッファ分析器３には、切替位置情報ｃが入力される。そうすると、第１バッファ分析器３は、ストリームバッファ（Ａ）１から取得される映像信号Ａの属性情報ａに基づいて、切替点における映像信号の終端処理方式を決定する。ここで、前記属性情報ａは、入力映像信号Ａに関連する映像バッファサイズ、ビデオバッファ量遷移情報、および各映像フレームの符号化タイプ情報であり、ＭＰＥＧ−２ビデオ信号においては、それぞれの情報は、ＩＳＯ／ＩＥＣ１３８１８−２に記載される下記の(i)〜(iii)の情報に対応する。
【００１７】
(i)映像バッファサイズ
【００１８】
sequence_header（）に記載される１０ビットのvbv_buffer_size_valueとsequence_extension（）に記載される８ビットのvbv_buffer_size_extensionから算出されるvbv_buffer_sizeである。
【００１９】
(ii)ビデオバッファ量遷移情報
【００２０】
AnnexCに規定されるビデオバッファ占有量の遷移図で示される映像バッファ占有量の時間的推移の情報である。該遷移図の一例を、図２に示す。
【００２１】
(iii)映像フレームの符号化ピクチャタイプ情報
【００２２】
picture_header（）に記載されるpicture_coding_typeから特定される符号化タイプである。
【００２３】
また、前記第１バッファ分析器３で決定される映像信号の終端処理方式は、一例として、次の２つの処理によって決定されることができる。
【００２４】
(1)不正な参照を回避するための、参照先の時間的位置および空間的位置の変更処理
【００２５】
(2)切替後のストリームのビデオバッファ破綻を回避するための発生ビット量の調整処理
【００２６】
次に、前記(1)の「不正な参照を回避するためのピクチャタイプの置換処理」の具体例を、以下に説明する。
【００２７】
(1a)入力映像信号ａの切替点がＩ（イントラ）ピクチャまたはＰピクチャの場合
【００２８】
図３に示すように、入力映像信号ａの切替点が表示順でＩまたはＰピクチャの場合、デコード順に並んだビットストリームのデータをＢ０の直後で切断する。なお、ＰおよびＢピクチャはインターピクチャを示し、Ｂピクチャに付けられている添え字は、Ｂピクチャの時間的な順番を示す。以下でも、同様である。
【００２９】
(1b)入力映像信号ａの切替点がＢピクチャの場合
【００３０】
図４に示すように、入力映像信号ａの切替点が表示順でＢ−１である場合は、Ｂ−１を復号した後に、Ｐピクチャで再符号化（Ｐ’−１）する。
【００３１】
また、図５に示すように、入力映像信号ａの切替点が表示順でＢ０である場合は、Ｂ−１およびＢ０を復号した後にＰピクチャで再符号化（Ｐ’−１およびＰ’０）する。
【００３２】
また、前記図３〜図５の処理によって映像フレームのデータサイズが変更されることで、図２に記載されるようなバッファ遷移においてオーバーフローやアンダーフローが発生する可能性がある。そこで、前記(2)の「切替後のストリームのビデオバッファ破綻を回避するための発生ビット量の調整処理」を行う。すなわち、該図３〜図５の処理の際にバッファが破綻しないように再符号化後のデータ量を制限したり、該図３〜図５の処理の後に、後述する再量子化処理によりバッファが破綻しないようにデータ量を調整する等の処理をすることで、終端処置後のストリームをＩＳＯ／ＩＥＣ１３８１８−２AnnexCの規約に納めることができる。
【００３３】
再度、図１に戻って説明すると、第１の映像信号修正処理器、例えば再符号化・再量子化器（Ａ）４は、上記の図３〜図５のようにして決定された入力映像信号Ａの切替点およびその前近傍のピクチャタイプである再符号化・再量子化の切替情報と、切替後のストリームのビデオバッファ破綻を回避するための発生ビット量である修正バッファ量情報とからなる終端処置制御情報ｄを前記第１バッファ分析器３から受け取り、入力映像信号Ａのピクチャタイプおよびビットレートの修正を行う。
【００３４】
前記再符号化・再量子化器（Ａ）４の一具体例を、図６を参照して説明する。該再符号化・再量子化器（Ａ）４は、可変長復号部４１，目標量子化パラメータ変換部４２，再量子化部４３および再符号化部４４からなる。
【００３５】
可変長復号部４１には、入力映像信号Ａがフレーム単位で入力する。この入力映像信号Ａの各フレームはマクロブロック（ＭＢ）単位で予測符号化されている。可変長復号部４１は入力映像信号Ａを可変長復号し、量子化パラメータＱＰ，量子化されたＤＣＴ係数COEF、ＭＢの予測符号化モードを示すＭＢ情報、ＭＢ毎の動きベクトルを示すＭＶ情報、および各種ヘッダ情報（シーケンス層、ＧＯＰ層、ピクチャ層、スライス層）を抽出する。
【００３６】
目標量子化パラメータ変換部４２は、前記可変長復号部４１で抽出された量子化パラメータＱＰを修正バッファ量情報ｄ１に基づいて、既知の方法で、ビットレート変換後の量子化パラメータの目標値（目標量子化パラメータ）ＱＰtに変換する。該目標値ＱＰtは、再量子化部４３と再符号化部４４に入力し、再量子化部４３における再量子化および再符号化部４４における量子化の目標値となる。次に、前記再量子化部４３と再符号化部４４とは、前記再符号化・再量子化の切替情報ｄ２により選択される。該選択された再量子化部４３または再符号化部４４は、前記可変長復号部４１からの量子化パラメータＱＰ，量子化されたＤＣＴ係数COEF、ＭＢの予測符号化モードを示すＭＢ情報、ＭＢ毎の動きベクトルを示すＭＶ情報、および各種ヘッダ情報が入力される。
【００３７】
前記再量子化部４３及び再符号化部４４は、また、フレームの削除とフレーム間隔の修正を行うことにより、情報量（ビットレート）の修正を行うことができる。このようにして、図１の再符号化・再量子化器（Ａ）４からは、終端処置された映像信号Cが出力される。なお、図示していないが、切替処理が発生しない場合は、入力映像信号Ａはそのまま映像信号Ｅとして出力される。前記再量子化部４３と再符号化部４４の一具体例としては、例えば特開２００７−１３５１０１号公報の図２，図３に示されているものを用いることができる。
【００３８】
前記再符号化・再量子化器（Ａ）４の終端処置の結果は、修正後バッファ遷移情報ｅとして、第１バッファ分析器３にフィードバックされると共に、該第１分析器３から最終バッファ状態情報ｆとして第２バッファ分析器６に入力する。
【００３９】
該第２バッファ分析器６は、前記ストリームバッファ（Ｂ）２から、前記属性情報ａと同様の属性情報ｂ、すなわち、入力映像信号Ｂに関連する映像バッファサイズ、ビデオバッファ量遷移情報、および各映像フレームの符号化ピクチャタイプ情報を取得する。そして、入力映像信号Ｂの始端処理を行う。ピクチャタイプの始端処理の具体例を以下に説明する。
【００４０】
(2a)入力映像信号Ｂの切替点がＩピクチャの場合
【００４１】
図７に示すように、入力映像信号Ｂの切替点が表示順でＩピクチャの場合で、かつＩピクチャの直後に出現するＢピクチャがＩピクチャ以前のＩまたはＰピクチャを参照しない場合は、Ｂ−１およびＢ０を削除する。
【００４２】
(2b)Ｉピクチャの直後に出現するＢピクチャがＩピクチャ以前のＩまたはＰピクチャを参照する場合
【００４３】
図８に示すように、直前のＧＯＰ内のフレームを参照するＢピクチャの予測を無くするような修正を行う。すなわち、Ｂ１、Ｂ２ピクチャを片方向予測に修正する。
【００４４】
(2c)入力映像信号Ｂの切替点がＢピクチャの場合
【００４５】
図９、図１０に示すように、入力映像信号Ｂの切替点が表示順でＢピクチャの場合には、前者の場合には、ＰピクチャをＩピクチャに変えると共に、Ｂ１，Ｂ２ピクチャを片方向の予測に修正し、一方後者の場合には、ＰピクチャをＩピクチャに変えると共に、Ｂ１ピクチャを削除、Ｂ２ピクチャを片方向の予測に修正する。
【００４６】
(2d)入力映像信号Ｂの切替点がＰピクチャの場合
【００４７】
図１１に示すように、入力映像信号Ｂの切替点が表示順でＰピクチャの場合には、ＰピクチャをＩピクチャに変えると共に、Ｂー１，Ｂ０ピクチャを削除する。
【００４８】
第２バッファ分析器６は、さらに、前記第１バッファ分析器３と同様に、切替後のストリームのビデオバッファ破綻を回避するための発生ビット量の調整処理を行う。そして、該第２バッファ分析器６は、再符号化・再量子化の切替情報と修正バッファ量情報からなる開始処理制御情報ｇを、第２の映像信号修正処理器、例えば再符号化・再量子化器（Ｂ）５に通知する。
【００４９】
該再符号化・再量子化器（Ｂ）５の構成及び動作は、前記再符号化・再量子化器（Ａ）４と同じであり、その一具体例は図６で説明した通りである。したがって、該再符号化・再量子化器（Ｂ）５からは、始端処置された映像信号Ｄが出力される。
【００５０】
前記映像信号ＣおよびＤを切り替える切替器７の切替制御信号ｈは、終端処置後の映像信号Ｃが出力完了したことを確認することができる第２バッファ分析器６から出力することができる。あるいは、前記再符号化・再量子化器（Ａ）４、またはる第１バッファ分析器３から出力するようにしても良い。なお、映像信号Ａから映像信号Ｂに切り替えられた編集映像信号Ｅは、前記ストリームバッファ（Ａ）１と（Ｂ）２のバッファ量や、前記再符号化・再量子化器と切替器７の間に新たにバッファを設け（図示せず）、該バッファにおけるバッファリング量によって出力タイミングを調整することにより、映像信号Ｅの出力タイミングの時間的な連続性を保つことができる。
【００５１】
本発明によれば、切替終端処置のための修正後の符号化ピクチャタイプおよび切替開始処理のための修正後の符号化ピクチャタイプの決定は、前記第１のバッファ分析器および第２のバッファ分析器が独立的に行うことができ、第２のバッファ分析器が第１のバッファ分析器から受け取る情報は最終バッファ状態情報だけであるので、前記従来技術のように、映像信号ＡとＢの切り出し位置のピクチャの相関値を求めてＧＯＰ構造を再構築する必要がなく、切り替えられる２つの映像信号の入出力間の遅延を小さくすることができる。
【図面の簡単な説明】
【００５２】
【図１】本発明の一実施形態の概略の構成を示すブロック図である。
【図２】ビデオバッファ量の遷移の一例を示す図である。
【図３】切替終端処置のための修正後の符号化ピクチャタイプ決定の第１の例を示す図である。
【図４】切替終端処置のための修正後の符号化ピクチャタイプ決定の第２の例を示す図である。
【図５】切替終端処置のための修正後の符号化ピクチャタイプ決定の第３の例を示す図である。
【図６】再符号化・再量子化器（Ａ）および（Ｂ）の一具体例を示すブロック図である。
【図７】切替開始処理のための修正後の符号化ピクチャタイプ決定の第１の例を示す図である。
【図８】切替開始処理のための修正後の符号化ピクチャタイプ決定の第２の例を示す図である。
【図９】切替開始処理のための修正後の符号化ピクチャタイプ決定の第３の例を示す図である。
【図１０】切替開始処理のための修正後の符号化ピクチャタイプ決定の第４の例を示す図である。
【図１１】切替開始処理のための修正後の符号化ピクチャタイプ決定の第５の例を示す図である。
【図１２】従来のビデオ情報編集装置の一例の説明ブロック図である。
【符号の説明】
【００５３】
１・・・ストリームバッファ（Ａ）、２・・・ストリームバッファ（Ｂ）、３・・・第１バッファ分析器、４・・・再符号化・再量子化器（Ａ）、５・・・再符号化・再量子化器（Ｂ）、６・・・第２バッファ分析器、７・・・切替器、４１・・・可変長復号部、４２・・・目標量子化パラメータ変換部、４３・・・再量子化部、４４・・・再符号化部。
【図１】
2009246489.tif 000003
【図２】
2009246489.tif 000004
【図３】
2009246489.tif 000005
【図４】
2009246489.tif 000006
【図５】
2009246489.tif 000007
【図６】
2009246489.tif 000008
【図７】
2009246489.tif 000009
【図８】
2009246489.tif 000010
【図９】
2009246489.tif 000011
【図１０】
2009246489.tif 000012
【図１１】
2009246489.tif 000013
【図１２】
2009246489.tif 000014