(57)【要約】  本発明による装置はビデオストリーム信号を処理する。ビデオストリーム信号は、各々が、それぞれ複数のフレームに先行する、および後続する、先行および後続のアンカーフレームのうち選択可能なものを用いてビジュアルコンテンツを予測する、複数の従属フレームから成る一連のフレームを表す。伝送帯域幅の不足が生じると、本装置は、前記複数のフレームが終了する前に、従属フレームのうちの１つから開始するビットレートの変更が行われるように処理したバージョンのビデオストリーム信号を生成する。前記変更は、少なくとも、従属するフレームの前記１つにおける領域をエンコードするビデオストリーム信号におけるデータの代わりに、後続のアンカーフレームからの基準の予測データを用いることによって実行される。ビットレートの変更は、処理回路が、後続のアンカーフレームまで、従属フレームの前記１つに続く後続の全ての従属フレームにおける後続アンカーフレームからの基準の予測データを、前記後続の従属フレームにおける領域をエンコードするビデオストリーム信号におけるデータの代わりにするモードへの切り替えを伴う。一実施例では、置換領域に対するインタレーシングを没にする。
2009524328.tif 000002
【特許請求の範囲】
【請求項１】
一連のフレームを表すビデオストリーム信号であって、該ストリーム信号の時間的な表示シーケンスにおける複数のフレームにそれぞれ先行する、および後続する、先行および後続のアンカーフレームのうち選択可能なものを用いて、各々がビジュアルコンテンツを予測する複数の従属フレームから成るビデオストリーム信号を処理する装置であって、
−  ビデオストリーム信号を受信する入力端と、
−  前記複数のフレームが終了する前に、従属フレームのうちの１つから開始するビットレートの変更が行われるように処理したバージョンのビデオストリーム信号を生成するように構成した処理回路であって、少なくとも、従属するフレームの前記１つにおける領域をエンコードするビデオストリーム信号におけるデータの代わりに、後続のアンカーフレームからの基準の予測データを用いることによって前記変更を実行するように構成し、かつ、前記ビットレートの変更は、当該処理回路が、後続のアンカーフレームまで、従属フレームの前記１つに続く後続の全ての従属フレームにおける後続のアンカーフレームからの基準の予測データを、前記後続の従属フレームにおける領域をエンコードするビデオストリーム信号におけるデータの代わりにするモードへの切り替えを伴うように構成した処理回路と、
−  前記処理したバージョンのビデオストリーム信号を送信する伝送インタフェースと、
を具えているビデオストリーム信号処理装置。
【請求項２】
前記伝送インタフェースは、前記処理回路に、前記処理したバージョンのビデオストリーム信号を伝送するための、リアルタイムの利用可能な帯域幅に関する情報を供給するように構成し、前記処理回路は、ビットレートが変更されていないときに、帯域幅がビデオストリーム信号に対して低くなりすぎたことを前記情報が示すとき、該情報に応じて、ビットレートの変更を行うことをリアルタイムに選択して、ビットレートの変更を行う前記選択の際、前記複数フレームの中で次に送信すべき到来するフレームを識別し、該到来するフレームを従属フレームの前記１つとして処理するように構成した、請求項１に記載の装置。
【請求項３】
前記処理回路は、
−  到来するフレームに続く将来のフレームに対して必要とされるタイミングを維持する伝送時間であって、ビデオストリーム信号のリアルタイム特性を維持するのに必要とされる所要なタイミング維持伝送時間を、
−  到来するフレームが、従属フレームの前記１つにならない場合に、伝送に利用できる帯域幅を前提として、将来のフレームに予測される伝送時間と比較することによって、
ビットレートの変更を行う選択をするように構成した、請求項２に記載の装置。
【請求項４】
前記伝送インタフェースは、前記処理回路に、ビデオストリーム信号の伝送のための帯域幅が、ビットレートが変更されていないとき、ビデオストリーム信号に対して低くなりすぎているか否かを判定するための情報を供給するように構成し、前記処理回路は、低くなりすぎているとの前記判定がされた際に、次に送信すべき到来するフレームを識別し、到来するフレームが前記複数フレームの中で時間的に最初のフレームであるか否かを判定し、到来するフレームが前記複数フレームの中で時間的に最初のフレームでない場合にのみ、到来するフレームを従属フレームの前記１つとして処理し、到来するフレームが前記複数フレームの中で時間的に最初のフレームである場合には、到来するフレームにおいて先行するアンカーフレームからの基準の予測データを置換するように構成した、請求項１に記載の装置。
【請求項５】
前記処理回路は、
−  到来するフレームが、先行するアンカーフレームからの基準の予測データを用いる前方の予測フレームである、前記複数フレームからの先行するフレームに続くか否かを判定し、
−  先行するフレームは前方の予測フレームであることを条件に含んで、到来するフレームにおいて先行するアンカーフレームからの基準の予測データを置換し、
−  前記条件が満たされない場合、到来するフレームを従属フレームの前記１つとするように構成した、請求項４に記載の装置。
【請求項６】
前記条件は、到来するフレームが、先行するアンカーフレームから離れた、しきい値以下のフレーム数であるというサブ条件を含むようにした、請求項５に記載の装置。
【請求項７】
前記フレームの少なくとも一部が、インタレースしたフィールドを用いて表わされるビデオストリーム信号を処理し、前記処理回路は、前記複数の従属フレームのうちの前記１つにおける全てのフィールドにおいて、および後続の全ての従属フレームにおいて、前記領域が、後続するアンカーフレームの時間的に最初のフィールドのみから予測されるように、後続のアンカーフレームからの基準の予測データを設定するように構成した、請求項１に記載の装置。
【請求項８】
前記処理回路は、後続するおよび／または先行するアンカーフレームを送信するのに十分な帯域幅が利用可能でないことを検出した際であって、当該検出の際に前記複数のフレームのうち全てのフレームにおいて基準の予測データを置換するのに十分な帯域幅が利用可能でないことを検出した際、前記後続するおよび／または先行するアンカーフレームにおける更なる基準の予測データを置換するように構成した、請求項１に記載の装置。
【請求項９】
前記処理回路は、後続のアンカーフレームにおいて更なる予測データが置換されるとき、全ての従属フレームにおいて基準の予測データを置換するように構成した、請求項８に記載の装置。
【請求項１０】
前記処理回路は、前記検出の際、表示シーケンスにおいて後続のアンカーフレームと更なる後続のアンカーフレームとの間で、当該更なる後続のアンカーフレームがＭＰＥＧ信号のＩフレームである場合に、当該更なる後続のアンカーフレームからの基準の予測データを更なる従属フレームに置換するように構成した、請求項８の記載の装置。
【請求項１１】
少なくとも一部がインタレースしたフィールドを用いて表わされる、一連のフレームを表すビデオストリーム信号を処理する装置であって、
−  ビデオストリーム信号を受信する入力端と、
−  少なくとも、前記ビデオストリーム信号からの従属するフレームにおける領域をエンコードするビデオストリーム信号におけるデータの代わりに、アンカーフレームからの基準の予測データを用いることによって、処理したバージョンのビデオストリーム信号を生成するように構成した処理回路であって、前記アンカーフレームがストリームの時間的な表示シーケンスにおける従属フレームにそれぞれ先行するまたは後続する場合に、前記アンカーフレームの時間的に最後または最初のフィールドから当該領域を予測するように、前記従属フレームにおける全てのフィールドを設定する処理回路と、
−  前記処理したバージョンのビデオストリーム信号を送信する伝送インタフェースと、
を具えているビデオストリーム信号処理装置。
【請求項１２】
前記領域が全体的に従属フレームを含む、請求項１１に記載の装置。
【請求項１３】
一連のフレームを表すビデオストリーム信号であって、該ストリーム信号の時間的な表示シーケンスにおける複数のフレームにそれぞれ先行する、および後続する、先行および後続のアンカーフレームのうち選択可能なものを用いて、各々がビジュアルコンテンツを予測する複数の従属フレームから成るビデオストリーム信号を処理する方法であって、当該方法が、
少なくとも、従属するフレームの前記１つにおける領域をエンコードするビデオストリーム信号におけるデータの代わりに、後続のアンカーフレームからの基準の予測データを用いることによって、前記複数のフレームが終了する前に、従属フレームのうちの１つから開始する、ビデオストリーム信号のビットレートを変更するステップと、従属フレームの前記１つに続く後続の全ての従属フレームにおける後続のアンカーフレームからの基準の予測データを、前記後続の従属フレームにおける領域をエンコードするビデオストリーム信号におけるデータの代わりにするステップとを含む、ビデオストリーム信号処理方法。
【請求項１４】
−  ビデオストリーム信号を送信するステップと、
−  前記送信の期間中に、ビデオストリーム信号の送信に利用可能な帯域幅をリアルタイムに監視するステップと、
−  前記監視するステップにおいて、ビットレートが変更されていないときに、帯域幅がビデオストリーム信号に対して低くなりすぎたことが示された際に、ビットレートを低減させることをリアルタイムに選択して、ビットレートを低減させる前記選択の際、前記複数フレームの中で次に送信すべき到来するフレームを識別するステップと、
−  前記到来するフレームを従属フレームの前記１つにするステップと、
を含む請求項１３に記載の方法。
【請求項１５】
前記リアルタイムで監視するステップは、
−  到来するフレームに続く将来のフレームに対して必要とされるタイミングを維持する伝送時間であって、ビデオストリーム信号のリアルタイム特性を維持するのに必要とされる所要なタイミング維持伝送時間を、
−  到来するフレームが、従属フレームの前記１つにならない場合に、伝送に利用できる帯域幅を前提として、将来のフレームに予測される伝送時間と比較するステップを含む、
請求項１４に記載の方法。
【請求項１６】
−  ビデオストリーム信号を送信するステップと、
−  前記送信の期間中に、ビデオストリーム信号の伝送のための帯域幅が、ビットレートが変更されていないとき、ビデオストリーム信号に対して低くなりすぎているか否かを判定して、低くなりすぎているとの前記判定がされた際に、次に送信すべき到来するフレームを識別するステップと、
−  到来するフレームが前記複数フレームの中で時間的に最初のフレームであるか否かを判定するステップと、
−  到来するフレームが時間的に最初のフレームでない場合にのみ、到来するフレームを従属フレームの前記１つとするステップと、
−  到来するフレームが時間的に最初のフレームである場合、到来するフレームにおいて先行するアンカーフレームからの基準の予測データを置換するステップと、
を含む請求項１３に記載の方法。
【請求項１７】
−  到来するフレームが、先行するアンカーフレームからの基準の予測データを用いる前方の予測フレームである、前記複数フレームからの先行するフレームに続くか否かを判定するステップと、
−  先行するフレームは前方の予測フレームであることを条件に含んで、到来するフレームにおいて先行するアンカーフレームからの基準の予測データを置換するステップと、
−  前記条件が満たされない場合、到来するフレームを従属フレームの前記１つにするステップと、
を含む請求項１５に記載の方法。
【請求項１８】
前記条件は、到来するフレームが、先行するアンカーフレームから離れた、しきい値以下のフレーム数であるというサブ条件を含むようにする、請求項１７に記載の方法。
【請求項１９】
前記フレームの少なくとも一部が、インタレースしたフィールドを用いて表わされるようにし、前記複数の従属フレームのうちの前記１つにおける全てのフィールドにおいて、および後続の全ての従属フレームにおいて、前記領域が、後続するアンカーフレームの時間的に最初のフィールドのみから予測されるように、後続のアンカーフレームからの基準の予測データを設定する、請求項１３に記載の方法。
【請求項２０】
後続するおよび／または先行するアンカーフレームを送信するのに十分な帯域幅が利用可能でないことを検出した際であって、当該検出の際に前記複数のフレームのうち全てのフレームにおいて基準の予測データを置換するのに十分な帯域幅が利用可能でないことを検出した際、前記後続するおよび／または先行するアンカーフレームにおける更なる基準の予測データを置換するステップを含む、請求項１３に記載の方法。
【請求項２１】
後続のアンカーフレームにおいて更なる予測データが置換されるとき、全ての従属フレームにおいて基準の予測データを置換するステップを含む、請求項２０に記載の方法。
【請求項２２】
前記検出の際、表示シーケンスにおいて後続のアンカーフレームと更なる後続のアンカーフレームとの間で、当該更なる後続のアンカーフレームがＭＰＥＧ信号のＩフレームである場合に、当該更なる後続のアンカーフレームからの基準の予測データを更なる従属フレームに置換するステップを含む、請求項２０に記載の方法。
【請求項２３】
少なくとも一部がインタレースしたフィールドを用いて表わされる、一連のフレームを表すビデオストリーム信号を処理する方法であって、
−  少なくとも、前記ビデオストリーム信号からの従属するフレームにおける領域をエンコードするビデオストリーム信号におけるデータの代わりに、アンカーフレームからの基準の予測データを用いるステップと、
−  前記アンカーフレームがストリームの時間的な表示シーケンスにおける従属フレームにそれぞれ先行するまたは後続する場合に、前記アンカーフレームの時間的に最後または最初のフィールドから当該領域を予測するように、前記従属フレームにおける全てのフィールドを設定するステップと、
を含むビデオストリーム信号処理方法。
【請求項２４】
前記領域が全体的に従属フレームを含む、請求項２３に記載の方法。
【請求項２５】
プログラム可能な処理回路によって実行されると、当該プログラム可能な処理回路に請求項１３に記載の方法を実行させる命令のプログラムを含む、コンピュータプログラム製品。
【請求項２６】
プログラム可能な処理回路によって実行されると、当該プログラム可能な処理回路に請求項２３に記載の方法を実行させる命令のプログラムを含む、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオストリーム信号を処理するための装置および方法に関する。
【背景技術】
【０００２】
ＷＯ２００５／０６５０３０から、選択したＢフレームを、各々が隣接するアンカーフレーム（ＩまたはＰフレーム）をコピーすべきであることを示す「空」のフレームと置き換えることによって、ＭＰＥＧビデオストリーム信号のビットレートを低減させることが知られている。ＵＳ５，９５６，０８８にも、これと類似の技法が記載されている。これによれば、空でないＢフレームを有し、非ゼロの動きベクトルおよび剰余データを有する元のストリームより少ないデータで済む、質が低下したビデオストリームが得られる。ＷＯ２００５／０６５０３０の一実施例には、動きの少ない、Ｂフレームの選択した部分のみを空にして、データもさほど少なくすることなく高品質のビデオを得る方法が記載されている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
この技法は、インタレースされるビデオに適用すると、すなわち各フレームが複数のフィールドから成る場合に、目障りなアーチファクトを発生し得ることを確かめた。さらに、この技法は、ビットレートの低減要求に応えて潜在的レイテンシーがあるため、リアルタイムのデータ削減用途には不都合であることを確かめた。ビットレートを低減させるためには、アンカーフレームに隣接するＢフレームを待機する必要がある。ビットレートの低減要求後の最初のフレーム（これはアンカーフレームに隣接していないＢフレーム、またはアンカーフレームとし得る）を空にする際に、フレームを空にすることによっても目障りなアーチファクトを引き起こすことになる。
【０００４】
本発明者らは、これらの目障りなアーチファクトの原因が、フレームを空にすることによって、変更されたビデオストリームの時系列に非単調性をもたらすためであることを確かめた。連続して表示される画像データの元の入力時点が表示時間の進行と共に低下することがあり、すなわち、進行しないか、あるいは同じままであるとき、時系列は非単調になる。テレビ番組の芸術的な単調性は積極的なこととは見なされないが、予測の時間的なフレーム対フレームの単調性は、目障りなアーチファクトを回避するのに望ましい。
【０００５】
ＷＯ２００２０８７２３２には、インタレースキリング(interlace killing)を用いたスローモーションのリプレイ技法が記載されている。元のＭＰＥＧストリームに追加のフレームを加えることにより、スローモーションのＭＰＥＧストリームが生成される。追加のフレームは、先行フレームを反復させるように構成されている。フレームが複数のフィールドから成るインタレースしたビデオを用いる場合には、追加の各フレームに対し、この追加フレームの異なるフィールドは、元のストリームからのソースフレームにおけると同じフィールドを反復させたものとする。これにより、追加フレームにおける異なるフィールドが、ソースフレームにおける異なるフィールドの反復である場合に生じるであろう、揺れるような感じがなくなる。この文献は、スローモーションのためのフレームの追加、および高速再生のためのフレームの除去に関するものであり、フレームを置き換えて、ビットレートを低減させるものではない。
【０００６】
本発明の目的は、とりわけ、フレームを少なくとも部分的に空にしてビットレートを低減させて、ビデオストリーム信号の時間的な単調性を改善することにある。
【０００７】
本発明の目的は、とりわけ、フレームを少なくとも部分的に空にしてビットレートを低減させて、インタレースされたビデオストリーム信号の時間的な単調性を改善することにある。
【課題を解決するための手段】
【０００８】
これらの目的のため、独立請求項に記載の方法、装置、およびコンピュータプログラム製品を提供する。ここでは、前方および後方の基準フレーム（例えばＭＰＥＧのＢフレーム）を用いて予測することができる複数のフレームにおけるビデオストリーム信号のビットレートを変更させる。後続のアンカーフレームからの基準の予測データは、従属フレームのうちの１つにて置き換えられ、そして後続するアンカーフレームからの同様の基準予測データは、複数の従属フレームのうちの前記１つに続く後続の全ての従属フレームにて置き換えられる。一実施態様では、利用可能な帯域幅についてのリアルタイムな情報に従ってリアルタイムの決定を行って、ビットレートの低減を開始する。この場合、低減帯域幅に鑑みて必要とされる際に、到来する任意のフレームで置換をすることができる。その場合、帯域幅がまだ低すぎるか否かに関係なく、複数の後続する全てのフレームに同じ処理を行う。このようにして、非単調性を回避する。
【０００９】
一実施態様では、基準予測フレームの置換が帯域幅に鑑みて必要とされるとき、到来するフレームが、複数の前方および後方の従属フレームにおいて、時間的に最初のフレームであるかどうかを判定する。そうである場合には、先行するアンカーフレームからの基準予測フレームを置換して、後続のアンカーフレームからの予測フレームは置換しないようにする。このようにして、より広い帯域幅が利用可能になる場合、後続の全てのフレームにて基準予測フレームを置換することなく、単調性を確保することができる。さらなる実施態様では、帯域幅の不足が続く場合に、先行するアンカーフレームからの同様な基準予測フレームを後続のフレームにて置き換える。さらに他の実施態様では、これを、前のアンカーフレームからの予定したフレーム距離に達するまでの間だけ継続する。その後、後続のアンカーフレームからの基準予測フレームを用い、すなわち、これは、更なる帯域幅の状況に無関係に、そのアンカーフレームまで全ての前方および後方の予測可能なフレームに適用することを意味する。
【００１０】
他の実施態様では、インタレースされたフィールドをこの例におけるフレームに用い、基準の予測データを置き換える際に、置換フレームにおける全てのフィールドが、アンカーフレームにおける同じフィールドを基準にして参照するようにする。これは、非単調性を回避する。
【００１１】
本発明のこれらおよび他の目的ならびに利点を、図面を参照して、模範的な実施例から明らかにする。
【発明を実施するための最良の形態】
【００１２】
図１は、入力端１０、メモリ１２、処理回路１４、および伝送インタフェース１６を有するビデオストリーム処理装置を示す。入力端１０および処理回路１４は、メモリ１２に結合されている。処理回路１４は、ストリーム出力端と、伝送インタフェース１６に結合された制御入力端とを有している。
【００１３】
動作に際して、ＭＰＥＧストリームが入力端１０に供給される。このストリームからのデータのスライディングウィンドウは、メモリ１２にバッファされる。処理回路１４は、伝送用に帯域幅が利用可能か否か、および／または、どれほどの帯域幅が利用可能かを示す情報を、伝送インタフェース１６から受信する。処理回路１４は、利用可能な帯域幅を、受信したストリームを送信するのに必要とされる帯域幅のしきい値と比較する。帯域幅がしきい値以上のときに、処理回路１４は、ストリームからの全データをメモリ１２から読み取って、伝送インタフェース１６がデータを送信するようにする。
【００１４】
処理回路１４は、帯域幅がしきい値以下に低下したと判定した場合、ＭＰＥＧストリームからの選択したフレームを、他のフレーム（の一部）のコピーに過ぎないことを示すフレームと置換する。
【００１５】
周知のように、ビデオ信号は、時間的に連続して表示すべき一連のフレーム（画像）を表わす。ＭＰＥＧストリームでは、各フレームを、Ｉフレーム、Ｐフレームとして、またはＢフレームとしてエンコードすることができる。各Ｉフレームは自立的に表わされるため、これは他のフレームにアクセスせずにデコードすることができる。各Ｐフレームは、前のＩフレームまたはＰフレーム（アンカーフレームと称される）における画像ブロックのソース位置を示す動きベクトルと剰余情報とを用いて表わされる。デコーディング時には、動きベクトルに従ってアンカーフレームからのブロックをコピーすると共に、これにて得られた画像を剰余情報に従って補正することによって、Ｐフレームに対する画像を生成する。ＢフレームはＰフレームと同様に表わされるが、動きベクトルは、前のアンカーフレームのみならず将来のアンカーフレームを参照することができる。フレームが前のフレームのコピーであるとき、当該フレームは、トリビアルな動きベクトル（全てゼロ）およびトリビアルな剰余情報（全てゼロ）を有するＢフレームまたはＰフレームとしてエンコードすることができる。このようなコピーフレームは、通常のＰフレームまたはＢフレームに比べて、ほとんど帯域幅を必要としない。
【００１６】
処理回路１４は、帯域幅がしきい値以下に低下したと判定した場合、メモリ１２から受信するフレームの代わりに、代替ＰフレームまたはＢフレームを伝送インタフェース１６に供給する。代替フレームは、置換する元のフレームの画像内容に無関係に、アンカーフレームのコピーを標準的なやり方で作成したものであることを示す。帯域幅が全く利用できない場合に、処理回路１４は、（フレームを送信せずに）待機して、それから帯域幅が再び利用可能になったとき、１つ以上の代替ＰフレームまたはＢフレームを送信することによって遅れを取り戻すこともできる。ある時間の間、伝送インタフェース１６からの送信ができない場合には、デコーダ（図示せず）での適時のデコーディングも中断しなければならないことはもちろんである。したがって、この場合には、若干のロスを伴うも、フレームを（置換する代わりに）完全に削除するか、あるいは、充分なバッファスペースが利用可能な場合は、中断の後に元のフレームを送信することができる。
【００１７】
ビデオストリーム信号には、インタレースされたフレームを用いることができる。インタレースフレームは複数のフィールド（典型的には２フィールド）によって表わされ、これらのフィールドは、各々が完全なフレームからのそれぞれの画素のライン組を含むサブ画像である。それぞれの組におけるラインの位置はインタリーブされ、異なるフィールドからのラインの位置は画像において互いに交互に入れ替わっている。インタレースフレームを用いると、このインタレースフレームから更新したフィールドが時間的に連続して表示される。まず、１つのフィールドのラインが更新され、続いて１つのフィールドからの次のフィールドデータのラインが更新される。ＭＰＥＧストリームは、インタレースフレームをサポートし、異なるフィールドからの画素のブロックを別個に表わすことを可能にし、かつ、フレームに基づくのではなくフィールドにおけるブロックに対する動きベクトルを使用する。
【００１８】
一実施例では、処理回路１４が、メモリ１２から受信したフレームの代わりに、代替インタレースＰフレームまたはインタレースＢフレームを伝送インタフェース１６に供給する場合に、処理回路１４がそのフレーム（または、少なくとも一連の代替フレームのうちの最初のフレームであるＰフレーム）に対するインタレーシングを没にするように処理回路１４を構成する。あるフレームに対する「インタレーシングを没にする(“killing interlacing”)」とは、当該フレームからの全てのフィールドを、アンカーフレームにおける同じフレームからのデータのコピーとすることを意味する。インタレースを没にする（インタレースキリング）技法は、ＷＯ２００２０８７２３２に記載されている。アンカーフレームの表示時間が、インタレーシングを没にしたフレームに先行するときには、アンカーフレームにおける時間的に最後のフィールドからのコピーを用いる。アンカーフレームの表示時間が、インタレーシングを没にしたフレームに続くときには、アンカーフレームにおける時間的に最初のフィールドからのコピーを用いる。
【００１９】
これにより、置換フレームにおけるフィールドの非単調性は回避される。インタレースキリングがないと、異なるフィールドがアンカーフレームにおける異なるフィールドに戻って参照するため、表示中に逐次更新されるフィールドが時間値を増減するためのデータに対応することになる。
【００２０】
第１の実施例では、フィールドの置換およびインタレースキリングを、各フィールドの全内容に対して行う。第２の実施例では、フィールドの部分的な置換を用いることができる。この実施例では、処理回路１４は、エンコードしたデータを基準データと置換するフィールドにおける領域（例えばブロックまたはマクロブロック）、およびエンコードしたデータを保有する他の領域を選択する。代用する元の領域の画像内容に無関係である基準データは、アンカーフレームからのデータのコピーを用いるべきであることを示す。データを保有する領域には、内容に依存する剰余情報および動きベクトルを用いることができる。例えば、この目的のために、動きの大きな領域を選択することができ、これはＷＯ２００５／０６５０３０に記載のように検出することができる。
【００２１】
この第２の実施例では、処理回路１４は、フレームの異なるフィールドに対する基準データを選択して、その各々によって当該フレームに対するアンカーフレームにおける同じフィールドからコピーさせる。アンカーフレームの表示時間が、インタレーシングを没にしたフレームに先行する際には、アンカーフレームにおける時間的に最後のフィールドからのコピーを用いる。アンカーフレームの表示時間が、インタレーシングを没にしたフレームに続く際には、アンカーフレームにおける時間的に最初のフィールドからのコピーを用いる。
【００２２】
一実施例では、処理回路１４は、データが置き換えられるフレームの選択によって、時間的に変化する帯域幅の利用可能性に応答するように構成する。利用可能な帯域幅に応答させるには、種々の形式を用いることができる。例えば、第１の実施例では、処理回路１４によって帯域幅の利用可能性に起因するバックログの量を計算する。この実施例では、バックログの量を用いてフィールドの置換を制御するが、以下に述べるように、バックログの量は、置換を制御するために用いることができる、利用可能な帯域幅に関する情報の単なる有利な一例に過ぎない。例えば、別の実施例では、バックログの量の代わりに、将来のフレームがビデオストリームのリアルタイム特性を維持するために送信しなければならない時点と、現在のフレームを基準フレームと置換しない場合における、将来のフレームの予想伝送時刻との間の時間差を用いることもできる。
【００２３】
バックログの量は、必要とされるフレームの伝送速度、および伝送インタフェース１６によって達成される実際の伝送速度から求められる。ある時点でのバックログの量は、必要とされる伝送速度に従ってその時点までに送信しなければならなかったフレームの数と、実際に送信されたフレームの数との差を示す。利用可能な帯域幅が、必要とされるフレームレートで到来するビデオストリームを送信するのには低すぎると、バックログの計算量は増大し始める。このようなことが起こると、処理回路１４は、ビデオストリームのフレームを置換し始める。
【００２４】
図２は、フレームの伝送のためのステップをフローチャートで示した図である。第１のステップ２１では、処理回路１４は、フレームがＢフレームであるか否かを判定する。Ｂフレームでない場合に、処理回路１４は第２のステップ２２を実行し、ここで、処理回路は、以下説明するＢノーマルモードへ切り替わる。次に、処理回路１４は、伝送インタフェース１６がフレームを送信する（または伝送用のフレームをバッファする）ことが可能なときに、フレームをメモリ１２から伝送インタフェース１６にコピーする、第３のステップ２３を実行する。第３のステップ２３から、処理回路１４は、次のフレームに対して第１のステップ２１に戻って処理を進める。
【００２５】
処理回路１４が、第１のステップ２１にて、フレームがＢフレームであると判定した場合、処理回路１４は、第４のステップ２４を実行し、そこでは、処理回路１４がＢノーマルモードになっているか、またはＢ置換モードになっているかを判定する。処理回路１４がＢノーマルモードになっている場合、それは第５のステップ２５を実行し、バックログの量がＢフレームの置換しきい値を超えているか否かを判定する。バックログの量がしきい値を超えていない場合、処理回路１４は、第３のステップ２３に進む。
【００２６】
バックログの量がしきい値を超えている場合、処理回路１４は第６のステップ２６へ進み、ここでは、処理回路１４がＢ置換モードに切り替わり、伝送インタフェース１６がフレームを送信する（または伝送用のフレームをバッファする）ことが可能なときに、伝送インタフェース１６に代替Ｂフレームを供給する。処理回路１４は代替Ｂフレームを選択して、デコーディング時に、表示シーケンスにおける次のアンカーフレームのコピーを当該フレームに対して用いるようにする。インタレーシングを用いているときは、Ｂフレームの各フィールドは、アンカーフレームにおける、時間的に最初の同じフィールドからのデータを用いるようにするのが好適である。第６のステップ２６から第１のステップ２１に戻って、処理回路１４は、次のフレームに対して処理を進める。
【００２７】
処理回路１４が、第４のステップ２４にて、Ｂ置換モードになっていると判断した場合、処理回路１４は第７のステップ２７に進み、ここでは、処理回路１４は、伝送インタフェース１６がフレームを送信する（または伝送用のフレームをバッファする）ことが可能なときに、伝送インタフェース１６に代替Ｂフレームを供給する。処理回路１４は代替Ｂフレームを選択して、デコーディング時に、表示シーケンスにおける次のアンカーフレームのコピーを当該フレームに対して用いるようにする。インタレーシングを用いているときは、Ｂフレームの各フィールドは、アンカーフレームにおける、時間的に最初の同じフィールドからのデータを用いるようにするのが好適である。第７のステップ２７から第１のステップ２１に戻って、処理回路１４は、次のフレームに対して処理を進める。
【００２８】
図３ａは、本発明の効果を示している。処理回路が、バックログが１つのＢフレーム３０に対するしきい値を超えたことを一旦検出すると、たとえバックログの量が再びしきい値以下に低下した場合でも、表示シーケンスにおける次のアンカーフレーム３３までの全てのＢフレーム３１、３２は、その次のアンカーフレーム３３のコピーとなる。これにより、非単調性は回避される。
【００２９】
他の実施例では、第６のステップ２６が、現（Ｂ）フレーム３０が表示シーケンスにおけるアンカーフレームに直接続くか否かの判定を含むようにできる。その場合、この他の実施例における処理回路１４は、現フレーム３０に対する代替Ｂフレームを選択して、デコーディング時に、その先行するアンカーフレームのコピーを現フレーム３０に対して用いるようにする。この場合、先行するアンカーフレームに戻って参照することにより非単調性のリスクが回避されるため、第６のステップ２６においてＢフレーム置換モードに切り替える必要がない。
【００３０】
さらなる実施例では、時間的な表示シーケンスにおいて先行フレームが、先行アンカーフレームに戻って参照する代替Ｂフレームである場合、現Ｂフレーム３０に対して同じようにすることができる。したがって、この場合にも、Ｂフレーム置換モードに切り替える必要がない。
【００３１】
図３ｂは、前のアンカーフレーム３５に戻って参照するのにＢフレーム３６を選択する例を示している。処理回路１４は、時間的な表示シーケンスにおいて先行するフレーム３５、３６を、アンカーフレーム３５または先行するアンカーフレーム３５に戻って参照する代替Ｂフレーム３６とすることを条件に、先行するアンカーフレームへの参照を選択するように構成する。更なる実施例では、処理回路１４は、連続する基準のＢフレーム３６のうち、このようにして戻って参照するようにする基準Ｂフレームの数に制限を課すという更なる条件を付加するように構成する。Ｂフレーム３６の最大予定数Ｎ（例えばＮ＝２）を選択して、前のアンカーフレーム３５に戻って参照できるようにする。この限度値Ｎに達したことを処理回路１４が判定したとき、処理回路１４は、予定数Ｎを超える代替Ｂフレーム３８に次のアンカーフレーム３９を参照させる。
【００３２】
なお、図3ａ〜ｂは、表示シーケンスにおけるフレームを示している。このシーケンスは、伝送シーケンスとは異なるものにすることができる。典型的には、伝送シーケンスにおいては、アンカーフレームを、これらのアンカーフレームを参照することができるフレーム（例えばＢフレーム）の前に送信する。
【００３３】
上述したところから明らかなように、上述した実施例では、Ｂフレームを前向きの(forward looking)基準のＢフレーム（すなわち、時間的表示シーケンスの観点での将来のアンカーフレームをコピーさせることとなる基準フレーム）で置換してから、前向きの基準フレームを、将来のアンカーフレームの前の時点に対応する画像内容を潜在的に表示することになる表示シーケンスにおける次のＢフレームと置換するようにする。また、少なくとも、元のＢフレームが、先行する最後のアンカーフレームの後の時点に対応する画像内容を潜在的に表示することになる、非代替Ｂフレームに先行される場合、前向きの基準Ｂフレームは、この元のＢフレームに対する代替フレームとして用いられる。このようにして、非単調性は回避される。
【００３４】
更なる実施例では、Ｂフレームにおける領域のみを置き換える。この場合には、置換した領域および当該置換領域における次のアンカーフレームに参照される元のＢフレームに少なくとも大きな動きが検出されない場合に、次のＢフレームは、これらの置換領域に対する表示シーケンスにおける次のアンカーフレームを参照するようにするのが好適である。このようにして、最大の単調性が確保される。一実施例では、動きの大きな領域では、元のＢフレームからのエンコーディングを用いる。
【００３５】
なお、Ｂフレームに対してのみ置換を用いる実施例を示したが、別の実施例では、Ｐフレームに対して、またはＩフレームに対しても置換を用いることができる。
【００３６】
図４は、このような別の実施例を示し、これは、図２のフローチャートに第１、第２および第３の追加のステップ４１、４２、４３を加えたものである。また、この別の実施例が次のフレームに進むときは常に、第１のステップ２１に戻る代わりに、第１の追加のステップ４１に戻る。第１の追加のステップ４１において、処理回路１４は、現在のフレームがＰフレームであるか否か、およびバックログの量はＰフレームの置換しきい値を超えたか否かを判定する。これらが満たされる場合に、第２の追加のステップ４２が実行され、そこでは、処理回路１４は、伝送インタフェース１６がフレームを送信（または伝送用のフレームをバッファ）することが可能なときに、前のアンカーフレームをコピーするために戻って参照した基準の代替Ｐフレームを伝送インタフェース１６に供給する。第１の追加ステップでの判定の代わりとして、先読みテストを用いて、次のフレームがＢフレームであるか否かを判定し、利用可能な帯域幅が不足していて、かつ次のフレームがＢフレームでない場合に、第２の追加ステップ４２を実行することができる。
【００３７】
また、第２の追加ステップ４２では、処理回路１４が、Ｐフレーム置換モードへ切り替わる。第２の追加ステップ４２から第１の追加ステップ４１に戻って、処理回路１４は、次のフレームに対する処理を続行する。Ｐフレームの置換しきい値はＢフレームの置換しきい値よりも高くして、処理回路１４は、Ｂフレームの置換しきい値が十分でない場合にのみ、Ｐフレームの置換しきい値で帯域幅の低減に対応するようにするのが好適である。
【００３８】
現フレームがＰフレームではないか、またはバックログの量がＰフレームの置換しきい値を超えていないときは、処理回路１４が第３の追加ステップ４３を実行し、処理回路がＰフレーム置換モードにあるか否か、および現フレームがＩフレームでないかどうかを判定する。これらの条件が満たされない場合、処理は第１のステップ２１へ進み、条件が満たされる場合は、処理は第７のステップ２７へジャンプする。本実施例において、現フレームがＰフレームである場合、第７のステップ２７は、前のアンカーフレーム（ＩフレームまたはＰフレーム）に戻って参照して、そのアンカーフレームをコピーさせる基準の代替Ｐフレームによって、現Ｐフレームを置換することを含む。本実施例では、第２のステップ２２は、現フレームがＩフレームである場合に、Ｐフレーム置換モードからＰノーマルモードに戻るように切り替えることを含む。本実施例では、第２のステップ２２は、現フレームがＩフレームである場合、Ｂノーマルモードにスイッチバックはしない。このスイッチバックは、Ｐフレームの受信時に行われる。このように、Ｉフレームの後のＢフレームは、先行するＰフレームに戻って参照することができ、後続のＰフレームに対する基準的な参照を含む代替フレームによって置換されるので、確実にアーチファクトが生じなくなる。
【００３９】
なお、図４のフローチャートでは、Ｐフレームを基準のＰフレームと置換するとき、次のＩフレームまでの、その後の全てのＰフレームも置換するので、元のＰフレームを前提として、視覚的なアーチファクトをもたらすことになる動きベクトルまたは剰余情報を使用せずに済む。同様に、時間的な表示シーケンスにおける置換されたＰフレームから次のＩフレームまでのＢフレームは、基準のＢフレームと置換される。さらに、時間的な表示シーケンスにおける置換されたＰフレームに先行するＢフレームは、次の先行するアンカーフレームから始まって、基準のＢフレームと置換される。これによりアーチファクトは防止される。インタレーシングを用いるときは、基準のＰフレームは、そのＰフレームの各フィールドが、先行するアンカーフレームにおける同じ、時間的に最後のフィールドからのデータを使用するようにするのが好適である。
【００４０】
更なる実施例においては、バックログの量がＩフレームの置換しきい値を超えるとき、Ｉフレームさえも、基準のＰフレームと置換するようにできる。この場合にも、モードスイッチを用いて、Ｉフレームが基準のＰフレームと置換されるとき、Ｉフレームまでの後続する全てのＰフレームおよびＢフレームも、このような基準のＰフレームと確実に置換されるようにすることができる。時間的な表示順序において置換されたＩフレームに先行するフレームも、次の先行するアンカーフレームから始まって、基準のＢフレームと置換され、アーチファクトを防止するのが好適である。
【００４１】
一実施例では、ビデオストリームのリアルタイムの構成（基準時点に対するフレームの伝送のタイミング）を、可能な限り維持する。すなわち、伝送インタフェース１６からのフレームの伝送の間の時間差を、入力端１０に到来する元のフレームの到着の間の時間差に等しくする。これにより、ストリームはＭＰＥＧ準拠のままであるため、タイミングの復旧が単純化し、デコーダ（図示せず）における追加のデジッタ（dejitter）のバッファリングが回避される。このような時間構成の維持は、伝送インタフェース１６でのバッファリング、および伝送インタフェース１６からの伝送を制御するのにタイムスタンプ機構を用いることによって、確実にすることができる。
【００４２】
他の実施例では、処理回路１４は、タイミングを制御するように構成する。本実施例では、第５のステップ２５におけるバックログの量に対する判定を、置換がない場合に将来のフレーム（例えば直ぐ隣りのフレーム）の伝送が、リアルタイムの構成を維持するのに必要とされる時間を超えるしきい値よりも遅れるか否かの判定と置き換える。将来のフレームの伝送が遅れる場合に、処理回路１４は、Ｂフレームを基準フレームと置換して、次のＢフレームも置換モードに切り替える。同様な判定は、Ｐフレームの置換またはＩフレームの置換に対しても行うことができる。なお、ここでは、全てのフレームをメモリにバッファする、メモリ１２および処理回路１４を有する実施例を示したが、受信フレームの全てを直接伝送インタフェース１６に伝えるか、あるいは、伝える代わりに、基準の代替フレームと置換するシステムを用いることもできる。このようにして、到来するストリームのリアルタイムの構成を維持する。上述したように、代替フレームのタイプに応じて、後続フレームに対する置換を自動的に行うことができる。他の方法として、フレーム（例えばＩおよびＰフレーム）の一部のみをメモリ１２にバッファして、他のフレームを受信時に基準の代替フレームと置換する間、充分な帯域幅を待機するようにもできる。また、代替フレームによる置換は、メモリ１２に格納する前に実行することもできるが、このようにすると、当然、帯域幅の変動に応答してレイテンシーが増大する。
【００４３】
なお、ＭＰＥＧビデオストリームに対する実施例を説明したが、同様の技法を、インタレースを利用する、および／または他のフレームに関するフレーム予測を用いる、他のタイプのエンコードされたビデオストリームに用いることもできる。
【００４４】
なお、処理回路１４が計算された量のバックログを用いて、基準のフレームを置換するか否かを選択する実施例を説明したが、種々の変形が可能であることに留意すべきである。例えば、バックログの量の代わりに、その時点でフレームの伝送のために利用可能な帯域幅を、判定基準として直接用いることもできる。このようにして、フレームの伝送が意図された時間に、フレームを送信するのに不十分な帯域幅しか利用できないときに、そのフレームに対して基準の大体フレームを用いる。この場合、モードスイッチを用いて、後続のフレームも必要に応じて基準のフレームと確実に置換されるようにして、第１の代替フレームによる非単調性を回避するようにする。変形例として、これをＢフレームまたはＰおよびＢフレームのケースにのみ適用して、十分な帯域幅が利用可能でない場合、送信されている他のフレームが長い期間に渡って配信されるようにできる。さらに、バックログの代わりに、置換のための判定基準として、何らかの形式の「帯域幅クレジット」を用いることができる。これは、帯域幅にハードの制限が直ぐには課されないが、将来の問題を回避するために帯域幅を減少させる必要があるときに、有用になり得る。帯域幅クレジットは、公表された帯域幅と、使用帯域幅との間の差を表わすことができる。置換についての決定には、現在のバックログか、クレジットか、あるいは、変更されていないフレームの伝送の後の予測バックログか、またはクレジットを用いることができる。また、将来のバックログまたはクレジットの一層複雑な予測、またはタイミングを調整するフィードバック機構を用いることもできる。
【図面の簡単な説明】
【００４５】
【図１】ビデオストリーム処理装置を示す図である。
【図２】ビデオストリーム処理のフローチャートを示す図である。
【図３ａ】ビデオストリームのフレームを示す図である。
【図３ｂ】ビデオストリームのフレームを示す図である。
【図４】ビデオストリーム処理のフローチャートを示す図である。
【図１】
2009524328.tif 000003
【図２】
2009524328.tif 000004
【図３ａ】
2009524328.tif 000005
【図３ｂ】
2009524328.tif 000006
【図４】
2009524328.tif 000007
【国際調査報告】
2009524328.tif 000008
2009524328.tif 000009
2009524328.tif 000010
2009524328.tif 000011
2009524328.tif 000012