(57)【要約】  本発明は、漫画風に変換された（ｃａｒｔｏｏｎｉｚｅｄ）ビデオを提供することを可能とする符号化方法および装置に関連する。本発明は、これに対応する復号化方法、およびデバイスに更に関連する。本発明は、また、これに対応するビデオ信号に関連する。  符号化方法は、ソース・ビデオを漫画風に変換することを提供し、そしてソース・ビデオおよび残余ビデオの漫画風への変換からソース・ビデオを再結合することを可能とし、本方法は、ソース・ビデオを漫画風に変換するステップと、第１のビデオを符合化するステップと、第１のビデオを復元するステップと、第２のビデオと復元された第１のビデオとから第１の残余ビデオを算出するステップと、第１の残余ビデオを符合化するステップと、符合化された第１のビデオ、および符合化された第１の残余ビデオを結合するステップと、を有し、第１のビデオおよび第２のビデオのうちの一方がソース・ビデオであり、他方が漫画風に変換されたソース・ビデオである。
2011517140.tif 000002
【特許請求の範囲】
【請求項１】
ソース・ビデオを符合化するための方法であって、
前記ソース・ビデオを漫画風に変換するステップと、
第１のビデオを符合化するステップと、
前記第１のビデオを復元するステップと、
第２のビデオと前記復元された第１のビデオとの間の第１の残余ビデオを算出するステップと、
前記第１の残余ビデオを符合化するステップと、
前記符合化された第１のビデオと、前記符合化された第１の残余ビデオとを結合するステップと、
を有し
前記第１のビデオ、および前記第２のビデオのうちの一方は前記ソース・ビデオであり、かつ他方は前記漫画風に変換されたソース・ビデオである、方法。
【請求項２】
前記第１のビデオと前記復元された第１のビデオとの間の、第２の残余ビデオを算出するステップと、
前記第２の残余ビデオを符号化するステップと、
前記符合化された第２の残余ビデオを、前記符合化された第１のビデオおよび前記符合化された第１の残余ビデオと結合するステップと、
を更に有する請求項１記載の方法。
【請求項３】
前記符合化された第１の残余を復元するステップと、
前記復元された第１の残余を前記復元された第１のビデオに加えることによって、中間の復元されたビデオを形成するステップと、
前記第１のビデオと前記中間の復元されたビデオとの間の第２の残余ビデオを算出するステップと、
前記第２の残余ビデオを符合化するステップと、
前記符合化された第２の残余ビデオを、前記符合化された第１のビデオおよび前記符号化された第１の残余ビデオと結合するステップと、
を更に有する請求項１記載の方法。
【請求項４】
第１のビデオを抽出するための方法であって、
符合化された第１の残余ビデオと、符合化された第２のビデオとを分離するステップと、
前記第２のビデオを復元するステップと、
前記第１の残余ビデオを復元するステップと、
前記第２のビデオと前記第１の残余ビデオとを結合することによって、前記第１のビデオを形成するステップと、
を有し、
前記第１のビデオおよび前記第２のビデオのうち一方は前記ソース・ビデオであり、かつ他方は漫画風に変換されたソース・ビデオである方法
【請求項５】
符合化された第２の残余ビデオを分離するステップと、
前記第２の残余ビデオを復元するステップと、
第２の残余ビデオを、前記第２のビデオおよび前記第１の残余ビデオと結合するステップと、
を更に有する請求項４記載の方法。
【請求項６】
前記復元された第２のビデオを漫画風に変換するステップであって、前記復元された第２のビデオを漫画風に変換したものを前記第１の残余ビデオと結合する前に当該ステップが実行されるところのステップ、を更に有する請求項４または５に記載の方法。
【請求項７】
ソース・ビデオを漫画風に変換する手段と、
第１のビデオおよび残余ビデオを符合化する手段と、
前記符合化された第１のビデオを復元する手段と、
第２のビデオと前記復元された第１のビデオとの差異を、前記残余ビデオとして算出する手段と、
前記符合化された第１のビデオと前記符合化された残余ビデオとを結合する手段と、
を有し、
前記第１のビデオおよび第２のビデオのうちの一方は前記ソース・ビデオであり、かつ他方は前記漫画風に変換されたソース・ビデオである、符合化デバイス。
【請求項８】
ソース・ビデオを復号化するためのデバイスであって、
符合化された残余ビデオおよび符合化されたベース・ビデオを分離する手段と、
前記符合化された残余ビデオおよび前記符合化されたベース・ビデオを復元する手段と、
前記復元されたベース・ビデオを漫画風に変換する手段と、
前記復元された残余ビデオに前記漫画風に変換された復元されたベース・ビデオを加えることによって、前記ソース・ビデオを形成する手段と、
を有するデバイス。
【請求項９】
漫画風に変換することは、低コントラスト領域を統一し、エッジ処理し、エッジをオーバレイし、および／または、量子化することを含む、請求項１ないし３に記載の符号化するための方法、請求項５に記載の抽出するための方法、請求項７に記載の符号化デバイス、または請求項８に記載の復号化デバイス、のうちいずれか一項記載の方法、またはデバイス。
【請求項１０】
ベースレイヤにおいて符合化された第１のビデオと、
符合化された残余ビデオを含むエンハンスメントレイヤと、
を有し、
第２のビデオは、前記第１のビデオの復元と、前記残余ビデオの復元とを結合することによって復元可能であり、
前記第１のビデオおよび第２のビデオのうちの一方は、ソース・ビデオであり、かつ他方は前記漫画風に変換されたソース・ビデオである、
ビデオ信号。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、漫画風に変換された（ｃａｒｔｏｏｎｉｚｅｄ）ビデオを提供することを可能とする符号化方法および装置に関する。更に、本発明は、対応する復号化方法、およびデバイスに関する。また、本発明は、対応するビデオ信号に関する。
【背景技術】
【０００２】
ビデオ漫画風に変換すること（ｃａｒｔｏｏｎｉｚａｔｉｏｎ）は、近年ますます多くの注意を引いている。ソース・ビデオは（普通の、あるいはフォトリアリスティックなビデオと呼ばれており）、漫画のような効果を生成するために、統合され、エッジ処理され、エッジが重ねられ、および／または、量子化される。
【０００３】
漫画風に変換すること（ｃａｒｔｏｏｎｉｚａｔｉｏｎ、またはｃａｒｔｏｏｎｉｚｉｎｇ）は、フォトリアリスティックでない（ｎｏｎ−ｐｈｏｔｏｒｅａｌｉｓｔｉｃ）レンダリングとして知られている。漫画風に変換することによって、低コントラスト領域がスムーズになる。同時に、この処理によって、高コントラスト領域が強調される。
【０００４】
漫画風に変換することによって、ソースイメージのエッジおよび線が強調され、そして、ほぼ連続した領域の色を統合する。これによって、漫画のような効果を生み出す。漫画は、シャープな陰があり、ほとんどハイライトが無く、かつオブジェクトの等しい高さの部分には等高線が重ねられる。
【０００５】
漫画風に変換すること（ｃａｒｔｏｏｎｉｚａｔｉｏｎ）、あるいはフォトリアリスティックでないレンダリング（ｎｏｎ−ｐｈｏｔｏｒｅａｌｉｓｔｉｃ  ｒｅｎｄｅｒｉｎｇ）の詳細は、特許文献１および非特許文献１に開示されている。本出願において用いている漫画風に変換する（ｃａｒｔｏｏｎｉｚａｔｉｏｎまたはｃａｒｔｏｏｎｉｚｉｎｇ）の語は、このような技術を記載した上記文献においても用いられている。漫画風に変換された映画は非常に鮮明である。そして、これは、ほとんどの視聴者、特に子供に人気がある。映画のための利用の他に、漫画風に変換されたビデオは、また、映像通信アプリケーション、例えばインターネット・プロトコル・テレビ（ＩＰＴＶ）、無線テレビ（ｍｏｂｉｌｅ  ＴＶ）、およびテレビ会議に適している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】欧州特許出願ＥＰ０７３０１３４２号（欧州特許ＥＰ２０３４４３６号公報）
【非特許文献】
【０００７】
【非特許文献１】H.  Winnemoller,  S.  C.  Olsen  and  B.  Gooch,  “Real-time  Video  Abstraction”,  in  ACM  SIGGRAPH  2006
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特別な漫画風のビデオは、全てのこれらのアプリケーションをより魅力的にする。さらにまた、漫画のような効果は、一部の詳細情報を取り除くことによって達成される。したがって、漫画風に変換されたビデオは、対応するソース・ビデオより少ない帯域幅しか必要としない場合が多い。
【０００９】
しかし、取り除かれた詳細情報は、一部の視聴者にとっては非常に重要であり得る。漫画風に変換されたビデオを見ている人が、ソース・ビデオに一部の詳細を参照したいと欲する場合がある。したがって、漫画風に変換されたビデオ、およびその対応するソース・ビデオを同時に提供することが望ましい。
【課題を解決するための手段】
【００１０】
本発明は、独立クレームに記載した方法、デバイス、およびビデオ信号によって達成される。
【００１１】
ソース・ビデオの漫画風への変換を提供し、ソース・ビデオが漫画風に変換されたものおよび残余ビデオから、ソース・ビデオを再び結合するための符号化方法は、ソース・ビデオを漫画風に変換するステップと、第１のビデオを符合化するステップと、第１のビデオを復元するステップと、第２のビデオと前記復元された第１のビデオとの間の第１の残余ビデオを算出するステップと、第１の残余ビデオを符合化するステップと、前記符合化された第１のビデオと前記符合化された第１の残余ビデオを結合するステップと、を有し、前記第１のビデオ、および前記第２のビデオのうちの１つがソース・ビデオであり、他方は、漫画風に変換されたソース・ビデオである。すなわち、第２のビデオがソース・ビデオであり、かつ第１のビデオは漫画風に変換されたソース・ビデオであるか、または、第１のビデオはソース・ビデオであり、かつ第２のビデオは漫画風に変換されたソース・ビデオであるか、のいずれかである。
【００１２】
前記符号化方法は、ベースレイヤにおいて符合化された第１のビデオ、符合化された第１の残余ビデオを含むエンハンスメントレイヤを有するビデオ信号を生成する。この場合において、もし第１のビデオがソース・ビデオである場合には、第１のビデオの復元と第１の残余ビデオの復元とを結合することによってソース・ビデオの漫画風への変換されたものが復元可能であり、あるいは、もし第１のビデオがソース・ビデオの漫画風への変換されたものである場合には、第１のビデオの復元と第１の残余ビデオの復元とを結合することによってソース・ビデオが復元可能であるかのいずれかである。
【００１３】
もし第１のビデオがソース・ビデオである場合には、符合化された第１の残余ビデオと、符合化された漫画風に変換されたビデオとを分離するステップと、漫画風に変換されたビデオを復元するステップと、漫画風に変換されたビデオと、第１の残余ビデオとを結合することによって第１の残余ビデオを復元しかつフォトリアリスティックなビデオを形成するステップと、を有する復号化方法によって、フォトリアリスティックなビデオを、前記映像信号から抽出することができる。
【００１４】
もし第１のビデオがソース・ビデオの漫画風への変換されたものである場合には、高品質の漫画は、符合化された第１の残余ビデオと符合化されたフォトリアリスティックなビデオとを分離するステップと、フォトリアリスティックなビデオを復元するステップと、フォトリアリスティックなビデオと第１の残余ビデオとを結合することによって第１の残余ビデオを復元しかつ漫画を形成するステップと、を実行することによって前記映像信号から抽出することができる。
【００１５】
方法、およびデバイスの更なる実施例は、一つ以上の従属クレームに記載された特徴を有する。
【００１６】
本発明の例示的実施形態は、図面に例示され、かつ以下の開示によって更に詳細に説明される。
【図面の簡単な説明】
【００１７】
【図１】漫画風に変換する従来技術の方法の例示的なフローチャートを示す。
【図２ａ】第１の手法による本発明の符号化デバイスの例示的実施形態を示す。
【図２ｂ】第１の手法による本発明の符号化デバイスの例示的実施形態を示す。
【図２ｃ】第１の手法による本発明の符号化デバイスの例示的実施形態を示す。
【図２ｄ】第１の手法による本発明の符号化デバイスの例示的実施形態を示す。
【図３ａ】第１の手法による本発明の復号化デバイスの例示的実施形態を示す。
【図３ｂ】第１の手法による本発明の復号化デバイスの例示的実施形態を示す。
【図３ｃ】第１の手法による本発明の復号化デバイスの例示的実施形態を示す。
【図３ｄ】第１の手法による本発明の復号化デバイスの例示的実施形態を示す。
【図４ａ】第２の手法による本発明の符号化デバイスの例示的実施形態を示す。
【図４ｂ】第２の手法による本発明の符号化デバイスの例示的実施形態を示す。
【図４ｃ】第２の手法による本発明の符号化デバイスの例示的実施形態を示す。
【図４ｄ】第２の手法による本発明の符号化デバイスの例示的実施形態を示す。
【図５ａ】第２の手法による本発明の復号化デバイスの例示的実施形態を示す。
【図５ｂ】第２の手法による本発明の復号化デバイスの例示的実施形態を示す。
【図５ｃ】第２の手法による本発明の復号化デバイスの例示的実施形態を示す。
【図５ｄ】第２の手法による本発明の復号化デバイスの例示的実施形態を示す。
【図６ａ】第３の手法による本発明の符号化デバイスの例示的実施形態を示す。
【図６ｂ】第３の手法による本発明の符号化デバイスの例示的実施形態を示す。
【図７ａ】第３の手法による本発明の復号化デバイスの例示的実施形態を示す。
【図７ｂ】第３の手法による本発明の復号化デバイスの例示的実施形態を示す。
【発明を実施するための形態】
【００１８】
通常の、あるいはフォトリアリスティックなビデオを漫画風に変換するときには、例示的実施形態において、共通に図１に示されているステップが実行される。すなわち、通常ビデオ（natural  video）ＳＲＣから、ステップＳＡＬにおいて顕著マップ（salience  map）が生成される。そして、ステップＥＤＧでエッジが検出される。エッジは、ステップＥＤで、拡大および／または浸食のような形態的な処理（morphological  operation）がなされる。このステップから生成されるビデオは、ステップＢｉＦで、両側フィルタ処理（bilaterally  filtered）されてもよい。そして、ステップＰＰで後処理（post  processed）され、ステップＱＮＴにおいて、量子化され、漫画風に変換されたビデオ漫画が出力される。本発明の符号化方法およびデバイス、並びに本発明の復号化方法およびデバイスに適用される、漫画風への変換のステップに関する詳細な説明は、特許文献１に開示されている。
【実施例】
【００１９】
図２ａ、および図２ｂは、通常ビデオを漫画風に変換すると共に通常ビデオを符合化するための符号化器の第１の手法の２つの例示的実施形態を示す。
【００２０】
通常ビデオＳＲＣは、漫画風への変換器ＣＡＲＴに入力される。結果として生じる漫画は、符合化手段ＥＣＮに転送される。符号化手段ＥＮＣは、復元器ＲＢＬに符合化された漫画を転送する。復元された漫画は、ソースＳＲＣと比較され、かつその結果としての残余は、残余符号化手段ＥＮ１によって符合化される。前記残余符号化手段ＥＮ１は、符号化手段ＥＮＣに含まれてもよい。符合化された残余は、符合化された漫画と結合され、出力映像信号ＳＶＣとなる。
【００２１】
図２ｂにおいて、出力映像信号ＳＶＣは、符合化された付加的な残余を含む。符合化された付加的な残余は、通常ビデオＳＲＣが漫画風への変換器ＣＡＲＴによって変換されたものと、構築器ＲＢＬによって復元された漫画出力との比較結果である。前記二つのビデオの差異は、更なる残余符号化手段ＥＮ２によって符合化され、符合化された付加的な残余となる。同様に、前記更なる残余符号化手段ＥＮ２は、符号化手段ＥＮＣに含まれてもよい。
【００２２】
通常ビデオの漫画風への変換と共に通常ビデオを符合化するための符号化器の第１の手法の第３の例示的実施形態が、図２ｃに示されている。前記第３の例示的実施形態において、通常ビデオＳＲＣが漫画風への変換（ＣＡＲＴ）されたものと、中間の復元されたビデオとの差異が符合化され、符合化された付加的な残余ビデオとして出力される。この中間の復元されたビデオは、組合せによって形成される。例えば、重みをかけたピクセル毎の加算（pixel-wise  adding）であって、復元された漫画に、符合化された残余の復元されたものを加えたものであってもよい。符合化された残余の前記復元は、残余復元手段ＲＥ１によってなされる。この残余復元手段ＲＥ１は、復元器ＲＢＬによって実現されてもよい。
【００２３】
通常ビデオの漫画風への変換と共に通常ビデオを符合化するための符号化器の第１の手法の第４の例示的実施形態が、図２ｄに示されている。前記第４の例示的実施形態は、残余および更なる残余の内容が異なる以外は、図２ｃの例示的実施形態に等しい。図２ｄにおいて、残余は、漫画風に変換されたソースと復元された漫画とを比較することによって形成される。そして、通常ビデオＳＲＣと中間の復元されたビデオとの差異は、符合化され、符合化された付加的な残余ビデオとなる。ここで、中間の復元されたビデオは、復元された漫画と、符合化された残余の復元されたものとの組合せによって形成される。
【００２４】
符合化されたソース、符合化された残余、および符合化された付加的な残余は、（もしそれらがあれば）出力ストリームＳＶＣに統合されてもよい。その後、スケーラブルな映像符号化方式に渡される。そして、符合化された漫画は、ベースレイヤに含まれてもよい。第１のエンハンスメントレイヤは、符合化された残余を含む。符合化された付加的な残余が存在する場合、これは、第２のエンハンスメントレイヤに含まれてもよい。
【００２５】
そして、この種の帯域幅の狭いデバイスがベースレイヤのみを復号化することを可能とするために、漫画は、低ビットレートで符合化されてもよい。このため、ベース漫画は、低い品質となる。同時に、高帯域デバイスは、高品質漫画および／または高品質漫画が生成される通常ビデオの高品質バージョンを復号化してもよい。このことは、第１および／または第２のエンハンスメントレイヤに含まれる残余および／または付加的な残余の復号により達成される。この広帯域デバイスによって、ユーザは、異なる漫画の品質の切り替え、および／または通常ビデオと漫画との切り替えをすることが可能である。
【００２６】
ソースおよび／またはソース・ビデオの漫画を抽出することに適している復号化デバイスの第１の手法の例示的実施形態が、図３ａ、図３ｂ、図３ｃ、および図３ｄに示されている。前記第１の手法の復号器は、図２ａ、図２ｂ、図２ｃ、および図２ｄに示されている第１の手法によって符合化する実施例のデバイスに対応する。
【００２７】
第１の手法の全ての復号化デバイスは、受信されたビデオ信号ＳＶＣにおいて、符合化されたベース漫画から、符合化された残余および符合化された更なる残余を（もし存在するならば）、分離するためのセパレータＳＥＰを有する。さらに、第１の手法の全ての復号器は、符合化されたベース漫画の復元手段ＲＥ１、および符合化された残余の復元手段ＲＢＬを有する
図３ａ、図３ｂ、および図３ｃにおいて、復号器は、ベース漫画の復元ＴＬＯを出力してもよい。あるいは、復元されたベース漫画ＴＬＯと符合化された残余の復元の組合せによって復号器は、通常ビデオＳＲＣを出力してもよい。ベース漫画ＴＬＯの復元は、符号化プロセスによって導入された歪曲、およびアーチファクトにより、低い品質であってもよい。したがって、図３ｂ、および図３ｃの例示的実施形態は、符合化された付加的な残余を復元する手段ＲＥ２を更に有する。
【００２８】
図３ｂにおいて、前記ベース漫画の品質は、ベース漫画ＴＬＯと復元された付加的な残余とを結合することによって、品質が向上され（enhanced）、エンハンスメントされた漫画ＴＯＯＮが生成される。
【００２９】
そして、図３ｃにおいて、エンハンスメントされた漫画ＴＯＯＮは、通常ビデオＳＲＣと、付加的な残余との復元を統合することによって、生成される。
【００３０】
図３ｄにおいて、復号器は、ベース漫画の復元ＴＬＯを出力してもよい。そして、復元されたベース漫画ＴＬＯと復元された残余との組合せによって、復号器は、エンハンスメントされた漫画ＴＯＯＮを出力してもよい。通常ビデオＳＲＣは、エンハンスメントされた漫画ＴＯＯＮと復元された付加的な残余とを結合することによって得られてもよい。
【００３１】
ベース漫画を復元するための手段ＲＢＬ、および残余を復元するための手段ＲＥ１は、同じハードウェアによって実現されてもよい。さらにまた、図３ｂおよび図３ｃにおいて、付加的な残余を復元するための手段ＲＥ２も、同じハードウェアで実現されてもよい。
【００３２】
図４ａおよび４ｂは、通常ビデオの漫画風への変換と共に通常ビデオを符合化するための符号化器の第２の手法の２つの例示的実施形態を示す。
【００３３】
図４ａおよび図４ｂに示されている実施例において、通常ビデオＳＲＣは、漫画風への変換器ＣＡＲＴに入力され、漫画が出力される。そして、通常ビデオは、符合化手段ＥＮＣに転送される。符号化手段ＥＮＣは、符合化された通常ビデオを復元器（ＲＥＣ）に転送する。通常ビデオを復元したものは、漫画と比較される。その結果である差異（remainder）は、差異符合化手段ＥＮ１によって符合化される。前記差異符合化手段ＥＮ１は、符号化手段ＥＮＣによって実現されてもよい。符合化された差異は、通常ビデオの符合化されたものと結合される。そして、出力映像信号ＳＶＣを出力する。
【００３４】
図４ｂにおいて、出力映像信号ＳＶＣは、付加的な符合化された差異を含む。この付加的な符合化された差異は、通常ビデオＳＲＣと通常ビデオの復元されたものとの比較の結果である。前記二つのビデオの差異は、更なる差異符合化手段ＥＮ２で符合化され、符合化された付加的な差異が出力される。また、前記更なる差異符合化手段ＥＮ１は、符号化手段ＥＮＣによって実現されてもよい。
【００３５】
通常ビデオの漫画風への変換と共に通常ビデオを符合化するための符号化器の第２の手法の第３の例示的実施形態が、図４ｃに示されている。前記第３の例示的実施形態において、通常ビデオＳＲＣと、中間の復元されたビデオとの差異は、付加的な差異であり、これも符合化される。中間の復元されたビデオは、組合せによって形成される。例えば、重みをかけたピクセル毎の加算（pixel-wise  adding）であって、復元された漫画に、符合化された差異の復元されたものを加えたものであってもよい。前記符合化された差異の復元は、差異復元手段ＲＥ１で形成されてもよい。そして、この差異復元手段ＲＥ１は、復元器ＲＢＬによって実現されてもよい。
【００３６】
通常ビデオの漫画風への変換と共に通常ビデオを符合化するための符号化器の第２の手法の第４の例示的実施形態は、図４ｄに示されている。前記第４の例示的実施形態は、差異および更なる差異の内容が異なる以外は、図４ｃの例示的実施形態に等しい。図４ｄにおいて、差異は、通常ビデオＳＲＣと復元された通常ビデオとを比較することによって形成される。そして、漫画と、中間の復元されたビデオとの差異は符合化され、符合化された付加的な残余ビデオとなる。ここで、中間の復元されたビデオは、通常ビデオの復元されたものと、符合化された残余の復元されたものとの組合せによって形成される。
【００３７】
また、符合化されたソース、符合化された残余、および更なる符合化された残余は、出力ストリームＳＶＣに組み込まれてもよい。そしてその後スケーラブルな映像符号化方式に送られる。そして、符合化された通常ビデオはベースレイヤに含まれてもよい。第１のエンハンスメントレイヤは、符合化された差異を有し、第２のエンハンスメントレイヤは、符合化された付加的な差異を有する。
【００３８】
そして、通常ビデオは、低いビットレートによって符合化されてもよい。これによって、狭い帯域幅のデバイスがベースレイヤのみを復号化することを可能とする。これによって、低い品質のベース通常ビデオとなる。これと同時に、広い帯域幅を有する高性能のデバイスは、高品質漫画、および／または高品質漫画が生成される通常ビデオの高品質バージョンを復号化してもよい。このことは、第１のおよび／または第２のエンハンスメントレイヤに含まれる、差異および／または付加的な差異の復号により達成される。より高性能のデバイスによって、ユーザは、通常ビデオの異なる品質の間、および／または通常ビデオと漫画との間で切り替えを行うことが可能である。
【００３９】
ソースおよび／またはソース・ビデオの漫画を抽出するのに適している復号化デバイスの第２の手法の例示的実施形態が、図５ａ、図５ｂ、図５ｃ、および図５ｄに示されている。前記第２の手法の復号器は、図４ａ、図４ｂ、図４ｃ、および図４ｄに示されている実施例に記載されている第２の手法の符合化デバイスに対応する。
【００４０】
第２の手法の全ての復号器は、受信されたビデオ信号ＳＶＣにおいて、符合化されたベース通常ビデオから、符合化された差異および符合化された付加的な差異を（もし存在するならば）分離するためのセパレータＳＥＰを有する。さらに、第２の手法の全ての復号器は、符合化されたベース通常ビデオを復元するための手段ＲＥ１、および符合化された差異を復元するための手段ＲＢＬを有する。図５ｂ、図５ｃ、および図５ｄの例示的実施形態は、符合化された付加的な差異を復元するための手段ＲＥ２を更に含む。
【００４１】
図５ａ、図５ｂ、および図５ｃに示されている復号器は、ベース通常ビデオの復元ＳＬＯを出力してもよい。また、復元されたベース通常ビデオＳＬＯと、差異の復元されたものとを組み合せることによって、復号器は、エンハンスメントされた漫画ＴＯＯＮを出力してもよい。図５ｂにおいて、前記ベース通常ビデオＳＬＯの品質は、ベース通常ビデオＳＬＯと付加的な差異を復元したものと結合することによって向上する。この結果、エンハンスメントされた通常ビデオＳＲＣが出力される。
【００４２】
そして、図５ｃにおいて、エンハンスメントされた通常ビデオＳＲＣは、エンハンスメントされた漫画ＴＯＯＮと復元された付加的な差異とを結合することによって得られる。
【００４３】
図５ｄにおいて、復号器は、復元されたベース通常ビデオＳＬＯを出力してもよい。また、復元されたベース通常ビデオＳＬＯと差異の復元されたものとを組み合せることによって、復号器は、エンハンスメントされた通常ビデオＳＲＣを出力してもよい。エンハンスメントされた漫画ＴＯＯＮは、エンハンスメントされた通常ビデオＳＲＣと復元された付加的な差異とを統合することによって、生成されてもよい。
【００４４】
ベース通常ビデオを復元するための手段ＲＢＬ、および差異を復元するための手段ＲＥ１は、同じハードウェアによって実現されてもよい。さらに、図５ｂ、および図５ｃにおいて、付加的な差異を復元するための手段ＲＥ２も、同じハードウェアで実現されてもよい。
【００４５】
図６ａ、および図６ｂは、通常ビデオの漫画風への変換と共に通常ビデオを符合化するための符号化器の第３の手法の２つの例示的実施形態を示す。
【００４６】
図６ａ、および図６ｂに示されている実施例において、通常ビデオＳＲＣは、漫画風への変換器ＣＡＲＴに入力され、漫画を出力する。そして、通常ビデオは、符合化手段ＥＮＣに転送される。符号化手段ＥＮＣは、復元器ＲＢＬに符合化された通常ビデオを転送する。復元器ＲＢＬの出力は、漫画風に変換するために、漫画風への変換器ＣＡＲＴを通過する。通常ビデオの漫画風への変換されたものの復元が、漫画と比較される。これによって、漫画の差異が生成される。これは、差異符合化手段ＥＮ１によって符合化される。前記差異符合化手段ＥＮ１は、符号化手段ＥＮＣによって実現されてもよい。符合化された漫画の差異は、符合化された通常ビデオと結合される。そして、出力映像信号ＳＶＣとして出力される。
【００４７】
図６ｂにおいて、出力映像信号ＳＶＣは、符合化された通常ビデオの差異を含む。符合化された通常ビデオの差異は、通常ビデオＳＲＣと復元された通常ビデオとの比較の結果である。前記二つのビデオの差異は、符合化された通常ビデオの差異として、更なる差異符合化手段ＥＮ２によって符合化される。また、前記更なる差異符合化手段ＥＮ１は、符号化手段ＥＮＣによって実現されてもよい。
【００４８】
また、符合化された通常ビデオ、符合化された漫画の差異、および符合化された通常ビデオの差異は（これらがもしある場合には）、出力ストリームＳＶＣに組み込まれ、その後スケーラブルな映像符号化方式に入力されてもよい。そして、符合化された通常ビデオは、ベースレイヤに含まれてもよい。もし存在する場合には、第１のエンハンスメントレイヤは、符合化された漫画の差異を含んでもよく、第２のエンハンスメントレイヤは、符合化された通常ビデオの差異を含んでもよい。
【００４９】
そして、狭い帯域幅のデバイスがベースレイヤのみを復号化することを可能にするために、通常ビデオは、低ビットレートによって符合化されてもよい。これによって、低い品質のベース通常ビデオとなる。これと同時に、広い帯域幅を有する高機能のデバイスは、高品質漫画および／または高品質漫画が生成される通常ビデオの高品質バージョンを復号化してもよい。これは、第１のおよび／または第２のエンハンスメントレイヤに含まれる、漫画の差異の符合化されたものおよび／または通常ビデオの差異の符合化されたものの復号によって達成される。より高機能のデバイスによって、ユーザは、異なる通常ビデオ品質の間でおよび／または通常ビデオと漫画との間で切り替えを行うことが可能である。
【００５０】
ソースおよび／またはソース・ビデオの漫画を抽出することに適している復号化デバイスの第３の方式の例示的実施形態が、図７ａおよび図７ｂに示されている。前記第３の方式の復号器は、図６ａ、および図６ｂの第３の方式の実施例に示される符合化デバイスに対応している。
【００５１】
第３の方式の両復号器は、受信されたビデオ信号ＳＶＣにおいて、符合化されたベース通常ビデオから、漫画の差異の符合化されたものおよび符合化された通常ビデオを分離するためのセパレータＳＥＰを有する。さらに、第３の方式の両復号器は、符合化されたベース通常ビデオを復元するための手段ＲＢＬ、および漫画の差異の符合化されたものを復元する手段ＲＥ１を有する。そして、両復号器は、復元されたベース通常ビデオＳＬＯを漫画風に変換するための、漫画風に変換する手段ＣＡＲＴを有する。図７ｂの例示的実施形態は、通常ビデオの差異の符合化されたものを復元するための手段ＲＥ２を更に有する。
【００５２】
図７ａ、および図７ｂに示されている復号器は、ベース通常ビデオの復元ＳＬＯを出力してもよい。あるいは、ベース通常ビデオＳＬＯを漫画風に変換することによって、かつ、ベース通常ビデオＳＬＯの漫画風に変換されたものと、漫画の差異の復元とを組み合わせることによって、復号器は、エンハンスメントされた漫画ＴＯＯＮを出力してもよい。
【００５３】
図７ｂにおいて、前記ベース通常ビデオＳＬＯの品質は、ベース通常ビデオＳＬＯと、通常ビデオの差異の復元されたものとを組み合わせることによって、向上され、これは、エンハンスメントされた通常ビデオＳＲＣとして出力される。
【００５４】
ベース通常ビデオを復元するための手段ＲＢＬ、および漫画の差異を復元するための手段ＲＥ１は、同じハードウェアによって実現されてもよい。さらに、図７ｂにおいて、通常ビデオの差異を復元するための手段ＲＥ２も、同じハードウェアで実現されてもよい。
【図１】
2011517140.tif 000003
【図２ａ】
2011517140.tif 000004
【図２ｂ】
2011517140.tif 000005
【図２ｃ】
2011517140.tif 000006
【図２ｄ】
2011517140.tif 000007
【図３ａ】
2011517140.tif 000008
【図３ｂ】
2011517140.tif 000009
【図３ｃ】
2011517140.tif 000010
【図３ｄ】
2011517140.tif 000011
【図４ａ】
2011517140.tif 000012
【図４ｂ】
2011517140.tif 000013
【図４ｃ】
2011517140.tif 000014
【図４ｄ】
2011517140.tif 000015
【図５ａ】
2011517140.tif 000016
【図５ｂ】
2011517140.tif 000017
【図５ｃ】
2011517140.tif 000018
【図５ｄ】
2011517140.tif 000019
【図６ａ】
2011517140.tif 000020
【図６ｂ】
2011517140.tif 000021
【図７ａ】
2011517140.tif 000022
【図７ｂ】
2011517140.tif 000023
【国際調査報告】
2011517140.tif 000024
2011517140.tif 000025
2011517140.tif 000026