(57)【要約】本発明は、画像セットに先行する少なくとも１つのシーンカット（ＣＵＴ）を有するディジタルビデオ信号を処理する方法及び符号化器に関する。これは、シーンカット（ＣＵＴ）をローカライズするステップと、画像セット内の視覚的無関連画像のサブセット（ＩＳ）を規定するステップと、当該シーンカット（ＣＵＴ）後の視覚的関連画像（Ｉ（ｔ０＋２））から当該セットを計算することにより当該シーンカット（ＣＵＴ）直後の符号化視覚的無関連画像のセット（ＩＳ′）を発生するステップとを有することを特徴としている。
2005534220.tif 000002
【特許請求の範囲】
【請求項１】
画像セットに先行する少なくとも１つのシーンカットを有するディジタルビデオ信号を符号化する方法であって、
・前記シーンカットを局部化するステップと、
・前記画像セット内の視覚的無関連画像のサブセットを規定するステップと、
・前記シーンカットの後に位置付けられる視覚的関連画像から符号化視覚的無関連画像のセットを計算することにより前記視覚的無関連画像のセットから符号化視覚的無関連画像のセットを発生するステップと、
を有する、
ディジタルビデオ信号符号化方法。
【請求項２】
請求項１に記載のディジタルビデオ信号符号化方法であって、前記符号化視覚的無関連画像のセットの計算は、前記視覚的関連画像から符号化視覚的関連画像を計算し、符号化視覚的無関連画像のセットを形成するよう前記符号化視覚的関連画像を複製することによって行われる、方法。
【請求項３】
請求項１に記載のディジタルビデオ信号符号化方法であって、前記符号化視覚的無関連画像のセットは、前記視覚的関連画像の概略的動き補償を用いて計算される、方法。
【請求項４】
符号化器のためのコンピュータプログラムであって、命令セットを有し、これが前記符号化器にロードされた場合に、請求項１ないし３のうちのいずれか１つに記載の方法を前記符号化器に実行させる、コンピュータプログラム。
【請求項５】
コンピュータのためのコンピュータプログラムであって、命令セットを有し、これが前記コンピュータにロードされた場合に、請求項１ないし３のうちいずれか１つに記載の方法を前記コンピュータに実行させる、コンピュータプログラム。
【請求項６】
視覚的無関連画像のセットに先行する少なくとも１つのシーンカットを有するディジタルビデオ信号を符号化するビデオ符号化器であって、
・前記シーンカットを局部化する局部化手段と、
・前記画像セット内の視覚的無関連画像のサブセットを規定する規定手段と、
・前記視覚的無関連画像のセットから符号化視覚的無関連画像のセットを発生するものであって前記符号化視覚的無関連画像のセットが前記シーンカットの後に位置付けられる視覚的関連画像から計算されるようにした計算手段と、
を有する、
ビデオ符号化器。
【請求項７】
請求項６に記載のディジタルビデオ信号を符号化するビデオ符号化器であって、
前記計算手段は、前記視覚的関連画像から符号化視覚的関連画像を計算し、符号化視覚的無関連画像のセットを形成するよう前記符号化視覚的関連画像を複製することによって、符号化視覚的無関連画像のセットを発生する、ビデオ符号化器。
【請求項８】
請求項６に記載のディジタルビデオ信号を処理するためのビデオ符号化器であって、前記計算手段は、当該視覚的区別可能な画像の概略的動き補償の手段によって被処理画像のセットを発生する、ビデオ符号化器。
【請求項９】
ビデオ符号化器を有するビデオ通信システムであって、ディジタルビデオ信号を受信することが可能であり、前記信号は、請求項６に記載の符号化器によって処理される、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像セットに先行する少なくとも１つのシーンカットを有するディジタルビデオ（画像）信号を符号化する方法に関する。本方法はまた、この方法を実現する符号化器（エンコーダ）に関する。
【０００２】
このような方法は、例えば画像通信システムに用いられることが可能となってる。
【背景技術】
【０００３】
例えばテレビジョン通信システムなどの画像通信システムは、エンコーダ、伝送媒体及びデコーダを有するのが普通である。このようなシステムは、入力ディジタルビデオ信号を受信し当該エンコーダによりその信号を符号化し、その符号化された信号（ビットスクリームとも呼ばれる）を当該伝送媒体を介して伝送し、当該デコーダによりその伝送された信号を復号し又は復元して出力ディジタルビデオ信号を生成する。大抵は、ディジタルビデオ信号に画像セットに先行する少なくとも１つのシーンカットが含まれる。
【０００４】
ディジタルビデオ信号の各画像は、種々の方法により符号化される。これには、他の画像とは独立したイントラフレームモデルによるもの、又は当該ディジタルビデオ信号の先行又は後行画像の動き補償とは区別されるインターフレームモデルによるものがある。イントラフレームモデルを用いて符号化された画像は、イントラフレーム（intra frame）と呼ばれる。インターフレームモデルを用いて符号化された画像は、インターフレーム（inter frame）と呼ばれる。イントラフレームは、インターフレームよりも高いビットレートの代償を有する。当該イントラ及びインターフレームモデルは、ＭＰＥＧ２規格により参照されるＩＳＯ／ＩＥＣ１３８１８−２：１９９６（Ｅ）の“Information technology - Generic coding of moving pictures and associated audio information: Video”（International standard, 1996）に記述されている。
【０００５】
先行する画像と次の画像との間の入力ディジタルビデオ信号においてシーンカットが生じた場合、この先行及び次の画像は概して大きく異なるものであり、非常に相関性の低いものである。結果として、当該次の画像は当該先行画像とともにインターフレームモデルを用いて効率的に符号化することができなくなる。さらに、イントラフレームモデルを用いて次の画像を符号化すると、非常に高い代償を伴う。シーンカットを考慮に入れるため、エンコーダは、当業者に周知の統計コードを用い、この統計コードに基づいてシーンカットに後続する画像を符号化する。復号側では、デコーダがその画像を復号する。これらシーンカットは、前の符号化により自動的に現れる。
【０００６】
この符号化処理の欠点の１つは、どんな符号化方法を用いてもレート／歪み比を大きく改善することが難しいことである。ここでいうレート／歪み比とは、原画像と比較して符号化画像において認められる歪みに対する、符号化するのに用いられたビットレートの比である。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
したがって、本発明の目的は、画像セットに先行する少なくとも１つのシーンカットを有するディジタルビデオ信号を符号化する方法及び符号化器であって当該レート／歪み比を向上させるものを提供することである。
【課題を解決するための手段】
【０００８】
このため、
・前記シーンカットを局部化するステップと、
・前記画像セット内の視覚的無関連画像のサブセットを規定するステップと、
・前記シーンカットの後に位置付けられる第１の視覚的関連画像から符号化視覚的無関連画像のセットを計算することにより前記視覚的無関連画像のサブセットから符号化視覚的無関連画像のセットを発生するステップと、
を有するディジタルビデオ信号符号化方法が提供される。
【０００９】
また、
・前記シーンカットを局部化する局部化手段と、
・前記画像セット内の視覚的無関連画像のサブセットを規定する規定手段と、
・前記視覚的無関連画像のサブセットから符号化視覚的無関連画像のセットを発生するものであって前記符号化視覚的無関連画像のセットが前記シーンカットの後に位置付けられる視覚的関連画像から計算されるようにした計算手段と、
を有するビデオ符号化器が提供される。
【００１０】
詳細な説明においてもさらに詳しく明らかとなるが、本発明は、標準的な視認条件の下では、人間の眼はシーンの極めて高速な変化を区別することができない。これは、当該シーンカットに後続する画像セットは人間の眼には視認することのできない画像のサブセットを有することを意味する。これらの画像は、視覚的識別不能又は無関連画像と呼ばれる。次の視認可能な画像は、視覚的識別可能又は関連画像と呼ばれる。したがって、この原理によれば、本発明による符号化方法は、あるシーンカットに続く視覚的無関連画像のセットを符号化するために視覚的関連画像を考慮に入れるものである。故に、視覚的関連画像である関連部分の情報だけが通常通り符号化される一方、視覚的無関係画像である無関連部の情報は品位を落とされるか又は省略される。これにより、ビットレートが節約される。よって、レート／歪み比が改善する。
【００１１】
効果的なのは、第１の実施例において（限定はしない）、当該視覚的関連画像から符号化視覚的関連画像を計算することにより、そしてその符号化視覚的関連画像を複製して符号化視覚的無関連画像のセットのセットを形成することにより、符号化視覚的無関連画像のセットの計算をなすことである。
【００１２】
この実施例においては、計算が非常に簡単でかつ極めて高速であり、しかも複雑なシステムを必要としない。視覚的無関連画像の符号化は、例えば、符号化される画像が次の視覚的関連画像のコピーであることを表すために、フラグをそのビットストリームに加えることに置き換えられる。したがって、ビットレートの代償は最小限のものとなる。人間の眼は差を見ることができないのである。
【００１３】
効果的なものとして、本発明の第２の（但し限定しない）実施例においては、符号化視覚的無関連画像のセットが当該視覚的関連画像の概して粗い動き補償を用いて計算される。この実施例では、視覚的無関連画像のサブセットが後の視覚的関連画像に対しインターフレームとして符号化される。但し、視覚的無関連画像のサブセットの各画像に対する動き補償を行うのではなく、視覚的無関連画像のサブセット全体に対して唯１つの概して粗い動き補償が行われる。ビットレートは、符号化画像品質を犠牲にして相当に節約されるが、これはサブセットの画像が視覚的に無関係なので問題にならない。勿論、この実施例がビットレートに関しては、第１の実施例よりもコスト高ではあるが、例えばスローモーションのような復号ビデオ信号の視覚化の特定の状況において認識されうる「固定画像」の効果を避ける利点もある。
【００１４】
本発明の他の目的、特徴及び利点は、次の詳細な説明を読むことにより、また添付図面を参照することにより明らかとなる。
【発明を実施するための最良の形態】
【００１５】
以下の説明においては、不要な詳細事項によって本発明が曖昧になるので、当業者に周知な機能又は構成を詳しく説明していない。
【００１６】
本発明は、ディジタルビデオ信号を符号化する方法に関するものであり、かかるディジタルビデオ信号は１セットの画像に先行する少なくとも１つのシーンカットを有する。この方法は、ビデオ通信システムＳＹＳ内で図１に示されるようなエンコーダＥＮＣにおいて特に用いられるものである。このシステムは、幾つかのディジタルビデオ信号を受信する。
【００１７】
伝送媒体ＣＨにより幾つかのビデオ信号を効果的に伝送するために、このエンコーダＥＮＣは、当業者には周知の種々の方法に準じて符号化をなす（イントラフレームモデルにおいて、又はインターフレームモデルにおいて）。そして、ビットストリームとして知られる符号化信号はデコーダＤＥＣに送られ、ここで当該信号の符号化がなされる。
【００１８】
上記エンコーダＥＮＣは、
・当該シーンカットＣＵＴを位置付けるための局部化手段Ｍ１と、
・当該画像セット内の視覚的無関連画像のサブセット（ＩＳ）を規定する規定手段Ｍ２と、
・当該サブセット（ＩＳ）の視覚的無関連画像から符号化された視覚的無関連画像のセット（ＩＳ′）を発生するものであって、当該視覚的無関連画像のセットが当該シーンカットＣＵＴの後に位置付けられる第１の視覚的関連画像（Ｉ（ｔ０＋２）から計算されるようにした計算手段Ｍ３と、
を有する。
【００１９】
その符号化は次のようにして行われる。
【００２０】
第１のステップ１）では、当該ビデオ信号内の各シーンカットの位置を表すために一般的には統計コードとともにシーンカットＣＵＴの局部化が行われる。シーンカットを検出するための幾つかの方法は、当業者には知られている。例えば、ビデオ信号の連続する２つの画像間の相関に基づくものであって欧州特許出願第９２８５４４号に開示された方法が用いられる。
【００２１】
また、以下に詳細に説明するように、当該シーンカット後の画像が例えばＤＣＴ符号により通常通り符号化され又は品位を落とされ若しくは省略されなければならないかどうかを示すためにフラグが用いられる。
【００２２】
こうしたシーンカットの局部化により、当該シーンカットＣＵＴの前後に位置付けられる画像を区別することができる。以下においては、シーンカットＣＵＴの直後に位置付けられる視覚的無関連画像のサブセットを考えるものとする。
【００２３】
第２のステップ２）においては、シーンカットＣＵＴ直後に位置付けられる視覚的無関連画像のサブセットが規定される。このステップ２）は、人間の眼の能力を考慮に入れている。実際、“B. Girod, The information theoretical significance of spatial and temporal masking in video signals, Proc. SPIE/SPSE Conf. On Human Vision, Visual Processing and Digital Display, Los Angeles, CA, USA, pp. 178-187, January 1989” 及び“B. Girod, How important is masking for picture coding? Proc. International Picture coding Symposium PCS ’88, Torino, Italy, pp. 1.2.1-1.2.2, September 1988”の各文献に記述されているような知覚の研究により、当業者にはよく知られた標準的視認条件の下では、人間の眼はシーンの極めて高速な変化は区別できないことが分かっている（一時的マスキング効果と呼ばれる）。したがって、この符号化は、人間の眼はシーンカットに続く１秒の何分の１かといった短時間に画像の細部を区別することができない（人間の眼は少なくとも１秒の１／１０の間用いられることを要する）ので、この生物学的特性をビデオコーディングについて利用することができる、すなわち、眼の適応動作中においては全ての情報片が当該画像内に存在する必要がない、という発想に基づいている。
【００２４】
いわゆる無関連画像を人間の眼は正しく知覚することができないのに対し、他の画像は人間の眼にも視認可能である。視覚的無関連画像のセット（ＩＳ）は、シーンカットＣＵＴに続く視覚的無関連画像を有する。第１の視覚的関連画像Ｉ（ｔ０＋２）は、当該シーンカットＣＵＴの後に位置付けられる第１の視覚的関連画像である。
【００２５】
本発明の第３のステップ３）では、当該シーンカットの後に位置付けられる第１の視覚的関連画像を用いて視覚的無関連画像のサブセット（ＩＳ）から、符号化された画像のセット（ＩＳ′）が計算される。非常に少ない数のビットを用いて前と同様に多くの画像を符号化するために、本発明による符号化方法は、典型的な方法で、例えばＤＣＴ符号を用いて視覚的関連画像のみを符号化するが、視覚的無関連画像は、その品質を落とされ又は省略されることを可能としている。視覚的に認識される品質は同じままである。
【００２６】
例えば、図２に示されるように、シーンカットＣＵＴが第１画像Ｉ（ｔ０−１）と第２画像Ｉ（ｔ０）との間に発生した場合、完全な細部を有する画像が当該シーンカットＣＵＴすなわちＩ（ｔ０＋２）の後の第３の画像においてのみ区別可能となる。
【００２７】
したがって、本発明の限定はしない第１の実施例においては、符号化される視覚的無関連画像のセット（ＩＳ′）の計算Ｃ１は、視覚的関連画像Ｉ（ｔ０＋２）から符号化視覚的関連画像Ｉ′（ｔ０＋２）を計算することによって、そしてその符号化された視覚的関連画像Ｉ′（ｔ０＋２）を複製し符号化視覚的無関連画像のセット（ＩＳ′）を形成することによって行われる。
【００２８】
図２に示されるように、無関連画像Ｉ（ｔ０）及びＩ（ｔ０＋１）は、符号化視覚的関連画像Ｉ′（ｔ０＋２）と共に同一の符号化画像Ｉ′（ｔ０）及びＩ′（ｔ０＋１）となる。その場合、後続の符号化シーケンスＩ′（ｔ０−１），Ｉ′（ｔ０＋２），Ｉ′（ｔ０＋２），Ｉ′（ｔ０＋２），Ｉ′（ｔ０＋３），Ｉ′（ｔ０＋４），・・・が得られる。連続した同一画像を非常に効率的に、すなわち極めて少ないビットで符号化することができる。なお、簡単なフラグにより、前の画像から単純に画像が繰り返されることを示すことが可能となり、当該フラグをビットストリーム中に挿入するようにしてもよい。したがって、前の例では、画像Ｉ（ｔ０−１）が符号化され、次にＩ（ｔ０＋２）が符号化され、その後は画像Ｉ（ｔ０＋３）が符号化される前の２つのコピーフラグが存在することになる。
【００２９】
もう１つの代替例は、後続画像から画像が単純に繰り返されることを示すことのできる簡単なフラグを備えるものである。
【００３０】
本発明の限定しない第２の実施例では、符号化された視覚的無関連画像のセット（ＩＳ′）の計算Ｃ２が、例えば当業者によく知られているメッシュ方法によって、当該視覚的関連画像Ｉ（ｔ０＋２）の概略的動き補償を用いて行われる。
【００３１】
したがって、図３に示されるように、本発明の限定しない第２の実施例では、概略的動きベクトルフィールドＭＶＦが計算され、例えば視覚的関連画像Ｉ（ｔ０＋２）に対して無関連画像のセット（ＩＳ）の全ての画像について用いられる。その場合、符号化シーケンスは、Ｉ′（ｔ０−１），Ｉ′（ｔ０＋２）−ｄ０，Ｉ′（ｔ０＋２）−ｄ１，Ｉ′（ｔ０＋２），Ｉ′（ｔ０＋３），Ｉ′（ｔ０＋４），・・・となる。ここでｄ０，ｄ１は、Ｉ（ｔ０＋２），Ｉ（ｔ０），Ｉ（ｔ０＋２），Ｉ（ｔ０＋１）の各画像間における画素の粗い動きを表している。この画像セットは極めて効率的に符号化されることが可能であるが、これは特異なフィールドの概略的動きベクトルはビットストリーム中に含まれなければならないからである。なお、簡単なフラグにより視覚的無関連画像を符号化するようにすることをデコーダに伝えるようにしてもよい。
【００３２】
実際、３０Ｈｚの画像レートの場合には、人間の眼が順応するのに１０分の１秒以上必要であるときには第３の画像だけが区別して視認されることになる。したがって、シーンカットＣＵＴとこの時との間の２つの画像の品位を、上で提案したように良好に低下させることが可能となる。
【００３３】
なお、ビデオ信号における幾つかの画像セットにおけるスローモーションの場合には、２つの実施例において上述したように、視覚的アーチファクトに悩まされることなく、視覚的無関連画像の計算を２を超える数の画像に対して行われることが可能となる。
【００３４】
かくして、本発明の第１の利点は、無関連情報すなわち区別不可能な画像が通常通りには符号化されずこの結果少ないビットで済むので、知覚上の品質を損なうことなくレート／歪み比を改善することである。
【００３５】
本発明の他の利点は、一方では画像のコピー又は概算が非常に速いことにより符号化にかかる時間が短縮する点であり、他方では符号化における知覚上の品質（すなわち本質的な品質）を損ねることなく符号化処理に使われるメモリを縮減する点である。
【００３６】
なお、本発明は上述した実施例に限定されるものではなく、添付の請求項に記載したような本発明の精神及び範囲から逸脱しない限り変形例や改変例を見い出しうるものである。この点につき以下に結びの留意点を挙げる。
【００３７】
本発明は前述のビデオ用途に限定されない。ディジタル映画、ＨＤＴＶ並びに科学的イメージの伝送及び視覚化を含む用途など、最終的対象が人間の眼であるディジタルビデオ信号処理システムを用いた用途において用いることができる。画像コードは人間の監察者の視覚上の能力とマッチするように構成される。
【００３８】
本発明による方法は、前述した実施の形態に限定されない。
【００３９】
単品目のハードウェア又はソフトウェアが複数の機能を実行することができることを前提とすれば、ハードウェア若しくはソフトウェア又はこの双方の品目によって、本発明による方法の機能を実施する沢山の方法がある。これはハードウェア若しくはソフトウェア又はこの両方の品目のアセンブリが機能を果たし、もって本発明に従ってビデオ信号を処理する方法を変更することなく単一の機能を形成することを排除するものではない。
【００４０】
かかるハードウェア又はソフトウェア品目は、色々な態様で実現可能である。例えばワイヤード電子回路又はプログラムに適した集積回路などである。集積回路は、コンピュータ又はエンコーダに含ませることとしてもよい。他のケースにおいては、このエンコーダは、シーンカットの局部化をなすのに適合した局部化手段と、シーンカットの直後に画像セットを発生するのに適合した計算手段であって当該セットが前述したように当該シーンカットの後に視覚的に区別可能な画像から計算されるようにしたものとを有し、これら手段が上述したようにハードウェア又はソフトウェア品目とされるものが挙げられる。
【００４１】
上記集積回路は命令のセットを有する。したがって、例えばコンピュータプログラムメモリ又はエンコーダメモリに格納される命令セットによって当該コンピュータ又はエンコーダに当該復号方法の種々のステップを実行させることができる。
【００４２】
かかる命令セットは、例えばディスクなどのデータ担体を読み取ることによりプログラムメモリにロード可能である。サービスプロバイダも、例えばインターネットなどの通信ネットワークを介して利用可能となる命令セットを形成することができる。
【００４３】
添付の請求の範囲におけるいずれの参照符号も請求項を限定するものと解釈してはならない。「有する」なる動詞及びその活用形の使用は請求項に規定されるもの以外の他のステップ又は構成要素の存在を排除するものではないことは明らかである。構成要素又はステップの単数表現は、そのような構成要素又はステップが複数存在することを排除するものではない。
【図面の簡単な説明】
【００４４】
【図１】本発明によるエンコーダを有するビデオ通信システムを示す図。
【図２】図１のエンコーダによって供給される画像及びシーンカットを有するディジタルビデオ信号の第１の符号化についての概略図。
【図３】図１のエンコーダによって供給される画像及びシーンカットを有するディジタルビデオ信号の第２の符号化についての概略図。
【図１】
2005534220.tif 000003
【図２】
2005534220.tif 000004
【図３】
2005534220.tif 000005
【国際調査報告】
2005534220.tif 000006
2005534220.tif 000007
2005534220.tif 000008