(57)【要約】  本発明は、まず、下降サンプリング後にビデオ・ストリームを符号化してベース・ストリームを取得し、次に、ベース・ストリームを復号化し、上昇サンプリングして再構成ストリームを取得し、再構成ストリームをビデオ・ストリームから減算して残差ストリームを取得し、次に、ビデオ・ストリームに対してエッジの検出及び解析を行ってビデオ・ストリーム内の各画素の利得値を取得し、最後に、利得値と残差ストリームとを乗算し、得られた結果を符号化してエンハンスメント・ストリームを取得する、空間階層化によってビデオ・ストリームを圧縮する方法を提供する。本発明では、各画素のタイプを細かく分けてその相当する更に正確な利得値を取得し、それによって、送信データの数と、エンハンスメント・レイヤによって要求される送信ビットレートとを、画像の品質を確保することができるという前提に基づいて更に低減させる。
2007514362.tif 000002
【特許請求の範囲】
【請求項１】
空間スケーラブル圧縮手法によるビデオ・ストリーム圧縮の方法であって、前記ビデオ・ストリームが、特定の値よりも高い分解能を備えたストリームであり、
a.  前記ビデオ・ストリームを処理して再構成ストリームを得る工程であって、前記再構成ストリームは特定の値よりも高い分解能を備えたストリームである工程と、
b.  前記ビデオ・ストリームを前記再構成ストリームと比較して残差ストリームを取得する工程であって、前記残差ストリームは特定の値よりも高い分解能を備えたストリームである工程と、
c.  特定の値よりも高い前記分解能を備えた前記ストリームに対してエッジの検出及び解析を行って前記ストリーム内の特定数の画素の利得値を得る工程と、
d.  前記残差ストリームを前記利得値を用いて処理してエンハンスメント・ストリームを得る工程とを備えることを特徴とする方法。
【請求項２】
請求項1記載の方法であって、工程aが、下降サンプリング後に前記ビデオ・ストリームを符号化してベース・ストリームを得る工程と、前記ベース・ストリームを復号化し、上昇サンプリングして前記再構成ストリームを得る工程とを備えることを特徴とする方法。
【請求項３】
請求項１記載の方法であって、前記特定数の画素が、前記画素の全てであることを特徴とする方法。
【請求項４】
請求項１記載の方法であって、工程cにおける前記エッジの検出及び解析は前記ビデオ・ストリームに対して行われることを特徴とする方法。
【請求項５】
請求項１記載の方法であって、工程cにおける前記エッジの検出及び解析は前記再構成ストリームに対して行われることを特徴とする方法。
【請求項６】
請求項１記載の方法であって、工程cにおける前記エッジの検出及び解析は前記残差ストリームに対して行われることを特徴とする方法。
【請求項７】
請求項1記載の方法であって、工程cが、
特定の値よりも高い分解能を備えた別のストリームに対して前記エッジの検出及び解析を行う工程を更に備えることを特徴とする方法。
【請求項８】
請求項1記載の方法であって、工程cが、
特定の値よりも高い分解能を備えた前記ストリーム内の画素及び周囲画素の値を得る工程と、
該値を所定のエッジ解析手法によって処理して前記画素のエッジ・タイプを確認する工程と、
前記画素の相当する利得値を前記エッジ・タイプによって得る工程とを備えることを特徴とする方法。
【請求項９】
請求項８記載の方法であって、前記画素の前記エッジ・タイプは、エッジ画素及び非エッジ画素を有することを特徴とする方法。
【請求項１０】
請求項９記載の方法であって、前記エッジ画素は、水平画素、垂直画素又は対角画素を備えることを特徴とする方法。
【請求項１１】
請求項９記載の方法であって、前記非エッジ画素点は、平滑画素点又は孤立点を有することを特徴とする方法。
【請求項１２】
空間スケーラブル圧縮手法によるビデオ・ストリーム圧縮の装置であって、前記ビデオ・ストリームが、特定の値よりも高い分解能を備えたストリームであり、
前記ビデオ・ストリームを処理して、特定の値よりも高い分解能を備えたストリームである再構成ストリームを得る再構成ストリーム作成手段と、
前記ビデオ・ストリームを前記再構成ストリームと比較して、特定の値よりも高い分解能を備えた残差ストリームを取得する残差ストリーム取得手段と、
特定の値よりも高い分解能を備えた前記ストリームに対してエッジ解析を行って前記ストリーム内の特定数の画素の利得値を得るエッジ解析手段と、
前記残差ストリームを、前記利得値を用いて処理してエンハンスメント・ストリームを得るエンハンスメント・ストリーム作成手段とを備えることを特徴とする装置。
【請求項１３】
請求項12記載の装置であって、前記特定数の画素が、前記画素の全てであることを特徴とする装置。
【請求項１４】
請求項12記載の装置であって、前記エッジ解析手段が、
特定の値よりも高い分解能を備えた前記ストリーム内の画素及び周囲画素の値を取得する画素値取得手段と、
前記値を所定のエッジ解析手法によって処理して前記画素のエッジ・タイプを確認する手段と、
前記画素の相当する利得値を前記エッジ・タイプによって取得する利得値取得手段とを備えることを特徴とする装置。
【請求項１５】
請求項14記載の装置であって、前記エッジ・タイプが、エッジ画素又は非エッジ画素を有することを特徴とする装置。
【請求項１６】
請求項15記載の装置であって、前記エッジ画素は、水平画素、垂直画素又は対角画素を備えることを特徴とする装置。
【請求項１７】
請求項15記載の装置であって、前記非エッジ画素は、平滑画素又は孤立画素を有することを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ圧縮方法及びビデオ圧縮装置に関し、特に、空間スケーラブル圧縮手法を用いたビデオ圧縮方法及びビデオ圧縮装置に関する。
【背景技術】
【０００２】
ディジタル・ビデオに内在するデータ量が膨大であるため、フルモーションの高品位ビデオ信号を伝送することは、高品位テレビ番組の制作において重大な課題となっている。さらに、ディジタル画像の各フレームは、画素群から形成される（、画像とも表す）静止画像である。これらの画素の量は特別なシステムの表示分解能によって変わってくるものであり、よって、高分解能ビデオ内に備えられる生のディジタル情報の量は膨大なものである。送る必要があるデータ量を削減するために、圧縮手法を用いてデータを圧縮する。よって、MPEG-2、MPEG-4及びH.263をはじめとする種々のビデオ圧縮標準又はビデオ圧縮処理が確立されてきており、種々の場面で用いられてきている。
【０００３】
多くのアプリケーションでは、ビデオが、一ストリーム内で種々の分解能及び/又は品質で利用可能なものとして存在している。この手法を達成する手法をスケーラビリティ手法として表す。スケーラビリティ手法のうちの１つの種類のものを空間スケーラブル手法として表す。この手法では、ビットストリームは異なる分解能を備える2つ以上のレイヤのストリームに分割することができ、これらのストリームを単一の高分解能信号に合成することができる。例えば、ベース・レイヤは、品質が低く、分解能が低いビデオ信号を供給することができる一方、エンハンスメント・レイヤは、ベース・レイヤ画像のエンハンスメントを行うことができる更なる情報を供給することができる。
【０００４】
図１は、空間スケーラブル圧縮手法を用いた、従来技術のビデオ符号器を示す。上記技術手法は、国際公開文献において、国際公開第03/036979号明細書（国際出願日：西暦2002年10月16日）によって開示されている。この開示は本明細書及び特許請求の範囲にその内容を援用する。
【０００５】
高分解能ビデオ・ストリームを、低域通過フィルタ１１２に供給してダウンサンプルし、このダウンサンプルされたストリームを符号器１１６によって符号化してベース・ストリームを得る。
【０００６】
復号化後、ベース・ストリームをアンプサンプリング手段１２２に供給してアンプサンプリングし、再構成ストリームを得る。再構成ストリームを高分解能ビデオ・ストリームとともに減算手段１３２に供給する。減算手段１３２は再構成ストリームを高分解能ビデオ・ストリームから減算し、残差ストリームを得る。
【０００７】
高分解能ビデオ・ストリームを画像解析器１４２にも供給する。画像解析器は、ビデオ・ストリーム内の全画素を解析して利得値を得る。利得値は、詳細コンテンツが少ない画像領域内では0になる傾向にある一方、詳細コンテンツが多い画像領域内では１になる傾向にある。
【０００８】
これらの利得値は残差ストリームとともに乗算器１５２に供給する。お互いに乗算された後、画素の画素値は、詳細コンテンツが少ない画像領域内で低くなる。よって、画素値の2値ビットの長さは短くなるので、乗算の積は、元の残差ストリームと比べて、入っているデータが少なくなる。乗算の積を更に符号器１５６に供給して符号化し、エンハンスメント・ストリームを得る。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従来技術の空間スケーラブル圧縮手法は、画像を解析するうえでの精度に対する欠点をなお有する。例えば、この手法では、ビデオ・ストリーム内のある程度の雑音には高い利得値が与えられ、よって雑音を除去することはできない。よって、エンハンスメント・ストリーム内のデータの量を更に削減することができるように画像を更に正確に解析することができる新たな空間スケーラブル圧縮手法が必要である。
【課題を解決するための手段】
【００１０】
本発明によって、前述の技術手法が改良され、画像が更に正確に解析されるので、エンハンスメント・ストリーム内のデータが更に低減される。
【００１１】
本発明は、空間スケーラブル圧縮手法を備えた、ビデオ・ストリーム圧縮の方法を提供するものである。まず、下降サンプリング後にビデオ・ストリームを符号化してベース・ストリームを取得し、ベース・ストリームを復号化し、アンプサンプリングして再構成ストリームを取得し、再構成ストリームをビデオ・ストリームから減算して残差ストリームを取得し、次に、ビデオ・ストリームに対してエッジの検出及び解析を行ってビデオ・ストリーム内の各画素の利得値を取得し、最後に、利得値と残差ストリームとを乗算し、得られた結果を符号化してエンハンスメント・ストリームを取得する。
【００１２】
本発明は、エッジの検出及び解析の手法を用いて画像内の画素の利得値を得る方法を更に提供する。まず、画像内の画素の画素値と、周囲画素の画素値とを取得し、次に、エッジの検出及び解析の手法によって上記値を処理して画素のエッジ・タイプを判定し、最後に、処理結果によって画素の利得値を取得する。上記エッジ・タイプには、エッジ画素及び非エッジ画素がある。エッジ画素には更に、水平画素、垂直画素及び対角画素がある。非エッジ画素には、平滑画素及び孤立画素がある。利得値は、各種の画素について異なる。
【００１３】
従来技術の手法に基づいて、本発明によって、画像がより正確に解析され、各タイプの画素を更に分割して、相当する、より正確な利得値が取得され、それによって、送る対象のデータの量を更に削減し、画像品質が確保される場合にエンハンスメント・レイヤが必要とするビットレートを低減させることが可能である。
【発明を実施するための最良の形態】
【００１４】
本発明の他の目的及び利点は、以下に記載する実施例から明らかであり、そうした実施例を参照しながら明らかになるであろう。
【実施例】
【００１５】
本発明を次に、例として、添付図面を参照しながら説明する。
【００１６】
添付図面では全て、同じ参照符号は同様な特徴及び機能、又は同じ特徴及び機能を表す。
【００１７】
図２は、本発明の実施例による、画像エッジの検出及び解析の機能を備えた空間スケーラブル圧縮手法を用いた符号化システムの略図である。符号化システムは、下降サンプリング後に高分解能ビデオ・ストリームを符号化して、低分解能ストリームであるベース・ストリームを取得するベース・ストリーム作成手段１１０と、ベース・ストリームを符号化し、アップサンプリングして、高分解能ストリームである再構成ストリームを取得する再構成ストリーム取得手段１２２と、ビデオ・ストリームを再構成ストリームと比較して、高分解能ストリームである残差ストリームを取得する残差ストリーム取得手段１３２と、エッジの検出及び解析を高分解能ストリームに対して行って高分解能ストリーム内の各画素の利得値を取得するエッジ解析手段１４０と、利得値と残差ストリームとを乗算し、得られた結果を符号化してエンハンスメント・ストリームを取得するエンハンスメント・ストリーム作成手段１５０とを備える。
【００１８】
ベース・ストリーム作成手段１１０は、低域通過フィルタ１１２及び符号器１１６を備える。低域通過フィルタは下降サンプリングを行ってビデオ・ストリームの分解能を低減させる。符号器１１６は、下降サンプリングされたビデオ・ストリームを符号化してベース・ストリームを取得する。低域通過フィルタ１１２及び符号器１１６は、図１中の同じ参照符号を付した装置と同様な特徴及び機能、又はそうした装置と同じ特徴及び機能を有する。
【００１９】
再構成ストリーム取得手段１２２は、ベース・ストリームを復号化するのに用いる復号器（図示せず）を備えたアップサンプリング手段１２２である。符号化を行う場合、復号化処理も、符号器１１６によって行うことができ（これは局所復号化としても表され）、又は、別個の復号器（図示せず）によって行うことができる。ベース・ストリーム作成手段１１０及び再構成ストリーム取得手段１２２を再構成ストリーム作成手段に合成することができる。
【００２０】
エッジ解析手段１４０は、高分解能ストリーム内の画素の画素値及び周囲画素の画素値を取得する画素値取得手段１４３と、通常のエッジ解析手法によって画素値を処理して画素のエッジ・タイプを判定する画素値解析手段１４５と、処理結果によって画素の利得値を取得する利得値取得手段１４７とを備える。エッジ解析手段１４０のフローチャ―トを以下に詳細に説明する。
【００２１】
エンハンスメント・ストリーム作成手段１５０は、乗算器１５２及び符号器１５６を備える。乗算器１５２は、利得値を用いて残差ストリームを処理する。符号器１５６は、乗算器からの結果出力を符号化してエンハンスメント・ストリームを取得する。乗算器152及び符号器156は、図１中の同じ参照符号を付した装置と同様な特徴及び機能、又はそうした装置と同じ特徴及び機能を有する。
【００２２】
図３は、画像フレーム内の画素と、画素の位置及び周囲画素の位置とを示す略図である。図中では、横座標iは画素がある列を表し、たて座標ｊは画素がある行を表す。図は、画素及び周囲画素の位置(i,j)を示す。画素の画素値には、ルミナンス値、クロマ値及び色収差値の３つの種類がある。ルミナンス値は、本願の実施例において画素値を表すのに用いる。表１は、図３中の画素に相当する画素値であり、画素(i,j)の画素値は65である。表１中の線画及び値は以下の記載において表す。
【００２３】
【表１】
2007514362.tif 000003
図４は、本発明の実施例による、エッジの検出及び解析を行う空間スケーラブル圧縮手法の略フローチャートである。まず、特定の高分解能ビデオ・ストリーム、例えば、高分解能が特定の分解能よりも高いものであり得る、分解能1920*1080iを備えるビデオ・ストリームが受信され（工程S４１０）、高分解能ビデオ・ストリームが下降サンプリングされる（工程S４２４）。下降サンプリングの目的は分解能を、例えば720*480iに、低減させることである。さらに、下降サンプリングされたビデオ・ストリームを符号化してベース・ストリームを取得し（工程S428）、工程S428では、符号化はMPEG-2標準によって行う。ベース・ストリームは、720*480iなどの低分解能ストリームである。
【００２４】
次に、復号化ベース・ストリームを上昇サンプリングして再構成ストリームを取得し（工程Ｓ４３０）、再構成ストリームは、受信高分解能ビデオ・ストリームと同様な分解能形式、例えば、1920*1080iを有する。更に、再構成ストリームを受信高分解能ストリームから減算して残差ストリームを得る（工程S440）。再構成ストリームは受信高分解能ビデオ・ストリームと同様の分解能形式、例えば、1920*1080iを有する。
【００２５】
次に、受信高分解能ビデオ・ストリーム内の画素の画素値及び周囲画素の画素値を得る（工程S452）。画素の位置は図３に示す。画素がフレームのエッジ上にある場合、画像のデータを（例えば、中心対称拡張法によって）拡張して周囲画素の画素値を得ることができる。図３では、例えば、画素(i,j)はフレームの右エッジ上にあり、i+１番目の行のデータ、i+２番目の行のデータ、及びi+3番目の行のデータは存在しない。同時に、i-１番目の行のデータ、i-２番目の行のデータ、及びi-３番目の行のデータをi+１番目の行、i+２番目の行、及びi+3番目の行に複製することができる。他の場合もこの場合と同様である。
【００２６】
工程S452で得た画素値によって画素をエッジ解析して（工程S455）、エッジ・タイプをエッジ特性によって判定する。エッジ解析のフローは以下に詳細に説明する（図５を参照されたい。）。上記エッジ・タイプには、エッジ画素及び非エッジ画素がある。エッジ画素には更に、水平画素、垂直画素及び対角画素がある。非エッジ画素には、平滑画素及び孤立画素がある。
【００２７】
画素の相当する利得値を、工程455におけるエッジ解析の結果によって得る（工程S458）。利得値は、詳細コンテンツが少ない領域内では0になる傾向にある一方、詳細コンテンツが多い領域内では１になる傾向にある。更に、利得値は、エッジ画素の場合と非エッジ画素の場合は異なる場合があり、各種のエッジ画素について異なる場合がある。それは、人間の視覚の感度が別々の方向における画像変動について異なるからである。例えば、水平方向における上記変動に対する感度は、垂直方向におけるものよりも高い。よって、水平画素の利得値を高く設定することができる。
【００２８】
更に、工程S455で、画素のエッジ解析の結果が水平画素であり、水平方向（左、右）において画素に隣接する２つの画素が水平画素でない場合、画素は採用可能な水平画素ではなく、孤立画素として分類するべきである。同様に、工程S455で、画素のエッジ解析の結果が垂直画素であり、垂直方向（上、下）において画素に隣接する２つの画素が垂直画素でない場合、画素は採用可能な垂直画素ではなく、孤立画素として分類するべきである。工程S455で、画素のエッジ解析の結果が対角画素であり、対角方向（左上、左下、右上、右下）において画素に隣接する４つの画素が水平画素でも垂直画素でも対角画素でもない場合、画素は採用可能な対角画素ではなく、孤立画素として分類するべきである。一般的に、孤立画素は、ビデオ・ストリーム生成の過程における雑音、又は符号化及び復号化の過程におけるエラーによるものであり、除去すべきであるので、孤立画素の利得値を0に設定し得る。
【００２９】
各タイプの画素の利得値は、数値範囲であり、例えば、水平画素の利得値範囲は[1.0,  0.6]であり、垂直画素の利得値範囲は[0.9,  0.5]である。画素毎に、利得値をそのタイプの利得値範囲からエッジ依存性画素分散によって選び得る。
【００３０】
水平画素の場合、エッジ依存性画素分散は
【００３１】
【数１】
2007514362.tif 000004
として算出することができる。ここで
【００３２】
【数２】
2007514362.tif 000005
である。垂直画素の場合、エッジ依存性画素分散は
【００３３】
【数３】
2007514362.tif 000006
として算出することができる。ここで
【００３４】
【数４】
2007514362.tif 000007
である。対角画素の場合、エッジ依存性画素分散は
【００３５】
【数５】
2007514362.tif 000008
として算出することができる。ここで
【００３６】
【数６】
2007514362.tif 000009
である。平滑画素の場合、エッジ依存性画素分散は
【００３７】
【数７】
2007514362.tif 000010
として算出することができる。ここで
【００３８】
【数８】
2007514362.tif 000011
である。
【００３９】
最後に、高分解能ビデオ内の画素全てについてエッジ解析が達成されるか否かが判断される。達成されていない場合、工程S452に戻る。達成されている場合、取得された利得値と、残差ストリーム内の各相当する画素とを乗算し、乗算の積を符号化器１５６に送って符号化して、エンハンスメント・ストリームを取得し（工程S470）、符号化はMPEG-2標準によって行う。エンハンスメント・ストリームは上記高分解能ビデオ・ストリームと同様の分解能形式、例えば、1920*1080iを有する。よって、非エッジ画素領域などの、詳細コンテンツが少ない領域内の画素の画素値は小さくなる。よって、画素値の2値ビット表現の長さは短くなるので、乗算の結果は、元の残差ストリームと比べて、入っているデータが少なくなる。特に、エンハンスメント・ストリーム内のデータの量が大きく削減されるように孤立画素全てが除去されることになる。
【００４０】
残差ストリームは高分解能ビデオ・ストリームと再構成ストリームとの間の差であるので、残差ストリーム内には多くのゼロが存在する。よって、エッジ解析が残差ストリームに対して行われる場合、算出の複雑度は大きく低減されることになる。よって、実施例の別の選択として、エッジの検出及び解析を残差ストリーム内の画素毎に行って工程S452乃至S458における相当する利得値を取得するということがある。当然、エッジの検出及び解析は又、再構成ストリームに対して行って各画素の相当する利得値を得ることができる。
【００４１】
更に、エッジの検出及び解析を又、高分解能ビデオ・ストリーム及び残差ストリームに対して行うことができ、各画素の解析の結果間の比較を行って画素のタイプを判定して、工程S452乃至S458における相当する利得値を取得する。
【００４２】
図５は、本発明の実施例による、エッジの検出及び解析の略フローチャートである。上記フローは工程S455の更なる詳細である。
【００４３】
まず、工程S452において得られた値から得られる画素の画素値及び周囲画素の画素値が受信される（工程S５１０）。更に、これらの値によって、画素の水平エッジ値が得られ（工程S520）、画素の垂直エッジ値が得られる（工程S530）。
【００４４】
次に、水平エッジ値が10などの所定の閾値よりも大きいか否かと、垂直エッジ値が別の所定の閾値よりも大きいか否かが判断される（工程S540）。２つの閾値は等しくても等しくなくてもよい。上記判断の結果がはいの場合、画素を対角画素と判定することができる（工程S544）。
【００４５】
次に、上記判断の結果が工程S540においていいえである場合、水平エッジ値が閾値よりも大きいか否かが更に判定される（工程S５５０）。そうである場合、画素は水平画素として判定される（工程S554）。
【００４６】
最後に、上記判断の結果が工程S550においていいえである場合、垂直エッジ値が閾値よりも大きいか否かが更に判定される（工程S５６０）。そうである場合、画素は垂直画素として判定される（工程S５６４）。さもなければ、画素は平滑画素として判定される（工程S５６６）。
【００４７】
図３中の画素(i,j)を例にとって、水平エッジ値及び垂直エッジ値を算出する方法を、
水平エッジ値＝｜2*{画素(i+1,j)-画素(i,j)}+{画素(i+2,j)-画素(i-1,j)}+{画素(i+3,j)-画素(i-2,j)}｜
として表す。
【００４８】
水平エッジ値は７である。垂直エッジ値＝｜2*{画素(i,j+1)-画素(i,j)}+{画素(i,j+2)-画素(i,j-1)}+{画素(i,j+3)-画素(i,j-2)}｜である。
【００４９】
垂直エッジ値は１６９である。
【００５０】
２つの閾値を１０とみなせば、画素を垂直エッジ画素と判定することができる。
【００５１】
本発明を特定の実施例に関して図示し、説明したが、種々の置換、修正及び変更を上記記載によって行うことができるということは当業者に明らかとなるものである。よって、そうした置換、修正及び変更は、本願の特許請求の範囲記載の本発明の技術思想及び範囲内に収まる場合、本発明に備えるべきである。
【図面の簡単な説明】
【００５２】
【図１】空間スケーラブル圧縮手法を用いた従来技術のビデオ符号器の図である。
【図２】本発明の実施例による、画像エッジの検出及び解析の機能を備えた空間スケーラブル圧縮手法を用いた符号化システムの略図である。
【図３】フレーム内の画素と、画素及び周囲画素の位置とを示す略図である。
【図４】本発明の実施例による、エッジの検出及び解析を行う空間スケーラブル圧縮手法の略フローチャートである。
【図５】本発明の実施例によるエッジの検出及び解析の略フローチャートである。
【図１】
2007514362.tif 000012
【図２】
2007514362.tif 000013
【図３】
2007514362.tif 000014
【図４】
2007514362.tif 000015
【図５】
2007514362.tif 000016
【国際調査報告】
2007514362.tif 000017
2007514362.tif 000018
2007514362.tif 000019