(57)【要約】【課題】波紋スキャン装置及びその方法を提供すること。【解決手段】本発明の波紋スキャン装置は、優先的に波紋スキャンを行うべき視覚的に重要な特定画像部分である波紋発生位置(波紋(0))の情報をスキャンするための波紋スキャン開始手段と、前記波紋発生位置を取り囲む四角形状のリング形態であるi番目の波紋スキャン位置(波紋(i))を決定するための波紋スキャン位置決定手段と、前記波紋スキャン位置決定手段で決定されたi番目の波紋スキャン位置の情報をスキャンするための波紋スキャン手段とを含む。【選択図】図６Ｂ
2008072734.tif 000002
【特許請求の範囲】
【請求項１】
波紋スキャン装置において、
優先的に波紋スキャンを行うべき視覚的に重要な特定画像部分である波紋発生位置(波紋(0))から波紋スキャンを始めるための波紋スキャン開始手段と、
前記波紋発生位置に四角形状のリングを取り囲む形態で次の波紋スキャン位置(波紋(1))を決定し、四角形状のリングを、その前に処理した四角形状のリングを取り囲む形態で次の波紋スキャン位置(波紋(i))を決定するための波紋スキャン位置決定手段と、
前記波紋スキャン位置決定手段で決定された波紋スキャン位置によって波紋スキャンを行うための波紋スキャン手段と
を含む波紋スキャン装置。
【請求項２】
画像コーディングのための波紋スキャン装置において、
画像フレーム内で優先的にコーディングして伝送すべき視覚的に重要な特定画像部分である波紋発生位置のデータからコーディングを行うための波紋発生位置データコーディング手段と、
前記波紋発生位置からi番目に発生した波紋(i)の位置を決定して該当位置のデータをコーディングするための波紋位置決定及びデータコーディング手段と、
前記画像フレーム内のすべてのデータがコーディングされるまで波紋の位置決定と該当画像データのコーディングを繰り返し行うようにする反復遂行如何決定手段と
を含むことを特徴とする波紋スキャン装置。
【請求項３】
画像デコーディングのための波紋スキャン装置において、
画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置のデータからデコーディングを行うための波紋発生位置データデコーディング手段と、
前記波紋発生位置からi番目に発生した波紋(i)の位置を決定して該当位置のデータをデコーディングするための波紋位置決定及びデータデコーディング手段と、
前記画像フレーム内のすべてのデータがデコーディングされるまで波紋の位置決定と該当画像データのデコーディングを繰り返し行うようにする反復遂行如何決定手段と
を含むことを特徴とする波紋スキャン装置。
【請求項４】
前記波紋発生位置は、
既に決定されていることを特徴とする請求項１〜３のいずれか１項に記載の波紋スキャン装置。
【請求項５】
前記既に決定された波紋発生位置は、
画像フレームの中央部であることを特徴とする請求項４に記載の波紋スキャン装置。
【請求項６】
前記波紋発生位置（波紋（0））を決定するための波紋発生位置決定手段をさらに含むことを特徴とする請求項１〜３のいずれか１項に記載の波紋スキャン装置。
【請求項７】
前記決定された波紋(i)の位置は、
波紋発生位置からx軸に-iほど離れた位置にあり、y軸に±iより小さい位置に該当するすべての位置(1-1:x-iであり、(y-i<y<y+i)であるすべての位置)と、
波紋発生位置からx軸に+iほど離れた位置にあり、y軸には±iより小さい位置に該当するすべての位置(1-2：x+iであり、(y-i<y<y+i)であるすべての位置)と、
波紋発生位置からy軸に-iほど離れた位置にあり、x軸には±iより小さい位置に該当するすべての位置(2-1：y-iであり、(x-i<x<x+i)であるすべての位置)と、
波紋発生位置からy軸に+iほど離れた位置にあり、x軸には±iより小さい位置に該当するすべての位置(2-2：y+iであり、(x-i<x<x+i)であるすべての位置)と、
波紋発生位置からx軸に±iほど、そしてy軸に±iほど離れた所のすべての位置(3-1の位置は(x-i、y-i)、3-2は(x+i、y-i)、3-3は(x-i、y+i)、3-4は(x+i、y+i)に該当する位置)と
を含むことを特徴とする請求項１〜３のいずれか１項に記載の波紋スキャン装置。
【請求項８】
前記波紋スキャン装置は、
マクロブロック単位でデータを処理することを特徴とする請求項１〜３のいずれか１項に記載の波紋スキャン装置。
【請求項９】
前記波紋スキャン装置は、
ブロック単位でデータを処理することを特徴とする請求項１〜３のいずれか１項に記載の波紋スキャン装置。
【請求項１０】
前記波紋スキャン装置は、
ピクセル単位でデータを処理することを特徴とする請求項１〜３のいずれか１項に記載の波紋スキャン装置。
【請求項１１】
波紋スキャン装置に適用される波紋スキャン方法において、
優先的に波紋スキャンを行うべき視覚的に重要な特定画像部分である波紋発生位置(波紋(0))から波紋スキャンを始める第１段階と、
前記波紋発生位置に四角形状のリングを取り囲む形態で次の波紋スキャン位置(波紋(1))を決定して波紋スキャンを行う第２段階と、
四角形状のリングを、その前に処理した四角形状のリングを取り囲む形態で次の波紋スキャン位置(波紋(i))を決定して波紋スキャンを行う過程をすべてのデータに対して行う第３段階と
を含むことを特徴とする波紋スキャン方法。
【請求項１２】
画像コーディングのための波紋スキャン装置に適用される波紋スキャン方法において、
画像フレーム内で優先的にコーディングして伝送するべき視覚的に重要な特定画像部分である波紋発生位置のデータからコーディングを行う第１段階と、
すべてのデータに対してコーディングを行ったか否かを判断する第２段階と、
前記第２段階の判断結果、すべてのデータをコーディングしたら、終了し、そうではなかったら、次の波紋位置を決定して該当位置のデータをコーディングする過程をすべてのデータに対して繰り返し行う第３段階と
を含むことを特徴とする波紋スキャン方法。
【請求項１３】
画像デコーディングのための波紋スキャン装置に適用される波紋スキャン方法において、
画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置のデータからデコーディングを行う第１段階と、
すべてのデータに対してデコーディングを行ったか否かを判断する第２段階と、
前記第２段階の判断結果、すべてのデータをデコーディングしたら、終了し、そうではなかったら、次の波紋位置を決定して該当位置のデータをデコーディングする過程をすべてのデータに対して繰り返し行う第３段階と
を含むことを特徴とする波紋スキャン方法。
【請求項１４】
前記波紋発生位置は、
既に決定されていることを特徴とする請求項１１〜１３のいずれか１項に記載の波紋スキャン方法。
【請求項１５】
前記既決定された波紋発生位置は、
画像フレームの中央部であることを特徴とする請求項１４に記載の波紋スキャン方法。
【請求項１６】
前記波紋発生位置(波紋(0))を決定する第4段階をさらに含むことを特徴とする請求項１１〜１３のいずれか１項に記載の波紋スキャン方法。
【請求項１７】
前記決定された波紋(i）の位置は、
波紋発生位置からx軸に-iほど離れた位置にあり、y軸に±iより小さい位置に該当するすべての位置(1-1：x-iであり、(y-i<y<y+i)であるすべての位置)と、
波紋発生位置からx軸に+iほど離れた位置にあり、y軸には±iより小さい位置に該当するすべての位置(1-2：x+iであり、(y-i<y<y+i)であるすべての位置)と、
波紋発生位置からy軸に-iほど離れた位置にあり、x軸には±iより小さい位置に該当するすべての位置(2-1：y-iであり、(x-i<x<x+i)であるすべての位置)と、
波紋発生位置からy軸に+iほど離れた位置にあり、x軸には±iより小さい位置に該当するすべての位置(2-2：y+iであり、(x-i<x<x+i)であるすべての位置)と、
波紋発生位置からx軸に±iほど、そしてy軸に±iほど離れた所のすべての位置(3-1の位置は(x-i、y-i)、3-2は(x+i、y-i)、3-3は(x-i、y+i)、3-4は(x+i、y+i)に該当する位置)と
を含むことを 特徴とする請求項１１〜１３のいずれか１項に記載の波紋スキャン方法。
【請求項１８】
前記波紋スキャン方法は、
マクロブロック単位でデータを処理することを特徴とする請求項１１〜１３のいずれか１項に記載の波紋スキャン方法。
【請求項１９】
前記波紋スキャン方法は、
ブロック単位でデータを処理することを特徴とする請求項１１〜１３のいずれか１項に記載の波紋スキャン方法。
【請求項２０】
前記波紋スキャン方法は、
ピクセル単位でデータを処理することを特徴とする請求項１１〜１３のいずれか１項に記載の波紋スキャン方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、波紋スキャン装置及びその方法に関し、より詳細には、任意の特定位置の画像情報を最優先的にコーディングした後、直ぐ隣接する外郭に位置する画像情報をその次にコーディングする過程を繰り返し行う波紋スキャン装置及びその方法に関する。
【背景技術】
【０００２】
通常、画像(静止画像または動画)コーディング方法において、スケーラブルコーディング方法に対する需要が激増している。特に、いつでも、どこでも、誰にでも画像情報を用いて通信できるようにする移動通信サービスや、無線インターネットなどの登場によりノートブック、パームトップ(palm top computer)、個人携帯端末機(PDA)などのような多様なコンピュータと結合された情報家電を用いて遠隔地の画像情報を得て管理し、変更できることを所望する。
【０００３】
従って、多様な形態の画像情報家電(例えば、IMT-2000ビデオホン、HDTV等)が今後、実用化される予定であり、発売される画像情報家電製品の復号化能力や伝送環境などは、それぞれの端末機が有すべき特性や適用環境のため自然に異なるようになる。
【０００４】
この場合、考慮すべき事項は、それぞれの端末機に好適な動画をどんな方法で伝送するかということである。例えば、低い品質の復号器に合わせてエンコーダ端で符号化を施行すると、高い品質の復号器を有している使用者は高価で購入した高品質の復号器で低い品質の画像を伝送されるようになり、こうした状況が生じることは誰も所望しない。すなわち、高品質の復号器を有している使用者は当然に高品質の画像を獲得すべきであり、低品質の復号器を有している人も満足できる水準の画像が必ず伝送されるべきである。
【０００５】
このような問題を解決するため、画像をコーディングして伝送することにおいて、MPEG-4(Moving Pictures Expert Group-4)では、受信者側の端末機の状況や性能に応じて多様な画質が提供できるように設計されている。例えば、受信端の端末器の性能(Computing power)が優れており、伝送線路(Delivery Layer : 無線、ATM、LAN等)の状態が良い時は、高画質の動画を受信してディスプレイできるが、受信器の性能が優れていなかったり、通信ラインの状態が良くない時などには高画質を受信できなくなる。前記の2つの場合をすべて収容するために、MPEG-4ではスケーラブルコーディング(Scalable Coding)ができるように設計されている。
【０００６】
スケーラブル画像コーディングは、受信端側で多様な画質(低い品質から高い品質まで: Low quality to High quality)の画像が受信できるようにエンコーダ側でスケーラブルなビットストリーム(Bitstream)を作って伝送するのである。すなわち、伝送ビットストリームがスケーラブルなら、多様な種類の受信器が存在できるようになって、低性能(Low Performance)の受信器は、基本階層(Base Layer)でエンコーディングされた基本画質の画像ビットストリームを伝送されて、ディスプレイするようにし、高性能(High Performance)の受信器は強化階層(Enhancement Layer)でエンコーディングされた高い品質の画像ビットストリーム(Bitstream)を伝送されて、ディスプレイするようにできる。
【０００７】
スケーラブルコーディング(Scalable coding)方法は、基本的に大きく基本階層(Base Layer)と強化階層(Enhancement Layer)とから構成される。エンコーダ端の基本階層では基本品質の動画情報を伝送し、エンコーダ端の強化階層では基本品質の動画に加えて、受信端側に向上した画質を提供できる情報を伝送することによって、受信端側で該当情報を受信して基本階層から伝送された情報と合わせられて、高品質の画像情報が復号できるようにしている。
【０００８】
従って、受信端では端末器の性能や伝送線路の状態に応じて伝送された2つの階層の画像情報を選択して復号するようになる。すなわち、復号器が伝送線路を介して伝達されたすべての情報に対する復号能力を有していなければ、復号器は最小の画像品質の補償階層である基本階層に対する情報のみを復号し、残りの強化階層に該当する情報は復号せず捨てることになる。
【０００９】
一方、高品質の受信器の場合は、すべての階層の情報を全部受信して、高品質の画像を具現するようになる。これによって、高品質の復号器を所有している使用者と低品質の復号器を所有している使用者を両方ともに満足させることができる画像伝送を、スケーラブルコーディング方法を用いて実現できるようになる。
【００１０】
現在のスケーラブルコーディング方法は、大きく空間的(Spatial)スケーラブルコーディング方法と時間的(temporal)スケーラブルコーディング方法とに区分される。空間的スケーラブルコーディング方法は、空間的解像度を段階的に向上させることに用いられ、時間的スケーラブルコーディング方法は、時間軸上でディスプレイされる単位時間当りの画像の数(テレビ放送の場合、30フレーム/秒)を段階的に向上させるようにする(例:10Hz==>30Hz)。それぞれのスケーラブルコーディングを行うために、MPEG-4では一つ以上の強化階層を構成して、ビットストリームを受信端側に伝達するようになるが、一階層(one layer)の強化階層を用いた動画コーディングの場合に、基本階層では基本的に空間的に、また時間的に低い解像度の画像をコーディングして伝送するようにし、強化階層では基本階層から既に伝送された画像情報に加えて向上した解像度を具現できるようにするための画像情報を付加的にコーディングして伝送するようにしている。
【００１１】
上述した既存のスケーラブルコーディング方法などは、伝送線路の状態が急変せず相対的に安定した場合に適するように設計されている。すなわち、受信端側で強化階層から送信されたビットストリームをすべて受信しなければ、該当画像フレームは復元できない。もし、伝送線路の状態が急変(伝送線路の収容可能なビットストリームの帯域幅(bandwidth)が急変する:インターネットなどのような伝送線路はインターネット使用者の人数などのような外部要因によって、各使用者に割り当て可能な帯域幅が急変)して、強化階層に該当するビットストリームをすべて伝送されない場合には該当画像をまともに復元できない。従って、再伝送を送信端側に要求するか、すべてのビットストリームを受信するまで画像復元を行うことができないか、または以前フレームの画像を用いて伝送エラー隠蔽(error concealment)を行わなければならない。
【００１２】
上記のように伝送線路の状態が不安定であり、計画された画像ビットストリームをリアルタイムに合わせて伝送できない場合が有/無線インターネットなどを伝送線路に選択した場合に頻繁に起きる。すなわち、有/無線インターネットのように伝送線路の状態が不安定であり、帯域幅(Bandwidth)が急変する場合にも伝送された画像のリアルタイム復元を行うためには、送信端側から伝送されたすべてのビットストリームを受信端側ですべて受信できない場合にも、それまで受信された部分的な画像ビットストリームのみを用いて伝送画像をリアルタイムに復元できなければならない。このための一例として、MPEG-4においては微細粒子スケーラビリティ(FGS : Fine Granular Scalability)方法論が提案されており、国際標準案として制定されている。
【００１３】
微細粒子スケーラブルコーディング方法は、スケーラブルコーディングを行う時、伝送線路の状態が不安定な場合、例えば、有/無線インターネットのように伝送線路の状態が急変して各使用者に割り当てられる帯域幅の変動が激しい場合に、送信端側の基本階層エンコーダと、強化階層エンコーダでエンコーディングされて伝送されたビットストリームとを、受信端側ですべて受信されない場合にもそれまで受信された部分的なビットストリームのみを用いて、伝送画像の復元ができるようにする方法であって、既存のスケーラブルコーディング方法が安定した伝送線路を考慮して具現されたものの短所(すべてのビットストリームを受信した場合にのみ、画像復元が可能であり、受信遅延が生じたり、伝送誤差が発生した場合に再伝送を要求するか、伝送エラー隠蔽などを行わなければならないなどの短所)を補完できるように設計されている。
【００１４】
受信端側で部分的な画像ビットストリームのみを受信して伝送画像の復元が效率的に行われるようにするために、微細粒子スケーラブルコーディング方法においては、送信端側で基本階層から伝送された画像に基づいて、強化階層で向上した画質の画像ビットストリームを具現して伝送する時、ビットプレーン(Bitplane)単位で伝送する方法を用いる。すなわち、送信端側から受信端側に強化階層に必要なビットストリームを伝送する時、原画像(original image)と基本階層から伝送される画像との差(difference)のみを伝送して、伝送画像の画質を向上させることは既存のスケーラブルコーディング方法に似ているが、強化階層から受信端側に伝送する画像情報をビットプレーン別に分けて、最も重要なビット(MSB：Most significant bit)を最優先的に伝送し、その次に重要なビットプレーン別に分けて、連続的に伝送する方式を用いて、受信端側で伝送線路の帯域幅(Bandwidth)が急変して画像復元に必要なすべてのビットを受信されない場合にも、それまで受信されたビットストリームのみを用いて、伝送画像の復元をある程度行うことができるようにする。
【００１５】
例えば、25という画像情報を伝送すると仮定すると、これを2進数で表わせると、「11001」になり、これは５個のビットプレーンで構成されている。この情報をビットプレーン別に送信するためには、一応送信端側から受信端側にすべての伝送情報の構成が５個のビットプレーンで構成されていることを知らせ、最上位ビットMSBから最下位ビット(LSB : Least significant bit)までビット単位で受信端に伝送するとした場合、最初のMSBビットの伝送が完了したら、受信端側では伝送される情報が16(10000)以上の値であることが分かり、２番目のビット列が伝送されると、24以上の値(11000)が伝送されることがわかる。もし、伝送線路の帯域幅(Bandwidth)の制約によって、それ以上のビットストリームを受信端側に伝送できないとすると、受信端側ではそれまで伝送されたビット列(11000)を用いて24という数字が復元できる(元々伝送しようとした25と類似する数)。
【００１６】
このようにMPEG-4で用いる微細粒子スケーラブルコーディング方法は、伝送線路の帯域幅がいつでも急変できるという状況を考慮している。基本的な微細粒子スケーラブルコーディング方法の構造は図１Ａと同様である。図１Ａは、従来の基本的な微細粒子スケーラブル(FGS: Fine Granular Scalability)コーディング方法の一実施例の構造図であり、図に示すように、基本階層(Base Layer)と、強化階層(enhancement layer)として微細粒子スケーラビリティ階層(FGS Layer)とを置いている。基本階層は、既存のMPEG-4エンコーディング方法をそのまま用いている。そして、強化階層であるFGS階層間にコーディング効率を増加させる何かの方法論(FGS階層間の動き推定及び補償など)は伝送線路を考慮しなければならないので、用いられておらず、ただ基本階層でコーディング効率を増加させる方法論のみを考慮していることが特徴である。
【００１７】
このように空間的スケーラビリティを具現するためには、図１Ａに示すような構造を用いて具現し、時間的スケーラービリティ(Temporal Scalability)を具現するためには、図１Ｂ及び図１Ｃに示すような構造を用いて具現する。
【００１８】
図１Ｂは、従来の２段階のFGSとFGST(Fine Granular Scalability Temporal)の向上段階を有する微細粒子スケーラブルコーディング方法の一実施例の構造図であり、図１Ｃは、従来のFGSとFGSTとが一つの段階に統合運営される強化段階を有する微細粒子スケーラブルコーディング方法の一実施例の構造図である。
【００１９】
この場合、FGST(Fine Granular Scalability Temporal)は、コーディングの効率を高めるために、動き予測及び補償などを行うが、これもやはり単に基本階層からのコーディングの効率を増加させる方法論のみを考慮して行う。
【００２０】
図２Ａは、MPEG-4ドラフト国際基準に係る従来の微細粒子スケーラブルコーディング方法のエンコーダ端(すなわち、送信端)の一実施例の構造図である。
【００２１】
図２Ａは、本発明の一実施例に係る微細粒子スケーラブル(FGS)コーディング方法におけるエンコーダを表す構造図である。
【００２２】
図に示すように、基本階層は、MPEG-4画像エンコーディング方法をそのまま用いている。基本階層に用いられる画像エンコーディング方法を例に挙げると、離散的コサイン変換(DCT：Discrete Cosine Transform)、量子化(Q：Quantization)、動き予測(ME：Motion Estimation)、動き補償(MC：Motion Compensation)、逆量子化(Q-1)、逆離散的コサイン変換(IDCT : Inverse Discrete Cosine Transform)などを行って、空間軸(Spatial)と時間軸(Temporal)方向で画像情報圧縮(Image Data Compression)を行い、可変長符号化(VLC : Variable Length Coding)を行って、符号の発生確率の偏重によるエントロピー符号化(Entropy Coding)を実施し、送信バッファを用いてエンコーディング時に発生した基本階層ビットストリーム(Base Layer Bitstream)を伝送線路に伝送するようになる。
【００２３】
図に示すように、強化階層のFGSエンコーディング(FGS Enhancement Encoding)は、原画像と基本階層で再生された画像との誤差(residues)を求める過程、離散的コサイン変換(DCT)を行う過程、ビットプレーンシフト過程(Bit-plane shift)、最大値検索過程(Find Maximum)、ビットプレーン別に可変長符号化遂行過程(Bitplane VLC)とに分かれて行われる。
【００２４】
前記誤差を求める過程においては、基本階層でコーディングされた後、再生された画像(図面でQ-1とIDCTを通過した後、クリッピングされた再生画像)と原画像(Original Image)との差(difference)を求めて、その誤差値(residues)を求める。
【００２５】
離散的コサイン変換を行う過程においては、前記誤差を求める過程で求められた画像基盤の誤差値(residues)をブロック単位(8X8単位)DCTを用いて、DCTドメイン(domain)に変換する。
【００２６】
この場合、選択的に良い画質を有するブロックが必要なら、該当値を最優先的に伝送すべきであり、このためにビットプレーンシフトを選択的に行うことができる。これを選択的強化(Selective Enhancement)と定義し、ビットプレーンシフト過程で行う。
【００２７】
最大値検索過程においては、離散的コサイン変換を終了したすべての値の絶対値に対する最大値を求める。この値は、該当画像フレームを伝送するための最大ビットプレーン(bit-plane)の個数を求めることに用いられる。
【００２８】
ビットプレーンの可変長符号化過程においては、ビットプレーン別にブロック単位で求められた６４個のDCT係数(DCT係数の該当ビットプレーンのビット:0または1)がジグザグスキャン(zigzag scan)順に一つの行列に入ることになり、各行列は可変長コード表(VLC table)によって、ランレングス(Run-length)符号化される。
【００２９】
図２Ｂは、MPEG-4ドラフト国際基準に係る従来の微細粒子スケーラブルコーディング方法のデコーダ端(すなわち、受信端)の一実施例の構造図である。
【００３０】
図２Ｂは、本発明の一実施例に係る従来の微細粒子スケーラブルコーディング方法におけるデコーダ端を示す構造図である。
【００３１】
図に示すように、基本階層(Base Layer)と強化階層(Enhancement Layer)とに分かれて伝送線路から受信された伝送ビットストリームのデコーディングを図２Ａに示すエンコーダと逆順に行うようになる。
【００３２】
基本階層においては、MPEG-4画像デコーディング方法をそのまま用いている。基本階層にビットストリームが入力されると、可変長復号化(VLD：Variable Length Decoding)を行った後、逆量子化(Q-1：Inverse Quantization)を行い、該当値を逆離散的コサイン変換(IDCT：Inverse Discrete Cosine Transform)を行って、動き補償された値(MC：Motion Compensation)と合わせた後に、該当値を0と255値との間にクリッピング(Clipping)して、最終的に基本階層の伝送画像を復元するようになる。
【００３３】
そして、微細粒子スケーラブルコーディング方法の強化階層においては、エンコーダと逆順に強化階層に伝送されたビットストリームのデコーディングを行うようになるが、先に入力された強化ビットストリーム(Enhancement Bitstream)をビットプレーン別に可変長復号化(Bit-plane VLD)を行った後、選択的に良い画質を有するブロックの位置などが伝送されたら、ビットプレーンシフト(Bit-plane Shift)を選択的に行う。
【００３４】
その後、前記ビットプレーン別にVLDが行われ、選択的にシフトが行われて、導出された値にブロック単位(8X8単位)の逆離散的コサイン変換(IDCT：Inverse Discrete Cosine Transform)を行って強化階層から伝送された画像を復元した後、基本階層で復号された画像と合わせた後、合算値を0と255値との間にクリッピング(Clipping)して最終的に向上した画質の画像を復元するようになる。
【００３５】
次に、前述した従来技術の問題点について説明する。
【００３６】
従来の動画コーディングにおいて、主に用いられているスケーラブルコーディング方法などは、伝送線路の状態が急変せず相対的に安定した場合に適するように設計されており、送信端側の強化階層から送信されたビットストリームをすべて受信端で受信しないと、該当画像フレームは復元できない。この場合、もし、伝送線路の状態が急変(伝送線路の収容可能なビットストリームの帯域幅が急変する、例えば、インターネットなどのような伝送線路はインターネット使用者の人数などのような外部要因によって各使用者に割り当て可能な帯域幅が急変する)して、強化階層に該当するビットストリームをすべて伝送されていない場合には、該当画像を正常的に復元できない。従って、再伝送を送信端側に要求するか、すべてのビットストリームを受信するまで画像復元を行うことができないか、または以前フレームの画像を用いて伝送エラー隠蔽(error concealment)を行わなければならない短所がある。
【００３７】
一方、前記従来のスケーラブルコーディング方法が安定した伝送線路を考慮して具現されたことの短所を補完して、有/無線インターネットのように伝送線路の状態が不安定なため、帯域幅(Bandwidth)が急変する場合にも送信端側から受信端側に伝送された画像をリアルタイムに復元できるようにしなければならないが、その具現可能な方法論としては伝送されたビットストリームを受信端側ですべて受信していない場合にも、それまで受信された部分的な画像ビットストリームのみを用いて伝送画像をリアルタイムに復元可能にする微細粒子スケーラービリティ(FGS：Fine Granular Scalability)方法がある。この場合、部分的なビットストリームのみを受信しても画像復元が可能となるようにするためには、強化階層間に画像のコーディングの効率を増大させる何かの方法論(強化階層間の動き補償など)も用いることができず、専ら基本階層からコーディングの効率を極大化させる方法のみを用いるべきである。
【００３８】
JPEG(Joint Photographics Expert Group)、H.263、MPEGなどに主に用いられるDCTを用いた動画コーディング方法を説明すると、マクロブロックと8X8ブロック単位で画像データをコーディングして伝送するようになるが、この場合、すべての画像フレーム(またはビデオ物体プレーン(VOP：Video Object Plane))に対するエンコーディングとデコーディングは最上側左側(Upper-Left)に位置したマクロブロック(またはブロック)から始まって最下側右側(bottom-left)部分のマクロブロック(またはブロック)までの画像データを順次処理するようになる。これを本発明では正常スキャンオーダ(Normal Scan Order)と表記することにし、これは図３Ａに示す通りである。
【００３９】
正常スキャンオーダは、既存の画像や動画処理方法が基本階層と強化階層、そして強化階層間のコーディングの効率を増大させる方法論(動き推定や補償DC値予測など)を用いることによって、受信端側で正常に画像を復元するためには必須的に用いるべきスキャンオーダである。
【００４０】
もし、このスキャンオーダを、部分的なビットストリームのみを受信しても画像復元が可能となるようにするスケーラブルコーディング方法に適用するようになると、図３Ｂに示すように、上位部分の部分的なマクロブロックやブロックのみでデコーディングが行われて(黒くなっているブロックはデコーディングが行われたブロック、白くなっているブロックはデコーディングが行われていないブロック)、その復元画像が受信端側の画面に表示されるようになる。
【００４１】
すなわち、基本階層から伝送されたビットストリームと強化階層で部分的に受信されてデコーディングされたビットストリームが合わせられて、向上した画像が受信端で再生されるようになるが、図３Ｂに示すように、画像の上位部分のデータのみ強化階層で受信されてデコーディングが完了すると、再生画像の画質は強化階層でデコーディングが完了した部分の画質のみ向上するようになる。もし、この場合、向上した部分の画像が、視聴者が注目しない所(例えば、背景や主人公の顔などではない部分)なら、強化階層用ビットストリームを受信して復元する過程が、使用者の認知できない部分を処理するようになって無駄に処理されるようになる短所がある。
【００４２】
一方、図４に示すように、従来のウェーブレットコーディング(Wavelet Coding)のような方法を用いたサブバンドコーディング(Subband Coding)を適用した画像及び動画コーディング方法においても、各サブバンドごとにピクセル(Pixel)単位にエンコーディングとデコーディングを、最上側左側(Upper-Left)に位置したピクセルから始まって最下側右側(bottom-left)部分のピクセルの画像データを処理する正常スキャンオーダを用いて処理している。この方法を、部分的なビットストリームのみを受信しても画像復元が可能となるようにするスケーラブルコーディング方法に用いると、最終的に受信されたサブバンドの上位部分の部分的なピクセル値のみデコーディングが完了して、その復元画像が受信端側の画面に表示されるようになる。すなわち、基本階層から伝送されたビットストリームと強化階層で部分的に受信されてデコーディングされたビットストリームが合わせられて向上した画像が受信端で再生されるようになるが、画像の上位部分のデータのみ強化階層で受信されてデコーディングが完了したら、再生画像の画質は強化階層でデコーディングが完了した部分(図４において表示された部分)の画質のみ向上するようになる。もし、この場合、向上した部分の画像が、視聴者が注目しない所(例えば、背景や主人公の顔などではない部分)なら、強化階層用ビットストリームを受信して復元する過程が、使用者で認知できない部分を処理するようになって無駄に処理されるようになる短所がある。
【発明の開示】
【発明が解決しようとする課題】
【００４３】
本発明は、前記問題点を解決するために提案されたものであり、任意の特定位置の画像情報を最優先的にコーディングした後、直ぐ隣接する外郭に位置する画像情報をその次にコーディングする過程を繰り返し行う波紋スキャン装置及びその方法を提供することにその目的がある。
【課題を解決するための手段】
【００４４】
このような目的を達成するために、本発明の装置は、波紋スキャン装置において、優先的に波紋スキャンを行うべき視覚的に重要な特定画像部分である波紋発生位置(波紋(0))の情報をスキャンするための波紋スキャン開始手段と、前記波紋発生位置を取り囲む四角形状のリング形態である次の波紋スキャン位置(波紋(1))を決定し、その前に処理した四角形状のリングを取り囲む四角形状のリング形態である次の波紋スキャン位置(波紋(i))を決定するための波紋スキャン位置決定手段と、前記波紋スキャン位置決定手段で決定された波紋スキャン位置の情報をスキャンするための波紋スキャン手段とを含む。
【００４５】
また、本発明の他の装置は、画像コーディングのための波紋スキャン装置において、画像フレーム内で優先的にコーディングして伝送すべき視覚的に重要な特定画像部分である波紋発生位置のデータからコーディングを行うための波紋発生位置データコーディング手段と、前記波紋発生位置からi番目に発生した波紋(i)の位置を決定して該当位置のデータをコーディングするための波紋位置決定及びデータコーディング手段と、前記画像フレーム内のすべてのデータがコーディングされるまで波紋の位置決定と該当画像データのコーディングを繰り返し行うようにする反復遂行如何決定手段とを含む。
【００４６】
また、本発明の他の装置は、画像デコーディングのための波紋スキャン装置において、画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置のデータからデコーディングを行うための波紋発生位置データデコーディング手段と、前記波紋発生位置からi番目に発生した波紋(i)の位置を決定して該当位置のデータをデコーディングするための波紋位置決定及びデータデコーディング手段と、前記画像フレーム内のすべてのデータがデコーディングされるまで波紋の位置決定と該当画像データのデコーディングを繰り返し行うようにする反復遂行如何決定手段とを含む。
【００４７】
また、前記各装置は、前記波紋発生位置(波紋(0))を決定するための波紋発生位置決定手段をさらに含むことを特徴とする。
【００４８】
一方、本発明の方法は、波紋スキャン装置に適用される波紋スキャン方法において、優先的に波紋スキャンを行うべき視覚的に重要な特定画像部分である波紋発生位置(波紋(0))から波紋スキャンを開始する第１段階と、前記波紋発生位置に四角形状のリングを取り囲む形態で次の波紋スキャン位置(波紋(1))を決定して波紋スキャンを行う第２段階と、四角形状のリングを、その前に処理した四角形状のリングを取り囲む形態で次の波紋スキャン位置(波紋(i))を決定して波紋スキャンを行う過程をすべてのデータに対して行う第３段階とを含む。
【００４９】
また、本発明の他の方法は、画像コーディングのための波紋スキャン装置に適用される波紋スキャン方法において、画像フレーム内で優先的にコーディングして伝送するべき視覚的に重要な特定画像部分である波紋発生位置のデータからコーディングを行う第１段階と、すべてのデータに対してコーディングを行ったか否かを判断する第２段階と、前記第２段階の判断結果、すべてのデータをコーディングしたら、終了し、そうではなかったら、次の波紋位置を決定して該当位置のデータをコーディングする過程をすべてのデータに対して繰り返し行う第３段階とを含む。
【００５０】
また、本発明の他の方法は、画像デコーディングのための波紋スキャン装置に適用される波紋スキャン方法において、画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置のデータからデコーディングを行う第１段階と、すべてのデータに対してデコーディングを行ったか否かを判断する第２段階と、前記第２段階の判断結果、すべてのデータをデコーディングしたら、終了し、そうではなかったら、次の波紋位置を決定して該当位置のデータをデコーディングする過程をすべてのデータに対して繰り返し行う第３段階とを含む。
【００５１】
また、前記各方法は、前記波紋発生位置(波紋(0))を決定する第４段階をさらに含むことを特徴とする。
【００５２】
一方、本発明は、プロセッサを備えた波紋スキャン装置に、優先的に波紋スキャンを行うべき視覚的に重要な特定画像部分である波紋発生位置(波紋(0))から波紋スキャンを開始する第１機能と、前記波紋発生位置に四角形状のリングを取り囲む形態で次の波紋スキャン位置(波紋(1))を決定して波紋スキャンを行う第２機能と、四角形状のリングを、その前に処理した四角形状のリングを取り囲む形態で次の波紋スキャン位置(波紋(i))を決定して波紋スキャンを行う過程をすべてのデータに対して行う第３機能とを実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体を提供する。
【００５３】
また、本発明は、プロセッサを備えた波紋スキャン装置に、画像フレーム内で優先的にコーディングして伝送すべき視覚的に重要な特定画像部分である波紋発生位置のデータからコーディングを行う第１機能と、すべてのデータに対してコーディングを行ったか否かを判断する第２機能と、前記第２機能での判断結果、すべてのデータをコーディングしたら、終了し、そうではなかったら、次の波紋位置を決定して該当位置のデータをコーディングする過程をすべてのデータに対して繰り返し行う第３機能とを実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体を提供する。
【００５４】
また、本発明は、プロセッサを備えた波紋スキャン装置に、画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置のデータからデコーディングを行う第１機能と、すべてのデータに対してデコーディングを行ったか否かを判断する第２機能と、前記第２機能での判断結果、すべてのデータをデコーディングしたら、終了し、そうではなかったら、次の波紋位置を決定して該当位置のデータをデコーディングする過程をすべてのデータに対して繰り返し行う第３機能とを実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体を提供する。
【００５５】
また、前記本発明は、前記波紋発生位置(波紋(0))を決定する第４機能をさらに実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体を提供する。
【００５６】
一方、前記他の目的を達成するための本発明の装置は、波紋スキャン装置を用いた画像コーディング/デコーディング装置において、前記波紋スキャン装置を用いて画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から始まってすべてのデータに対して波紋を発生させるための第１波紋発生手段と、前記第１波紋発生手段で発生した波紋位置によるデータをコーディングして前記デコーディング装置側に伝達するためのコーディング手段と、前記第１波紋発生手段で発生した波紋位置によって、前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から始まって受信されたデータに対して波紋を発生させるための第２波紋発生手段と、前記第２波紋発生手段で発生した波紋位置によるデータをデコーディングするためのデコーディング手段とを含むことを特徴とする。
【００５７】
また、前記本発明の装置は、前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分を波紋発生位置に決定して前記デコーディング装置側に伝達する第１波紋発生位置決定手段と、前記コーディング装置側の前記第１波紋発生位置決定手段から伝送された波紋発生位置によって前記画像フレーム内の波紋発生位置を決定するための第２波紋発生位置決定手段とをさらに含むことを特徴とする。
【００５８】
また、本発明の方法は、波紋スキャン装置を用いた画像コーディング/デコーディング装置に適用される画像コーディング/デコーディング方法において、前記波紋スキャン装置を用いて画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から始まってすべてのデータに対して順次波紋を発生させる第１段階と、前記第１段階で発生した波紋位置によるデータを順次コーディングして前記デコーディング装置側に伝達する第２段階と、前記第１段階で発生した波紋位置によって前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から始まって受信されたデータに対して順次波紋を発生させる第３段階と、前記第３段階で発生した波紋位置の受信データを順次デコーディングする第４段階とを含むことを特徴とする。
【００５９】
また、前記本発明の方法は、前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分を波紋発生位置に決定して前記デコーディング装置側に伝達する第５段階と、前記コーディング装置側から伝送された波紋発生位置によって前記画像フレーム内の波紋発生位置を決定する第６段階とをさらに含むことを特徴とする。
【００６０】
また、本発明の他の装置は、波紋スキャン装置を用いたスケーラブル画像コーディング/デコーディング装置において、入力画像に対して既存と同様の方法で基本階層コーディングを行って、基本階層ビットストリームを前記デコーディング装置側に伝送するための基本階層コーディング手段と、前記波紋スキャン装置を用いて画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から強化階層コーディングを行って、強化ビットストリームを前記デコーディング装置側に伝送するための強化階層コーディング手段と、前記基本階層コーディング手段から基本階層ビットストリームを伝達されて既存と同様の方法で基本階層デコーディングを行って、画像を復元するための基本階層デコーディング手段と、前記強化階層コーディング手段から強化ビットストリームを伝達されて前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置からデコーディングを行って、画像を復元するための強化階層デコーディング手段とを含むことを特徴とする。
【００６１】
また、本発明の他の方法は、波紋スキャン装置を用いたスケーラブル画像コーディング/デコーディング装置に適用されるスケーラブル画像コーディング/デコーディング方法において、入力画像に対して既存と同様の方法で基本階層コーディングを行って、基本階層ビットストリームを前記デコーディング装置側に伝送する第１段階と、前記波紋スキャン装置を用いて画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から強化階層コーディングを行って、強化ビットストリームを前記デコーディング装置側に伝送する第２段階と、前記基本階層コーディングされた基本階層ビットストリームを伝達されて既存と同様の方法で基本階層デコーディングを行って、画像を復元する第３段階と、前記強化階層コーディングされた強化ビットストリームを伝達されて前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置からデコーディングを行って画像を復元する第４段階とを含むことを特徴とする。
【００６２】
また、本発明の他の装置は、波紋スキャン装置を用いた微細粒子スケーラブル画像コーディング/デコーディング装置において、入力画像に対して既存と同様の方法で基本階層コーディングを行って、基本階層ビットストリームを前記デコーディング装置側に伝送するための基本階層コーディング手段と、前記波紋スキャン装置を用いて画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から強化階層コーディングを行って、強化ビットストリームを前記デコーディング装置側に伝送するための強化階層コーディング手段と、前記基本階層コーディング手段から基本階層ビットストリームを伝達されて既存と同様の方法で基本階層デコーディングを行って、画像を復元するための基本階層デコーディング手段と、前記強化階層コーディング手段から強化ビットストリームを伝達されて前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置からデコーディングを行って、画像を復元するための強化階層デコーディング手段とを含むことを特徴とする。
【００６３】
また、本発明の他の方法は、波紋スキャン装置を用いた微細粒子スケーラブル画像コーディング/デコーディング装置に適用される微細粒子スケーラブル画像コーディング/デコーディング方法において、入力画像に対して既存と同様の方法で基本階層コーディングを行って、基本階層ビットストリームを前記デコーディング装置側に伝送する第１段階と、前記波紋スキャン装置を用いて画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から強化階層コーディングを行って、強化ビットストリームを前記デコーディング装置側に伝送する第２段階と、前記基本階層コーディングされた基本階層ビットストリームを伝達されて既存と同様の方法で基本階層デコーディングを行って、画像を復元する第３段階と、前記強化階層コーディングされた強化ビットストリームを伝達されて、前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置からデコーディングを行って、画像を復元する第４段階とを含むことを特徴とする。
【００６４】
一方、本発明は、プロセッサを備えた画像コーディング/デコーディング装置に、前記波紋スキャン装置を用いて画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から始まってすべてのデータに対して順次波紋を発生させる第１機能と、前記第１機能で発生した波紋位置によるデータを順次コーディングして前記デコーディング装置側に伝達する第２機能と、前記第１機能で発生した波紋位置によって前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から始まって受信されたデータに対して順次波紋を発生させる第３機能と、前記第３機能で発生した波紋位置の受信データを順次デコーディングする第４機能とを実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体を提供する。
【００６５】
また、前記本発明は、前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分を波紋発生位置に決定して前記デコーディング装置側に伝達する第５機能と、前記コーディング装置側から伝送された波紋発生位置によって前記画像フレーム内の波紋発生位置を決定する第６機能とをさらに実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体を提供する。
【００６６】
また、本発明は、プロセッサを備えたスケーラブル画像コーディング/デコーディング装置に、入力画像に対して既存と同様の方法で基本階層コーディングを行って、基本階層ビットストリームを前記デコーディング装置側に伝送する第１機能と、前記波紋スキャン装置を用いて画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から強化階層コーディングを行って、強化ビットストリームを前記デコーディング装置側に伝送する第２機能と、前記基本階層コーディングされた基本階層ビットストリームを伝達されて既存と同様の方法で基本階層デコーディングを行って、画像を復元する第３機能と、前記強化階層コーディングされた強化ビットストリームを伝達されて前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置からデコーディングを行って、画像を復元する第４機能とを実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体を提供する。
【００６７】
また、本発明は、プロセッサを備えた微細粒子スケーラブル画像コーディング/デコーディング装置に、入力画像に対して既存と同様の方法で基本階層コーディングを行って、基本階層ビットストリームを前記デコーディング装置側に伝送する第１機能と、前記波紋スキャン装置を用いて画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置から強化階層コーディングを行って、強化ビットストリームを前記デコーディング装置側に伝送する第２機能と、前記基本階層コーディングされた基本階層ビットストリームを伝達されて従来通りの方法で基本階層デコーディングを行って、画像を復元する第３機能と、前記強化階層コーディングされた強化ビットストリームを伝達されて、前記画像フレーム内で優先的にデコーディングすべき視覚的に重要な特定画像部分である波紋発生位置からデコーディングを行って、画像を復元する第4機能とを実現させるためのプログラムを記録したコンピュータで読み出すことができる記録媒体を提供する。
【００６８】
前述したように、部分的なビットストリームのみを受信しても画像復元が可能となるようにするためには、強化階層間に画像のコーディングの効率を増大させる何かの方法論(強化階層間の動き補償など)も用いることができず、専ら基本階層からコーディングの効率を極大化させる方法のみを用いるべきである。
【００６９】
従って、強化階層の画像情報を伝送する時に正常スキャンオーダ(Normal Scan Order)を用いてコーディングする必要なしに任意のスキャンオーダを用いて伝送してもデコーダ端から伝送されたビットストリームを誤りなく復元できる(因果関係(Causality)と関係なく処理できる)。
【００７０】
従って、本発明では、エンコーダ端で画像フレーム内の任意の特定部分(画像フレームの中央部分または画像フレーム内で向上した画質を提供すべき部分)からエンコーディングして伝送した後、伝送された画像ビットストリームがすべて受信されなくてもデコーダ端で現在まで受信された特定部分の画像情報を優先的にコーディングすることによって該当する特定部分の画質を優先的に向上させることができるようにする。
【００７１】
すなわち、本発明は、伝送すべき画像フレーム内の任意の特定部分から優先的にエンコーディングを行って、受信端に伝送した後、受信端側で優先的に伝送された部分からデコーディングを行うようにして、伝送線路の問題によって、それ以上受信できない状況になる時、それまでに伝送されたビットストリームのみを用いて伝送された画像を復元するようにする方法であり、向上した画質を、提供すべき部分を優先的に送受信するようにする。
【００７２】
本発明に係る波紋スキャンオーダは、任意の特定位置の画像情報を最優先的にコーディングした後、直ぐ隣接する外郭に位置する画像情報をその次にコーディングすることを繰り返し行う。これは湖水面上に石を投げた時、石が水面上に落ちた位置から波紋(Water Ring)が起きることと同じものであり、波紋発生位置からコーディングを始めて次第に周辺に波紋が連鎖的に発生すると、該当位置のデータを処理することと同様である。すなわち、波紋発生位置から始まって四角形状のリングを、継続的にその前に処理した四角形状のリングを取り囲む形態のスキャンオーダを提案する。
【００７３】
そして、本発明は人間の視覚システムに適するように視覚的に重要な特定画像部分の情報を優先的にエンコーディングを行い、受信端でも該当特定部分の画像情報を優先的にデコーディングするようにして、伝送線路の帯域幅(Bandwidth)の制約によって、それ以上エンコーダ端で伝送されたすべてのビットストリームを受信されない場合にも特定の重要部分の画質が保障できるようにすることを特徴とする。
【発明の効果】
【００７４】
本発明によれば、任意の特定位置の画像情報を最優先的にコーディングした後、直ぐ隣接する外郭に位置する画像情報をその次にコーディングする過程を繰り返し行う波紋スキャン装置及びその方法を提供することができる。
【発明を実施するための最良の形態】
【００７５】
以下、添付する図面を参照して本発明に係る好ましい一実施例を詳細に説明する。
【００７６】
図５は、本発明に係る波紋スキャンオーダ(Water Ring Scan Order)に対する基本原理を説明するための概念図である。
【００７７】
本発明に係る波紋スキャンオーダは、優先的にコーディングして伝送すべき任意の特定位置がコーディングしようとする画像フレーム内で決定されるか決定されたら、該当位置からコーディングを行って、次第に周辺にコーディングを拡張して行うようにする。すなわち、任意の特定位置の画像情報を最優先的にコーディングした後、直ぐ隣接する外郭に位置する画像情報をその次にコーディングすることを繰り返し行う。
【００７８】
これは、湖上に石を投げた時、石が水面上に落ちた位置から波紋(Water Ring)が起きることと同様のことであり、基本概念は、図５に示す通りである。図面において各ブロックは画像及び動画処理方法に係るピクセルやブロックまたはマクロブロックを意味する。これを動画コーディングに適用した時、波紋発生位置(湖上に石が落ちた位置)からコーディングを始めて次第に周辺に波紋が連鎖的に発生すると、該当位置のデータを処理することと同様である。すなわち、波紋発生位置から始まって四角形状のリングを、継続的にその前に処理した四角形状のリングを取り囲む形態のスキャンオーダを提案する。
【００７９】
図５に示すように、まず波紋発生位置(波紋(0))のデータを処理した後、隣接する波紋(1)のデータ(波紋(0)の直ぐ外郭に位置した８個の隣接するデータ)を処理し、その後、波紋(2)のデータ(波紋(1)の外郭に位置する１６個の隣接するデータ)及び波紋(3)のデータなどを、連続的に次第に波紋が広がる形態に処理することになる。本発明では、波紋が広がる形態に波紋を発生させ、該当波紋位置の画像情報を処理するスキャンオーダを波紋スキャンオーダ(Water Ring Scan Order)とすることにする。
【００８０】
画像及び動画コーディングにおいて波紋スキャンオーダの適用は、ピクセル単位またはブロック単位、そしてマクロブロック単位で適用できる。ピクセル単位で適用する時は、ウェーブレット変換方法などを用いる画像ピクセル単位のコーディング方法に適用するようになり、DCTを用いる方法論にはブロック単位やマクロブロック単位で波紋スキャンオーダを用いて、動画データ処理を行うようになる。
【００８１】
図６Ａは、本発明に係る波紋スキャン方法に対する一実施例のフロー図であり、図６Ｂは、本発明に係る波紋スキャン装置に対する一実施例の構成図である。
【００８２】
図に示すように、まず波紋発生位置決定部６５で任意の特定波紋発生位置(波紋(0))を決定する(S61)。その後、データ処理部６６で該当位置のデータ(波紋(0))を処理する。以後、反復遂行如何決定部６７で最後のデータまで処理したか否かを判断して（S63）、最後まで処理したら、終了し、そうではなかったら、次の波紋位置決定部６８で隣接する波紋(1)の位置を決定した後に(S64)該当位置のデータ処理過程(S62)から繰り返し行う。
【００８３】
このように波紋スキャン装置は、画像フレーム内で任意の波紋発生位置が決定されると、該当する波紋発生位置のデータを処理する波紋発生位置決定及び処理部６５，６６、波紋発生位置からi番目に発生した波紋(i)の位置決定と該当位置のデータを処理する波紋位置決定及び処理部６８，６６及び画像フレーム内のすべてのデータが処理されるまで波紋の位置決定と該当画像データの処理とを繰り返し行うようにする反復遂行如何決定部６７とを含む。
【００８４】
図７は、本発明に係る波紋スキャンオーダでi番目に発生した波紋の画像情報位置(波紋(i))に対する説明図である。
【００８５】
前記図６Ａ及び図６Ｂで説明した波紋スキャン装置及び方法の波紋発生位置決定及び処理過程を、図７を参照して詳細に説明すると、次の通りである。
【００８６】
第１過程：波紋発生位置(波紋(0))を決定して、それに位置したデータを処理する。
【００８７】
(a)任意の波紋発生位置を決定する(図面において波紋原位置(Water Ring 
Origin Point)x、yと表示された地点)。この場合、伝送しようとする画像フレームの中央部分を波紋発生位置に決めるか、または使用者が任意の位置を波紋発生位置に指定できる。
【００８８】
(b)前記決定した波紋発生位置のデータを処理する(エンコーダではエンコーディング遂行、デコーダではデコーディング遂行)。
【００８９】
第２過程：波紋(i)の位置を決定して、それに位置するデータを処理する。
【００９０】
(a)波紋発生位置からi番目(ピクセル単位ではピクセルの個数、ブロックやマクロブロック単位では該当単位の個数)に発生した波紋(波紋(i))の位置を決定する。
【００９１】
(b)波紋(i)に位置するデータを処理する(エンコーダではエンコーディング遂行、デコーダではデコーディング遂行)。
【００９２】
第３過程：画像フレーム内のすべてのデータが処理されるまで第２過程から繰り返し行う。
【００９３】
ここでは、伝送しようとする画像フレーム内のすべてのデータが処理されるまで第２過程から繰り返し行う。
【００９４】
図７に示すように、波紋(i)は1-1、1-2、2-1、2-2、3-1、3-2、3-3、3-4に位置したピクセルやブロックまたはマクロブロックから構成されており、波紋発生位置(波紋(0))からi番目に発生した波紋を意味する。
【００９５】
図において1-1と定義された位置は、波紋発生位置からx軸には-iほど離れた位置にあり、y軸には±iより小さい位置に該当するすべてのピクセルやブロックまたはマクロブロックの画像データである。波紋発生位置を(x、y)とすると、1-1は次のように表現できる。
【００９６】
1-1：x-iであり、(y-i<y<y+i)に位置するすべてのデータ。
【００９７】
図において1-2と定義された位置は、波紋発生位置からx軸には+iほど離れた位置にあり、y軸には±iより小さい位置に該当するすべてのピクセルやブロックまたはマクロブロックの画像データである。波紋発生位置を(x、y)とすると、1-2は次のように表現できる。
【００９８】
1-2：x+iであり、(y-i<y<y+i)に位置するすべてのデータ。
【００９９】
図において2-1と定義された位置は、波紋発生位置からy軸には-iほど離れた位置にあり、x軸には±iより小さい位置に該当するすべてのピクセルやブロックまたはマクロブロックの画像データである。波紋発生位置を(x、y)とすると、2-1は次のように表現できる。
【０１００】
2-1：y-iであり、(x-i<x<x+i)に位置するすべてのデータ。
【０１０１】
図において2-2と定義された位置は、波紋発生位置からy軸には+iほど離れた位置にあり、x軸には±iより小さい位置に該当するすべてのピクセルやブロックまたはマクロブロックの画像データである。波紋発生位置を(x、y)とすると、2-2は次のように表現できる。
【０１０２】
2-2：y+iであり、(x-i<x<x+i)に位置するすべてのデータ。
【０１０３】
図において3-1、3-2、3-3、3-4と定義された位置は、波紋発生位置からx軸には±iほど、そしてy軸には±iほど離れた所に位置するピクセルやブロックまたはマクロブロックの画像データがある所である。すなわち、波紋発生位置を(x、y)とした場合、3-1の位置は(x-i、y-i)、3-2は(x+i、y-i)、3-3は(x-i、y+i)、3-4は(x+i、y+i)に該当する位置である。
【０１０４】
そして、波紋スキャン方法において波紋(i)に位置するデータは、図７に示すように1-1、1-2、2-1、2-2、3-1、3-2、3-3、3-4に位置するすべてのピクセルデータ(ウェーブレットなど画像ドメインでの処理である場合)またはブロックやマクロブロックに含まれたデータ(DCTドメインで処理した場合)であり、波紋(i)における処理順序は次の例で説明する。
【０１０５】
１．波紋(i)における処理順序の例１
波紋(i)に該当する位置にあるデータに対して、最上側左側(upper-left)のデータから最下側右側(bottom-right)のデータまで配列順に波紋スキャンを実施する。波紋スキャン遂行は、波紋(i)の形態を、図７に示すように、上側ライン(Top Line)、中間ライン(Middle Lines)、下側ライン(Bottom Line)に区分し、左側から右側に上側ライン(Top Line)==>中間ライン(Middle Lines)==>下側ライン(Bottom Line)の順に波紋スキャンを実施する。その具体的な第１実施例の処理順序を、図７を参照して説明すると、次の通りである。
【０１０６】
●上側ライン(Top Line)のデータをスキャンする。この場合、3-1(x-i、y-i)==>2-1(x-i<x<x+i、y-i)==>3-2(x+i、y-i)の順に左側から右側にスキャンを行う。
【０１０７】
●中間ライン(Middle Line)のデータをスキャンする。中間ラインのデータは、1-1(x-i、y-i<y<y+i)と1-2(x+i、y-i<y<y+i)の位置にあるデータを意味しており、左側から右側に1-1ラインのデータと1-2ラインのデータとを交互にスキャンし、1行のスキャンが終了すると、上行から下行に中間ラインにあるすべてのデータがスキャン完了するまで繰り返し行う。例えば、1-1(x-i、y-i+1)==>1-2(x+i、y-i+1)==>1-1(x-i、y-i+2)==>1-2(x+i、y-i+2)==>1-1(x-i、y-i+3)==>1-2(x+i、y-i+3)==>............==>1-1(x-i、y+i-1)==>1-2(x+i、y+i-1)のようにスキャンを繰り返す。
【０１０８】
●下側ライン(Bottom Line)のデータをスキャンする。この場合、3-3(x-i、y+i)==>2-2(x-i<x<x+i、y+i)==>3-4(x+i、y+i)の順に左側から右側にスキャンを行う。
【０１０９】
前記第１実施例の実際の具現例は次の通りである。
◎ Initial parameter
n : n'th Ring
N : number of MB in n'th Ring
prev_n : (n-1)'th Ring
start_x, start_y : start position of Ring 
(left_top X of Ring, left_top Y of Ring)
curr_x, curr_y : each position of MB in Ring
◎ Algorithm
Step 1 : Initial MB Fill
n = 1;
curr_x = start_x;
curr_y = start_y;
if ( InBoundary(curr_x, curr_y) )
FillMB(start_x, start_y);
Step 2 : Top Line MB Fill
n++;
N = 2*n - 1;
prev_n = 2*(n-1) - 1;
start_x--;
start_y--;
curr_x = start_x;
curr_y = start_y;
for j=1 to N {
if( InBoundary(curr_x, curr_y) )
FillMB(curr_x, curr_y);
curr_x++;
}
Step 3 : Middle Line MB Fill
N = prev_n;
for j=1 to N {
curr_x = start_x;
curr_y = start_y + j;
if ( InBoundary(curr_x, curr_y) )
FillMB(curr_x, curr_y);
curr_x + prev_n + 1;
if ( InBoundary(curr_x, curr_y) )
FillMB(curr_x, curr_y);
}
Step 4 : Bottom Line MB Fill
N = 2*n - 1;
curr_x = start_x;
curr_y = start_y + prev_n + 1;
for j=1 to N {
if ( InBoundary(curr_x, curr_y) )
FillMB(curr_x, curr_y);
curr_x++;
}
Step 5
if ( not VOP Fill )
goto Step 2.
else
Stop
【０１１０】
２．波紋(i)における処理順序の例２
波紋(i)に該当する位置にあるデータに対して、3(3-1、3-2、3-3、3-4)==>2-1==>1-1==>1-2==>2-2のような順に波紋スキャンを行う。
【０１１１】
●3-1(x-i、y-i)、3-2(x+i、y-i)、3-3(x-i、y+i)、3-4(x+i、y+i)の位置をスキャン及びデータ処理を行い、
●2-1(x-i<x<x+i、y-i)の位置スキャン及びデータ処理、
●1-1(x-i、y-I<y<y+i)の位置スキャン及びデータ処理、
●1-2(x+i、y-i<y<y+I)の位置スキャン及びデータ処理、
●2-2(x-i<x<x+i、y+i)の位置スキャン及びデータ処理を順に行う。
【０１１２】
３．波紋(i)における処理順序の例３
波紋(i)に該当する位置にあるデータに対して、2-1==>1-1==>1-2==>2-2==>3(3-1、3-2、3-3、3-4)のような順に波紋スキャンを行う。
【０１１３】
●2-1(x-i<x<x+i、y-i)の位置スキャン及びデータ処理、
●1-1(x-i、y-i<y<y+i)の位置スキャン及びデータ処理、
●1-2(x+i、y-i<y<y+i)の位置スキャン及びデータ処理、
●2-2(x-i<x<x+i、y+i)の位置スキャン及びデータ処理、
●3-1(x-i、y-i)、3-2(x+i、y-i)、3-3(x-i、y+i)、3-4(x+i、y+i)の位置スキャン及びデータ処理を順に行う。
【０１１４】
４．波紋(i)における処理順序の例４
波紋(i)に該当する位置にあるデータに対して、2-1==>2-2==>1-1==>1-2==>3(3-1、3-2、3-3、3-4)のような順に波紋スキャンを行う。
【０１１５】
●2-1(x-i<x<x+i、y-i)の位置スキャン及びデータ処理、
●2-2(x-i<x<x+i、y+i)の位置スキャン及びデータ処理、
●1-1(x-i、y-i<y<y+i)の位置スキャン及びデータ処理、
●1-2(x+i、y-i<y<y+i)の位置スキャン及びデータ処理、
●3-1(x-i、y-i)、3-2(x+i、y-i)、3-3(x-I、y+i)、3-4(x+i、y+i)の位置スキャン及びデータ処理を順に行う。
【０１１６】
５．波紋(i)における処理順序の例５
波紋(i)に該当する位置にあるデータに対して、1-1==>1-2==>2-1==>2-2==>3(3-1、3-2、3-3、3-4)のような順に波紋スキャンを行う。
【０１１７】
●1-1(x-i、y-I<y<y+i)の位置スキャン及びデータ処理、
●1-2(x+i、y-i<y<y+I)の位置スキャン及びデータ処理、
●2-1(x-i<x<x+i、y-i)の位置スキャン及びデータ処理、
●2-2(x-i<x<x+i、y+I)の位置スキャン及びデータ処理、
●3-1(x-i、y-i)、3-2(x+i、y-i)、3-3(x-i、y+i)、3-4(x+i、y+i)の位置スキャン及びデータ処理を順に行う。
【０１１８】
一方、波紋スキャンオーダを画像及び動画コーディングに適用する場合、用いる方法及び装置は、図８Ａに示すように、波紋発生位置決定部８１と波紋発生部８２、そして波紋の位置に該当するデータを処理する画像コーディング部８３に大きく分けられる。そして、波紋スキャンオーダを画像及び動画デコーディングに適用する場合、用いる方法及び装置は、図８Ｂに示すように、波紋発生位置定部８４と波紋発生部８５、そして波紋の位置に該当するデータを処理する画像デコーディング部８６に大きく分けられる。
【０１１９】
図８Ａは、本発明に係る波紋スキャンオーダを用いた画像コーディング装置の一実施例の構成図であり、図８Ｂは、本発明に係る波紋スキャンオーダを用いた画像デコーディング装置の一実施例の構成図である。
【０１２０】
前記波紋発生位置決定部８１，８４のうち、エンコーダ側の波紋発生位置決定部８１は、波紋が発生する任意の位置を決定し、該当座標をデコーダ側に送信する機能を行う部分である。デコーダ側の波紋発生位置決定部８４は、エンコーダ側から伝送された座標に基づいて画像フレーム内の波紋発生位置を決定する。一方、波紋発生位置を事前に画像フレームの中央部分などに決定してエンコーダとデコーダが互いに、本決定部の役割をスキップ(Skip)する。
【０１２１】
波紋発生部８２.８５では前述した様々な波紋発生方法を用いて、i番目の波紋(波紋(i))を発生させる役割を果たし、波紋(i)の発生位置を画像コーディング部(または画像デコーディング部)に知らせて、画像コーディング部(または画像デコーディング部)が該当画像フレームのコーディング(またはデコーディング)を行うようにする。
【０１２２】
画像コーディング部(または画像デコーディング部)では波紋発生部８２，８５で決定された座標に該当する画像データを処理する。
【０１２３】
本方法を実際コーディングに適用した時の例を、図９Ａ及び図９Ｂを参照して説明すると、次の通りである。
【０１２４】
図９Ａは、DCTを用いた画像コーディング方法に波紋スキャンオーダを適用する概念を示す一例示図であり、図９Ｂは、ウェーブレット変換を用いた画像コーディング方法に波紋スキャンオーダを適用する概念を示す一例示図である。
【０１２５】
DCTを用いるコーディング方法を用いる時は、8X8のブロック単位や、16X16のマクロブロック単位で波紋を発生させて画像コーディングを行い、ウェーブレット変換などを用いたピクセル単位の画像コーディング方法に適用時にはピクセル単位で波紋を発生させて画像コーディングを行う。
【０１２６】
DCTを用いた動画処理に波紋スキャンオーダを適用した時の例は、図９Ａのように示される。QCIF(176X144ピクセル)画像フレームに適用する場合に11X9個のマクロブロック(16X16)が存在するが、画像フレームの中央部に位置するマクロブロックからマクロブロック単位で波紋を発生させてコーディングに適用した例を図９Ａに示しており、波紋発生位置(波紋(0)から)から波紋(1)、...、波紋(5)まで６個の波紋が発生して全体画像がコーディングされる。デコーダ端で伝送線路の帯域幅(Bandwidth)の制約によって、すべてのデータが受信されない場合にも波紋(0)から波紋(1)など画像フレームの中央部に該当するマクロブロックなどのデータは受信されて、デコーディングが完了する場合が確率的に多く(最優先的に送信されたので)、縁部分のマクロブロックのデータが処理されなくても、画像の中央部分の画質の向上は保障するようになる。
【０１２７】
図９Ｂは、ウェーブレット変換を用いた画像コーディング方法に波紋スキャンオーダを適用した例であって、各サブバンド(Subband)に該当する画像をピクセル単位で各サブバンドの中心から波紋を発生させて画像コーディングに適用した例である。これは上側右側(upper-right)に位置するサブバンドのコーディングには波紋が発生されてコーディングされたが、伝送線路上の帯域幅の制約によって全体領域のデータが処理されず、中央部分の画像データのみ処理された例を図式化したものである。
【０１２８】
一方、スケーラブル動画コーディングの応用例として微細粒子スケーラブルコーディング(FGS Coding)に波紋スキャンオーダを適用した例を説明すると、次の通りである。
【０１２９】
２つの例を提示したが、１番目の例では波紋発生位置と発生した位置のデータを同時に処理することに焦点が合わせられており、２番目の例では波紋発生位置決定過程と発生位置のデータ処理過程とを分けて行うことに焦点が合わせられている。
【０１３０】
１番目の例には、各ビットプレーン別にビットプレーン可変長符号化(Bit-plane VLC)または復号化を行う時、任意の特定位置から波紋スキャンを行って、優先的にコーディングまたはデコーディングするマクロブロックやブロックの位置を決定し、該当マクロブロックやブロックにある画像情報を位置決定と同時に処理する過程がエンコーダ端とデコーダ端に存在する場合である。
【０１３１】
図１０Ａは、本発明に係る微細粒子スケーラブルコーディング方法に波紋スキャンオーダを適用した場合のエンコーダ端の一実施例の構造図であり、図１０Ｂは、本発明に係る微細粒子スケーラブルコーディング方法に波紋スキャンオーダを適用した場合のデコーダ端の一実施例の構造図である。
【０１３２】
FGS強化階層エンコーディングは、図１０Ａに示すように、原画像(original image)と基本階層で再生された画像との誤差(residues)を求める過程、離散的コサイン変換を行う過程(DCT)、ビットプレーンシフト過程(Bit-plane shift)、最大値検索過程(Find Maximum)、ビットプレーン別に可変長符号化を行う時に波紋スキャンオーダに合うように行う過程(波紋スキャンオーダに係るビットプレーンVLC過程：Bit-plane VLC along Water Ring Scan Order)に分かれて行われる。
【０１３３】
前記誤差を求める過程においては、基本階層でコーディングされた後に再生された画像と原画像(Original Image)との差(difference)を求めて、その誤差値(residues)を求める。
【０１３４】
前記離散的コサイン変換を行う過程(DCT)においては、先に求められた画像基盤誤差値(residues)をブロック単位(8X8単位)DCTを用いて、DCTドメインに変換する。
【０１３５】
この場合、選択的に良い画質を有するブロックが必要なら、該当値を最優先的に伝送すべきであり、このためにビットプレーンシフトを選択的に行うことができる。これを選択的強化(Selective Enhancement)と定義し、ビットプレーンシフト(Bit-plane Shift)過程で行われる。
【０１３６】
前記最大値検索過程においては、離散的コサイン変換を終了したすべての値の絶対値に対する最大値を求める。この値は該当画像フレームを伝送するための最大ビットプレーンの個数を求めることに用いられる。
【０１３７】
前記波紋スキャンオーダに従うビットプレーン可変長符号化過程においては、各ビットプレーン別にビットプレーン可変長符号化(Bit-plane VLC)を行う時、任意の特定位置から波紋スキャンを行って、優先的にコーディングするマクロブロックやブロックの位置を決定し、決定されたコーディング順序(優先順位)に合うようにブロック単位で求められた６４個のDCT係数(DCT係数の該当ビットプレーンのビット：0または1)をジグザグスキャン(zigzag scan)順序に一つの行列に入力し、それらを可変長コード表(VLC table)に応じてランレングス(Run-length)符号化を同時に行う。その他の基本階層の符号化過程は、従来の技術において説明したものと同様であるので、ここではそれ以上の説明しないことにする。
【０１３８】
図１０Ｂに示すように、FGS強化階層のデコーディングはエンコーダと逆順に強化階層に伝送されたビットストリームのデコーディングを行うようになるが、先に入力された強化ビットストリーム(Enhancement Bitstream)をエンコーダと約束(エンコーダで開始位置を伝送して受信された位置や、または事前に約束された位置：例えば、画像フレームの中央マクロブロックやブロック)された波紋発生位置からビットプレーン別に可変長復号化(Bit-plane VLD)を波紋スキャンオーダに合わせて行う過程(Bit-plane VLD along Water Ring Scan Order)、選択的に良い画質を有するブロックの位置などが伝送されたら、ビットプレーンシフト(Bit-plane Shift)を選択的に行う過程、ビットプレーン別にVLDが行われ、選択的にシフトが行われて導出された値にブロック単位(8X8単位)の逆離散的コサイン変換(IDCT：Inverse Discrete Cosine Transform)を行って強化階層から伝送された画像を復元する過程、基本階層から復号化された画像と合わせた後にそれらの値を0と255値との間にクリッピング(Clipping)して最終的に向上した画像を復元する過程とから構成される。その他の基本階層の復号化過程は、従来技術で説明したものと同様であるので、ここではそれ以上説明しないことにする。
【０１３９】
一方、スケーラブル動画コーディングの応用例として微細粒子スケーラブルコーディング(FGS Coding)に波紋スキャンオーダを適用した２番目の例は次の通りであり、波紋発生位置決定過程と発生位置のデータ処理過程とを分けて行うことが１番目の例と異なる。
【０１４０】
ここで、微細粒子スケーラブルコーディングを行う時、エンコーダ端では波紋スキャンを用いて波紋発生位置を決定した後、コーディングすべき画像情報をバッファに波紋発生順に配列しておいて、バッファに配列された順にビットプレーンVLCを行い、デコーダ端ではビットプレーンVLDを行って再生された画像情報の位置を、波紋スキャンオーダを用いて再配置した後、ビットプレーンシフトとIDCTを行う。
【０１４１】
図１１Ａは、本発明に係る微細粒子スケーラブルコーディング方法に波紋スキャンオーダを適用した場合のエンコーダ端の他の実施例構造図であり、図１１Ｂは、本発明に係る微細粒子スケーラブルコーディング方法に波紋スキャンオーダを適用した場合のデコーダ端の他の実施例構造図である。
【０１４２】
FGS強化階層エンコーディングは、図１１Ａに示すように、原画像と基本階層で再生された画像との誤差(residues)を求める過程、離散的コサイン変換を行う過程(DCT)、ビットプレーンシフト過程(Bit-plane shift)、最大値検索過程(Find Maximum)、画像フレーム内の画像情報をビットプレーン別に波紋スキャンオーダに合うように再構成する過程(Water Ring Scan)、ビットプレーン別に可変長符号化を行う過程(Bit-plane VLC)とに分かれて行われる。
【０１４３】
前記誤差を求める過程においては、基本階層でコーディングされた後、再生された画像と原画像(Original Image)との差(difference)を求めて、その誤差値(residues)を求める。
【０１４４】
前記離散的コサイン変換を行う過程(DCT)においては、先に求められた画像基盤誤差値(residues)をブロック単位(8X8単位)DCTを用いてDCTドメインに変換する。
【０１４５】
この場合、選択的に良い画質を有するブロックが必要なら、該当値を最優先的に伝送すべきであり、このためにビットプレーンシフトを選択的に行うことができる。これを選択的強化(Selective Enhancement)と定義し、ビットプレーンシフト(Bit-plane Shift)過程で行う。
【０１４６】
前記最大値検索過程においては、離散的コサイン変形を終了したすべて値の絶対値に対する最大値を求める。この値は該当画像フレームを伝送するための最大ビットプレーンの個数を求めることに用いられる。
【０１４７】
前記波紋スキャン過程(Water Ring Scan)においては、任意の特定位置から波紋スキャンを行って、優先的にコーディングするマクロブロックやブロックを決定し、決定されたコーディング順序に合うように画像フレーム内の画像情報をビットプレーン別に特定バッファに再配置する。
【０１４８】
前記ビットプレーン可変長符号化過程においては、波紋スキャン過程でビットプレーン別に特定バッファに再配置した画像情報を各ビットプレーン別にビットプレーン可変長符号化(Bit-plane VLC)を行う時、ブロック単位で求められた64個のDCT係数(DCT係数の該当ビットプレーンのビット:0または1)をジグザグスキャン(zigzag scan)順序で一つの行列に入力し、それらを可変長コード表(VLC table)に応じてランレングス(Run-length)符号化を行う。その他の基本階層の符号化過程は、従来技術で説明したものと同様であるので、ここではそれ以上説明しないことにする。
【０１４９】
図１１Ｂに示すように、FGS強化階層のデコーディングはエンコーダと逆順に強化階層に伝送されたビットストリームのデコーディングを行うようになるが、先に入力された強化ビットストリーム(Enhancement Bitstream)をビットプレーン別に可変長復号化(Bit-plane VLD)を行う過程、エンコーダと約束(エンコーダで開始位置を伝送して受信された位置や、または事前に約束された位置：例えば、画像フレームの中央マクロブロックやブロック)された波紋発生位置から波紋スキャンオーダに合わせて受信された画像データを再配置する過程、選択的に良い画質を有するブロックの位置などが伝送されたら、ビットプレーンシフト(Bit-plane Shift)を選択的に行う過程、ビットプレーン別にVLDが行われ、選択的にシフトが行われて導出された値にブロック単位(8X8単位)の逆離散的コサイン変換(IDCT：Inverse Discrete Cosine Transform)を行って強化階層から伝送された画像を復元する過程、基本階層から復号化された画像と合わせた後にその値を0と255値の間にクリッピング(Clipping)して最終的に向上した画像を復元する過程とから構成される。その他の基本階層の復号化過程は従来技術で説明したものと同様であるので、ここではそれ以上説明しないことにする。
【０１５０】
図１２は、MPEG-4基盤微細粒子スケーラブルコーディング方法に波紋スキャン方法を挿入して実際に実験した結果の一例示図である。
【０１５１】
図に示した２個の画像は、MPEG-4標準化会議で主に用いられるフォアマン(Foreman)画像シーケンス(Sequence)をOCIF級(176ピクセルX144ピクセル)で1秒当たり5フレームをコーディング(5Hz)して伝送すると仮定した時、基本階層は16kbpsで伝送し、強化階層ですべての強化ビットストリームをコーディングして伝送したが、伝送線路の帯域幅(Bandwidth)制約によって総48kbpsのビットストリームのみデコーダ端で受信されて再生された画像を示している(図はフォアマンシーケンスの24番目のフレームの画像をキャプチャー(Capture)したものである)。
【０１５２】
図において1201に表示された画像は、元来(Original)のMPEG-4微細粒子スケーラブルコーディングで再生された画像であり、2に表示された画像はMPEG-4微細粒子スケーラブルコーディング方法に波紋スキャン(Water Ring Scan)方法を付加して行った結果画像である。
【０１５３】
フォアマンの顔部分を見ると、1201の画像より1202の画像でさらに高い画質を示していることが主観的にも観察でき、客観的な画質をPSNR(Peak Signal to Noise Ratio)を用いてグラフに表したが、1205に表示されたグラフはルミナンス(Luminance)(Y)部分のPSNR比較グラフであり、12066と1207に表示されたグラフはクロミナンス(Chrominance)(U、V)部分のPSNR比較グラフであって、波紋スキャンを用いた方法のPSNRがルミナンス(Luminance)(Y)(5に表示されたグラフ)で約2.32dB(図において波紋スキャン方法は、Water Ringに表記される。結果が39.448540dBであり、元来の方法はOriginalに表記される。結果は37.124660dBが導出された)優れていることが分かる。PSNRの計算は人間の視覚システムを考慮して画像の中央部のPSNRを計算した。
【０１５４】
図で実際コーディング結果を観察したように主観的にも客観的にも波紋スキャン方法を適用したFGSコーディング方法が、元来のFGS方法より優れていることが観察できるが、画質の差が生じる原因を1203と1204に表記された絵を通して比較できる。
【０１５５】
図において、1203に表記された絵は、元来のFGS方法でビットプレーン別にデコーディングを行ったマクロブロックを表現したものであり、伝送線路の帯域幅の制約によってデコーダ端で総48Kbpsのみを受信して受信完了した画像情報のみを用いてデコーディングを行った結果であって、最も重要なビットプレーン(３つの絵のうち、MSB(Most Significant Bit)と表示された部分)、その次に重要なビットプレーン(３つの絵のうち、MSB-1と表記された部分)の画像データはすべてコーディング完了したが(すべて黒くなっている)、MSB-2ビットプレーンのデータが上位1/3以下のみデコーディング完了した状況であって(黒くなっていない部分は受信されたデータがないため、デコーディングを行っていない場合である)、人間の視覚システムに比較したら、人間が顕著に認知できない画像フレームの縁部分、すなわち、フォアマンの顔部分に該当しない上部の縁部分のみ画質が向上した結果であり、画像フレームの全体画質を主観的に評価する時、画質が相対的に落ちることに気づく。
【０１５６】
これに対して、波紋スキャン方法を用いたFGSコーディング方法は、図において、1204に表記された部分にデコーディングが完了したマクロブロックを示しているが、MSBとMSB-1のビットプレーンは、元来の方法と同様にすべてデコーディングが完了しており、またMSB-2ビットプレーンの画像情報は部分的にデコーディングが完了したことが分かる。しかし、波紋スキャン方法を用いて人間の視覚システムに適するように画像フレームの中央部からエンコーディングとデコーディングを行って、中央部に位置したマクロブロックの画像情報を処理してその結果を示しているが、図において1202に表示された画像から分かるように画面の中央部の画像の画質が相対的に非常に優れていることが分かることから、波紋スキャン方法の優秀性を確認することができる。
【０１５７】
これは人間の視覚システムに適するように波紋スキャンオーダを適用して、画像フレームの中央部(または任意の特定位置)からエンコーディングを行って伝送し、デコーダ部でも画像の中央部(または任意の特定位置)からデコーディングを行って、伝送線路の帯域幅の制約によって、それ以上エンコーダ端から伝送されたビットストリームが受信されない場合にも画像フレームの中央部(または特定位置)は常に優れた画質の画像が再生できる。
【０１５８】
しかし、既存の方法は常に最上側左側(upper-left)部分から最下側右側(bottom-right)部分までのマクロブロックを順にエンコーディング及びデコーディングするように設計されているので、伝送線路の制約によってすべての伝送ビットストリームが受信されない場合には常に画像フレームの上側の縁部分から始める部分的なビットストリームのみを処理するようになっており、人間の視覚システムに適しない画質を再生するようになるので、画像フレームの中央部分の画質が保障できない。
【０１５９】
波紋スキャンオーダを16:9画面比率に合わせて適用した他の実施例を、図１３を参照して説明する。
【０１６０】
図１３は、本発明の他の実施例に係る16:9画面比率のための波紋スキャンオーダ原理を説明するための概念図である。
【０１６１】
16:9画面比率のための任意の中心波紋スキャンオーダで波紋(i)における処理順序を説明する。
【０１６２】
波紋は任意の波紋中心点の核心部分(core)から符号化を始める。図１３の真中のマクロブロック(Control Point)が任意中心(Arbitrary Center：(x、y))に与えられた時、符号化が始まるマクロブロックは開始地点に指定されたマクロブロック(Start point)になり、1301と明示されたマクロブロックと真中のマクロブロックを含む符号化が右方向に進行される。核心部分に対する符号化が終了したら、2と明示された上側と右側部分に対するマクロブロック(Top and Right line)の符号化が行われ、その後、1303と明示された左側と下側のマクロブロック(Left and Bottom line)に対する符号化が行われる。マクロブロック1302と1303は中心地点から波を起こすように繰り返しフレーム内のすべてのマクロブロックが符号化されるまで繰り返し符号化を行う。
【０１６３】
開始地点は画面比率に応じてその位置が変わるようになる。開始地点は下記の式のように、横の方向は横の長さのマクロブロック(MB)の個数から縦の長さのマクロブロックの個数を引いた値の半分を引いた値になり、縦の方向は与えられた開始地点と同じである。例えば、横１６個、縦９個のマクロブロックがあると仮定し、開始点を(7、4)にしたら、符号化を始める開始地点は(4、4)となる。
【０１６４】
【数１】
2008072734.tif 000003
【０１６５】
2008072734.tif 000004
【０１６６】
核心部分の符号化が行われ、繰り返し波紋に対する符号化を行うが、事前にまず全体ブロックの符号化がすべて終了したか否か検査を行う。この検査を行わない場合、最大4倍の作業量がより損失(Overhead)される。
【０１６７】
各部分の符号化の順序は、1302と明示されたマクロブロック(Top and Right Line)から1403と明示されたマクロブロック(Bottom and Left Line)に行われ、各部分内においては常に左側から右側方向への順次符号化が行われる。
【０１６８】
図１４は、本発明の他の実施例に係る16:9画面比率における波紋スキャンオーダでi番目に発生した波紋に対する説明図である。
【０１６９】
i-1番目の波紋に対する符号化が終了したら、まず開始地点に明示されたマクロブロック(Start point of ith Water Ring)の符号化を行い、右側方向に上位ライン(Top Line)に対する符号化が順次W+i-1個まで行われ、以後、右側ライン(Right Line)に対する符号化が下側方向に総合W+3*i+1個まで行われる。
【０１７０】
以後、すべてのブロックに対する符号化が終了したか否かを検査し、また底部と左側部分(Bottom and Left Line)に対する符号化が行われる。i番目の波紋でW+3*i+2と明示されたブロックに対する符号化が先に行われ、そのマクロブロックから下側方向にI個のマクロブロックに対する符号化が左側部分(Left Line)に対して行われる。以後、直ぐ下側マクロブロックから右側方向にi番目の波紋で全体2*(W+3*i+1)個のブロックに対する符号化が底部部分(Bottom Line)に対して行われる。
【０１７１】
16:9画面比率での波紋スキャン方法の実際の具現例は次の通りである。
【０１７２】
◎ Initial Parameter
Width : The number of MBs in Width of Map
Height : The number of MBs in Height of Map
Control Point : (x,y) : Coordination of Center MB position of Water Ring
Start Point : (Sx,Sy) : Coordination of Start MB Position of Water Ring
【０１７３】
【数２】
2008072734.tif 000005
CodeMB(x,y) : A coding function for designated macroblock. According to Water Ring scan order, VLC or VLD for each bitplane are performed in the FGS encoder and decoder, respectively. x and y are coordinate of macroblock in the image frame.
flag CheckBound() : A checking function for out of bound Map. If the CheckBound() set(return TRUE), bellow iteration Aborted. This mean is coded All block already. If the CheckBound() function return FALSE, Next step is executed.
coordinate is an unit of macroblock.
◎ Algorithm
Step 1. code the start point of Water Ring and core part(include control point).
The Water Ring origin is located at (x,y)
for(i=0;i<W;i++)
CodeMB(Sx+i,Sy);
j=1;
Step 2. Check Stopping condition of the Algorithm.
if(CheckBound()==NULL) go to step 6.
Step 3. Code the top line and right line of the Water Ring
for(i=-j;i<W+3*j-1;i++)
if(i<W+j)
CodeMB(Sx+i,Sy-j);
else
CodeMB(Sx+W+j-1,Sy+i-(W+2*j-1));
Step 4. Check stopping condition of the Algorithm.
if(CheckBound()==NULL) go to step 6.
Step 5. Code the Bottom line and left line of the Water Ring.
for(i=-j;i<W+3*j-1;i++)
if(i<j)
CodeMB(Sx-j,Sy+i+1);
else
CodeMB(Sx+i-2*j+1,Sy+j);
【０１７４】
【数３】
2008072734.tif 000006
【０１７５】
実施例１で説明した波紋スキャンオーダ方法は、基本原理を説明するためのものであり、ハードウェア具現を考慮していない。1-1と1-2の符号化において、ジグザグ(zigzag)方向の符号化を行い、キャッシュ(Cache)の的中率(hit-rate)を下げる主な要因となった。従って、2-1の符号化以後、1-1と1-2の符号化をジグザグ順序にせず、1-2の符号化を下側方向に符号化し、1-1の符号化を下側方向に行い、2-2の符号化を行って、順次的な(予測可能な)方法を用いると、キャッシュの的中率を高めることができる。このような方法は図１５を参照して説明する。
【０１７６】
図１５は、本発明の他の実施例に係る16:9画面比率における波紋スキャンオーダでi番目の波紋を效果的にスキャンするための順序を説明する説明図である。
【０１７７】
i番目の波紋でまず2-1に対する符号化を行い、同時に右側部分に対する符号化を行う(1501)。右側ラインに対する符号化が終了すると、左側部分に対する符号化を行い下側部分に対する符号化を行う(1502)。すなわち、基本方法としては3番目の波紋を符号化している場合、総１１回の予測できない地点への分岐が行われるが、新しく提示された方法論に従う場合、i番目の波紋の開始地点と波紋の分岐地点、すなわち、上側と右側マクロブロックに対する符号化が終了し、左側と下側マクロブロックに対する符号化が始まる時点の総２回のみ分岐が行われ、的中率を大きく高めることができる。既存に提示した方法論は波紋が大きくなるほど分岐がより多くなるが、新しい方法論は波紋の繰り返し回数に関係なく無条件に2回とその回数が決まっている。このような方式で波紋をフレームの全体が符号化されるまで繰り返す。
【０１７８】
前記のような本発明は、人間の視覚システムに適するように視覚的に重要な特定画像部分の情報を優先的にエンコーディングを行って伝送し、受信端でも該当特定部分の画像情報を優先的にデコーディングするようにして、伝送線路の帯域幅(Bandwidth)の制約によって、それ以上エンコーダ端で伝送されたすべてのビットストリームをデコーダ端で受信されない場合にも特定の重要部分の画質を常に保障できる効果がある。
【０１７９】
なお、本発明は、本実施例に限られるものではない。本発明の趣旨から逸脱しない範囲内で多様に変更実施することが可能である。
【図面の簡単な説明】
【０１８０】
【図１Ａ】従来の基本的な微細粒子スケーラブル(FGS: Fine Granular Scalability)コーディング方法の一実施例の構造図である。
【図１Ｂ】従来の２段階のFGSとFGST(Fine Granular Scalability Temporal)の向上段階を有する微細粒子スケーラブルコーディング方法の一実施例の構造図である。
【図１Ｃ】従来のFGSとFGSTとが一つの段階に統合運営される強化段階を有する微細粒子スケーラブルコーディング方法の一実施例の構造図である。
【図２Ａ】従来の微細粒子スケーラブルコーディング方法のエンコーダ端の一実施例の構造図である。
【図２Ｂ】従来の微細粒子スケーラブルコーディング方法のデコーダ端の一実施例の構造図である。
【図３Ａ】従来のDCTを用いた画像及び動画コーディング方法において正常スキャンオーダ(Normal Scan Order)の一例示図である。
【図３Ｂ】従来の正常スキャンオーダをスケーラブルコーディング方法に適用した一例示図である。
【図４】従来の正常スキャンオーダをスケーラブルコーディング方法に適用した他の例示図である。
【図５】本発明に係る波紋スキャンオーダ(Water Ring Scan Order)に対する基本原理を説明するための概念図である。
【図６Ａ】本発明に係る波紋スキャン方法に対する一実施例のフロー図である。
【図６Ｂ】本発明に係る波紋スキャン装置に対する一実施例の構成図である。
【図７】本発明に係る波紋スキャンオーダにおいてi番目に発生した波紋の画像情報位置(波紋(i))に対する説明図である。
【図８Ａ】本発明に係る波紋スキャンオーダを用いた画像コーディング装置の一実施例の構成図である。
【図８Ｂ】本発明に係る波紋スキャンオーダを用いた画像デコーディング装置の一実施例の構成図である。
【図９Ａ】DCTを用いた画像コーディング方法に波紋スキャンオーダを適用する概念を示す一例示図である。
【図９Ｂ】ウェーブレット変換を用いた画像コーディング方法に波紋スキャンオーダを適用する概念を示す一例示図である。
【図１０Ａ】本発明に係る微細粒子スケーラブルコーディング方法に波紋スキャンオーダを適用した場合のエンコーダ端の一実施例の構造図である。
【図１０Ｂ】本発明に係る微細粒子スケーラブルコーディング方法に波紋スキャンオーダを適用した場合のデコーダ端の一実施例の構造図である。
【図１１Ａ】本発明に係る微細粒子スケーラブルコーディング方法に波紋スキャンオーダを適用した場合のエンコーダ端の他の実施例の構造図である。
【図１１Ｂ】本発明に係る微細粒子スケーラブルコーディング方法に波紋スキャンオーダを適用した場合のデコーダ端の他の実施例の構造図である。
【図１２】MPEG-4基盤微細粒子スケーラブルコーディング方法に波紋スキャン方法を挿入して実際に実験した結果の一例示図である。
【図１３】本発明の他の実施例に係る16:9画面比率のための波紋スキャンオーダの原理を説明するための概念図である。
【図１４】本発明の他の実施例に係る16:9画面比率における波紋スキャンオーダでi番目に発生した波紋に対する説明図である。
【図１５】本発明の他の実施例に係る16:9画面比率における波紋スキャンオーダにおいてi番目の波紋を效果的にスキャンするための順序を説明するための説明図である。
【符号の説明】
【０１８１】
６５  波紋発生位置決定部
６６  データ処理部
６７  反復遂行如何決定部
６８  波紋位置決定部
８１，８４  波紋発生位置決定部
８２，８５  波紋発生部
８３  画像コーディング部
８６  画像デコーディング部
【図１Ａ】
2008072734.tif 000007
【図１Ｂ】
2008072734.tif 000008
【図１Ｃ】
2008072734.tif 000009
【図２Ａ】
2008072734.tif 000010
【図２Ｂ】
2008072734.tif 000011
【図３Ａ】
2008072734.tif 000012
【図３Ｂ】
2008072734.tif 000013
【図４】
2008072734.tif 000014
【図５】
2008072734.tif 000015
【図６Ａ】
2008072734.tif 000016
【図６Ｂ】
2008072734.tif 000017
【図７】
2008072734.tif 000018
【図８Ａ】
2008072734.tif 000019
【図８Ｂ】
2008072734.tif 000020
【図９Ａ】
2008072734.tif 000021
【図９Ｂ】
2008072734.tif 000022
【図１０Ａ】
2008072734.tif 000023
【図１０Ｂ】
2008072734.tif 000024
【図１１Ａ】
2008072734.tif 000025
【図１１Ｂ】
2008072734.tif 000026
【図１２】
2008072734.tif 000027
【図１３】
2008072734.tif 000028
【図１４】
2008072734.tif 000029
【図１５】
2008072734.tif 000030