(57)【要約】【課題】  映像の特性によって関心領域のデータを可変的に重畳生成するか、非関心領域のデータを縮少することによって、エラー発生時に復原力を高める関心領域基盤の映像符号化、復号化方法及び装置を提供する。【解決手段】  映像の関心領域内に位置した各ブロックの複雑度を計算した後、大きな複雑度を有する関心領域のブロックはさらに多い重畳ブロックを生成し、小さな複雑度を有する関心領域のブロックは、さらに少ない重畳ブロックを生成することによって、変換された映像を符号化する関心領域基盤の映像符号化、復号化方法及び装置。【選択図】      図３
2007184942.tif 000002
【特許請求の範囲】
【請求項１】
関心領域基盤の映像符号化方法において、
映像内で重畳して符号化する関心領域を決定する段階と、
前記関心領域内に位置したブロックの映像特性を計算する段階と、
前記計算されたブロックの映像特性を用いて前記関心領域内に位置した各ブロックの重畳生成倍率を設定する段階と、
前記設定された重畳生成倍率によって前記関心領域内に位置したブロックを所定方向に重畳生成して映像を変換する段階と、
前記変換された映像を符号化する段階とを含むことを特徴とする関心領域基盤の映像符号化方法。
【請求項２】
前記ブロックの映像特性を計算する段階は、
前記関心領域内に位置した各ブロックの複雑度を計算する段階と、
前記計算された各ブロックの複雑度を用いて前記関心領域内の同じ列または行に位置したブロックの平均複雑度及び複雑度の標準偏差を計算する段階とをさらに含むことを特徴とする請求項１に記載の関心領域基盤の映像符号化方法。
【請求項３】
前記複雑度は、
各ブロックの分散、ＭＳＥ（Ｍｅａｎ  Ｓｑｕａｒｅ  Ｅｒｒｏｒ）及びＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）のうち少なくとも１つを用いて計算されることを特徴とする請求項２に記載の関心領域基盤の映像符号化方法。
【請求項４】
前記関心領域内に位置した各ブロックの重畳生成倍率を設定する段階は、
前記関心領域内に位置した各ブロックの複雑度と前記関心領域内の同じ列または行に位置したブロックの平均複雑度とを比較して、前記関心領域内に位置した各ブロックを複雑度によって分類する段階と、
前記分類されたブロックの複雑度に比例して前記分類されたブロックの重畳生成倍率を設定する段階とをさらに含むことを特徴とする請求項１に記載の関心領域基盤の映像符号化方法。
【請求項５】
前記関心領域内の同じ列または行に位置した各ブロックを複雑度によって分類する段階は、
前記関心領域内の同じ列または行に位置したあらゆるブロックの平均複雑度より所定の第１臨界値以上の大きな複雑度を有するブロックを、複雑度の高いブロックに分類し、前記平均複雑度より所定の第２臨界値以下の小さな複雑度を有するブロックは、複雑度の低いブロックに分類し、前記第１臨界値と第２臨界値との間の複雑度を有するブロックは中間複雑度を有するブロックに分類する段階をさらに含むことを特徴とする請求項４に記載の関心領域基盤の映像符号化方法。
【請求項６】
前記関心領域内に同じ列または行に位置したブロックの複雑度の平均をｍ、標準偏差をσ、前記複雑度の区間を分けるための変換係数をａ（ａは、実数）とする時、前記第１臨界値はｍ＋（σ×ａ）であり、前記第２臨界値はｍ−（σ×ａ）であることを特徴とする請求項５に記載の関心領域基盤の映像符号化方法。
【請求項７】
前記変換係数ａは、前記複雑度の高いブロックの数と前記複雑度の低いブロックの数とを同一に決定することを特徴とする請求項６に記載の関心領域基盤の映像符号化方法。
【請求項８】
前記分類されたブロックの重畳生成倍率を設定する段階は、
前記関心領域内に位置したブロックの重畳ブロック生成倍率基本値をＭ、各ブロックの複雑度によって重畳ブロックの拡大または縮少比率を表すための複雑度適用係数をα（αは、実数）とする時、前記分類されたブロックのうち、複雑度の高いブロックの重畳ブロック生成倍率はＭ＋α、複雑度の低いブロックの重畳ブロック生成倍率はＭ−α、中間複雑度を有するブロックの重畳生成倍率はＭに設定する段階をさらに含むことを特徴とする請求項１に記載の関心領域基盤の映像符号化方法。
【請求項９】
前記映像を変換する段階は、
非関心領域に位置したブロックのうち、前記関心領域に位置したブロックの重畳生成方向に位置したブロックを縮少変換する段階をさらに含むことを特徴とする請求項１に記載の関心領域基盤の映像符号化方法。
【請求項１０】
前記変換された映像を符号化する段階は、
前記再構成された映像の符号化結果生成されたビットストリームの所定領域に前記各ブロックの重畳生成倍率情報を表す変換マップ情報を付加する段階をさらに含むことを特徴とする請求項１に記載の関心領域基盤の映像符号化方法。
【請求項１１】
関心領域基盤の映像符号化装置において、
映像内で重畳して符号化する関心領域を決定する関心領域決定部と、
前記関心領域内に位置したブロックの映像特性を計算する関心領域特性計算部と、
前記計算されたブロックの映像特性を用いて前記関心領域内に位置した各ブロックの重畳生成倍率を設定する重畳生成倍率設定部と、
前記設定された重畳生成倍率によって前記関心領域内に位置したブロックを所定方向に重畳生成して映像を変換する映像変換部と、
前記変換された映像を符号化する映像符号化部とを備えることを特徴とする関心領域基盤の映像符号化装置。
【請求項１２】
前記関心領域特性計算部は、
前記関心領域内の同じ列または行に位置したブロックの複雑度と、前記関心領域内の同じ列または行に位置した全体ブロックの平均複雑度及び複雑度の標準偏差を計算することを特徴とする請求項１１に記載の関心領域基盤の映像符号化装置。
【請求項１３】
前記関心領域特性計算部は、
各ブロックの分散、ＭＳＥ（Ｍｅａｎ  Ｓｑｕａｒｅ  Ｅｒｒｏｒ）及びＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）のうち少なくとも１つを用いて前記ブロックの複雑度を計算することを特徴とする請求項１２に記載の関心領域基盤の映像符号化装置。
【請求項１４】
前記重畳生成倍率設定部は、
前記関心領域内の同じ列または行に位置した各ブロックの複雑度と前記関心領域内の同じ列または行に位置したブロックの平均複雑度とを比較して前記関心領域内に位置した各ブロックを複雑度によって分類するブロック分類部と、
前記分類されたブロックの複雑度に比例して設定された前記分類されたブロックの重畳生成倍率を表す変換マップを生成する変換マップ生成部とをさらに備えることを特徴とする請求項１１に記載の関心領域基盤の映像符号化装置。
【請求項１５】
前記ブロック分類部は、
前記関心領域内のブロック全体の平均複雑度より所定の第１臨界値以上の大きい複雑度を有するブロックは、複雑度の高いブロックに分類し、前記平均複雑度より所定の第２臨界値以下の小さな複雑度を有するブロックは、複雑度の低いブロックに分類し、前記第１臨界値と第２臨界値との間の複雑度を有するブロックは、中間複雑度を有するブロックに分類することを特徴とする請求項１３に記載の関心領域基盤の映像符号化装置。
【請求項１６】
前記関心領域内に同じ列または行に位置したブロックの複雑度の平均をｍ、標準偏差をσ、前記複雑度の区間を分けるための変換係数をａ（ａは、実数）とする時、前記第１臨界値はｍ＋（σ×ａ）であり、前記第２臨界値はｍ−（σ×ａ）であることを特徴とする請求項１５に記載の関心領域基盤の映像符号化装置。
【請求項１７】
前記変換係数ａは、前記複雑度の高いブロックの数と前記複雑度の低いブロックの数を同一に決定することを特徴とする請求項１６に記載の関心領域基盤の映像符号化装置。
【請求項１８】
前記変換マップ生成部は、
前記関心領域内に位置したブロックの重畳ブロック生成倍率基本値をＭ、各ブロックの複雑度によって重畳ブロックの拡大または縮少比率を表すための複雑度適用係数をα（αは、実数）とする時、前記分類されたブロックのうち、複雑度の高いブロックの重畳ブロック生成倍率はＭ＋α、複雑度の低いブロックの重畳ブロック生成倍率はＭ−α、中間複雑度を有するブロックの重畳生成倍率はＭに設定することを特徴とする請求項１４に記載の関心領域基盤の映像符号化装置。
【請求項１９】
前記映像変換部は、
非関心領域に位置したブロックのうち、前記関心領域に位置したブロックの重畳生成方向に位置したブロックを縮少変換する段階をさらに含むことを特徴とする請求項１１に記載の関心領域基盤の映像符号化装置。
【請求項２０】
前記映像符号化部は、
前記再構成された映像の符号化結果生成されたビットストリームの所定領域に前記各ブロックの重畳生成倍率情報を含む変換マップ情報を付加することを特徴とする請求項１１に記載の関心領域基盤の映像符号化装置。
【請求項２１】
関心領域基盤映像復号化方法において、
関心領域に位置したブロックは、所定の重畳生成倍率によって重畳生成し、非関心領域に位置したブロックのうち、前記関心領域に位置したブロックの重畳生成方向に位置したブロックは、前記関心領域に位置したブロックの重畳生成倍率によって縮少変換することによって変換された映像を符号化したビットストリームを受信する段階と、
前記変換された映像を復号化し、前記関心領域に位置したブロックの重畳生成倍率情報を備えた変換マップ情報を抽出する段階と、
前記変換マップ情報を用いて前記関心領域に対応する複数個の重畳ブロックのうち、無損失ブロックを用いて前記関心領域に対応する映像を復元する段階と、
前記変換マップ情報を用いて前記縮少変換されたブロック部分の映像を所定倍率に拡大して前記非関心領域に対応する映像を復元する段階を含むことを特徴とする関心領域基盤映像復号化方法。
【請求項２２】
前記関心領域に対応する映像を復元する段階は、
現在復元するブロックの損失有無を判断する段階と、
前記現在復元するブロックが損失された場合、前記複数個の重畳ブロックのうち、損失されていない他のブロックを用いて前記関心領域の映像分を復元する段階とをさらに含むことを特徴とする請求項２１に記載の関心領域基盤映像復号化方法。
【請求項２３】
前記関心領域の重畳ブロックまたは非関心領域のブロックが損失された場合、以前／以後の映像フレームで対応するブロック部分または損失されたブロック周辺のブロックから前記損失されたブロックを復元することを特徴とする請求項２１に記載の関心領域基盤映像復号化方法。
【請求項２４】
関心領域基盤映像復号化装置において、
関心領域に位置したブロックは、所定の重畳生成倍率によって重畳生成され、非関心領域に位置したブロックのうち、前記関心領域に位置したブロックの重畳生成方向に位置したブロックは、前記関心領域に位置したブロックの重畳生成倍率によって縮少変換することによって変換された映像を符号化したビットストリームを復号化し、前記ビットストリームから前記関心領域に位置したブロックの重畳生成倍率を表す変換マップ情報を抽出する映像復号化部と、
前記変換マップ情報を用いて前記関心領域及び非関心領域の映像を逆変換して映像を復元する映像逆変換部とを備えることを特徴とする関心領域基盤映像復号化装置。
【請求項２５】
前記映像逆変換部は、
前記変換マップ情報を用いて前記関心領域に対応する複数個の重畳ブロックのうち、無損失ブロックを用いて前記関心領域に対応する映像を復元する関心領域逆変換部と、
前記変換マップ情報を用いて前記縮少変換された非関心領域に対応するブロックを所定倍率に拡大して前記非関心領域に対応する映像を復元する非関心領域逆変換部とをさらに備えることを特徴とする請求項２４に記載の関心領域基盤映像復号化装置。
【請求項２６】
前記映像逆変換部は、
前記関心領域の重畳ブロックまたは非関心領域のブロックが損失された場合、以前／以後の映像フレームで対応するブロック部分または損失されたブロック周辺のブロックから前記損失されたブロックを復元することを特徴とする請求項２４に記載の関心領域基盤映像復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化、復号化方法及び装置に係り、より詳細には、映像の符号化以前段階または復号化以後の段階で映像の特性によって関心領域のデータを可変的に重畳生成するか、非関心領域のデータを縮少することによってエラー発生時に復原力を高める関心領域基盤の映像符号化、復号化方法及び装置に関する。
【背景技術】
【０００２】
一般的に映像の圧縮は、重畳される情報（ｒｅｄｕｎｄａｎｃｙ）を除去することによって行われる。映像の重畳される情報を除去するために、通常、動き予測、補償による時間的予測符号化及び同一フレーム内で類似した色や客体間の重畳を除去する空間的（ｔｅｍｐｏｒａｌ／ｓｐａｔｉａｌ）予測符号化を行い、付加的に変換／量子化及びエントロピー符号化過程を行う。
【０００３】
前記のような過程を経て圧縮された映像を所定の伝送媒体などを通じて伝送する時にパケット損失などのエラーが発生しうる。エラーが発生したパケットに備えられた映像は、正常に復号化され得ない。特にエラーが発生したパケットが関心領域（ＲＯＩ：Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）の映像を含んでいる場合、映像の品質が落ちることがある。このような問題点を解決するために従来には、映像の符号化以前の前処理段階で相対的にさらに高い重要性を有する部分である関心領域を重畳生成する関心領域基盤の映像符号化方法が提案されたことがある。従来の技術による関心領域基盤の映像符号化方法は、関心領域の情報の一部が損失された場合にも、他の重畳ブロック情報を用いて映像を復元可能にすることによって、エラー発生時に少なくとも関心領域のエラー復原力を向上させるためのものである。
【０００４】
図１Ａ及び図１Ｂは、従来技術による関心領域基盤の映像符号化方法の一例を示す図であり、図２は、従来技術による関心領域基盤の映像符号化方法を説明するための図である。
【０００５】
非特許文献１では、図１Ａに示されたようなアナウンサーの顔に該当する関心領域をブロック単位で２倍に拡張して重畳ブロックを生成し、非関心領域は、前記関心領域との相対的な位置によって適当な割合で縮少して図１Ｂに示されたような変換映像を構成した後、変換された映像を符号化する方法を開示している。
【０００６】
図２を参照するに、従来技術による関心領域基盤の映像符号化方法は、関心領域２０内に位置したブロック（ＡないしＦ）を２個ずつ重畳生成する。すなわち、関心領域内に位置したブロックＡはＡ１及びＡ２で、ブロックＢはＢ１及びＢ２で，…，ブロックＦはＦ１及びＦ２で重畳生成される。また、前記関心領域の上下に位置した非関心領域のブロック（ａないしｌ）は、前記関心領域ブロックの重畳生成により縮少変換される。このように関心領域内のブロックを重畳生成することによって、再構成された映像を符号化する場合には、前記再構成された映像の関心領域の一部がチャンネルエラーにより損失される場合にも重畳された他のブロックの情報を利用できるために関心領域映像の復元可能性を向上させうる。
【０００７】
しかし、前記従来技術による関心領域基盤の映像符号化方法は関心領域の映像特性を考慮せず、一括的に関心領域のあらゆるブロックを同じ倍率に重畳生成する。すなわち、単純なブロックでも複雑なブロックでも関心領域内のブロックはいずれも同じ倍率に重畳生成する。これにより、従来技術によれば、制限された帯域幅内で相対的にさらに多くのビット割当てが要求される複雑な映像部分に適切にビットを割り当てられなかった。したがって、従来技術によれば、単純な映像に対応する関心領域のブロックは、必要以上のビット量を消耗し、複雑な映像に対応する関心領域のブロックは、必要なデータを十分に提供できず、エラー発生時に正常な映像を復元し難い問題点がある。
【非特許文献１】Ａｌｉ  Ｊｅｒｂｉ、Ｊｉａｎ  Ｗａｎｇ及びＳｈａｈｒａｍ  Ｓｈｉｒａｎｉの論文“Ｅｒｒｏｒ−Ｒｅｓｉｌｉｅｎｔ  Ｒｅｇｉｏｎ−ｏｆ−Ｉｎｔｅｒｅｓｔ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ”（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  ｔｈｅ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ、２００５年９月）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
したがって、本発明は、前記問題点を解決するために案出されたものであって、関心領域内に位置したブロックの映像特性によって前記ブロックが重畳生成される倍率を異ならせて設定することによって、制限的な帯域幅の限界内で効率的な映像データの伝送を実現して、エラーに弾力的な（ｒｅｓｉｌｉｅｎｔ）映像が得られる映像符号化、復号化方法及び装置を提供するところにその目的がある。
【課題を解決するための手段】
【０００９】
前記技術的課題を解決するために本発明による関心領域基盤の映像符号化方法は、映像内で重畳して符号化する関心領域を決定する段階と、前記関心領域内に位置したブロックの映像特性を計算する段階と、前記計算されたブロックの映像特性を用いて前記関心領域内に位置した各ブロックの重畳生成倍率を設定する段階と、前記設定された重畳生成倍率によって前記関心領域内に位置したブロックを所定方向に重畳生成して映像を変換する段階と、前記変換された映像を符号化する段階とを含むことを特徴とする。
【００１０】
本発明による関心領域基盤の映像符号化装置は、映像内で重畳して符号化する関心領域を決定する関心領域決定部と、前記関心領域内に位置したブロックの映像特性を計算する関心領域特性計算部と、前記計算されたブロックの映像特性を用いて前記関心領域内に位置した各ブロックの重畳生成倍率を設定する重畳生成倍率設定部と、前記設定された重畳生成倍率によって前記関心領域内に位置したブロックを所定方向に重畳生成して映像を変換する映像変換部と、前記変換された映像を符号化する映像符号化部を含むことを特徴とする。
【００１１】
本発明による関心領域基盤映像復号化方法は、関心領域に位置したブロックは所定の重畳生成倍率によって重畳生成して、非関心領域に位置したブロックのうち、前記関心領域に位置したブロックの重畳生成方向に位置したブロックは前記関心領域に位置したブロックの重畳生成倍率によって縮少変換することによって変換された映像を符号化したビットストリームを受信する段階と、前記変換された映像を復号化して、前記関心領域に位置したブロックの重畳生成倍率情報を備えた変換マップ情報を抽出する段階と、前記変換マップ情報を用いて前記関心領域に対応する複数個の重畳ブロックのうち、無損失ブロックを用いて前記関心領域に対応する映像を復元する段階と、前記変換マップ情報を用いて前記縮少変換されたブロック部分の映像を所定倍率に拡大して前記非関心領域に対応する映像を復元する段階と、を含むことを特徴とする。
【００１２】
本発明による関心領域基盤映像復号化装置は、関心領域に位置したブロックは所定の重畳生成倍率によって重畳生成され、非関心領域に位置したブロックのうち、前記関心領域に位置したブロックの重畳生成方向に位置したブロックは前記関心領域に位置したブロックの重畳生成倍率によって縮少変換することによって、変換された映像を符号化したビットストリームを復号化し、前記ビットストリームから前記関心領域に位置したブロックの重畳生成倍率を表す変換マップ情報を抽出する映像復号化部と、前記変換マップ情報を用いて前記関心領域及び非関心領域の映像を逆変換して映像を復元する映像逆変換部とを備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、関心領域内のブロックの重畳生成倍率を各ブロックの複雑度によって可変的に設定することによって、符号化時に発生するビット率を減らし、制限された帯域幅環境でさらに重要な情報をエラーに弾力的に符号化しうる。また、本発明によれば、エラー発生時に正常に受信された重畳ブロックを用いて損失されたブロックを復元することによってエラーを隠匿しうる。
【発明を実施するための最良の形態】
【００１４】
以下、添付された図面を参照して本発明の望ましい実施形態について詳細に説明する。
【００１５】
本発明による関心領域基盤の映像符号化装置は、映像の関心領域内に位置した各ブロックの複雑度を計算し、大きな複雑度を有する関心領域のブロックは、さらに多い重畳ブロックを生成し、小さな複雑度を有する関心領域のブロックはさらに少ない重畳ブロックを生成することによって、映像を変換した後、変換された映像を符号化するところにその特徴がある。
【００１６】
図３は、本発明による関心領域基盤の映像符号化装置の一実施形態を示す図である。図３を参照するに、本発明による映像符号化装置３００は、関心領域決定部３１０、関心領域特性計算部３２０、重畳生成倍率設定部３３０、映像変換部３４０及び映像符号化部３５０を備える。
【００１７】
関心領域決定部３１０は、入力映像内でユーザの関心領域となる部分を決定する。関心領域は、ユーザに特に意味のある映像部分を意味する。例えば、前記図１Ａ及び図１Ｂに示されたような映像において、話者の顔部分や肩部分のように動きの多い部分にユーザの視線が集中し、このような映像部分を関心領域に定義する。前記関心領域を除いた映像部分は、非関心領域に定義する。関心領域決定部３１０は、所定の入力部（図示せず）を通じてユーザが選択した映像部分を関心領域に決定するか、広く知られた関心領域検出アルゴリズムを用いて映像で重畳して符号化する関心領域に決定する。関心領域検出アルゴリズムの一例として現在フレームと以前フレームとの間の動きを比較して所定臨界値以上の動きを有する映像部分を関心領域に検出するアルゴリズムが用いられる。
【００１８】
重畳符号化する関心領域が決定されれば、関心領域特性計算部３２０は、決定された関心領域に位置したブロックの映像特性を計算する。まず、前記関心領域特性計算部３２０は、関心領域内に位置した各ブロックの複雑度を計算する。関心領域内に位置したブロックの特性を決定するための複雑度としては、分散、ＭＳＥ（Ｍｅａｎ  Ｓｑｕａｒｅｄ  Ｅｒｒｏｒ）、ＳＡＤ（Ｓｑｕａｒｅｄ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）などが用いられる。ここで、分散、ＭＳＥ及びＳＡＤは、関心領域内に位置した各ブロックに対して計算される。すなわち、分散、ＭＳＥ及びＳＡＤは、関心領域内に位置した一ブロックのピクセルの平均値と一ブロックのピクセルとの間の差を用いてブロック別に計算される。
【００１９】
また、関心領域特性計算部３２０は、関心領域内に位置した各ブロックの複雑度を用いて関心領域内の同じ列または行に位置した全体ブロックの平均複雑度及び標準偏差を計算する。関心領域特性計算部３２０は、関心領域内の映像が垂直方向に重畳して生成される場合には、関心領域内の同じ列に位置した全体ブロックの平均複雑度及び標準偏差を計算し、関心領域内の映像が水平方向に重畳して生成される場合には、関心領域内の同じ行に位置した全体ブロックの平均複雑度及び標準偏差を計算する。
【００２０】
重畳生成倍率設定部３３０は、関心領域内の各ブロックの複雑度及び同じ列または行に位置した全体ブロックの平均複雑度及び標準偏差を用いて、関心領域内に位置した各ブロックをどれほど重畳して生成するかを示す重畳生成倍率を設定する。ここで、重畳生成倍率は、関心領域内のブロックをどれほど重畳して生成するかを示す値である。例えば、重畳生成倍率が１．５であるブロックは、元のブロックと同一である１個のブロックに追加して０．５、すなわち１／２倍の映像が重畳生成されることを意味し、重畳生成倍率が２．５であるブロックは、元のブロックと同一である２個のブロックに追加して１／２倍の映像が重畳生成されることを意味する。
【００２１】
具体的に、重畳生成倍率設定部３３０は、関心領域内の各ブロックの複雑度と関心領域内の同じ列または行に位置したあらゆるブロックの平均複雑度とを比較して、関心領域内の各ブロックを複雑度によって分類するブロック分類部３３１及び分類されたブロックの重畳生成倍率を示す変換マップを生成する変換マップ生成部３３２を備える。ここで、変換マップ生成部３３２により生成される変換マップは、各ブロックに割り当てられる重畳生成倍率情報を備える。また、変換マップ生成部３３２は、複雑度の高いものと分類されたブロックには、複雑度の低いブロックに比べてさらに大きい重畳生成倍率が設定されるようにし、中間複雑度を有するものと分類されたブロックには、基本的に設定された関心領域のブロックの重畳生成倍率である重畳生成倍率基本値Ｍを設定する。
【００２２】
映像変換部３４０は、変換マップ生成部３３２で設定された変換マップに基づいて同じ列または行に位置した関心領域内の各ブロックを重畳生成して映像を変換する。また、映像変換部３４０は、非関心領域に位置したブロックのうち、関心領域に位置したブロックの重畳生成方向に位置したブロックは重畳生成倍率によって縮少変換し、重畳生成方向に位置していない非関心領域のブロックは、縮少または拡大せず、そのまま維持する。
【００２３】
映像符号化部３５０は、映像変換部で変換された映像を圧縮符号化する。映像符号化部３５０は、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４など広く知られた多様な映像圧縮方法を利用しうる。また映像符号化部３５０は、圧縮符号化の結果で出力されるビットストリームのヘッダに各ブロックの重畳生成倍率を示す変換マップ情報を付加することによって、復号化端に関心領域内のブロックがいかなる倍率に重畳されたかを伝達する。
【００２４】
以下では、図４ないし図６を参照して本発明による関心領域基盤の映像符号化装置の具体的な動作について説明する。
【００２５】
図４は、本発明による関心領域基盤の映像符号化装置で関心領域を変換する過程を説明するための図である。図４では、関心領域４１内のブロックを垂直方向に重畳生成して変換する場合を示している。しかし、本発明は、示されたように限定されず、関心領域内のブロックを水平方向に重畳生成して変換する場合にも適用しうる。
【００２６】
図４を参照するに、関心領域決定部３１０は、ユーザの選択または所定の関心領域決定アルゴリズムによって原映像４０のうちから重畳符号化する関心領域４１を決定する。
【００２７】
関心領域特性計算部３２０は、決定された関心領域４１に位置したブロックＡないしＦの映像特性を計算する。まず、関心領域特性計算部３２０は、関心領域４１内に位置したブロックＡないしＦそれぞれの複雑度を計算する。前述したように、複雑度としては、分散、ＭＳＥ及びＳＡＤなどが用いられる。次いで、関心領域特性計算部３２０は、関心領域内のブロックが重畳生成される方向によって、関心領域内の同じ列または行に位置したあらゆるブロックの平均複雑度及び標準偏差を計算する。すなわち、関心領域特性計算部３２０は、関心領域内のブロックが重畳生成される方向が垂直方向である場合には、関心領域内の同じ列に位置したあらゆるブロックの平均複雑度及び標準偏差を計算し、重畳生成される方向が水平方向である場合には、関心領域内の同じ行に位置したあらゆるブロックの平均複雑度及び標準偏差を計算する。例えば、図４に示されたように関心領域内のブロックを垂直方向に重畳して生成する場合、関心領域特性計算部３２０は、関心領域内の同じ列に位置したあらゆるブロックの平均複雑度及び標準偏差を計算する。すなわち、関心領域特性計算部３２０は、関心領域内のブロックＡ及びＤの平均複雑度及び標準偏差、ブロックＢ及びＥの平均複雑度及び標準偏差、ブロックＣ及びＦの平均複雑度及び標準偏差を計算する。
【００２８】
図５は、本発明によるブロック分類部３３１で関心領域内の各ブロックを複雑度によって分類する過程を説明するための図である。ブロック分類部３３１は、各ブロックの複雑度と同じ列または行に位置したあらゆるブロックの複雑度平均及び標準偏差を用いて、関心領域内の各ブロックを複雑度によって分類する。図５を参照するに、ブロック分類部３３１は、関心領域内の同じ行または列に位置したあらゆるブロックの複雑度平均に比べて所定臨界値Ｔｈ２以上の大きな複雑度を有するブロックを高い複雑度を有するブロック５３に分類し、平均複雑度より所定臨界値Ｔｈ１以下の小さな複雑度を有するブロックは、低い複雑度を有するブロック５１に分類し、複雑度平均を基準に所定臨界値Ｔｈ１ないしＴｈ２間の複雑度を有するブロックは、中間複雑度を有するブロック５２に分類する。
【００２９】
具体的に、関心領域内の同じ行または列に位置したあらゆるブロックの複雑度平均をｍ、複雑度の標準偏差をσ、複雑度区間を分けるための変換係数をａ（ａは、実数）とすれば、ブロック分類部３３１は、ｍ＋（σ×ａ）以上の複雑度を有するブロックを高い複雑度を有するブロック５３に分類し、ｍ−（σ×ａ）以下の複雑度を有するブロックを低い複雑度を有するブロック５１に分類し、ｍ−（σ×ａ）からｍ＋（σ×ａ）の間の複雑度を有するブロックを中間複雑度を有するブロック５２に分類する。ここで、ブロック分類部３３１は、変換係数ａの値を調節して高い複雑度を有するブロックと低い複雑度を有するブロックとの数を同一に設定する。例えば、図４で同じ列に位置したブロックＡ及びＤの複雑度平均をｍ１、標準偏差をσ１、変換係数をａ１とすれば、ブロック分類部３３１は、所定の臨界値ｍ１−（σ１×ａ１）及びｍ１＋（σ１×ａ１）を基準に、前記関心領域内のブロックＡ及びＤ各々をその複雑度によって分類する。同様に、図４で関心領域内のブロックＤ及びＥ、Ｃ及びＦに対しても同じ列のあらゆるブロックの複雑度平均及び標準偏差を用いて複雑度によって分類する。ここで、前記ブロック分類部３３１は、重畳生成方向によって行または列単位で関心領域内の各ブロックを分類するという点に留意せねばならない。
【００３０】
変換マップ生成部３３２は、前記分類されたブロックの重畳生成倍率を表す変換マップを生成する。関心領域内の各ブロックに対して既定の重畳生成倍率基本値をＭとする時、変換マップ生成部３３２は、関心領域内の各ブロックの複雑度によって高い複雑度を有するブロックには、Ｍ＋αの重畳生成倍率を設定し、低い複雑度を有するブロックには、Ｍ−αの重畳生成倍率を設定し、中間複雑度を有するブロックには、Ｍの基本値を重畳生成倍率に設定する。ここで、αは各ブロックの複雑度によって重畳ブロックの拡大または縮少比率を表すための複雑度適用の係数を意味する。また、変換マップ生成部３３２は、非関心領域に位置したブロックのうち、関心領域に位置したブロックの重畳生成方向に位置したブロックは、前記重畳生成倍率によって縮少されるように重畳生成倍率を設定し、非関心領域に位置するが、重畳生成方向に位置していないブロックは、重畳生成倍率を１に設定する。
【００３１】
図６は、図４の重畳変換された映像４５に対応する変換マップの一例を示す図である。図４の関心領域４１内の各列に位置したブロックにおいて、ブロックＡは低い複雑度、ブロックＤは高い複雑度、ブロックＢ及びＥは中間複雑度、ブロックＣは高い複雑度、ブロックＦは低い複雑度を有し、重畳生成倍率基本値Ｍは２、複雑度適用係数αを０．５と仮定する。関心領域４１内の各ブロックが複雑度によって分類されれば、前述したように変換マップ生成部３３２は、各ブロックの複雑度によって高い複雑度を有するブロックの重畳生成倍率としてＭ＋α、低い複雑度を有するブロックの重畳生成倍率としてＭ−α、中間複雑度を有するブロックの重畳生成倍率としてＭを設定する。例えば、変換マップ生成部３３２は、ブロックＡの重畳生成倍率として１．５、ブロックＤの重畳生成倍率として２．５、ブロックＢ及びＥの重畳生成倍率として２、ブロックＣの重畳生成倍率として２．５、ブロックＦの重畳生成倍率として１．５を設定して変換マップを生成する。また、変換マップ生成部３３２は、前記関心領域内のブロックの重畳生成により縮少変換されねばならないブロック６０、６３には０．５を重畳生成倍率に設定する。
【００３２】
映像変換部３４０は、前記映像の各ブロック別に設定された重畳生成倍率によって関心領域のブロックを重畳生成し、非関心領域を構成するブロックのうち、前記関心領域の重畳生成によって重なる部分は縮少変換して映像を再構成する。例えば、再び図４及び図６を参照するに、映像変換部３４０は、１．５の重畳生成倍率値を有するブロックＡを元のブロックＡと同じ値及び大きさを有する１つの重畳ブロックＡ１と０．５倍縮少された重畳ブロックＡ２とに変換し、２．５の重畳生成倍率値を有するブロックＤを元のブロックＤと同じ値と大きさとを有する２個の重畳ブロックＤ１、Ｄ２と０．５倍縮少された重畳ブロックＤ３とに変換する。同様に、映像変換部３４０は、２の重畳生成倍率値を有する原映像４０のブロックＢ及びブロックＤを元のブロックと同じ値と大きさとを有する２個の重畳ブロックＢ１及びＢ２、Ｅ１及びＥ２に各々変換する。
【００３３】
図７は、本発明による関心領域基盤の映像符号化方法を示すフローチャートである。
【００３４】
段階７１０で、映像でユーザの選択または所定の関心領域決定アルゴリズムによって重畳生成する関心領域を決定する。
【００３５】
段階７２０で、前記決定された関心領域内に位置した各ブロックの複雑度を計算する。前述したように各ブロックの複雑度は、分散、ＭＳＥ、ＳＡＤなどを利用しうる。
【００３６】
段階７３０で、前記関心領域内のブロックが重畳生成される方向によって、関心領域内の同じ列または行に位置したあらゆるブロックの複雑度平均及び標準偏差を計算する。
【００３７】
段階７４０で、関心領域内の同じ列または行に位置したブロックの平均複雑度と各ブロックの複雑度とを比較して関心領域内の各ブロックを複雑度によって分類する。具体的に、前記所定臨界値Ｔｈ２以上の大きな複雑度を有するブロックを高い複雑度を有するブロックに分類し、前記所定臨界値Ｔｈ１以下の小さな複雑度を有するブロックは、低い複雑度を有するブロックに分類し、Ｔｈ１ないしＴｈ２間の複雑度を有するブロックは、中間複雑度を有するブロックに分類する。前述したように、関心領域内の同じ行または列に位置したあらゆるブロックの複雑度平均をｍ、複雑度の標準偏差をσ、複雑度区間を分けるための変換係数をａ（ａは、実数）とすれば、ｍ＋（σ×ａ）以上の複雑度を有するブロックを高い複雑度を有するブロックに分類し、ｍ−（σ×ａ）以下の複雑度を有するブロックを低い複雑度を有するブロックに分類し、ｍ−（σ×ａ）からｍ＋（σ×ａ）間の複雑度を有するブロックを中間複雑度を有するブロックに分類しうる。
【００３８】
段階７５０で、前記分類されたブロックそれぞれの重畳生成倍率を設定する。前述したように関心領域内の各ブロックに対して既定の重畳生成倍率基本値をＭ、複雑度適用係数をαとする時に関心領域内の各ブロックの複雑度によって高い複雑度を有するブロックにはＭ＋αの重畳生成倍率を設定し、低い複雑度を有するブロックにはＭ−αの重畳生成倍率を設定し、中間複雑度を有するブロックには、Ｍの基本値を重畳生成倍率に設定する。また、非関心領域に位置したブロックのうち、重畳生成方向に位置したブロックは前記重畳生成倍率によって縮少されるように重畳生成倍率を設定し、非関心領域に位置するが、重畳生成方向に位置していないブロックは、重畳生成倍率を１に設定する。
【００３９】
段階７６０で、前記設定された重畳生成倍率によって各ブロックを変換することによって映像を再構成する。
【００４０】
段階７７０で、前記再構成された映像を圧縮符号化してビットストリームを生成する。この時、生成されたビットストリームのヘッダに各ブロックの重畳生成倍率を表す変換マップ情報を付加することによって復号化端に各ブロックの重畳生成倍率を伝達する。
【００４１】
図８は、本発明による関心領域基盤映像復号化装置の構成を示すブロック図である。図８を参照するに、本発明による関心領域基盤映像復号化装置８００は、映像復号化部８１０、映像逆変換部８２０及びエラー隠匿部８３０を備える。
【００４２】
映像復号化部８１０は、本発明による関心領域基盤の映像符号化方法及び装置によって符号化されたビットストリームを受信して前記受信されたビットストリームを復号化する。また、映像復号化部８１０は、前記ビットストリームから映像を構成する各ブロックの重畳生成倍率情報を備えた変換マップ情報を抽出する。ここで、映像復号化部８１０から出力される映像は、前記図４の変換された映像４５のように所定の重畳生成倍率によって重畳生成された関心領域のブロック及び縮少変換されるか、元のブロックがそのままコピーされた非関心領域のブロックに構成された変換映像である。
【００４３】
映像逆変換部８２０は、関心領域逆変換部８２１及び非関心領域逆変換部８２２を備える。
【００４４】
関心領域逆変換部８２１は、関心領域の同じ領域に対応する複数個の重畳ブロックのうち、正常に検出されたブロックを用いて関心領域の映像を逆変換する。例えば、再び図４を参照するに、復号化された変換映像４５で原映像のブロックＤに対応するブロックＤ１ないしＤ３のうち、損失なしに検出されたブロックを用いて原映像のブロックＤ部分に対応する映像を復元する。すなわち、映像復号化部８１０で復号化された変換映像でブロックＤ１がチャンネルエラーによって損失された場合には、前記ブロックＤ１と同じブロックＤ２を用いて原映像のブロックＤを復元し、もし、ブロックＤ２も損失された場合には、ブロックＤ３を用いて原映像のブロックＤを復元しうる。
【００４５】
非関心領域逆変換部８２１は、非関心領域を構成するブロックが縮少変換された場合には、所定倍率に拡大することによって原映像のブロックを復元し、原映像がそのまま符号化された非関心領域のブロックは、復号化された状態そのまま復元する。
【００４６】
一方、前記関心領域の重畳ブロックがいずれも損失された場合または非関心領域のブロックが損失された場合には、以前／以後のフレームで損失されたブロックと対応するブロックや損失されたブロックの周辺ブロックを用いて損失されたブロックを復元しうる。
【００４７】
エラー隠匿部８３０は、従来提案された多様なエラー隠匿技術を用いて付加的にチャンネルエラーにより損失されたエラーを復元しうる。
【００４８】
図９Ａないし図９Ｃは、本発明による関心領域基盤映像復号化方法を示すフローチャートである。
【００４９】
図９Ａを参照するに、段階９０５で所定の重畳生成倍率によって重畳生成された関心領域のブロック、及び縮少変換されるか、元のブロックがそのままコピーされた非関心領域のブロックで再構成された変換映像を符号化したビットストリームを受信する。
【００５０】
段階９１０で、前記再構成された変換映像を復号化し、ビットストリームから各ブロックの重畳生成倍率情報を示す変換マップ情報を抽出する。
【００５１】
段階９１５で、変換映像から原映像を復元するために現在処理されるブロックが関心領域内に位置したブロックであるかを判断する。
【００５２】
図９Ｂを参照して関心領域内のブロックを復元する過程を説明すれば、次の通りである。
【００５３】
段階９１５の判断結果、現在処理されるブロックが関心領域内のブロックと判断された場合、段階９２０で原本ブロックの損失有無を判断する。段階９２５で、原本ブロックが損失されていない場合には、現在処理される原本ブロックを用いて映像を復元する。
【００５４】
段階９３０で、原本ブロックが損失された場合には、原映像の同一領域に対応する重畳ブロックが存在しているか否かを判断する。
【００５５】
段階９３５で、重畳ブロックが存在する場合には、重畳ブロックを用いて原映像を復元し、段階９５０で重畳ブロックが存在していない場合には、損失されたブロックに対応する以前／以後フレームのブロックや損失されたブロックの周辺ブロックを用いて損失されたブロックを復元する。
【００５６】
図９Ｃを参照して非関心領域内のブロックを復元する過程を説明する。
【００５７】
段階９４５で、非関心領域内のブロックが縮少変換されたブロックであるか否かを判断する。前述したように、関心領域の重畳生成方向に位置した非関心領域のブロックは縮少変換され、その他の非関心領域ブロックは、元の状態そのまま符号化されるので、非関心領域のブロックが縮少変換されたブロックであるか否かを判断する過程が必要である。
【００５８】
段階９５０で縮少変換された非関心領域のブロックを所定倍率に拡大して原映像の該当部分を復元し、段階９５５で元の状態そのまま符号化された非関心領域のブロックは、該当ブロックをそのまま用いて映像を復元する。
【００５９】
一方、前述した関心領域基盤映像の符号化、復号化方法は、コンピュータプログラムで作成可能である。前記プログラムを構成するコード及びコードセグメントは、当分野のコンピュータプログラマーによって容易に推論しうる。また、前記プログラムは、コンピュータで読取る情報記録媒体（ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉａ）に保存され、所定の演算装置によって読取られて実行されることによって、関心領域基盤の映像符号化、復号化方法を具現する。前記情報記録媒体は、磁気記録媒体、光記録媒体、及びキャリアウェーブ媒体を含む。
【００６０】
以上、本発明について、望ましい実施形態を中心に説明した。本発明の当業者ならば、本発明が本発明の本質的な特性から外れない範囲で変形された形で具現されるということを理解できるであろう。したがって、開示された実施形態は、限定的な観点でなく説明的な観点で考慮せねばならない。本発明の範囲は、前述した説明でなく、特許請求の範囲に開示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれるものと解釈されねばならない。
【産業上の利用可能性】
【００６１】
本発明は、映像符号化、復号化方法及び装置関連の技術分野に好適に適用されうる。
【図面の簡単な説明】
【００６２】
【図１Ａ】従来の技術による関心領域基盤の映像符号化方法の一例を示す図である。
【図１Ｂ】従来の技術による関心領域基盤の映像符号化方法の一例を示す図である。
【図２】従来技術による関心領域基盤の映像符号化方法を説明するための図である。
【図３】本発明による関心領域基盤の映像符号化装置の一実施形態を示す図である。
【図４】本発明による関心領域基盤の映像符号化装置で関心領域を変換する過程を説明するための図である。
【図５】本発明によって関心領域内の各ブロックを複雑度によって分類する過程を説明するための図である。
【図６】図４の重畳変換された映像に対応する変換マップの一例を示す図である。
【図７】本発明による関心領域基盤の映像符号化方法を示すフローチャートである。
【図８】本発明による関心領域基盤映像復号化装置の構成を示すブロック図である。
【図９Ａ】本発明による関心領域基盤映像復号化方法を示すフローチャートである。
【図９Ｂ】本発明による関心領域基盤映像復号化方法を示すフローチャートである。
【図９Ｃ】本発明による関心領域基盤映像復号化方法を示すフローチャートである。
【符号の説明】
【００６３】
３００    映像符号化装置
３１０    関心領域決定部
３２０    関心領域特性計算部
３３０    重畳生成倍率設定部
３３１    ブロック分類部
３３２    変換マップ生成部
３４０    映像変換部
３５０    映像符号化部
【図２】
2007184942.tif 000003
【図３】
2007184942.tif 000004
【図４】
2007184942.tif 000005
【図５】
2007184942.tif 000006
【図６】
2007184942.tif 000007
【図７】
2007184942.tif 000008
【図８】
2007184942.tif 000009
【図９Ａ】
2007184942.tif 000010
【図９Ｂ】
2007184942.tif 000011
【図９Ｃ】
2007184942.tif 000012
【図１Ａ】
2007184942.tif 000013
【図１Ｂ】
2007184942.tif 000014