(57)【要約】【課題】ビデオトランスコーダ技術に関し、特に、オディオトランスコーディングのための出力動きベクトルを推定する方法及びこれを用いたトランスコーダを提供する。【解決手段】出力動きベクトル推定方法は、候補動きベクトルグループを形成する段階、二つ以上の基準ベクトルを選択する段階、可変的に検索領域を設定する段階、及び動き精密化を遂行して出力動きベクトルを推定する段階を含む。二つ以上の基準ベクトルを選択し、基準ベクトルの相関度によって可変的に検索領域を設定する。出力動きベクトル推定方法を用いたトランスコーダは符号化パラメータ推定部で二つ以上の基準ベクトルを選択し、基準ベクトルの相関度によって可変的に検索領域を設定する。従って、計算量の増加を減少させながら効果的に検索領域を設定することができ正確に出力動きベクトルを推定することができる。【選択図】    図２
2006109465.tif 000002
【特許請求の範囲】
【請求項１】
出力マクロブロックモードを用いて候補動きベクトルグループを形成する段階と、
前記候補動きベクトルグループで二つ以上の基準ベクトルを選択する段階と、
前記基準ベクトルの相関度によって可変的に検索領域を設定する段階と、
前記検索領域に対して動きベクトル精密化を実施して出力動きベクトルを推定する段階と、
を含むことを特徴とするトランスコーディングのための出力動きベクトル推定方法。
【請求項２】
前記基準ベクトルは、第１及び第２基準ベクトルであることを特徴とする請求項１記載のトランスコーディングのための出力動きベクトル推定方法。
【請求項３】
前記候補動きベクトルグループは、前記出力マクロブロックモードと一致するマクロブロックモードを有する入力マクロブロックの動きベクトルを集めて形成されたことを特徴とする請求項２記載のトランスコーディングのための出力動きベクトル推定方法。
【請求項４】
前記第１及び第２基準ベクトルを選択する段階は、
前記入力マクロブロックが出力マクロブロックと連関された連関領域と重なる部分の広さと関連された空間加重値、及び０ではないＤＣＴ係数の個数と関連されたブロック活動度を用いて前記第１基準ベクトルを選択し、
前記空間加重値及びブロック活動度を用いて前記第１基準ベクトルを除いた前記候補動きベクトルグループで前記第２基準ベクトルを選択することを特徴とする請求項３記載の出力動きベクトル推定方法。
【請求項５】
前記空間加重値は、前記入力マクロブロックが出力マクロブロックと連関された連関領域と重なる部分内のピクセル数であることを特徴とする請求項４記載のトランスコーディングのための出力動きベクトル推定方法。
【請求項６】
前記ブロック活動度は、前記０ではないＤＣＴ係数の個数に比例することを特徴とする請求項５記載のトランスコーディングのための出力動きベクトル推定方法。
【請求項７】
前記第１基準ベクトルは、前記候補動きベクトルグループ内の第１候補動きベクトルと、前記候補動きベクトルグループ内の前記第１候補動きベクトルを除いた候補動きベクトルとの距離それぞれに前記第１候補動きベクトルに該当する前記空間加重値、及び前記ブロック活動度を掛け算した値の合計が最小となる前記第１候補動きベクトルであり、
前記第２基準ベクトルは、前記第１基準ベクトルを除いた前記候補動きベクトルグループ内の第２候補動きベクトルと、前記候補動きベクトルグループ内の前記第２候補動きベクトルを除いた候補動きベクトルとの距離それぞれに前記第２候補動きベクトルに該当する前記空間加重値、及び前記ブロック活動度を掛け算した合計が最小となる前記第２候補動きベクトルであることを特徴とするトランスコーディングのための請求項６記載の出力動きベクトル推定方法。
【請求項８】
前記第１基準ベクトルは、下記数式１のｄｉが最小となるＭＶｉであり、前記第２基準ベクトルは前記第１基準ベクトルを除いた候補動きベクトルのうち、下記数式１のｄｉが最小となるＭＶｉであることを特徴とする請求項６記載のトランスコーディングのための出力動きベクトル推定方法。
【数１】
2006109465.tif 000005
（Ｎ：候補動きベクトルの個数、Ｍｉ、Ｍｊ：空間加重値、Ａｉ、Ａｊ：ブロック活動度、ＭＶｉ、ＭＶｊ：それぞれ候補動きベクトルグループに属する動きベクトル）
【請求項９】
前記相関度は前記第１基準ベクトルと第２基準ベクトルとの距離に比例することを特徴とする請求項８記載のトランスコーディングのための出力動きベクトル推定方法。
【請求項１０】
前記相関度は、下記数式２によって表現されることを特徴とする請求項９記載のトランスコーディングのための出力動きベクトル推定方法。
【数２】
2006109465.tif 000006
（Ｒ：相関度、ＭＶｆ：第１基準ベクトル、ＭＶｓ：第２基準ベクトル）
【請求項１１】
前記可変的に検索領域を設定する段階は、
前記第１基準ベクトルと第２基準ベクトルとの間の距離差が小さくなり前記相関度が小さくさるほど前記検索領域を狭く設定し、
前記第１基準ベクトルと第２基準ベクトルとの間の距離差が大きくなって前記相関度が大きくなるほど前記検索領域を大きく設定することを特徴とする請求項１０記載のトランスコーディングのための出力動きベクトル推定方法。
【請求項１２】
前記可変的に検索領域を設定する段階は、
前記相関度が０である場合、前記第１基準ベクトルに相応するピクセル周辺１ピクセルに検索領域を設定し、
前記相関度が０より大きく、２より小さい場合、前記第１基準ベクトル及び前記第２基準ベクトルのうち基準フレームとの絶対差異値の合計が小さいベクトルに相応するピクセル周辺１ピクセルに検索領域を設定し、
前記相関度が２以上の場合、前記絶対差異値の合計が小さいベクトルに相応するピクセル周辺２ピクセルに検索領域を設定することを特徴とする請求項１１記載のトランスコーディングのための出力動きベクトル推定方法。
【請求項１３】
前記トランスコーディングは、高鮮明テレビＨＤＴＶフォーマットのデータを標準化テレビＳＤＴＶフォーマットのデータに変換することを特徴とする請求項１２記載のトランスコーディングのための出力動きベクトル推定方法。
【請求項１４】
第１フォーマットに符号化された入力ストリームを復号化する復号化部と、
前記復号化部の出力をダウンサンプリングするダウンサンプラと、
前記ダウンサンプラの出力を第２フォーマットに符号化して出力ストリームを生成する符号化部と、
前記復号化部から入力マクロブロックモード、入力動きベクトル情報、ＤＣＴ係数情報、及び出力マクロブロックと連関される連関領域と重なる領域情報を抽出する情報抽出部と、
前記情報抽出部から抽出した情報及び出力マクロブロックモードを用いて候補動きベクトルグループを形成し、
前記候補動きベクトルグループで二つ以上の基準ベクトルを選択し、
前記基準ベクトルの相関度によって可変的に検索離領域を設定し、
前記検索領域に対して動きベクトル精密化を実施して出力動きベクトルを推定する符号化パラメータ推定部と、
を含むことを特徴とするトランスコーダ。
【請求項１５】
前記候補動きベクトルグループは、前記出力マクロブロックモードと一致するマクロブロックモードを有する入力マクロブロックの動きベクトルを集めて形成されることを特徴とする請求項１４記載のトランスコーダ。
【請求項１６】
前記基準ベクトルは、第１及び第２基準ベクトルであることを特徴とする請求項１５記載のトランスコーダ。
【請求項１７】
前記符号化パラメータ決定部は、
前記入力マクロブロックが出力マクロブロックと連関された連関領域と重なる部分の広さと関連された空間加重値、及び０ではないＤＣＴ係数の個数と関連されたブロック活動度を用いて前記候補動きベクトルグループで第１基準ベクトルを選択し、
前記空間加重値及びブロック活動度を用いて前記第１基準ベクトルを除いた前記候補動きベクトルグループで前記第２基準ベクトルを選択することを特徴とする請求項１６記載のトランスコーダ。
【請求項１８】
前記空間加重値は、前記入力マクロブロックが出力マクロブロックと連関された連関領域と重なる部分内のピクセル数であることを特徴とする請求項１７記載のトランスコーダ。
【請求項１９】
前記ブロック活動度は、前記０ではないＤＣＴ係数の個数に比例することを特徴とする請求項１８記載のトランスコーダ。
【請求項２０】
前記第１基準ベクトルは前記候補動きベクトルグループ内の第１候補動きベクトルと、前記候補動きベクトルグループ内の前記第１候補動きベクトルを除いた候補動きベクトルとの距離それぞれに前記第１候補動きベクトルに該当する前記空間加重値及び前記ブロック活動度を掛け算した値の合計が最小となる前記第１候補動きベクトルであり、
前記第２基準ベクトルは前記第１基準ベクトルを除いた前記候補動きベクトルグループ内の第２候補動きベクトルと、前記候補動きベクトルグループ内の前記第２候補動きベクトルを除いた候補動きベクトルとの距離それぞれに前記第２候補動きベクトルに該当する前記空間加重値及び前記ブロック活動度を掛け算した合計が最小となる前記第２候補動きベクトルであることを特徴とする請求項１９記載のトランスコーダ。
【請求項２１】
前記第１基準ベクトルは前記数式１のｄｉが最小となるＭＶｉであり、前記第２基準ベクトルは前記第１基準ベクトルを除いた候補動きベクトルのうち、下記数式１のｄｉが最小となるＭＶｉであることを特徴とする請求項１９記載のトランスコーダ。
【数３】
2006109465.tif 000007
【請求項２２】
前記相関度は、前記第１基準ベクトルと第２基準ベクトルとの距離に比例することを特徴とする請求項２０記載のトランスコーダ。
【請求項２３】
前記相関度は、下記数式２によって示されることを特徴とする請求項２２記載のトランスコーダ。
【数４】
2006109465.tif 000008
【請求項２４】
前記検索領域は、
前記第１基準ベクトルと第２基準ベクトルとの距離差が小さくなって前記相関度が小さくなるほど狭く設定され、
前記第１基準ベクトルと第２基準ベクトルとの間の距離差が大きくなって前記相関度が大きくなるほど大きく設定されることを特徴とする請求項２３記載のトランスコーダ。
【請求項２５】
前記検索領域は、
前記相関度が０である場合前記第１基準ベクトルに相応するピクセル周辺１ピクセルに設定され、
前記相関度が０より大きく、２より小さい場合前記第１基準ベクトル及び前記第２基準ベクトルのうち基準フレームとの絶対値の合計が小さいベクトルに相応するピクセル周辺１ピクセルに設定され、
前記相関度が２以上である場合前記絶対差異値の合計が小さいベクトルに相応するピクセル周辺２ピクセルに設定されることを特徴とする請求項２４記載のトランスコーダ。
【請求項２６】
前記第１フォーマットは、高鮮明テレビＨＤＴＶフォーマットであり、前記第２フォーマットは標準化テレビＳＤＴＶフォーマットであることを特徴とする請求項２５記載のトランスコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオトランスコーダ技術に係り、特に、ビデオトランスコーディングのための出力動きベクトルを推定する方法及びそれを用いたトランスコーダに関する。
【背景技術】
【０００２】
デジタルビデオ信号はアナログ方式に比べて相当の利点を有する。例えば、デジタルビデオ信号は情報の歪なしにデータを遠くまで伝送し貯蔵することができる。しかし、デジタル信号はその膨大な量に起因して大きな帯域幅を必要とし、かつ大きな貯蔵空間を必要とする。従って、帯域幅が制限されているインターネットを通じたビデオ放送などにおいてこのようなデジタル信号の限界は深刻な問題となっている。
【０００３】
ビデオストリームのようなデジタル信号の帯域幅を減少するための努力はデータ圧縮技術に帰結される。代表的な例として、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅｓ  Ｅｘｐｅｒｔ  Ｇｒｕｏｐ）によって定義されたＭＰＥＧ−２を挙げることができる。ＭＰＥＧ−２はビデオストリームに存在する相当量の余分情報を減少させ、ビデオデータを圧縮する。このような圧縮技術によってデジタルビデオ信号は顕著に圧縮される。
【０００４】
一般的に、ＭＰＥＧ符号化過程は次のように実施される。ビデオ信号はデジタルビデオピクセルの色及び輝度成分にサンプリング及び量子化される。色及び輝度値を示す成分はマクロブロックの構造で貯蔵される。マクロブロックに貯蔵された色及び輝度値は離散余弦変換（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ：ＤＣＴ）を通じて周波数値に変換される。ＤＣＴによって変換された係数は画面の輝度及び色の互いに異なる周波数を示す。
【０００５】
ＭＰＥＧエンコーディング過程は、人間の視覚システムが高周波成分の色及び輝度変化をうまく感知することができないことに注目する。従って、このような高周波成分に対しては比較的に精密度を低くして量子化する。量子化されたＤＣＴ変換係数はランレベルコーディングＲＬＣ及び可変長変換ＶＬＣを経てさらに圧縮される。
【０００６】
ＭＰＥＧエンコーディング基準はまた動き補償技法による追加的な圧縮を提供する。ＭＰＥＧ基準によると、画面またはフレームはＩフレーム、Ｐフレーム及びＢフレームの３種類フレームに分類される。Ｉフレームは、イントラ符号化されたフレームであり、他の基準フレームなしに復号することができる。Ｐフレーム及びＢフレームはインター符号化されたフレームであり、基準フレームを参照して復号することができる。例えば、Ｐフレーム及びＢフレームは基準フレームに対する動きを示す動きベクトルを含む。ＭＰＥＧでこのような動きベクトルの使用は、特にビデオストリームで帯域幅を小さくするのに大きく寄与することができる。ビデオストリームで隣接した画面は相当に類似した場合が多いからである。
【０００７】
最近、ＭＰＥＧのような圧縮技法を使用したデジタル応用分野が多様になっていく傾向にある。特に、圧縮されたビットストリーム状態でビデオ検査、画面内画面（例えば、ＰＩＰ）、ビデオ結合、ビデオ編集、伝送ビット率変換などの多様な応用が必要になり、特定ビット率を有するＭＰＥＧビットストリームを他のビット率に変換させるトランスコーディング技法が要求される。このような例としては、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式のビットストリームをＭＰＥＧビットストリームにするか、デジタルカムコーダのデジタル出力であるＤＶ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ）フォーマットをＭＰＥＧビットストリームに変換するか、または高画質のＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）級ＭＰＥＧビットストリームを低画質のＳＤ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）級ＭＰＥＧビットストリームに変換する方式などを挙げることができる。
【０００８】
トランスコーディングアルゴリズムはその処理領域によって，空間領域トランスコーディングとＤＣＴ領域のトランスコーディングとに区分される。トランスコーディングの際、トランスコーダは符号化過程で使用される出力パラメータを効果的に算出し、この出力パラメータを用いて符号化過程を実施するようになる。出力パラメータ算出アルゴリズムは主に出力マクロブロックのモード及び出力動きベクトルの算出に焦点を置く。それは出力マクロブロックのモード及び出力動きベクトルが符号化過程で非常に重要に使用されるからである。
【０００９】
特に、高画質のＨＤ級ＭＰＥＧビットストリームを低画質のＳＤ級ＭＰＥＧビットストリームに変換する場合のようにダウンサイジング（ｄｏｗｎ  ｓｉｚｉｎｇ）をする場合は大きく二つの場合に分けることができる。一番目は整数倍のスケーリングをする場合であり、二番目は非整数倍のスケーリングをする場合である。
【００１０】
特に、非整数倍のスケーリングをする場合において、整数倍のスケーリングをする場合とは異なりそれぞれ入力マクロブロックのうち出力マクロブロックと連関される連関領域と重なる部分があるマクロブロックが同じ程度に出力マクロブロックに影響を与えるわけではないので容易に出力動きベクトルを推定することが難しい。
【００１１】
前記したように出力動きベクトルを推定することは容易ではなく、また、トランスコーダの性能に大きな影響を与えないので動きベクトル精密化が遂行される。即ち、出力動きベクトルをより正確に推定するためにまず基準ベクトルを見付け、基準ベクトルを中心に検索領域を設定して検索領域で動きベクトル精密化を実施してより正確な出力動きベクトルを見付ける。
【００１２】
動きベクトル精密化過程において適切な検索領域の設定は非常に重要な問題である。あまり狭い検索領域を設定すると動きベクトル精密化過程にも関わらず適切な出力動きベクトルを推定することができない。反対に、あまり広い検索領域を設定すると動きベクトル精密化が複雑となり、計算量が増加して推定時間が長くなり、トランスコーダの実現が難しくなる。
従って、計算量の増加を減少させながら、適切な検索領域を設定して動きベクトル精密化を実施することはトランスコーディングのための出力動きベクトル推定において非常に重要な問題となる。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
前記のような問題点を解決するための本発明の目的は、効果的に検索領域を設定して動きベクトル精密化を実施して出力動きベクトル推定方法を提供することにある。
本発明の他の目的は、効果的に検索領域を設定し、設定された検索領域で動きベクトル精密化を実施して出力動きベクトルを推定するトランスコーダを提供することにある。
【課題を解決するための手段】
【００１４】
前記した本発明の目的を達成するためのトランスコーディングのための出力動きベクトル推定方法は、出力マクロブロックモードを用いて候補動きベクトルグループを形成する段階、候補動きベクトルグループで二つ以上の基準ベクトルを選択する段階、基準ベクトルの相関度によって可変的に検索領域を設定する段階、及び検索領域に対して動きベクトル精密化を実施して出力動きベクトルを推定する段階を含む。
【００１５】
このとき、基準ベクトルは第１基準ベクトル及び第２基準ベクトルの二つであることができる。また、第１基準ベクトルは空間加重値及びブロック活動度を用いて選択し、第２基準ベクトルは第１基準ベクトルを除いた候補動きベクトルグループで空間加重値及びブロック活動度を用いて選択することができる。
【００１６】
候補動きベクトルグループは、出力マクロブロックモードと一致するモードを有する入力マクロブロックの動きベクトルを集めて形成することもできる。
【００１７】
空間加重値は、入力マクロブロックが出力マクロブロックと連関された連関領域の広さと関連させることができる。空間加重値は入力マクロブロックが出力マクロブロックと連関された連関領域内のピクセルで数あることができる。
【００１８】
ブロック活動度は、０でないＤＣＴ係数の個数と関連させることができる。ブロック活動度は０でないＤＣＴ係数の個数に比例することができる。
このとき、相関度は基準ベクトルの相関関係を示す値である。場合によって相関度は基準ベクトルの相関関係が大きい場合に大きい値を有することができる。場合によって相関度は基準ベクトルの相関関係が小さい場合に大きい値を有することができる。
【００１９】
実施例によって相関度が大きい値の場合検索領域を広く設定し、相関度が小さい場合検索領域を狭く設定することができる。
【００２０】
本発明の他の目的を達成するためのトランスコーダは復号化部で第１フォーマットに符号化されたデータを復号化する。ダウンサンプラは復号化部の出力をダウンサンプリングする。符号化部はダウンサンプラの出力の入力を受け第２フォーマットに符号化する。情報抽出部は復号化部から入力マクロブロックモード、入力動きベクトル情報、ＤＣＴ係数情報及び出力マクロブロックと連関される連関領域と重なる領域情報を抽出する。符号化パラメータ推定部は前記情報抽出部で抽出した情報及び出力マクロブロックモードを用いて候補動きベクトルグループを形成し、候補動きベクトルグループで二つ以上の基準ベクトルを選択し、基準ベクトルの相関度によって可変的に検索領域を設定し、検索領域に対して動きベクトル精密化を実施して出力動きベクトルを推定する。
【００２１】
このとき、候補動きベクトルグループは出力マクロブロックモードと一致するモードを有する入力マクロブロックの動きベクトルを集めて形成することもできる。
このとき、情報抽出部は前記した情報の外に他の情報をさらに抽出することもできる。
このとき、基準ベクトルは第１基準ベクトル及び第２基準ベクトルの二つとすることができる。また、第１基準ベクトルは空間加重値及びブロック活動度を用いて選択され、第２基準ベクトルは第１基準ベクトルを除いた候補動きベクトルグループで空間加重値及びブロック活動度を用いて選択することができる。
【００２２】
空間加重値は入力マクロブロックが出力マクロブロックと連関された連関領域の広さと関連させることができる。空間加重値は入力マクロブロックが出力マクロブロックと連関された連関領域内のピクセルであることができる。
【００２３】
ブロック活動は０でないＤＣＴ係数の個数と関連させることができる。ブロック活動度は０でないＤＣＴ係数の個数に比例することができる。
このとき、相関度は基準ベクトルの相関関係を示す値である。場合によって相関度は基準ベクトルの相関関係が大きい場合に大きい値を有することができる。場合によって相関度は基準ベクトルの相関関係が小さい場合に大きい値を有することができる。
【００２４】
実施例によって相関度が大きい値である場合検索領域を広く設定し、相関度が小さい場合検索領域を狭く設定することができる。
このとき、第１フォーマットは高鮮明テレビＨＤＴＶフォーマットであり、第２フォーマットは標準画質テレビＳＤＴＶフォーマットであることができる。
従って、計算量の増加を減少しながら効果的に検索領域を設定して動きベクトル精密化を実施することで正確に出力動きベクトルを推定することができる。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照して本発明の望ましい一実施例をより詳細に説明する。
図１は本発明の一実施例によるトランスコーディングの出力動きベクトル推定を説明するための概念図である。
図１に示すように、出力マクロブロック１５０と連関された連関領域１３０と重なる領域が存在する入力マクロブロック１１１、１１２、１１３、１１４、１１５、１１６、１１７、１１８、１１９は出力マクロブロック１５０にトランスコーディングされる。このとき入力マクロブロック１１１、１１２、１１３、１１４、１１５、１１６、１１７、１１８、１１９はＨＤＴＶフォーマットのデータであり、出力マクロブロック１５０はＳＤＴＶフォーマットのデータであることができる。図１に示された連関領域１３０は出力マクロブロック１５０に写像される領域でマップブロック（ｍａｐｐｅｄ  ｂｌｏｃｋ）と呼ばれたりもする。
【００２６】
トランスコーディング実施過程で図１に示された入力マクロブロック１１１、１１２、１１３、１１４、１１５、１１６、１１７、１１８、１１９から出力動きベクトルを推定し、推定された出力動きベクトルを用いてトランスコーディングが実施される。
出力動きベクトルを推定するために、出力マクロブロックモードを用いて候補動きベクトルグループが生成される。候補動きベクトルグループは入力マクロブロック１１１、１１２、１１３、１１４、１１５、１１６、１１７、１１８、１１９中で出力マクロブロックモードと一致するマクロブロックモードを有する入力マクロブロックに相応する動きベクトルの集合であることができる。
【００２７】
正確な出力マクロブロック１５０の出力動きベクトルを推定するために、候補動きベクトルグループ内で二つ以上の基準ベクトルを選択する。このとき、基準ベクトルは第１及び第２基準ベクトルを選択することができる。
【００２８】
以後、選択された基準ベクトルの相関度によって可変的に検索領域を設定し、この検索領域に対して動きベクトル精密化を実施して出力動きベクトルを推定する。このとき、動きベクトル精密化は基準ベクトル周辺領域を探索してより正確に出力動きベクトルを推定するためである。出力動きベクトル精密化は［非特許文献１］などに詳細に説明されている。
【非特許文献１】１９９９年ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｍｕｌｔｉｍｅｄｉａに掲載されたＪ．Ｙｏｕｎ，Ｍ．−Ｔ．Ｓｕｎ及びＣ．−Ｗ．Ｌｉｎの“Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｒｅｆｉｎｅｍｅｎｔ  ｆｏｒ  Ｈｉｇｈ−Ｐｅｒｆｏｒｍａｎｃｅ  Ｔｒａｎｓｃｏｄｉｎｇ”
【００２９】
図２は本発明の一実施例よる出力動きベクトル推定方法を説明するための動作流れ図である。
図２に示すように、本発明の一実施例による出力動きベクトル推定方法はまず出力マクロブロックモードを用いて候補動きベクトルグループを形成する（Ｓ２１０）。
【００３０】
実施例によって、候補動きベクトルグループは出力マクロブロックモードと一致する入力マクロブロックの動きベクトルを集めて形成することができる。
例えば、出力マクロブロックモードがインターモードであり、ボトムフィールドモードであると、インターモードでありボトムフィールドモードである入力マクロブロックの動きベクトルが集まって候補動きベクトルグループが形成される。このとき、入力マクロブロックは出力動きベクトルと連関された連関領域と重複される部分が存在する。
【００３１】
ついで、候補動きベクトルグループで二つ以上の基準ベクトルを選択する（Ｓ２２０）。
【００３２】
実施例によって基準ベクトルは第１及び第２基準ベクトルの二つとすることができる。このとき、第１基準ベクトルは入力マクロブロックが出力マクロブロックと連関された連関領域の広さと関連された空間加重値、及び０ではないＤＣＴ係数の個数と関連されたブロック活動度を用いて選択することができる。
【００３３】
例えば、空間加重値は入力マクロブロックが連関領域と重なる領域内に存在するピクセルの個数であることができる。
【００３４】
例えば、ブロック活動度は入力マクロブロック内の０でないＤＣＴ係数の個数に比例することができる。このとき、第２基準ベクトルは第１基準ベクトルを除いた候補動きベクトルグループ内で空間加重値及びブロック活動度を用いて選択することができる。
【００３５】
例えば、第１基準ベクトルは候補動きベクトルグループ内の第１候補動きベクトルグループと、候補動きベクトルグループ内の第１候補動きベクトルグループを除いた候補動きベクトルグループとの距離それぞれに第１候補動きベクトルに該当する空間加重値及びブロック活動度を掛け算した値の合計が最小となる第１候補動きベクトルとすることができる。
【００３６】
例えば、第２基準ベクトルは第１基準ベクトルを除いた候補動きベクトルグループ内の第２候補動きベクトルと、候補動きベクトルグループ内の第２候補動きベクトルを除いた候補動きベクトルグループとの距離それぞれに第２候補動きベクトルに該当する空間加重値及びブロック活動度を掛け算した合計が最小となる第２候補動きベクトルグループとすることができる。
前記した動きベクトル推定方法を次の数式１で表現することができる。
【００３７】
【数１】
2006109465.tif 000003
（Ｎ：候補動きベクトルの個数、Ｍｉ、Ｍｊ：空間加重値、Ａｉ、Ａｊ：ブロック活動度、ＭＶｉ、ＭＶｊ：それぞれ候補動きベクトルに属する動きベクトル）
【００３８】
第１基準ベクトルは数式１のｄｉが最小となるＭＶｉであり、第２基準ベクトルは第１基準ベクトルを除いた候補動きベクトル中で、数式１のｄｉが最小となるＭＶｉである。
【００３９】
従来の出力動きベクトル推定方法は、一つの基準ベクトルを選択し選択された基準ベクトルによって検索領域を設定して動きベクトル精密化過程を実施する。従って、従来の出力動きベクトル推定方法は基準ベクトルの選択が適切でない場合に不必要な検索領域を設定するようになりトランスコーディングの際の画質低下を惹起する。適切でない基準ベクトルは全体的な入力マクロブロックの動きを代表することができないからである。本発明の一実施例による出力動きベクトル推定方法は二つ以上の基準ベクトルを選択して一つの基準ベクトルを選択する場合より適切に検索領域を設定するようにする。
【００４０】
ついで、選択された基準ベクトルの相関度によって可変的に検索領域を設定する（Ｓ２３０）。
基準ベクトルが第１及び第２基準ベクトルの二つである場合、相関度は第１基準ベクトル及び第２基準ベクトルの距離に比例させることができる。
例えば、相関度は下記数式２によって表現することができる。
【００４１】
【数２】
2006109465.tif 000004
（Ｒ：相関度、ＭＶｆ：第１基準ベクトル、ＭＶｓ：第２基準ベクトル）
【００４２】
検索領域は相関度が大きくなるほどさらに広くまたはさらに狭く設定することができる。
例えば、相関度が小さくなるほど検索領域をさらに狭く設定し、相関度が大きくなるほど検索領域をさらに広く設定することができる。
【００４３】
数式２で表現された相関度Ｒを用いる場合、相関度Ｒは第１基準ベクトルと第２基準ベクトルとの間の距離差に比例するので、相関度Ｒが大きくなるほど検索領域をさらに広く設定することが望ましい。相関度Ｒが大きい場合は第１基準ベクトルと第２基準ベクトルとの間の距離差が大きい場合を示すので、より広い領域で動きベクトル精密化を実施する必要があるからである。
【００４４】
例えば、数式２によって計算された相関度Ｒが０である場合、検索領域を第１基準ベクトルに相応するピクセル周辺１ピクセルに検索領域を設定することができる。これは相関度Ｒが０である場合は、基準ベクトルが全体入力マクロブロックの動きベクトルの傾向性を正確に把握したものとして見ることができるからである。また、相関度Ｒが０より大きく、２より小さい場合、第１基準ベクトル及び第２基準ベクトルのうち基準フレームとの絶対差異値の合計（ｓｕｍ  ｏｆ  ａｂｓｏｌｕｔｅ  ｄｉｆｆｅｒｅｎｃｅｓ；ＳＡＤ）が小さい基準ベクトルに相応するピクセル周辺１ピクセルに検索領域を設定することができる。また、相関度Ｒが２以上の場合、絶対差異値の合計が小さいベクトルに相応するピクセル周辺２ピクセルに検索領域を設定することができる。相関度Ｒが２より大きい場合には基準ベクトルが全体入力マクロブロックの動きベクトルの傾向性を正確に把握したものとして見ることができず、検索領域を広く設定する必要がある。しかし、検索領域をあまり広く設定すると、複雑度が増加するので適正に検索領域を決定する。絶対差異値の合計の定義は非特許文献１に詳細に記載されている。
【００４５】
ついで、設定された検索領域に対して動きベクトル精密化を実施して出力動きベクトルを推定する（Ｓ２４０）。
【００４６】
図３ないし図５は本発明の一実施例による出力動きベクトル推定方法での検索領域設定を説明するための概念図である。
図３に示すように、数式２によって得た相関度Ｒが０である場合、検索領域が第１基準ベクトルＭＶｆに相応するピクセル３１０周辺１ピクセルに設定されることが分かる。このとき第１基準ベクトルＭＶｆ及び第２基準ベクトルＭＶｓは同一のベクトルである。この場合は、第１基準ベクトル及び第２基準ベクトルが同一であるので、基準ベクトルが全体入力マクロブロックの動きベクトルの傾向性を正確に把握したものと見ることができる。
【００４７】
図４に示すように、数式２によって得た相関度Ｒが０より大きく、２より小さい場合、検索領域が第１基準ベクトルＭＶｆに相応するピクセル３２０または第２基準ベクトルＭＶｓに相応するピクセル３３０周辺１ピクセルに設定されることが分かる。このとき、第１基準ベクトルＭＶｆに相応するピクセル３２０周辺に検索領域を設定するか、または第２基準ベクトルＭＶｓに相応するピクセル３３０周辺に検索領域を設定するかは、基準ベクトルと基準フレームとの絶対差異値の合計ＳＡＤが、どれがより小さいかによって決定することができる。この場合は、図３の場合に比べて基準ベクトルが全体入力マクロブロックの動きベクトルの傾向性を正確に把握したものとして見ることができないので、絶対差異値の合計を計算してより正確に検索領域を設定する。
【００４８】
図５に示すように、数式２によって得た相関度Ｒが２以上である場合、検索領域が第１基準ベクトルＭＶｆに相応するピクセル３４０または第２基準ベクトルＭＶｓに相応するピクセル３５０周辺２ピクセルに設定されることが分かる。このとき、第１基準ベクトルＭＶｆに相応するピクセル３４０周辺に検索領域を設定するか、または第２基準ベクトルに相応するピクセル３５０周辺に検索領域を設定するかは、基準ベクトルと基準フレームとの絶対差異値の合計ＳＡＤが、どれがより小さいかによって決定することができる。この場合は、図３及び図５の場合に比べて基準ベクトルが全体入力マクロブロックの動きベクトルの傾向性をまともに把握していないと見ることができるので、絶対差異値の合計を計算しその値が小さい基準ベクトルに相応するピクセル周辺２ピクセルに検索領域を設定する。このとき、２ピクセルに検索領域を制限する理由は、複雑度の増加を減少させながら最適に近い効果を得るためである。
【００４９】
図６は本発明の一実施例によるトランスコーダのブロック図である。
【００５０】
図６に示すように、本発明の一実施例によるトランスコーダ４００は復号化部４１０、ダウンサンプラ４２０、符号化部４３０、情報抽出部４４０及び符号化パラメータ推定部４５０を含む。
【００５１】
復号化部４１０は、第１フォーマットに符号化された入力ストリームＩＮＰＵＴ  ＳＴＲＥＡＭを復号化する。例えば、第１フォーマットは高鮮明テレビＨＤＴＶフォーマットである。
【００５２】
復号化部４１０は可変長さデコーディング部４１１、逆量子化ＩＱ部４１２、逆離散余弦変換部ＩＤＣＴ４１３、加算器４１４、動き補償部４１５及びフレームメモリ４１６を含む。
【００５３】
可変長さデコーディング部４１１は入力ストリームの入力を受け可変長さデコーディングを実施する。
逆量子化部４１２は可変長さデコーディングされたデータを逆量子化する。
逆離散余弦変換部４１３は逆量子化されたデータを逆離散余弦変換する。
【００５４】
加算器４１４は逆離散余弦変換されたデータ及び動き補償されたデータを加える。
【００５５】
フレームメモリ４１６は加算器４１４の出力を貯蔵する。
動き補償部４１５はフレームメモリ４１６の出力を用いて動き補償を実施し、動きが補償されたデータを加算器４１４に出力する。
ダウンサンプラ４２０は復号化部４１０の出力をダウンサンプリングする。
符号化部４３０はダウンサンプラ４２０の出力を第２フォーマットに符号化して出力ストリームを生成する。例えば、第２フォーマットは標準化テレビＳＤＴＶフォーマットである。
【００５６】
符号化部４３０は、減算器４３１、量子化部４３２、離散余弦変換ＤＣＴ部４３３、可変長さ符号化４３４、逆量子化部４３５、逆離散余弦変換ＩＤＣＴ部４３６、フレームメモリ４３７及び動き推定部４３８を含む。
【００５７】
減算器４３１はダウンサンプラ４２０の出力から動き推定されたデータ（動き推定部４３８から出力されたデータ）を引く。
量子化部４３２は減算器４３１の出力を量子化する。
離散余弦変換部４３３は量子化されたデータを離散余弦変換する。
可変長さ符号化部４３４は離散余弦変換されたデータを可変長さ符号化して出力ストリームを生成する。
【００５８】
逆量子化部４３５は離散余弦変換されたデータを再度逆量子化する。
逆離散余弦変換部４３６は逆量子化されたデータを再度逆離散余弦変換する。
フレームメモリ４３７は逆離散余弦変換部４３６の出力を貯蔵する。
動き推定部４３８はフレームメモリ４３７の出力を用いて動き推定を実施して動き推定されたデータを生成する。
【００５９】
情報抽出部４４０は復号化４１０が入力ストリームを復号化する過程で入力マクロブロックモード、入力動きベクトル情報、ＤＣＴ係数情報及び出力マクロブロックと連関される連関領域と重なる領域情報を抽出する。前記した情報は全部復号化部４１０で復号化を実施する間使用されるか、生成される情報である。従って、当該技術分野で通常の知識を有する当業者であるならば復号化部４１０がハードウェア的に実現された場合には別途の出力ピンを割当する方法などで、復号化部４１０がソフトウェア的に実現された場合には別途の関数を生成する方法などで情報抽出部４４０を容易に実現することができる。
【００６０】
実施例により情報抽出部４４０は前記した情報の外に他の情報も抽出することができる。
実施例によって情報抽出部４４０は復号化４１０内の可変長さデコーディング部４１１から情報を抽出することもできる。
【００６１】
符号化パラメータ推定部４５０は、情報抽出部４４０から抽出した情報及び出力マクロブロックモードを用いて候補動きベクトルグループを設定し、候補動きベクトルグループで二つ以上の基準ベクトルを選択し、基準ベクトルの相関度によって可変的に検索領域を設定し、検索領域によって動きベクトル精密化を実施して出力動きベクトルを推定する。
【００６２】
従って、符号化部４３０は推定された出力動きベクトルを用いて効果的に符号化を実施することができる。
実施例によって符号化パラメータ推定部４５０が推定した出力動きベクトルは符号化部４３０の動き推定部４３８に出力することもでき、動き推定部４３８及び可変長さ符号化部４３４に出力することもでき、図６に示されていない符号化部４３０の他の部分に出力することもできる。
【００６３】
図７は図６に示されたトランスコーダの動作を説明するための動作流れ図である。
【００６４】
図７に示すように、図６に示されたトランスコーダはまず入力ストリームを復号化し、その過程で推定に必要な情報を抽出する（Ｓ５１０）。
このとき、入力マクロブロックモード、入力動きベクトル情報、ＤＣＴ係数情報及び出力マクロブロックと連関される連関領域と重なる領域情報を抽出する。
入力マクロブロックモードは、入力マクロブロックのイントラ/インターモード、フレーム/フィールドモード及び予測方向モードなどを含む。
入力動きベクトル情報は、入力マクロブロックの動きベクトルに対する情報である。
ＤＣＴ係数情報は各マクロブロック毎に０ではないＤＣＴ係数の個数を含む。
出力マクロブロックと連関される連関領域と重なる領域情報は入力マクロブロックが連関領域と重なる領域の広さに関連された情報で、入力マクロブロックが連関領域と重なる領域内のピクセル数などを含むことができる。
【００６５】
次に、図６に示されたトランスコーダ４００は抽出された情報及び出力マクロブロックモードを用いて候補動きベクトルグループを設定する（Ｓ５２０）。
このとき、出力マクロブロックモードは外部で入力することができ、図７に示されたトランスコーダで推定することもできる。
実施例によって、候補動きベクトルグループは出力マクロブロックモードと一致するマクロブロックモードを有する入力マクロブロックの動きベクトルを集めて形成することができる。
【００６６】
次に、図６に示されたトランスコーダ４００は設定された候補動きベクトルグループで二つ以上の基準ベクトルを選択する（Ｓ５３０）。
実施例によって基準ベクトルは第１及び第２基準ベクトルの二つとすることができる。
このとき、第１基準ベクトルは入力マクロブロックが出力マクロブロックと連関された連関領域の広さと関連された空間加重値、及び０ではないＤＣＴ係数の個数と関連されたブロック活動度を用いて選択することができる。
例えば、空間加重値は入力マクロブロックが連関領域と重なる領域内に存在するピクセルの個数とすることができる。
例えば、ブロック活動度は、入力マクロブロック内の０ではないＤＣＴ係数の個数に比例することができる。
このとき、第２基準ベクトルは第１基準ベクトルを除いた候補動きベクトルグループ内で空間加重値及びブロック活動度を用いて選択することができる。
【００６７】
例えば、第１基準ベクトルは候補動きベクトルグループ内の第１候補動きベクトルと、候補動きベクトルグループ内の第１候補動きベクトルを除いた候補動きベクトルとの距離それぞれに第１候補動きベクトルに該当する空間加重値及びブロック活動度を掛け算した値の合計が最小となる第１候補動きベクトルとすることができる。
【００６８】
例えば、第２基準ベクトルは第１基準ベクトルを除いた候補動きベクトルグループ内の第２候補動きベクトルと、候補動きベクトルグループ内の第２候補動きベクトルを除いた候補動きベクトルとの距離それぞれに第２候補動きベクトルに該当する空間加重値及びブロック活動度を掛け算した合計が最小となる第２候補動きベクトルとすることができる。
【００６９】
次に、図７に示されたトランスコーダは選択された基準ベクトルの相関度によって可変的に検索領域を設定する（Ｓ５４０）。
【００７０】
基準ベクトルが第１基準ベクトル及び第２基準ベクトルの二つである場合、相関度は第１基準ベクトル及び第２基準ベクトルの距離に比例させることができる。
例えば、相関度は数式２によって表現することができる。
検索領域は相関度が大きくなるほどさらに広くか、さらに狭く設定することができる。
例えば、相関度が小さくなるほど検索領域をさらに狭く設定し、相関度が大きくなるほど検索領域をさらに広く設定することができる。
【００７１】
数式２に表現された相関度Ｒを用いる場合、相関度Ｒは第１基準ベクトルと第２基準ベクトルとの距離差に比例するので相関度Ｒが大きくなるほど検索領域をさらに広く設定することが望ましい。相関度Ｒが大きい場合は第１基準ベクトルと第２基準ベクトルとの距離差が大きい場合を示すのでより広い領域で動きベクトル精密化を実施する必要があるからである。
【００７２】
例えば、数式２によって計算された相関度Ｒが０である場合、検索領域を第１基準ベクトルに相応するピクセル周辺１ピクセルに検索領域を設定することができる。これは相関度Ｒが０である場合は、基準ベクトルが全体入力マクロブロックの動きベクトルの傾向性を正確に把握したと見ることができるからである。また、相関度Ｒが０より大きく、２より小さい場合、第１基準ベクトル及び第２基準ベクトルのうち基準フレームとの絶対差異値の合計が小さい基準ベクトルに相応するピクセル周辺１ピクセルに検索領域を設定することができる。また、相関度Ｒが２以上である場合、絶対差異値の合計が小さいベクトル相応するピクセル周辺２ピクセルに検索領域を設定することができる。
【００７３】
次に、図７に示されたトランスコーダは設定された検索領域で動きベクトル精密化を実施して出力動きベクトルを推定する（Ｓ５５０）。
【００７４】
次に、図７に示されたトランスコーダは推定された出力動きベクトルを用いて符号化を実施して出力ストリームを生成する（Ｓ５６０）。
【００７５】
図８は図６に示された符号化パラメータ推定部の動作を説明するための動作流れ図である。
【００７６】
図８に示すように符号化パラメータ推定部は、出力動きベクトルを推定するためにまず二つ以上の基準ベクトルを選択する（Ｓ６１０）。
このとき、符号化パラメータ推定部はまず出力マクロブロックモードを用いて候補動きベクトルグループを設定し、設定された候補動きベクトルグループで二つ以上の基準ベクトルを選択する。
【００７７】
実施例によって、候補動きベクトルグループは出力マクロブロックモードと一致する入力マクロブロックの動きベクトルを集めて形成することができる。このとき、図２に示されたＳ２１０段階によって候補動きベクトルグループを設定することができる。
実施例によって基準ベクトルは第１及び第２基準ベクトルの二つとすることができる。このとき、図２に示されたＳ２２０段階によって基準ベクトルを選択することができる。
このとき、連関領域と重なる領域情報で連関領域と重なる部分が存在するマクロブロック毎にそれぞれのマクロブロックが連関領域と重なる領域の広さと関連された空間加重値を求めることができる。
【００７８】
また、ＤＣＴ係数情報から０ではないＤＣＴ係数の個数を求めてブロック活動度を求めることができる。
次に、符号化パラメータ推定部は基準ベクトルの相関度によって可変的に検索領域を設定する（Ｓ６２０）。
基準ベクトルが第１及び第２基準ベクトルの二つである場合、相関度は第１基準ベクトルと第２基準ベクトルとの距離に比例させることができる。
検索領域は相関度が大きくなるほどさらに広くか、さらに狭く設定することができる。
例えば、相関度が小さくなるほど検索領域をさらに狭く設定し、相関度が大きくなるほど検索領域をさらに広く設定することができる。
このとき、図２に示されたＳ２３０段階によって検索領域を設定することもできる。
【００７９】
次に、符号化パラメータ推定部は設定された検索領域に対して動きベクトル精密化を実施して出力動きベクトルを推定する（Ｓ６３０）。
前記実施例を通じて説明したトランスコーディングのための出力動きベクトル推定方法はコンピュータプログラムで実現可能であり、コンピュータ プログラムのアルゴリズムを基にしてＨＤＬ（Ｈａｒｄｗａｒｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｌａｎｇｕａｇｅ）を用いて注文形半導体などで実現することもできる。本発明の技術思想はその実現方法によって制限されず、請求項に記載された方法によって出力動きベクトルを推定する限り本発明の技術思想の範囲内と見ることができる。
【００８０】
前記実施例に基づいて説明した出力動きベクトル推定方法及びトランスコーダで二つの基準ベクトルを選択する場合を中心に説明したが、本発明の技術思想は二つの基準ベクトルを選択する場合に限らない。三つやそれ以上の基準ベクトルを選択する場合にも本発明の技術思想によって基準ベクトルの間の相関度を計算し、計算された相関度によって検索領域を設定する限り本発明の技術思想を離れているとは見ることができない。
【００８１】
また、前記実施例を通じて説明した出力動きベクトル推定方法及びトランスコーダで基準ベクトルの間の距離に比例する相関度を用いる場合を中心として説明したが、基準ベクトルの間の相関関係によって可変的に検索領域を設定する限り本発明の技術思想の範囲を離れているとは見ることができない。
【００８２】
前述したように、本発明の出力動きベクトルを推定する方法及びトランスコーダは、二つ以上の基準ベクトルを選択してその相関度によって可変的に検索領域を設定することで、大きな計算量の増加なしに効果的に検索領域を設定することができる。従って、より効果的に動きベクトル精密化を実施することができ、出力動きベクトルを正確に推定することができる。さらに、トランスコーダの性能を向上させトランスコーディングの際の画質低下を減少させることができる。
【００８３】
以上、本発明の実施例によって詳細に説明したが、本発明はこれに限定されず、本発明が属する技術分野において通常の知識を有する者であれば、本発明の思想と精神を離れることなく、本発明を修正または変更できる。
【図面の簡単な説明】
【００８４】
【図１】本発明の一実施例によるトランスコーディングの出力動きベクトル推定を説明するための概念図である。
【図２】本発明の一実施例による出力動きベクトル推定方法を説明するための動作流れ図である。
【図３】本発明の一実施例による出力動きベクトル推定方法での検索領域設定を説明するための概念図である。
【図４】本発明の一実施例による出力動きベクトル推定方法での検索領域設定を説明するための概念図である。
【図５】本発明の一実施例による出力動きベクトル推定方法での検索領域設定を説明するための概念図である。
【図６】本発明の一実施例によるトランスコーダのブロック図である。
【図７】図６に示されたトランスコーダの動作を説明するための動作流れ図である。
【図８】図６に示された符号とパラメータ推定部の動作を説明するための動作流れ図である。
【符号の説明】
【００８５】
Ｓ２１０  候補動きベクトルグループ生成段階
Ｓ２２０  基準ベクトル選択段階
Ｓ２３０  可変的検索領域設定段階
Ｓ２４０  出力動きベクトル推定段階
【図１】
2006109465.tif 000009
【図２】
2006109465.tif 000010
【図３】
2006109465.tif 000011
【図４】
2006109465.tif 000012
【図５】
2006109465.tif 000013
【図６】
2006109465.tif 000014
【図７】
2006109465.tif 000015
【図８】
2006109465.tif 000016