(57)【要約】【課題】  動きベクトルの特性を考慮して適応的にフレーム間に補間される映像を生成する動き補償補間方法及びその装置を提供する。【解決手段】  隣接したイメージフレーム間に動き推定を行ってブロック基盤の動きベクトルを推定する過程、推定された動きベクトルの変化率を計算する過程、動きベクトルの変化率を基に当該イメージ画素を複数個のイメージ領域に区分する過程、区分されたイメージ領域によって前記イメージフレーム間に補間されるイメージ画素値を決定する過程とを含む。【選択図】      図６
2005176381.tif 000002
【特許請求の範囲】
【請求項１】
適応的動き補償の補間方法において、
（ａ）隣接したイメージフレーム間にブロック基盤の動き推定を行って動きベクトルを推定する過程と、
（ｂ）前記過程で推定された動きベクトルの変化率を計算する過程と、
（ｃ）前記動きベクトルの変化率を基に当該フレーム内の画素を複数個のイメージ領域に区分する過程と、
（ｄ）前記区分されたイメージ領域によってフレーム間に互いにマッチングされる画素及びフレーム間に推定された動きベクトルを異ならせて選択し、前記フレーム間に補間される画素値に決定する過程とを含む適応的動き補償の補間方法。
【請求項２】
前記（ａ）過程の動き推定は、単方向であることを特徴とする請求項１に記載の適応的動き補償の補間方法。
【請求項３】
前記（ｂ）過程の動きベクトル変化率は、フレーム内の隣接したブロックに対して動き推定で割り当てられた動きベクトルの差であることを特徴とする請求項１に記載の適応的動き補償の補間方法。
【請求項４】
前記（ｂ）過程の動きベクトル変化率は、第１動きベクトル変化率（ΔＭＶ１（ｂｉ））＝ＭＶ（ｂｉ）−ＭＶ（ｂｉ−１）、第２動きベクトル変化率（ΔＭＶ２（ｂｉ））＝ＭＶ（ｂｉ−１）−ＭＶ（ｂｉ＋１）と計算され、ここでｉはフレーム内ブロックの順序であることを特徴とする請求項１に記載の適応的動き補償の補間方法。
【請求項５】
前記（ｃ）過程は、前記ΔＭＶ１（ｂｉ）＝０そしてＭＶ２（ｂｉ）＝０ならば、均一領域、ΔＭＶ１（ｂｉ）＝０そしてＭＶ２（ｂｉ）≠０ならば、不均一領域、ΔＭＶ１（ｂｉ）＞０ならば、物体が新しく現れる領域であり、ΔＭＶ１（ｂｉ）＜０ならば、物体が隠れた領域と決定されることを特徴とする請求項１に記載の適応的動き補償の補間方法。
【請求項６】
前記（ｄ）過程は、当該フレーム内の画素が前記均一領域に属すれば、前記補間されるフレーム内の画素値は、１／２｛ｆｎ−１（Ｘ）＋ｆｎ（Ｘ＋Ｖｃ）｝で生成され、当該フレーム内の画素が前記不均一領域及び新しく現れる領域に属すれば、前記補間されるフレーム内の画素値は、ｆｎ−１（Ｘ）で生成され、当該フレーム内の画素が前記隠れた領域に属すれば、前記補間されるフレーム内の画素値はｆｎ（Ｘ＋Ｖｃ）そしてｆｎ（Ｘ＋Ｖｐ）で生成され、ここでｆｎ−１（Ｘ）はｎ−１番目フレームの画素であり、ｆｎ（Ｘ）はｎ番目フレームの画素であり、Ｖｃはｎ−１番目フレームでｎ番目フレームに対する動きベクトルであり、Ｖｐは隣接した画素に割り当てられた動きベクトルであることを特徴とする請求項１に記載の適応的動き補償の補間方法。
【請求項７】
前記フレーム間の隠れた領域により補間されるフレームで発生するホール部分は、単方向の動き推定により推定された動きベクトルと以前ブロックに割り当てられた動きベクトルとを組み合わせてイメージとして復旧されることであることを特徴とする請求項６に記載の適応的動き補償の補間方法。
【請求項８】
前記隣接した画素に割り当てられた動きベクトルは、
当該画素の動きベクトルの水平成分と垂直成分とを比較し、サイズの大きい成分の画素の動きベクトルと決定されることであることを特徴とする請求項６に記載の適応的動き補償の補間方法。
【請求項９】
適応的動き補償補間装置において、
入力されるイメージ信号をフレーム単位で保存するフレームバッファ部と、
前記フレームバッファ部で保存された（ｎ−１）番目のフレーム及びｎ番目のフレーム間に単方向動き推定を行う動き推定部と、
前記動き推定部で推定された動きベクトルの変化率を検出する動きベクトル変化率検出部と、
前記動きベクトル変化率検出部で検出された動きベクトルの変化率により複数個のイメージ領域に分類し、このイメージ領域によってフレーム間に互いにマッチングされる画素に対する値を決定してフレーム間に画素値で補間する補間部とを含む動き補償補間装置。
【請求項１０】
前記動きベクトルの変化率を分析する動きベクトル分析部と、
前記動きベクトル分析部で分析された動きベクトル変化率によって前記イメージ信号を均一領域、不均一領域、新しく現れる領域、隠れた領域に分類するイメージ領域分離部と、
前記イメージ領域分離部で分類された前記イメージ領域によって（ｎ−１）番目フレームとｎ番目フレームとの間に互いにマッチングされる画素値、フレーム間に推定された動きベクトル、隣接画素に割り当てられた少なくとも１つの他の動きベクトルを選択してフレーム間に画素値で補間する適応的補間部とを含むことを特徴とする請求項９に記載の適応的動き補償装置。
【請求項１１】
前記隣接画素に割り当てられた少なくとも１つの他の動きベクトルは、前記フレーム間の隠れた領域により補間されるフレームで発生するホール部分に適用するものであることを特徴とする請求項１０に記載の適応的動き補償装置。
【請求項１２】
適応的動き補償方法において、
第１フレームの第１ブロックと第２フレームの第２ブロックとの間に動きベクトルを推定する過程と、
動きベクトルに該当する前記第１及び第２ブロックのうちの一つに隣接配置され、動き物体の隠れた領域内に含まれない他のブロックの動きベクトルを推定する過程と、
前記動きベクトル及び他の動きベクトルによって隠れた領域内に配置され、第１及び第２フレームから補間された補間フレームの補間ブロックの少なくとも一つ以上の画素を決定する過程とを含む適応的動き補償方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレームレート変換システムに係り、特に動きベクトル（ＭＶ）の特性を考慮し、適応的にフレーム間に補間される映像を生成する動き補償補間方法及びその装置に関する。
【背景技術】
【０００２】
一般的にＰＣ（パーソナルコンピュータ）やＨＤＴＶ（ハイデフィニションテレビジョン）では、ＰＡＬまたはＮＴＳＣのような多様な放送信号規格を有するプログラムを互換するために、フレームレート変換を行う。フレームレート変換は、秒当たり出力されるフレーム数を変換させることを意味する。特に、フレームレートが上昇する場合に、新しいフレームを補間する過程が必要である。一方、最近には、放送技術の発達によってＭＰＥＧ、Ｈ．２６３のような映像圧縮方式により映像データを圧縮した後でフレームレート変換を行っている。このような映像処理分野で映像信号は、ほとんどの場合、自動相関関係が大きいために、重複性（冗長度）を有する。従って、データ圧縮時に重複性を除去することによってデータ圧縮効果を向上させることができる。この時、経時的に変わるビデオフレームを効率的に圧縮するためには、時間軸方向の重複性除去が必要である。すなわち、動きのないフレームや動きが若干あるフレームは、前フレームに替えることによって伝送しなければならないデータの量を大幅に減らすことができる。動き推定（ＭＥ）は、以前フレームと現在フレームとの間で最も類似したブロックを探す作業である。ＭＶは、ＭＥでブロックがいくらだけ動いたかを示す。
【０００３】
一般的にＭＥ方法は、動き程度の正確度、リアルタイム処理可能性及びハードウェア具現などを考慮し、ブロックマッチングアルゴリズム（ＢＭＡ）を利用している。フレームとフレームとの間に挿入される映像信号は、主にＢＭＡを使用して生成される。図１は、ＢＭＡを利用したフレーム間の動き補償補間方法を図示している。
【０００４】
図１で、フレームＦｎ、フレームＦｎ−１、フレームＦｉに属したブロックＢ内の画素値をそれぞれｆｎ、ｆｎ−１、ｆｉとし、フレームＦｎに属した座標値をｘとするとき、動き補償で補間される映像信号は式（１）のように示すことができる。
ｆｉ（ｘ＋ＭＶ（ｘ）／２）＝｛ｆｎ−１（ｘ）＋ｆｎ（ｘ＋ＭＶ（ｘ））｝／２  （１）
しかし、フレームＦｎとフレームＦｎ−１との間では、物体の水平、垂直、回転、拡大、縮少などにより物体の様子及び大きさに変形が生じ、時折物体が消えたり現れる場合が多い。従って、ＢＭＡによりマッチングされた両ブロック内部のイメージが相異なる可能性が高いために、式（１）のような数式で補間された映像信号は歪曲を発生させたり、またはブラー（ｂｌｕｒｒｉｎｇ）現象を起こす可能性が高いという問題点がある。
【０００５】
かかる問題点を解決するために、式（２）のようにフレームＦｎやフレームＦｎ−１に属したブロックのうちいずれか一つを使用してフレーム間に補間される画素値を決定する。しかし、式（２）を使用したフレーム間の補間方法も、フレームＦｎやフレームＦｎ−１に属したブロックのうちいずれのブロックを使用するかが明らかではない。
ｆｉ（ｘ＋ＭＶ（ｘ）／２）＝ｆｎ（ｘ）  ｏｒ  ｆｎ−１（ｘ＋ＭＶ（ｘ））  （２）
また、隣接した２つのフレームを使用してＭＥを行うとき、背景部分と動く物体部分との境界では、隠れる領域と新しく現れる領域とが現れる。この時、２フレーム間に一方方向にだけＭＥを行う場合、補間されるフレームには隠れる領域によりホール及びオーバーラッピングが発生する。従って、このようなホール及びオーバーラッピングを防止するために両方向ＭＥを使用して補間されるフレームＦｉを生成する。しかし、このような両方向ＭＥ方法は、双方向に動きを推定せねばならないために、計算量を増加させてハードウェアの量を増加させるという問題点がある。
【特許文献１】米国特許第５６１２７４５号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする技術的課題は、ＭＶの変化率によって適応的に動き補償補間を行うことによってブロック基盤ＭＥによる画質劣化を改善する適応的動き補償の補間方法及びその装置を提供することである。
【課題を解決するための手段】
【０００７】
上記の技術的課題を解決するために本発明は、適応的動き補償の補間方法において、（ａ）隣接したイメージフレーム間にブロック基盤のＭＥを行ってＭＶを推定する過程と、（ｂ）前記過程で推定されたＭＶの変化率を計算する過程と、（ｃ）前記ＭＶの変化率を基に当該フレーム内の画素を複数個のイメージ領域に区分する過程と、（ｄ）前記区分されたイメージ領域によってフレーム間に互いにマッチングされる画素及びフレーム間に推定されたＭＶを適応的に選択し、前記フレーム間に補間される画素値に決定する過程とを含むことを特徴とする。
【０００８】
上記の技術的課題を解決するために本発明は、適応的動き補償補間装置において、入力されるイメージ信号をフレーム単位で保存するフレームバッファ部と、前記フレームバッファ部で保存された（ｎ−１）番目フレーム及びｎ番目フレーム間に単方向ＭＥを行うＭＥ部と、前記ＭＥ部で推定されたＭＶの変化率を検出するＭＶ変化率検出部と、前記ＭＶ変化率検出部で検出されたＭＶの変化率により複数個のイメージ領域に分類し、このイメージ領域によってフレーム間に互いにマッチングされる画素に対する値を決定してフレーム間に画素値で補間する補間部とを含むことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ＭＶの変化率によって適応的に動き補償補間を行うことによってブロック基盤ＭＥによる画質の劣化を改善でき、特にフレーム補間時に動く物体の後に識別された領域のために発生するホール部分は、隣接したブロックに割り当てられたＭＶを利用することによって効果的に復元できる。
【発明を実施するための最良の形態】
【００１０】
以下、添付された図面を参照にして、本発明の望ましい実施例を説明する。
【００１１】
図２は、本発明による適応的動き補償補間装置のブロック図である。図２を参照するに、フレームバッファ２１０は、入力されるイメージ信号をフレーム単位で保存する。
【００１２】
ＭＥ部２２０は、フレームバッファ２１０で保存された（ｎ−１）番目フレーム及びｎ番目フレームを利用し、バックワードまたはフォワードＭＥを行う。
【００１３】
ＭＶ変化率検出部２３０は、ＭＥ部２２０で推定されたＭＶの変化率を検出する。
【００１４】
動き補償補間部２４０は、ＭＶ変化率検出部２３０で検出されたＭＶの変化率によってフレーム間に互いにマッチングされる画素に対する値を決定し、フレーム間に補間される画素値を生成する。
【００１５】
図３は、図２の動き補償補間部の詳細図である。図３を参照するに、ＭＶ分析部３１０は、ＭＶ変化率検出部２３０で検出されたＭＶの変化率を分析する。
【００１６】
イメージ領域分離部３２０は、ＭＶ分析部３１０で分析されたＭＶ変化率によってイメージ信号を均一領域、不均一領域、新しく現れる領域、隠れた領域に分類する。
【００１７】
適応的補間部３３０は、イメージ領域分離部３２０で分類されたイメージ領域によって、（ｎ−１）番目フレームの画素、ｎ番目フレーム間に互いにマッチングされる画素値、ＭＶを異ならせて選択し、（ｎ−１）番目フレームの画素及びｎ番目フレーム間に補間されるフレームＦｉを生成する。
【００１８】
図４は、本発明による適応的動き補償の補間方法を示すフローチャートである。
【００１９】
まず、図５に示されたように、（ｎ−１）番目フレームＦｎ−１とｎ番目フレームＦｎとの間に逆方向にＭＥを行い、ブロック基盤のＭＶを推定する（４１０過程）。図５でＦｉは、Ｆｎ−１とＦｎとの間で補間されるフレームである。ｂ１からｂ９は、ＭＥのための単位ブロックを示す。点線矢印は、ＭＶの方向を示す。
【００２０】
図５を見れば、ｂ４領域は、動き物体の境界領域である。その物体が右に動くことにより補間されるフレームＦｉには、ホールが発生する。同様に、ｂ８領域は、動き物体の境界領域である。その物体が左に動くことによって補間されるフレームＦｉには、オーバーラップが発生する。
【００２１】
次に、ＭＥにより求めたＭＶを利用してＭＶの変化率を計算する（４２０過程）。図５を見れば、ＭＶの方向が均一に保持されていて物体の境界部分で傾度が変わることが分かる。
【００２２】
次に、ＭＶの変化率を検出し、当該ブロックがいかなるイメージ領域に属するかを推定する（４３０過程）。その一実施例を挙げれば、まずイメージ分類のために、第１ＭＶ変化率（ΔＭＶ１（ｂｉ））と第２ＭＶ変化率（ΔＭＶ２（ｂｉ））とを計算する。ここで、ΔＭＶ１（ｂｉ）＝ＭＶ（ｂｉ−１）−ＭＶ（ｂｉ）、そしてΔＭＶ２（ｂｉ）＝ＭＶ（ｂｉ−１）−ＭＶ（ｂｉ＋１）と計算される。そして、ＭＶ（ｂｉ）は、図５のブロックｂｉで推定されたＭＶを示し、ｉはブロックの空間上の順序を示す。また、ΔＭＶ１（ｂｉ）は、当該ブロックが属したイメージ領域を決定するのに使われ、ΔＭＶ２（ｂｉ）は、均一領域を決定づける正確性を高めるための基準に使われる。
【００２３】
【表１】
2005176381.tif 000003
表１を見れば、ΔＭＶ１（ｂｉ）が−Ｖ、すなわちマイナス（−）値を有する時にホールが発生し、＋Ｖ、すなわちプラス（＋）値を有する時にオーバーラップが発生する。
【００２４】
従って、表１を基にΔＭＶ１（ｂｉ）とΔＭＶ２（ｂｉ）の計算結果によって当該ブロックは下記のように分類される。
【００２５】
１．ΔＭＶ１（ｂｉ）＝０そしてＭＶ２（ｂｉ）＝０：均一領域
２．ΔＭＶ１（ｂｉ）＝０そしてＭＶ２（ｂｉ）≠０：不均一領域
３．ΔＭＶ１（ｂｉ）＞０：物体が新しく現れる領域
４．ΔＭＶ１（ｂｉ）＜０：物体が隠れた領域
ここで、均一領域は動きのほとんどない背景イメージに該当する。
【００２６】
次に、分類されたイメージ領域によって適応的に補間される映像信号を決定する（４４０過程）。分類された領域によって、２フレーム間に補間されるフレームは式（３）のように示すことができる。
【００２７】
【数１】
2005176381.tif 000004
ここで、ｆｉ（Ｘ）は補間されるイメージ画素であり、ｆｎ−１（Ｘ）はフレームＦｎ−１内部の画素であり、ｆｎ（Ｘ）はフレームＦｎ内部の画素であり、Ｘは空間座標（ｘ，ｙ）であり、ＶｃはフレームＦｎ−１からフレームＦｎにＭＥにより求めたＭＶであり、αはＭＶの変化量によって決定された適応係数である。
【００２８】
この適応係数αは、分類されたイメージ領域によって次の通り式（２）に適用される。
【００２９】
１．α＝０．５：均一領域
２．α＝１：不均一領域及び新しく現れる領域
３．α＝０：隠れた領域
各領域による動き補償補間を説明すれば、均一領域では、ＭＥにより推定された双方フレームのイメージがほとんど同一であると見なされる。従って、均一領域で補間されるフレーム内の画素値は、双方フレームＦｎ−１，Ｆｎ内のイメージを互いに平均して決定する。すなわち、均一領域で補間されるフレーム内の画素値は、“α＝０．５”を適用して１／２｛ｆｎ−１（Ｘ）＋ｆｎ（Ｘ＋Ｖｃ）｝で計算される。
【００３０】
一方、不均一領域と新しく現れる領域とでは、ＭＥにより推定されたＭＶの正確度が低いので、２フレームのイメージを平均した時にイメージ損傷を起こす。従って、不均一領域と新しく現れる領域とで補間されるフレーム内の画素値は、基準になるフレームＦｎ−１のイメージだけを利用する。すなわち、不均一領域と新しく現れる領域とで補間されるフレーム内の画素値は、“α＝１”を適用してｆｎ−１（Ｘ）で計算される。
【００３１】
そして、フレームＦｎ−１のブロックｂ４に対応したフレームＦｎのブロックは、隠れた領域ではない。当該ブロックが隠れた領域でのフレームＦｎのイメージは、フレームＦｎ−１のイメージより多くの情報を含んでいる。従って、当該ブロックが隠れた領域で補間されるフレーム内の画素値は、フレームＦｎ内の画素を利用する。すなわち、隠れた領域で補間されるフレーム内の画素値は、式（２）に“α＝０”を適用してｆｎ（Ｘ＋Ｖｃ）で計算される。
【００３２】
しかし、２フレーム間の隠れた領域により補間されるフレームで発生するホール部分は、フレームＦｎ内の画素を利用しても、そのまま補間されないまま残っている。
【００３３】
従って、一方方向のＭＥでホール部分を除去するための補間方法は、図６を参照して説明する。図６について述べれば、ブロックｂ４に対する逆方向ＭＶは、まさに以前ブロックに割り当てられたＭＶと一致する。すなわち、水平方向の動き物体に対するＭＶは、隣接した左側ブロックのＭＶと一致し、垂直方向の動き物体に対するＭＶは隣接した上位ブロックのＭＶと一致する。図６で、ブロックｂ４により発生したホール部分は、ＭＥにより求めたＭＶ  ａ０と以前ブロックｂ３に割り当てられたＭＶ  ａ１とを使用して復旧される。
【００３４】
従って、一方方向のＭＥだけでホール部分の復旧のためのフレームは式（４）のようである。
【００３５】
【数２】
2005176381.tif 000005
ここで、Ｖｐは隣接したブロック、例えば左側ブロックまたは上位ブロックに割り当てられたＭＶである。この時、ＭＶ  Ｖｐは、隣接ブロックのＭＶの水平及び垂直成分を比較し、サイズの大きい成分と同じ方向のブロックに対するＭＶにより選択される。
【００３６】
本発明は、前述の実施例に限定されず、本発明の思想内で当業者による変形が可能であることは言うまでもない。
【００３７】
また、本発明は、コンピュータ可読記録媒体にコンピュータ可読コードとして具現することが可能である。コンピュータ可読記録媒体は、コンピュータシステムによって読み込めるデータが保存されるあらゆる種類の記録装置を含む。コンピュータ可読記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、ハードディスク、フロッピー（登録商標）ディスク、フラッシュメモリ、光データ貯蔵装置などがあり、またキャリアウェーブ例えば、インターネットを介した伝送）の形で具現されるものも含む。また、コンピュータ可読記録媒体はネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードとして保存されて実行されうる。
【産業上の利用可能性】
【００３８】
本発明は、ＭＶの特性を考慮して適応的にフレーム間に補間される映像を生成する動き補償補間方法及びその装置に係り、一般的にＰＣやＨＤＴＶに適用されうる。
【図面の簡単な説明】
【００３９】
【図１】従来の動き補償補間方法を示す概念図である。
【図２】本発明による適応的動き補償補間装置のブロック図である。
【図３】図３は図２の動き補償補間部の詳細図である。
【図４】本発明による適応的動き補償の補間方法を示すフローチャートである。
【図５】ブロック基盤のＭＥによる動き補償補間を説明するタイミング図である。
【図６】本発明による適応的動き補償の補間方法を説明するためのタイミング図である。
【符号の説明】
【００４０】
２１０    フレームバッファ
２２０    ＭＥ部
２３０    ＭＶ変化率検出部
２４０    動き補償補間部
【図１】
2005176381.tif 000006
【図２】
2005176381.tif 000007
【図３】
2005176381.tif 000008
【図４】
2005176381.tif 000009
【図５】
2005176381.tif 000010
【図６】
2005176381.tif 000011