(57)【要約】【課題】  重畳されたブロック基盤のＭＥによるＭＣＩ方法及びそれを適用したフレームレート変換装置を提供する。【解決手段】  入力されるイメージをフレーム単位で保存する過程、保存されたイメージをＮｘＮブロックと、そのＮｘＮブロックと同じ中心軸にＮｘＮブロックよりさらに大きい相互重畳されるＭｘＭブロックとに分割し、ＭｘＭブロック内のピクセルを所定倍数でサンプリングする過程、隣接フレーム間にサンプリングされたＭｘＭブロックをマッチングさせてＭＶを推定する過程、推定された方向ＭＶと隣接フレームとの間に互いにマッチングされるＮｘＮブロックのピクセル値とフレーム間の中間ピクセル値を生成する過程を含む。【選択図】      図２
2005229600.tif 000002
【特許請求の範囲】
【請求項１】
動き補償補間方法において、
（ａ）入力されるイメージをフレーム単位で保存する過程と、
（ｂ）前記保存されたイメージをＮｘＮブロックと、そのＮｘＮブロックと同じ中心軸にＮｘＮブロックよりさらに大きい相互重畳されるＭｘＭブロックとに分割し、前記ＭｘＭブロック内のピクセルをサンプリングする過程と、
（ｃ）隣接フレーム間に前記サンプリングされたＭｘＭブロックをマッチングさせて動きベクトルを推定する過程と、
（ｄ）前記推定された動きベクトルと隣接フレーム間に互いにマッチングされる前記ＮｘＮブロックのピクセル値とでフレーム間の中間ピクセル値を生成する過程とを含む動き補償補間方法。
【請求項２】
前記（ｂ）過程のＭｘＭブロックは、動き推定用ブロックであり、前記ＮｘＮブロックは、動き補償補間用ブロックであることを特徴とする請求項１に記載の動き補償補間方法。
【請求項３】
前記（ｃ）過程は、
（ｃ−１）現在フレームのサンプリングされた基準ＭｘＭブロックと以前フレームのサンプリングされた参照ＭｘＭブロックとのＭＡＤ値を計算する過程と、
（ｃ−２）前記過程で計算されたＭＡＤ値のうち最小値を有するＭＡＤを動きベクトルと決定する過程とを含むことを特徴とする請求項１に記載の動き補償補間方法。
【請求項４】
前記ＭＡＤは、
【数１】
2005229600.tif 000008
であり、
ここで（ｉ,ｊ）は、ピクセルの空間座標を表す変数であり、（ｘ,ｙ）は、整合がなされる二つのブロック間の空間的な距離差を表す変数であり、（ｋ,ｌ）は、Ｎ１×Ｎ２個のピクセルよりなる二つのブロックの空間座標を表す変数であり、αは、ＭＥブロック内のピクセルに対するサンプリング係数であり、［Ｍ／α］は、Ｍ／αより大きくない最大の整数値であり、Ｍ１×Ｍ２は、動き推定用ブロックのサイズであり、Ｍ１及びＭ２は、Ｎ１及びＮ２より大きい値と設定されるを特徴とする請求項３に記載の動き補償補間方法。
【請求項５】
前記（ｄ）過程で補間されるフレームの画素値は、
【数２】
2005229600.tif 000009
であり、
ここで、ｘｍ、ｙｍは、最小のＭＡＤ値を有するブロックに対する動きベクトルの垂直水平成分であることを特徴とする請求項１に記載の動き補償補間方法。
【請求項６】
動き推定方法において、
（ａ）入力されるイメージをフレーム単位に保存する過程と、
（ｂ）前記保存されたイメージをＮｘＮブロックと、そのブロックと同じ中心軸でそのブロックよりさらに大きい相互重畳されるＭｘＭブロックとに分割し、前記ＭｘＭブロック内のピクセルをサンプリングする過程と、
（ｃ）隣接フレーム間に前記サンプリングされたＭｘＭブロックをマッチングさせて動きベクトルを推定する過程とを含む動き推定方法。
【請求項７】
１フレームのピクセルをＮｘＮのブロックと、そのＮｘＮブロックと同じ中心軸にそれより大きい相互重畳されるＭｘＭブロックとに分割してフレームレートを変換する装置において、
入力されるイメージを前記ＮｘＮブロック及び前記ＭｘＭブロックを含むフレーム単位で保存するフレームバッファ手段と、
前記フレームバッファ手段に保存されたＭｘＭブロックのピクセルをサンプリングし、隣接フレーム間に前記ＭｘＭブロックをマッチングさせて動きベクトルを推定する動き推定手段と、
前記動き推定手段で推定された動きベクトルと前記フレームバッファ部に保存されたＮｘＮブロックのピクセルとに基づいてフレーム間の中間ピクセル値を生成する動き補償補間手段とを含むフレームレート変換装置。
【請求項８】
前記動き推定部は、
前記フレームバッファ手段で保存された第ｎフレーム及び第ｎ−１フレーム内のＭｘＭブロックのピクセルを所定のサンプル係数でサブサンプリングするサンプリング部と、
前記第ｎフレーム及び第ｎ−１フレーム間にサンプリングされたＭｘＭブロックのピクセルをバックワード及び／またはフォーワード方向にマッチングさせて、動きベクトルを推定する動きベクトル検出部とを含むことを特徴とする請求項７に記載のフレームレート変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はフレームレート変換システムに係り、特に重畳されたブロック基盤の動き推定による動き補償補間（ＭＣＩ）方法及びそれを適用したフレームレート変換装置に関する。
【背景技術】
【０００２】
一般的に、ＰＣやＨＤＴＶでは、ＰＡＬまたはＮＴＳＣのような多様な放送信号規格を有するプログラムを互換するためにフレームレート変換を行う。フレームレート変換は、秒当たり出力されるフレーム数を変換させることを意味する。特に、フレームレートが上昇する場合に、新たなフレームを補間する過程が必要である。一方、最近には、放送技術の発達によってＭＰＥＧ、Ｈ.２６３のような映像圧縮方式によって映像データを圧縮した後、フレームレート変換を行っている。
【０００３】
フレーム間の映像信号は、ほとんどの場合、相関関係が大きいため、重複性を有している。したがって、データ圧縮時に重複性を除去することによって、データ圧縮効果を向上させうる。この時、経時的に変化するビデオフレームを効率的に圧縮するためには、時間軸方向の重複性の除去が必要である。すなわち、動きのないフレームや少しの動きのあるフレームは、以前フレームに代えることによって、伝送しなければならないデータ量を大幅に減らせる。動き推定（ＭＥ）は、以前フレームと現在フレームとの間で最も類似したブロックを探す作業である。動きベクトル（ＭＶ）は、ＭＥでブロックがどのくらい動いたかを表す。
【０００４】
一般的に、ＭＥ方法は、動き程度の正確度、リアルタイム処理可能性及びハードウェアの具現を考慮して、ブロックマッチングアルゴリズム（ＢＭＡ）を利用している。
【０００５】
このＢＭＡは、連続的に入力される映像を均一なサイズの画素ブロックに分割し、その分割されたそれぞれのブロックに対して、以前あるいは以後フレームで最も類似したブロックを探してＭＶと決定する。ＢＭＡで隣接したブロック間の類似性を判断するためにＭＡＤ（Ｍｅａｎ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を主に利用する。
【０００６】
また、フレームとフレームとの間に挿し込まれる映像信号は、主にＢＭＡを使用して生成される。図１は、ＢＭＡを利用したフレーム間のＭＣＩ方法を示している。
【０００７】
図１で、フレームＦｎ、フレームＦｎ−１、フレームＦｉに属するブロックＢ内のピクセル値をそれぞれｆｎ、ｆｎ−１、ｆｉといい、フレームＦｎに属する座標値をｘとする時、動き補償で補間される映像信号は、式（１）のように表すことができる。
【０００８】
【数３】
2005229600.tif 000003
このようなＢＭＡは、リアルタイム処理に適してＦＲＣだけでなくＭＰＥＧ２／４及びＨ.２６２／２６４の圧縮標準で使われる。しかし、ＢＭＡは、水平垂直成分のみを有するＭＥには、その性能が卓越しているが、映像の回転や縮少には、性能が良くない。したがって、ＢＭＡを使用して正確性を高めるために、マッチングブロックのサイズを大きくしなければならない。しかし、ブロックサイズが大きくなれば、正確度が高まる一方、精密な表現が難しく、ブロックサイズが少なくなれば、計算量が少なくなり、精密な表現が可能である一方、正確度が劣るという問題点がある。
【特許文献１】韓国特許公開第２００３−０２０４６６号公報
【特許文献２】米国特許第６３４３０９９  Ｂ１号
【特許文献３】米国特許第５１４２３６０号
【特許文献４】韓国特許公開第１９９９−０１６０８４号公報
【特許文献５】日本特許公開第２００２−９４９８７号公報
【特許文献６】韓国特許公開第２００３−０３９８１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明が解決しようとする技術的課題は、サンプリングされたブロックにＭＥを行い、サンプリングされていないブロックにＭＣＩを行うことによって、ブロック基盤のＭＥによる計算量を減らし、精密度を高めるＭＣＩ方法及びそれを適用したフレームレート変換装置を提供することである。
【課題を解決するための手段】
【００１０】
前記課題を解決するために、本発明は、ＭＣＩ方法において、（ａ）入力されるイメージをフレーム単位で保存する過程と、（ｂ）前記保存されたイメージをＮｘＮブロックと、そのＮｘＮブロックと同じ中心軸にＮｘＮブロックよりさらに大きい相互重畳されるＭｘＭブロックとに分割し、前記ＭｘＭブロック内のピクセルをサンプリングする過程と、（ｃ）隣接フレーム間に前記サンプリングされたＭｘＭブロックをマッチングさせてＭＶを推定する過程と、（ｄ）前記推定された方向ＭＶと隣接フレーム間に互いにマッチングされる前記ＮｘＮブロックのピクセル値とでフレーム間の中間ピクセル値を生成する過程とを含むことを特徴とする。
【００１１】
前記他の課題を解決するために、本発明は、１フレームのピクセルをＮｘＮのブロックと、そのＮｘＮブロックと同じ中心軸にＮｘＮブロックよりさらに大きい相互重畳されるＭｘＭブロックとに分割してフレームレートを変換する装置において、入力されるイメージを前記ＮｘＮブロック及び前記ＭｘＭブロックを含むフレーム単位に保存するフレームバッファ手段と、前記フレームバッファ手段に保存されたＭｘＭブロックのピクセルを所定倍数でサンプリングし、隣接フレーム間に前記ＭｘＭブロックをマッチングさせてＭＶを推定するＭＥ手段と、前記ＭＥ手段で推定されたＭＶと前記フレームバッファ部に保存されたＮｘＮブロックのピクセルとに基づいてフレーム間の中間ピクセル値を生成するＭＣＩ手段とを含むことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、サンプリングされたＭＥブロックを利用してＭＶを推定することによってＭＥ計算量を減らし、推定されたＭＶとサンプリングされていないＭＣＩブロックとを利用してＭＣＩを行うことによって、イメージ精密度を向上させうる。
【発明を実施するための最良の形態】
【００１３】
以下、添付された図面を参照として本発明の望ましい実施例を説明する。
【００１４】
図２は、本発明によるＭＣＩ方法を示すフローチャートである。
【００１５】
まず、入力されるイメージをフレーム単位で保存する（２１０過程）。
【００１６】
次いで、第ｎ−１フレームＦｎ−１及び第ｎフレームＦｎ内のピクセルをＮ１ｘＮ２のＭＣＩブロックと、そのＭＣＩブロックと同じ中心軸にそのブロックよりさらに大きいＭ１ｘＭ２のＭＥブロックとに分割する（２２０過程）。この時、Ｍ１ｘＭ２は、Ｎ１ｘＮ２より大きい値と設定される。例えば、ＭＥブロックは３２ｘ３２と、ＭＣＩブロックは１６ｘ１６と設定できる。また、Ｍ１ｘＭ２の任意のブロックは、左右上下の隣接ブロックに対して水平及び垂直方向にそれぞれＮ１及びＮ２ほど離れている。したがって、Ｍ１ｘＭ２のＭＥブロックは、隣接ブロックと重畳される特性を有する。
【００１７】
次いで、第ｎ−１フレームＦｎ−１及び第ｎフレームＦｎのＭＥブロック内のピクセルを１／２あるいはそれ以下にサブサンプリングする（２３０過程）。
【００１８】
図４を参照するに、（ａ）は、Ｍ１ｘＭ２のＭＥブロックをサンプリング係数２でサブサンプリングしたものであって、選択された画素と非選択の画素とに区分される。（ｂ）は、Ｎ１ｘＮ２のＭＣＩブロックを示す図である。
【００１９】
次いで、第ｎ−１フレームＦｎ−１と第ｎフレームＦｎとの間でサンプリングされたＭ１ｘＭ２のＭＥブロックを逆方向または順方向にマッチングさせて、フレーム間に補間されるフレームＦｉに適用するＭＶを推定する（２４０過程）。
【００２０】
例えば、図３を参照して、サンプリングブロックを適用したＭＥ方法を説明する。第ｎ−１フレームＦｎ−１と第ｎフレームＦｎとが与えられた時、ＭＶは、式（２）及び式（３）のように、現在フレームＦｎ−１の基準ブロックと以前フレームＦｎの探索領域内の参照ブロックとのＭＡＤ値を計算した後、最小のＭＡＤ値を有するブロックに対する空間的な距離として決定される。まず、ＭＡＤは、式（２）のように計算される。
【００２１】
【数４】
2005229600.tif 000004
ここで、ｎは、時間領域での入力フレームの順序を表す変数である。（ｉ,ｊ）は、ピクセルの空間座標を表す変数であり、（ｘ,ｙ）は、整合がなされる二つのブロック間の空間的な距離差を表す変数である。（ｋ,ｌ）は、Ｎ１ｘＮ２個のピクセルよりなる二つのブロックの空間座標を表す変数であり、ここで、Ｎ１及びＮ２は、それぞれ二つの整合ブロックの水平及び垂直サイズを表す。また、式（３）のように、ＭＥ領域内で最小のＭＡＤ値を有するブロックについてのＭＶを求める。
【００２２】
【数５】
2005229600.tif 000005
ここで、Ｓは、ＭＥのための探索範囲を表し、（ｘｍ,ｙｍ）は、最小のＭＡＤ値を有するブロックについてのＭＶを表す。
【００２３】
この時、サンプリングされたＭＥブロックを利用したＭＡＤは、式（４）のように表すことができる。
【００２４】
【数６】
2005229600.tif 000006
ここで、αは、ＭＥブロック内ピクセルについてのサンプリング係数であり、［Ｍ／α］は、Ｍ／αより大きくない最大の整数値である。Ｍ１ｘＭ２は、ＭＥブロックのサイズであり、Ｍ１及びＭ２は、式（２）のＮ１及びＮ２より大きい値と設定される。式（４）を参照するに、Ｍ１ｘＭ２のブロックをサンプリング係数αのサイズほど水平及び垂直方向に均一にサンプリングされたピクセルよりなるブロックでＭＥを実行する。この時、サンプリングされたブロックでＭＥを実行することによって、計算量を減少させる。例えば、同じ映像フレームについてＭＥを実行し、ＭＣＩブロックのサイズが同じであり、ＭＥ範囲が同じであるという仮定下に、従来の技術及び本発明によるＭＥの計算量を比較すると、次の通りである。ＭＥ領域をＳとし、ＭＡＤを推定するための各ピクセルの単位計算量をＫとする時、従来に任意の１ＭＥブロックについてのＭＶの計算量は、ＳＫＮ１Ｎ２と表すことができ、本発明は、ＳＫ（Ｍ１Ｍ２／α２）と表すことができる。
【００２５】
次いで、ＭＥブロックで推定されたＭＶに基づいてフレーム間のＭＣＩブロックを利用して、図３に示されたように、補間フレームＦｉの画素値を生成する（２５０過程）。すなわち、補間フレームを生成する実施例を挙げれば、第ｎフレームから第ｎ−１フレームの中間時点で補間されるフレームを仮定し、補間されるフレームに基づいて第ｎフレームから第ｎ−１フレームに向かうＭＶが与えられれば、それぞれ第ｎフレームと第ｎ−１フレームとで互いにマッチングされる地点のピクセル平均値を補間されるフレームのピクセルとして生成する。
【００２６】
ここで、補間されるフレームの画素値は、式（５）のように表すことができる。
【００２７】
【数７】
2005229600.tif 000007
結局、サンプリングされたＭＥブロックを利用してＭＶを推定することによって、ＭＥ計算量を減らし、推定されたＭＶとサンプリングされていないＭＣＩブロックとを利用してＭＣＩを行うことによって、イメージ精度を向上させうる。
【００２８】
図５は、本発明によるＭＣＩ方法を適用したフレームレート変換装置のブロック図である。図５を参照するに、フレームバッファ５１０は、入力されるイメージ信号をフレーム単位で保存する。例えば、フレームバッファ５１０には、第ｎフレーム及び第ｎ−１フレームが保存されている。
【００２９】
ＭＥ部５２０は、サンプリング部５２４及びＭＶ（動きベクトル）検出部５２６を備えてサンプリングされたＭｘＭブロックからＭＶを抽出する。すなわち、サンプリング部５２４は、フレームバッファ５１０で保存された第ｎフレーム及び第ｎ−１フレームのＭｘＭブロックを所定のサンプル係数でサブサンプリングする。ＭＶ検出部５２６は、第ｎフレーム及び第ｎ−１フレーム間にそのサンプリングされたＭ１ｘＭ２ブロックをバックワードまたはフォーワード方向にマッチングさせてＭＶを推定する。
【００３０】
ＭＣ補間部２４０は、ＭＶ検出部５２６から検出されたＭＶをフレームバッファ５１０で保存された第ｎフレーム及び第ｎ−１フレームのＮ１ｘＮ２ブロックに適用してフレーム間に補間されるピクセル値を生成する。
【００３１】
本発明は、前述した実施例に限定されず、本発明の思想内で当業者による変形が可能である。
【００３２】
また、本発明は、コンピュータ可読記録媒体にコンピュータ可読コードとして具現することが可能である。コンピュータ可読記録媒体は、コンピュータシステムによって読取れるデータが保存される全ての種類の記録装置を含む。コンピュータ可読記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、ハードディスク、フロッピー（登録商標）ディスク、フラッシュメモリ、光データ保存装置があり、またキャリアウェーブ（例えば、インターネットを通じた伝送）状に具現されるものも含む。また、コンピュータ可読記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードとして保存されかつ実行されうる。
【産業上の利用可能性】
【００３３】
本発明は、重畳されたブロック基盤のＭＥによるＭＣＩ方法及びそれを適用したフレームレート変換装置に係り、一般的に、ＰＣやＨＤＴＶに適用されうる。
【図面の簡単な説明】
【００３４】
【図１】従来のＭＣＩ方法を示す概念図である。
【図２】本発明によるＭＣＩ方法を示すフローチャートである。
【図３】本発明によるＭＥブロックとＭＣＩブロックとを利用したＭＣＩ方法を示す概念図である。
【図４】図３のＭＥブロックとＭＣＩブロックとを示す図である。
【図５】本発明によるＭＣＩ方法を適用したフレームレート変換装置のブロック図である。
【符号の説明】
【００３５】
５１０  フレームバッファ
５２０  ＭＥ部
５２４  サンプリング部
５２６  ＭＶ検出部
５４０  ＭＩＣ補間部
【図１】
2005229600.tif 000010
【図２】
2005229600.tif 000011
【図３】
2005229600.tif 000012
【図４】
2005229600.tif 000013
【図５】
2005229600.tif 000014