(57)【要約】【課題】  フレームレート変換トランスコーダにおいて、省略されずに伝送されるフレームに対するモーションベクトル及びマクロブロックタイプを正確に決定し得る方法を提供しようとする。【解決手段】  フレームレート変換ビデオトランスコーダにおいて、省略されたフレームＮ−１のマクロブロックタイプ及び入力されるフレームＮのマクロブロックタイプによって、前記フレームＮのマクロブロックに新しいモーションベクトル及びマクロブロックタイプを割り当てて出力することで、モーションベクトル及びマクロブロックタイプを決定する。【選択図】図２
2004364265.tif 000002
【特許請求の範囲】
【請求項１】
入力される高フレームレートのビデオストリームを低フレームレートのビデオストリームに変換出力するフレームレート変換ビデオトランスコーダにおいて、
省略されたフレームＮ−１のマクロブロックタイプ及び入力されるフレームＮのマクロブロックタイプによって、前記フレームＮのマクロブロックに新しいモーションベクトル及びマクロブロックタイプを割り当てて出力することを特徴とするモーションベクトル及びマクロブロックタイプの決定方法。
【請求項２】
前記入力されるフレームＮのマクロブロックタイプは、
インター（ｉｎｔｅｒ）タイプとイントラ（ｉｎｔｒａ）タイプとに区分されることを特徴とする請求項１記載のモーションベクトル及びマクロブロックタイプの決定方法。
【請求項３】
前記フレームＮのマクロブロックがインタータイプであると、
省略されたフレームＮ−１のマクロブロックタイプによって、前記フレームＮのマクロブロックの新しいモーションベクトルを決定することを特徴とする請求項２記載のモーションベクトル及びマクロブロックタイプの決定方法。
【請求項４】
前記フレームＮのマクロブロックが省略タイプであると、
前記フレームＮのマクロブロックと同様な位置にあるフレームＮ−１のマクロブロックタイプによって、前記フレームＮの新しいマクロブロックタイプを決定することを特徴とする請求項２記載のモーションベクトル及びマクロブロックタイプの決定方法。
【請求項５】
前記新しいマクロブロックがインタータイプであると、
前記フレームＮのマクロブロックの新しいモーションベクトルを決定する過程が追加されて行われることを特徴とする請求項４記載のモーションベクトル及びマクロブロックタイプの決定方法。
【請求項６】
前記フレームＮのマクロブロックの新しいモーションベクトルは、
前記フレームＮのマクロブロックと同様な位置にあるフレームＮ−１のマクロブロックのモーションベクトルと同様に決定することを特徴とする請求項５記載のモーションベクトル及びマクロブロックタイプの決定方法。
【請求項７】
省略されたフレームＮ−１の次に伝送されるフレームＮのマクロブロックがイントラタイプであるか、省略タイプであるかを判断する過程と、
前記フレームＮのマクロブロックがイントラタイプであると、前記省略されたフレームＮ−１のマクロブロックタイプによって、前記フレームＮのマクロブロックに新しいモーションベクトルを割り当てる過程と、
前記フレームＮのマクロブロックが省略タイプであると、前記フレームＮのマクロブロックと同様な位置にあるフレームＮ−１のマクロブロックタイプによって、前記フレームＮのマクロブロックに新しいマクロブロックタイプを決定する過程とを順次行うことを特徴とするモーションベクトル及びマクロブロックタイプの決定方法。
【請求項８】
前記フレームＮのマクロブロックがイントラタイプであると、
前記省略されたフレームＮ−１のマクロブロックタイプを判断する過程と、
前記省略されたフレームＮ−１のマクロブロックがイントラタイプであると、前記フレームＮのマクロブロックに無限大のモーションベクトルを新しく割り当てる過程と、
前記省略されたフレームＮ−１のマクロブロックが省略タイプであると、前記フレームＮのマクロブロックのモーションベクトルを同様に割り当てる過程と、
前記省略されたフレームＮ−１のマクロブロックがインタータイプであると、それらフレームＮのマクロブロックに割り当てられたモーションベクトルとフレームＮ−１のマクロブロックに割り当てられたモーションベクトルとの和を前記フレームＮのマクロブロックの新しいモーションベクトルに割り当てる過程とを順次行うことを特徴とする請求項７記載のモーションベクトル及びマクロブロックタイプの決定方法。
【請求項９】
前記フレームＮのマクロブロックが省略タイプであると、
前記フレームＮのマクロブロックと同様な位置にあるフレームＮ−１のマクロブロックタイプを判断する過程と、
前記フレームＮ−１のマクロブロックがイントラタイプであると、前記フレームＮのマクロブロックをイントラタイプに決定する過程と、
前記フレームＮ−１のマクロブロックが省略タイプであると、前記フレームＮのマクロブロックを省略タイプに決定する過程と、
前記フレームＮ−１のマクロブロックがインタータイプであると、前記フレームＮのマクロブロックをインタータイプに決定する過程とを順次行うことを特徴とする請求項７記載のモーションベクトル及びマクロブロックタイプの決定方法。
【請求項１０】
前記フレームＮのマクロブロックがインタータイプであると、
前記フレームＮのマクロブロックに対するモーションベクトルを割り当てる過程が追加されて行われることを特徴とする請求項９記載のモーションベクトル及びマクロブロックタイプの決定方法。
【請求項１１】
前記モーションベクトルは、
前記フレームＮのマクロブロックと同様な位置にあるフレームＮ−１のマクロブロックのモーションベクトルと同様に割り当てられることを特徴とする請求項１０記載のモーションベクトル及びマクロブロックタイプの決定方法。
【請求項１２】
省略されたフレームＮ−１の次に伝送されるフレームＮのマクロブロックがインタータイプであることを確認する過程と、
前記フレームＮ−１のマクロブロックタイプを判断する過程と、
前記フレームＮ−１のマクロブロックタイプによって、前記フレームＮのマクロブロックに対する新しいモーションベクトルを割り当てる過程とを順次行うことを特徴とするモーションベクトル及びマクロブロックタイプの決定方法。
【請求項１３】
前記フレームＮ−１のマクロブロックタイプは、
イントラタイプと、
省略タイプと、
インタータイプとに区分されることを特徴とする請求項１２記載のモーションベクトル及びマクロブロックタイプの決定方法。
【請求項１４】
前記新しいモーションベクトルは、
ＭＶ’Ｎ＝ＭＶＮ＋ＭＶＮ−１（前記式中、ＭＶ’ＮはフレームＮのマクロブロックに割り当てられるモーションベクトル、ＭＶＮはフレームＮのマクロブロックのモーションベクトル、ＭＶＮ−１はフレームＮ−１のマクロブロックのモーションベクトルを夫々示したものである。）
であることを特徴とする請求項１２記載のモーションベクトル及びマクロブロックタイプの決定方法。
【請求項１５】
前記ＭＶＮ−１は、
前記フレームＮ−１のマクロブロックがイントラタイプであると無限大値を有し、省略タイプであると０値を有することを特徴とする請求項１４記載のモーションベクトル及びマクロブロックタイプの決定方法。
【請求項１６】
前記新しいモーションベクトルを割り当てる過程は、
前記省略されたフレームＮ−１のマクロブロックがイントラタイプであると、前記フレームＮのマクロブロックに無限大のモーションベクトルを新しく割り当てる過程と、
前記省略されたフレームＮ−１のマクロブロックが省略タイプであると、前記フレームＮのマクロブロックのモーションベクトルを同様に割り当てる過程と、
前記省略されたフレームＮ−１のマクロブロックがインタータイプであると、それらフレームＮのマクロブロックに割り当てられたモーションベクトルとフレームＮ−１のマクロブロックに割り当てられたモーションベクトルとの和を前記フレームＮのマクロブロックの新しいモーションベクトルに割り当てる過程とを順次行うことを特徴とする請求項１２記載のモーションベクトル及びマクロブロックタイプの決定方法。
【請求項１７】
省略されたフレームＮ−１の次に伝送されるフレームＮのマクロブロックが省略タイプであることを確認する過程と、
前記フレームＮのマクロブロックと同様な位置にあるフレームＮ−１のマクロブロックタイプを判断する過程と、
前記フレームＮ−１のマクロブロックタイプと同様に前記フレームＮのマクロブロックタイプを決定する過程とを順次行うことを特徴とするモーションベクトル及びマクロブロックタイプの決定方法。
【請求項１８】
前記フレームＮ−１のマクロブロックがイントラタイプであると、
前記フレームＮのマクロブロックをイントラタイプに決定することを特徴とする請求項１７記載のモーションベクトル及びマクロブロックタイプの決定方法。
【請求項１９】
前記フレームＮ−１のマクロブロックが省略タイプであると、
前記フレームＮのマクロブロックを省略タイプに決定することを特徴とする請求項１７記載のモーションベクトル及びマクロブロックタイプの決定方法。
【請求項２０】
前記フレームＮ−１のマクロブロックがインタータイプであると、
前記フレームＮのマクロブロックをインタータイプに決定する過程と、
前記フレームＮのマクロブロックの新しいモーションベクトルを割り当てる過程とを順次行うことを特徴とする請求項１７記載のモーションベクトル及びマクロブロックタイプの決定方法。
【請求項２１】
前記モーションベクトルを割り当てる過程は、
前記フレームＮのマクロブロックと同様な位置にあるフレームＮ−１のマクロブロックのモーションベクトルをそのまま割り当てることを特徴とする請求項２０記載のモーションベクトル及びマクロブロックタイプの決定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モーションベクトル及びマクロブロックタイプの決定方法に係るもので、詳しくは、フレームレート変換トランスコーダにおいて、省略されずに伝送されるフレームに対するモーションベクトル及びマクロブロックタイプを決定する方法に関するものである。
【背景技術】
【０００２】
ＶＯＤ（Ｖｉｄｅｏ  Ｏｎ  Ｄｅｍａｎｄ）又はビデオストリーミングサービスは、ビデオコンテンツを伝送サーバーに圧縮されたファイル形態に格納し、使用者の要請によってビデオコンテンツを選択的に伝送するサービスである。チャンネル帯域幅が低い移動通信網やチャンネル帯域幅が可変的なインターネットにおいて前記ビデオコンテンツをサービスするとき、チャンネル帯域幅が急減するか、又は混雑度（ｃｏｎｇｅｓｔｉｏｎ）が増加すると、前記伝送サーバーは、ビデオ伝送フレームレートを減らさなければならないが、このようにビデオ伝送フレームレートを調節する装置がフレームレート変換トランスコーダ（ｆｒａｍｅ−ｒａｔｅ  ｃｏｎｖｅｒｓｉｏｎ  ｔｒａｎｓｃｏｄｅｒ）である。
【０００３】
一般に、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）のような動映像は、予測符号化により圧縮されるが、該予測符号化は、特定画素の信号値を他の時間における映像の信号値との差を利用して表すため、前記動映像の各フレームは、時間的に相互連関性を有している。前記各フレームは、複数のマクロブロックから構成され、それらマクロブロックは、インター（ｉｎｔｅｒ）タイプとイントラ（ｉｎｔｒａ）タイプとに区分される。
【０００４】
図４は、従来のフレームレート変換ビデオトランスコーダの動作を示したブロック図で、図示されたように、従来のフレームレート変換ビデオトランスコーダ１０においては、高フレームレート（ｈｉｇｈ  ｆｒａｍｅ−ｒａｔｅ）のビット列を低フレームレート（ｌｏｗ  ｆｒａｍｅ−ｒａｔｅ）のビット列に変換するためにフレームを省略するフレーム省略部１１と、該フレーム省略部１１で省略されたフレームを予測の基準にする以降のフレームに対する新しいモーションベクトル及びマクロブロックタイプを割り当てる推定部１２とから構成されている。
【０００５】
前記ビデオ伝送フレームレートを減らすために特定フレームを省略する場合、該省略されたフレーム（ｓｋｉｐｐｅｄ  ｆｒａｍｅ）を予測のための基準フレーム（ｒｅｆｅｒｅｎｃｅ  ｆｒａｍｅ）にする以降のフレームには、新しいモーションベクトル及びマクロブロックタイプが決定されるべきである。
【０００６】
前記ビデオトランスコーダ１０で省略されるフレームの次に伝送されるフレームに対する新しいモーションベクトルを決定する方法としては、Ｊ．Ｙｏｕｎ及びＭ．Ｓｕｎが提案したＦＤＶＳ（Ｆｏｒｗａｒｄ  Ｄｏｍｉｎａｎｔ  Ｖｅｃｔｏｒ  Ｓｅｌｅｃｔｉｏｎ）技法（非特許文献１）がある。
【０００７】
既存の符号器において、モーションベクトルを推定するために要求される計算量は、符号器全体の計算量の７０％を占めるほど大きい。従って、Ｙｏｕｎ及びＳｕｎは、前記ＦＤＶＳ技法において、モーションベクトルの推定を再度行う代わりに、既に求められたモーションベクトルを利用して新しいモーションベクトルを決定する方法を提案した。
【０００８】
従来のＦＤＶＳ技法においては、省略されたフレームの四つのマクロブロックの中で、予測しようとするマクロブロックと最も多く重なるマクロブロックのモーションベクトルを支配的モーションベクトル（ｄｏｍｉｎａｎｔ  ｍｏｔｉｏｎ  ｖｅｃｔｏｒ）と定義し、該支配的モーションベクトルを、省略されたフレームのマクロブロックのモーションベクトルと定義する。
【０００９】
図５は従来のＦＤＶＳ技法を示した図で、図示されたように、フレームＮのマクロブロックＭＢＮに割り当てられたモーションベクトルＭＶＮにより予測されたマクロブロックと最も多く重なるフレームＮ−１のマクロブロックはＭＢＮ−１で、該マクロブロックＭＢＮ−１に割り当てられたモーションベクトルはＭＶＮ−１である。
【００１０】
従って、前記省略されたフレームＮ−１の次に伝送される前記フレームＮのマクロブロックＭＢＮの新しいモーションベクトルＭＶ’Ｎは、それらマクロブロックＭＢＮに割り当てられたモーションベクトルＭＶＮとマクロブロックＭＢＮ−１に割り当てられたモーションベクトルＭＶＮ−１との和により計算される。
【００１１】
式１は、前記フレームＮのマクロブロックＭＢＮに新しく割り当てられるモーションベクトルＭＶ’Ｎを数学式で表現したものである。
【００１２】
ＭＶ’Ｎ＝ＭＶＮ＋ＭＶＮ−１        −−−−（式１）
前記式１に示したように、従来のＦＤＶＳにおいては、既に求められたモーションベクトルを利用して、省略されたフレームの次に伝送されるフレームに対する新しいモーションベクトルを決定する。
【非特許文献１】「Ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｒｅｆｉｎｅｍｅｎｔ  ｆｏｒ  ｈｉｇｈ−ｐｅｒｆｏｒｍａｎｃｅ  ｔｒａｎｓｃｏｄｉｎｇ」、ＩＥＥＥ  Ｔｒａｎｓ．  ｏｎ  Ｍｕｌｔｉｍｅｄｉａ、ｖｏｌ．１．、ｎｏ．１．、ｐｐ３０−４０，１９９９年３月
【発明の開示】
【発明が解決しようとする課題】
【００１３】
然るに、このような従来のＦＤＶＳ技法においては、フレームＮのマクロブロックＭＢＮのマクロブロックタイプ及び省略されたフレームＮ−１のマクロブロックタイプを考慮せずに前記式１を適用するため、次のような不都合な点があった。
【００１４】
（１）伝送中に省略されたフレームＮ−１のマクロブロックＭＢＮ−１が‘イントラ（ｉｎｔｒａ）タイプ’の場合に不都合な点が発生する。
【００１５】
即ち、前記マクロブロックＭＢＮ−１が‘イントラタイプ’の場合、新しく割り当てられるモーションベクトルＭＶ’Ｎは式２のように定義される。このとき、前記‘イントラタイプ’のマクロブロックはモーションベクトルを有しないため、マクロブロックＭＢＮ−１に割り当てられるモーションベクトルＭＶＮ−１は（０，０）になる。
【００１６】
ＭＶ’Ｎ＝ＭＶＮ＋（０，０）＝ＭＶＮ        −−−−（式２）
前記式２は、フレームＮ−２でモーションベクトルＭＶＮにより予測されたマクロブロックが、フレームＮ−１でモーションベクトルＭＶＮにより予測されたマクロブロックと最も類似にマッチングされたことを意味する。然し、それらフレームＮ−１及びフレームＮ−２は特性が相異するため、最適のマッチングであるとみることはできない。
【００１７】
（２）前記フレームＮのマクロブロックＭＢＮが‘省略（ｓｋｉｐｐｅｄ）タイプ’の場合に不都合な点が発生する。
【００１８】
即ち、従来のＦＤＶＳ技法においては、省略されたフレームＮ−１のマクロブロックタイプにかかわらず、ＭＢＮを‘省略タイプ’に決定するが、フレームＮのマクロブロックＭＢＮと同様な位置にあるフレームＮ−１のマクロブロックが‘イントラタイプ’又は‘インタータイプ’の場合は、それらマクロブロックＭＢＮと前記フレームＮ−１のマクロブロックタイプとは一致しない。従って、前記フレームＮ−２を基準画面として復号化されたマクロブロックＭＢＮの再生映像は、マクロブロックＭＢＮの実際の映像データとは異なるようになる。
【００１９】
このように、従来のＦＤＶＳ技法においては、伝送中に省略されたフレームのマクロブロックタイプ及び前記省略されたフレームを基準にして予測されたフレームのマクロブロックタイプを考慮せずに新しいモーションベクトルを推定するため、受信端の復号器を経由して再生された映像と実際の映像との差が発生して、以後の映像にエラーが累積されるので、画質の劣化が発生するという不都合な点があった。
【００２０】
本発明は、このような従来の課題に鑑みてなされたもので、本発明の目的は、ビデオトランスコーダにおいて、省略されずに伝送されるフレームのモーションベクトル及びマクロブロックタイプを正確に決定する方法を提供しようとするものである。
【００２１】
又、本発明の他の目的は、ビデオトランスコーダにおいて、省略されたフレームのマクロブロックタイプを考慮して、以降のフレームのモーションベクトル及びマクロブロックタイプを決定する方法を提供しようとするものである。
【課題を解決するための手段】
【００２２】
このような目的を達成するため、本発明に係るモーションベクトル及びマクロブロックタイプの決定方法においては、入力される高フレームレートのビデオストリームを低フレームレートのビデオストリームに変換して出力するフレームレート変換ビデオトランスコーダにおいて、省略されたフレームＮ−１のマクロブロックタイプ及び入力されるフレームＮのマクロブロックタイプによって、前記フレームＮのマクロブロックに新しいモーションベクトル及びマクロブロックタイプを割り当てて出力することを特徴とする。
【００２３】
又、本発明に係るモーションベクトル及びマクロブロックタイプの決定方法においては、省略されたフレームＮ−１の次に伝送されるフレームＮのマクロブロックがイントラタイプであるか、省略タイプであるかを判断する過程と、該判断の結果、前記フレームＮのマクロブロックがイントラタイプであると、前記省略されたフレームＮ−１のマクロブロックタイプによって、前記フレームＮのマクロブロックに新しいモーションベクトルを割り当てる過程と、前記判断の結果、前記フレームＮのマクロブロックが省略タイプであると、前記フレームＮのマクロブロックと同様な位置にあるフレームＮ−１のマクロブロックタイプによって、前記フレームＮのマクロブロックに新しいマクロブロックタイプを決定する過程とを順次行うことを特徴とする。
【００２４】
又、本発明に係るモーションベクトル及びマクロブロックタイプの決定方法においては、省略されたフレームＮ−１の次に伝送されるフレームＮのマクロブロックがインタータイプであることを確認する過程と、前記フレームＮ−１のマクロブロックタイプを判断する過程と、前記フレームＮ−１のマクロブロックタイプによって、前記フレームＮのマクロブロックに新しいモーションベクトルを割り当てる過程とを順次行うことを特徴とする。
【００２５】
又、本発明に係るモーションベクトル及びマクロブロックタイプの決定方法においては、省略されたフレームＮ−１の次に伝送されるフレームＮのマクロブロックが省略タイプであることを確認する過程と、前記フレームＮのマクロブロックと同様な位置にあるフレームＮ−１のマクロブロックタイプを判断する過程と、前記フレームＮ−１のマクロブロックタイプと同様に前記フレームＮのマクロブロックタイプを決定する過程とを順次行うことを特徴とする。
【００２６】
本発明によるモーションベクトル及びマクロブロックタイプの決定方法は、入力される高フレームレートのビデオストリームを低フレームレートのビデオストリームに変換出力するフレームレート変換ビデオトランスコーダにおいて、省略されたフレームＮ−１のマクロブロックタイプ及び入力されるフレームＮのマクロブロックタイプによって、前記フレームＮのマクロブロックに新しいモーションベクトル及びマクロブロックタイプを割り当てて出力することを特徴とし、これにより上記目的を達成する。
【００２７】
前記入力されるフレームＮのマクロブロックタイプは、インター（ｉｎｔｅｒ）タイプとイントラ（ｉｎｔｒａ）タイプとに区分されることを特徴としてもよい。
【００２８】
前記フレームＮのマクロブロックがインタータイプであると、省略されたフレームＮ−１のマクロブロックタイプによって、前記フレームＮのマクロブロックの新しいモーションベクトルを決定することを特徴としてもよい。
【００２９】
前記フレームＮのマクロブロックが省略タイプであると、前記フレームＮのマクロブロックと同様な位置にあるフレームＮ−１のマクロブロックタイプによって、前記フレームＮの新しいマクロブロックタイプを決定することを特徴としてもよい。
【００３０】
前記新しいマクロブロックがインタータイプであると、前記フレームＮのマクロブロックの新しいモーションベクトルを決定する過程が追加されて行われることを特徴としてもよい。
【００３１】
前記フレームＮのマクロブロックの新しいモーションベクトルは、前記フレームＮのマクロブロックと同様な位置にあるフレームＮ−１のマクロブロックのモーションベクトルと同様に決定することを特徴としてもよい。
【００３２】
本発明によるモーションベクトル及びマクロブロックタイプの決定方法は、省略されたフレームＮ−１の次に伝送されるフレームＮのマクロブロックがイントラタイプであるか、省略タイプであるかを判断する過程と、前記フレームＮのマクロブロックがイントラタイプであると、前記省略されたフレームＮ−１のマクロブロックタイプによって、前記フレームＮのマクロブロックに新しいモーションベクトルを割り当てる過程と、前記フレームＮのマクロブロックが省略タイプであると、前記フレームＮのマクロブロックと同様な位置にあるフレームＮ−１のマクロブロックタイプによって、前記フレームＮのマクロブロックに新しいマクロブロックタイプを決定する過程とを順次行うことを特徴とし、これにより上記目的を達成する。
【００３３】
前記フレームＮのマクロブロックがイントラタイプであると、前記省略されたフレームＮ−１のマクロブロックタイプを判断する過程と、前記省略されたフレームＮ−１のマクロブロックがイントラタイプであると、前記フレームＮのマクロブロックに無限大のモーションベクトルを新しく割り当てる過程と、前記省略されたフレームＮ−１のマクロブロックが省略タイプであると、前記フレームＮのマクロブロックのモーションベクトルを同様に割り当てる過程と、前記省略されたフレームＮ−１のマクロブロックがインタータイプであると、それらフレームＮのマクロブロックに割り当てられたモーションベクトルとフレームＮ−１のマクロブロックに割り当てられたモーションベクトルとの和を前記フレームＮのマクロブロックの新しいモーションベクトルに割り当てる過程とを順次行うことを特徴としてもよい。
【００３４】
前記フレームＮのマクロブロックが省略タイプであると、前記フレームＮのマクロブロックと同様な位置にあるフレームＮ−１のマクロブロックタイプを判断する過程と、前記フレームＮ−１のマクロブロックがイントラタイプであると、前記フレームＮのマクロブロックをイントラタイプに決定する過程と、前記フレームＮ−１のマクロブロックが省略タイプであると、前記フレームＮのマクロブロックを省略タイプに決定する過程と、前記フレームＮ−１のマクロブロックがインタータイプであると、前記フレームＮのマクロブロックをインタータイプに決定する過程とを順次行うことを特徴としてもよい。
【００３５】
前記フレームＮのマクロブロックがインタータイプであると、前記フレームＮのマクロブロックに対するモーションベクトルを割り当てる過程が追加されて行われることを特徴としてもよい。
【００３６】
前記モーションベクトルは、前記フレームＮのマクロブロックと同様な位置にあるフレームＮ−１のマクロブロックのモーションベクトルと同様に割り当てられることを特徴としてもよい。
【００３７】
本発明によるモーションベクトル及びマクロブロックタイプの決定方法は、省略されたフレームＮ−１の次に伝送されるフレームＮのマクロブロックがインタータイプであることを確認する過程と、前記フレームＮ−１のマクロブロックタイプを判断する過程と、前記フレームＮ−１のマクロブロックタイプによって、前記フレームＮのマクロブロックに対する新しいモーションベクトルを割り当てる過程とを順次行うことを特徴とし、これにより上記目的を達成する。
【００３８】
前記フレームＮ−１のマクロブロックタイプは、イントラタイプと、
省略タイプと、インタータイプとに区分されることを特徴としてもよい。
【００３９】
前記新しいモーションベクトルは、ＭＶ’Ｎ＝ＭＶＮ＋ＭＶＮ−１（前記式中、ＭＶ’ＮはフレームＮのマクロブロックに割り当てられるモーションベクトル、ＭＶＮはフレームＮのマクロブロックのモーションベクトル、ＭＶＮ−１はフレームＮ−１のマクロブロックのモーションベクトルを夫々示したものである。）であることを特徴としてもよい。
【００４０】
前記ＭＶＮ−１は、前記フレームＮ−１のマクロブロックがイントラタイプであると無限大値を有し、省略タイプであると０値を有することを特徴としてもよい。
【００４１】
前記新しいモーションベクトルを割り当てる過程は、前記省略されたフレームＮ−１のマクロブロックがイントラタイプであると、前記フレームＮのマクロブロックに無限大のモーションベクトルを新しく割り当てる過程と、前記省略されたフレームＮ−１のマクロブロックが省略タイプであると、前記フレームＮのマクロブロックのモーションベクトルを同様に割り当てる過程と、前記省略されたフレームＮ−１のマクロブロックがインタータイプであると、それらフレームＮのマクロブロックに割り当てられたモーションベクトルとフレームＮ−１のマクロブロックに割り当てられたモーションベクトルとの和を前記フレームＮのマクロブロックの新しいモーションベクトルに割り当てる過程とを順次行うことを特徴としてもよい。
【００４２】
本発明によるモーションベクトル及びマクロブロックタイプの決定方法は、省略されたフレームＮ−１の次に伝送されるフレームＮのマクロブロックが省略タイプであることを確認する過程と、前記フレームＮのマクロブロックと同様な位置にあるフレームＮ−１のマクロブロックタイプを判断する過程と、前記フレームＮ−１のマクロブロックタイプと同様に前記フレームＮのマクロブロックタイプを決定する過程とを順次行うことを特徴とし、これにより上記目的を達成する。
【００４３】
前記フレームＮ−１のマクロブロックがイントラタイプであると、前記フレームＮのマクロブロックをイントラタイプに決定することを特徴としてもよい。
【００４４】
前記フレームＮ−１のマクロブロックが省略タイプであると、前記フレームＮのマクロブロックを省略タイプに決定することを特徴としてもよい。
【００４５】
前記フレームＮ−１のマクロブロックがインタータイプであると、前記フレームＮのマクロブロックをインタータイプに決定する過程と、前記フレームＮのマクロブロックの新しいモーションベクトルを割り当てる過程とを順次行うことを特徴としてもよい。
【００４６】
前記モーションベクトルを割り当てる過程は、前記フレームＮのマクロブロックと同様な位置にあるフレームＮ−１のマクロブロックのモーションベクトルをそのまま割り当てることを特徴としてもよい。
【発明の効果】
【００４７】
本発明に係るモーションベクトル及びマクロブロックタイプの決定方法においては、フレームレート変換ビデオトランスコーダを通して省略されずに伝送されるフレームのモーションベクトル及びマクロブロックタイプを正確に再割り当てし得るという効果がある。
【００４８】
又、本発明に係るモーションベクトル及びマクロブロックタイプの決定方法においては、場面転換のように予測符号化の性能が低下される場合、発生ビット量を減少させるだけでなく、画質を改善し得るという効果がある。
【発明を実施するための最良の形態】
【００４９】
以下、本発明の実施の形態に対し、図面に基づいて説明する。
【００５０】
本発明は、従来のＦＤＶＳ技法における二つの不都合な点を解決するために案出されたものであるが、それら二つの不都合な点は、（１）伝送中に省略されたフレームＮ−１がイントラ（ｉｎｔｒａ）タイプのマクロブロックを包含している場合と、（２）フレームＮのマクロブロックＭＢＮが省略（ｓｋｉｐｐｅｄ）タイプの場合とに発生する。
【００５１】
且つ、前記（１）項記載の伝送中に省略されたフレームＮ−１がイントラタイプのマクロブロックを包含している場合は、新しいモーションベクトルは式３で定義される。
【００５２】
ＭＶ’Ｎ＝ＭＶＮ＋（∞，∞）＝（∞，∞）        −−−−（式３）
即ち、従来のＦＤＶＳにおいては、イントラタイプのマクロブロックにモーションベクトル（０，０）を割り当てたが、本発明においては、前記フレームＮのマクロブロックＭＢＮに無限大のモーションベクトルを割り当てることで、該マクロブロックＭＢＮをイントラタイプに決定する。
【００５３】
又、前記（２）項記載の前記省略されたフレームＮ−１の次に伝送されるフレームＮのマクロブロックＭＢＮが省略タイプの場合、新しく割り当てられるマクロブロックタイプ及びモーションベクトルは次のようである。
【００５４】
従来のＦＤＶＳ技法においては、省略されたフレームＮ−１のマクロブロックタイプにかかわらず、フレームＮのマクロブロックを省略タイプに決定するが、本発明においては、前記マクロブロックＭＢＮと同様な位置にあるフレームＮ−１のマクロブロックタイプによって、前記マクロブロックＭＢＮのマクロブロックタイプ及びモーションベクトルを決定する。
【００５５】
即ち、前記マクロブロックＭＢＮと同様な位置にある前記フレームＮ−１のマクロブロックタイプがイントラタイプであると、新しく割り当てられるマクロブロックＭＢＮはイントラタイプで、前記フレームＮ−１のマクロブロックタイプがインタータイプであると、新しく割り当てられるマクロブロックＭＢＮはインタータイプで、前記フレームＮ−１のマクロブロックタイプが省略タイプであると、新しく割り当てられるマクロブロックＭＢＮは省略タイプである。
【００５６】
図１は、フレームＮのマクロブロックＭＢＮが省略タイプの場合、前記マクロブロックＭＢＮのタイプを新しく割り当てる過程をＣ言語で表現した図で、ＭＢ＿ｔｙｐｅ＿ＭＢＮはマクロブロックＭＢＮのタイプを示し、ＭＢ＿ｔｙｐｅ＿ｓｋｉｐｐｅｄ＿ｆｒａｍｅは省略されたフレームＮ−１で前記マクロブロックＭＢＮと同様な位置にあるマクロブロックタイプを示す。
【００５７】
図２は、本発明に係るモーションベクトル及びマクロブロックタイプの決定方法を示したフローチャートで、図示されたように、フレームレート変換ビデオトランスコーダに入力されるビデオストリームにおいてフレームＮ−１が省略（Ｓ１１）されると、前記フレームＮ−１を予測のための基準フレームにするフレームＮには、モーションベクトル及びマクロブロックタイプが再割り当てされる。
【００５８】
次いで、前記フレームＮのマクロブロックＭＢＮがインタータイプであるか、省略タイプであるかを判断して（Ｓ１２）、前記マクロブロックＭＢＮがインタータイプであると、モーションベクトルを再割り当てする過程を行い、前記マクロブロックＭＢＮが省略タイプであると、該当のマクロブロックタイプ及びモーションベクトルを割り当てる過程を行うが、このとき、前記マクロブロックＭＢＮがイントラタイプであると、場面転換のように以前のフレームと相関関係がない動作が発生されたものとみなすので、モーションベクトルを再割り当てする過程を行う必要がない。
【００５９】
以下、前記マクロブロックＭＢＮのモーションベクトル及びマクロブロックタイプの決定過程を、前記マクロブロックＭＢＮがインタータイプの場合と省略タイプの場合とに分けて説明する。
【００６０】
まず、前記マクロブロックＭＢＮがインタータイプの場合を説明する。
【００６１】
前記省略されたフレームＮ−１のマクロブロックＭＢＮ−１のタイプがイントラタイプであるかを判断して（Ｓ１３）、前記マクロブロックＭＢＮ−１がイントラタイプであると、前記式３により前記マクロブロックＭＢＮに対する新しいモーションベクトルを決定する（Ｓ１４）。このとき、新しく割り当てられたモーションベクトルは、無限大のモーションベクトルである。
【００６２】
前記省略されたフレームＮ−１のマクロブロックＭＢＮ−１がイントラタイプでないと、前記マクロブロックＭＢＮ−１が省略タイプであるかを判断し（Ｓ１５）、該判断の結果、前記マクロブロックＭＢＮ−１が省略タイプであると、前記式２により前記マクロブロックＭＢＮに対する新しいモーションベクトルを決定する（Ｓ１６）。即ち、前記マクロブロックＭＢＮ−１が省略タイプであると、該マクロブロックはモーションベクトルを有しないため、それらマクロブロックＭＢＮに割り当てられたモーションベクトルＭＶＮと新しく割り当てられたモーションベクトルとが同様になる。
【００６３】
又、前記省略されたフレームＮ−１のマクロブロックＭＢＮ−１がインタータイプであると、従来のＦＤＶＳのように、式１により前記マクロブロックＭＢＮに対する新しいモーションベクトルを決定する（Ｓ１７）。
【００６４】
このように、前記フレームＮのマクロブロックＭＢＮがインタータイプの場合は、前記省略されたフレームＮ−１のマクロブロックＭＢＮ−１のタイプを考慮して前記マクロブロックＭＢＮのタイプが再割り当てられる。
【００６５】
以下、前記マクロブロックＭＢＮが省略タイプの場合を説明する。
【００６６】
前記省略されたフレームＮ−１で前記マクロブロックＭＢＮと同様な位置にあるマクロブロックがイントラタイプであるかを判断して（Ｓ１８）、前記フレームＮ−１のマクロブロックがイントラタイプであると、前記マクロブロックＭＢＮもイントラタイプに決定する（Ｓ１９）。
【００６７】
併し、前記フレームＮ−１のマクロブロックがイントラタイプでないと、前記フレームＮ−１のマクロブロックが省略タイプであるかを判断し（Ｓ２０）、前記フレームＮ−１のマクロブロックが省略タイプであると、前記マクロブロックＭＢＮを省略タイプに決定し（Ｓ２１）、前記フレームＮ−１のマクロブロックがインタータイプであると、前記マクロブロックＭＢＮをインタータイプに決定する（Ｓ２２）。このように、前記マクロブロックＭＢＮがインタータイプに決定されると、フレームＮ−１のマクロブロックに該当するモーションベクトルを前記マクロブロックＭＢＮのモーションベクトルに割り当てる（Ｓ２３）。
【００６８】
即ち、前記マクロブロックＭＢＮがイントラタイプ又は省略タイプの場合は、新しいモーションベクトルを割り当てる必要がないが、前記マクロブロックＭＢＮがインタータイプの場合は、フレームＮ−１のマクロブロックに割り当てられたモーションベクトルを新しいモーションベクトルに割り当てる。
【００６９】
このように、前記マクロブロックＭＢＮが省略タイプの場合は、前記マクロブロックＭＢＮと同様な位置にあるフレームＮ−１のマクロブロックタイプによって、新しいマクロブロックＭＢＮのタイプが決定される。
【００７０】
本発明は、フレームレート変換ビデオトランスコーダを通して省略されずに伝送されるフレームのマクロブロックがイントラタイプ又は省略タイプの場合も適用し得るモーションベクトル及びマクロブロックタイプの決定方法であって、ビデオストリームにおける発生ビット量を減少させることができるだけでなく、再生映像の画質を向上させることもできる。
【００７１】
表１及び表２は、１秒当たり３０フレームにＭＰＥＧ−１符号化されたビデオビット列を、夫々１５フレーム及び７．５フレームに変換した場合、従来のＦＤＶＳ技法及び本発明に係るＦＤＶＳ技法による性能を比較したものである。
【００７２】
【表１】
2004364265.tif 000003
【００７３】
【表２】
2004364265.tif 000004
【００７４】
前記表１及び表２に示されたように、テスト映像として、１２０フレームの蹴球、ピンポン及び庭園の映像を使用して、ビット発生量及び画質面における従来のＦＤＶＳ技法と本発明に係るＦＤＶＳ技法とを比較した。このとき、前記画質比較の尺度は、ピーク信号対雑音比（ＰＳＮＲ）である。
【００７５】
且つ、本発明に係るＦＤＶＳ技法を適用した画質は、従来のＦＤＶＳ技法を適用した画質より最大０．６ｄＢ程度改善され、発生ビット量も減少された。即ち、本発明に係るＦＤＶＳ技法は、少ないビット量を発生させると共に、画質を改善することができる。
【００７６】
図３Ａ、図３Ｂは、従来のＦＤＶＳ技法及び本発明に係るＦＤＶＳ技法の性能を画面別に比較して示したグラフで、図中、テスト映像としては、１秒当たり３０フレーム、１．５ＭｂｐｓにＭＰＥＧ−１符号化された１２０フレームのピンポンの映像が使用され、前記テスト映像がフレームレート変換ビデオトランスコーダを通して１秒当たり１５フレームに変換される。且つ、前記テスト映像の６８番目及び９８番目のフレームで場面転換が発生されるが、場面転換が発生されると予測符号化の性能が低下されるため、Ｐ−フレーム内の多くのマクロブロックがイントラタイプに決定される。
【００７７】
図３Ａは、前記テスト映像を１秒当たり１５フレームに変換した場合の各フレーム別ピーク信号対雑音比を比較したグラフで、図示されたように、従来のＦＤＶＳ技法の場合は、場面転換が発生した６８番目及び９８番目のフレームが省略された後、６９番目及び９９番目のフレームで画質が急激に低下される。然し、本発明に係るＦＤＶＳ技法の場合は、６９番目及び９９番目のフレームで以前のフレーム程度の画質が維持される。
【００７８】
図３Ｂは、前記テスト映像の各フレームで発生したイントラタイプのマクロブロックの個数と、省略タイプのマクロブロックの個数を示した図で、図示されたように、場面転換が発生した６８番目及び９８番目のフレームでイントラタイプのマクロブロックの個数が急激に増加するため、インタータイプのマクロブロックのみならず、イントラタイプ及び省略タイプのマクロブロックを考慮したモーションベクトル及びクロブロックタイプの決定方法が必要であり、前記各マクロブロックタイプを考慮した本発明をシステムに適用することで、画質を改善することができる。
【００７９】
以上説明したように、本発明に係るモーションベクトル及びマクロブロックタイプの決定方法においては、フレームレート変換ビデオトランスコーダを通して省略されずに伝送されるフレームのモーションベクトル及びマクロブロックタイプを正確に再割り当てし得るという効果がある。
【００８０】
又、本発明に係るモーションベクトル及びマクロブロックタイプの決定方法においては、場面転換のように予測符号化の性能が低下される場合、発生ビット量を減少させるだけでなく、画質を改善し得るという効果がある。
【００８１】
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【００８２】
（要約）
フレームレート変換トランスコーダにおいて、省略されずに伝送されるフレームに対するモーションベクトル及びマクロブロックタイプを正確に決定し得る方法を提供しようとする。フレームレート変換ビデオトランスコーダにおいて、省略されたフレームＮ−１のマクロブロックタイプ及び入力されるフレームＮのマクロブロックタイプによって、前記フレームＮのマクロブロックに新しいモーションベクトル及びマクロブロックタイプを割り当てて出力することで、モーションベクトル及びマクロブロックタイプを決定する。
【図面の簡単な説明】
【００８３】
【図１】マクロブロックＭＢＮのタイプを新しく割り当てる過程をＣ言語で表現した図である。
【図２】本発明に係るモーションベクトル及びマクロブロックタイプの決定方法を示したフローチャートである。
【図３Ａ】図３Ａは、従来のＦＤＶＳ技法及び本発明に係るＦＤＶＳ技法の性能を画面別に比較して示したグラフである。
【図３Ｂ】図３Ｂは、従来のＦＤＶＳ技法及び本発明に係るＦＤＶＳ技法の性能を画面別に比較して示したグラフである。
【図４】従来のフレームレート変換ビデオトランスコーダの動作を示したブロック図である。
【図５】従来のＦＤＶＳ技法の実施例を示した図である。
【図１】
2004364265.tif 000005
【図２】
2004364265.tif 000006
【図３Ａ】
2004364265.tif 000007
【図３Ｂ】
2004364265.tif 000008
【図４】
2004364265.tif 000009
【図５】
2004364265.tif 000010