(57)【要約】  【課題】三次元画像補間技術を用いるフレームレート変換方法において、音声・映像放送装置内のデータ処理ユニットの演算能力を十分利用できないために放送品質が低下するという問題の改善。  【解決手段】入力された映像データの画面解像度とフレームレートとを映像放送装置の放送規格に基づいて調整する。放送順序従って連続する２枚の画面を抽出する１００。フレームレートに従って中間位置を決定する２００。２枚の連続した画面における対応するピクセル値から中間位置における複数個の補間ピクセル値を作成し、この補間ピクセル値で補間画面を形成する３００。  【選択図】  図１
2005094286.tif 000002
【特許請求の範囲】
【請求項１】
入力された音声・画像データの画面解像度とフレームレートとを映像放映ユニットの放送基準に基づいて調整し、画面中に含まれる複数のピクセル値からスクリーンの解像度に合致するように複数の補間ピクセル値を生成し、そして新しく生成された画面を保存する、三次元画像補間技術を利用するフレームレートを変換する方法であって、
放送の順序に従って２枚の連続した画面を抽出する工程、
フレームレートに従って中間位置を決定する工程、
上記２枚の連続した画面における対応するピクセル値から上記中間位置における複数の補間ピクセル値を作成し、該補間ピクセル値で補間画面を形成する工程、および
上記補間画面を保存する工程
とを含むことを特徴とする三次元画像補間技術を利用するフレームレート変換方法。
【請求項２】
上記補間ピクセル値は２枚の連続した画面における対応するピクセル値から次式：
Pint=Pfirst＊j/(i+j)+Pnext＊i/(i+j)
（ここで、Pintは補間ピクセル値、PfirstとPnextは補間のためのピクセル値、iとｊはフレームレートの調整により得られた比率である。）
によって決定されることを特徴とする請求項１に記載の三次元画像補間技術を利用するフレームレート変換方法。
【請求項３】
上記式の変数が：
i=（入力音声・映像データのフレームレート）/（音声・映像プレーヤのフレームレート）
j=1−i
であることを特徴とする請求項２に記載の三次元画像補間技術を利用するフレームレート変換方法。
【請求項４】
上記中間位置は、入力音声・映像データのフレームレートと音声・映像プレーヤのフレームレートとに基づいて決定されることを特徴とする請求項１に記載の三次元画像補間技術を利用するフレームレート変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレームレート変換方法、特に、三次元画像補間技術(three dimensions image interpolation algorithm)を利用するフレームレート変換（frame rate conversion)方法に関するものである。
【背景技術】
【０００２】
科学技術の進歩に伴って、音声・映像の放送設備の品質もまた時代と共に発展している。最も初期のビデオテープから最近のＶＣＤやＤＶＤ等へと、記録メディアは体積の小型化と容量の巨大化という趨勢を持つている。そして、その結果、携帯に便利な記録メディアユニットで、しかも質の高い音声・映像をユーザーまたは消費者に提供できるようになった。しかし、音声・映像放送ユニット内に取り付けられているデータ処理ユニットの演算能力もまた看過すことは出来ない。
【０００３】
膨大な音声・映像の放送データは、同時に音声・映像放送ユニット（例えばテレビ）の強力な演算処理ユニットと組み合わせて初めて、高解像度のディスプレイと滑らかな画像放送が実現できる。
【０００４】
一般に、音声・映像データの取り込みから映像放送までの間、放送規準の差異という問題にしばしば直面することがある。例えば、解像度(resolution)またはフレームレートといった問題である。現在は主に二次元（静止画）の画像補間法を採用することによって画面(frame)のピクセル値を調整し、時間軸上に近接した複数の画面を複製している。
【０００５】
例えば、米国特許第５５７４５７２号には、空間及び時間要因を用いて放送基準画面を変更する技術が開示されている。
【０００６】
図３において、Ｆ１およびＦ２は音声・映像放送コンテンツ内に存在する画面、即ち、補間演算後ピクセルを拡充した図面であり、Ｆ１’は時間軸上に補間ピクセルポイントが形成された画面である。その補間の原則は、Ｆ１とＦ２の間ではフレームレートの実行速度より得られた画面補間位置がＦ１に近いようであれば、その補間位置に形成される画面は、Ｆ１上の対応する位置にあるピクセルを複製することで時間軸上に補間を行い、補間画面Ｆ１’を形成する。その他の各画面間も同様の方法により派生させる。
【特許文献１】米国特許第５５７４５７２号公報
【特許文献２】米国特許第５６２１８７０号公報
【特許文献３】米国特許第５０８９８９３号公報
【特許文献４】米国特許第５２８３６５１号公報
【特許文献５】米国特許第５３８４９０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記した方式は、演算時間を比較的短縮でき、システムに過大な負担をかけないですむが、音声・映像放送ユニットの演算能力は日増しに高速化されているので、従来の方法では音声・映像放送ユニットの強力な演算ユニットを充分に活用することができず、音声・映像放送面でハードウェアの実質的な浪費をもたらしている。
【０００８】
放送基準の差異問題を解決しようとする他の米国特許第５６２１８７０号公報、米国特許第５０８９８９３号公報、米国特許第５２８３６５１号公報及び米国特許第５３８４９０４号公報に記載されている各発明でも、前記した方式を用いているので、放送品質の低下により視聴者の鑑賞に悪影響を与えるという課題が残されている。
【課題を解決するための手段】
【０００９】
この点に鑑み、本発明は、受取った入力音声・映像データの画面解像度とフレームレートとを、映像放映ユニットの放送規準に基づいて調整を行う、三次元（動画）の画像補間技術を利用するフレームレートを変換するためのアルゴリズムを提供する。
【００１０】
すなわち、放送の順序に従って２枚の連続した画面を抽出する工程、フレームレートに従って中間位置を決定する工程、上記２枚の連続した画面における対応するピクセル値から上記中間位置における複数の補間ピクセル値を作成し、該補間ピクセル値で補間画面を形成する工程、および上記補間画面を保存する工程とを含むことを特徴とする三次元画像補間技術を利用するフレームレート変換方法を要旨とする。
【００１１】
そして、上記補間ピクセル値は２枚の連続した画面における対応するピクセル値から次式：  Pint=Pfirst＊j/(i+j)+Pnext＊i/(i+j)
（ここで、Pintは補間ピクセル値、PfirstとPnextは補間のためのピクセル値、iとｊはフレームレートの調整により得られた比率である。）によって決定されること、上記式の変数が：i=（入力音声・映像データのフレームレート）/（音声・映像プレーヤのフレームレート）、j=1−i  であること、及び、上記中間位置は、入力音声・映像データのフレームレートと音声・映像プレーヤのフレームレートとに基づいて決定されること、を付加条件とする三次元画像補間技術を利用するフレームレート変換方法である。
【発明を実施するための最良の形態】
【００１２】
次に、本発明の三次元画像補間技術を利用するフレームレートを変換する方法の最良の実施形態について説明する。
【実施例１】
【００１３】
まず、図４において、一般的に映像放映ユニット（テレビや液晶プロジェクタ）の映像放送データの保存先のマルチメディア形式を600(pixels)×400(pixels)と設定しているならば、そのフレームレートは40fps(frame per second)となる。しかし、ハードウェア側の放送規準が1200(pixels)×800(pixels)となっている設備を通して出力する必要があり、フレームレートが80fpsという高画質である場合には、音声・映像放送ユニットは補間アルゴリズムを通したデータ処理方式により放送の目的を達しなければならない。
【００１４】
次に、図５は画面中のピクセル群を利用して補間ピクセルを求める方法における位置見取り図である。図中、a、b、c、dは、A、B、C、D各点よりP点を求めるための比例値である。
【００１５】
図４を例にとってみる。同じサイズの画面に、長さ、幅それぞれの倍率を上げたピクセル量の映像を映し出したい場合、各ピクセル間の間隔はピクセル量に応じて増減させなければならない。即ち、水平方向に600ピクセルから1200ピクセルまで補間により拡大した場合、aは新たに形成された画面の一辺における２つのピクセル間の単位間隔、すなわち、600/1200を表すことになる。ｂは1−(600/1200)である。このため、a、bは元の画面におけるピクセルとの間に一次比例関係を示している。そしてさらに、A、Bのピクセル値からは、バーチャルピクセルポイントXのピクセル値を割り出すことができる。
【００１６】
すなわち：  X＝A＊(b/a+b)+Ｂ＊(a/a+b)。 
同様に、もう一方の水平線上にあるバーチャルピクセルポイントYのピクセル値は：  Y＝C＊(b/a+b)+D＊(a/a+b)となる。
【００１７】
さらに、これら両バーチャルピクセルポイントX、Yを再び利用して、画面におけるピクセル比率の変換（垂直方向に400pixelsから800pixelsまで補間により拡大）に基づいて、P点の補間ピクセル値を求める。
【００１８】
即ち：
P＝X＊(d/c+d)+Y＊(c/c+d)＝(A＊(b/a+b)+B＊(a/a+b) )＊(d/c+d)+(C＊(b/a+b)+D＊(a/a+b) )＊(c/c+d)  となる。
【００１９】
これはすなわち二次元画像補間の演算と同じ論理である。その重要な点は、周りのピクセルポイントを利用して新たなピクセルポイントを補間により算出することができることであり、これにより、音声・映像放送設備の解像度に対するニーズにも合致する。放送する画面はそれぞれがこのような手順を通して補間されたピクセルポイントを持ち、その後再びフレームレートに対して調整を加えていくのである。
【００２０】
図２は、本発明の三次元画像補間技術を利用するフレームレート変換の補間画面を示す概念図である。
【００２１】
P1からP10までは実際に存在する映像放送データ内のピクセルポイントである。P11からP15は本発明により示された方法を通して補間された補間ピクセルポイントである。I、IIは、映像放送データ内に実際に存在するピクセルポイントから構成される画面の内の一区画（ブロック）である。IIIは本発明による方法で補間された補間ピクセルポイントからなる画面の中の一区画（ブロック）である。
【００２２】
変数iとjは時間軸上でフレームレートを改変することで得られる比率である。
即ち：i＝（当該入力映像データのフレームレート）/（当該映像放映ユニットのフレームレート）
j=1−i
ここで、a、b、c、dは解像度を改変することで得られる各ピクセルスパン比率で、本発明の方法によれば、ブロックI、ブロックIIに基づいてブロックIIIのピクセルスパン比率を得ることができる。
【００２３】
次に、図１および図２を参照されたい。ここでは放送画面のブロックを用いて説明を行う。補間ピクセルP5とP10を求める演算公式は次の通りである：
【００２４】
P5=(P1＊(b/a+b)+P2＊(a/a+b) )＊(d/c+d)+(P3＊(b/a+b)+P4＊(a/a+b) )＊(c/c+d)、
P10=(P6＊(b/a+b)+P7＊(a/a+b) )＊(d/c+d)+(P8＊(b/a+b)+P9＊(a/a+b) )＊(c/c+d)
【００２５】
その後、ピクセル補間後の画面を映像放映ユニットのバッファメモリに保存する。続いて放送の順序に従って、連続した２枚の画面I、IIが抽出される（スッテップ１００）。フレームレートに基づいて中間位置を決定する（スッテップ２００）。すなわち、もしも元の映像放送データの画面でのフレームレートが40fpsで、これを70fpsに改変したいならば、２つの画面の間のプレーイングタイムを４０／７０＝４／７迄に縮小する。つまり、映像放送データの中において、第１表示画面Iと第２表示画面IIの間で、第１表示画面Iから少し距離をおいた位置に補間画面IIIが挿入される。画面IIIと画面Iとの間の距離は画面IIと画面Iとの間の距離の４／７である。
【００２６】
これ以外の補間画面の位置は、同じ方法によって決定される。これによって他画面の補間の位置を類推し、再び連続した２面の画面上の補間ピクセルは、中間位置で複数の補間ピクセル値を生成させるために用いられる。これらの補間ピクセルは補間画面を構成する（ステップ３００）。
【００２７】
これらのピクセル値の演算方法は次の通り：
P15=P5＊j/(i+j)+P10＊i(i+j)
P15とは、補間ピクセル値であり、この種の補間ピクセル値は連続した２枚の画面I、II間に補間画面IIIを構成する。最後に補間画面IIIは映像放映ユニットのメモリ内に保存される（ステップ４００）。
以上に述べたことは、本発明の中でも比較的優れた例に過ぎず、これを以って本発明の実施範囲を限定するものではない。
【産業上の利用可能性】
【００２８】
マルチメディア装置例えばＤＶＤプレーヤにおける画像品質の向上。
【図面の簡単な説明】
【００２９】
【図１】本発明による三次元画像補間技術を用いるフレームレート変換方法を示すフローチャート。
【図２】本発明による三次元画像補間技術を用いるフレームレート変換の補間画面を示す概念図。
【図３】従来法による画面補間方法を示す説明図。
【図４】従来法による二次元画像補間方法を説明する概念図。
【図５】従来法によって画面中のピクセル群を用いて補間ピクセル位置を示す説明図。
【符号の説明】
【００３０】
a、b、c、d：  解像度変換によって得られる各ピクセルの間隔比率
A、B、C、D、P1、P2、P3、P4、P6、P7、P8、P9：  映像放映データに存在するピクセル
P5、P10：  映像放映データに存在する補間ピクセル
P、P11、P12、P13、P14、P15：  補間画面を構成する補間ピクセル
X、Y：  バーチャルピクセル
F1、F2：  音声・映像放送コンテンツ中に存在する画面
F1’：時間軸上において補間ピクセルポイントが形成する画面
【図１】
2005094286.tif 000003
【図２】
2005094286.tif 000004
【図３】
2005094286.tif 000005
【図４】
2005094286.tif 000006
【図５】
2005094286.tif 000007