(57)【特許請求の範囲】
【請求項１】
入力される画像のフレームレートをＲｉ、出力される画像のフレームレートをＲｏとして、フレーム補間拡大率Ｅｘ＝Ｒｏ／Ｒｉのフレーム補間を行う動画像変換装置において、
入力された画像について、１フレーム前の画像全体から今回の画像全体への動きベクトルである全体動きベクトルＶａｌｌを算出する全体算出手段と、
画像を複数領域に分けた各領域について、前記１フレーム前の画像から前記今回の画像への動きベクトルである領域毎動きベクトルＶｍｎ（ｎはｎ番目の領域を表す）を算出する領域算出手段と、
前記全体算出手段が算出した全体動きベクトルＶａｌｌおよび前記フレーム補間拡大率Ｅｘから算出される値Ｖａｌｌ（Ｅｘ−１）／Ｅｘと前記領域算出手段の算出した領域毎動きベクトルＶｍｎとを比較した結果に応じて、フレーム補間方法を、前記１フレーム前の画像をＶａｌｌ／Ｅｘずつずらした画像により補間する方法と、前記１フレーム前の画像により補間する方法との中から選択する補間方法選択手段とを備え、
前記補間方法選択手段は、全体動きベクトルＶａｌｌの水平成分および垂直成分をそれぞれＶａｌｌ＿ｘ、Ｖａｌｌ＿ｙとし、領域毎動きベクトルＶｍｎの水平成分および垂直成分をそれぞれＶｍｎ＿ｘ、Ｖｍｎ＿ｙとして、所定の個数αの領域において、
（Ｖｍｎ＿ｘ≧Ｖａｌｌ＿ｘ（Ｅｘ−１）／Ｅｘ≧０、または、Ｖｍｎ＿ｘ≦Ｖａｌｌ＿ｘ（Ｅｘ−１）／Ｅｘ＜０）かつ
（Ｖｍｎ＿ｙ≧Ｖａｌｌ＿ｙ（Ｅｘ−１）／Ｅｘ≧０、または、Ｖｍｎ＿ｙ≦Ｖａｌｌ＿ｙ（Ｅｘ−１）／Ｅｘ＜０）
が成り立つときは、前記１フレーム前の画像をＶａｌｌ／Ｅｘずつずらした画像により補間すると選択し、それ以外のときは、前記１フレーム前の画像により補間すると選択することを特徴とする動画像変換装置。
【請求項２】
コンピュータを、
入力される画像のフレームレートをＲｉ、出力される画像のフレームレートをＲｏとして、フレーム補間拡大率Ｅｘ＝Ｒｏ／Ｒｉのフレーム補間を行う動画像変換手段であって、
入力された画像について、１フレーム前の画像全体から今回の画像全体への動きベクトルである全体動きベクトルＶａｌｌを算出する全体算出手段と、
前記今回の画像を複数領域に分けた各領域について、前記１フレーム前の画像から前記今回の画像への動きベクトルである領域毎動きベクトルＶｍｎ（ｎはｎ番目の領域を表す）を算出する領域算出手段と、
前記全体算出手段の算出した全体動きベクトルＶａｌｌおよび前記フレーム補間拡大率Ｅｘから算出される値Ｖａｌｌ（Ｅｘ−１）／Ｅｘと前記領域算出手段の算出した領域毎動きベクトルＶｍｎとを比較した結果に応じて、フレーム補間方法を、前記１フレーム前の画像をＶａｌｌ／Ｅｘずつずらした画像により補間する方法と、前記１フレーム前の画像により補間する方法との中から選択する補間方法選択手段と
を備え、
前記補間方法選択手段は、全体動きベクトルＶａｌｌの水平成分および垂直成分をそれぞれＶａｌｌ＿ｘ、Ｖａｌｌ＿ｙとし、領域毎動きベクトルＶｍｎの水平成分および垂直成分をそれぞれＶｍｎ＿ｘ、Ｖｍｎ＿ｙとして、所定の個数αの領域において、
（Ｖｍｎ＿ｘ≧Ｖａｌｌ＿ｘ（Ｅｘ−１）／Ｅｘ≧０、または、Ｖｍｎ＿ｘ≦Ｖａｌｌ＿ｘ（Ｅｘ−１）／Ｅｘ＜０）かつ
（Ｖｍｎ＿ｙ≧Ｖａｌｌ＿ｙ（Ｅｘ−１）／Ｅｘ≧０、または、Ｖｍｎ＿ｙ≦Ｖａｌｌ＿ｙ（Ｅｘ−１）／Ｅｘ＜０）
が成り立つときは、前記１フレーム前の画像をＶａｌｌ／Ｅｘずつずらした画像により補間すると選択し、それ以外のときは、前記１フレーム前の画像により補間すると選択することを特徴とする動画像変換手段として機能させるためのプログラム。
【請求項３】
入力される画像のフレームレートをＲｉ、出力される画像のフレームレートをＲｏとして、フレーム補間拡大率Ｅｘ＝Ｒｏ／Ｒｉのフレーム補間を行う動画像変換装置における動画像変換方法において、
入力された画像について、１フレーム前の画像全体から今回の画像全体への動きベクトルである全体動きベクトルＶａｌｌを算出する第１の過程と、
前記今回の画像を複数領域に分けた各領域について、前記１フレーム前の画像から前記今回の画像への動きベクトルである領域毎動きベクトルＶｍｎ（ｎはｎ番目の領域を表す）を算出する第２の過程と、
前記第１の過程にて算出した全体動きベクトルＶａｌｌおよび前記フレーム補間拡大率Ｅｘから算出される値Ｖａｌｌ（Ｅｘ−１）／Ｅｘと前記第２の過程にて算出した領域毎動きベクトルＶｍｎとを比較した結果に応じて、フレーム補間方法を、前記１フレーム前の画像をＶａｌｌ／Ｅｘずつずらした画像により補間する方法と、前記１フレーム前の画像により補間する方法との中から選択する第３の過程と、
を備え、
前記第３の過程は、全体動きベクトルＶａｌｌの水平成分および垂直成分をそれぞれＶａｌｌ＿ｘ、Ｖａｌｌ＿ｙとし、領域毎動きベクトルＶｍｎの水平成分および垂直成分をそれぞれＶｍｎ＿ｘ、Ｖｍｎ＿ｙとして、所定の個数αの領域において、
（Ｖｍｎ＿ｘ≧Ｖａｌｌ＿ｘ（Ｅｘ−１）／Ｅｘ≧０、または、Ｖｍｎ＿ｘ≦Ｖａｌｌ＿ｘ（Ｅｘ−１）／Ｅｘ＜０）かつ
（Ｖｍｎ＿ｙ≧Ｖａｌｌ＿ｙ（Ｅｘ−１）／Ｅｘ≧０、または、Ｖｍｎ＿ｙ≦Ｖａｌｌ＿ｙ（Ｅｘ−１）／Ｅｘ＜０）
が成り立つときは、前記１フレーム前の画像をＶａｌｌ／Ｅｘずつずらした画像により補間すると選択し、それ以外のときは、前記１フレーム前の画像により補間すると選択することを特徴とする動画像変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像変換装置、そのプログラムおよび動画像変換方法にかかわり、特に動
画像を高いフレームレートへ変換するためにフレーム補間をする動画像変換装置、そのプ
ログラムおよび動画像変換方法に関する。
【背景技術】
【０００２】
従来の低フレームレートの動画を高フレームレートに変換する方法は、同じフレーム画
像を複数回表示して足りないフレームを埋めることでフレーム補間を行い、高フレームレ
ートに変換している。ここでは、この補間方法をコピーによる補間と呼ぶ。
【０００３】
例えば、３０ｆｐｓ（frame per second）から６０ｆｐｓへの変換の場合は、図５の（
ａ）に示すように、元フレームの画像をコピーして、もう１度繰り返して表示することで
補間フレームとしている。
【０００４】
また、前の画像から今回の画像への画像全体の動きを算出し、ｎ倍のフレームレートに
変換する場合は、画像全体の動きの１／ｎずつ前の画像をずらした画像を表示することで
フレーム補間を行い、高フレームレートに変換しているものもある（例えば、特許文献１
、特許文献２参照）。ここでは、この補間方法を平行移動による補間と呼ぶ。
【０００５】
例えば、３０ｆｐｓから６０ｆｐｓへの変換の場合は、図５の（ｂ）に示すように、元
フレーム間の画像全体の動きであるＶａｌｌを算出し、２倍のフレームレートに変換する
ので、元フレームの画像をＶａｌｌ／２ずらした画像を補間フレームとしている。これに
より、図５（ａ）に比べて滑らかな動きを表示している。
【特許文献１】特開昭６０−２８３９２号公報
【特許文献２】特開２０００−１６５８２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に示す平行移動による補間方法にあっては、画像内に全体と
は異なる動きをする部分があると、該部分の画像が劣化するという問題がある。例えば、
図６の（ｂ）に示すように、画像中の大きな部分Ｐ１は右へ動いていくのに対して、小さ
な部分Ｐ２は静止している場合、画像全体の動きは、部分Ｐ１の動きに近くなるので、フ
レーム補間することで、部分Ｐ１の動きは滑らかになる。ところが、本来は静止している
部分Ｐ２は、補間フレームにおいて本来の位置から右へ動き、元フレームで左へ動き元の
位置に戻るため、ギザギザした動きとなり画像が劣化してしまう。この場合、コピーによ
る補間方法では、図６の（ａ）に示すように、部分Ｐ２は静止したままなので、画像の劣
化はおきないものの、部分Ｐ１は、元フレームから補間フレームの間は静止しており、補
間フレームから次の元フレームの間でのみ移動しているため、滑らかな動きとならないと
いう問題がある。
【０００７】
本発明は、このような事情に鑑みてなされたもので、その目的は、画像の劣化を抑えつ
つ、フレームレート変換後も滑らかな動きの画像を得られる動画像変換装置、そのプログ
ラムおよび動画像変換方法を提供することにある。
【課題を解決するための手段】
【０００８】
この発明は上述した課題を解決するためになされたもので、本発明の動画像変換装置は、入力される画像のフレームレートをＲｉ、出力される画像のフレームレートをＲｏとして、フレーム補間拡大率Ｅｘ＝Ｒｏ／Ｒｉのフレーム補間を行う動画像変換装置において、
入力された画像について、１フレーム前の画像全体から今回の画像全体への動きベクトルである全体動きベクトルＶａｌｌを算出する全体算出手段と、
画像を複数領域に分けた各領域について、前記１フレーム前の画像から前記今回の画像への動きベクトルである領域毎動きベクトルＶｍｎ（ｎはｎ番目の領域を表す）を算出する領域算出手段と、
前記全体算出手段が算出した全体動きベクトルＶａｌｌおよび前記フレーム補間拡大率Ｅｘから算出される値Ｖａｌｌ（Ｅｘ−１）／Ｅｘと前記領域算出手段の算出した領域毎動きベクトルＶｍｎとを比較した結果に応じて、フレーム補間方法を、前記１フレーム前の画像をＶａｌｌ／Ｅｘずつずらした画像により補間する方法と、前記１フレーム前の画像により補間する方法との中から選択する補間方法選択手段とを備え、
前記補間方法選択手段は、全体動きベクトルＶａｌｌの水平成分および垂直成分をそれぞれＶａｌｌ＿ｘ、Ｖａｌｌ＿ｙとし、領域毎動きベクトルＶｍｎの水平成分および垂直成分をそれぞれＶｍｎ＿ｘ、Ｖｍｎ＿ｙとして、所定の個数αの領域において、
（Ｖｍｎ＿ｘ≧Ｖａｌｌ＿ｘ（Ｅｘ−１）／Ｅｘ≧０、または、Ｖｍｎ＿ｘ≦Ｖａｌｌ＿ｘ（Ｅｘ−１）／Ｅｘ＜０）かつ
（Ｖｍｎ＿ｙ≧Ｖａｌｌ＿ｙ（Ｅｘ−１）／Ｅｘ≧０、または、Ｖｍｎ＿ｙ≦Ｖａｌｌ＿ｙ（Ｅｘ−１）／Ｅｘ＜０）
が成り立つときは、前記１フレーム前の画像をＶａｌｌ／Ｅｘずつずらした画像により補間すると選択し、それ以外のときは、前記１フレーム前の画像により補間すると選択することを特徴とする。
【０００９】
また、本発明のプログラムは、コンピュータを、
入力される画像のフレームレートをＲｉ、出力される画像のフレームレートをＲｏとして、フレーム補間拡大率Ｅｘ＝Ｒｏ／Ｒｉのフレーム補間を行う動画像変換手段であって、
入力された画像について、１フレーム前の画像全体から今回の画像全体への動きベクトルである全体動きベクトルＶａｌｌを算出する全体算出手段と、
前記今回の画像を複数領域に分けた各領域について、前記１フレーム前の画像から前記今回の画像への動きベクトルである領域毎動きベクトルＶｍｎ（ｎはｎ番目の領域を表す）を算出する領域算出手段と、
前記全体算出手段の算出した全体動きベクトルＶａｌｌおよび前記フレーム補間拡大率Ｅｘから算出される値Ｖａｌｌ（Ｅｘ−１）／Ｅｘと前記領域算出手段の算出した領域毎動きベクトルＶｍｎとを比較した結果に応じて、フレーム補間方法を、前記１フレーム前の画像をＶａｌｌ／Ｅｘずつずらした画像により補間する方法と、前記１フレーム前の画像により補間する方法との中から選択する補間方法選択手段と
を備え、
前記補間方法選択手段は、全体動きベクトルＶａｌｌの水平成分および垂直成分をそれぞれＶａｌｌ＿ｘ、Ｖａｌｌ＿ｙとし、領域毎動きベクトルＶｍｎの水平成分および垂直成分をそれぞれＶｍｎ＿ｘ、Ｖｍｎ＿ｙとして、所定の個数αの領域において、
（Ｖｍｎ＿ｘ≧Ｖａｌｌ＿ｘ（Ｅｘ−１）／Ｅｘ≧０、または、Ｖｍｎ＿ｘ≦Ｖａｌｌ＿ｘ（Ｅｘ−１）／Ｅｘ＜０）かつ
（Ｖｍｎ＿ｙ≧Ｖａｌｌ＿ｙ（Ｅｘ−１）／Ｅｘ≧０、または、Ｖｍｎ＿ｙ≦Ｖａｌｌ＿ｙ（Ｅｘ−１）／Ｅｘ＜０）
が成り立つときは、前記１フレーム前の画像をＶａｌｌ／Ｅｘずつずらした画像により補間すると選択し、それ以外のときは、前記１フレーム前の画像により補間すると選択することを特徴とする。
【００１０】
また、本発明の動画像変換方法は、入力される画像のフレームレートをＲｉ、出力される画像のフレームレートをＲｏとして、フレーム補間拡大率Ｅｘ＝Ｒｏ／Ｒｉのフレーム補間を行う動画像変換装置における動画像変換方法において、
入力された画像について、１フレーム前の画像全体から今回の画像全体への動きベクトルである全体動きベクトルＶａｌｌを算出する第１の過程と、
前記今回の画像を複数領域に分けた各領域について、前記１フレーム前の画像から前記今回の画像への動きベクトルである領域毎動きベクトルＶｍｎ（ｎはｎ番目の領域を表す）を算出する第２の過程と、
前記第１の過程にて算出した全体動きベクトルＶａｌｌおよび前記フレーム補間拡大率Ｅｘから算出される値Ｖａｌｌ（Ｅｘ−１）／Ｅｘと前記第２の過程にて算出した領域毎動きベクトルＶｍｎとを比較した結果に応じて、フレーム補間方法を、前記１フレーム前の画像をＶａｌｌ／Ｅｘずつずらした画像により補間する方法と、前記１フレーム前の画像により補間する方法との中から選択する第３の過程と、
を備え、
前記第３の過程は、全体動きベクトルＶａｌｌの水平成分および垂直成分をそれぞれＶａｌｌ＿ｘ、Ｖａｌｌ＿ｙとし、領域毎動きベクトルＶｍｎの水平成分および垂直成分をそれぞれＶｍｎ＿ｘ、Ｖｍｎ＿ｙとして、所定の個数αの領域において、
（Ｖｍｎ＿ｘ≧Ｖａｌｌ＿ｘ（Ｅｘ−１）／Ｅｘ≧０、または、Ｖｍｎ＿ｘ≦Ｖａｌｌ＿ｘ（Ｅｘ−１）／Ｅｘ＜０）かつ
（Ｖｍｎ＿ｙ≧Ｖａｌｌ＿ｙ（Ｅｘ−１）／Ｅｘ≧０、または、Ｖｍｎ＿ｙ≦Ｖａｌｌ＿ｙ（Ｅｘ−１）／Ｅｘ＜０）
が成り立つときは、前記１フレーム前の画像をＶａｌｌ／Ｅｘずつずらした画像により補間すると選択し、それ以外のときは、前記１フレーム前の画像により補間すると選択することを特徴とする。
【００１１】
これにより、本発明の動画像変換装置（またはプログラム、または動画像変換方法）は
、領域毎の動きが画像全体の動きと異なっているかを判定してフレーム補間方法を決めら
れるので、画像の劣化を抑えつつ、フレームレート変換後も滑らかな動きの画像を得るこ
とができる。
【００１２】
また、本発明の動画像変換装置は、上述の動画像変換装置であって、前記補間方法選択
手段は、全体動きベクトルＶａｌｌの水平成分および垂直成分をそれぞれＶａｌｌ＿ｘ、
Ｖａｌｌ＿ｙとし、領域毎動きベクトルＶｍｎの水平成分および垂直成分をそれぞれＶｍ
ｎ＿ｘ、Ｖｍｎ＿ｙとして、所定の個数αの領域において、
（Ｖｍｎ＿ｘ≧Ｖａｌｌ＿ｘ（Ｅｘ−１）／Ｅｘ≧０、または、Ｖｍｎ＿ｘ≦Ｖａｌｌ
＿ｘ（Ｅｘ−１）／Ｅｘ＜０）かつ
（Ｖｍｎ＿ｙ≧Ｖａｌｌ＿ｙ（Ｅｘ−１）／Ｅｘ≧０、または、Ｖｍｎ＿ｙ≦Ｖａｌｌ
＿ｙ（Ｅｘ−１）／Ｅｘ＜０）
が成り立つときは、前記１フレーム前の画像をＶａｌｌ／Ｅｘずつずらした画像により補
間すると選択し、それ以外のときは、前記１フレーム前の画像により補間すると選択する
ことを特徴とする。
【００１３】
これにより、本発明の動画像変換装置は、１フレーム前の画像をＶａｌｌ／Ｅｘずつず
らした画像により補間した場合に画像が劣化する領域を検出できるので、所定の個数αを
適切な値とすることにより、画像の劣化を抑えつつ、フレームレート変換後も滑らかな動
きの画像を得ることができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して、本発明の実施の形態について説明する。図１の（ａ）は、この
発明の一実施形態による動画像変換装置１００の構成を示す概略ブロック図である。本実
施形態では、動画像変換装置１００は、３０ｆｐｓの動画像を６０ｆｐｓに変換して出力
する。１０１は、動画像の入力を受付ける入力Ｉ／Ｆ（Interface）である。１０２は、
ワーク領域として用いられるＲＡＭ（Random Access Memory）である。１０３は、本動画
像変換装置１００の動作を制御するＣＰＵ（Central Processing Unit）である。図１の
（ｂ）に示すように、ＣＰＵ１０３は、全体算出処理部（全体算出手段）１１０、領域毎
算出処理部（領域算出手段）１１１、補間方法決定処理部（補間方法選択手段）１１２、
平行移動補間処理部１１３、コピー補間処理部１１４を備える。ＣＰＵ１０３の詳細につ
いては、動作の説明にて述べる。１０４は、ＣＰＵ１０３が動作するためのプログラムお
よびデータを格納しているＲＯＭ（Read Only Memory）である。１０５は、入力Ｉ／Ｆ１
０１が受付けた動画像およびフレームレートを変換した動画像を一時的に保管するハード
ディスクである。１０６は、変換後の動画像を出力する出力Ｉ／Ｆである。１０７は、入
力Ｉ／Ｆ１０１、ＲＡＭ１０２、ＣＰＵ１０３、ＲＯＭ１０４、ハードディスク１０５、
出力Ｉ／Ｆ１０７を接続するバスである。
【００１５】
２００は、被写体を撮影して３０ｆｐｓの動画像を出力するビデオカメラである。２１
０は、ビデオテープやＤＶＤ（Digital Versatile Disk）などに記録された動画像を読取
って３０ｆｐｓの動画像を出力する動画再生機器である。３００は、６０ｆｐｓの動画像
を受付けて投影するプロジェクタである。３１０は、６０ｆｐｓの動画像を受付けて表示
するディスプレイである。
【００１６】
次に、この動画像変換装置１００の動作を説明する。ビデオカメラ２００または動画再
生機器２１０が３０ｆｐｓの動画像を出力すると、入力Ｉ／Ｆ１０１がこれを受付けて、
ハードディスク１０５に記録する。ＣＰＵ１０３は、ＲＯＭ１０４に記録されているプロ
グラムにより、ハードディスク１０５に記録された動画像の各フレームを時間順に読み出
し、ＲＡＭ１０２をワーク領域として図２に示すフローチャートのように動作して、読み
出した動画像の変換を行う。
【００１７】
まず、ＣＰＵ１０３の全体算出処理部１１０は、ハードディスク１０５から読み出した
時間的に連続する２つのフレーム（時間順にフレームＡ、フレームＢとする）の間の画像
全体の全体動きベクトルＶａｌｌを算出する（Ｓ１）。動きベクトルの算出方法について
は、後に詳述する。次に、ＣＰＵ１０３の領域毎算出処理部１１１は、画像を図３に例を
示すように分割した領域に分け、各領域について、フレームＡとフレームＢの間の領域毎
動きベクトルＶｍｎ（ｎは、ｎ番目の領域を表す）を算出する（Ｓ２）。例えば、図３に
示すように７×７＝４９の領域に分割した場合は、１から４９番目の領域について、領域
毎動きベクトルＶｍ１〜Ｖｍ４９を算出する。次に、ＣＰＵ１０３の補間方法決定処理部
１１２は、全体動きベクトルＶａｌｌの水平成分および垂直成分をＶａｌｌ＿ｘ、Ｖａｌ
ｌ＿ｙ、領域毎動きベクトルＶｍｎの水平成分および垂直成分をＶｍｎ＿ｘ、Ｖｍｎ＿ｙ
として、下記の条件を満たす領域の個数Ｎを算出する。
【００１８】
Ｖａｌｌ＿ｘ≧０の場合  Ｖｍｎ＿ｘ≧Ｖａｌｌ＿ｘ（ＥＸ−１）／ＥＸ
Ｖａｌｌ＿ｘ＜０の場合  Ｖｍｎ＿ｘ≦Ｖａｌｌ＿ｘ（ＥＸ−１）／ＥＸ
かつ
Ｖａｌｌ＿ｙ≧０の場合  Ｖｍｎ＿ｙ≧Ｖａｌｌ＿ｙ（ＥＸ−１）／ＥＸ
Ｖａｌｌ＿ｙ＜０の場合  Ｖｍｎ＿ｙ≦Ｖａｌｌ＿ｙ（ＥＸ−１）／ＥＸ
ここで、ＥＸは、フレーム補間拡大率である。
【００１９】
なお、本実施形態においてフレーム補間拡大率＝出力フレームレートＲｏ／入力フレー
ムレートＲｉ＝６０ｆｐｓ／３０ｆｐｓ＝２である。
補間方法決定処理部１１２は、フレームＡとフレームＢとの間の補間を、算出した個数Ｎ
が所定の閾値α以上の場合は平行移動による補間を行う平行移動補間処理部１１３を用い
ると選択し、算出した個数Ｎが所定の閾値αに満たない場合はコピーによる補間を行うコ
ピー補間処理部１１４を用いると選択する（Ｓ３）。次に、ステップＳ３における補間方
法選択処理部１１２の選択に従って、平行移動補間処理部１１３またはコピー補間処理部
１１４が補間フレームを生成し、フレームＡとフレームＢの間にこの補間フレームを挿入
して、目的のフレームレート（ここでは６０ｆｐｓ）の動画像に変換する（Ｓ４）。例え
ば、ステップＳ３にて平行移動補間処理部１１３が選択されたとすると、平行移動補間処
理１１３は、本実施形態ではＥＸ＝２なので、フレームＡをＶａｌｌ／２ずらした画像１
枚を補間フレームとする。なお、３０ｆｐｓから９０ｆｐｓへ変換する場合は、ＥＸ＝３
なので、フレームＡをＶａｌｌ／３ずらした画像と２×Ｖａｌｌ／３ずらした画像の２枚
を補間フレームとする。ステップＳ３にてコピー補間処理部１１４が選択されたとすると
、コピー補間処理部１１４は、フレームＡをコピーした画像１枚を補間フレームとする。
【００２０】
ＣＰＵ１０３は、フレームＡとフレームＢとの間のフレーム補間を終えると、入力され
た動画像における時間順序がフレームＢの次であるフレームＣをハードディスク１０５か
ら読み出し、前述のステップＳ１からを前述と同様に繰り返すことで、フレームＢとフレ
ームＣとの間のフレーム補間を行う。このような動作を繰り返すことで、入力された動画
像を目的のフレームレート（ここでは６０ｆｐｓ）の動画像に変換する。
【００２１】
目的のフレームレート（６０ｆｐｓ）に変換された動画像は、ＣＰＵ１０３が、出力Ｉ
／Ｆ１０６を介して出力する。出力Ｉ／Ｆ１０６に接続されたプロジェクタ３００、ディ
スプレイ３１０などは、変換された動画像を受けると、これを表示する。
【００２２】
なお、変換された動画像の出力Ｉ／Ｆ１０６を介した出力は、変換を遂次行いながら行
ってもよいし、一旦、変換された動画像をハードディスク１０５に蓄積してから行っても
よい。
【００２３】
次に、補間方法決定処理部１１２におけるフレーム補間方法選択の条件式について説明
する。ここでは、説明を簡易にするために全体動きベクトルＶａｌｌおよび領域毎動きベ
クトルＶｍｎは１次元の値であるとする。仮に、フレームＡからフレームＢへの全体動き
ベクトルＶａｌｌと領域毎動きベクトルＶｍ１〜Ｖｍ４の関係が、図４（ａ）に示すよう
な関係であったとする。このとき、平行移動による補間にて行うと、フレームＡをＶａｌ
ｌ／２だけ移動させたフレームが補間フレームとして、フレームＡとフレームＢの間に挿
入される。ここで、ｎ番目の領域に着目すると、フレームＡにおいて０の位置にあった被
写体は、補間フレームではＶａｌｌ／２の位置に表示され、フレームＢではＶｍｎの位置
に表示される。
【００２４】
これを、図４（ａ）に戻って、１から４番目の各領域に当てはめてみる。１番目の領域
では、０≦Ｖａｌｌ／２＜Ｖｍ１であるため、フレームＡ、補間フレーム、フレームＢの
順で、常に右方向に動いている。２番目の領域でも、０≦Ｖａｌｌ／２＜Ｖｍ２であるた
め、常に右方向に動いている。ところが、３番目の領域では、０≦Ｖａｌｌ／２＞Ｖｍ３
であるため、補間フレームで一度右に動いた被写体が、フレームＢでは左に動いてしまう
ため、ギザギザの動きとなり画像が劣化する。４番目の領域でも、０≦Ｖａｌｌ／２＞Ｖ
ｍ４であるため、３番目の領域と同様である。つまり、Ｖａｌｌ≧０のときに、ｎ番目の
領域の被写体がギザギザの動きにならないための条件は、（１）式で表される。
【００２５】
Ｖａｌｌ／２≦Ｖｍｎ・・・（１）
ここでは、フレーム補間拡大率ＥＸ＝２であるため、補間フレームは１枚であり、Ｖａ
ｌｌ／２だけフレームＡを移動させたものとなるが、これを一般化してフレーム補間拡大
率ＥＸのときは、補間フレームはＥＸ−１枚であり、それぞれの補間フレームは、Ｖａｌ
ｌ／ＥＸ、２Ｖａｌｌ／ＥＸ、３Ｖａｌｌ／ＥＸ・・・Ｖａｌｌ（ＥＸ−１）／ＥＸだけ
フレームＡを移動させたものとなる。これより、（１）式を一般化すると（２）式が得ら
れる。
【００２６】
Ｖａｌｌ（ＥＸ−１）／ＥＸ≦Ｖｍｎ・・・（２）
これは、フレームＡから最後（ＥＸ−１枚目）の補間フレームの動きベクトルと、フレ
ームＡからフレームＢの動きベクトルを比較していることに相当する。
【００２７】
（２）式の左辺と右辺を入れ替えると（３）式となり、これは補間方法決定処理部１１
２（ステップＳ３）の条件式の１番目と３番目の式に相当する。
【００２８】
Ｖｍｎ≧Ｖａｌｌ（ＥＸ−１）／ＥＸ・・・・（３）
Ｖａｌｌ＜０の場合は、図４（ｂ）に例を示すようにして、前述と同様にすると（４）
式となり、これは補間方法決定処理部１１２（ステップＳ３）の条件式の２番目と４番目
の式に相当する。
【００２９】
Ｖｍｎ≦Ｖａｌｌ（ＥＸ−１）／ＥＸ・・・・（４）
つまり、補間方法決定処理部１１２では、平行移動による補間を行った場合に劣化の起こ
らない領域の個数が閾値α以上であるかを判定基準として、補間方法を決定している。
【００３０】
なお、この閾値αを領域の個数（本実施形態では４９個）として、全ての領域において
劣化が起こらないようにしてもよい。
［動きベクトルの算出］
全体算出処理部１１０（ステップＳ１）および領域毎算出処理部１１１（ステップＳ２
）にて算出するとしている動きベクトルの算出方法について説明する。算出方法には、大
きく分けてブロックマッチング法と勾配法とあるが、ここではブロックマッチング法につ
いて説明する。ブロックマッチング法は、目的のブロックと最も似ているブロックを参照
先の画像から探し出し、目的のブロックから探し出したブロックまでのベクトルを動きベ
クトルとする方法である。似ていることの評価には、ブロック内の対応する画素の差分の
絶対値の和を用いる。
【００３１】
本実施形態において例えば、フレームＡからフレームＢへのｎ番目の領域の動きベクト
ルを算出する場合は、ｎ番目の領域と同じ大きさで、ｎ番目の領域の中心から一定範囲内
の任意の点を中心とするフレームＢのブロックＲと、フレームＡのｎ番目の領域との比較
を、ブロックＲの位置を１画素ずつずらしながら、該当範囲内の全てについて行い、最も
似ているブロックを検出する。
【００３２】
なお、本実施形態において、全体算出処理部１１０、領域算出処理部１１１、補間方法
決定処理部１１２、平行移動補間処理部１１３、コピー補間処理部１１４は専用のハード
ウェアによって実現されるものであってもよく、また、メモリ（ＲＡＭ１０２、ＲＯＭ１
０４、ハードディスク１０５）およびＣＰＵ１０３により実現させるものであってもよい
。
【００３３】
また、図２における全体算出処理部１１０、領域毎算出処理部１１１、補間方法決定処
理部１１２、平行移動補間処理部１１３、コピー補間処理部１１４を備え、フレーム補間
を行う動画変換手段の機能を実現するためのプログラムをコンピュータ読み取り可能な記
録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み
込ませ、実行することによりフレーム補間を行ってもよい。なお、ここでいう「コンピュ
ータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００３４】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気
ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハー
ドディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実
現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに
記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００３５】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施
形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【図面の簡単な説明】
【００３６】
【図１】この発明の一実施形態による動画像変換装置の構成を示すブロック図である。
【図２】同実施形態におけるＣＰＵ１０３の動作を説明するフローチャートである。
【図３】同実施形態における全体動きベクトルＶａｌｌと領域毎動きベクトルＶｍｎを説明する図である。
【図４】同実施形態における補間方法決定処理１１２における判定基準を説明する図である。
【図５】従来のフレーム補間方法であるコピーによる補間と平行移動による補間を説明する図である。
【図６】従来のフレーム補間方法であるコピーによる補間と平行移動による補間の問題点を説明する図である。
【符号の説明】
【００３７】
１００…動画像変換装置
１０１…入力Ｉ／Ｆ
１０２…ＲＡＭ
１０３…ＣＰＵ
１０４…ＲＯＭ
１０５…ハードディスク
１０６…出力Ｉ／Ｆ
１０７…バス
１１０…全体算出処理部
１１１…領域毎算出処理部
１１２…補間方法決定処理部
１１３…平行移動補間処理部
１１４…コピー補間処理部
２００…ビデオカメラ
２１０…動画再生機器
３００…プロジェクタ
３１０…ディスプレイ
【図１】
0004835234.tif 000002
【図２】
0004835234.tif 000003
【図３】
0004835234.tif 000004
【図４】
0004835234.tif 000005
【図５】
0004835234.tif 000006
【図６】
0004835234.tif 000007