(57)【要約】【課題】動きベクトルが正しく設定されるようにする。【解決手段】着目画素１５２に設定された動きベクトルが動きベクトルＶ３である。第１の領域１５３からは、動きベクトルＶ１，Ｖ３が検出される。第２の領域１５４からは、動きベクトルＶ１，Ｖ２，Ｖ３が検出される。第１の領域１５３と第２の領域１５４からともに検出された動きベクトルＶ１，Ｖ３が、第２の領域１５４から検出された頻度に応じて並び替えられる。そして、頻度の多い方が、着目画素１５２の動きベクトルとして設定される。この場合、動きベクトルＶ１が設定される。よって、着目画素１５２の動きベクトルは、動きベクトルＶ３から動きベクトルＶ１に置き換えられる。本発明は、動きベクトルを用いる圧縮や復号に適用することができる。【選択図】図８
2009171226.tif 000002
【特許請求の範囲】
【請求項１】
着目画素を含む第１の領域内で検出された動きベクトルを抽出する第１の抽出手段と、
前記第１の領域を含み、前記第１の領域より大きい第２の領域内で検出された動きベクトルを抽出する第２の抽出手段と、
前記第１の抽出手段と前記第２の抽出手段で、ともに抽出された動きベクトルを、前記第２の領域内から抽出された動きベクトルの頻度で並び替える並び替え手段と、
前記並び替え手段により、最も頻度が高いとされた動きベクトルを、前記着目画素の動きベクトルに設定する設定手段と
を備える画像処理装置。
【請求項２】
前記第１の領域は、前記着目画素に設定する動きベクトルの候補を抽出する領域であり、前記第２の領域は、前記着目画素近辺に位置する動きベクトルの頻度を求める領域である
請求項１に記載の画像処理装置。
【請求項３】
前記設定手段により設定された動きベクトルが、前記着目画素における動きベクトルとして適切であるか否かを判断する判断手段を
さらに備える請求項１に記載の画像処理装置。
【請求項４】
前記判断手段は、前記設定手段により設定された動きベクトルで対応づく現在のフレームと、未来のフレームとの間で、前記未来のフレーム側で、着目画素に対応する画素の上下左右に１画素ずらした画素毎にＳＡＤ（Sum of Absolute Difference）を算出し、
算出されたＳＡＤのうちの最大値と最小値を加算した値を２で除算した値を閾値とし、
前記着目画素の動きベクトルのＳＡＤが、前記閾値未満であるとき、前記着目画素における動きベクトルとして適切であると判断する
請求項３に記載の画像処理装置。
【請求項５】
着目画素を含む第１の領域内で検出された動きベクトルを抽出し、
前記第１の領域を含み、前記第１の領域より大きい第２の領域内で検出された動きベクトルを抽出し、
前記第１の領域と前記第２の領域から、ともに抽出された動きベクトルを、前記第２の領域内から抽出された動きベクトルの頻度で並び替え、
最も頻度が高いとされた動きベクトルを、前記着目画素の動きベクトルに設定する
ステップを含む画像処理方法。
【請求項６】
着目画素を含む第１の領域内で検出された動きベクトルを抽出し、
前記第１の領域を含み、前記第１の領域より大きい第２の領域内で検出された動きベクトルを抽出し、
前記第１の領域と前記第２の領域から、ともに抽出された動きベクトルを、前記第２の領域内から抽出された動きベクトルの頻度で並び替え、
最も頻度が高いとされた動きベクトルを、前記着目画素の動きベクトルに設定する
ステップをコンピュータに実行させるプログラム。
【請求項７】
請求項６に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および画像処理方法、プログラム、並びに記録媒体に関し、特に、動きベクトルの算出の精度を向上させるようにした画像処理装置および画像処理方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
映像の圧縮方式として、ＭＰＥＧ（moving picture expert group）方式がある。このＭＰＥＧ方式では、動きベクトルが検出される、その動きベクトルが用いられて圧縮処理が行われる。動きベクトルは、例えば、フレーム間の波形が一致するということで求められる。動きベクトルが正しく検出されないと、正確な圧縮や伸張ができなくなるため、動きベクトルを正しく検出することは、精度を向上させることで重要な要素となる。（例えば、非特許文献１参照）
【非特許文献１】“動き補正テレビ方式変換の改善”  映像情報メディア学会誌Ｖｏｌ．５１，Ｎｏ．９，ｐｐ．１５７７〜１５８６（１９９７年）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
図１を参照し、動きベクトルの分布について説明する。圧縮処理の過程で、所定の処理が行われることで、図１に示したような動きベクトルが検出されたとする。検出された動きベクトルは、動きベクトル１１−１乃至１１−３、動きベクトル１２−１乃至１２−３、および動きベクトル１３−１乃至１３−３である。動きベクトルは、動きの境界部分や変形部分などに、誤って検出されることが多い。
【０００４】
図１においては、動きベクトル１１−１乃至１１−３と動きベクトル１３−１乃至１３−３は、互いに逆方向を向いている。このような動きベクトルが検出されるのは、例えば、動きの境界部分である。このような場合、例えば、動きベクトル１１−１と動きベクトル１３−１の間に位置する動きベクトル１２−１は、動きベクトル１１−１が向いている方向と動きベクトル１３−１が向いている方向のどちらの方向にも向いていないような動きベクトルが検出される可能性がある。
【０００５】
このような動きベクトル１２−１は、正しい向きで検出されている場合もあるが、他の状況に比べると、誤って検出されている可能性が高い状況である。一般的に、誤った方向の動きベクトルは、図１の動きベクトル１２−１乃至１２−３に示したように、周りのベクトルとは異なる方向を向き、ばらけた分布になる傾向があった。
【０００６】
このような誤った方向で検出された可能性の高い動きベクトル１２−１乃至１２−３を、できる限り正しい動きベクトルとするために補正がされる。その補正の一例として、例えば、図２に示すように、誤った動きベクトルを、周囲の動きベクトルで置き換える方法がある。図２に示した例では、例えば、動きベクトル１２−１が、動きベクトル１１−１と同じ向きにされ、動きベクトル１２−１’に置き換えられた例を示している。他の動きベクトル１２−２，１２−３も同様に、動きベクトル１１−２，１１−３とそれぞれ同じ向きの動きベクトル１２−２’，１２−３’に置き換えられる。
【０００７】
このような誤っている可能性のある動きベクトルを周囲の動きベクトルで置き換える方法によると、例えば、図３に示したような状況のときに、対応することができない。図３を参照するに、１画像内に物体３１と背景３２とが存在している。そのような画像のうち、物体３１は図中左側に移動し、背景３２は図中右側に移動する。このような画像から正しく動きベクトルが検出された場合、物体３１から検出される動きベクトルは、全て図中左側を向いた動きベクトルであり、背景３２から検出される動きベクトルは、全て図中右側を向いた動きベクトルである。
【０００８】
このような画像のうち、物体３１内の領域３１’に誤った動きベクトルが検出されたとする。領域３１’の動きベクトルは、図中上側を向いた動きベクトルが検出されたとする。領域３１’内の動きベクトルは、図中上側方向の動きベクトルではなく、図中左側方向の動きベクトルが検出されなければ、正しい検出ではないため、誤った動きベクトルが検出されたことになる。
【０００９】
このような、領域３１’という比較的大きな領域内で誤った動きベクトルが検出されてしまったような場合、上記した周囲の動きベクトルで置き換えるという補正の方法では、補正できない。すなわち、領域３１’内の所定の動きベクトルに着目した場合、特に中心部分に位置する動きベクトルに着目した場合、周囲の動きベクトルも誤って検出されているため、そのような誤って検出されている動きベクトルに置き換えても、誤った動きベクトルであることにかわりなく、補正できないことになる。
【００１０】
このように、繰り返しや平坦領域で、図３に示したような誤った動きベクトルが、ある程度まとまって検出されてしまったような場合、正しい動きベクトルに補正することができない可能性があった。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、誤って検出された可能性のある動きベクトルを補正できるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面の画像処理装置は、着目画素を含む第１の領域内で検出された動きベクトルを抽出する第１の抽出手段と、前記第１の領域を含み、前記第１の領域より大きい第２の領域内で検出された動きベクトルを抽出する第２の抽出手段と、前記第１の抽出手段と前記第２の抽出手段で、ともに抽出された動きベクトルを、前記第２の領域内から抽出された動きベクトルの頻度で並び替える並び替え手段と、前記並び替え手段により、最も頻度が高いとされた動きベクトルを、前記着目画素の動きベクトルに設定する設定手段とを備える。
【００１３】
前記第１の領域は、前記着目画素に設定する動きベクトルの候補を抽出する領域であり、前記第２の領域は、前記着目画素近辺に位置する動きベクトルの頻度を求める領域であるようにすることができる。
【００１４】
前記設定手段により設定された動きベクトルが、前記着目画素における動きベクトルとして適切であるか否かを判断する判断手段をさらに備えるようにすることができる。
【００１５】
前記判断手段は、前記設定手段により設定された動きベクトルで対応づく現在のフレームと、未来のフレームとの間で、前記未来のフレーム側で、着目画素に対応する画素の上下左右に１画素ずらした画素毎にＳＡＤ（Sum of Absolute Difference）を算出し、算出されたＳＡＤのうちの最大値と最小値を加算した値を２で除算した値を閾値とし、前記着目画素の動きベクトルのＳＡＤが、前記閾値未満であるとき、前記着目画素における動きベクトルとして適切であると判断するようにすることができる。
【００１６】
本発明の一側面の画像処理方法は、着目画素を含む第１の領域内で検出された動きベクトルを抽出し、前記第１の領域を含み、前記第１の領域より大きい第２の領域内で検出された動きベクトルを抽出し、前記第１の領域と前記第２の領域から、ともに抽出された動きベクトルを、前記第２の領域内から抽出された動きベクトルの頻度で並び替え、最も頻度が高いとされた動きベクトルを、前記着目画素の動きベクトルに設定するステップを含む。
【００１７】
本発明の一側面のプログラムは、着目画素を含む第１の領域内で検出された動きベクトルを抽出し、前記第１の領域を含み、前記第１の領域より大きい第２の領域内で検出された動きベクトルを抽出し、前記第１の領域と前記第２の領域から、ともに抽出された動きベクトルを、前記第２の領域内から抽出された動きベクトルの頻度で並び替え、最も頻度が高いとされた動きベクトルを、前記着目画素の動きベクトルに設定するステップをコンピュータに実行させる。
【００１８】
本発明の一側面の記録媒体は、前記プログラムを記録している。
【００１９】
本発明の一側面の画像処理装置および方法、並びにプログラムにおいては、着目画素を含む第１の領域と、第１の領域を含む第２の領域から、それぞれ動きベクトルが抽出され、第１の領域から抽出された動きベクトルが、第２の領域から抽出された動きベクトルの頻度により並び替えられ、最も頻度が高いとされた動きベクトルが、着目画素の動きベクトルに設定される。
【発明の効果】
【００２０】
本発明の一側面によれば、誤って検出された可能性のある動きベクトルを補正することが可能となる。その補正は、比較的大きな領域内で検出された動きベクトルが、仮に誤って検出された動きベクトルであっても、その領域内の誤って検出されている動きベクトルも補正することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下に、本発明の実施の形態について図面を参照して説明する。
【００２２】
図４は、本発明を適用したフレーム補間装置の一実施の形態の構成を示す図である。図４に示したフレーム補間装置１０１は、フレームメモリ１０２、動きベクトル検出部１０３、動きベクトル置き換え部１０４、補間フレーム作成部１０５、および、信号切替部１０６を含む構成とされている。
【００２３】
フレーム補間装置１０１は、テレビジョン受像機、パーソナルコンピュータ、携帯電話機など、画像を表示する装置に組み込まれ、その画像を構成する画像フレームから、画像フレームを補間する補間フレームを作成する装置である。フレーム補間装置１０１は、例えば、１秒間に含まれるフレーム数が６０フレームの動画像を、１２０フレームの動画像に変換するとき、その増加するフレームの画像を生成する。フレーム補間装置１０１が、フレームを補間することにより、フレーム数が増すことになるので、画質を向上させることが可能となる。
【００２４】
なお、本実施の形態においては、補間フレームを作成するフレーム補間装置１０１に、本発明を適用した例を挙げて説明するが、本発明は、フレーム補間装置１０１にのみ適用がされることを限定するのではない。以下に説明するように、本発明は、誤って検出された動きベクトルを、正しい動きベクトルに置き換えられるようにする処理を行うので、動きベクトルを検出する処理を含む全ての装置に適用可能である。
【００２５】
フレームメモリ１０２は、画像フレーム毎に入力された画像信号を記憶する。ここでは、少なくとも２フレームが記憶される。動きベクトル検出部１０３は、フレームメモリ１０２に記憶された複数の画像フレームに基づいて、画像フレームを構成する画像ブロックの動きベクトルを検出する。動きベクトルの検出の方法については、いくつか提案されているが、本実施の形態においては、動きベクトルの検出の仕方には依存せずに、補間フレームを作成できるため、動きベクトルの検出の方法として、どのような方法を適用しても良い。
【００２６】
換言すれば、補間フレーム作成部１０５は、後述する処理を実行する動きベクトル置き換え部１０４から動きベクトルが供給されることを前提としているため、動きベクトルがどのように検出されるかにより、補間フレーム作成部１０５の処理に影響があるわけではない。また、補間フレーム作成部１０５に動きベクトルを供給する動きベクトル置き換え部１０４は、後述する処理を実行するが、その処理は、動きベクトル検出部１０３による動きベクトルの検出方法に合わせて行うことができる。換言すれば、動きベクトル検出部１０３により検出された動きベクトルを用いて処理を行うので、動きベクトル検出部１０３による動きベクトルの検出方法に依存するものではない。よって、動きベクトル検出部１０３の動きベクトルを検出する方法として、どのような方法を適用しても、本発明を適用できる。
【００２７】
動きベクトル検出部１０３は、過去フレームと未来フレームを参照して動きベクトルを検出する。ここで、過去フレームとは、補間フレーム作成部１０５が作成する補間フレームを作成するときに参照されるフレームであり、補間フレームより前の時点で表示されるフレームである。また、補間フレームを作成するときに参照されるフレームであり、補間フレームより後の時点で表示されるフレームを、未来フレームと記述する。
【００２８】
動きベクトル検出部１０３は、例えば、動きベクトルを、所定の大きさのブロック毎に検出する場合、過去フレームは、動きベクトルの検出の基準となる画像フレームであり、画像ブロックに分割され、画像ブロック毎の動きベクトルが検出される画像フレームである。未来フレームは、動きベクトルの検出の対象となる画像フレームであり、過去フレームを構成する画像ブロックとのマッチングが行われる画像フレームである。
【００２９】
なお、以下の説明においては、動きベクトルは、画素毎に検出されるとして説明するが、以下の説明において画素との部分は、適宜、ブロックなどに置き換えることにより、ブロック毎に動きベクトルを検出するような場合でも本発明を適用できる。換言すれば、画素で処理を行うときを例にして説明するが、ブロックで処理を行うときには、画素との記載をブロックと読み替えることでブロックで処理を行うときにも本発明を適用することができる。また、ブロックは、複数の画素から構成され、以下の説明において、画素とは、ブロック中の画素との意味も含むとする。
【００３０】
動きベクトル置き換え部１０４は、図５に示すような構成（後述）を有し、後述するように、動きベクトル検出部１０３により検出された動きベクトルを、必要に応じて置き換えるという処理を実行する。
【００３１】
補間フレーム作成部１０５は、フレームメモリ１０２に記憶されている画像フレームと、動きベクトル置き換え部１０４による処理が施された動きベクトルとから、補間フレームを生成する。信号切替部１０６は、フレームメモリ１０２が記憶する画像フレームと、補間フレーム作成部１０５が作成した補間フレームとを切り換えて、図示していない表示装置などに出力する。
【００３２】
図５は、動きベクトル置き換え部１０４の内部構成例を示す図である。動きベクトル置き換え部１０４は、着目画素設定部１２１、第１の領域設定部１２２、第１の動きベクトル抽出部１２３、第２の領域設定部１２４、第２の動きベクトル抽出部１２５、並び替え部１２６、および選択部１２７を含む構成とされている。
【００３３】
着目画素設定部１２１は、過去フレームに含まれる画素のうち、処理対象とする画素を決定する。着目画素設定部１２１は、過去フレームに含まれる画素のうち、処理対象とする画素を決定し、その決定された画素の位置に関する情報を、第１の領域設定部１２２と第２の領域設定部１２４に出力する。着目画素設定部１２１は、例えば、過去フレームの左上から右下にかけて、順に着目画素を設定する。
【００３４】
第１の領域設定部１２２は、着目画素設定部１２１で設定された着目画素を含む複数の画素から構成される第１の領域を設定する。例えば、第１の領域設定部１２２は、着目画素を中心とし、その着目画素を取り囲む８画素から構成される９画素を第１の領域として設定する。ここでは、例えば９画素とするが、２５画素など、他の画素数でも勿論良い。この画素（ブロック）数は、可変的に設定されるようにすることも可能である。
【００３５】
第１の動きベクトル抽出部１２３は、第１の領域設定部１２２で設定された第１の領域内の各画素からそれぞれ検出された動きベクトルを、動きベクトル検出部１０３から取得する。
【００３６】
第２の領域設定部１２４は、第１の領域設定部１２２と同様に、着目画素設定部１２１で設定された着目画素を含む複数の画素から構成される第２の領域を設定する。設定される第２の領域は、第１の領域よりも大きな領域とされる。
【００３７】
第２の動きベクトル抽出部１２５は、第１の動きベクトル抽出部１２３と同様に、第２の領域設定部１２４で設定された第２の領域内の各画素からそれぞれ検出された動きベクトルを、動きベクトル検出部１０３から取得する。
【００３８】
並び替え部１２６は、第１の動きベクトル抽出部１２３で抽出された動きベクトルと、第２の動きベクトル抽出部１２５で抽出された動きベクトルとのうち、共通して検出された動きベクトルを、頻度の大きい順に並び替える。選択部１２７は、並び替え部１２６で並び替えられた動きベクトルのうち、最も頻度の高い動きベクトルを、着目画素の動きベクトルとして選択する。
【００３９】
ここで、図６を参照し、第１の領域と第２の領域について説明を加える。処理対象とされているフレームがフレーム１５１であり、そのフレーム１５１内の所定の画素が、着目画素１５２とされている。このとき、着目画素１５２を中心とした領域が、第１の領域１５３とされる。第１の領域１５３を中心とした領域が、第２の領域１５４とされる。以下の説明では、このような領域が設定されるとして説明を続けるが、以下のような変形は適宜可能である。
【００４０】
まず、ここでは、図６に示したように、第１の領域１５３や第２の領域１５４は、四角形（図６では正方形）としたが、その形状は、四角形に限定されることを示すものではない。例えば、第１の領域１５３や第２の領域１５４の形状は、それぞれ円形などでも良い。また、第１の領域１５３や第２の領域１５４を同じ形状にしなくても良く、例えば、第１の領域１５３を円形にし、第２の領域１５４を、円形の第１の領域１５３を含む四角形としても良い。
【００４１】
第１の領域１５３は、着目画素１５２を中心とした所定の画素数を含む形状であるとしたが、着目画素１５２を中心としなくても良い。基本的には、着目画素１５２を中心としたほうが好ましいと考えられるが、着目画素１５２のフレーム１５１内の位置などに応じて、適宜、着目画素１５２が中心とならない第１の領域１５３が設定されるように構成しても良い。
【００４２】
また、第２の領域１５４は、第１の領域１５３を中心とした所定の画素数を含む形状であるとしたが、第１の領域１５３を中心としなくても良い。例えば、第２の領域１５４は、第１の領域１５３が角に位置して含まれるような領域として設定されるようにしても良い。
【００４３】
第１の領域１５３と第２の領域１５４は、それぞれ、所定の大きさ、換言すれば、含まれる画素数が固定であっても良いし、可変であっても良い。例えば、動きベクトル検出部１０３が、所定の数の画素を含むブロック毎に動きベクトルを検出する場合、そのブロックよりも大きなサイズに第１の領域１５３は設定される必要がある。そこで、予めそのブロックの大きさがわかっていれば、そのブロックのサイズにより、予め、第１の領域１５３と第２の領域１５４のそれぞれの大きさを固定値として設定しておくことが可能である。
【００４４】
また例えば、画質や画像の内容や特性（例えば、動きの激しい画像であるか、静止画像であるか、自然画像であるか、人工画像であるかなど）の情報を第１の領域設定部１２２と第２の領域設定部１２４は、それぞれ取得できる構成とし、そのような情報に依存して、領域の大きさを設定する構成とすることも可能である。
【００４５】
ここでは、第１の領域１５３と第２の領域１５４は、それぞれ図６に示したような形状、大きさであるとして説明を続ける。
【００４６】
図７のフローチャートを参照し、図５に示した動きベクトル置き換え部１０４の処理について説明する。
【００４７】
ステップＳ２１において、着目画素設定部１２１は、動きベクトルを設定する着目画素を設定する。
【００４８】
ステップＳ２２において、第１の領域設定部１２２は、着目画素設定部１２１により設定された着目画素を中心とした所定の数の画素から構成される領域を、第１の領域として設定する。例えば、図６を参照して説明したように、着目画素１５２と着目画素１５２の周囲の画素を含めた領域が第１の領域として設定される。
【００４９】
ステップＳ２３において、第１の動きベクトル抽出部１２３は、第１の領域設定部１２２により設定された第１の領域内に存在し、動きベクトル検出部１０３（図４）により検出された動きベクトルを抽出する。例えば、第１の領域が、着目画素を含む９画素から構成される領域であり、画素毎に動きベクトルが検出される場合、ステップＳ２３の処理において、第１の動きベクトル抽出部１２３は、９個の動きベクトルを抽出する。
【００５０】
ステップＳ２４において、第２の領域設定部１２４により第２の領域が設定される。着目画素設定部１２１により設定された着目画素を中心とした所定の数の画素から構成される領域を、第２の領域として設定する。換言すれば、第１の領域設定部１２２により設定された第１の領域を中心とした（第１の領域を含む）所定の数の画素から構成される領域が第２の領域として設定される。例えば、図６を参照して説明したように、着目画素１５２と着目画素１５２の周囲の画素（第１の領域と第１の領域の周囲の画素）を含めた領域が第２の領域として設定される。
【００５１】
ステップＳ２５において、第２の動きベクトル抽出部１２５により、第２の領域内に存在し、動きベクトル検出部１０３（図４）により検出された動きベクトルが抽出される。例えば、第２の領域が、着目画素を含む２５画素から構成される領域であり、画素毎に動きベクトルが検出される場合、ステップＳ２５の処理において、第２の動きベクトル抽出部１２５は、２５個の動きベクトルを抽出する。第２の領域には、第１の領域が含まれるため、この抽出される動きベクトルには、第１の領域に含まれている動きベクトルも抽出されるので、第１の領域に含まれる動きベクトルは、第１の動きベクトル抽出部１２３から供給されるようにしても良い。
【００５２】
ステップＳ２６において、並び替え部１２６は、第１の動きベクトル抽出部１２３と第２の動きベクトル抽出部１２５により、それぞれ抽出された動きベクトルの並び替えを行う。この並び替えは、頻度の大きい順に並び替えられる処理である。この並び替えの対象とされる動きベクトルは、第１の領域と第２の領域から、それぞれ共通して検出された動きベクトルである。
【００５３】
換言すれば、第１の領域からは、着目画素の動きベクトルとして、候補とされる動きベクトルが抽出され、第２の領域からは、頻度を求めるための動きベクトルが抽出される。このように、本発明においては、候補を求める領域と、頻度を求める領域が異なる領域とされている。
【００５４】
ステップＳ２７において、選択部１２７は、並び替え部１２６の動きベクトルの並び替えの結果を用いて、着目画素の動きベクトルを決定する。この処理により、動きベクトル検出部１０３が、着目画素の動きベクトルとして検出していた動きベクトルが、そのまま、着目画素の動きベクトルとして選択される場合もあるし、他の動きベクトルが、着目画素の動きベクトルとして選択される場合もある。以下に、このような場合について、図８を参照し、再度、図７に示したフローチャートの処理について説明を行う。
【００５５】
図８に示した状態は、フレーム１５１内の所定の領域に、物体１７１（図８中、点線の四角形で示した）が映し出されている状態である。また、図８に示した状態は、物体１７１から検出される動きベクトルが動きベクトルＶ１のときであり、物体１７１以外の領域（例えば、背景の領域とする）から検出される動きベクトルが動きベクトルＶ２である状態である。
【００５６】
このような場合、着目画素１５２を含む第１の領域１５３内から検出された動きベクトルは動きベクトルＶ１であり、第２の領域１５４内から検出された動きベクトルは動きベクトルＶ１と動きベクトルＶ２である状態である。
【００５７】
このような場合、ステップＳ２２，２３の処理が実行されることにより、第１の動きベクトル抽出部１２３で抽出され、並び替え部１２６に供給される動きベクトルは、動きベクトルＶ１である。同様に、ステップＳ２４，２５の処理が実行されることにより、第２の動きベクトル抽出部１２５で抽出され、並び替え部１２６に供給される動きベクトルは、動きベクトルＶ１と動きベクトルＶ２である。
【００５８】
図８に示したような状況の場合、図９に示すように、第１の領域１５３における動きベクトルＶ１の頻度は高く、動きベクトルＶ２の頻度は低い（この場合、０である）。また、図９に示すように、第２の領域１５４においては動きベクトルＶ１と動きベクトルＶ２の頻度はともに高い（０ではない）。しかしながら、この場合、第１の領域１５３からは動きベクトルＶ１しか検出されていないため、第２の領域１５４から検出された動きベクトルＶ２は、並び替えの対象とされない。よって、この場合、並び替えの対象とされるのは、動きベクトルＶ１だけである。
【００５９】
このような場合、選択部１２７には、動きベクトルＶ１が最も頻度が高いとして並び替えられたという情報が供給されるので、結果として、選択部１２７からは動きベクトルＶ１が、着目画素１５２の動きベクトルとして選択され、補間フレーム作成部１０５（図４）に出力される。
【００６０】
このように、第１の領域１５３と第２の領域１５４から、共通して検出された動きベクトルが並び替えの対象とされる。そして、その並び替えは、頻度が高い順に並び替えられ、最も頻度が高いとされた動きベクトルが、その時点で処理対象とされている着目画素１５２の動きベクトルとして設定される。
【００６１】
図８に示したような場合、物体１７１から検出されるのは動きベクトルＶ１であるので、物体１７１を構成する着目画素１５２の動きベクトルも、動きベクトルＶ１が検出されるのが正しい結果である。そして、図７に示したフローチャートの処理が実行されることにより、最終的に着目画素１５２に設定される動きベクトルは、上記したように動きベクトルＶ１である。
【００６２】
よって、正しい動きベクトルが検出されているときには、動きベクトル置き換え部１０４で、図７に示したフローチャートの処理が実行されても、正しい動きベクトルが正しく選択されるため、本発明を適用して動きベクトルを置き換えるような処理を実行したとしても、正しかった動きベクトルが誤って他の動きベクトルに置き換えられるようなことはない。
【００６３】
他の例として、図１０を参照し、さらに、動きベクトルの置き換えについて説明を加える。
【００６４】
図１０に示した例は、図８に示した状態と同じく、フレーム１５１内の所定の領域に、物体１７１（図１０中、点線の四角形で示した）が映し出されている状態である。また、図１０に示した状態は、物体１７１から検出される動きベクトルが動きベクトルＶ１のときであり、物体１７１以外の領域（例えば、背景の領域とする）から検出される動きベクトルが動きベクトルＶ２である状態である。
【００６５】
このような状態であるが、物体１７１の一部分の領域１７２に、動きベクトルＶ１とは異なる方向の動きベクトルＶ３が検出されたような状態を図１０では示している。領域１７２は、物体１７１の一部分であるため、領域１７２内の動きベクトルは、動きベクトルＶ１が検出されるべきであるが、何らかの原因により、動きベクトルＶ１とは異なる動きベクトルＶ３が検出された状態である。すなわち、誤った動きベクトルが検出された状態である。
【００６６】
また、領域１７２には、着目画素１５２が含まれるため、置き換えの処理が行われなければ、着目画素１５２に設定される動きベクトルは、動きベクトル検出部１０３で検出された動きベクトルＶ３となってしまう状態である。
【００６７】
このような場合、着目画素１５２を含む第１の領域１５３内から検出された動きベクトルは、動きベクトルＶ１と動きベクトルＶ３であり、第２の領域１５４内から検出された動きベクトルは動きベクトルＶ１、動きベクトルＶ２、および動きベクトルＶ３である状態である。
【００６８】
このような場合、ステップＳ２２，２３の処理が実行されることにより、第１の動きベクトル抽出部１２３で抽出され、並び替え部１２６に供給される動きベクトルは、動きベクトルＶ１と動きベクトルＶ３である。同様に、ステップＳ２４，２５の処理が実行されることにより、第２の動きベクトル抽出部１２５で抽出され、並び替え部１２６に供給される動きベクトルは、動きベクトルＶ１、動きベクトルＶ２、および動きベクトルＶ３である。
【００６９】
図１０に示したような状況の場合、図１１に示すように、第１の領域１５３における動きベクトルＶ１と動きベクトルＶ３の頻度は高く、動きベクトルＶ２の頻度は低い（この場合、０である）。また、図１１に示すように、第２の領域１５４における動きベクトルＶ１、動きベクトルＶ２、および動きベクトルＶ３の頻度が高い。しかしながら、この場合、第１の領域１５３からは動きベクトルＶ１と動きベクトルＶ３しか検出されていないため、第２の領域１５４から検出された動きベクトルＶ２は、並び替えの対象とされない。よって、この場合、並び替えの対象とされるのは、動きベクトルＶ１と動きベクトルＶ３である。
【００７０】
第２の領域１５４は、第１の領域１５３を含み、さらに、その第１の領域１５３よりも小さい領域１７２を含む。よって、第１の領域１５３に含まれる領域１７２内の画素数と第２の領域１５４に含まれる領域１７２内の画素数は、同じであるため、第１の領域１５３から抽出される動きベクトルＶ３の数と第２の領域１５４から抽出される動きベクトルＶ３の数は、同一である。
【００７１】
これに対して、第１の領域１５３から抽出される動きベクトルＶ１の数と、第２の領域１５４から抽出される動きベクトルＶ１の数は異なる。第２の領域１５４は、第１の領域１５３を含むため、第１の領域１５３から抽出される動きベクトルＶ１は、第２の領域１５４に含まれ、さらに、第２の領域１５４には、第１の領域１５３には含まれない動きベクトルＶ１も含まれる。よって、第１の領域１５３から抽出される動きベクトルＶ１の数よりも、第２の領域１５４から抽出される動きベクトルＶ１の数の方が多い。
【００７２】
並び替え部１２６は、動きベクトルＶ１と動きベクトルＶ３を、頻度順に並び替える。この頻度は、第２の領域１５４から抽出された動きベクトルＶ１と動きベクトルＶ３の頻度である。その結果、図１１に示したように、動きベクトルＶ１の方が、動きベクトルＶ３よりも頻度が多いとされ、動きベクトルＶ１、動きベクトルＶ３の順に並び替えられたとする。
【００７３】
このような場合、選択部１２７には、動きベクトルＶ１が最も頻度が高いとして並び替えられたという情報が供給されるので、結果として、選択部１２７からは動きベクトルＶ１が、着目画素１５２の動きベクトルとして選択され、補間フレーム作成部１０５（図４）に出力される。
【００７４】
このように、第１の領域１５３と第２の領域１５４から、共通して検出された動きベクトルが並び替えの対象とされる。そして、その並び替えは、第２の領域１５４から抽出された動きベクトルの頻度に応じて、頻度の高い順に並び替えられる。そして、最も頻度が高いとされた動きベクトルが、その時点で処理対象とされている着目画素の動きベクトルとして設定される。
【００７５】
図１０に示したような場合、物体１７１から検出されるのは動きベクトルＶ１であるので、物体１７１を構成する着目画素１５２の動きベクトルも、動きベクトルＶ１が検出されるのが正しい結果である。しかしながら、着目画素１５２から検出されたのは、動きベクトルＶ３である。
【００７６】
このようなとき、図７に示したフローチャートの処理が実行されることにより、最終的に着目画素１５２に設定される動きベクトルは、上記したように動きベクトルＶ１となる。よって、誤った動きベクトルが検出されているときには、動きベクトル置き換え部１０４で、図７に示したフローチャートの処理が実行されることにより、正しい動きベクトルが正しく選択され、正しい動きベクトルに置き換えられることになる。よって、本発明を適用して動きベクトルを置き換えるような処理を実行することで、誤った動きベクトルを正しい動きベクトルに置き換えられるようになる。
【００７７】
ここで、再度、図１１を参照して説明を続ける。図１１の上側には、第１の領域１５３から抽出される動きベクトルＶ１の方が、動きベクトルＶ３よりも少ない頻度であるとして表した。このような場合、仮に本発明を適用せずに、処理を行った場合、すなわち、置き換えの処理を行わなかった場合、着目画素１５２に設定される動きベクトルは、検出された動きベクトルＶ３である。
【００７８】
仮に、従来のように、例えば、図２を参照して説明したように、着目画素１５２の周囲の画素に設定された動きベクトルに基づいて、修正が行われたとしても、この場合、着目画素１５２の周りの画素に設定されている動きベクトルも動きベクトルＶ３であるため、修正されても、着目画素１５２に設定される動きベクトルは、動きベクトルＶ３である。
【００７９】
このように、本発明を適用しなければ、着目画素１５２に設定された、誤った動きベクトルＶ３は、正しい動きベクトルＶ１に修正することができない。本発明を適用することで、このような誤って検出された動きベクトルを、正しい動きベクトルに修正することが可能となる。
【００８０】
さらに、図１２を参照して説明を続ける。図１２に示した状態も、図１１と同じ状況のときを想定しているが、第１の領域１５３から抽出される動きベクトルＶ１の頻度が、動きベクトルＶ３の頻度よりも高い場合を示している。このようなとき、図１１を参照して説明したように、第２の領域１５４に含まれる動きベクトルＶ１の数は、第１の領域１５３に含まれる動きベクトルＶ１の数よりも多くなるので、図１２に示したようになる。よって、結果として、図１２に示したような場合であっても、着目画素１５２に誤って設定された動きベクトルＶ３を、正しい動きベクトルＶ１に修正することが可能となる。
【００８１】
さらに、図１３を参照して説明を続ける。図１３に示した状態は、第１の領域１５３から抽出される動きベクトルＶ１の頻度が、動きベクトルＶ３の頻度よりも少ない場合を示している。そして、第２の領域１５４から抽出される動きベクトルＶ１の頻度が、動きベクトルＶ３の頻度よりも少ない場合を示している。
【００８２】
このような場合、着目画素１５２に設定された動きベクトルＶ３は、置き換えの処理が実行されても、動きベクトルＶ３のままである。よって、仮に、動きベクトルＶ３が誤った検出がされた動きベクトルであっても、修正できないことになる。このような状況が起こるのは、例えば、第１の領域１５３や第２の領域１５４が、比較的小さな領域に設定されている場合に起こりえると考えられる。
【００８３】
図１０を再度参照するに、例えば、第１の領域１５３が、領域１７２と同等の大きさであったり、領域１７２によりも小さい大きさであったりした場合、第１の領域１５３から抽出される動きベクトルは、図１３の上段に示したような頻度になる。第２の領域１５４を大きな領域とすれば、第２の領域１５４から抽出される動きベクトルＶ１の数も増えるため、結果として図１１や図１２を参照して説明したように、動きベクトルＶ１の数の方が、動きベクトルＶ３の数よりも多くなる。よって、動きベクトルＶ３は、動きベクトルＶ１に置き換えられ、修正されることになる。
【００８４】
このようなことから、第１の領域１５３や第２の領域１５４は、適切な大きさに設定する必要があり、例えば、実験などを繰り返しことにより得られるデータなどから設定されるようにすれば、上記したような修正されないといったようなことを防ぐことが可能となる。
【００８５】
実験では、６×６のブロックサイズを用いて行われた動きベクトル検出結果に対して、第１の領域１５３を１９×１９（動きベクトル検出に用いたブロックの３倍の大きさ、６×３＋１）、第２の領域１５４を３１×３１（動きベクトル検出に用いたブロックの５倍の大きさ、６×５＋１）として行った場合に、効果が確認された。
【００８６】
また、第１の領域１５３や第２の領域１５４の大きさを適切に設定した場合において、図１３のような状態が発生する場合、着目画素１５２に設定された動きベクトルＶ３は、誤って検出されたのではなく、正しい検出であると考えることができる。よって、そのようなときは修正する必要がなく、このような正しい動きベクトルが検出されたときには、正しい動きベクトルがそのまま設定されることは、既に説明した通りである。
【００８７】
このように、本発明によれば、誤って検出された動きベクトルを、正しい動きベクトルに適切に置き換える（修正する）ことが可能となる。
【００８８】
次に、さらに、置き換えの処理の精度を高めるために、動きベクトル置き換え部１０４の構成を、図１４に示すようにし、図１５に示すフローチャートの処理が実行されるようにしても良い。
【００８９】
図１４は、動きベクトル置き換え部１０４の他の構成例を示す図である。図５に示した動きベクトル置き換え部１０４と区別するために、図１４に示した動きベクトル置き換え部１０４’には、ダッシュ（’）を付して記述する。また、図５に示した動きベクトル置き換え部１０４と、図１４に示した動きベクトル置き換え部１０４’において、共通の部分に関しては、共通の符号を付し、適宜、その説明は省略する。また、動きベクトル置き換え部１０４’は、図４に示した動きベクトル置き換え部１０４の代わりに、フレーム補間装置１０１を構成する要素として用いることが可能である。
【００９０】
図１４に示した動きベクトル置き換え部１０４’は、着目画素設定部１２１、第１の領域設定部１２２、第１の動きベクトル抽出部１２３、第２の領域設定部１２４、第２の動きベクトル抽出部１２５、並び替え部１２６、選択部１２７、ＳＡＤ計算部２０１、判断部２０２、および閾値計算部２０３を含む構成とされている。
【００９１】
図１４に示した動きベクトル置き換え部１０４’は、図５に示した動きベクトル置き換え部１０４に、ＳＡＤ計算部２０１、判断部２０２、および閾値計算部２０３を追加した構成とされている。
【００９２】
ＳＡＤ計算部２０１は、ＳＡＤを計算する。ＳＡＤとは、Sum of Absolute Differenceの略であり、差分絶対値などと訳される。ＳＡＤは、例えば、ブロックマッチングの処理が行われるときに算出される。
【００９３】
ブロックマッチングにおいては、動きベクトルを検出しようとしているフレームである現在フレームのブロックである着目ブロックから、例えば、現在フレームの１フレーム後のフレームである未来フレームのある範囲（サーチエリア）にある着目ブロックと同じ大きさの領域への移動を表す複数のベクトルについて、各ベクトルが着目ブロックの動きを表す度合いの評価値が求められる。そして、複数のベクトルのうちの、評価値が最も良いベクトルが、着目ブロックの動きベクトルとして検出される。
【００９４】
ここで、ブロックマッチングでは、評価値を求めようとして着目している着目ベクトルについて、例えば、現在フレームの着目ブロックと、未来フレームの、着目ブロックから着目ベクトルだけ移動した位置の領域との間の、同一の位置の画素の画素値の差分の絶対値の総和(ＳＡＤ)が、着目ベクトルの評価値として求められる。
【００９５】
複数のベクトルそれぞれの評価値としてのＳＡＤは、各ベクトルに対応付けて評価値テーブルに登録される。そして、評価値テーブルで最小のＳＡＤが、最も良い評価値として求められ、そのＳＡＤに対応付けられているベクトルが、着目ブロックの動きベクトルとして検出される。
【００９６】
このようなブロックマッチングの処理が行われるときに算出されるＳＡＤを、ＳＡＤ計算部２０１は計算する。しかしながら、ＳＡＤ計算部２０１は、動きベクトルを検出することを目的としているのではなく、選択部１２７で選択された動きベクトルが妥当であるか否かを判断するための情報（評価値）を計算する点が、ブロックマッチングなどの処理において求められＳＡＤとは異なる。
【００９７】
図１４に示した動きベクトル置き換え部１０４’の説明に戻り、判断部２０２は、ＳＡＤ計算部２０１で計算されたＳＡＤの値が、閾値計算部２０３により計算された閾値よりも小さいか否かを判断することで、選択部１２７で選択された動きベクトルが妥当であるか否かを判断する。閾値計算部２０３は、判断部２０２が判断するときの閾値を、ＳＡＤ計算部２０１で計算されるＳＡＤの値を用いて算出する。
【００９８】
図１４に示した動きベクトル置き換え部１０４’の動作について、図１５のフローチャートを参照して説明する。
【００９９】
ステップＳ５１乃至Ｓ５６の処理は、図７に示したフローチャートのステップＳ２１乃至２６と同様の処理なので、その詳細な説明は省略する。すなわち、着目画素設定部１２１乃至選択部１２７で行われる処理は、上記した図５に示した動きベクトル置き換え部１０４が行う処理と同様に行われる。
【０１００】
選択部１２７には、並び替え部１２６から、複数の動きベクトルの候補が供給される場合がある。すなわち、第１の領域１５３と第２の領域１５４から、共通して複数の動きベクトルが抽出された場合、それら複数の動きベクトルが候補とされる。それらの複数の候補のうち、どの動きベクトルが、その時点で処理対象とされている着目画素１５２の動きベクトルとして妥当であるか否かが、ステップＳ５７以降の処理、換言すれば、ＳＡＤ計算部２０１、判断部２０２、および閾値計算部２０３の処理により判断される。
【０１０１】
ステップＳ５７において、閾値計算部２０３により、閾値が計算される。閾値は、以下の手順で求められる。まず、動きベクトルで対応づく現在のフレーム（フレームｔ０）と、未来のフレーム（フレームｔ１）との間でのＳＡＤが求められる。ＳＡＤは、例えば、９個求められる。着目画素におけるＳＡＤと、その着目画素の周りに位置する８個のフレームｔ１側の画素（フレームｔ１側で、上下左右に１画素ずらした画素）におけるＳＡＤが求められる。
【０１０２】
次に、求められた９個のＳＡＤ（ＳＡＤｉ（ｉ＝０乃至８）とする）のうち、最大値を有するＳＡＤｉと最小値を有するＳＡＤｉがそれぞれ抽出される。抽出された最大値のＳＡＤｉと最小値のＳＡＤｉが加算され、その加算値が２で除算されることで、閾値ｔｈが算出される。すなわち、次式に基づき閾値ｔｈが算出される。
閾値ｔｈ＝（最大値のＳＡＤｉ＋最小値のＳＡＤｉ）／２
【０１０３】
閾値計算部２０３は、ＳＡＤ計算部２０１で計算されるＳＡＤの値を用いて、閾値ｔｈを計算し、判断部２０２に供給する。
【０１０４】
ステップＳ５８において、ＳＡＤ計算部２０１は、その時点で処理対象とされている動きベクトルの候補におけるＳＡＤを計算する。選択部１２７には、並び替え部１２６により、頻度の高い順に動きベクトルの候補が供給される。そして選択部１２７は、頻度の高い順に、ＳＡＤ計算部２０１に動きベクトルの候補の情報を供給する。よって、ＳＡＤ計算部２０１は、頻度の高い動きベクトルの候補順、すなわち、妥当である可能性が高い順に、ＳＡＤを計算することになる。
【０１０５】
ステップＳ５８において、動きベクトルの１つの候補に対して、ＳＡＤが算出され、判断部２０２に供給される。判断部２０２は、ステップＳ５９において、処理対象とされている動きベクトルは、着目画素１５２の動きベクトルとして適切であるか否かを判断する。その判断は、以下の式を満たすか否かが判断されることで行われる。
ＳＡＤ≦閾値ｔｈ
この式において、ＳＡＤは、ステップＳ５８においてＳＡＤ計算部２０１により算出された、その時点で処理対象とされている動きベクトルの候補におけるＳＡＤであり、閾値ｔｈは、ステップＳ５７において、閾値計算部２０３が算出した閾値である。
【０１０６】
ステップＳ６０において、処理対象とされている動きベクトルの候補は、着目画素の動きベクトルとして適切であるか否か、すなわち、上記不等式が満たされるか否かが判断される。ステップＳ６０において、不等式が満たされない、すなわち、処理対象とされている動きベクトルの候補は、処理対象とされている着目画素１５２の動きベクトルとして適切ではないと判断された場合、ステップＳ６１に処理が進められる。
【０１０７】
ステップＳ６１において、次の候補が存在するか否かが判断される。ＳＡＤ計算部２０１は、選択部１２７から供給された候補のうち、処理対象とされていた候補の次の候補が存在するか否かを判断し、存在すると判断された場合、ステップＳ６２に処理を進める。
【０１０８】
ステップＳ６２において、次の候補が処理対象の動きベクトルに設定され、ステップＳ５８以降の処理が繰り返し行われる。
【０１０９】
一方、ステップＳ６１において、次の候補が存在しないと判断された場合、図１５に示した置き換えの処理は終了される。この場合、置き換え候補として適切な動きベクトルが抽出されたなかったことを示しているので、置き換えの処理は終了され、置き換えの処理は行われない。すなわちこの場合、動きベクトル検出部１０３で検出された動きベクトルが、その時点で処理対処とされている着目画素１５２の動きベクトルとして設定される。
【０１１０】
一方、ステップＳ６０において、その時点で、処理対象とされている動きベクトルの候補が、適切であると判断された場合、すなわち、上記した不等式が満たされると判断された場合、ステップＳ６３に処理が進められる。
【０１１１】
ステップＳ６３において、処理対象とされている着目画素１５２の動きベクトルが、その時点で処理対象とされていた動きベクトルの候補に設定される。このとき、例えば、上記したように、検出された動きベクトルが動きベクトルＶ３であり、置き換えられる動きベクトルも動きベクトルＶ３である場合、すなわち、実質的には置き換えが行われない場合もあるし、動きベクトルＶ１に置き換えられる場合もある。いずれにせよ、適切な動きベクトルが設定される。
【０１１２】
このように、ＳＡＤを計算することで、選択部１２７で選択された動きベクトルのうち、最も適している動きベクトルが選択される可能性を高めることができる。換言すれば、動きベクトルの検出の精度を高めることが可能となる。
【０１１３】
このように、本発明によれば、正しく検出されている動きベクトルは、そのまま適用され、誤って検出されている動きベクトルは、正しい動きベクトルに置き換えられるようにすることができる。
【０１１４】
動きベクトルは、フレーム間の波形の一致を指標として求められるため、この前提では、動きベクトルの分布は比較的ばらつかないものになる。本発明は、このようなことを利用しているため、上記したような適切な動きベクトルの設定を行うことができる。
【０１１５】
上述したように、本発明においては、候補を求めるブロック（第１の領域）と、頻度を求めるブロック（第２の領域）を変えることにより、従来の動きベクトルの修正の方法では対応できない、例えば、図３を参照して説明したような状況でも、適切に対応することが可能となる。
【０１１６】
すなわち、図３を再度参照するに、領域３１’の範囲で、動きベクトルの候補と頻度を求める場合、誤った動きベクトルの頻度が多く、対応ができないことがあった。また、図３を参照して説明したように、領域３１’で、動きベクトルの候補と頻度が求められる場合、背景３２の動きベクトルが、物体３１の動きベクトルとして選ばれてしまう可能性があり、物体３１に対し背景３２の動きベクトルが用いられる可能性があった。
【０１１７】
しかしながら、図３と同じような状況である、例えば、図１０を参照して説明したような状況のときであっても、上述したように、本発明によれば、物体１７１の動きベクトルＶ１が、領域１７２の動きベクトルとして用いられるようにすることが可能となり、従来起きていたようなことを回避することが可能となる。
【０１１８】
上述した一連の処理、例えば、領域を設定し、領域内の動きベクトルを抽出し、並び替えるといったような処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１１９】
図１６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウェアの構成の例を示すブロック図である。
【０１２０】
コンピュータにおいて、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０１２１】
バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【０１２２】
以上のように構成されるコンピュータでは、ＣＰＵ３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、ＲＡＭ３０３にロードして実行することにより、上述した一連の処理が行われる。
【０１２３】
コンピュータ（ＣＰＵ３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１２４】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ＲＯＭ３０２や記憶部３０８に、あらかじめインストールしておくことができる。
【０１２５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１２６】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１２７】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１２８】
【図１】動きベクトルの分布について説明するための図である。
【図２】動きベクトルの修正について説明するための図である。
【図３】誤って検出された動きベクトルについて説明するための図である。
【図４】本発明を適用したフレーム補間装置の一実施の形態の構成を示す図である。
【図５】動きベクトル置き換え部の内部構成例を示す図である。
【図６】領域について説明するための図である。
【図７】動きベクトル置き換え部の動作について説明するフローチャートである。
【図８】領域と動きベクトルの関係を示す図である。
【図９】動きベクトルの頻度について説明するための図である。
【図１０】領域と動きベクトルの関係を示す図である。
【図１１】動きベクトルの頻度について説明するための図である。
【図１２】動きベクトルの頻度について説明するための図である。
【図１３】動きベクトルの頻度について説明するための図である。
【図１４】動きベクトル置き換え部の他の構成例を示す図である。
【図１５】動きベクトル置き換え部の動作について説明するフローチャートである。
【図１６】記録媒体について説明する図である。
【符号の説明】
【０１２９】
１０１  フレーム補間装置，  １０２  フレームメモリ，  １０３  動きベクトル検出部，  １０４  動きベクトル置き換え部，  １０５  補間フレーム作成部，  １２１  着目画素設定部，  １２２  第１の領域設定部，  １２３  第１の動きベクトル抽出部，  １２４  第２の領域設定部，  １２５  第２の動きベクトル抽出部，  １２６  並び替え部，  １２７  選択部，  ２０１  ＳＡＤ計算部，  ２０２  判断部，  ２０３  閾値計算部
【図１】
2009171226.tif 000003
【図２】
2009171226.tif 000004
【図３】
2009171226.tif 000005
【図４】
2009171226.tif 000006
【図５】
2009171226.tif 000007
【図６】
2009171226.tif 000008
【図７】
2009171226.tif 000009
【図８】
2009171226.tif 000010
【図９】
2009171226.tif 000011
【図１０】
2009171226.tif 000012
【図１１】
2009171226.tif 000013
【図１２】
2009171226.tif 000014
【図１３】
2009171226.tif 000015
【図１４】
2009171226.tif 000016
【図１５】
2009171226.tif 000017
【図１６】
2009171226.tif 000018