(57)【要約】【課題】プログレッシブ映像を変換したインターレース映像のフレーム補間において、不自然な動きになって違和感を与えるのを防止する。【解決手段】第１フレーム数のプログレッシブ映像を該第１フレーム数よりも多い第２フレーム数のインターレース形式に変換された映像に対してフレーム補間を行う画像処理装置であって、入力された前記インターレース映像における任意の部分の動きベクトルＶ(t)を推定して動きベクトルを算出する動きベクトル推定部３１と、前記動きベクトルに従って前記任意の部分の動きを推定して推定動きベクトルＶa(t)を算出する運動推定部３２と、前記動きベクトルと前記推定動きベクトルに従って補間判定値ＤＶを決定する動きベクトル判定部３３と、前記補間判定値に従って補間画像を生成する補間画像生成部３４と、を有するように構成する。【選択図】図５
2011009847.tif 000002
【特許請求の範囲】
【請求項１】
第１フレーム数のプログレッシブ映像を該第１フレーム数よりも多い第２フレーム数のインターレース形式に変換された映像に対してフレーム補間を行う画像処理装置であって、
入力された前記インターレース映像における任意の部分の動きベクトルを推定して動きベクトルを算出する動きベクトル推定部と、
前記動きベクトルに従って前記任意の部分の動きを推定して推定動きベクトルを算出する運動推定部と、
前記動きベクトルと前記推定動きベクトルに従って補間判定値を決定する動きベクトル判定部と、
前記補間判定値に従って補間画像を生成する補間画像生成部と、を有することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記運動推定部は、
前記動きベクトル推定部からの現在の動きベクトルを保持し、過去の動きベクトルを出力するベクトル遅延部と、
前記ベクトル遅延部からの複数の過去のベクトルを用いて加速度を推定する加速度推定部と、
前記加速度と前記過去のベクトルを加算して、前記任意の部分における現在のベクトルを推定する加算部と、を有することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
該画像処理装置は、ｎを２以上の整数として、前記第２フレーム数のｎ倍の第３フレーム数のプログレッシブ映像を出力することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記第３フレーム数は、前記第２フレーム数の２倍であり、
前記補間画像生成部は、
前記補間画像を生成する補間画像生成回路と、
前記補間判定値に従って、前記補間画像生成回路の出力画像と補間処理を行っていない過去の画像を選択して出力する第１スイッチと、を有することを特徴とする画像処理装置。
【請求項５】
第１フレーム数のプログレッシブ映像を該第１フレーム数よりも多い第２フレーム数のインターレース形式に変換された映像に対してフレーム補間を行う画像処理方法であって、
入力された前記インターレース映像における任意の部分の動きベクトルを推定して動きベクトルを算出し、
前記動きベクトルに従って前記任意の部分の動きを推定して推定動きベクトルを算出し、
前記動きベクトルと前記推定動きベクトルに従って補間判定値を決定し、並びに、
前記補間判定値に従って補間画像を生成することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願で言及する実施例は、画像処理装置、表示装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、モーションジャダや液晶パネルの動きボケを改善するために、フレーム補間装置（画像処理装置）を使用して表示するフレーム数を増加する技術が知られている。
【０００３】
ＣＧやアニメなどの映像は、その特性上３０フレーム／秒のプログレッシブ映像（３０ｐ）で作成されることが多く、例えば、テレビ放送でこの３０ｐの映像を送信する場合、６０ｉの信号にフォーマット変換している。
【０００４】
近年、コンピュータ技術の発達によりＣＧ映像が盛んに用いられるようになり、例えば、テレビ放送の映像データには、６０ｉの信号にフォーマット変換された３０ｐの映像データが多数含まれている。
【０００５】
ところで、従来、フレーム補間装置は、様々なものが提案されており、また、補間フレームを生成する手法も様々なものが提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２６８９１２号公報
【特許文献２】特開２００８−１３５９８０号公報
【特許文献３】特開２００８−１６０７９３号公報
【特許文献４】特開２００４−２９７７１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前述したように、テレビ放送の映像データには、６０ｉの信号にフォーマット変換された３０ｐの映像データが多数存在しており、このような映像データに対してフレーム補間を行うと、不自然な動きになって違和感を与えることがある。
【０００８】
なお、これは６０ｉの信号にフォーマット変換された３０ｐの映像データだけでなく、例えば、６０ｉの信号にフォーマット変換された２４ｐの映像データ等でも同様である。
【０００９】
この出願は、上述した課題に鑑み、プログレッシブ映像を変換したインターレース映像のフレーム補間において、不自然な動きになって違和感を与えるのを防止することのできる画像処理装置、表示装置および画像処理方法の提供を目的とする。
【課題を解決するための手段】
【００１０】
一実施形態によれば、第１フレーム数のプログレッシブ映像を該第１フレーム数よりも多い第２フレーム数のインターレース形式に変換された映像に対してフレーム補間を行う画像処理装置が提供される。
【００１１】
この画像処理装置は、動きベクトル推定部と、運動推定部と、動きベクトル判定部と、補間画像生成部と、を有する。
【００１２】
動きベクトル推定部は、入力されたインターレース映像における任意の部分の動きベクトルを推定して動きベクトルを算出し、また、運動推定部は、動きベクトルに従って任意の部分の動きを推定して推定動きベクトルを算出する。
【００１３】
さらに、動きベクトル判定部は、動きベクトルと推定動きベクトルに従って補間判定値を決定し、そして、補間画像生成部は、補間判定値に従って補間画像を生成する。
【発明の効果】
【００１４】
開示の画像処理装置、表示装置および画像処理方法は、プログレッシブ映像を変換したインターレース映像のフレーム補間において、不自然な動きになって違和感を与えるのを防止する効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】画像処理装置が適用される一例としての液晶テレビを概略的に示すブロック図である。
【図２】フォーマット変換の一例を説明するための図である。
【図３】画像処理装置の一例を示すブロック図である。
【図４】図３の画像処理装置における問題点を説明するための図である。
【図５】画像処理装置の一実施例を示すブロック図である。
【図６】図５の画像処理装置における動きベクトル推定部の動作の一例を説明するための図である。
【図７】図５の画像処理装置における運動推定部の一例を示すブロック図である。
【図８】図５の画像処理装置における補間画像生成部の動作の一例を説明するための図である。
【図９】図５の補間画像生成部の例を示すブロック図である。
【図１０】画像処理装置の動作の一例を説明するための図である。
【図１１】本実施例が適用される画像処理プログラムおよび画像処理プログラムを記録した媒体の例を説明するための図である。
【発明を実施するための形態】
【００１６】
まず、画像処理装置および画像処理方法の実施例を詳述する前に、画像処理装置とその課題を図１〜図４を参照して説明する。
【００１７】
図１は画像処理装置（フレーム補間装置）が適用される一例としての液晶テレビ（表示装置）を概略的に示すブロック図である。
【００１８】
図１に示されるように、液晶テレビ１００は、チューナ・デコーダ１、映像変換器２、フレーム補間装置３、遅延器４、スイッチ（第３スイッチ）５および液晶パネル６を有する。
【００１９】
チューナ・デコーダ１は、例えば、アンテナＡＮＴを介して供給される放送波を動画像データへと変換して映像変換器２に供給する。映像変換器２は、供給された動画像データに対してスケーリングやＩＰ変換処理などの映像変換処理を行う。
【００２０】
フレーム補間装置３は、例えば、映像変換器２から直接与えられる現フレームの動画像データ、および、遅延器４を介して与えられる１フレーム遅延した（直前のフレームの）動画像データを受け取って、補間画像データを生成する。
【００２１】
スイッチ５は、例えば、フレーム補間装置３からの補間画像データと、遅延器４からの遅延された動画像データとを切り替えて液晶パネル６に供給することで、例えば、２倍や３倍といったフレームレートで受信データを表示する。これにより、動きボケやモーションジャダを低減することが可能になる。
【００２２】
ところで、テレビ放送は、１つのフレームを偶数および奇数の２つのフィールドで表示する６０フィールド／秒のインターレース映像（６０ｉ）で放送されることが一般的である。
【００２３】
しかしながら、ＣＧやアニメなどの映像は、その特性上、１つのフレームを１つのフィールドで表示する３０フレーム／秒のプログレッシブ映像（３０ｐ）で作成されることが多い。
【００２４】
そのため、テレビ放送でＣＧやアニメなどの映像を送信する場合、３０ｐの映像を６０ｉの信号にフォーマット変換する必要がある。
【００２５】
なお、６０ｉの信号にフォーマット変換された３０ｐの映像データは、一画面（１フレーム）全体ではなく、画面の一部だけの場合もある。
【００２６】
近年、コンピュータ技術の発達によりＣＧ映像が盛んに用いられるようになったため、このような映像データは多数存在している。
【００２７】
図２はフォーマット変換の一例を説明するための図であり、テレビ放送でＣＧやアニメなどの映像を送信する場合に行う３０ｐの映像を６０ｉの信号にフォーマット変換する様子を示すものである。
【００２８】
すなわち、一般的に、３０ｐのプログレッシブ映像の１フレームを、トップフィールド（奇数ラインのみで構成される画像）とボトムフィールド（偶数ラインのみで構成される画像）の２つのフィールド画像に分割して、６０ｉ信号にフォーマット変換している。
【００２９】
ここで、図２に示されるように、６０ｉ信号にフォーマット変換されたフィールド（フレーム）ｆ１〜ｆ８において、フレームｆ１，ｆ２；ｆ３，ｆ４；ｆ５，ｆ６；ｆ７，ｆ８は、それぞれ時間的に同一時刻の画像になる特性を有している。
【００３０】
そこで、この６０ｉにフォーマット変換された３０ｐの映像（６０ｉに多重化された３０ｐの映像：以下、この映像を単に３０ｐ映像とも称する）に対してフレーム補間処理を行う場合を考える。
【００３１】
このとき、フレーム補間処理では、ただ同じフレームを挿入するだけでは動きボケの改善をすることができないので、動き推定を行って、その推定された動きに適した画像を挿入する。このフレーム補間処理は、様々なものが提案されている。
【００３２】
図３は画像処理装置（フレーム補間装置）の一例を示すブロック図である。
図３に示されるように、フレーム補間装置３は、動きベクトル推定部１３１，３０ｐ映像検出部１３２および補間画像生成部１３３を有する。
【００３３】
動きベクトル推定部１３１は、例えば、ブロックマッチング法などを用いて動きベクトル探索を行い、動きベクトルＶ(t)を算出する。３０ｐ映像検出部１３２は、３０ｐの映像（６０ｉにフォーマット変換された３０ｐの映像）を検出し、検出結果を補間画像生成部１３３に供給する。
【００３４】
ここで、３０ｐ映像検出部１３２における３０ｐの映像の検出は、例えば、入力画像の一致・不一致を計算し、一致と不一致が交互に現れる場合に３０ｐの映像を検出することが可能である。
【００３５】
補間画像生成部１３３は、入力画像，３０ｐ映像検出部１３２からの検出結果および動きベクトル推定部１３１からの動きベクトルを受け取って、補間画像を生成して出力する。
【００３６】
なお、補間画像生成部１３３は、３０ｐの映像が検出された場合には、動きベクトルを用いた補間画像の生成は行わないようになっている。
【００３７】
図４は図３の画像処理装置における問題点を説明するための図である。ここで、図４（ａ）は６０ｉに多重化された３０ｐの映像を示し、図４（ｂ）は動きベクトル推定部１３１により推定された動きベクトルを用いて１２０ｐに変換した映像を示すものである。
【００３８】
また、図４（ｃ）は動きベクトル推定部１３１により推定された動きベクトルを用いずに１２０ｐに変換した映像を示すものである。
【００３９】
まず、図４（ａ）に示すフレーム（フィールド）ｆ１，ｆ２，ｆ３，ｆ４は、図２を参照して説明した３０ｐの映像を６０ｉの映像に変換したものを示している。
【００４０】
図４（ｂ）に示されるように、推定された動きベクトルＶ(t)を用いて１２０ｐに変換した映像において、フレーム間に動きがないフレームｆ１およびｆ２、並びに、ｆ３およびｆ４間では同じフレームｆ１１並びにｆ１３が内挿される。一方、フレーム間に動きがあるフレームｆ２およびｆ３間では、その動きに応じたフレームｆ１２が内挿される。
【００４１】
図４（ｃ）に示されるように、推定された動きベクトルＶ(t)を用いずに１２０ｐに変換した映像において、フレーム間に動きがないフレームｆ１およびｆ２、並びに、ｆ３およびｆ４間では同じフレームｆ２１並びにｆ２３が内挿される。また、フレーム間に動きがあるフレームｆ２およびｆ３間でも、例えば、フレーム２と同じフレームｆ２２が内挿される。
【００４２】
ところで、通常の動画像の場合、図４（ｂ）に示す動きベクトルＶ(t)を用いて１２０ｐに変換した映像は、その動きが滑らかになるため好ましいものといえる。
【００４３】
しかしながら、例えば、ＣＧやアニメなどの３０ｐの映像を６０ｉの信号にフォーマット変換した映像では、図４（ｂ）の動きがあるフレームｆ２およびｆ３間にフレームｆ１２を内挿すると、その動きに違和感のある動画像が生成されることになる。
【００４４】
すなわち、ＣＧやアニメなどの３０ｐの映像を６０ｉの信号にフォーマット変換した映像では、図４（ｃ）のような動きベクトルＶ(t)を用いずに１２０ｐに変換した映像の方が違和感なく、また、作者が意図した通りの画像になるため好ましい。従って、３０ｐの映像に対しては、動き補償によるフレーム補間処理を行わないほうが適切なものとなる。
【００４５】
そこで、図３に示すフレーム補間装置３では、３０ｐ映像検出部１３２により３０ｐの映像を検出し、その場合には、補間画像生成部１３３を制御して、動きベクトル推定部１３１により推定された動きベクトルを用いずに１２０ｐに変換した映像を出力する。
【００４６】
しかしながら、上述した手法では、３０ｐ映像検出部１３２を別に設け、３０ｐの映像を検出する処理が別に必要となり処理量が増加してしまう問題がある。
【００４７】
また、例えば、ＰＩＰ（Picture in Picture：画面中のある小領域に別の映像が挿入されている映像）などで映像中の一部分が３０ｐの映像だった場合には、画面全体で３０ｐの映像を検出しているため、そのような３０ｐの映像領域を検出することはできない。
【００４８】
そのため、例えば、画面の一部分のみが３０ｐの映像であった場合、３０ｐの映像領域に対しても図４（ｂ）を参照して説明したような動き推定による補間処理が行われてしまうことになる。
【００４９】
以下、画像処理装置および画像処理方法の実施例を、添付図面を参照して詳述する。
図５は画像処理装置（フレーム補間装置）の一実施例を示すブロック図である。なお、図５のフレーム補間装置は、例えば、前述した図１の液晶テレビに適用される。
【００５０】
図５に示されるように、本実施例のフレーム補間装置３ａは、動きベクトル推定部３１、運動推定部３２、動きベクトル判定部３３、および、補間画像生成部３４を有する。
【００５１】
動きベクトル推定部３１は、入力映像の動きベクトルＶ(t)を推定して出力し、また、運動推定部３２は、供給された動きベクトルに動きベクトルＶ(t)従って映像中の物体の動きを推定する推定動きベクトルＶa(t)を出力する。
【００５２】
動きベクトル判定部３３は、運動推定部３２からの推定動きベクトルＶa(t)と動きベクトル推定部３１からの動きベクトルＶ(t)に従って、補間判定値ＤＶを決定して出力し、また、補間画像生成部３４は、その補間判定値ＤＶに従って補間画像を生成する。なお、図５に示す実施例では、補間画像生成部３４に対しても入力画像が供給されている。
【００５３】
ここで、動きベクトル推定部３１は、例えば、ブロックマッチング法などを用いて動きベクトル探索を行い、動きベクトルＶ(t)を決定して出力する。
【００５４】
図６は図５の画像処理装置における動きベクトル推定部３１の動作の一例を説明するための図であり、ブロックマッチング法を用いた動きベクトルの推定手法を示すものである。
【００５５】
図５および図６に示されるように、動きベクトル推定部３１は、連続した２フレーム（および２フィールド）の映像（例えば、図４のフレーム（フィールド）ｆ２およびｆ３）を受け取る。
【００５６】
ここで、フレームｆ３をベクトルの始点となる基準フレームとし、また、動きベクトルの終点となるフレームｆ２を参照フレームとする。
【００５７】
基準フレームｆ３を所定の大きさ（例えば、８×８画素）のブロックに分割して、あるブロックＢ１に注目し、そのブロックＢ１の動きベクトルＶ(t)を求める。まず、全ての動きベクトル候補に対してＳＡＤ（Sum of Absolute Difference）を計算する。
【００５８】
なお、ＳＡＤとは、画像間の相関を定量的に表した値であり、この値が小さいほど画像が一致していることを示す。
【００５９】
そして、上記ＳＡＤの最小値を、そのブロックＢ１の動きベクトルとし、この処理を全てのブロックに対して行うことで、全ブロックの動きベクトルを算出する。
【００６０】
このようにして、動きベクトル推定部３１で算出された動きベクトルＶ(t)は、運動推定部３２，動きベクトル判定部３３および補間画像生成部３４に供給される。
【００６１】
図７は図５の画像処理装置における運動推定部の一例を示すブロック図である。
図７に示されるように、運動推定部３２は、ベクトル遅延部３２１、加速度推定部３２２、および、加算部３２３を有する。
【００６２】
ベクトル遅延部３２１は、現在の動きベクトルＶ(t)を保存し、過去の動きベクトルＶ(t-1)，Ｖ(t-2)，などを出力し、また、加速度推定部３２２は、ベクトル遅延部３２１からの複数の過去のベクトルＶ(t-1)，Ｖ(t-2)，などを用いて加速度を推定する。
【００６３】
そして、加算部３２３は、ベクトル遅延部３２１からの過去の動きベクトルＶ(t-1)および加速度推定部３２２からの加速度ａを受け取って、現在のベクトルを推定して出力する。
【００６４】
すなわち、ベクトル遅延部３２１は、動きベクトル推定部３１からの動きベクトルＶ(t)を記憶（保持）する。加速度推定部３２２は、ベクトル遅延部３２１からの１時刻過去のベクトルＶ(t-1)と２時刻過去のベクトルＶ(t-2)から、加速度ａを推定する。
【００６５】
具体的に、例えば、加速度ａは、ａ＝Ｖ(t-1)−Ｖ(t-2)により近似計算することができる。
【００６６】
そして、加算部３２３により、Ｖ(t-1)およびａを加算して、Ｖ(t)の推定動きベクトルＶa(t)を計算する。すなわち、推定動きベクトルＶa(t)は、Ｖa(t)＝Ｖ(t-1)＋ａとして求められる。
【００６７】
ここで、加速度ａおよびベクトルＶは、位置座標ｘ，ｙ成分を持ったベクトル値である。すなわち、運動推定部により推定される動きとは、映像中の撮影された物体がｘ＝ａxｔ2＋Ｖxｔ、並びに、ｙ＝ａyｔ2＋Ｖyｔが成立する動きをすると仮定した場合の速度を求めていることになる。
【００６８】
このようにして求められた、運動推定部３２で算出された動きベクトルＶa(t)は、動きベクトル判定部３３に供給される。
【００６９】
動きベクトル判定部３３は、動きベクトル推定部３１からの動きベクトルＶ(t)と、運動推定部３２からの推定動きベクトルＶa(t)とを比較して一致・不一致を判定する。
【００７０】
すなわち、Ｖa(t)およびＶ(t)を比較し、ある閾値以上の場合は、一致するとして補間を行うと判定し、それ以外の場合は、一致しないとして補間しないと判定する補間判定値ＤＶを出力する。この動きベクトル判定部３３からの補間判定値ＤＶは、補間画像生成部３４に供給される。
【００７１】
図８は図５の画像処理装置における補間画像生成部の動作の一例を説明するための図である。なお、図６と同様に、参照符号ｆ３は、ベクトルの始点となる基準フレームを示し、また、ｆ２は、動きベクトルの終点となる参照フレームを示す。なお、参照符号ｆ３２は、補間画像生成部３４により挿入される補間フレーム（補間画像）を示している。
【００７２】
まず、補間フレームｆ３２を所定の大きさ（例えば、８×８画素）のブロックに分割して、あるブロックＢ２’に注目し、そのブロックＢ２’の補間画像を決定する。
【００７３】
具体的に、例えば、動きベクトル推定部３１で求めた動きベクトルＶ(t)を１／２の大きさに縮小（Ｖ(t)／２）し、また、動きベクトルの始点を、基準フレームｆ３から補間フレームｆ３２の位置に移動して、動きベクトルＶ(t)-2を算出する。
【００７４】
さらに、参照フレームｆ２における動きベクトルＶ(t)-2の終点位置の画像（Ｂ２）を、補間フレームｆ３２の始点位置（Ｂ２’）にコピーする。そして、上記ブロックに対する処理を全てのブロック（Ｂ２’）に対して行う。
【００７５】
ここで、図５に示されるように、本実施例の補間画像生成部３４には、入力画像も供給されており、動きベクトル判定部３３からの補間判定値ＤＶに応じて、領域ごとに補間されたフレーム画像ｆ３２または入力画像（フレームｆ２）の一方が選択して出力される。
【００７６】
図９は補間画像生成部の例を示すブロック図であり、図９（ａ）は図５に示す補間画像生成部３４に対応する例であり、図９（ｂ）は補間画像生成部の変形例を示すものである。
【００７７】
まず、図９（ａ）に示されるように、一例の補間画像生成部３４は、補間画像生成回路３４１およびスイッチ（第１スイッチ）３４２を有する。なお、補間画像生成回路３４１は、実質的に、上述した動きベクトルＶ(t)を受け取って補間画像を生成する補間画像生成部３４に相当する回路である。
【００７８】
スイッチ３４２は、補間画像生成回路３４１により生成された補間画像ｆ３２と入力画像ｆ２から、補間判定値ＤＶに応じた一方を選択し、その画像を補間画像生成部３４からの補間画像として出力する。これにより、補間画像生成部３４からは、補間判定値ＤＶに応じた補間画像ｆ３２またはｆ２が出力されることになる。
【００７９】
或いは、図９（ｂ）に示されるように、変形例の補間画像生成部３４ａは、スイッチ（第２スイッチ）３４３および補間画像生成回路３４４を有する。なお、補間画像生成回路３４４は、実質的に、上述した補間画像を生成する補間画像生成部３４に相当する回路である。
【００８０】
スイッチ３４３は、動きベクトル推定部３１からの動きベクトルＶ(t)と"０"ベクトルから、補間判定値ＤＶに応じた一方を選択し、その選択されたベクトルを補間画像生成回路３４４に供給する。
【００８１】
ここで、スイッチ３４３が"０"ベクトルを選択し、その"０"ベクトルが補間画像生成回路３４４に供給されると、補間画像生成回路３４４は、例えば、参照フレームｆ２をそのまま出力する。これにより、補間画像生成部３４ａからは、補間判定値ＤＶに応じた補間画像ｆ３２またはｆ２が出力されることになる。
【００８２】
以上により、例えば、映像中の物体の動きを算出し、その物体の動きが古典力学の運動法則に基づいて運動している物体のみに対して補間処理を行うことができる。すなわち、例えば、３０ｐ映像のような自然界には存在しない動きを有する映像の補間を行わないことが可能になる。
【００８３】
図１０は図５の画像処理装置の動作の一例を説明するための図である。
まず、画像処理動作が開始すると、オペレーションＳＯＡにおいて、入力フレームを８×８画素のブロックに分割する。ここで、分割するブロックは、８×８画素に限定されないのはいうまでもない。
【００８４】
次に、オペレーションＳＯＢに進み、図６を参照して説明したように、動きベクトル推定部３１により、ブロックマッチング法などを用いて動きベクトルＶ(t)を推定（算出）して、オペレーションＳＯＣに進む。
【００８５】
ここで、オペレーションＳＯＣ〜ＳＯＥは、運動推定部３２の処理に対応し、オペレーションＳＯＣはベクトル遅延部３２１、オペレーションＳＯＤは加速度推定部３２２、そして、オペレーションＳＯＥは加算部３２３の各処理に対応する。
【００８６】
すなわち、図７を参照して説明したように、オペレーションＳＯＣでは、ベクトル遅延部３２１が算出された動きベクトルＶ(t)を保存（記憶）し、オペレーションＳＯＤでは、加速度推定部３２２が加速度ａを推定（算出）する。
【００８７】
さらに、オペレーションＳＯＥでは、加算部３２３が推定動きベクトルＶa(t)を推定（算出）する。
【００８８】
具体的に、オペレーションＳＯＤでは、ベクトル遅延部３２１からの１時刻過去のベクトルＶ(t-1)と２時刻過去のベクトルＶ(t-2)から、加速度ａを、ａ＝Ｖ(t-1)−Ｖ(t-2)として算出する。
【００８９】
さらに、オペレーションＳＯＥでは、１時刻過去のベクトルＶ(t-1)と加速度ａを加算して、推定動きベクトルＶa(t)を、Ｖa(t)＝Ｖ(t-1)＋ａとして算出し、その後、オペレーションＳＯＦに進む。
【００９０】
オペレーションＳＯＦは、動きベクトル判定部３３の処理に対応し、動きベクトルＶ(t)と推定動きベクトルＶa(t)とを比較し、ある閾値以上の場合は一致（補間を行う）と判定し、それ以外は不一致（補間しない）と判定して、オペレーションＳＯＧに進む。
【００９１】
オペレーションＳＯＧは、補間画像生成部３４の処理に対応し、動きベクトル判定部３３からの一致・不一致結果（補間判定値ＤＶ）および動きベクトルＶ(t)に従って補間画像（ｆ２３）を生成する。
【００９２】
そして、オペレーションＳＯＨに進んで、全ての８×８画素のブロックに対して上記処理を行って、画像処理動作を終了する。なお、各オペレーションは、処理ステップでもよい。
【００９３】
本実施例の画像処理装置は、図１に示す液晶テレビへの適用に限定されるものではない。また、上述した画像処理装置は、コンピュータに実行させる画像処理プログラムとして実現することも可能である。
【００９４】
図１１は本実施例が適用される画像処理プログラムおよび画像処理プログラムを記録した媒体の例を説明するための図である。
【００９５】
図１１において、参照符号１０は処理装置（コンピュータ）、２０はプログラム（データ）提供者、そして、３０は可搬型記録媒体を示している。
【００９６】
本発明は、例えば、図１１に示すような処理装置１０に対するプログラム（データ）として与えられ、処理装置１０により実行される。処理装置１０は、プロセッサを含む演算処理装置本体１１、および、演算処理装置本体１１に対してプログラム（データ）を与え或いは処理された結果を格納する処理装置側メモリ（例えば、ＲＡＭ（Random Access Memory）やハードディスク）１２等を備える。処理装置１０に提供されたプログラムは、ローディングされて処理装置１０のメインメモリ上で実行される。
【００９７】
プログラム提供者２０は、プログラムを格納する手段（回線先メモリ：例えば、ＤＡＳＤ（Direct Access Storage Device））２１を有し、例えば、インターネット等の回線を介してプログラムを処理装置１０に提供し、或いは、ＣＤ−ＲＯＭやＤＶＤ等の光ディスクまたは磁気ディスクや磁気テープといった可搬型記録媒体３０を介して処理装置１０に提供する。本発明に係る画像処理プログラムを記録した媒体は、上記の処理装置側メモリ１２、回線先メモリ２１、および、可搬型記録媒体３０等の様々なものを含むのはもちろんである。
【００９８】
以上の実施例を含む実施形態に関し、さらに、以下の付記を開示する。
（付記１）
第１フレーム数のプログレッシブ映像を該第１フレーム数よりも多い第２フレーム数のインターレース形式に変換された映像に対してフレーム補間を行う画像処理装置であって、
入力された前記インターレース映像における任意の部分の動きベクトルを推定して動きベクトルを算出する動きベクトル推定部と、
前記動きベクトルに従って前記任意の部分の動きを推定して推定動きベクトルを算出する運動推定部と、
前記動きベクトルと前記推定動きベクトルに従って補間判定値を決定する動きベクトル判定部と、
前記補間判定値に従って補間画像を生成する補間画像生成部と、を有することを特徴とする画像処理装置。
【００９９】
（付記２）
付記１に記載の画像処理装置において、
前記運動推定部は、
前記動きベクトル推定部からの現在の動きベクトルを保持し、過去の動きベクトルを出力するベクトル遅延部と、
前記ベクトル遅延部からの複数の過去のベクトルを用いて加速度を推定する加速度推定部と、
前記加速度と前記過去のベクトルを加算して、前記任意の部分における現在のベクトルを推定する加算部と、を有することを特徴とする画像処理装置。
【０１００】
（付記３）
付記２に記載の画像処理装置において、
前記ベクトル遅延部は、前記動きベクトル推定部からの第１時刻の動きベクトルを受け取って、該第１時刻よりも１時刻過去の第２時刻の動きベクトルと該第１時刻よりも２時刻過去の第３時刻の動きベクトルを前記加速度推定部に供給することを特徴とする画像処理装置。
【０１０１】
（付記４）
付記３に記載の画像処理装置において、
前記加速度推定部は、前記第２時刻の動きベクトルから前記第３時刻の動きベクトルを減算して加速度を求め、
前記加算部は、前記第２時刻の動きベクトルと前記加速度を加算して前記推定動きベクトルを算出することを特徴とする画像処理装置。
【０１０２】
（付記５）
付記１〜４のいずれか１項に記載の画像処理装置において、
該画像処理装置は、ｎを２以上の整数として、前記第２フレーム数のｎ倍の第３フレーム数のプログレッシブ映像を出力することを特徴とする画像処理装置。
【０１０３】
（付記６）
付記５に記載の画像処理装置において、
前記第３フレーム数は、前記第２フレーム数の２倍であり、
前記補間画像生成部は、
前記補間画像を生成する補間画像生成回路と、
前記補間判定値に従って、前記補間画像生成回路の出力画像と補間処理を行っていない過去の画像を選択して出力する第１スイッチと、を有することを特徴とする画像処理装置。
【０１０４】
（付記７）
付記５に記載の画像処理装置において、
前記第３フレーム数は、前記第２フレーム数の２倍であり、
前記補間画像生成部は、
前記補間判定値に従って、前記動きベクトルと零ベクトルを選択する第２スイッチと、
前記第２スイッチの出力に従って、前記補間画像と補間処理を行わない過去の画像を切り替えて出力する補間画像生成回路と、を有することを特徴とする画像処理装置。
【０１０５】
（付記８）
付記１〜７のいずれか１項に記載の画像処理装置と、
前記第２フレーム数のインターレース映像を受け取って動画像データに変換するデコーダと、
前記動画像データに対して映像変換処理を行う映像変換器と、
該映像変換器からのフレーム画像を遅延する遅延器と、
前記画像処理装置からの前記補間画像と、前記遅延器からの前記フレーム画像とを順次切り替える第３スイッチと、
前記第３スイッチの出力を受け取って映像表示を行う表示パネルと、を有することを特徴とする表示装置。
【０１０６】
（付記９）
第１フレーム数のプログレッシブ映像を該第１フレーム数よりも多い第２フレーム数のインターレース形式に変換された映像に対してフレーム補間を行う画像処理方法であって、
入力された前記インターレース映像における任意の部分の動きベクトルを推定して動きベクトルを算出し、
前記動きベクトルに従って前記任意の部分の動きを推定して推定動きベクトルを算出し、
前記動きベクトルと前記推定動きベクトルに従って補間判定値を決定し、並びに、
前記補間判定値に従って補間画像を生成することを特徴とする画像処理方法。
【０１０７】
（付記１０）
第１フレーム数のプログレッシブ映像を該第１フレーム数よりも多い第２フレーム数のインターレース形式に変換された映像に対してフレーム補間を行う画像処理プログラムであって、
コンピュータに、
入力された前記インターレース映像における任意の部分の動きベクトルを推定して動きベクトルを算出させる手順と、
前記動きベクトルに従って前記任意の部分の動きを推定して推定動きベクトルを算出させる手順と、
前記動きベクトルと前記推定動きベクトルに従って補間判定値を決定させる手順と、並びに、
前記補間判定値に従って補間画像を生成させる手順と、を実行させることを特徴とする画像処理方法。
【０１０８】
（付記１１）
付記１０に記載のプログラムを記録したことを特徴とするプログラム記録媒体。
【符号の説明】
【０１０９】
１    チューナ・デコーダ
２    映像変換器
３，３ａ    フレーム補間装置
４    遅延器
５    スイッチ（第３スイッチ）
６    液晶パネル
１０    処理装置
１１    演算処理装置本体
１２    処理装置側メモリ
２０    プログラム（データ）提供者
２１    プログラムを格納する手段（回線先メモリ）
３０    可搬型記録媒体
３１，１３１    動きベクトル推定部
３２    運動推定部
３３    動きベクトル判定部
３４，３４ａ，１３３    補間画像生成部
１００    液晶テレビ（表示装置）
１３２    ３０ｐ映像検出部
３２１    ベクトル遅延部
３２２    加速度推定部
３２３    加算部
３４１，３４４    補間画像生成回路
３４２    スイッチ（第１スイッチ）
３４３    スイッチ（第２スイッチ）
【図１】
2011009847.tif 000003
【図２】
2011009847.tif 000004
【図３】
2011009847.tif 000005
【図４】
2011009847.tif 000006
【図５】
2011009847.tif 000007
【図６】
2011009847.tif 000008
【図７】
2011009847.tif 000009
【図８】
2011009847.tif 000010
【図９】
2011009847.tif 000011
【図１０】
2011009847.tif 000012
【図１１】
2011009847.tif 000013