(57)【特許請求の範囲】
【請求項１】
低レートのビデオ信号から所望レートで滑らかな補間ビデオ信号を供給する装置であって、
上記低レートのビデオ信号を上記所望レートにアップサンプリングする手段と、
このアップサンプリングした低レートのビデオ信号を、人間視覚モデルを用いて３次元で適応ろ波して、上記滑らかな補間ビデオ信号を供給する手段と
を具えた滑らかな補間ビデオ信号供給装置。
【請求項２】
上記滑らかな補間ビデオ信号用の直流レベルを再生する手段を更に具えたことを特徴とする請求項１の装置。
【請求項３】
低レートのビデオ信号から所望レートで滑らかな補間ビデオ信号を供給する装置であって、
上記低レートのビデオ信号をアップサンプリングして、上記所望レートにアップサンプリングされたビデオ信号を発生するフレーム変換器と、
上記アップサンプリングされたビデオ信号を補間して、上記滑らかな補間ビデオ信号を発生する人間視覚モデルに基づく３次元適応フィルタと
を具えた滑らかな補間ビデオ信号供給装置。
【請求項４】
上記適応フィルタからの上記滑らかな補間ビデオ信号と、上記アップサンプリングされたビデオ信号とを入力して、上記滑らかな補間ビデオ信号の直流レベルを再生する直流再生器を更に具えたことを特徴とする請求項３の装置。
【請求項５】
低レートのビデオ信号から所望レートで滑らかな補間ビデオ信号を供給する方法であって、
上記低レートのビデオ信号を上記所望レートにアップサンプリングして、アップサンプリングされたビデオ信号を発生し、
人間視覚モデルに応じて上記アップサンプリングされたビデオ信号を３次元で適応ろ波して、上記滑らかな補間ビデオ信号を発生する
ことを特徴とする滑らかな補間ビデオ信号供給方法。
【請求項６】
上記アップサンプリングしたビデオ信号に応じて、上記滑らかな補間ビデオ信号の直流レベルを再生するステップを更に具えたことを特徴とする請求項５の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一般に、ビデオ信号処理に関し、特に、低レートのビデオ信号源から滑らかな補間されたビデオを得るために、人間視覚モデルに基づいて低速な動きに補間を行う装置及び方法に関する。
【０００２】
【従来の技術】
多くのビデオ・アプリケーションにおいて、低レート（低速）ビデオ・シーケンスを高レート（高速）ビデオ・シーケンスに適応させる必要がある。かかるアプリケーションには、ＰＡＬ（１秒当たり２５フレーム）とＮＴＳＣ（１秒当たり３０フレーム）との間のフォーマット変換や、フィルム（１秒当たり２４フレーム）とテレビジョン標準の１つとの間のフォーマット変換や、入力フレーム・レートを遅くするスロー・モーション・ビデオ・シーケンスの提供などがある。これらアプリケーションにおける問題の１つは、変換されたビデオ・シーケンスにおける明きらかな「ジャーキネス」を避けなければならないことである。なお、ジャーキネスは、次のフレームが表示される前に、１つのフレームが２以上の表示フレーム期間中に表示されるためである。従来の解決法は、各表示フレームに対してビデオを補間したフレームが得られるように、フレーム間で補間することである。補間とは、異なる２つのアンカ・フレームの形態を捕らえ、線形関数、フレーム反復、スプライン関数などのいずれかを用いて、中間の補間されたフレームを計算している。これら従来の補間形式は、如何なる人間視覚モデルの要素も考慮していない。
【０００３】
【特許文献１】
特開平１０−２０８２５９号公報
【特許文献２】
特開平１０−２６８８５１号広報
【０００４】
【発明が解決しようとする課題】
そこで、低レートのビデオ信号源から、滑らかな補間されたビデオを得るために、人間視覚モデルに基づいた低速動きの補間装置及び方法が求められている。
【０００５】
したがって、本発明は、低レートのビデオ信号から、所望レートで、人間視覚モデルによる滑らかに補間されたビデオ信号を供給する装置及び方法を提供するものである。
【０００６】
【課題を解決するための手段】
本発明は、低レートのビデオ信号から所望レートで滑らかな補間ビデオ信号を供給する装置であって；低レートのビデオ信号を所望レートにアップサンプリングする手段（１２）と；このアップサンプリングした低レートのビデオ信号を、人間視覚モデルを用いて適応ろ波して、滑らかな補間ビデオ信号を供給する手段（１４）とを具えている。
また、本発明は、低レートのビデオ信号から所望レートで滑らかな補間ビデオ信号を供給する装置であって；低レートのビデオ信号をアップサンプリングして、所望レートにアップサンプリングされたビデオ信号を発生するフレーム変換器（１２）と；アップサンプリングされたビデオ信号を補間して、滑らかな補間ビデオ信号を発生する人間視覚モデルに基づく適応フィルタ（１４）とを具えている。
さらに、本発明は、低レートのビデオ信号から所望レートで滑らかな補間ビデオ信号を供給する方法であって；低レートのビデオ信号を所望レートにアップサンプリングして、アップサンプリングされたビデオ信号を発生し（１２の動作）；人間視覚モデルに応じて、アップサンプリングされたビデオ信号を適応ろ波して、滑らかな補間ビデオ信号を発生する（１４の動作）ことを特徴とする。
【０００７】
本発明は、低レートのビデオ信号源から所望レートで滑らかな補間ビデオ（補間済みビデオ）を得るための人間視覚モデルに基づいた低速動き補間装置及び装置を提供するものである。低レート・ビデオ信号を所望レートにアップサンプリングして、人間視覚モデルに基づいた適応フィルタに入力する。この適応フィルタは、再帰的（循環的）な特性を有する。適応フィルタからの出力は、直流成分のない滑らかな補間ビデオである。直流（ＡＰＬ：平均ピクチャ・レベル）再生器を用いて、アップサンプリングしたビデオ信号からの直流成分を滑らかな補間ビデオに加えることができる。
【０００８】
本発明の目的、利点及び新規な特徴は、添付図を参照した以下の説明から更に理解できよう。
【０００９】
【発明の実施の形態】
図１は、本発明により、人間視覚モデルに基づいて低速の動きを補間したビデオ信号供給装置のブロック図である。低レート、即ち、「低速」ビデオ信号をフレーム・レート変換器（フレーム変換器）１２に供給する。このフレーム・レート変換器１２は、低レートのビデオ信号を所望高レートのビデオ信号にアップサンプリングする。高レート・ビデオ信号を３次元（３Ｄ）人間視覚モデル（ＨＶＭ）適応フィルタ１４に供給する。このＨＶＭ適応フィルタ１４は、例えば、２００１年５月１６日に本願発明者により出願された米国特許出願第０９／８５８７７５号「人間視覚モデル系用の適応時空フィルタ」（特願２００２−１２９９５３に対応）に記載されたものでもよい。かかる米国特許出願に記載された適応フィルタは、人間視覚システム・モデル用の適応時空フィルタであって；第１帯域幅により、入力ビデオ信号を低域通過時空ろ波して、第１ろ波出力を発生する第１低域通過時空ろ波手段と；第２帯域幅により、入力ビデオ信号を低域通過時空ろ波して、第２ろ波出力を発生する第２低域通過時空ろ波手段と；知覚パラメータに応じて、第１及び第２低域通過時空ろ波手段用の適応フィルタ係数を発生する係数発生手段と；第１及び第２ろ波出力の差を求め、適応時空フィルタの出力を発生する手段とを具え；上述の差が人間視覚システム・モデルの知覚応答に校正された帯域通過応答を有することを特徴としている。ＨＶＭ適応フィルタ１４の出力は、いかなる直流（ＤＣ）成分も有さず、高レートで、時間的に滑らかであり、にじむ必要がない補間ビデオ信号（補間済みビデオ信号）である。ＨＶＭ適応フィルタ１４の出力と共にフレーム・レート変換器１２からのアップサンプリングされた低レートのビデオ信号をＤＣ再生回路（直流再生器）１６に供給する。なお、ＨＶＭ適応フィルタ１４は、アップサンプリングされた低レート・ビデオ信号のＤＣ成分を除去する。ＤＣ再生回路１６は、アップサンプリングされた低レート・ビデオ信号からのＤＣレベルを決め、このＤＣレベルを滑らかな補間ビデオ信号に加えて、最終的な出力である「滑らかな」補間ビデオ信号を発生する。いくつかの場合では、このＤＣ再生回路１６を設けなくてもよい。そうでなければ、ＤＣ再生回路１６により滑らかな補間ビデオ信号に加えられたＤＣレベルは、一定でもよいし、アップサンプリングされた低レートのビデオ信号からの平均ピクチャ・レベル（ＡＰＬ）に基づいてもよいし、従来から周知の他の方法により決定してもよい。
【００１０】
ＨＶＭ適応フィルタ１４は、一般的な組み立てブロックから成る複数のフィルタにより構成してもよい。かかる例は、例えば、上述の米国特許出願０９／８５８７７５号の図２に示されている。かかる米国特許出願の図２の構成では、フィルタの入力Ｘは、第１乗算回路により入力利得係数ｂ０と乗算され、その乗算結果が加算回路に入力される。この加算回路の出力は、第２乗算回路にて帰還係数ａ１と乗算され、遅延回路により１サンプル期間だけ遅延されて、加算回路の入力端に帰還される。なお、これら係数ｂ０及びａ１の和は１となり、加算回路の出力が、フィルタの出力Ｙである。すなわち、これは、再帰型フィルタのアーキテクチャであり、フィルタの出力を１未満の定数と乗算し、遅延して、入力に戻して、シーケンスの次のフレームと組み合わせている。ＨＶＭ適応フィルタの再帰的な特性の結果、アップサンプリングした低レート・ビデオ信号を滑らかな補間ビデオ信号に補間している。
【００１１】
【発明の効果】
よって、本発明は、低レート・ビデオ信号を所望レートにアップサンプリングし、このアップサンプリングした信号を再帰的なアーキテクチャによる３ＤのＨＶＭ適応フィルタによりろ波して、人間視覚モデルに基づいた滑らかな補間ビデオ信号を提供できる。
【図面の簡単な説明】
【図１】本発明により、人間視覚モデルに基づいて低速の動きを補間したビデオ信号供給装置のブロック図である。
【符号の説明】
１２  フレーム・レート変換器（フレーム変換器）
１４  ３ＤのＨＶＭ適応フィルタ
１６  直流再生回路（直流再生器）
【図１】
0004474525.tif 000002