(57)【要約】【課題】  １つのフレームの映像において、変化（動き）の周期が異なる複数の物体が存在する場合でも高画質にフレームレート変換を行うことが可能な技術を提供する。【解決手段】  本発明は、入力映像信号に含まれる１または複数の映像のフレームから補間画素／ブロックを作成して補間フレームを構成し、これを入力映像信号のフレーム列に挿入することにより入力映像信号のフレームレートを変換するものにおいて、入力映像信号中に、第１物体と、該第１物体と変化（動き）の周期が異なる第２物体を含む場合に、この第１物体に対応する補間画素／ブロックを得るための補間処理と、第２物体に対応する補間画素／ブロックを得るための補間画素／ブロックとをそれぞれ異ならせるようにしたことを特徴とする。【選択図】図１
2009135847.tif 000002
【特許請求の範囲】
【請求項１】
映像処理装置において、
入力映像信号に含まれる１または複数の映像のフレームから補間画素／ブロックを作成して補間フレームを構成し、該補間フレームを前記入力映像信号のフレーム列に挿入することにより前記入力映像信号のフレームレートを変換するフレームレート変換部を備え、
前記フレームレート変換部は、
前記入力映像信号中に、第１物体と、該第１物体と変化の周期が異なる第２物体を含む場合に、前記第１物体に対応する前記補間画素／ブロックを得るための補間処理と、前記第１物体に対応する前記補間画素／ブロックを得るための補間処理とをそれぞれ異ならせるようにしたことを特徴とする映像処理装置。
【請求項２】
請求項１に記載の映像処理装置において、フレームレート変換部は、前記入力映像信号のフレーム内の画素またはブロックにおける画素データの変化に基づき前記入力映像信号中に前記第２物体に含まれるかを検出する検出部を含み、
前記フレームレート変換部は、前記検出部の検出結果に応じて前記補間処理が制御されることを特徴とする映像処理装置。
【請求項３】
請求項２に記載の映像処理装置において、前記検出部は、前記入力映像信号のフレーム内の画素またはブロックにおける前記映像データの変化の有無が所定回数繰り返された場合に、当該画素またはブロックが前記第２物体の映像データを有すると検出することを特徴とする映像処理装置。
【請求項４】
請求項１に記載の映像処理装置において、前記第２物体の変化の周期は、前記第１物体の変化の周期よりも長く、
前記フレームレート変換部は、
前記入力映像信号に含まれる少なくとも２つのフレーム間の差分から物体の動きベクトルを検出し、該動きベクトルを用いて前記２つのフレームの画素データから補間画素／ブロックを作成する第１の補間処理と、前記２つのフレームのいずれか一方と同一の画素／ブロックのデータを補間画素／ブロックとする第２の補間処理を行い、かつ、
前記第２物体の変化の１周期において作成される補間フレームを構成する前記補間画素／ブロックのうち、前記第１物体に対応する補間画素／ブロックについては前記第１の補間処理により作成し、前記第２物体に対応する補間画素／ブロックについては前記第２の補間処理により作成することを特徴とする映像処理装置。
【請求項５】
請求項３に記載の映像処理装置において、前記第１物体の変化の周期が２４Ｈｚであり、前記第２物体の変化の周期が８Ｈｚまたは１２Ｈｚであることを特徴とする映像処理装置。
【請求項６】
請求項５に記載の映像処理装置において、前記入力映像信号はアニメーションの映像信号であり、前記第１物体は前記アニメーションにおける背景の映像であり、前記第２物体は前記アニメーションにおける該背景以外の映像であることを特徴とする映像処理装置。
【請求項７】
請求項１に記載の映像処理装置において、前記第２物体の変化の周期は、前記第１物体の変化の周期よりも長く、
前記フレームレート変換部は、
前記入力映像信号に含まれる複数のフレームを参照して物体の動きベクトルを検出し、該動きベクトルを用いて前記２つのフレームの画素データから補間画素／ブロックを行うものであって、
前記第１物体に対応する補間画素／ブロックを作成する際に参照される前記入力映像信号のフレームと、前記第２物体に対応する補間画素／ブロックを作成する際に参照される前記入力映像信号のフレームとが、互いに異なるようにしたことを特徴とする映像処理装置。
【請求項８】
請求項７に記載の映像処理装置において、前記入力映像信号は２−３プルダウン形式のテレシネ信号であり、
前記第１物体は文字テロップであり、前記第２物体は該文字テロップ以外の映像であることを特徴する映像処理装置。
【請求項９】
映像処理装置において、
入力映像信号に含まれる１または複数の映像のフレームから補間画素／ブロックを作成して補間フレームを構成し、該補間フレームを前記入力映像信号のフレーム列に挿入することにより前記入力映像信号のフレームレートを変換するフレームレート変換部と、
前記入力映像信号に、互いに動きの周期が異なる複数の物体が存在するかを検出するための検出部と、を備え、
前記フレームレート変換部は、前記検出部が前記入力映像信号中に前記複数の物体の存在を検出した場合に、前記動きが異なる複数の物体の対応する補間画素を、それぞれ異なる補間処理によって作成することを特徴とする映像処理装置。
【請求項１０】
請求項７に記載の映像処理装置において、前記検出部は、前記映像データの変化の有無が所定回数繰り返す画素またはブロックが前記入力映像信号中に含まれる場合に、前記入力映像信号中に前記複数の物体の存在を検出することを特徴とする映像処理装置。
【請求項１１】
請求項９に記載の映像処理装置において、前記入力映像信号に第１物体と該第１物体よりも動きの周期が長い第２物体を含む場合に、前記フレームレート変換部は、
前記入力映像信号に含まれる少なくとも２つのフレーム間差分から得られた物体の動きベクトルを用いて、前記２つのフレームの画素データから補間画素／ブロックを作成する第１の補間処理と、前記２つのフレームのいずれか一方と同一の補間画素／ブロックのデータを補間画素／ブロックとする第２の補間処理とを行い、かつ、
前記第２物体の変化の１周期において作成される補間フレームを構成する補間画素／ブロックのうち、前記第１物体に対応する補間画素／ブロックについては前記第１の補間処理により作成し、前記第２物体に対応する補間画素／ブロックについては前記第２の補間処理により作成することを特徴とする映像処理装置。
【請求項１２】
請求項９に記載の映像処理装置において、前記フレームレート変換部は、
前記入力映像信号に含まれる複数のフレームを参照して物体の動きベクトルを検出し、該動きベクトルを用いて前記２つのフレームの画素データから前記補間画素／ブロックを行うものであって、
前記入力映像信号が第１物体と該第１物体よりも動きの周期が長い第２物体を含む場合は、前記第１物体に対応する補間画素／ブロックを作成する際に参照される前記入力映像信号のフレームと、前記第２物体に対応する補間画素／ブロックを作成する際に参照される前記入力映像信号のフレームとが、互いに異なるようにしたことを特徴とする映像処理装置。
【請求項１３】
入力映像信号のフレーム列に、該フレームから作成された補間フレームを挿入してフレームレートの変換を行うフレームレート変換方法において、
前記入力映像信号中の少なくとも２つのフレームから映像の動きを検出し、
前記検出された動きの情報から、前記入力映像信号の１つのフレーム中に動きの周期が異なる複数の映像が含まれているかを検出し、
前記入力映像信号の１つのフレーム中に動きの周期が異なる複数の映像が含まれていると検出された場合には、複数の異なる補間処理によって１つの前記補間フレームを作成する、
することを特徴とするフレームレート変換方法。
【請求項１４】
請求項１３に記載のフレームレート変換方法において、前記複数の補間処理の１つが、前記検出された動き情報を用いて、前記補間フレームを構成する補間画素／ブロックを作成する処理であることを特徴とするフレームレート変換方法。
【請求項１５】
請求項１３に記載のフレームレート変換方法において、前記複数の補間処理の１つが、前記２つのフレームのいずれか一つの同一映像を繰り返すことにより、前記補間フレームを構成する補間画素／ブロックを作成する処理であることを特徴とするフレームレート変換方法。
【請求項１６】
請求項１５に記載のフレームレート変換方法において、前記同一映像の繰り返す部分が、２４Ｈｚまたは２５Ｈｚの整数分の１に対応する動きの周期を持つ映像部分であることを特徴とするフレームレート変換方法。
【請求項１７】
請求項１５に記載のフレームレート変換方法において、前記同一映像の繰り返す部分が、５０Ｈｚまたは６０Ｈｚ対応する動きの周期を持つ映像部分であることを特徴とするフレームレート変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された映像信号のフレーム数（フレーム周波数）を変換するための技術に係り、特に、映像中に複数の異なる変化（動き）周期を持つ物体が存在する場合に好適なフレームレートの変換技術に関するものである。
【背景技術】
【０００２】
映像処理装置において、映像の入力フレーム周波数を変換して画面上に表示するためのフレームレート変換が為される場合がある。フレームレート変換は、動画を滑らかに表示したり、（例えば液晶ディスプレイにおける）表示映像の残像感を低減させたりするために利用されている。かかるフレームレート変換の従来技術としては、例えば特許文献１に記載のものが知られている。これは、入力映像信号の複数のフレームから映像（物体）の動きベクトルを検出して補間フレームを作成し、これを入力映像信号のフレーム列に挿入することでフレーム周波数を変換することを開示している。
【０００３】
【特許文献１】特開２００６−１６５６０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、映像コンテンツには、１つのフレームの映像において、変化（動き）の周期が異なる複数の物体が存在する場合がある。例えば、アニメーションの映像コンテンツは、動きの周期が２４Ｈｚの背景映像に、動きの周期が８Ｈｚもしくは１２Ｈｚの人物などの映像を重ね合わせて作成されていることが多い。つまり、アニメーションの映像コンテンツにおいては、映像中に毎秒２４枚で動いている部分と、８もしくは１２枚で動いている部分が存在する場合がある。また、映画コンテンツでは、毎秒２４枚の映像を２−３プルダウンして得られた６０Ｈｚのテレシネ映像に、動きの周期が６０Ｈｚの文字テロップが重ね合わせられることがある。つまり、映画の映像コンテンツでも、映像中に毎秒約２４枚で動いている部分と、６０枚で動いている部分が存在する場合がある。
【０００５】
このような動きの周期が異なる複数の物体が存在する映像コンテンツについて、いずれの物体に対しても上記のような従来技術を用いてフレームレート変換した場合、フレームレート変換された後の映像、特に動きの周期の遅い方の物体（アニメーションの映像コンテンツでは人物等、映画の映像コンテンツでは（文字テロップを除く）通常の映像）の動きの視覚的な滑らかさが損なわれる可能性がある。
【０００６】
本発明は、上記従来技術の課題に鑑みて為されたものであり、その目的は、１つのフレームの映像において、変化（動き）の周期が異なる複数の物体が存在する場合でも高画質にフレームレート変換を行うことが可能な技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明では、入力映像信号に含まれる１または複数の映像のフレームから補間画素／ブロックを作成して補間フレームを構成し、これを入力映像信号のフレーム列に挿入することにより入力映像信号のフレームレートを変換するものにおいて、入力映像信号中に、第１物体と、該第１物体と変化（動き）の周期が異なる第２物体を含む場合に、この第１物体に対応する補間画素／ブロックを得るための補間処理と、第２物体に対応する補間画素／ブロックを得るための補間画素／ブロックとをそれぞれ異ならせるようにしたことを特徴とするものである。
【０００８】
入力映像信号中に上記第１物体と第２物体を含むか否かは、例えば、入力映像信号のフレーム内の画素またはブロックにおける前記映像データの変化の有無が所定回数繰り返されたかを判定することにより検出される。
【０００９】
上記第２物体の変化の周期が第１物体の変化の周期よりも長い場合、上記第１物体に対応する補間画素／ブロックは、入力映像信号に含まれる少なくとも２つのフレームから得られた動きベクトルを用いて作成され、第２物体に対応する補間画素／ブロックを得るための補間画素／ブロックは、前記２つのフレームのいずれか一方と同一の画素／ブロックのデータをも位置いることにより作成されるようにしてもよい。
【発明の効果】
【００１０】
本発明によれば、１つのフレーム中に変化（動き）の周期が異なる複数の物体が存在する場合でも、高画質にフレームレート変換を行うことが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について、図面を参照しながら説明する。尚、各実施例の説明において、同一の符号が付された要素は同一の機能もしくは動作を有するものとして、重複した説明は省略するものとする。
【実施例１】
【００１２】
図１は、本発明に係る映像処理装置に１実施例を示すものであり、ここでは映像処理装置としてテレビジョン表示装置を例にして説明する。当然ながら、テレビジョン表示装置以外の映像処理装置にも適用可能である。
【００１３】
図１に示された映像処理装置は、フレームレート変換部１０を備えており、映像入力部１１、映像メモリ２１、映像メモリ２２、動き検出部３１、補間処理部４１、動き周期検出部５１及び映像切換部６１を含んでいる。映像入力部１１には、入力映像信号として、例えばＤＶＤ、ブルーレイディスク、ＨＤＤ再生機により再生されたデジタル映像信号、またはデジタルＴＶ放送により送信されるデジタルＴＶ信号が入力される。この実施例では、フレームレート（垂直周波数）が２４Ｈｚの映像信号が入力されるものとする。この２４Ｈｚのフレームレートを持つ映像信号としては、例えばブルーレイディスクから再生された映画またはアニメーションの映像コンテンツに基づく映像信号であり、例えば特定規格（ＨＤＭＩ：High Definition Multimedia Interface）に準拠したインターフェイスにより映像処理装置に伝送される場合に、映像入力部１１に２４Ｈｚのフレームレートを持つ映像信号が入力可能となる。また、ＴＶ放送では、例えば映画コンテンツが２−３プルダウンされた６０Ｈｚのフレームレートを持つテレシネ信号として送信されるが、そのようなテレシネ信号は、図示しない逆テレシネ変換器によりフレームレートが６０Ｈｚから２４Ｈｚに変換されて映像入力端子１１に入力される。この逆テレシネ変換器による逆テレシネ変換処理は、例えば特開平7-107375号公報、特開平8-289199号公報、特開平11-275458号公報等において周知であるため、ここではその詳細な説明を省略する。
【００１４】
尚、本実施例では、デジタル形式の映像信号が入力されるものとするが、アナログ形式の映像信号が入力された場合は、これを図示しないＡ／Ｄ変換器によりデジタル信号に変換した後に映像入力部１１へ供給する。
【００１５】
映像入力部１１に入力された映像信号の１フレーム（もしくは１フィールド）分の映像データは、映像メモリ２１及び映像メモリ２２にそれぞれ格納される。ここで、映像メモリ２１に格納される映像データは、映像メモリ２２に格納される映像データよりも１フレーム期間遅延された映像データである。すなわち、映像メモリ２１及び映像メモリ２２には、時間的に連続する２つのフレームの映像データがそれぞれ格納されることとなる。以下では、便宜上、映像メモリ２１に格納されるフレームの映像データを後フレームの映像データ、映像メモリ２２に格納されるフレームの映像データを前フレームの映像データと呼ぶ。また、映像メモリ２１及び映像メモリ２２は、必要に応じ映像入力部１１から入力された映像を複数回読み出すことが可能なよう映像を保持するものとする。
【００１６】
映像メモリ２１及び映像メモリ２２に格納された後フレームの映像データ及び前フレームの映像データは、それぞれ所定にタイミングで読み出されて動き検出部３１と補間処理部４１に供給される。動き検出部３１では、供給された後フレームの映像データ及び前フレームの映像データを用いて、フレームレートが２４Ｈｚ（映像が毎秒２４枚）の映像信号について、例えば所定のｍ×ｎ画素（ｍ、ｎは自然数）毎に映像（物体）の動きベクトルを検出する。この動きベクトルの検出は、例えば映像圧縮に用いられるようなブロックマッチング方式を用いてもよいし、例えば特許文献１に記載のように画素毎の相関を利用する方式を用いてもよい。
【００１７】
動き検出部３１で検出された動きベクトルは補間処理部４１に供給され、この動きベクトル、並び映像メモリ２１及び映像メモリ２２から供給された後フレームの映像データ及び前フレームの映像データを用いて補間画素または補間ブロックを作成し、これにより補間フレームを構成する。更に補間処理部４１は、この補間フレームを入力映像信号のフレーム列に挿入することによって、フレームレート変換された映像信号を作成する。入力映像信号のフレームと補間フレームとの関係の一例について図５を用いて説明する。
【００１８】
図５において、入力映像信号は前フレームＡ及び後フレームＢを含む複数のフレームからなるフレーム列を有しており、これに補間フレームＩが挿入される。この例では、前フレームＡと後フレームＢとの間に挿入されるものとする。これによって映像信号のフレーム数が増加され、フレームレートが変換される。この例では、２つのフレーム間に１枚の補間フレームを挿入しているが、２枚以上の補間フレームを挿入してもよく、また入力映像信号のフレームの１つを所定枚数の補間フレームと差し替えるようにしてもよい。補間フレームの挿入枚数は、入力映像信号のフレームレートと出力映像信号のフレームレートとの関係に応じて適宜設定される。例えばフレームレートが６０Ｈｚの入力映像信号を、そのフレームレートを２倍の１２０Ｈｚに変換して出力する場合は、入力映像信号のフレーム１枚おきに補間フレームを挿入する。これによって、フレームレートが２倍化され、例えば入力映像信号のフレームレートが６０Ｈｚの場合は１２０Ｈｚに変換される。またフレームレートが２４Ｈｚの入力映像信号を６０Ｈｚにして出力する場合は、入力映像信号における２つのフレームのうち１枚を補間フレーム４枚と差し替えるように、補間フレームを入力信号のフレーム列に挿入する。これによって、入力映像信号のフレームレートが２４Ｈｚから６０Ｈｚに変換される。
【００１９】
続いて、動き検出部３１における動きベクトルの検出処理及び補間処理部４１における補間フレーム生成処理の一例について図６を用いて説明する。図６は、ブロック単位ではなく画素単位で動きベクトルを求める例を示しており、この画素単位の動きベクトルは、補間フレーム内のある補間画素に対して点対称の位置にある前後フレーム上の画素のペアを求めて算出される。
【００２０】
図６において、ｘ軸はフレームの水平方向、ｙ軸はフレームの垂直方向、ｔはフレーム時間方向を示す。ここで、補間フレーム（ここでは、図５に示された補間フレームＩとする）内のある補間画素をP03とし、その座礁を便宜上（0，0）とする。
【００２１】
まず、動き検出部３１は、前フレームＡと後フレームＢのそれぞれについて、動きベクトルの検索範囲を示す検索ウィンドウＷ２及びＷ４を設定する。前フレームＡの検索ウィンドウＷ２は、例えば、補間画素P03と空間的に同じ位置にある前フレームＡの画素、すなわち前フレームＡの、軸Ｌと交差する位置にある画素P02を中心にしたｘ軸方向７画素、ｙ軸方向７画素の大きさを持つ。後フレームＢの検索ウィンドウＷ４も同様に、例えば、補間画素P03と空間的に同じ位置にある後フレームＢ内の画素、すなわち後フレームＢの、軸Ｌと交差する位置にある画素P04を中心にしたｘ軸方向７画素、ｙ軸方向７画素の大きさを持つ。尚、画素P02及びP04の座標も、ここでは便宜上（0，0）とする。
【００２２】
次に、補間画素P03を中心に、前フレームＡの検索ウィンドウＷ２と後フレームＢの検索ウィンドウＷ４とを通過する直線を設定する。例えば、検索ウィンドウＷ２の左上端にある画素の座標を（-3，3）とすると、この画素と補間画素P03とを結ぶ直線上にある検索ウィンドウＷ４内の画素は、右下端の画素となり、その座標は（3，-3）となる。この直線を、検索ウィンドウＷ２及びＷ４内の画素全てについて設定する。この例では、検索ウィンドウＷ２及びＷ４の画素数は７×７＝４９なので、補間画素P03を通過する直線として４９本の直線が設定される。
【００２３】
続いて、上記４９本のそれぞれ直線について、各直線が通過する検索ウィンドウＷ２内の画素と検索ウィンドウＷ４内の画素との差分を演算する。ここでは、各画素の輝度信号の差分を求めるものとする。この差分が最も小さい画素のペアを持つ直線を補間画素P03の動きベクトルとして設定する。図６の例では、検索ウィンドウＷ２内の画素P12（座標は(2，2)）と検索ウィンドウＷ４内の画素P14（座標は(-2，-2)）のペアが最も差分が小さいものとする。従って、画素P12と補間画素P03と画素P14とを結ぶ直線が、当該補間画素P03の動きベクトルＭＶとして設定される。すなわち、前フレームＡ内の画素P12は、動きベクトルＭＶが指し示す方向に従って、補間フレームＩ内の、補間画素P03と位置的に等しい画素を通過して、後フレームＢ内の画素P14へ動くものと推測する。
【００２４】
動き検出部３１は、このような演算を補間フレームＩ内の全ての補間画素について行うことによって、画素毎の動きベクトルＭＶを検出して補間処理部４１へ創出する。
【００２５】
補間処理部４１は、上記のようにして検出された動きベクトルＭＶを用いて補間画素P03を作成する。例えば、動きベクトルＭＶが通過する前フレームＡ内の画素P12と後フレームＢ内の画素P14との平均値を例えば下記数１の演算を行うことにより求めて、補間画素P03を作成する。
（数１）  P03＝ｋ・P12＋(１−ｋ)・P14    （但し、ｋ＜１）
上記ｋは、重み付け、つまり両画素の混合比を示す係数であり、例えば補間フレームＩと前フレームＡとの距離、及び補間フレームＩと後フレームＢとの時間的距離に応じて設定される。例えば各フレーム間の時間的距離が等しい場合は、ｋ＝１／２（０．５）として２つの画素の平均値が求められる。
【００２６】
上記のような演算を補間フレームＩ内の全ての補間画素について行うことにより、１枚の補間フレームＩが作成される。この補間フレームは、上述したように入力映像信号のフレーム列に挿入される、これによって入力映像信号のフレームレートが変換される。
【００２７】
このようにしてフレームレートが変換された映像信号は、画質調整部７１によってコントラスト調整、ガンマ補正などの画質調整が施され、例えばＬＣＤパネルやＰＤＰで構成された映像表示部８１に供給される。これにより映像表示部８１では、入力映像信号とは異なる（入力映像信号よりも高い）フレームレートで映像を表示することが可能となる。
【００２８】
続いて、本実施例の特徴部分である動き周期検出部５１について図２を併用しつつ説明する。
【００２９】
先に説明したように、映像コンテンツには、１つのフレームの映像において、変化（動き）の周期が異なる複数の物体が存在する場合がある。例えば、アニメーションのような映像コンテンツでは、動きの周期が２４Ｈｚの背景映像と動きの周期が８Ｈｚまたは１２Ｈｚの人物などの映像とが合成されており、１つのフレームの映像中に、毎秒２４枚で動いている部分と８または１２枚で動いている部分が混在する場合がある。動き周期が早いほうの物体（背景映像）の動きの周期は入力映像信号のフレームレートと等しいため、入力映像信号のフレームを基準にして上記補間処理部４１によって補間処理を行う場合、動きが遅いほうの物体（人物等の映像）の動きに違和感が生じる。この様子について図２を用いて説明する。尚、以下では、動きが早いほうの物体（背景映像）を第１物体、動きが遅いほうの物体（人物等の映像）を第２物体と呼ぶこととする。
【００３０】
図２の左側には、入力映像信号のフレームの映像が示されており、この入力映像信号のフレーム（以下、入力フレームと呼ぶ）は１／２４秒周期で出現する。そして入力フレーム１０１には、動き周期が１／２４秒の第１物体１３１と、動き周期が１／１２秒の第２物体１６１とを含んでいる。第１物体１３１は、１／２４秒周期で変化するので、時間経過に従い、入力フレーム１０６では符号１３６に、入力フレーム１１１では符号１４１に、入力フレーム１１６では符号１４６に、入力フレーム１２１では符号１５１に移動する（図２の例では右方向に移動している）。一方、第２物体は、第１物体の半分の周期（１／１２秒）周期で変化しているため、入力フレーム１０１及び１０６において第２物体１６１と１６６は同じ位置にある。次の入力フレーム１１１では、第２物体は符号１７１に示す位置に移動するが、入力フレーム１１６では、第２物体は符号１７６に示すように第２物体１７１と同じ位置にある。その次の入力フレーム１２１で、第２物体１７６は符号１８１の位置に移動する。
【００３１】
このような映像をについて、上記補間処理部４１により補間フレームを作成してフレームレート変換を行うと、図２の中央に示されたフレーム２０１〜２２１に示すようになる。すなわち、第１物体は、符号２３１〜２５１に示されるようにフレームレート変換された映像信号の各フレーム２０１〜２２１にわたって移動しているが、第２物体は、フレーム２０１、２０３、２０５の３フレームにわたって符号２６１、２６３、２６５に示されるように停止している。その後、第２物体は、フレーム２０７，２０９の２フレームにわたって、符号２６７、２６９に示されるように移動するが、再び、フレーム２１１、２１３、２１５の３フレームにわたって、符号２７１、２７３、２７５に示されるように停止する。その後、フレーム２２１の符号２８１に示されるように移動する。
【００３２】
すなわち、フレームレート変換された映像信号における第２物体は、数フレームおきに移動、停止、移動、停止・・・を繰り返すことになり、視聴者からすると、止まったり動いたりするように見える。すなわち、第２物体のかかる挙動は、視聴者にとって違和感のある動き（すなわちガクガクした動き）に感じられ、動きの滑らかさが損なわれる。
【００３３】
そこで本実施例では、動き周期検出部５１を設け、入力映像信号中の１つのフレームに互いに変化または動きの周期が異なる複数の物体が含まれるかを検出し、この検出結果に応じて補間処理部４１を制御するようにしている。具体的には、動き周期検出部５１は、入力映像信号中の１つのフレーム中に、第１物体の変化または動き周期よりも長い第２物体が含まれているかを検出するものであり、そのために、上記動き検出部３１の出力信号を利用している。
【００３４】
図２の入力フレーム１０１、１０６、１１１、１１６、１２１の符号１６１、１６６、１７１、１７６、１８１に示されるように、第１物体の変化または動き周期よりも長い第２物体は、２フレーム間の動きが、有り、無し、有り、無し…と交互に現れる。動き検出部３１は上述のように２つのフレーム間の差分により動きベクトルを検出しているため、動きが無い部分についてはフレーム間差分がほぼ０となるため動きベクトルが０になる。従って、動き検出部３１によって第２物体に対応する画素について検出された動きベクトルは、所定値、０（または図６の軸Ｌの方向）、所定値、０のパターンを繰り返す。本実施例に係る周期検出部５１は、動き検出部３１で検出された動きベクトルの履歴を画素毎に保持しており、この動きベクトルの履歴が上記のようなパターンを所定回数繰り返す場合に、その画素が第２物体の映像データに対応する画素である検出する。この所定回数は、例えば３回程度である。つまり、動きの「有り→無し」のパターンが３回以上繰り返された場合に、第２物体の存在が検出される。当然、所定回数に限られるものではなく、５回や１０回以上でもよい。
【００３５】
一方、第１物体は、常に動きが有る、もしくは周期的でない不定な動きをするので、動き検出部３１によって第１物体に対応する画素について検出された動きベクトルは、「所定値→０」のパターンの繰り返しとならない。すなわち、動き周期検出部５１は、このようなパターンの繰り返しが無い画素については第１物体が存在するものと検出する。
【００３６】
上記の例では画素毎に動きベクトルの履歴を保持するようにしたが、所定画素数を有するブロック毎に動きベクトルの履歴を保持してもよい。このブロックの画素数は、上述した検索ウィンドウＷ２、Ｗ４の画素数と同じとしてもよく、また検索ウィンドウの画素数の整数倍としてもよい。
【００３７】
動き周期検出部５１は、上記の動き周期の検出結果に基づき映像切換部５１を制御する。具体的には、上述のように第２物体の存在が検出された画素またはブロックに対しては、映像メモリ２２に格納された前フレームの映像データを選択する。すなわち、本実施例においては、第２物体に対応する補間画素またはブロックについては、動きベクトルを用いた補間処理を適用するのではなく、前フレームの映像データと同一のデータを用いるようにしている。一方、第１物体の存在が検出された画素またはブロックに対しては、補間処理部４１からの出力データを選択するように映像切換部６１を制御する。これによって、第１物体に対応する補間画素またはブロックについては、上述のように動きベクトルを用いて生成された補間画素またはブロックが適用される。
【００３８】
その結果、図２の右側のフレーム３０１〜３２１に示されるような映像が形成される。すなわち、従来の方式における補間処理の場合、フレーム２０７及び２０９における第２物体は符号２６７及び２６９に示されるように移動しているが、本実施例では、フレーム２０７及び２０９に対応するフレーム３０７及び３０９の符号３６７及び３６９に示されるように、第２物体はフレーム３０１〜３０５の第２物体３６１〜３６５と同じ位置にあり、移動していない。その後、フレーム３１１〜３１９の符号３７１〜３７９に示されるように、第２物体は入力フレーム１１１及び１１６の第２物体１７１及び１７６と同じ位置に移動される。すなわち、本実施例に係るフレームレート処理によって得られたフレーム列において、第２物体は５フレーム周期で動くこととなる。
【００３９】
この従来方式による第２物体の動きの様子と本実施例における第２物体の動きの様子を図７に示す。
図７の横軸は時間を表し、横軸の点線による区切りは、フレームレート変換後のフレームの周期（１／６０秒）を示す。また縦軸は画面上の物体の位置を示している。また、点線１００は従来方式による物体の位置の変換を示し、実践１０１は本実施例による第２物体の位置の変換を示している。尚、図７では、従来方式と本実施例との相違が視覚的に識別しやすくするために、点線１００と実践１０１の位置をずらして示してある。図７から明らかなように、従来方式では３フレーム停止、２フレーム移動のパターンを繰り返しており、動きがガクガクしたものとなったが、本実施例では動きが５フレームおきに周期的になるので、かかる第2物体の動きに対する視覚的な違和感が減少される。
【００４０】
このように、本実施例では、図２のフレーム３０１〜３２１に示すように元々毎秒２４枚のフィルム映像部分（第１物体）についてはなめらかな２．５倍速の補間処理が、元々毎秒１２枚の映像部分（第２物体）については同じ絵が繰り返される補間処理が為され、毎秒６０枚へのフレームレート変換された映像を得ることが可能になる。これにより、動きの周期が互いに異なる複数の物体を含む映像について、動きの違和感が低減されたフレームレート変換を実現することが可能になる。
【００４１】
ここでは、フレームレートが２４Ｈｚで、かつ動き周期が２４Ｈｚの物体と動き周期が１２Ｈｚの物体を含む映像を、６０Ｈｚのフレームレートに変換する例を示したが、これに限られるものではない。例えば、動き周期が２４Ｈｚの物体と動き周期が８Ｈｚの物体を含む映像を、１２０Ｈｚのフレームレートに変換するような場合でも、フレームレート変換倍率、動き周期の検出パターン等を変更することで適用可能なことは明らかである。
【実施例２】
【００４２】
図３は、本発明に係る映像処理装置の第２の実施例である。本実施例は、フレームレートが６０Ｈｚの映像信号を、その倍の１２０Ｈｚのフレームレートに変換するものとする。ここで、かかる映像処理装置に入力される映像信号は、毎秒２４枚の映像を２−３プルダウンして得られた６０Ｈｚのテレシネ映像に、動きの周期が６０Ｈｚの文字テロップが重ね合わせられたものであり、例えば図４の入力フレーム４０１〜４１５に示されている。すなわち、この映像信号には毎秒２４枚で動いている部分と、毎秒６０枚で動いている部分が混在する。この第２実施例の動作などにつき、図４を併用しつつ説明する。尚、第１実施例で説明したものと同一の符号を有するものは同じ機能、動作を持つものであり、その重複した説明は省略する。
【００４３】
本実施例におけるフレームレート変換部２０は、映像メモリ２１及び２２以外に映像メモリ２３を設けるとともに、動き検出部と補間処理部を２系統ずつ設けている。映像メモリ３３には、映像メモリ２２で遅延されたフレームの映像データが記憶されており、その映像データは、動き検出部３３によって第２物体の動きを検出するために用いられる。つまり、映像メモリ２３には、前フレームよりの１つ前の前々フレームの映像データが格納される。
【００４４】
動き検出部３２では、映像メモリ２１及び映像メモリ２２に格納された前及び後フレームの映像データから、実施例１と同様にその動きを画素もしくは所定のブロック毎に検出する。図４のフレーム４０１〜４１５に示した映像の場合、動き検出部３２は、符号４６１〜４７５に示された毎秒６０枚の周期で動く部分について、６０Ｈｚの動き周期を持つ第１物体として検出する。一方、符号４３１〜４３５で示された動き周期が２４Ｈｚの第２物体については、第２物体４３１〜４３５が同じ映像であるため、動きなしとして検出される。同様に、第２物体４３７〜４３９、４４１〜４４５も動きなしとして検出されてしまい、動きありとして検出されるのは、第２物体４３５と４３７との間、及び第２物体４３９と４４１との間のみである。
【００４５】
補間処理部４２では、動き検出部３２で検出した動きに基づき、映像メモリ２１から読み出された後フレームの映像データ、及び映像メモリ２２から読み出された前フレームの映像データを用いて、第１実施例に示されたような方法で、毎秒１２０枚の映像を生成するための補間フレームを生成する。そして、フレームレートが６０Ｈｚの入力映像信号の１フレームおきに上記補間フレームを挿入することで入力映像信号のフレームと補間フレームとが交互に並べられ、これによりフレームレートが１２０Ｈｚに変換される。
【００４６】
但し、ここで生成される映像は、図４の中央に示されたフレーム５０１〜５１５のような従来方式のフレームレート変換を行った映像と同等なものとなり、第２物体で動きが補正されているのは、符号５３６及び５４０の部分だけとなる。そのため、第２物体５３１〜５３５、５３７〜５３９、及び５４１〜５４５の間はそれぞれ動きがなく、それ以外の部分で動きが有るような映像となる。従って、フレームレート変換後のフレーム列における第１物体は、２種の静止画期間と動画期間が繰り返されることになり、かかる映像は、視聴者にとって視覚的な違和感のあるものとなる。
【００４７】
そこで本実施例では、テレシネ信号による２４Ｈｚの動き周期を持つ上記第２物体について、動きが滑らかなフレームレート変換処理ができるように、動き検出部３２及び補間処理部４２とは別系統の動き検出部３３及び補間処理部３４を設けるとともに、動き周期検出部５２による第２物体の検出結果に応じて動き補間処理部４２または４３の出力を切り換えるようにしたものである。その構成について以下に説明する。
【００４８】
まず、動き周期検出部５２では、第１実施例と同様に画素もしくは所定のブロック毎に、動き検出部３２で検出した動きベクトルに基づき、第２物体の動きのパターン（動きの有り、無しのパターン）の履歴を保持する。２−３プルダウンされたテレシネ信号は、図４の符号４３１〜４４５に示すように、各フレームの映像が３回、２回、３回、２回…と繰り返されるため、第２物体の部分では、次のような動きのパターンとなる。
４３１−４３３間 : 動きなし
４３３−４３５間 : 動きなし
４３５−４３７間 : 動きあり
４３７−４３９間 : 動きなし
４３９−４４１間 : 動きあり
４４１−４４３間 : 動きなし
４４３−４４５間 : 動きなし
・
・
・
このため動き周期検出部５２は、上記第２物体の動きパターンに従い、動きなし、動きなし、動きあり、動きなし、動きあり、のような動きパターンを検出し、その履歴を保持する。そして、この動きパターンが所定回数（例えば５回）以上繰り返されていれば、当該画素もしくはブロックが２４Ｈｚの動き周期を持つ第２物体が存在する部分であることを示す信号を出力する。一方、符号４６１〜４７５で示される動き周期が６０Ｈｚの文字テロップ部分では、常時動きありとして検出され、上記第２物体のような動きパターンは検出されない。このため、動き周期検出部５２は、当該画素もしくはブロックは第２物体が存在する部分であることを示す信号を出力しない。
【００４９】
一方、動き検出部３３では、映像メモリ２１に格納された後フレームの映像データ及び映像メモリ２３に格納された前々フレームの映像データを用いて、上記動き検出部３２と同様（すなわち第１実施例と同様）にして、画素または所定のブロック毎に動きベクトルを検出する。
【００５０】
補間処理部４３では、動き検出部３３で検出した動きベクトルに基づいて、映像メモリ２１に格納された後フレームの映像データ及び映像メモリ２３に格納された前々フレームの映像データを用いて、フレームレートを１２０Ｈｚに変換するために用いられる補間スレームを生成する。ここでの補間フレームの生成は、動き周期が２４Ｈｚの２フレームの映像から、４枚の補間フレームを生成する処理になる。例えば、図４における第２物体４３３と４３７を含む２つのフレーム４０３及び４０７から、第２物体６３４〜６３７を含む４つの補間フレーム６０３〜６０７を生成する。なお、第２物体４３７の本来の時間的重心位置は４３７と４３９のちょうど中間の時間になるため、第２物体６３７の(フレーム中の)位置は第２物体４３７の位置とも異なっており、補間フレーム６０７を生成して差し替える必要がある。この４つの補間フレームは、上記数１の係数ｋを補間フレーム毎に変化させることにより生成することができる。
【００５１】
例えば第２物体４３３を含む入力フレーム４０３を前フレームＡ、第２物体４３７を含む入力フレーム４０３を後フレームＢとして補間フレーム６０４を生成するときは、前フレーム４０３と補間フレーム６０４との時間的距離と、後フレーム４０７と補間フレーム６０４との時間的距離との比率は１：４となるので、数１のｋの値は４／５となる。同様に、補間フレーム６０５を生成するときは、前フレーム４０３と補間フレーム６０５との時間的距離と、後フレーム４０７と補間フレーム６０５との時間的距離との比率は２：３となるので、ｋの値は３／５となる。また、補間フレーム６０６を生成するときは、前後フレーム４０３と補間フレーム６０６との時間的距離と、後フレーム４０７と補間フレーム６０６との時間的距離との比率は３：２となるので、ｋの値は２／５となり、補間フレーム６０７を生成するときは、前フレーム４０３と補間フレーム６０７との時間的距離と、後フレーム４０７と補間フレーム６０７との時間的距離との比率は４：１となるので、ｋの値は１／５となる。尚、補間フレーム６０３は入力フレーム４０３と同じ映像データが用いられ、入力フレーム４０５と４０７はフレームレート変換後のフレーム列（図４の右側のフレーム列）には含まれない（すなわち削除される）。他の補間フレームについても同様に生成される。
【００５２】
このようにして、２−３プルダウン形式で送信されたテレシネ信号に含まれる第２物体の映像につき、動きを滑らかにしてすれームレート変換することができる。
【００５３】
映像切換部６２は、動き周期検出部５２にからの検出結果に応じた出力信号に基づき、補間処理部４２からの補間画素またはブロックと、補間処理部４３からの補間画素またはブロックのいずれかを選択する。すなわち、動き周期検出部５２によって第２物体（文字テロップ以外の通常映像）が存在する画素またはブロックが検出された場合には、当該画素もしくはブロックについては、補間処理部４３によって生成された補間画素またはブロックを選択する。それ以外の第１物体（文字テロップ）が存在する画素もしくはブロックについては、補間処理部４２によって生成された補間画素またはブロックを選択する。
【００５４】
これによって、図４の符号６０１〜６１５に示すように、動き周期が２４Ｈｚの第２物体の映像部分については、その動き周期が５倍（１２０Ｈｚ）に変換され、動き周期が６０Ｈｚの第１物体（テロップ部分）の映像部分については、その動き周期が２倍（１２０Ｈｚ）に変換される。その結果、動きが滑らかになるとともに視覚的な違和感が軽減された、フレームレートが１２０Ｈｚに変換された映像信号を得ることができる。
【００５５】
上第２実施例では、２−３プルダウン形式のテレシネ信号に６０Ｈｚの周期で変化するテロップが重ねられたれたフレームレートが６０Ｈｚの映像信号を、そのフレームレートを１２０Ｈｚに変換する例について示した。しかしながら、本実施例は、これに限定されるものではない。例えば、２−２プルダウン形式のテレシネ信号に５０Ｈｚの周期で変化するテロップが重ねられたれたフレームレートが５０Ｈｚの映像信号を、そのフレームレートを３倍に変換する（すなわち１５０Ｈｚにする）場合等にも、フレームレート変換倍率、動き周期の検出パターン等を変更することで適用可能なことは明らかである。また、動き周期が異なる物体が入力映像信号の１フレーム中に３つ以上含まれる場合でも、動き周期の検出パターン数を増加し、動き検出部と補間処理部の系統を増やすことにより対応可能である。
【産業上の利用可能性】
【００５６】
本発明は、動き周期が異なる複数の物体を含む映像信号をフレームレート変換して出力する映像処理装置に利用できる。例えば入力映像信号とは異なるフレームレートで映像を表示するテレビジョン表示装置に適用して好適であるが、他の表示装置や、映像再生装置、映像変換機等にも利用可能である。
【図面の簡単な説明】
【００５７】
【図１】本発明に係る映像処理装置の第１実施例を示す図。
【図２】第１実施例に係るフレームレート変換の様子を示す図。
【図３】本発明に係る映像処理装置の第２実施例を示す図。
【図４】第２実施例に係るフレームレート変換の様子を示す図。
【図５】補間フレームを入力映像信号のフレーム列煮の挿入する様子の一例を示す図。
【図６】本発明に係る映像処理装置に適用される動きベクトルの検出の一例を示す図
【図７】第１実施例による第２物体の動きの様子を示す図。
【符号の説明】
【００５８】
１０、２０…フレームレート変換部、１１…映像入力部、２１〜２３…映像メモリ、３１〜３３…動き検出部、４１〜４３…補間処理部、５１、５２…動き周期検出部、６１、６２…映像切り替え部、７１…映像出力部、８１…画質調整部、９１…表示部。
【図１】
2009135847.tif 000003
【図２】
2009135847.tif 000004
【図３】
2009135847.tif 000005
【図４】
2009135847.tif 000006
【図５】
2009135847.tif 000007
【図６】
2009135847.tif 000008
【図７】
2009135847.tif 000009