(57)【要約】【課題】動き補償型のレート変換（ＦＲＣ）部を備えた画像表示装置において、１画面内の領域毎に異なるフレームレート変換処理を施した場合に、画面領域の境界部分において生じる画質劣化を防止する。【解決手段】ＦＲＣ部は、遅延部１９、領域検出部２０、領域・境界制御部１７、動きベクトル検出部１１ｅ、動きベクトルフィルタ部２１、内挿ベクトル割付部１１ｆ、内挿フレーム生成部１２ｂ、タイムベース変換部１２ｄを備える。１画面内を複数の領域に分割して、領域毎に動きベクトル検出部１１ｅにおける動きベクトル検出処理を異ならしめる場合に、動きベクトルフィルタ部２１は、分割された画面領域の境界部分の動きベクトルに対しフィルタ処理を施すことにより、該画面領域の境界部分に連続性を持たせる。【選択図】  図１
2009055340.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号のフレーム数あるいはフィールド数を変換して、表示パネルへ出力するレート変換手段を備えた画像表示装置であって、
前記レート変換手段は、画面分割領域毎に異なるフレームレート変換処理を行うとともに、前記領域の境界部分の画像に連続性を持たせる処理を行うことを特徴とする画像表示装置。
【請求項２】
前記請求項１に記載の画像表示装置において、
前記レート変換手段は、前記領域の境界部分の画像に連続性を持たせる処理として、前記異なるフレームレート変換処理を行う過程で得られるデータに対してフィルタ処理を施すことを特徴とする画像表示装置。
【請求項３】
前記請求項２に記載の画像表示装置において、
前記レート変換手段は、前記入力画像信号に含まれる連続したフレーム間あるいはフィールド間で動きベクトルを検出する動きベクトル検出部と、
該検出した動きベクトルに基づいて、前記フレーム間あるいは前記フィールド間に内挿ベクトルを割り付ける内挿ベクトル割付部と、
該割り付けた内挿ベクトルを用いて、前記入力画像信号から内挿画像信号を生成する内挿画像生成部と、
該生成した内挿画像信号を前記フレーム間あるいは前記フィールド間に内挿する画像内挿部とを有することを特徴とする画像表示装置。
【請求項４】
前記請求項３に記載の画像表示装置において、
前記レート変換手段は、前記動きベクトル検出部により検出された前記領域の境界部分における動きベクトルに対してフィルタ処理を施すことを特徴とする画像表示装置。
【請求項５】
前記請求項３に記載の画像表示装置において、
前記レート変換手段は、前記内挿ベクトル割付部により割り付けられた前記領域の境界部分における内挿ベクトルに対してフィルタ処理を施すことを特徴とする画像表示装置。
【請求項６】
前記請求項３に記載の画像表示装置において、
前記レート変換手段は、前記内挿画像生成部により生成された前記領域の境界部分における内挿画像信号に対してフィルタ処理を施すことを特徴とする画像表示装置。
【請求項７】
前記請求項２乃至６のいずれかに記載の画像表示装置において、
前記レート変換手段は、前記領域の境界からの距離に応じて、前記フィルタ処理のフィルタ強度を可変することを特徴とする画像表示装置。
【請求項８】
前記請求項１に記載の画像表示装置において、
前記レート変換手段は、前記領域の境界部分の画像に連続性を持たせる処理として、前記異なるフレームレート変換処理を行う過程で得られるデータに対して加重加算処理を施すことを特徴とする画像表示装置。
【請求項９】
前記請求項８に記載の画像表示装置において、
前記レート変換手段は、前記入力画像信号に含まれる連続したフレーム間あるいはフィールド間で動きベクトルを検出する動きベクトル検出部と、
該検出した動きベクトルに基づいて、前記フレーム間あるいは前記フィールド間に内挿ベクトルを割り付ける内挿ベクトル割付部と、
該割り付けた内挿ベクトルを用いて、前記入力画像信号から内挿画像信号を生成する内挿画像生成部と、
該生成した内挿画像信号を前記フレーム間あるいは前記フィールド間に内挿する画像内挿部とを有することを特徴とする画像表示装置。
【請求項１０】
前記請求項９に記載の画像表示装置において、
前記レート変換手段は、前記動きベクトル検出部を複数有し、該複数の動きベクトル検出部のそれぞれにより検出された前記領域の境界部分における複数の動きベクトルを加重加算処理することを特徴とする画像表示装置。
【請求項１１】
前記請求項９に記載の画像表示装置において、
前記レート変換手段は、前記内挿ベクトル割付部を複数有し、該複数の内挿ベクトル割付部のそれぞれにより割り付けられた前記領域の境界部分における複数の内挿ベクトルを加重加算処理することを特徴とする画像表示装置。
【請求項１２】
前記請求項９に記載の画像表示装置において、
前記レート変換手段は、前記内挿画像生成部を複数有し、該複数の内挿画像生成部のそれぞれにより生成された前記領域の境界部分における複数の内挿画像信号を加重加算処理することを特徴とする画像表示装置。
【請求項１３】
前記請求項８乃至１２のいずれかに記載の画像表示装置において、
前記レート変換手段は、前記領域の境界からの距離に応じて、前記加重加算処理の加重加算比率を可変することを特徴とする画像表示装置。
【請求項１４】
前記請求項１乃至１３のいずれかに記載の画像表示装置において、
前記レート変換手段は、前記領域毎に動き補償処理を施すか否かを切り換えてフレームレート変換処理を行うことを特徴とする画像表示装置。
【請求項１５】
前記請求項１乃至１３のいずれかに記載の画像表示装置において、
前記レート変換手段は、前記領域毎に異なる動き補償処理を施したフレームレート変換処理を行うことを特徴とする画像表示装置。
【請求項１６】
入力画像信号のフレーム数あるいはフィールド数を変換するレート変換ステップを備えた画像表示方法であって、
前記レート変換ステップは、画面分割領域毎に異なるフレームレート変換処理を行うとともに、前記領域の境界部分の画像に連続性を持たせる処理を施すことを特徴とする画像表示方法。
【請求項１７】
前記請求項１６に記載の画像表示方法において、
前記レート変換ステップは、前記領域の境界部分の画像に連続性を持たせる処理として、前記異なるフレームレート変換処理を行う過程で得られるデータに対してフィルタ処理を施すことを特徴とする画像表示方法。
【請求項１８】
前記請求項１６に記載の画像表示方法において、
前記レート変換ステップは、前記領域の境界部分の画像に連続性を持たせる処理として、前記異なるフレームレート変換処理を行う過程で得られるデータに対して加重加算処理を施すことを特徴とする画像表示方法。
【請求項１９】
入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段を備えた画像処理装置であって、
前記レート変換手段は、画面分割領域毎に異なるフレームレート変換処理を行うとともに、前記領域の境界部分の画像に連続性を持たせる処理を施すことを特徴とする画像処理装置。
【請求項２０】
入力画像信号のフレーム数あるいはフィールド数を変換するレート変換ステップを備えた画像処理方法であって、
前記レート変換ステップは、画面分割領域毎に異なるフレームレート変換処理を行うとともに、前記領域の境界部分の画像に連続性を持たせる処理を施すことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレームレートあるいはフィールドレートを変換する機能を備えた画像表示装置及び方法、画像処理装置及び方法に関し、より詳細には、１画面内において異なるレート変換処理を行った場合の画質劣化を防止することができる画像表示装置及び該装置による画像表示方法、画像処理装置及び該画像処理装置による画像処理方法に関するものである。
【背景技術】
【０００２】
動画像を具現する用途に従来から主として用いられてきた陰極線管（ＣＲＴ：Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）に対して、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）は、動きのある画像を表示した場合に、観る者には動き部分の輪郭がぼけて知覚されてしまうという、所謂、動きぼけの欠点がある。この動きぼけは、ＬＣＤの表示方式そのものに起因することが指摘されている（例えば、特許文献１、非特許文献１参照）。
【０００３】
電子ビームを走査して蛍光体を発光させて表示を行うＣＲＴでは、各画素の発光は蛍光体の若干の残光はあるものの概ねインパルス状になる。これをインパルス型表示方式という。一方、ＬＣＤでは、液晶に電界を印加することにより蓄えられた電荷が、次に電界が印加されるまで比較的高い割合で保持される。特に、ＴＦＴ方式の場合、画素を構成するドット毎にＴＦＴスイッチが設けられており、さらに通常は各画素に補助容量が設けられており、蓄えられた電荷の保持能力が極めて高い。このため、画素が次のフレームあるいはフィールド（以下、フレームで代表する）の画像情報に基づく電界印加により書き換えられるまで発光し続ける。これをホールド型表示方式という。
【０００４】
上記のようなホールド型表示方式においては、画像表示光のインパルス応答が時間的な広がりを持つため、時間周波数特性が劣化して、それに伴い空間周波数特性も低下し、動きぼけが生じる。すなわち、人の視線は動くものに対して滑らかに追従するため、ホールド型のように発光時間が長いと、時間積分効果により画像の動きがぎくしゃくして不自然に見えてしまう。
【０００５】
上記のホールド型表示方式における動きぼけを改善するために、フレーム間に画像を内挿することにより、フレームレート（フレーム数）を変換する技術が知られている。この技術は、ＦＲＣ（Ｆｒａｍｅ  Ｒａｔｅ  Ｃｏｎｖｅｒｔｅｒ）と呼ばれ、液晶表示装置等において実用化されている。
【０００６】
従来、フレームレートを変換する方法には、単に同一フレームの複数回繰り返し読み出しや、フレーム間の直線内挿（線形補間）によるフレーム内挿などの各種の手法がある（例えば、非特許文献２参照）。しかしながら、線形補間によるフレーム内挿処理の場合、フレームレート変換に伴う動きの不自然さ（ジャーキネス、ジャダー）が発生するとともに、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することはできず、画質的には不十分なものであった。
【０００７】
そこで、上記ジャーキネスの影響等をなくして動画質を改善するために、動きベクトルを用いた動き補償型のフレーム内挿（動き補償）処理が提案されている。この動き補償処理によれば、動画像そのものをとらえて補償するため、解像度の劣化がなく、また、ジャーキネスの発生もなく、極めて自然な動画を得ることができる。さらに、内挿画像信号は動き補償して形成されるので、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することが可能となる。
【０００８】
前述の特許文献１には、動き適応的に内挿フレームを生成することにより、表示画像のフレーム周波数を上げて、動きぼけの原因となる空間周波数特性の低下を改善するための技術が開示されている。これは、表示画像のフレーム間に内挿する少なくとも１つの内挿画像信号を、前後のフレームから動き適応的に形成し、形成した内挿画像信号をフレーム間に内挿して順次表示するようにしている。
【０００９】
図９は、従来の液晶表示装置におけるＦＲＣ駆動表示回路の概略構成を示すブロック図で、図中、ＦＲＣ駆動表示回路は、入力画像信号のフレーム間に動き補償処理を施した画像信号を内挿することにより入力画像信号のフレーム数を変換するフレームレート変換部（以下、ＦＲＣ部）１０と、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するアクティブマトリクス型の液晶表示パネル１５と、ＦＲＣ部１０によりフレームレート変換された画像信号に基づいて液晶表示パネル１５の走査電極及びデータ電極を駆動するための電極駆動部１４と、を備えて構成される。
【００１０】
ＦＲＣ部１０は、入力画像信号から動きベクトル情報を検出するベクトル検出部１１と、ベクトル検出部１１により得られた動きベクトル情報に基づいて内挿フレームを生成しフレーム間に挿入するフレーム生成部１２とを備える。
【００１１】
上記構成において、ベクトル検出部１１は、例えば、後述するブロックマッチング法や勾配法などを用いて動きベクトル情報を求めてもよいし、入力画像信号に何らかの形で動きベクトル情報が含まれている場合、これを利用してもよい。例えば、ＭＰＥＧ方式を用いて圧縮符号化された画像データには、符号化時に算出された動画像の動きベクトル情報が含まれており、この動きベクトル情報を取得する構成としてもよい。
【００１２】
図１０は、図９に示した従来のＦＲＣ駆動表示回路によるフレームレート変換処理を説明するための図である。ＦＲＣ部１０は、ベクトル検出部１１より出力された動きベクトル情報を用いた動き補償により、フレーム間の内挿フレーム（図中グレーに色付けされた画像）を生成し、この生成された内挿フレーム信号を入力フレーム信号とともに、順次出力することで、入力画像信号のフレームレートを例えば毎秒６０フレーム（６０Ｈｚ）から毎秒１２０フレーム（１２０Ｈｚ）に変換する処理を行う。
【００１３】
図１１は、ベクトル検出部１１及びフレーム生成部１２による内挿フレーム生成処理について説明するための図である。ベクトル検出部１１は、図１０に示した例えばフレーム＃１とフレーム＃２から勾配法等により動きベクトル１０５を検出する。すなわち、ベクトル検出部１１は、フレーム＃１とフレーム＃２の１／６０秒間に、どの方向にどれだけ動いたかを測定することにより動きベクトル１０５を求める。次に、求めた動きベクトル１０５を用いて、フレーム＃１とフレーム＃２間に内挿ベクトル１０６を割り付ける。フレーム生成部１２は、この内挿ベクトル１０６に基づいてフレーム＃１の位置から１／１２０秒後の位置まで対象（ここでは自動車）を動かすことにより、内挿フレーム１０７を生成する。
【００１４】
このように、動きベクトル情報を用いて動き補償フレーム内挿処理を行い、表示フレーム周波数を上げることで、ＬＣＤ（ホールド型表示方式）の表示状態を、ＣＲＴ（インパルス型表示方式）の表示状態に近づけることができ、動画表示の際に生じる動きぼけによる画質劣化を改善することが可能となる。
【００１５】
ここで、上記動き補償フレーム内挿処理においては、動き補償のために動きベクトルの検出が不可欠となる。この動きベクトル検出の代表的な手法として、例えば、ブロックマッチング法、勾配法などが提案されている。これらの手法においては、連続した２つのフレーム間で各画素または小さなブロック毎に動きベクトルを検出し、この動きベクトルを用いて２つのフレーム間の内挿フレームの各画素または各小ブロックを内挿する。すなわち、２つのフレーム間の任意の位置の画像を正しく位置補正して内挿することにより、フレーム数の変換を行う。
【００１６】
ところで、動画像はフレーム間の相関が高く、また時間軸方向の連続性を持つため、あるフレームにおいて移動している画素あるいはブロックは、それに続くフレーム、あるいはそれより前のフレームにおいても、同様の動き量で移動している場合が多い。例えば、ボールが画面の右から左へと転がっていく様子を撮影した動画像の場合、ボールの領域は、どのフレームでも同様の動き量を持ちながら移動していく。すなわち、連続するフレーム間では、動きベクトルに連続性がある場合が多い。
【００１７】
このことから、前フレームでの動きベクトル検出結果を参照することで、その次のフレームにおける動きベクトルの検出をより容易に、あるいはより正確に行うことが可能である。例えば、勾配法を改良した反復勾配法においては、被検出ブロックに対して、前フレームあるいは現フレームで既に検出された近傍のブロックの動きベクトルを初期偏位ベクトルとし、これを起点として勾配法の演算を繰り返す方法が用いられる（例えば、非特許文献２参照）。この方法によれば、勾配法の繰り返しは２回程度でほぼ正確な動き量を得ることができる。
【００１８】
以上のように、入力画像信号から正確な動きベクトルを検出し、検出された動きベクトルを用いて動き補償型のフレームレート変換処理を施すことにより、動画表示の際に生じる動きぼけによる画質劣化を改善することが可能となるが、実際には種々の技術的な理由から、１画面内における領域毎に異なるフレームレート変換処理を行うことがある。これについて、以下説明する。
【００１９】
例えば、特許文献２には、動き補償処理に固有な動画のエッジ部分におけるフリッカの発生や、動きが不自然に見える画質劣化の発生を抑制しつつ、モーションジャダーが目立つのを防止して高画質化を図るために、モーションジャダー妨害が目立ちやすい速度の動き、あるいは水平パンや上下パンや文字スクロールなどの特殊な動きの領域を検出し、この領域に対してのみ動き補償型のフレームレート変換処理を行い、その他の領域に対しては動き補償型のフレームレート変換処理を行わず、現フレームと前フレームの信号の平均値、あるいは現フレームの信号で内挿フレームの信号を生成することによりフレームレート変換処理を行うものが記載されている。
【００２０】
また、特許文献３には、追加画像データがスーパーインポーズされた映像信号に対して動き補償処理を行った場合、スーパーインポーズされた画像、および、該スーパーインポーズされた画像の周辺画像エリアにおいてアーティファクトが生じ得るため、スーパーインポーズされている画像エリアについては動き補償型のフレームレート変換処理と別のフレームレート変換処理を行うことで、そのようなエリアおよびある処理方法に典型的なアーティファクトを回避するものが記載されている。
【００２１】
すなわち、特許文献３のものは、新しいフレームレートの映像画像を生成するために、フレームレート変換処理では、画像データの線形内挿、画像への動き補償の適用、入力映像信号の未処理映像データの単なる使用のいずれかが実行されるが、スーパーインポーズされた画像およびスーパーインポーズされた画像の周辺画像エリアに対しては、動き補償型のフレームレート変換処理を行わず、画像データの線形内挿、入力映像信号の未処理映像データの単なる使用によりフレームレート変換処理を行うものである。
【００２２】
さらに、例えば、本願の出願人が先に出願した特願２００６−３２５１３９号明細書においては、画面上で文字が水平や垂直方向にスクロール（移動）していくテロップ部分に対する動き補償処理をより正確に行い、該テロップの存在する領域の画質向上を実現するために、テロップの領域とそれ以外の領域とで異なる動き補償処理を行うものが提案されている。
【００２３】
これによれば、テロップの領域に対しては、該テロップの動きベクトル（テロップベクトル）を動き補償処理に用いる動きベクトルの候補ベクトルとして追加する、あるいは、該テロップの動きベクトル（テロップベクトル）を優先的に選択して動き補償処理を行うとともに、テロップの領域以外の領域に対しては、全画面の平均ベクトルを優先的に選択して動き補償処理を行う、あるいは、０ベクトルを優先的に選択して動き補償処理を行うことで、画面領域毎により適切な初期変位ベクトルを選択する可能性を向上させた動き補償型のフレームレート変換を実現している。
【００２４】
そしてまた、例えば、特許文献４には、画郭周縁部においては、動き画像部分の一部欠如に起因して、連続した２フレーム間に施すべきフレーム間内挿画像信号の形成が正常に行われないのみならず、通例、連続した少なくとも２フレームのフレーム間差に基づいて行われる画像の動き検出にも支障を来たすおそれがあるため、画郭周縁部に対しては、前後２フレームからの、すなわち両方向からの内挿（動きベクトル両端の画像からの線形補間）に替えて、画像の欠如が生じていない方のフレームのみからの、すなわち片方向からの内挿（内挿ベクトルによる入力画像の平行移動）へ適応的に切り換えることで、画郭の全面に亘り実質的に画質劣化のない動き補償型のフレ−ムレート変換画像を得るものが記載されている。
【００２５】
以下では、上述した従来の技術について、図１２乃至図１７を用いて、より詳細に説明する。
【００２６】
図１２は、従来の動き補償型フレームレート変換部の構成例を示すブロック図である。ＦＲＣ部１０は、入力画像信号に含まれる２つの連続したフレーム間で動きベクトルを検出するベクトル検出部１１と、検出した動きベクトルに基づいて内挿フレーム（内挿画像）を生成するフレーム生成部１２とから構成される。なお、ベクトル検出部１１は、動きベクトル検出に反復勾配法を用いた場合の例について示すが、この反復勾配法に限定されず、ブロックマッチング法などを用いてもよい。
【００２７】
図１２において、ベクトル検出部１１は、入力画像信号（ＲＧＢ信号）から輝度信号（Ｙ信号）を抽出する輝度信号抽出部１１ａと、抽出したＹ信号にＬＰＦを掛けて高域部の帯域を制限するための前処理フィルタ１１ｂと、動き検出用フレームメモリ１１ｃと、初期ベクトル候補を蓄積するための初期ベクトルメモリ１１ｄと、反復勾配法を用いてフレーム間の動きベクトルを検出する動きベクトル検出部１１ｅと、検出した動きベクトルに基づいてフレーム間に内挿ベクトルを割り付ける内挿ベクトル割付部１１ｆと、を備えて構成される。
【００２８】
上記反復勾配法の演算は画素の微分成分を用いているため、ノイズの影響を受け易く、また、検出ブロック内の勾配の変化量が多いと演算誤差が大きくなるため、前処理フィルタ１１ｂにおいてＬＰＦをかけて高域部の帯域を制限しておく。初期ベクトルメモリ１１ｄには、初期ベクトル候補として、前々フレームで既に検出されている動きベクトル（初期ベクトル候補）を蓄積しておく。
【００２９】
動きベクトル検出部１１ｅは、初期ベクトルメモリ１１ｄに蓄積されている初期ベクトル候補の中から被検出ブロックの動きベクトルに最も近い動きベクトルを初期ベクトルとして選択する。詳細には、候補ベクトルのそれぞれのＤＦＤ（Ｄｉｓｐｌａｃｅｄ  Ｆｉｅｌｄ  Ｄｉｆｆｅｒｅｎｃｅ）を算出し、このＤＦＤに基づいて、最適なベクトルを初期ベクトルとする。
【００３０】
尚、ＤＦＤとは、動きベクトル（ここでは推定ベクトル）の正確さの程度を示す指標であり、被検出ブロック内の各画素と被検出ブロックから動きベクトルが指し示す先のブロック内の各画素とのフレーム間差分の絶対値和である。従って、ＤＦＤの値が小さいほど、被検出ブロックと被検出ブロックから動きベクトルが指し示す先のブロックとのマッチングが良く、対応する候補ベクトルがよりふさわしいことを示す。
【００３１】
また、ここでは既に検出された動きベクトルを初期ベクトル候補とする構成としたが、この初期ベクトル候補に、全画面の平均ベクトルや、テロップベクトルなどの動きベクトルを追加する構成も可能である。
【００３２】
さらに、ＤＦＤに基づいて最適な初期ベクトルを選択する際に、候補ベクトルの長さに応じてＤＦＤに重み付けを行い、ある長さのベクトルに近いものを優先的に選択するような構成も可能である。例えば、テロップの速度に近いベクトルを優先的に選択したい場合は、テロップベクトルと候補ベクトルとの長さの差が小さいほどＤＦＤが小さくなるような重み係数をかけて、テロップベクトルに近いベクトルを選択しやすくすることが可能となる。
【００３３】
そして、動きベクトル検出部１１ｅは、選択した初期ベクトルを起点として、勾配法演算によって前フレームと現フレーム間の動きベクトルを検出する。内挿ベクトル割付部１１ｆは、動きベクトル検出部１１ｅにより検出された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付けて、フレーム生成部１２に出力する。
【００３４】
フレーム生成部１２は、２つの入力フレーム（前フレーム、現フレーム）を蓄積するための内挿用フレームメモリ１２ａと、内挿用フレームメモリ１２ａからの２つの入力フレームと内挿ベクトル割付部１１ｆからの内挿ベクトルとに基づいて内挿フレームを生成する内挿フレーム生成部１２ｂと、入力フレーム（前フレーム、現フレーム）を蓄積するためのタイムベース変換用フレームメモリ１２ｃと、タイムベース変換用フレームメモリ１２ｃからの入力フレームに内挿フレーム生成部１２ｂからの内挿フレームを挿入して出力画像信号（ＲＧＢ信号）を生成するタイムベース変換部１２ｄと、を備えて構成される。
【００３５】
図１３は、フレーム生成部１２による内挿フレーム生成処理の一例を説明するための図である。内挿フレーム生成部１２ｂは、内挿ブロックに割り付けられた内挿ベクトルＶを前フレーム、現フレームに伸ばして、各フレームとの交点近傍の画素を用いて内挿ブロック内の各画素を補間する。例えば、前フレームでは近傍３点よりＡ点の輝度を算出する。現フレームでは近傍３点よりＢ点の輝度を算出する。内挿フレームではＰ点の輝度をＡ点とＢ点の輝度から補間する。Ｐ点の輝度は、例えばＡ点の輝度とＢ点の輝度の平均としてもよい。
【００３６】
上記のようにして生成された内挿フレームは、タイムベース変換部１２ｄに送られる。タイムベース変換部１２ｄは、前フレーム、現フレームの間に、内挿フレームを挟み込んで、フレームレートを変換する処理を行う。このように、ＦＲＣ部１０により、入力画像信号（６０フレーム／秒）を、動き補償された出力画像信号（１２０フレーム／秒）へ変換することができ、これを表示パネルに出力することにより、動きぼけを低減して動画質を改善することが可能となる。
【００３７】
尚、ここでは、６０フレーム／秒の入力画像信号を、１２０フレーム／秒（２倍）の出力画像信号にフレームレート変換する場合について説明したが、例えば９０フレーム／秒（１．５倍）、１８０フレーム／秒（３倍）の出力画像信号を得る場合など、その他の倍数のフレームレート変換に適用することも可能である。
【００３８】
図１４は、図１２を簡略化し、さらに１画面内の領域毎に異なるレート変換処理を行うために領域検出部２０と領域・境界制御部１７とを備えた構成例を示すブロック図である。ベクトル検出部１１には動きベクトル検出部１１ｅと内挿ベクトル割付部１１ｆとを備え、フレーム生成部１２には内挿フレーム生成部１２ｂとタイムベース変換部１２ｄとを備えている。
【００３９】
遅延部１９は、図１２の動き検出用フレームメモリ１１ｃ、内挿用フレームメモリ１２ａ、タイムベース変換用フレームメモリ１２ｃに相当するものであり、入力画像信号を１フレーム期間遅延させ、前フレームと現フレームとのそれぞれの画像データを、動きベクトル検出部１１ｅ、内挿ベクトル割付部１１ｆ、内挿フレーム生成部１２ｂ、領域検出部２０に出力する。
【００４０】
領域検出部２０は、前記で説明したような、テロップなどの特殊な動きをもつ領域やスーパーインポーズされた画像領域、画郭周縁領域などの特定の画面領域を検出するためのものであり、該特定の画面領域を示す領域座標情報を領域・境界制御部１７に出力する。領域・境界制御部１７は、領域検出部２０にて検出された領域座標情報に基づいて、画面領域毎に動きベクトル検出処理、または内挿フレーム生成処理を異ならしめるための制御信号と前記領域座標情報とを出力する。
【００４１】
動きベクトル検出部１１ｅは、領域・境界制御部１７からの制御情報をもとに画面領域毎に異なる動きベクトル検出処理を行う。画面領域毎に異なる動きベクトル検出処理を行うための詳細な構成は、後に図１６を用いて説明する。
【００４２】
内挿ベクトル割付部１１ｆは、動きベクトル検出部１１ｅから出力された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付ける処理を行う。
【００４３】
内挿フレーム生成部１２ｂは、内挿ベクトル割付部１１ｆから出力された内挿ベクトルを用い、領域・境界制御部１７からの制御情報をもとに画面領域毎に異なる内挿フレーム生成処理を行う。画面領域毎に異なる内挿フレーム生成処理を行うための詳細な構成は、後に図１７を用いて説明する。
【００４４】
タイムベース変換部１２ｄは、遅延部１９から出力される前フレーム画像と内挿フレーム生成部１２ｂから出力される内挿フレーム画像とを入力とし、前フレーム画像、内挿フレーム画像の順に出力するようにフレームレート変換処理を行い、１２０フレーム／秒の出力画像信号を出力する。
【００４５】
図１５は、図１４の領域検出部２０にて行われる領域分割の具体例を説明するためのものである。図１５（Ａ）は、テロップ領域を検出した場合の具体例である。水平方向に文字がスクロールする映像、つまり水平方向のテロップが含まれる映像において、斜線部２０２の横帯状の領域をテロップ領域として検出した結果である。この時、例えば、テロップ領域の画質向上を図るために、テロップ領域２０２はテロップベクトルを優先的に、その他の通常領域２０１、２０３は全画面の平均ベクトルを優先的に選択するような動きベクトル検出処理を行うことが可能となる。
【００４６】
図１５（Ｂ）は、画郭周縁領域を検出した場合の具体例である。斜線部２０５、２０６が画郭周縁領域である。この時、例えば、画面全体が横方向にスクロールする映像においては、画郭周縁部で、内挿フレーム画像を生成するための前後フレームの画像データが一部欠如するために正常な内挿フレーム画像の生成が困難である。従って、画郭周縁領域２０５、２０６では、画像データが欠如していないフレームの片方向からの内挿フレーム生成を行い、それ以外の通常領域２０４では両方向からの内挿フレーム生成を行うことが可能となる。
【００４７】
図１５（Ｃ）は、スーパーインポーズされた画像領域、およびスーパーインポーズされた画像の周辺領域を検出した場合の具体例である。灰色で塗りつぶされた領域２０８がスーパーインポーズされた画像領域で、斜線部２０９がスーパーインポーズされた画像の周辺領域である。この時、例えば、スーパーインポーズされた画像領域およびその周辺の画質劣化を防止するために、スーパーインポーズされた画像領域２０８には、動き補償型のレート変換を行わず、前フレームの画像データをそのまま使用し、スーパーインポーズされた画像の周辺領域２０９には、前後フレーム間の線形内挿を行い、その他の通常領域２０７には、動き補償型のレート変換による内挿を行うことが可能となる。
【００４８】
図１６は、図１４の動きベクトル検出部１１ｅについて、１画面内の領域毎に異なる動きベクトル検出処理を行う場合の構成例を説明するための図である。図１６（Ａ）は、第１の動きベクトル検出処理部１１０ｅと第２の動きベクトル検出処理部１１１ｅとの２つの動きベクトル検出部を設け、それぞれの検出処理部で異なる動きベクトル検出処理を行い、領域・境界制御部１７から出力される領域座標情報に応じてスイッチ１６を切り替え、動きベクトル検出処理結果を選択的に出力するものである。
【００４９】
例えば、前述したような、テロップ領域とそれ以外の領域とで異なる動きベクトル検出処理を行う場合、第１の動きベクトル検出部１１０ｅはテロップベクトルを候補ベクトルとして追加し、もう一方の第２の動きベクトル検出部１１１ｅは０ベクトルを候補ベクトルとして追加する構成とし、テロップ領域には第１の動きベクトル検出部１１０ｅから出力される動きベクトルを用い、それ以外の領域には第２の動きベクトル検出部１１１ｅから出力される動きベクトルを用いるような構成が実現できる。
【００５０】
図１６（Ｂ）は、第１のパラメータ保存部１８１と第２のパラメータ保存部１８２との２つのパラメータ保存部を設け、それぞれに動きベクトル検出処理に寄与する異なるパラメータを保存し、領域・境界制御部１７から出力される領域座標情報に応じて、動きベクトル検出処理部１１２ｅに与えるパラメータを切り替えることで、画面領域毎に異なる動きベクトル検出処理を行う。
【００５１】
例えば、前述したような、テロップ領域とそれ以外の領域とで異なる動きベクトル検出処理を行う場合、第１のパラメータ保存部１８１にはテロップベクトルを優先的に選択するように、テロップベクトルと候補ベクトルとの長さの差が小さいほどＤＦＤが小さくなるような重み係数を設定し、第２のパラメータ保存部１８２には全画面の平均ベクトルを優先的に選択するように、全画面の平均ベクトルと候補ベクトルとの長さの差が小さいほどＤＦＤが小さくなるような重み係数を設定しておく。
【００５２】
そして、テロップ領域では第１のパラメータ保存部１８１に設定されたパラメータによって初期ベクトル選択し、これを用いて動きベクトル検出処理を行い、それ以外の領域には第２のパラメータ保存部１８２に設定されたパラメータによって初期ベクトルを選択し、これを用いて動きベクトル検出処理を行う、というような構成が実現できる。
【００５３】
尚、上述した２つの構成例では、画面領域毎に異なる動きベクトル検出処理を行う場合について説明したが、どちらか一方の画面領域においては動きベクトル検出処理を行わず、つまり、０ベクトルを出力するような構成も可能である。この場合は、動きベクトル検出処理を行わない領域は、動き補償処理が行われず、前後フレームのどちらか一方の画像データがそのまま出力されるか、前後フレームの線形内挿された画像データが出力される。つまり、動き補償処理が無効化されることとなる。
【００５４】
図１７は、図１４の内挿フレーム生成部１２ｂについて、１画面内の領域毎に異なる内挿フレーム生成処理を行う場合の構成例を説明するための図である。図１７（Ａ）は、第１の内挿フレーム生成処理部１２０ｂと第２の内挿フレーム生成処理部１２１ｂとの２つの内挿フレーム生成処理部を設け、それぞれの内挿フレーム生成処理部では異なる内挿フレーム生成処理を行い、領域・境界制御部１７から出力される領域座標情報に応じてスイッチ１６を切り替え、内挿フレーム生成処理結果を選択的に出力するものである。
【００５５】
例えば、前述したような、画郭周縁領域とそれ以外の領域とで異なる内挿フレーム生成処理を行う場合、第１の内挿フレーム生成処理部１２０ｂは前後２フレーム、すなわち両方向からの内挿フレーム生成を行い、もう一方の第２の内挿フレーム生成処理部１２１ｂは画像の欠如が生じていない方のフレームのみから、すなわち片方向からの内挿フレーム生成を行う構成とし、画郭周縁領域には、第２の内挿フレーム生成処理部１２１ｂから出力される片方向から内挿された内挿フレーム画像を出力し、それ以外の領域には、第１の内挿フレーム生成処理部１２０ｂから出力される両方向から内挿された内挿フレーム画像を出力するような構成が実現できる。
【００５６】
または、前述したような、スーパーインポーズされた画像領域およびスーパーインポーズされた画像の周辺領域とそれら以外の領域とで異なる内挿フレーム生成処理を行う場合、第１の内挿フレーム生成処理部１２０ｂは動き補償型の内挿フレーム生成処理を行い、もう一方の第２の内挿フレーム生成処理部１２１ｂは前後２フレーム間の線形内挿による内挿フレーム生成処理を行う構成とし、スーパーインポーズされた画像領域およびスーパーインポーズされた画像の周辺領域には、第２の内挿フレーム生成処理部１２１ｂから出力される線形内挿により生成された内挿フレーム画像を出力し、それら以外の領域には第１の内挿フレーム生成処理部１２０ｂから出力される動き補償により生成された内挿フレーム画像を出力するような構成が実現できる。
【００５７】
図１７（Ｂ）は、第１のパラメータ保存部１８１と第２のパラメータ保存部１８２との２つのパラメータ保存部を設け、それぞれに内挿フレーム生成処理に寄与する異なるパラメータを保存し、領域・境界制御部１７から出力される領域座標情報に応じて、内挿フレーム生成処理部１２２ｂに与えるパラメータを切り替えることで、画面領域毎に異なる内挿フレーム生成処理を行う。
【００５８】
例えば、前述したような、画郭周縁領域とそれ以外の領域とで異なる内挿フレーム生成処理を行う場合、第１のパラメータ保存部１８１には内挿ベクトルが指す前後フレームの画素データの混合比を１：１（平均）として内挿フレーム画像の画素データを生成するようなパラメータを設定し、もう一方の第２のパラメータ保存部１８２には内挿ベクトルが指す前後フレームの画素データの混合比を、画像の欠如が生じていない方のフレームの画素データに比重をかけて内挿フレーム画像の画素データを生成するようなパラメータを設定しておき、画郭周縁領域には第２のパラメータ保存部１８２に設定されたパラメータを用いて内挿フレーム生成処理を行い、それ以外の領域には第１のパラメータ保存部１８１に設定されたパラメータを用いて内挿フレーム生成処理を行うような構成が実現できる。
【特許文献１】特許第３２９５４３７号明細書
【特許文献２】特開平１１−１７７９４０号公報
【特許文献３】特開２００４−１２０７５７号公報
【特許文献４】特開昭６２−２１７７８４号公報
【非特許文献１】石黒秀一、栗田泰市郎、「８倍速ＣＲＴによるホールド発光型ディスプレイの動画質に関する検討」、信学技報、社団法人電子情報通信学会、ＥＩＤ９６−４（１９９６−０６）、ｐ．１９−２６
【非特許文献２】山内達郎、「テレビジョン方式変換」、テレビジョン学会誌、Ｖｏｌ．４５、Ｎｏ．１２、ｐｐ．１５３４−１５４３（１９９１）
【発明の開示】
【発明が解決しようとする課題】
【００５９】
上述したとおり、従来のフレームレート変換処理においては、１画面内の異なる領域毎に動き補償処理を行うか否かを切り換える（例えば、上述の特許文献２，３）、あるいは、動き補償処理自体は行うが、１画面内の領域毎に異なる動き補償処理とするなど、１画面内の領域毎に異なるフレームレート変換処理を施すことが行われることがある。ここで、異なる動き補償処理とする例としては、動きベクトル検出処理を画面領域毎に異ならしめるもの（例えば、上述の特願２００６−３２５１３９号明細書）や、内挿画像生成処理を画面領域毎に異ならしめるもの（例えば、上述の特許文献４）が挙げられる。
【００６０】
このように、１画面内の領域毎に異なるフレームレート変換処理を施した場合、画面領域の境界部分において処理が不連続であるため、該境界部分が目立ってしまい、結果として画質劣化が生じるという問題がある。
【００６１】
例えば、図１８（Ａ）は、背景に静止した灰色の２本の柱状の物があり、前景に文字が左方向へスクロールするテロップが重畳されている動画像の、あるフレーム（ｎフレーム目とする）の画像を図示したものであり、図１８（Ｂ）は、その次のｎ＋１フレーム目の画像を図示したものである。このような画像に対し、前記のようにテロップの領域とそれ以外の領域とで異なる動き補償処理を行った場合を考える。すなわち、テロップの存在する領域においては、テロップの文字の内挿画像の画質を向上するためにテロップベクトルを優先して選択して動きベクトル検出処理を行い、テロップ以外の領域に対しては、全画面の平均ベクトルを優先的に選択して動きベクトル検出処理を行う、あるいは０ベクトルを優先的に選択して動きベクトル検出処理を行う。
【００６２】
このような処理を行った場合に生成される内挿画像の例を図１８（Ｃ）に示す。これは、上記のように画面領域ごとに異なった動きベクトル検出処理を行い、また、図１８（Ａ）に示したｎフレーム目の画像のみを用いて内挿画像を生成した場合を示している。この場合、テロップの文字は正しい位置に内挿されるが、文字の背景の柱状の物が文字に引っ張られて文字と共に動いてしまい、異なる動きベクトル検出処理を行った領域の境目で背景画像のずれが発生する。
【００６３】
また、内挿画像の別の例を図１８（Ｄ）に示す。これは、上記のように画面領域ごとに異なった動きベクトル検出処理を行い、また、図１８（Ａ）に示したｎフレーム目の画像と図１８（Ｂ）に示したｎ＋１フレーム目の画像の両方を用いて内挿画像を生成した場合を示している。この場合も、図１８（Ｃ）の例と同様、文字の背景の柱状の物が文字に引っ張られて文字と共に動いてしまい、異なる動きベクトル検出処理を行った領域の境目で背景画像のずれが発生し、前後の２枚の画像の線形内挿により内挿画像を生成しているため、ずれた部分は薄い灰色となる。
【００６４】
図１８の例では背景に静止した灰色の２本の柱状の物のみがある場合について説明したが、実際の画像における背景はより複雑なテクスチャを持つ。よって上述した画像のずれは、図１８（Ｃ）および（Ｄ）において点線で示した部分全体に発生するため、領域の境界がはっきりと目立ってしまうという問題が発生する。
【００６５】
本発明は、上記課題に鑑みてなされたものであり、１画面内の領域毎に異なるフレームレート変換処理を施した場合であっても、画面領域の境界部分が目立つことによる画質劣化を防止することができる画像表示装置及び方法、画像処理装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００６６】
本願の第１の発明は、入力画像信号のフレーム数あるいはフィールド数を変換して、表示パネルへ出力するレート変換手段を備えた画像表示装置であって、前記レート変換手段が、画面分割領域毎に異なるフレームレート変換処理を行うとともに、前記領域の境界部分の画像に連続性を持たせる処理を行うことを特徴とする。
【００６７】
本願の第２の発明は、前記レート変換手段が、前記領域の境界部分の画像に連続性を持たせる処理として、前記異なるフレームレート変換処理を行う過程で得られるデータに対してフィルタ処理を施すことを特徴とする。
【００６８】
本願の第３の発明は、前記レート変換手段が、前記入力画像信号に含まれる連続したフレーム間あるいはフィールド間で動きベクトルを検出する動きベクトル検出部と、該検出した動きベクトルに基づいて、前記フレーム間あるいは前記フィールド間に内挿ベクトルを割り付ける内挿ベクトル割付部と、該割り付けた内挿ベクトルを用いて、前記入力画像信号から内挿画像信号を生成する内挿画像生成部と、該生成した内挿画像信号を前記フレーム間あるいは前記フィールド間に内挿する画像内挿部とを有することを特徴とする。
【００６９】
本願の第４の発明は、前記レート変換手段が、前記動きベクトル検出部により検出された前記領域の境界部分における動きベクトルに対してフィルタ処理を施すことを特徴とする。
【００７０】
本願の第５の発明は、前記レート変換手段が、前記内挿ベクトル割付部により割り付けられた前記領域の境界部分における内挿ベクトルに対してフィルタ処理を施すことを特徴とする。
【００７１】
本願の第６の発明は、前記レート変換手段が、前記内挿画像生成部により生成された前記領域の境界部分における内挿画像信号に対してフィルタ処理を施すことを特徴とする。
【００７２】
本願の第７の発明は、前記レート変換手段が、前記領域の境界からの距離に応じて、前記フィルタ処理のフィルタ強度を可変することを特徴とする。
【００７３】
本願の第８の発明は、前記レート変換手段が、前記領域の境界部分の画像に連続性を持たせる処理として、前記異なるフレームレート変換処理を行う過程で得られるデータに対して加重加算処理を施すことを特徴とする。
【００７４】
本願の第９の発明は、前記レート変換手段が、前記入力画像信号に含まれる連続したフレーム間あるいはフィールド間で動きベクトルを検出する動きベクトル検出部と、該検出した動きベクトルに基づいて、前記フレーム間あるいは前記フィールド間に内挿ベクトルを割り付ける内挿ベクトル割付部と、該割り付けた内挿ベクトルを用いて、前記入力画像信号から内挿画像信号を生成する内挿画像生成部と、該生成した内挿画像信号を前記フレーム間あるいは前記フィールド間に内挿する画像内挿部とを有することを特徴とする。
【００７５】
本願の第１０の発明は、前記レート変換手段が、前記動きベクトル検出部を複数有し、該複数の動きベクトル検出部のそれぞれにより検出された前記領域の境界部分における複数の動きベクトルを加重加算処理することを特徴とする。
【００７６】
本願の第１１の発明は、前記レート変換手段が、前記内挿ベクトル割付部を複数有し、該複数の内挿ベクトル割付部のそれぞれにより割り付けられた前記領域の境界部分における複数の内挿ベクトルを加重加算処理することを特徴とする。
【００７７】
本願の第１２の発明は、前記レート変換手段が、前記内挿画像生成部を複数有し、該複数の内挿画像生成部のそれぞれにより生成された前記領域の境界部分における複数の内挿画像信号を加重加算処理することを特徴とする。
【００７８】
本願の第１３の発明は、前記レート変換手段が、前記領域の境界からの距離に応じて、前記加重加算処理の加重加算比率を可変することを特徴とする。
【００７９】
本願の第１４の発明は、前記レート変換手段が、前記領域毎に動き補償処理を施すか否かを切り換えてフレームレート変換処理を行うことを特徴とする。
【００８０】
本願の第１５の発明は、前記レート変換手段が、前記領域毎に異なる動き補償処理を施したフレームレート変換処理を行うことを特徴とする。
【００８１】
本願の第１６の発明は、入力画像信号のフレーム数あるいはフィールド数を変換するレート変換ステップを備えた画像表示方法であって、前記レート変換ステップが、画面分割領域毎に異なるフレームレート変換処理を行うとともに、前記領域の境界部分の画像に連続性を持たせる処理を施すことを特徴とする。
【００８２】
本願の第１７の発明は、前記レート変換ステップが、前記領域の境界部分の画像に連続性を持たせる処理として、前記異なるフレームレート変換処理を行う過程で得られるデータに対してフィルタ処理を施すことを特徴とする。
【００８３】
本願の第１８の発明は、前記レート変換ステップが、前記領域の境界部分の画像に連続性を持たせる処理として、前記異なるフレームレート変換処理を行う過程で得られるデータに対して加重加算処理を施すことを特徴とする。
【００８４】
本願の第１９の発明は、入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段を備えた画像処理装置であって、前記レート変換手段が、画面分割領域毎に異なるフレームレート変換処理を行うとともに、前記領域の境界部分の画像に連続性を持たせる処理を施すことを特徴とする。
【００８５】
本願の第２０の発明は、入力画像信号のフレーム数あるいはフィールド数を変換するレート変換ステップを備えた画像処理方法であって、前記レート変換ステップが、画面分割領域毎に異なるフレームレート変換処理を行うとともに、前記領域の境界部分の画像に連続性を持たせる処理を施すことを特徴とする。
【発明の効果】
【００８６】
本発明によれば、１画面内の領域毎に異なるフレームレート変換処理を施した場合に、領域の境界部分の画像に連続性を持たせる処理を行うことにより、領域の境界部分における画質劣化を防止することができる。
【発明を実施するための最良の形態】
【００８７】
以下、添付図面を参照しながら本発明の好適な画像表示装置に係るＦＲＣ部の実施の形態について詳細に説明するが、上述した従来例と同一部分には同一符号を付し、その詳細な説明は省略する。なお、本発明は、フィールド信号及び内挿フィールド信号、フレーム信号及び内挿フレーム信号のいずれに対しても適用できるものであるが、両者（フィールドとフレーム）は互いに類似の関係にあるため、フレーム信号及び内挿フレーム信号を代表例として説明するものとする。
【００８８】
（第１の実施形態）
本発明の第１の実施形態は、１画面内を複数の領域に分割して、それぞれの領域で異なる動きベクトル検出処理を行うときに、画面領域の境界部分の動きベクトルに対して動きベクトルフィルタ処理を施すことにより、該領域の境界部分での画質劣化を防止するものである。
【００８９】
図１は、本発明の第１の実施形態に係るＦＲＣ部１０の要部構成例を示すブロック図である。本実施形態のＦＲＣ部１０は、遅延部１９、領域検出部２０、領域・境界制御部１７、動きベクトル検出部１１ｅ、動きベクトルフィルタ部２１、内挿ベクトル割付部１１ｆ、内挿フレーム生成部１２ｂ、タイムベース変換部１２ｄを備えている。
【００９０】
入力画像信号は、遅延部１９によって１フレーム期間遅延され、前フレームと現フレームとのそれぞれの画像データは、領域検出部２０、動きベクトル検出部１１ｅ、内挿ベクトル割付部１１ｆ、及び内挿フレーム生成部１２ｂに入力される。
【００９１】
領域検出部２０は、テロップなどの特殊な動きをもつ領域やスーパーインポーズされた領域、画郭周縁領域などの所定の画面領域を検出するためのものであり、該所定の画面領域を示す領域座標情報を領域・境界制御部１７に出力する。領域・境界制御部１７は、領域検出部２０にて検出された領域座標情報に基づいて、画面領域毎に動きベクトル検出処理を異ならしめるための制御信号と前記領域座標情報とを出力する。
【００９２】
動きベクトル検出部１１ｅは、従来技術として説明した図１６（Ａ）、（Ｂ）のような構成を用いたもので、領域・境界制御部１７からの情報を基に画面領域毎に異なる動きベクトル検出処理を行い、動きベクトルフィルタ処理部２１に動きベクトルを出力する。
【００９３】
動きベクトルフィルタ処理部２１は、領域・境界制御部１７からの領域座標情報を基に、画面分割領域の境界部分の動きベクトルに対し、フィルタ処理を行い、該領域の境界部分の動きベクトルが連続的に変化するような処理を行う。ここでのフィルタ処理は、例えば、画面領域の境界部分に位置する対象ブロックの動きベクトルとその近傍ブロックの動きベクトルとに対してＬＰＦを掛けて動きベクトルの平滑化を行うものである。また、このＬＰＦは、画面領域の境界からの距離に応じて強度を変化させてもよい。例えば、画面領域の境界から離れるに従って強度を弱める。
【００９４】
内挿ベクトル割付部１１ｆは、動きベクトル検出部１１ｅから出力された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付ける処理を行う。内挿フレーム生成部１２ｂは、内挿ベクトル割付部１１ｆから出力された内挿ベクトルを用いて内挿フレームを生成する。
【００９５】
タイムベース変換部１２ｄは、遅延部１９から出力される前フレーム画像と内挿フレーム生成部１２ｂから出力される内挿フレーム画像とを入力とし、前フレーム画像、内挿フレーム画像の順に出力するようにフレームレート変換処理を行い、１２０フレーム／秒の出力画像信号を出力する。
【００９６】
このように、１画面内の領域毎に異なるフレームレート変換処理を施した場合には、画面領域の境界部分の動きベクトルに対して動きベクトルフィルタ処理を施し、該領域の境界部分の動きベクトルを連続的に変化させることで、画面領域毎に異なるフレームレート変換処理を施すことに起因する、該画面領域の境界部分における画質劣化を効果的に防止することができる。
【００９７】
（第２の実施形態）
本発明の第２の実施形態は、１画面内を複数の領域に分割して、それぞれの領域で異なる動きベクトル検出処理を行うときに、画面領域の境界部分の内挿ベクトルに対して内挿ベクトルフィルタ処理を施すことにより、該領域の境界部分での画質劣化を防止するものである。
【００９８】
図２は、本発明の第２の実施形態に係るＦＲＣ部１０の要部構成例を示すブロック図である。本実施形態のＦＲＣ部１０は、遅延部１９、領域検出部２０、領域・境界制御部１７、動きベクトル検出部１１ｅ、内挿ベクトル割付部１１ｆ、内挿ベクトルフィルタ部２２、内挿フレーム生成部１２ｂ、タイムベース変換部１２ｄを備えている。
【００９９】
入力画像信号は、遅延部１９によって１フレーム期間遅延され、前フレームと現フレームとのそれぞれの画像データは、領域検出部２０、動きベクトル検出部１１ｅ、内挿ベクトル割付部１１ｆ、及び内挿フレーム生成部１２ｂに入力される。
【０１００】
領域検出部２０は、テロップなどの特殊な動きをもつ領域やスーパーインポーズされた領域、画郭周縁領域などの所定の画面領域を検出するためのものであり、該所定の画面領域を示す領域座標情報を領域・境界制御部１７に出力する。領域・境界制御部１７は、領域検出部２０にて検出された領域座標情報に基づいて、画面領域毎に動きベクトル検出処理を異ならしめるための制御信号と前記領域座標情報とを出力する。
【０１０１】
動きベクトル検出部１１ｅは、従来技術として説明した図１６（Ａ）、（Ｂ）のような構成を用いたもので、領域・境界制御部１７からの情報を基に画面領域毎に異なる動きベクトル検出処理を行い、内挿ベクトル割付部１１ｆに動きベクトルを出力する。
【０１０２】
内挿ベクトル割付部１１ｆは、動きベクトル検出部１１ｅから出力された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付ける処理を行う。
【０１０３】
内挿ベクトルフィルタ処理部２２は、領域・境界制御部１７からの領域座標情報を基に、画面分割領域の境界部分の内挿ベクトルに対し、フィルタ処理を行い、該領域の境界部分の内挿ベクトルが連続的に変化するような処理を行う。ここでのフィルタ処理は、例えば、画面領域の境界部分に位置する対象ブロックの内挿ベクトルとその近傍ブロックの内挿ベクトルとに対してＬＰＦを掛けて内挿ベクトルの平滑化を行うものである。また、このＬＰＦは、画面領域の境界からの距離に応じて強度を変化させてもよい。例えば、画面領域の境界から離れるに従って強度を弱める。
【０１０４】
内挿フレーム生成部１２ｂは、内挿ベクトルフィルタ処理部２２から出力された内挿ベクトルを用いて内挿フレームを生成する。
【０１０５】
タイムベース変換部１２ｄは、遅延部１９から出力される前フレーム画像と内挿フレーム生成部１２ｂから出力される内挿フレーム画像とを入力とし、前フレーム画像、内挿フレーム画像の順に出力するようにフレームレート変換処理を行い、１２０フレーム／秒の出力画像信号を出力する。
【０１０６】
このように、１画面内の領域毎に異なるフレームレート変換処理を施した場合には、画面領域の境界部分の内挿ベクトルに対して内挿ベクトルフィルタ処理を施し、該領域の境界部分の内挿ベクトルを連続的に変化させることで、画面領域毎に異なるフレームレート変換処理を施すことに起因する、該画面領域の境界部分における画質劣化を効果的に防止することができる。
【０１０７】
（第３の実施形態）
本発明の第３の実施形態は、１画面内を複数の領域に分割して、それぞれの領域で異なる動きベクトル検出処理を行うときに、画面領域の境界部分の画像に対して空間フィルタ処理を施すことにより、該領域の境界部分での画質劣化を防止するものである。
【０１０８】
図３は、本発明の第３の実施形態に係るＦＲＣ部１０の要部構成例を示すブロック図である。本実施形態のＦＲＣ部１０は、遅延部１９、領域検出部２０、領域・境界制御部１７、動きベクトル検出部１１ｅ、内挿ベクトル割付部１１ｆ、内挿フレーム生成部１２ｂ、空間フィルタ処理部２３、タイムベース変換部１２ｄを備えている。
【０１０９】
入力画像信号は、遅延部１９によって１フレーム期間遅延され、前フレームと現フレームとのそれぞれの画像データは、領域検出部２０、動きベクトル検出部１１ｅ、内挿ベクトル割付部１１ｆ、及び内挿フレーム生成部１２ｂに入力される。
【０１１０】
領域検出部２０は、テロップなどの特殊な動きをもつ領域やスーパーインポーズされた領域、画郭周縁領域などの所定の画面領域を検出するためのものであり、該所定の画面領域を示す領域座標情報を領域・境界制御部１７に出力する。領域・境界制御部１７は、領域検出部２０にて検出された領域座標情報に基づいて、画面領域毎に動きベクトル検出処理を異ならしめるための制御信号と前記領域座標情報とを出力する。
【０１１１】
動きベクトル検出部１１ｅは、従来技術として説明した図１６（Ａ）、（Ｂ）のような構成を用いたもので、領域・境界制御部１７からの情報を基に画面領域毎に異なる動きベクトル検出処理を行い、内挿ベクトル割付部１１ｆに動きベクトルを出力する。
【０１１２】
内挿ベクトル割付部１１ｆは、動きベクトル検出部１１ｅから出力された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付ける処理を行う。内挿フレーム生成部１２ｂは、内挿ベクトル割付部１１ｆから出力された内挿ベクトルを用いて内挿フレームを生成する。
【０１１３】
ここで、前記動きベクトル検出部１１ｅにて、画面領域毎に異なる動きベクトル検出処理を行い、この結果を用いて内挿フレーム生成処理を行うため、最終的に出力される内挿フレーム画像にも画面領域毎に異なる処理が施されることとなる。このため、内挿フレーム生成部１２ｂから出力される内挿フレーム画像を空間フィルタ処理部２３に出力し、画面領域の境界部分の画像に対し、フィルタ処理を行う。
【０１１４】
空間フィルタ処理部２３は、領域・境界制御部１７から得る領域座標情報を用いて、１画面内のそれぞれの領域の境界部分の画像信号に対し、空間フィルタ処理を行い、該領域の境界部分における画像を連続的に変化させるようにする。空間フィルタ処理は、画面領域の境界部分に位置する画像データとその近傍の画像データとに対してＬＰＦを掛けて内挿フレーム画像の平滑化を行うものである。また、このＬＰＦは、画面領域の境界からの距離に応じて強度を変化させてもよい。例えば、画面領域の境界から離れるに従って強度を弱める。
【０１１５】
タイムベース変換部１２ｄは、遅延部１９から出力される前フレーム画像と空間フィルタ処理部２３から出力される内挿フレーム画像とを入力とし、前フレーム画像、内挿フレーム画像の順に出力するようにフレームレート変換処理を行い、１２０フレーム／秒の出力画像信号を出力する。
【０１１６】
このように、１画面内の領域毎に異なるフレームレート変換処理を施した場合には、画面領域の境界部分の内挿フレーム画像に対して空間フィルタ処理を施し、該領域の境界部分の内挿フレーム画像を連続的に変化させることで、画面領域毎に異なるフレームレート変換処理を施すことに起因する、該画面領域の画面境界部分における画質劣化を効果的に防止することができる。
【０１１７】
（第４の実施形態）
本発明の第４の実施形態は、１画面内を複数の領域に分割して、それぞれの領域で異なる内挿フレーム生成処理を行うときに、画面領域の境界部分の画像に対し、空間フィルタ処理を施すことにより、該領域の境界部分での画質劣化を防止するものである。
【０１１８】
図４は、本発明の第４の実施形態に係るＦＲＣ部１０の要部構成例を示すブロック図である。本実施形態のＦＲＣ部１０は、遅延部１９、領域検出部２０、領域・境界制御部１７、動きベクトル検出部１１ｅ、内挿ベクトル割付部１１ｆ、内挿フレーム生成部１２ｂ、空間フィルタ処理部２３、タイムベース変換部１２ｄを備えている。
【０１１９】
入力画像信号は、遅延部１９によって１フレーム期間遅延され、前フレームと現フレームとのそれぞれの画像データは、領域検出部２０、動きベクトル検出部１１ｅ、内挿ベクトル割付部１１ｆ、及び内挿フレーム生成部１２ｂに入力される。
【０１２０】
領域検出部２０は、テロップなどの特殊な動きをもつ領域やスーパーインポーズされた領域、画郭周縁領域などの所定の画面領域を検出するためのものであり、該所定の画面領域を示す領域座標情報を領域・境界制御部１７に出力する。領域・境界制御部１７は、領域検出部２０にて検出された領域座標情報に基づいて、画面領域毎に動きベクトル検出処理を異ならしめるための制御信号と前記領域座標情報とを出力する。
【０１２１】
動きベクトル検出部１１ｅは、動きベクトル検出処理を行い、内挿ベクトル割付部１１ｆに動きベクトルを出力する。
【０１２２】
内挿ベクトル割付部１１ｆは、動きベクトル検出部１１ｅから出力された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付ける処理を行う。
【０１２３】
内挿フレーム生成部１２ｂは、従来技術として説明した図１７（Ａ）、（Ｂ）のような構成を用いたもので、領域・境界制御部１７からの座標情報に基づいて画面領域毎に異なる内挿フレーム生成処理を施し、内挿フレーム画像を出力する。
【０１２４】
空間フィルタ処理部２３は、領域・境界制御部１７から得る領域座標情報を用いて、１画面内のそれぞれの領域の境界部分の画像信号に対し、空間フィルタ処理を行い、該領域の境界部分における画像を連続的に変化させるようにする。空間フィルタ処理は、画面領域の境界部分に位置する画像データとその近傍の画像データとに対してＬＰＦを掛けて内挿フレーム画像の平滑化を行うものである。また、このＬＰＦは、画面領域の境界からの距離に応じて強度を変化させてもよい。例えば、画面領域の境界から離れるに従って強度を弱める。
【０１２５】
タイムベース変換部１２ｄは、遅延部１９から出力される前フレーム画像と空間フィルタ処理部２３から出力される内挿フレーム画像とを入力とし、前フレーム画像、内挿フレーム画像の順に出力するようにフレームレート変換処理を行い、１２０フレーム／秒の出力画像信号を出力する。
【０１２６】
このように、１画面内の領域毎に異なるフレームレート変換処理を施した場合には、画面領域の境界部分の内挿フレーム画像に対して空間フィルタ処理を施し、該領域の境界部分の内挿フレーム画像を連続的に変化させることで、画面領域毎に異なるフレームレート変換処理を施すことに起因する、該画面領域の境界部分における画質劣化を効果的に防止することができる。
【０１２７】
（第５の実施形態）
本発明の第５の実施形態は、１画面内を複数の領域に分割して、それぞれの領域で異なる動きベクトル検出処理を行うときに、動きベクトル検出部を複数設け、これらの動きベクトル検出部から出力される動きベクトルを画面領域の境界部分で加重加算処理することにより、該領域の境界部分での画質劣化を防止するものである。
【０１２８】
図５は、本発明の第５の実施形態に係るＦＲＣ部１０の要部構成例を示すブロック図である。本実施形態のＦＲＣ部１０は、遅延部１９、領域検出部２０、領域・境界制御部１７、第１の動きベクトル検出部１１３ｅ、第２の動きベクトル検出部１１４ｅ、動きベクトル加重加算処理部２４、内挿ベクトル割付部１１ｆ、内挿フレーム生成部１２ｂ、タイムベース変換部１２ｄを備えている。
【０１２９】
入力画像信号は、遅延部１９によって１フレーム期間遅延され、前フレームと現フレームとのそれぞれの画像データは、領域検出部２０、第１の動きベクトル検出部１１３ｅ、第２の動きベクトル検出部１１３ｅ、内挿ベクトル割付部１１ｆ、及び内挿フレーム生成部１２ｂに入力される。
【０１３０】
領域検出部２０は、テロップなどの特殊な動きをもつ領域やスーパーインポーズされた領域、画郭周縁領域などの所定の画面領域を検出するためのものであり、該所定の画面領域を示す領域座標情報を領域・境界制御部１７に出力する。領域・境界制御部１７は、領域検出部２０にて検出された領域座標情報に基づいて、画面領域毎に動きベクトル検出処理を異ならしめるための制御信号と前記領域座標情報とを出力する。
【０１３１】
第１の動きベクトル検出部１１３ｅと第２の動きベクトル検出部１１４ｅとは、それぞれ異なる動きベクトル検出処理を行うものである。例えば、水平方向にスクロールするテロップが含まれる映像において、第１の動きベクトル検出部１１３ｅでは、該テロップ領域の画質向上を実現するために、該テロップの動きベクトル（テロップベクトル）を優先的に選択する動きベクトル検出処理を行い、第２の動きベクトル検出部１１４ｅでは、背景映像などのテロップ以外の領域の画質向上を実現するために、全画面の平均ベクトルを優先的に選択する動きベクトル検出処理を行う。これら２つの動きベクトル検出部は、それぞれ全画面分の動きベクトル検出処理を並列に行い、後の動きベクトル加重加算処理部２４にて画面領域に応じて選択的に用いられる。
【０１３２】
動きベクトル加重加算部２４は、第１の動きベクトル検出部１１３ｅと第２の動きベクトル検出部１１４ｅとから出力される２つの動きベクトルを入力とし、領域・境界制御部１７から得る領域座標情報に応じて、該２つの動きベクトルを加重加算して動きベクトルを生成する。加重加算処理は、画面分割領域の境界からの距離に応じて加重加算比率を変えてもよい。
【０１３３】
例えば、テロップが含まれる映像において、１画面内をテロップ領域とそれ以外の領域とに分割した場合、これらの画面領域の境界に位置するブロックの動きベクトルは、テロップベクトルを優先的に選択して検出された動きベクトルと、全画面の平均ベクトルを優先的に選択して検出された動きベクトルとを１：１の比率で加重加算処理を行う。
【０１３４】
また、画面領域の境界からテロップ領域側に離れるに従って、テロップベクトルを優先的に選択して検出された動きベクトルの加重加算比率を高くし、画面領域の境界からテロップ領域以外の領域側に離れるに従って、全画面の平均ベクトルを優先的に選択して検出された動きベクトルの加重加算比率を高くすることで、画面領域の境界部分を連続的に変化させることが可能となる。
【０１３５】
内挿ベクトル割付部１１ｆは、動きベクトル加重加算処理部２４から出力された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付ける処理を行う。内挿フレーム生成部１２ｂは、内挿ベクトル割付部１１ｆから出力された内挿ベクトルを用いて内挿フレームを生成する。
【０１３６】
タイムベース変換部１２ｄは、遅延部１９から出力される前フレーム画像と内挿フレーム生成部１２ｂから出力される内挿フレーム画像とを入力とし、前フレーム画像、内挿フレーム画像の順に出力するようにフレームレート変換処理を行い、１２０フレーム／秒の出力画像信号を出力する。
【０１３７】
このように、１画面内の領域毎に異なるフレームレート変換処理を施した場合には、異なる動きベクトル検出処理で検出された複数の動きベクトルを、領域座標情報に応じて加重加算処理し、画面領域の境界部分の動きベクトルを連続的に変化させることで、画面領域毎に異なるフレームレート変換処理を施すことによる、該画面領域の境界部分における画質劣化を効果的に防止することができる。
【０１３８】
（第６の実施形態）
本発明の第６の実施形態は、１画面内を複数の領域に分割して、それぞれの領域で異なる動きベクトル検出処理を行うときに、動きベクトル検出部、および内挿ベクトル割付部を複数設け、内挿ベクトル割付部から出力される内挿ベクトルを画面領域の境界部分で加重加算処理することにより、該領域の境界部分での画質劣化を防止するものである。
【０１３９】
図６は、本発明の第６の実施形態に係るＦＲＣ部１０の要部構成例を示すブロック図である。本実施形態のＦＲＣ部１０は、遅延部１９、領域検出部２０、領域・境界制御部１７、第１の動きベクトル検出部１１３ｅ、第２の動きベクトル検出部１１４ｅ、第１の内挿ベクトル割付部１１０ｆ、第２の内挿ベクトル割付部１１１ｆ、内挿ベクトル加重加算処理部２５、内挿フレーム生成部１２ｂ、タイムベース変換部１２ｄを備えている。
【０１４０】
入力画像信号は、遅延部１９によって１フレーム期間遅延され、前フレームと現フレームとのそれぞれの画像データは、領域検出部２０、第１の動きベクトル検出部１１３ｅ、第２の動きベクトル検出部１１３ｅ、第１の内挿ベクトル割付部１１０ｆ、第２の内挿ベクトル割付部１１１ｆ、及び内挿フレーム生成部１２ｂに入力される。
【０１４１】
領域検出部２０は、テロップなどの特殊な動きをもつ領域やスーパーインポーズされた領域、画郭周縁領域などの所定の画面領域を検出するためのものであり、該所定の画面領域を示す領域座標情報を領域・境界制御部１７に出力する。領域・境界制御部１７は、領域検出部２０にて検出された領域座標情報に基づいて、画面領域毎に動きベクトル検出処理を異ならしめるための制御信号と前記領域座標情報とを出力する。
【０１４２】
第１の動きベクトル検出部１１３ｅと第２の動きベクトル検出部１１４ｅとは、それぞれ異なる動きベクトル検出処理を行うものである。例えば、水平方向にスクロールするテロップが含まれる映像において、第１の動きベクトル検出部１１３ｅでは、該テロップ領域の画質向上を実現するために、該テロップの動きベクトル（テロップベクトル）を優先的に選択する動きベクトル検出処理を行い、第２の動きベクトル検出部１１４ｅでは、背景映像などのテロップ以外の領域の画質向上を実現するために、全画面の平均ベクトルを優先的に選択する動きベクトル検出処理を行う。これら２つの動きベクトル検出部は、それぞれ全画面分の動きベクトル検出処理を並列に行い、さらに、それぞれで内挿ベクトル割付を行い、後の内挿ベクトル加重加算処理部２５にて画面領域に応じて選択的に用いられる。
【０１４３】
第１の内挿ベクトル割付部１１０ｆは第１の動きベクトル検出部１１３ｅから、第２の内挿ベクトル割付部１１１ｆは第２の動きベクトル検出部１１４ｅから出力された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付ける処理を行う。
【０１４４】
内挿ベクトル加重加算部２５は、第１の内挿ベクトル割付部１１０ｆと第２の内挿ベクトル割付部１１１ｆとから出力される２つの内挿ベクトルを入力とし、領域・境界制御部１７から得る領域座標情報に応じて、該２つの内挿ベクトルを加重加算して内挿ベクトルを生成する。加重加算処理は、画面分割領域の境界からの距離に応じて加重加算比率を変えてもよい。
【０１４５】
例えば、テロップが含まれる映像において、１画面内をテロップ領域とそれ以外の領域とに分割した場合、これらの画面領域の境界に位置するブロックの内挿ベクトルは、テロップベクトルを優先的に選択して検出された動きベクトルが割り付けられた内挿ベクトルと、全画面の平均ベクトルを優先的に選択して検出された動きベクトルが割付けられた内挿ベクトルとを１：１の比率で加重加算処理を行う。
【０１４６】
また、画面領域の境界からテロップ領域側に離れるに従って、テロップベクトルを優先的に選択して検出された動きベクトルが割り付けられた内挿ベクトルの加重加算比率を高くし、領域の境界からテロップ領域以外の領域側に離れるに従って、全画面の平均ベクトルを優先的に選択して検出された動きベクトルが割り付けられた内挿ベクトルの加重加算比率を高くすることで、画面領域の境界部分を連続的に変化させることが可能となる。
【０１４７】
内挿フレーム生成部１２ｂは、内挿ベクトル加重加算処理部２５から出力された内挿ベクトルを用いて内挿フレームを生成する。
【０１４８】
タイムベース変換部１２ｄは、遅延部１９から出力される前フレーム画像と内挿フレーム生成部１２ｂから出力される内挿フレーム画像とを入力とし、前フレーム画像、内挿フレーム画像の順に出力するようにフレームレート変換処理を行い、１２０フレーム／秒の出力画像信号を出力する。
【０１４９】
このように、１画面内の領域毎に異なるフレームレート変換処理を施した場合には、異なる動きベクトル検出処理で検出された動きベクトルが割り付けられた複数の内挿ベクトルを、領域座標情報に応じて加重加算処理し、画面領域の境界部分の内挿ベクトルを連続的に変化させることで、画面領域毎に異なるフレームレート変換処理を施すことによる、該画面領域の境界部分における画質劣化を効果的に防止することができる。
【０１５０】
（第７の実施形態）
本発明の第７の実施形態は、１画面内を複数の領域に分割して、それぞれの領域で異なる動きベクトル検出処理を行うときに、動きベクトル検出部、内挿ベクトル割付部、および内挿フレーム生成部を複数設け、内挿フレーム生成部から出力される内挿フレーム画像を画面領域の境界部分で加重加算処理することにより、該領域の境界部分での画質劣化を防止するものである。
【０１５１】
図７は、本発明の第７の実施形態に係るＦＲＣ部１０の要部構成例を示すブロック図である。本実施形態のＦＲＣ部１０は、遅延部１９、領域検出部２０、領域・境界制御部１７、第１の動きベクトル検出部１１３ｅ、第２の動きベクトル検出部１１４ｅ、第１の内挿ベクトル割付部１１０ｆ、第２の内挿ベクトル割付部１１１ｆ、第１の内挿フレーム生成部１２３ｂ、第２の内挿フレーム生成部１２４ｂ、内挿画像加重加算処理部２６、タイムベース変換部１２ｄを備えている。
【０１５２】
入力画像信号は、遅延部１９によって１フレーム期間遅延され、前フレームと現フレームとのそれぞれの画像データは、領域検出部２０、第１の動きベクトル検出部１１３ｅ、第２の動きベクトル検出部１１３ｅ、第１の内挿ベクトル割付部１１０ｆ、第２の内挿ベクトル割付部１１１ｆ、第１の内挿フレーム生成部１２３ｂ、第２の内挿フレーム生成部１２４ｂに入力される。
【０１５３】
領域検出部２０は、テロップなどの特殊な動きをもつ領域やスーパーインポーズされた領域、画郭周縁領域などの所定の画面領域を検出するためのものであり、該所定の画面領域を示す領域座標情報を領域・境界制御部１７に出力する。領域・境界制御部１７は、領域検出部２０にて検出された領域座標情報に基づいて、画面領域毎に動きベクトル検出処理を異ならしめるための制御信号と前記領域座標情報とを出力する。
【０１５４】
第１の動きベクトル検出部１１３ｅと第２の動きベクトル検出部１１４ｅとは、それぞれ異なる動きベクトル検出処理を行うものである。例えば、水平方向にスクロールするテロップが含まれる映像において、第１の動きベクトル検出部１１３ｅでは、該テロップ領域の画質向上を実現するために、該テロップの動きベクトル（テロップベクトル）を優先的に選択する動きベクトル検出処理を行い、第２の動きベクトル検出部１１４ｅでは、背景映像などのテロップ以外の領域の画質向上を実現するために、全画面の平均ベクトルを優先的に選択する動きベクトル検出処理を行う。これら２つの動きベクトル検出部は、それぞれ全画面分の動きベクトル検出処理を並列に行い、さらに、それぞれで内挿ベクトル割付、及び内挿フレーム生成を行い、後の内挿画像加重加算処理部２６にて領域に応じて選択的に用いられる。
【０１５５】
第１の内挿ベクトル割付部１１０ｆは第１の動きベクトル検出部１１３ｅから、第２の内挿ベクトル割付部１１１ｆは第２の動きベクトル検出部１１４ｅから出力された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付ける処理を行う。
【０１５６】
第１の内挿フレーム生成部１２３ｂは第１の内挿ベクトル割付部１１０ｆから、第２の内挿フレーム生成部１２４ｂは第２の内挿ベクトル割付部１１１ｆから出力された内挿ベクトルを用いて内挿フレームを生成する。
【０１５７】
内挿画像加重加算部２６は、第１の内挿フレーム生成部１２３ｂと第２の内挿フレーム生成部１２４ｂとから出力される２つの内挿画像を入力とし、領域・境界制御部１７から得る領域座標情報に応じて、該２つの内挿画像を加重加算して内挿フレーム画像を生成する。加重加算処理は、画面分割領域の境界からの距離に応じて加重加算比率を変えてもよい。
【０１５８】
例えば、テロップが含まれる映像において、１画面内をテロップ領域とそれ以外の領域とに分割した場合、これらの画面領域の境界に位置する画像データは、テロップベクトルを優先的に選択して検出された動きベクトルに基づいて生成された内挿画像と、全画面の平均ベクトルを優先的に選択して検出された動きベクトルに基づいて生成された内挿画像とを１：１の比率で加重加算処理を行う。
【０１５９】
また、画面領域の境界からテロップ領域側に離れるに従って、テロップベクトルを優先的に選択して検出された動きベクトルに基づいて生成された内挿フレーム画像の加重加算比率を高くし、画面領域の境界からテロップ領域以外の領域側に離れるに従って、全画面の平均ベクトルを優先的に選択して検出された動きベクトルに基づいて生成された内挿フレーム画像の加重加算比率を高くすることで、画面領域の境界部分を連続的に変化させることが可能となる。
【０１６０】
タイムベース変換部１２ｄは、遅延部１９から出力される前フレーム画像と内挿画像加重加算部２６から出力される内挿フレーム画像とを入力とし、前フレーム画像、内挿フレーム画像の順に出力するようにフレームレート変換処理を行い、１２０フレーム／秒の出力画像信号を出力する。
【０１６１】
このように、１画面内の領域毎に異なるフレームレート変換処理を施した場合には、異なる動きベクトル検出処理で検出された動きベクトルに基づいて生成された複数の内挿フレーム画像を、領域座標情報に応じて加重加算処理し、画面領域の境界部分の内挿画像を連続的に変化させることで、画面領域毎に異なるフレームレート変換処理を施すことによる、該画面領域の境界部分における画質劣化を効果的に防止することができる。
【０１６２】
（第８の実施形態）
本発明の第８の実施形態は、１画面内を複数の領域に分割して、それぞれの領域で異なる内挿フレーム生成処理を行うときに、内挿フレーム生成部を複数設け、内挿フレーム生成部から出力される内挿フレーム画像を画面領域の境界部分で加重加算処理することにより、該領域の境界部分での画質劣化を防止するものである。
【０１６３】
図８は、本発明の第８の実施形態に係るＦＲＣ部１０の要部構成例を示すブロック図である。本実施形態のＦＲＣ部１０は、遅延部１９、領域検出部２０、領域・境界制御部１７、動きベクトル検出部１１ｅ、内挿ベクトル割付部１１ｆ、第１の内挿フレーム生成部１２３ｂ、第２の内挿フレーム生成部１２４ｂ、内挿画像加重加算処理部２６、タイムベース変換部１２ｄを備えている。
【０１６４】
入力画像信号は、遅延部１９によって１フレーム期間遅延され、前フレームと現フレームとのそれぞれの画像データは、領域検出部２０、動きベクトル検出部１１ｅ、内挿ベクトル割付部１１ｆ、第１の内挿フレーム生成部１２３ｂ、第２の内挿フレーム生成部１２４ｂに入力される。
【０１６５】
領域検出部２０は、テロップなどの特殊な動きをもつ領域やスーパーインポーズされた領域、画郭周縁領域などの所定の画面領域を検出するためのものであり、該所定の画面領域を示す領域座標情報を領域・境界制御部１７に出力する。領域・境界制御部１７は、領域検出部２０にて検出された領域座標情報に基づいて、画面領域毎に動きベクトル検出処理を異ならしめるための制御信号と前記領域座標情報とを出力する。
【０１６６】
動きベクトル検出部は、動きベクトル検出処理を行い、内挿ベクトル割付部１１ｆに動きベクトルを出力する。
【０１６７】
内挿ベクトル割付部１１ｆは動きベクトル検出部１１ｅから出力された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付ける処理を行う。
【０１６８】
第１の内挿フレーム生成部１２３ｂと第２の内挿フレーム生成部１２４ｂとは、それぞれ異なる内挿フレーム生成処理を行うものである。例えば、画郭周縁領域とそれ以外の領域とに分割して、それぞれの画面領域で異なる内挿フレーム生成処理を行う場合、第１の内挿フレーム生成部１２３ｂは前後２フレーム、すなわち両方向からの内挿フレーム生成を行い、もう一方の第２の内挿フレーム生成部１２４ｂは画像の欠如が生じていない方のフレームのみから、すなわち片方向からの内挿フレーム生成を行う構成とし、画郭周縁領域には、第１の内挿フレーム生成処理部１２３ｂから出力される片方向から内挿された内挿フレーム画像を出力し、それ以外の領域には、第２の内挿フレーム生成処理部１２４ｂから出力される両方向から内挿された内挿フレーム画像を出力する。これら２つの内挿フレーム生成部は、それぞれ全画面分の内挿フレーム生成処理を並列に行い、後の内挿画像加重加算処理部２６にて画面領域に応じて選択的に用いられる。
【０１６９】
内挿画像加重加算部２６は、第１の内挿フレーム生成部１２３ｂと第２の内挿フレーム生成部１２４ｂとから出力される２つの内挿画像を入力とし、領域・境界制御部１７から得る領域座標情報に応じて、該２つの内挿画像を加重加算して内挿フレーム画像を生成する。加重加算処理は、画面分割領域の境界からの距離に応じて加重加算比率を変えてもよい。
【０１７０】
例えば、画郭周縁領域とそれ以外の領域とに分割した場合、これらの画面領域の境界に位置する画像データは、画郭周縁領域に用いる片方向から内挿された内挿フレーム画像と、それ以外の領域に用いる両方向から内挿された内挿フレーム画像とを１：１の比率で加重加算処理を行う。
【０１７１】
また、画面領域の境界から画郭周縁領域側に離れるに従って、片方向から内挿された内挿フレーム画像の加重加算比率を高くし、画面領域の境界から画郭周縁領域以外の領域側に離れるに従って、両方向から内挿された内挿フレーム画像の加重加算比率を高くすることで、画面領域の境界部分を連続的に変化させることが可能となる。
【０１７２】
タイムベース変換部１２ｄは、遅延部１９から出力される前フレーム画像と内挿画像加重加算部２６から出力される内挿フレーム画像とを入力とし、前フレーム画像、内挿フレーム画像の順に出力するようにフレームレート変換処理を行い、１２０フレーム／秒の出力画像信号を出力する。
【０１７３】
このように、１画面内の領域毎に異なるフレームレート変換処理を施した場合には、異なる内挿フレーム生成処理にて生成された複数の内挿フレーム画像を、領域座標情報に応じて加重加算処理し、画面領域の境界部分の内挿画像を連続的に変化させることで、画面領域毎に異なるフレームレート変換処理を施すことによる、該画面領域の境界部分における画質劣化を効果的に防止することができる。
【０１７４】
以上説明したように、本実施形態によれば、１画面内を複数の領域に分割して、それぞれの領域で異なるフレームレート変換処理を行うときに、画面分割された領域の境界部分の画像に連続性を持たせる処理を施すことで、領域毎に異なるフレームレート変換処理を行うことに起因して生じる、領域境界部分での画質劣化を防止することができる。
【０１７５】
尚、上記実施形態においては、１画面内を２つの領域に分割して領域毎に異なるフレームレート変換処理を行う場合を例に挙げて説明したが、これに限らず、１画面内を複数の領域に分割して、複数の領域毎に異なるフレームレート変換処理を行う場合にも、複数の領域の境界部分の画像に連続性を持たせる処理を施すようにすればよい。
【０１７６】
また、以上の説明においては、本発明の画像処理装置及び方法に関する実施形態の一例について説明したが、これらの説明から、本画像処理方法をコンピュータによりプログラムとして実行する画像表示プログラム、及び、該画像処理プログラムをコンピュータにより読み取り可能な記録媒体に記録したプログラム記録媒体についても容易に理解することができるであろう。
【０１７７】
さらに、本発明は、液晶ディスプレイ、有機ＥＬディスプレイ、電気泳動ディスプレイなどのホールド型の表示特性を有する画像表示装置全般に適用可能である。
【図面の簡単な説明】
【０１７８】
【図１】本発明の第一の実施の形態に係るフレームレート変換部の概略構成を示す機能ブロック図である。
【図２】本発明の第二の実施の形態に係るフレームレート変換部の概略構成を示す機能ブロック図である。
【図３】本発明の第三の実施の形態に係るフレームレート変換部の概略構成を示す機能ブロック図である。
【図４】本発明の第四の実施の形態に係るフレームレート変換部の概略構成を示す機能ブロック図である。
【図５】本発明の第五の実施の形態に係るフレームレート変換部の概略構成を示す機能ブロック図である。
【図６】本発明の第六の実施の形態に係るフレームレート変換部の概略構成を示す機能ブロック図である。
【図７】本発明の第七の実施の形態に係るフレームレート変換部の概略構成を示す機能ブロック図である。
【図８】本発明の第八の実施の形態に係るフレームレート変換部の概略構成を示す機能ブロック図である。
【図９】従来のＦＲＣ部を備えた画像表示装置の構成例を示すブロック図である。
【図１０】図９に示した従来のＦＲＣ駆動表示回路によるフレームレート変換処理を説明するための図である。
【図１１】動きベクトル検出部及び内挿フレーム生成部による内挿フレーム生成処理について説明するための図である。
【図１２】従来の画像表示装置が備えるフレームレート変換部の構成例を示すブロック図である。
【図１３】フレーム生成部による内挿フレーム生成処理の一例を説明するための図である。
【図１４】従来の画像表示装置が備えるフレームレート変換部の構成例を示すブロック図である。
【図１５】１画面内を領域分割する具体例を説明するための図である。
【図１６】従来のフレームレート変換部が備える動きベクトル検出部の構成例を示すブロック図である。
【図１７】従来のフレームレート変換部が備える内挿フレーム生成部の構成例を示すブロック図である。
【図１８】１画面内の領域毎に異なるフレームレート変換処理を行うことに起因する画質劣化を説明するための図である。
【符号の説明】
【０１７９】
１０…フレームレート変換（ＦＲＣ）部
１０５…動きベクトル
１０６…内挿ベクトル
１０７…内挿フレーム
１１…ベクトル検出部
１１ａ…輝度信号抽出部
１１ｂ…前処理フィルタ
１１ｃ…動き検出用フレームメモリ
１１ｄ…初期ベクトルメモリ
１１ｅ…動きベクトル検出部
１１２ｅ…動きベクトル検出処理部
１１３ｅ…第１の動きベクトル検出部
１１４ｅ…第２の動きベクトル検出部
１１ｆ…内挿ベクトル割付部
１１０ｆ…第１の内挿ベクトル割付部
１１１ｆ…第２の内挿ベクトル割付部
１２…フレーム生成部
１２ａ…内挿用フレームメモリ
１２ｂ…内挿フレーム生成部
１２２ｂ…内挿フレーム生成処理部
１２３ｂ…第１の内挿フレーム生成部
１２４ｂ…第２の内挿フレーム生成部
１２ｃ…タイムベース変換用フレームメモリ
１２ｄ…タイムベース変換部
１４…電極駆動部
１５…液晶表示パネル
１７…領域・境界制御部
１９…遅延部
２０…領域検出部
２１…動きベクトルフィルタ処理部
２２…内挿ベクトルフィルタ処理部
２３…空間フィルタ処理部
２４…動きベクトル加重加算処理部
２５…内挿ベクトル加重加算処理部
２６…内挿画像加重加算処理部
【図１】
2009055340.tif 000003
【図２】
2009055340.tif 000004
【図３】
2009055340.tif 000005
【図４】
2009055340.tif 000006
【図５】
2009055340.tif 000007
【図６】
2009055340.tif 000008
【図７】
2009055340.tif 000009
【図８】
2009055340.tif 000010
【図９】
2009055340.tif 000011
【図１０】
2009055340.tif 000012
【図１１】
2009055340.tif 000013
【図１２】
2009055340.tif 000014
【図１３】
2009055340.tif 000015
【図１４】
2009055340.tif 000016
【図１５】
2009055340.tif 000017
【図１６】
2009055340.tif 000018
【図１７】
2009055340.tif 000019
【図１８】
2009055340.tif 000020