(57)【要約】【課題】  画像劣化を抑制しつつ、ホールド型表示方式に起因する動きぼけを低減すると同時に、撮像素子の時間積分効果に起因する表示映像の動きぼけを低減して、高品位な表示映像を実現することが可能な画像処理装置及び方法、画像表示装置及び方法を提供する。【解決手段】  入力画像信号のフレーム間における所定領域毎の動きベクトルを検出する動きベクトル検出部１０１と、前記動きベクトル検出部１０１により検出された入力画像信号の動き量に応じて、該入力画像信号及びＦＲＣ部１００にて生成される内挿画像信号の高域周波数成分を強調するエッジ強調部２とを備えてなる。これによって、撮像素子の時間積分効果に起因して減衰している高域周波数成分を補償することにより、見掛け上の動きぼけを低減して、表示画像の鮮鋭感を向上させることが可能となる。また、内挿画像信号に対するエッジ強調度合いを、入力画像信号に対するエッジ強調度合いより小さくすることにより、内挿画像信号の画像劣化を目立たせることなく、表示画像の鮮鋭感を向上させる。【選択図】  図６
2008295022.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段を備えた画像表示装置であって、
前記入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、
前記内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないことを特徴とする画像表示装置。
【請求項２】
前記請求項１に記載の画像表示装置において、
前記エッジ強調処理は、前記入力画像信号の動き量が大きい領域に対しては、前記画像信号の高域周波数成分を強調する量を大きくすることを特徴とする画像表示装置。
【請求項３】
前記請求項１又は２に記載の画像表示装置において、
前記エッジ強調処理は、前記入力画像信号の動き量が大きい領域に対しては、前記強調する画像信号の周波数範囲を拡大することを特徴とする画像表示装置。
【請求項４】
前記請求項１乃至３のいずれかに記載の画像表示装置において、
前記入力画像信号の動きの方向に応じて、前記画像信号をエッジ強調するフィルタの特性を可変することを特徴とする画像表示装置。
【請求項５】
前記請求項２乃至４のいずれかに記載の画像表示装置において、
前記レート変換手段は、前記入力画像信号に含まれる連続したフレーム間あるいはフィールド間で動きベクトルを検出する動きベクトル検出部と、
該検出した動きベクトルに基づいて、前記フレーム間あるいは前記フィールド間に内挿ベクトルを割り付ける内挿ベクトル割付部と、
該割り付けた内挿ベクトルに基づいて、内挿画像信号を生成する内挿画像生成部と、
該生成した内挿画像信号を前記フレーム間あるいは前記フィールド間に内挿する画像内挿部とを有し、
前記動きベクトル検出部により検出された動きベクトルに基づいて、前記入力画像信号の動き量／動きの方向を求めることを特徴とする画像表示装置。
【請求項６】
前記請求項５に記載の画像表示装置において、
前記動きベクトル検出部により検出された動きベクトルを平滑化するローパスフィルタを設けたことを特徴とする画像表示装置。
【請求項７】
前記請求項２乃至４のいずれかに記載の画像表示装置において、
前記レート変換手段は、前記入力画像信号に含まれる連続したフレーム間あるいはフィールド間で動きベクトルを検出する動きベクトル検出部と、
該検出した動きベクトルに基づいて、前記フレーム間あるいは前記フィールド間に内挿ベクトルを割り付ける内挿ベクトル割付部と、
該割り付けた内挿ベクトルに基づいて、内挿画像信号を生成する内挿画像生成部と、
該生成した内挿画像信号を前記フレーム間あるいは前記フィールド間に内挿する画像内挿部とを有し、
前記内挿ベクトル割付部で割り付けられた内挿ベクトルに基づいて、前記入力画像信号の動き量／動きの方向を求めることを特徴とする画像表示装置。
【請求項８】
前記請求項７に記載の画像表示装置において、
前記内挿ベクトル割付部で割り付けられた内挿ベクトルを平滑化するローパスフィルタを設けたことを特徴とする画像表示装置。
【請求項９】
前記請求項１乃至８のいずれかに記載の画像表示装置において、
前記レート変換手段は、前記入力画像信号のフレーム間あるいはフィールド間に、複数の前記内挿画像信号を内挿するものであり、
前記入力画像信号からの時間的な距離に応じて、各々の内挿画像信号に対するエッジ強調度合いを可変することを特徴とする画像表示装置。
【請求項１０】
入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換工程を備えた画像表示方法であって、
前記入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、
前記内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないことを特徴とする画像表示方法。
【請求項１１】
入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段を備えた画像処理装置であって、
前記入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、
前記内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないことを特徴とする画像処理装置。
【請求項１２】
入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換工程を備えた画像処理方法であって、
前記入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、
前記内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子の時間積分効果に起因する表示映像の動きぼけを低減して、高品位な表示映像を呈示することが可能な画像表示装置及び該装置による画像表示方法、画像処理装置及び該装置による画像処理方法に関するものである。
【背景技術】
【０００２】
動画像を具現する用途に従来から主として用いられてきた陰極線管（ＣＲＴ：Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）に対して、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）は、動きのある画像を表示した場合に、観る者には動き部分の輪郭がぼけて知覚されてしまうという、所謂、動きぼけの欠点がある。この動きぼけは、ＬＣＤの表示方式そのものに起因することが指摘されている（例えば、特許文献１、非特許文献１参照）。
【０００３】
電子ビームを走査して蛍光体を発光させて表示を行うＣＲＴでは、各画素の発光は蛍光体の若干の残光はあるものの概ねインパルス状になる。これをインパルス型表示方式という。一方、ＬＣＤでは、液晶に電界を印加することにより蓄えられた電荷が、次に電界が印加されるまで比較的高い割合で保持される。特に、ＴＦＴ方式の場合、画素を構成するドット毎にＴＦＴスイッチが設けられており、さらに通常は各画素に補助容量が設けられており、蓄えられた電荷の保持能力が極めて高い。このため、画素が次のフレームあるいはフィールド（以下、フレームで代表する）の画像情報に基づく電界印加により書き換えられるまで発光し続ける。これをホールド型表示方式という。
【０００４】
上記のようなホールド型表示方式においては、画像表示光のインパルス応答が時間的な広がりを持つため、時間周波数特性が劣化して、それに伴い空間周波数特性も低下し、動きぼけが生じる。すなわち、人の視線は動くものに対して滑らかに追従するため、ホールド型のように発光時間が長いと、時間積分効果により画像の動きがぎくしゃくして不自然に見えてしまう。
【０００５】
上記のホールド型表示方式における動きぼけを改善するために、フレーム間に画像を内挿することにより、フレームレート（フレーム数）を変換する技術が知られている。この技術は、ＦＲＣ（Ｆｒａｍｅ  Ｒａｔｅ  Ｃｏｎｖｅｒｔｅｒ）と呼ばれ、液晶表示装置等において実用化されている。
【０００６】
従来、フレームレートを変換する方法には、単に同一フレームの複数回繰り返し読み出しや、フレーム間の直線内挿（線形補間）によるフレーム内挿などの各種の手法がある（例えば、非特許文献２参照）。しかしながら、線形補間によるフレーム内挿処理の場合、フレームレート変換に伴う動きの不自然さ（ジャーキネス、ジャダー）が発生するとともに、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することはできず、画質的には不十分なものであった。
【０００７】
そこで、上記ジャーキネスの影響等をなくして動画質を改善するために、動きベクトルを用いた動き補償型のフレーム内挿処理が提案されている。これによれば、動画像そのものをとらえて画像の動きを補償するため、解像度の劣化がなく、また、ジャーキネスの発生もなく、極めて自然な動画を得ることができる。さらに、内挿画像信号は動き補償して形成されるので、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することが可能となる。
【０００８】
前述の特許文献１には、動き適応的に内挿フレームを生成することにより、表示画像のフレーム周波数を上げて、動きぼけの原因となる空間周波数特性の低下を改善するための技術が開示されている。これは、表示画像のフレーム間に内挿する少なくとも１つの内挿画像信号を、前後のフレームから動き適応的に形成し、形成した内挿画像信号をフレーム間に内挿して順次表示するようにしている。
【０００９】
図１１は、従来の液晶表示装置におけるＦＲＣ駆動表示回路の概略構成を示すブロック図で、図中、ＦＲＣ駆動表示回路は、入力画像信号のフレーム間に動き補償処理を施した画像信号を内挿することにより入力画像信号のフレーム数を変換するＦＲＣ部１００と、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するアクティブマトリクス型の液晶表示パネル２０３と、ＦＲＣ部１００によりフレームレート変換された画像信号に基づいて液晶表示パネル２０３の走査電極及びデータ電極を駆動するための電極駆動部２０４と、を備えて構成される。
【００１０】
ＦＲＣ部１００は、入力画像信号から動きベクトル情報を検出する動きベクトル検出部１０１と、動きベクトル検出部１０１により得られた動きベクトル情報に基づいて内挿フレームを生成する内挿フレーム生成部１０２とを備える。
【００１１】
上記構成において、動きベクトル検出部１０１は、例えば、ブロックマッチング法や勾配法などを用いて動きベクトル情報を求めてもよいし、入力画像信号に何らかの形で動きベクトル情報が含まれている場合、これを利用してもよい。例えば、ＭＰＥＧ方式を用いて圧縮符号化された画像データには、符号化時に算出された動画像の動きベクトル情報が含まれており、この動きベクトル情報を取得する構成としてもよい。
【００１２】
図１２は、図１１に示した従来のＦＲＣ駆動表示回路によるフレームレート変換処理を説明するための図である。ＦＲＣ部１００は、動きベクトル検出部１０１より出力された動きベクトル情報を用いた動き補償処理により、フレーム間の内挿フレーム（図中グレーに色付けされた画像）を生成し、この生成された内挿フレーム信号を入力フレーム信号とともに、順次出力することで、入力画像信号のフレームレートを例えば毎秒６０フレーム（６０Ｈｚ）から毎秒１２０フレーム（１２０Ｈｚ）に変換する処理を行う。
【００１３】
図１３は、動きベクトル検出部１０１及び内挿フレーム生成部１０２による内挿フレーム生成処理について説明するための図である。動きベクトル検出部１０１は、図１２に示した例えばフレーム＃１とフレーム＃２から勾配法等により動きベクトル２０５を検出する。すなわち、動きベクトル検出部１０１は、フレーム＃１とフレーム＃２の１／６０秒間に、どの方向にどれだけ動いたかを測定することにより動きベクトル２０５を求める。次に、内挿フレーム生成部１０２は、求めた動きベクトル２０５を用いて、フレーム＃１とフレーム＃２間に内挿ベクトル２０６を割り付ける。この内挿ベクトル２０６に基づいてフレーム＃１の位置から１／１２０秒後の位置まで対象（ここでは自動車）を動かすことにより、内挿フレーム２０７を生成する。
【００１４】
このように、動きベクトル情報を用いて動き補償フレーム内挿処理を行い、表示フレーム周波数を上げることで、ＬＣＤ（ホールド型表示方式）の表示状態を、ＣＲＴ（インパルス型表示方式）の表示状態に近づけることができ、動画表示の際に生じる動きぼけによる画像劣化を改善することが可能となる。
【００１５】
ここで、上記動き補償フレーム内挿処理においては、動き補償のために動きベクトルの検出が不可欠となる。この動きベクトル検出の代表的な手法として、例えば、ブロックマッチング法、勾配法などが提案されている。勾配法においては、連続した２つのフレーム間で各画素または小さなブロック毎に動きベクトルを検出し、それにより２つのフレーム間の内挿フレームの各画素または各小ブロックを内挿する。すなわち、２つのフレーム間の任意の位置の画像を正しく位置補正して内挿することにより、フレーム数の変換を行う。
【００１６】
上述のように、動き補償型のフレーム内挿処理を行って、表示フレーム周波数を上げることにより、ホールド型表示に起因する動きぼけによる画質劣化を改善することができるが、入力画像信号には、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけともいう）が含まれていることがあり、この撮像素子の時間積分効果に起因する動きぼけによって画質の劣化が生じる。そこで、この撮像素子の時間積分効果に起因する動きぼけを除去するとともに、不自然な画像とすることなく、解像度感を上げる画像処理装置が、例えば特許文献２により提案されている。この特許文献２に記載されている従来の画像処理装置について、図１４とともに以下説明する。
【００１７】
図１４は、従来の画像処理装置の構成を示す機能ブロック図である。画像処理装置に供給された入力画像は、オブジェクト抽出部１１１、領域特定部１１３、混合比算出部１１４、および前景背景分離部１１５に供給される。オブジェクト抽出部１１１は、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトを粗く抽出して、抽出した画像オブジェクトを動き検出部１１２に供給する。オブジェクト抽出部１１１は、例えば、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトの輪郭を検出することで、前景のオブジェクトに対応する画像オブジェクトを粗く抽出する。
【００１８】
オブジェクト抽出部１１１は、入力画像に含まれる背景のオブジェクトに対応する画像オブジェクトを粗く抽出して、抽出した画像オブジェクトを動き検出部１１２に供給する。オブジェクト抽出部１１１は、例えば、入力画像と、抽出された前景のオブジェクトに対応する画像オブジェクトとの差から、背景のオブジェクトに対応する画像オブジェクトを粗く抽出する。また、例えば、オブジェクト抽出部１１１は、内部に設けられている背景メモリに記憶されている背景の画像と、入力画像との差から、前景のオブジェクトに対応する画像オブジェクト、および背景のオブジェクトに対応する画像オブジェクトを粗く抽出するようにしてもよい。
【００１９】
動き検出部１１２は、例えば、ブロックマッチング法、勾配法、位相相関法、およびペルリカーシブ法などの手法により、粗く抽出された前景のオブジェクトに対応する画像オブジェクトの動きベクトルを算出して、算出した動きベクトルおよび動きベクトルの位置情報（動きベクトルに対応する画素の位置を特定する情報）を領域特定部１１３および動きぼけ抽出部１１６に供給する。動き検出部１１２が出力する動きベクトルには、動き量ｖに対応する情報が含まれている。また、例えば、動き検出部１１２は、画像オブジェクトに画素を特定する画素位置情報と共に、画像オブジェクト毎の動きベクトルを動きぼけ除去部１１６に出力するようにしてもよい。
【００２０】
動き量ｖは、動いているオブジェクトに対応する画像の位置の変化を画素間隔を単位として表す値である。例えば、前景に対応するオブジェクトの画像が、あるフレームを基準として次のフレームにおいて４画素分離れた位置に表示されるように移動しているとき、前景に対応するオブジェクトの画像の動き量ｖは、４とされる。
【００２１】
領域特定部１１３は、入力された画像の画素のそれぞれを、前景領域、背景領域、または混合領域のいずれかに特定し、画素毎に前景領域、背景領域、または混合領域のいずれかに属するかを示す情報（以下、領域情報と称する）を混合比算出部１１４、前景背景分離部１１５、および動きぼけ除去部１１６に供給する。
【００２２】
混合比算出部１１４は、入力画像、および領域特定部１１３から供給された領域情報を基に、混合領域に含まれる画素に対応する混合比（以下、混合比αと称する）を算出して、算出した混合比を前景背景分離部１１５に供給する。混合比αは、画素値における、背景のオブジェクトに対応する画像の成分（以下、背景の成分とも称する）の割合を示す値である。
【００２３】
前景背景分離部１１５は、領域特定部１１３から供給された領域情報、および混合比算出部１１４から供給された混合比αを基に、前景のオブジェクトに対応する画像の成分（以下、前景の成分とも称する）のみから成る前景成分画像と、背景の成分のみから成る背景成分画像とに入力画像を分離して、前景成分画像を動きぼけ除去部１１６に供給し、背景成分画像を補正部１１７に供給する。
【００２４】
動きぼけ除去部１１６は、動きベクトルからわかる動き量ｖおよび領域情報を基に、前景成分画像に含まれる１以上の画素を示す処理単位を決定する。処理単位は、動きぼけの量の調整の処理の対象となる１群の画素を指定するデータである。動きぼけ除去部１１６は、前景背景分離部１１５から供給された前景成分画像、動き検出部１１２から供給された動きベクトルおよびその位置情報、並びに処理単位を基に、前景成分画像に含まれる動きぼけを除去して、動きぼけを除去した前景成分画像を動きぼけ除去画像処理部１１８に出力する。
【００２５】
補正部１１７は、背景成分画像における、混合領域に対応する画素の画素値を補正する。背景成分画像の混合領域に対応する画素の画素値は、分離される前の混合領域の画素の画素値から、前景の成分が除去されることにより、算出される。従って、背景成分画像の混合領域に対応する画素の画素値は、隣接する背景領域の画素の画素値に比較し、混合比αに対応して、減少している。補正部１１７は、このような、背景成分画像における、混合領域に対応する画素の画素値の混合比αに対応するゲインの低下を補正し、補正した背景成分画像を動きぼけ除去画像処理部１１８に供給する。
【００２６】
動きぼけ除去画像処理部１１８は、動きぼけが除去された前景成分画像、および補正された背景成分画像毎に、エッジ強調の度合いの異なるエッジ強調の処理を適用する。ここでは、静止している画像である背景成分画像に対しては、前景成分画像に比較して、エッジをより強調するエッジ強調の処理を実行する。このようにすることで、ノイズが含まれている画像にエッジ強調の処理を適用したときの不自然な画像の劣化を発生させることなく、背景成分画像の解像度感をより増加させることができる。
【００２７】
一方、前景成分画像に対しては、背景成分画像に比較して、エッジ強調の度合いの少ないエッジ強調の処理を実行する。このようにすることで、動きぼけが除去された前景成分画像にノイズが含まれていても、前景成分画像において、解像度感を向上させつつ、不自然な画像の劣化を減少させることができる。
【特許文献１】特許第３２９５４３７号明細書
【特許文献２】特開２００２−３７３３３０号公報
【特許文献３】特開平１−２１５１８５号公報
【非特許文献１】石黒秀一、栗田泰市郎、「８倍速ＣＲＴによるホールド発光型ディスプレイの動画質に関する検討」、信学技報、社団法人電子情報通信学会、ＥＩＤ９６−４（１９９６−０６）、ｐ．１９−２６
【非特許文献２】山内達郎、「テレビジョン方式変換」、テレビジョン学会誌、Ｖｏｌ．４５、Ｎｏ．１２、ｐｐ．１５３４−１５４３（１９９１）
【発明の開示】
【発明が解決しようとする課題】
【００２８】
しかしながら、上記特許文献２に記載の画像処理装置においては、前景成分画像に含まれる動きぼけを除去するための動きぼけ除去部１１６や、背景成分画像における、混合領域に対応する画素の画素値を補正する補正部１１７などが必要となり、非常に複雑な処理／構成を招来するという問題がある。しかも、この画像処理装置の場合、静止している背景に対して前景のオブジェクトが動いている画像については、撮像素子の時間積分効果に起因する動きぼけを除去することができるが、それ以外の例えば前景のオブジェクトの画像のみならず背景の画像も動いているような画像に対しては、動きぼけを除去することができないという問題もある。このように、所期の効果を得られるのが特定の画像内容のみに限定されるのでは実用的とはいえない。
【００２９】
さらに、上記特許文献２に記載の画像処理装置においては、動きぼけが除去された前景成分画像にノイズが含まれている場合、エッジ強調の度合いを大きくすると、不自然な画像の劣化を招来することから、前景成分画像に対するエッジ強調の度合いを小さくしているため、前景成分画像における解像度感を十分に向上させることができないという問題がある。
【００３０】
また、簡単な構成にて、撮像素子の時間積分効果に起因する動きぼけを除去するものとして、入力画像信号から被写体の動きを検出し、該動き検出結果に応じて、入力画像信号に対する輪郭補償量（エッジ強調度合い）を可変するものが、例えば特許文献３に開示されている。これによれば、入力画像信号の動き量が大きい領域に対しては、入力画像信号に対するエッジ強調度合いを大きくすることで、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能になるとともに、過度のエッジ強調による画質劣化（静止領域での雑音増加）を防止することができる。
【００３１】
ここで、上述したホールド型表示方式に起因する動きぼけを低減するための動き補償型のフレームレート変換処理（ＦＲＣ処理）と、上記の撮像素子の時間積分効果に起因する動きぼけを低減するエッジ強調処理とを組み合わせる場合、例えば、撮像素子の時間積分効果に起因する動きぼけを低減するエッジ強調処理の後段でＦＲＣ処理を施す構成とすると、エッジ強調された画像信号に対してＦＲＣ処理の動きベクトル検出が行われることとなり、例えば勾配法のように画像信号の滑らかな勾配を基にベクトル演算を行う場合には、動きベクトルの誤検出を誘発するという問題がある。
【００３２】
従って、エッジ強調処理の前段でＦＲＣ処理を施す構成とするのが望ましいが、この場合には、以下のような問題がある。すなわち、ＦＲＣ処理にて生成された内挿画像信号には、動きベクトルの誤検出などに起因する画像劣化（画像破綻）が生じる場合が多く、このような画像劣化を含む内挿画像信号に対して、入力画像信号に対するエッジ強調処理と同様のエッジ強調処理を施すと、画像劣化が強調されて目立ちやすくなる。
【００３３】
本発明は、上述のごとき実情に鑑みてなされたものであり、画像劣化を抑制しつつ、ホールド型表示方式に起因する動きぼけを低減すると同時に、撮像素子の時間積分効果に起因する表示映像の動きぼけを低減して、高品位な表示映像を実現することが可能な画像表示装置及び方法、画像処理装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００３４】
本願の第１の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段を備えた画像表示装置であって、前記入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、前記内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないことを特徴とする。
【００３５】
本願の第２の発明は、前記エッジ強調処理が、前記入力画像信号の動き量が大きい領域に対しては、前記画像信号の高域周波数成分を強調する量を大きくすることを特徴とする。
【００３６】
本願の第３の発明は、前記エッジ強調処理が、前記入力画像信号の動き量が大きい領域に対しては、前記強調する画像信号の周波数範囲を拡大することを特徴とする。
【００３７】
本願の第４の発明は、前記入力画像信号の動きの方向に応じて、前記画像信号をエッジ強調するフィルタの特性を可変することを特徴とする。
【００３８】
本願の第５の発明は、前記レート変換手段が、前記入力画像信号に含まれる連続したフレーム間あるいはフィールド間で動きベクトルを検出する動きベクトル検出部と、該検出した動きベクトルに基づいて、前記フレーム間あるいは前記フィールド間に内挿ベクトルを割り付ける内挿ベクトル割付部と、該割り付けた内挿ベクトルに基づいて、内挿画像信号を生成する内挿画像生成部と、該生成した内挿画像信号を前記フレーム間あるいは前記フィールド間に内挿する画像内挿部とを有し、前記動きベクトル検出部により検出された動きベクトルに基づいて、前記入力画像信号の動き量／動きの方向を求めることを特徴とする。
【００３９】
本願の第６の発明は、前記動きベクトル検出部により検出された動きベクトルを平滑化するローパスフィルタを設けたことを特徴とする。
【００４０】
本願の第７の発明は、前記レート変換手段が、前記入力画像信号に含まれる連続したフレーム間あるいはフィールド間で動きベクトルを検出する動きベクトル検出部と、該検出した動きベクトルに基づいて、前記フレーム間あるいは前記フィールド間に内挿ベクトルを割り付ける内挿ベクトル割付部と、該割り付けた内挿ベクトルに基づいて、内挿画像信号を生成する内挿画像生成部と、該生成した内挿画像信号を前記フレーム間あるいは前記フィールド間に内挿する画像内挿部とを有し、前記内挿ベクトル割付部で割り付けられた内挿ベクトルに基づいて、前記入力画像信号の動き量／動きの方向を求めることを特徴とする。
【００４１】
本願の第８の発明は、前記内挿ベクトル割付部で割り付けられた内挿ベクトルを平滑化するローパスフィルタを設けたことを特徴とする。
【００４２】
本願の第９の発明は、前記レート変換手段が、前記入力画像信号のフレーム間あるいはフィールド間に、複数の前記内挿画像信号を内挿するものであり、前記入力画像信号からの時間的な距離に応じて、各々の内挿画像信号に対するエッジ強調度合いを可変することを特徴とする。
【００４３】
本願の第１０の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換工程を備えた画像表示方法であって、前記入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、前記内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないことを特徴とする。
【００４４】
本願の第１１の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段を備えた画像処理装置であって、前記入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、前記内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないことを特徴とする。
【００４５】
本願の第１２の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換工程を備えた画像処理方法であって、前記入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、前記内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないことを特徴とする。
【発明の効果】
【００４６】
本発明によれば、入力画像信号に対するエッジ強調の度合いに比べて、内挿画像信号に対するエッジ強調の度合いを小さくすることにより、ＦＲＣ処理による画像劣化を目立たせることなく、表示画像の鮮鋭感を向上させることができる。
【発明を実施するための最良の形態】
【００４７】
以下、添付図面を参照しながら本発明の好適な画像処理装置の実施の形態について詳細に説明するが、上述した従来例と同一部分には同一符号を付し、その説明は省略する。なお、本発明は、フィールド信号及び内挿フィールド信号、フレーム信号及び内挿フレーム信号のいずれに対しても適用できるものであるが、両者（フィールドとフレーム）は互いに類似の関係にあるため、フレーム信号及び内挿フレーム信号を代表例として説明するものとする。
【００４８】
まず、本発明の画像処理装置におけるエッジ強調部の構成例について、図１乃至図５とともに説明する。ここで、図１は撮像素子の時間積分効果に起因する表示映像の動きぼけを低減する画像処理装置の概略構成を示す機能ブロック図、図２はエッジ強調部の一構成例を示すブロック図、図３はエッジ強調部の一構成例による動作を示す説明図、図４はエッジ強調部の他の構成例を示すブロック図、図５はエッジ強調部の他の構成例による動作を示す説明図である。
【００４９】
撮像素子の時間積分効果に起因する表示映像の動きぼけを低減する画像処理装置は、図１に示すように、入力画像信号における所定の画素領域毎の動き量を検出する動き検出部１と、前記動き検出部１により検出された入力画像信号の動き量に応じて、該入力画像信号の高域周波数成分を強調するエッジ強調部２とを備えている。
【００５０】
ここで、動き検出部１は、ブロックマッチング法や勾配法などを用いて、入力画像信号の連続した２つのフレーム間で各画素または小さなブロック（例えば８画素×８画素からなる動き検出ブロック）毎に動きベクトルを求めてもよいし、入力画像信号に何らかの形で動きベクトル情報が含まれている場合、これを利用してもよい。例えば、ＭＰＥＧ方式を用いて圧縮符号化された画像データには、符号化時に算出された動画像の動きベクトル情報が含まれており、この動きベクトル情報を取得する構成としてもよい。
【００５１】
エッジ強調部２は、動き検出部１により検出された動きベクトル及びその位置情報に基づいて、該入力画像信号の高域周波数成分を強調する度合いや周波数範囲を可変して、該入力画像信号に対するエッジ強調処理を行う。すなわち、エッジ強調部２では、入力画像信号の画面内における画像の動き量の分布に応じて、該入力画像信号の高域周波数成分を強調する度合いや周波数範囲が画面内で切り替えられる。エッジ強調部２により動き適応的に鮮鋭化処理がなされた画像信号は、別体または一体的に構成された陰極線管、液晶表示パネルなどの表示デバイス（図示せず）より表示出力される。
【００５２】
すなわち、入力画像信号の動き量が大きい領域においては、撮像素子の時間積分効果に起因して高域周波数成分が減衰している可能性が高いため、この減衰している高域周波数成分を補償すべく、エッジ強調部２にて適切なエッジ強調処理が行われる。これによって、見掛け上の動きぼけを低減して、表示画像の鮮鋭感を向上させることができる。
【００５３】
上記エッジ強調部２の一構成例を図２に示す。入力画像信号は、ハイパスフィルタ２１及び加算器２３に入力される。ハイパスフィルタ２１は、入力されたフィルタ係数に基づいて、入力画像信号から、画像の周波数の高い成分を抽出し、すなわち、画像の周波数の低い成分を除去して、エッジ画像信号を生成する。入力されるフィルタ係数は、上述の動き検出部１により検出された動き量に応じて段階的に可変される。そして、このフィルタ係数が変化したとき、ハイパスフィルタ２１は、抽出する画像の周波数、除去する画像の周波数、および抽出する画像のゲインを変化させる。
【００５４】
ハイパスフィルタ２１により生成されたエッジ画像信号は、ゲイン調整部２２に供給される。ゲイン調整部２２は、入力されたゲイン調整係数に基づいて、ハイパスフィルタ２１から供給されたエッジ画像信号を増幅するか、または減衰する。入力されるゲイン調整係数は、上述の動き検出部１により検出された動き量に応じて段階的に可変される。そして、このゲイン調整係数が変化したとき、ゲイン調整部２２は、エッジ画像信号の増幅率（減衰率）を変化させる。
【００５５】
例えば、ゲイン調整部２２は、１以上の増幅率を指定するゲイン調整係数が入力されたとき、エッジ画像信号を増幅し、１未満の増幅率を指定するゲイン調整係数が入力されたとき、エッジ画像信号を減衰する。ゲイン調整部２２によりゲインが調整されたエッジ画像信号は、加算部２３に供給される。加算部２３は、入力画像信号と、ゲイン調整部２２から供給された、ゲインが調整されたエッジ画像信号とを加算して、加算された画像信号を出力する。
【００５６】
上記のように構成したエッジ強調部２は、例えば、入力画像信号の動き量が０の領域では、エッジ強調処理を行わない（エッジ強調処理を無効化して、入力画像信号をそのまま出力する）。また、入力画像信号の動き量が小さい領域については、図３（ａ）に示すように、ハイパスフィルタ２１で抽出する画像の周波数を高域に制限するとともに、ゲイン調整部２２によるエッジ画像信号の増幅率を１に抑える。さらに、入力画像信号の動き量が大きい領域については、図３（ｂ）に示すように、ハイパスフィルタ２１で抽出する画像の周波数範囲をより低域側に拡張するとともに、ゲイン調整部２２によるエッジ画像信号の増幅率を１以上に増大させる。
【００５７】
このように、入力画像信号の動き量が大きい領域では、撮像素子の時間積分効果に起因して高域周波数成分が減衰している可能性が大きいため、エッジ強調の度合いをより強くして、該減衰している高域周波数成分を補償することにより、見掛け上の動きぼけを低減して、表示画像の鮮鋭感を向上させることができる。また、入力画像信号の動き量が大きい領域では、より広い範囲の周波数成分が減衰する傾向にあるため、前記強調する入力画像信号の周波数範囲をより拡大することで、見掛け上の動きぼけを低減して、表示画像の鮮鋭感を向上させることができる。
【００５８】
すなわち、上述したエッジ強調部２の一例では、ハイパスフィルタ２１とゲイン調整部２２とを有しているが、ハイパスフィルタ２１とゲイン調整部２２との少なくともいずれか一方を備えていればよい。また、入力画像信号の動き量が０の領域では動きぼけ（カメラぼけ）は発生していないため、エッジ強調処理を行わなくても良い。
【００５９】
さらに、上記エッジ強調部２の他の構成例を図４に示す。図４に示す例において、エッジ強調部２は、フィルタ２４から構成されている。フィルタ２４は、入力されたフィルタ係数に基づいて、入力画像信号の周波数の高い成分を増幅して、エッジ強調画像信号を生成する。入力されるフィルタ係数は、上述の動き検出部１により検出された動き量に応じて段階的に可変される。そして、このフィルタ係数が変化したとき、フィルタ２４は、入力画像信号の高域周波数成分のゲインを変化させる。
【００６０】
例えば、入力画像信号の動き量が０の領域では、入力画像信号をそのまま通過させる（エッジ強調処理を無効化する）。また、入力画像信号の動き量が小さい領域については、図５（ａ）に示すように、入力画像信号の周波数の高い成分を２倍に増幅し、入力画像信号の周波数の低い成分をそのまま通過させてエッジ強調画像信号を生成する。さらに、入力画像信号の動き量が大きい領域については、図５（ｂ）に示すように、入力画像信号の周波数の高い成分を２．５倍に増幅し、入力画像信号の周波数の低い成分をそのまま通過させてエッジ強調画像信号を生成する。
【００６１】
このように、入力画像信号の動き量が大きい領域では、撮像素子の時間積分効果に起因して高域周波数成分が減衰している可能性が大きいため、エッジ強調の度合いをより強くして、該減衰している高域周波数成分を補償することにより、見掛け上の動きぼけを低減して、表示画像の鮮鋭感を向上させることができる。一方、入力画像信号の動き量が小さい領域では、撮像素子の時間積分効果に起因して高域周波数成分が減衰している可能性が小さいため、エッジ強調の度合いを弱くして、過度のエッジ強調によるエッジ部分の画質劣化を防止することが可能となる。また、入力画像信号の動き量が０の領域では動きぼけ（カメラぼけ）は発生していないため、エッジ強調処理を行わなくても良い。
【００６２】
上述の画像処理装置の例では、入力画像信号の動き量に応じてエッジ強調の度合いを可変する方法について説明したが、入力画像信号の動き量のみならず、入力画像信号の動きの方向に応じて、フィルタの特性、例えばフィルタのタップ形状を可変するようにしてもよい。例えば、水平方向の動きのみの画像信号においては、垂直方向には撮像素子の時間積分効果に起因する高域周波数成分の減衰は発生しないため、水平方向のフィルタ処理を行うことが望ましいため、入力画像信号から検出された動きベクトルが水平方向成分のみ有する場合は、図２のハイパスフィルタ２１または図４のフィルタ２４のタップ形状を１次元の水平タップに切り替える。
【００６３】
同様に、入力画像信号から検出された動きベクトルが垂直方向成分のみ有する場合（映像が垂直方向に動く場合）には、１次元の垂直タップ形状のフィルタに切り替えても良いし、入力画像信号から検出された動きベクトルが水平方向成分と垂直方向成分とを有する場合（映像が斜め方向に動く場合）には、斜め方向のタップ形状のフィルタに切り替えても良い。このように、動きベクトルの向きに応じて、等方的または異方的あるいは楕円形などのタップ形状のフィルタに切り替えることで、より理想的なフィルタ処理が可能となる。
【００６４】
尚、入力画像信号の例えば８画素×８画素からなる動き検出ブロック単位で動きベクトルを検出し、この動きベクトルに基づいてエッジ強調処理を制御した場合、８画素×８画素のブロック領域毎に異なるエッジ強調処理が施されることとなるため、ブロック境界にアーティファクト（画像劣化）が生じる場合がある。このような弊害を除去するには、例えば、動き検出部１とエッジ強調部２との間に動きベクトルに対するローパスフィルタを設けて、動きベクトルを平滑化する方法がある。このように、画面内での動きベクトルの変化を滑らかにすることによって、エッジ強調処理が急激に変化することにより生じるブロック境界のアーティファクトを防止することが可能となる。
【００６５】
また、時間積分効果を有する撮像素子により撮影した自然画像には、上述した動きぼけ（カメラぼけ）が含まれているが、アニメーションやＣＧ（コンピュータ・グラフィックス）画像には元来上述したような動きぼけ（カメラぼけ）が含まれていない。このように動きぼけ（カメラぼけ）が含まれていない画像に対して、高域周波数成分の強調を過度に行うと、エッジ部分に画像劣化が生じる可能性がある。従って、アニメーションやＣＧに係る画像信号が入力された場合には、入力画像信号の動き量が大きい領域であっても、上述した動きぼけ低減（鮮鋭化）処理の強度を弱くする、あるいは処理を行わないのが望ましい。
【００６６】
例えば、テレビ放送データから分離抽出されたＥＰＧ（Electronic Program Guide；電子番組ガイド）データに含まれるジャンル情報などに基づいて、入力画像信号に係るジャンル種別を判定し、入力画像信号のジャンル種別が例えばアニメーションであると判定された場合には、入力画像信号の動き量が大きい領域であっても、動き量が小さい領域と同様に、エッジ強調部２により高域周波数成分を強調する度合いを小さくする、強調する周波数範囲を縮小する、あるいは、エッジ強調部２によるエッジ強調処理を無効化するように制御すればよい。
【００６７】
上記と同様に、番組ロゴ、テロップのようなキャラクタ文字、アイコン等のＣＧ画像が自然画像の一部に合成（重畳）されている場合、該ＣＧ画像が合成されている領域については、背景の自然画像の動き量が大きい場合や、該ＣＧ画像の移動速度が速いような場合であっても、上述した動きぼけ低減（鮮鋭化）処理の強度を弱くする、あるいは処理を行わないのが望ましい。
【００６８】
例えば、入力画像信号から番組ロゴ、テロップのようなキャラクタ文字、アイコン等のＣＧ画像が合成（重畳）されている領域位置を検出し、該ＣＧ画像が合成（重畳）されている領域に対しては、画像の動き量が小さいあるいは動きが無い領域と同様に、エッジ強調部２により高域周波数成分を強調する度合いを小さくする、強調する周波数範囲を縮小する、あるいは、エッジ強調部２によるエッジ強調処理を無効化するように制御すればよい。
【００６９】
さらに、撮像素子の時間積分効果に起因する動きぼけ（カメラぼけ）は、映像撮影時における撮像素子の露光時間、すなわちシャッター速度によっても変化するため、例えば、入力画像信号の動き量が大きい場合であっても、該入力画像信号の撮像時のシャッター速度が速い、すなわち露光時間が短い場合は、上述したような動きぼけ低減（鮮鋭化）処理の強度を弱めにするのが望ましい。従って、例えば映像撮影時のシャッター速度に関する情報がテレビ放送データに付加されている場合は、テレビ放送データからシャッター速度に関する情報を分離・取得し、該シャッター速度に関する情報に応じて、エッジ強調部２により高域周波数成分を強調する度合い、及び／または、強調する周波数範囲を可変制御する、あるいは、エッジ強調処理を行わないようにしてもよい。ようにしてもよい。
【００７０】
また、映像撮像時において、撮影者の意図により撮影画面内の全体にフォーカス（ピント）を合わせて撮影する場合や、撮影画面内の一部にのみフォーカス（ピント）を合わせて撮影する場合などがある。撮影画面内の一部にのみフォーカス（ピント）を合わせる場合には、フォーカス（ピント）を合わせた被写体以外は意図的にぼかした映像として撮影されることになる。このような意図的にぼかして撮影された領域に対しては、上述したような動きぼけ低減（鮮鋭化）処理の強度を弱める、あるいは動きぼけ低減（鮮鋭化）処理を行わないようにするのが望ましい。
【００７１】
撮影画面内の一部にのみフォーカス（ピント）を合わせて撮影する場合、一般的にはカメラの被写界深度を浅くすることで可能となる。この被写界深度は、様々な要素により決定され、カメラレンズのＦナンバー（感度）、カメラと被写体との距離、カメラの設定状態（絞り、ゲイン、電子アイリス）などによって決定される。例えば、被写界深度を浅くする要素としては、カメラレンズのＦナンバーを小さくする、あるいは被写体までの距離を近くする、あるいは絞りを開放するなどが挙げられる。従って、このような被写界深度に関する情報がテレビ放送データに付加されて送信される場合、例えば、メタデータとして付加されている場合には、テレビ放送データから被写界深度に関する情報を取得して、該被写界深度の状態を判定し、この判定結果に応じて、エッジ強調部２により高域周波数成分を強調する度合い、及び／または、強調する周波数範囲を可変制御する、あるいは、エッジ強調処理を行わないようにしてもよい。
【００７２】
さらに、動きベクトル検出ブロックにおいて、例えばＤＣＴ等の周波数解析を行い、高域周波数成分の量を調べることで、上記のようなＣＧ画像が重畳された部分や、シャッター速度が速いカメラによって撮影された画像における、動きが速いにも関わらず動きぼけの少ない部分を検出することも可能である。すなわち、ある動き検出ブロックにおいて、動き量が大きくかつ高域周波数成分が少ない場合は、動きが速くかつ動きぼけによって高域周波数成分が失われている部分であると考えられる。言い換えれば、この場合は、ＣＧ画像が重畳された部分やシャッター速度が速いカメラによって撮影された画像における動きぼけの少ない部分ではなく、シャッター速度が遅いカメラによって撮影された画像における動きぼけの多い部分であると考えられる。このため、エッジ強調処理を通常通り行えばよい。
【００７３】
一方、ある動き検出ブロックにおいて、動き量が大きくかつ高域周波数成分が多い場合は、ＣＧ画像が重畳された部分や、シャッター速度が速いカメラによって撮影された画像における動きぼけの少ない部分が動いていると考えられるので、エッジ強調度合いを小さくすればよい。このように、画像信号を解析し動き量と高域周波数成分の量を複合して判定することで、適切な動きぼけ低減処理の強度を決めることができる。
【００７４】
上述の画像処理装置によれば、画像内容に関わらず、撮像素子の時間積分効果に起因する表示映像の動きぼけを低減して、高品位な表示映像を実現することが可能となるが、さらに、液晶ディスプレイ、有機ＥＬディスプレイ、電気泳動ディスプレイなどのホールド型の表示特性を有する画像表示装置に適用して好適な、すなわち、撮像素子の時間積分効果に起因する表示映像の動きぼけと、ホールド型の表示特性に起因する動きぼけとの両方を低減して、高品位な表示映像を実現することが可能な画像処理装置ついて、本発明の実施の形態として以下に説明する。
【００７５】
（第一の実施の形態）
本発明の第一の実施の形態に係る画像処理装置について、図６とともに説明するが、上述の画像処理装置と同一部分には同一符号を付し、その説明は省略する。ここで、図６は本実施形態の画像処理装置の概略構成を示す機能ブロック図である。
【００７６】
本実施形態の画像処理装置は、図６に示すように、入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数を変換するＦＲＣ部１００と、該ＦＲＣ部１００でフレーム数が変換された画像信号の高域周波数成分を強調するエッジ強調部２とを備えている。
【００７７】
ＦＲＣ部１００は、１フレーム前の入力画像信号と現フレームの入力画像信号とから動きベクトルを検出する動きベクトル検出部１０１と、動きベクトル検出部１０１で検出された動きベクトルを評価し、その評価結果に基づいて、最適な内挿ベクトルをフレーム間の内挿ブロックに割り付ける内挿ベクトル割付部１０３と、内挿ベクトル割付部１０３から入力された内挿ベクトルに基づき、１フレーム前の入力画像信号と現フレームの入力画像信号とを用いて内挿フレームを生成する内挿フレーム生成部１０２と、入力フレームと内挿フレームとを交互に出力することで、元の入力画像信号の２倍のフレームレートの画像信号を出力するタイムベース変換部１０４とを有している。
【００７８】
そして、エッジ強調部２は、ＦＲＣ部１００の動きベクトル検出部１０１により検出された動きベクトルに基づいて、高域周波数成分を強調する度合いや強調する周波数範囲を可変して、画像信号に対するエッジ強調処理を行う。すなわち、本実施形態の動きベクトル検出部１０１は、図１とともに上述した画像処理装置における動き検出部１に相当しており、入力画像信号の動き量が大きい領域においては、撮像素子の時間積分効果に起因して高域周波数成分が減衰している可能性が高いため、この減衰している高域周波数成分を補償すべく、エッジ強調部２にて適切なエッジ強調処理が行われる。
【００７９】
エッジ強調部２により動き適応的に鮮鋭化処理がなされた画像信号は、別体または一体的に構成された液晶表示パネルなどの表示デバイス（図示せず）より表示出力される。これによって、見掛け上の動きぼけを低減して、表示画像の鮮鋭感を向上させることができる。また、ホールド型の表示特性を有する画像表示装置に適用した場合、撮像素子の時間積分効果に起因する表示映像の動きぼけと、ホールド型の表示特性に起因する動きぼけとの両方を低減して、高品位な表示映像を実現することが可能となる。
【００８０】
尚、本実施形態においては、エッジ強調部２にて、入力画像信号及びＦＲＣ部１００の内挿フレーム生成部１０２にて生成された内挿画像信号の両者に対してエッジ強調処理を施す構成としているが、これに限らず、入力画像信号に対してのみエッジ強調処理を施すようにしてもよい。このようにすれば、エッジ強調部２での処理量を削減することが可能となる。
【００８１】
また、本実施形態においては、エッジ強調部２にて、入力画像信号及びＦＲＣ部１００の内挿フレーム生成部１０２にて生成された内挿画像信号の両者に対してエッジ強調処理を施す構成としているが、入力画像信号に対するエッジ強調処理と内挿画像信号に対するエッジ強調処理とを異なる処理としてもよい。
【００８２】
すなわち、動きベクトル検出の誤りなどに起因して内挿画像信号には画像劣化（画像破綻）が生じる場合があり、このような劣化した内挿画像に対してエッジ強調処理を施すと画像劣化した部分にもエッジ強調処理が施され、さらに画像劣化が目立つこととなるため、内挿画像信号に対するエッジ強調度合いを、入力画像信号（原画像信号）に対するエッジ強調度合いより小さくする、或いは、内挿画像信号に対するエッジ強調処理のみを無効化することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【００８３】
例えば、内挿画像信号に対して強調する周波数範囲を、入力画像信号（原画像信号）に対して強調する周波数範囲より縮小することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【００８４】
尚、本実施形態のＦＲＣ部１００は、入力画像信号のフレームレートを２倍に変換するものについて説明したが、これに限らず、入力画像信号のフレームレートを１．５倍、３倍などに変換するもの、または、入力画像信号が映画フィルム映像から生成されたものであり、例えば３−２プルダウンされた画像信号の場合、２４Ｈｚに相当する主要画像信号を抜き出し（いわゆる、逆３−２プルダウン処理を行い）、このフレーム間に４枚の内挿画像信号を内挿することで１２０Ｈｚ（５倍）のフレームレートに変換するものであってもよい。
【００８５】
このように複数枚の内挿画像信号を生成する場合には、複数の内挿フレーム毎に前記エッジ強調処理を異ならしめても良い。例えば、図７（Ａ）に示すように、一方向の原画像から４枚の内挿画像を生成する場合、原画像から時間的に離れた４枚目の内挿画像は、原画像からの動きベクトルの長さが大きくなり、動きベクトル検出時の計算誤差が大きくなることで内挿画像信号に画像劣化が生じる場合がある。このような場合には、原画像信号から時間的に離れた内挿画像信号に対するエッジ強調度合いを小さくし、原画像信号または原画像信号に時間的に近い内挿画像信号に対するエッジ強調度合いを大きくすることで、画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【００８６】
また、図７（Ｂ）に示すように、４枚の内挿画像のうち前半の２枚は前の原画像から生成し、後半の２枚は後の原画像から生成する場合、または、図７（Ｃ）に示すように、前後の原画像からの距離に応じて加重加算比率あるいは混合比率を変化させて内挿画像を生成する場合には、中央の２枚目及び３枚目の内挿画像信号は原画像信号から時間的に遠くなるため、エッジ強調度合いを小さくし、原画像信号または原画像信号に近い１枚目及び４枚目の内挿画像信号に対するエッジ強調度合いを大きくすることで、画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【００８７】
以上のように、本実施形態の画像処理装置においては、ＦＲＣ部１００にて得られる入力画像信号の動き量に応じて、エッジ強調部２のエッジ強調処理を適切に制御することにより、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能になるとともに、過度のエッジ強調による画質劣化を防止することができる。
【００８８】
ここで、入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないようにすることで、内挿画像信号に画像劣化が生じた場合であっても、これを目立たせることなく、表示画像の鮮鋭感を向上させることが可能となる。
【００８９】
尚、動き検出部１０１とエッジ強調部２との間に動きベクトルに対するローパスフィルタを設けて、画面内での動きベクトルの変化を滑らかにすることによって、画面内でエッジ強調処理が急激に変化することにより生じるアーティファクトを防止するのが望ましいことは、上述したとおりである。
【００９０】
また、本実施形態の場合、エッジ強調処理をＦＲＣ処理の後で行っているので、ＦＲＣ部１００の動きベクトル検出部１０１における動きベクトル検出処理はエッジ強調処理の影響を受けず、安定した動作が可能となる。さらに、動きベクトル検出部１０１で生成した動きベクトル情報をそのまま用いているため、後述の第三乃至第四の実施形態に比べて簡易な構成で実現可能である。
【００９１】
但し、ＦＲＣ部１００の出力画像信号は、原画像と内挿画像が交互に出力されているが、エッジ強調部２ではＦＲＣ部１００で生成した動きベクトル情報をそのまま原画像と内挿画像との両方に適用しているため、内挿画像に対しては正確なエッジ強調処理が行われない場合がある。すなわち、ＦＲＣ部１００で生成した動きベクトル情報は、入力画像信号に対しては動き量や位置が合っているが、内挿画像信号に対しては合っていないため、ＦＲＣ部１００で生成した動きベクトル情報を用いる場合には、入力画像信号（原画像信号）に対してのみ、エッジ強調処理を行う方が望ましい。また、上記課題に対する他の改善方法は、第三乃至第四の実施形態として後述する。
【００９２】
（第二の実施の形態）
本発明の第二の実施の形態に係る画像処理装置について、図８とともに説明するが、上述の画像処理装置と同一部分には同一符号を付し、その説明は省略する。ここで、図８は本実施形態の画像処理装置の概略構成を示す機能ブロック図である。
【００９３】
本実施形態の画像処理装置は、上記第一の実施形態と同様、入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数を変換するＦＲＣ部１００と、該ＦＲＣ部１００でフレーム数が変換された画像信号の高域周波数成分を強調するエッジ強調部２とを備えている。上記第一の実施の形態では、動きベクトル検出部１０１により検出された動きベクトルに基づいて、エッジ強調部２のエッジ強調処理を可変制御していたが、本実施形態においては、内挿ベクトル割付部１０３により評価・割り付けがなされた内挿ベクトルに基づいて、エッジ強調部２のエッジ強調処理を可変制御する構成としている。
【００９４】
この内挿ベクトル割付処理に関して説明する。動きベクトル検出部１０１にて検出した動きベクトルは、１フレーム前の入力画像信号ｎ−１に対する動きベクトルである場合を考える。すなわち、入力画像信号ｎ−１の各動きベクトル検出ブロックにおいて、そのブロックが次のフレームの入力画像信号ｎにおいてはどの位置に移動するかを示すのが、各動きベクトル検出ブロックにおける動きベクトルである。さて、フレームレートを例えば２倍に変換する場合は、内挿フレームの時間的な位置は、入力画像信号ｎ−１と入力画像信号ｎとの中間位置である。よって、入力画像信号ｎ−１における各動きベクトルを内挿フレームの時間的位置まで進めた時に内挿フレーム上のどのブロックに刺さるかを求め、刺さったブロックに該動きベクトルを割り付ける、という処理を行う。これが内挿フレームへの内挿ベクトル割付処理である。
【００９５】
ここで、内挿ベクトル割付部１０３にて最適な内挿ベクトルを割り付ける内挿ブロックは、通常、動きベクトル検出部１０１で動きベクトルを検出する動きベクトル検出ブロックをさらに分割して設定される。例えば、動きベクトル検出ブロックが８画素×８画素の場合、内挿ブロックは動きベクトル検出ブロックをさらに８分割した２画素×４画素のように設定される。
【００９６】
また、内挿ベクトル割付部１０３では、動きベクトル検出部１０１にて求められた動きベクトルの正確性を、被検出ブロックの画像情報と被検出ブロックから動きベクトルが指し示す先のブロックの画像情報との差分値（ＤＦＤ（Ｄｉｓｐｌａｃｅｄ  Ｆｉｅｌｄ  Ｄｉｆｆｅｒｅｎｃｅ）と称される）などを算出して評価することにより、より適切な内挿ベクトルを上記内挿ブロックに割り付ける。尚、ＤＦＤとは、候補ベクトルの正確さの程度を示す指標であり、ＤＦＤの値が小さいほど、被検出ブロックと被検出ブロックから動きベクトルが指し示す先のブロックとのマッチングが良く、対応する候補ベクトルがよりふさわしいことを示す。
【００９７】
従って、本実施形態においては、ＦＲＣ部１００の内挿ベクトル割付部１０３にて求められた内挿ベクトルに基づいて、エッジ強調部２で高域周波数成分を強調する度合いや強調する周波数範囲を可変するため、ＦＲＣ部１００の出力画像信号のうち少なくとも内挿画像信号に対しては、より精細且つ適切なエッジ強調処理を行うことが可能となる。
【００９８】
尚、本実施形態の場合、エッジ強調部２にて、入力画像信号及びＦＲＣ部１００の内挿フレーム生成部１０２にて生成された内挿画像信号の両者に対してエッジ強調処理を施す構成としているが、これに限らず、入力画像信号に対してのみエッジ強調処理を施すようにしてもよい。このようにすれば、エッジ強調部２での処理量を削減することが可能となる。
【００９９】
また、本実施形態においても、エッジ強調部２にて、入力画像信号及びＦＲＣ部１００の内挿フレーム生成部１０２にて生成された内挿画像信号の両者に対してエッジ強調処理を施す構成としているが、入力画像信号に対するエッジ強調処理と内挿画像信号に対するエッジ強調処理とを異なる処理としてもよい。
【０１００】
すなわち、動きベクトル検出の誤りなどに起因して内挿画像信号には画像劣化（画像破綻）が生じる場合があり、このような劣化した内挿画像に対してエッジ強調処理を施すと画像劣化した部分にもエッジ強調処理が施され、さらに画像劣化が目立つこととなるため、内挿画像信号に対するエッジ強調度合いを、入力画像信号（原画像信号）に対するエッジ強調度合いより小さくする、あるいは、内挿画像信号に対するエッジ強調処理のみを無効化することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【０１０１】
例えば、内挿画像信号に対して強調する周波数範囲を、入力画像信号（原画像信号）に対して強調する周波数範囲より縮小することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【０１０２】
尚、本実施形態のＦＲＣ部１００は、入力画像信号のフレームレートを２倍に変換するものについて説明したが、これに限らず、入力画像信号のフレームレートを１．５倍、３倍などに変換するもの、または、入力画像信号が映画フィルム映像から生成されたものであり、例えば３−２プルダウンされた画像信号の場合、２４Ｈｚに相当する主要画像信号を抜き出し（いわゆる、逆３−２プルダウン処理を行い）、このフレーム間に４枚の内挿画像信号を内挿することで１２０Ｈｚ（５倍）のフレームレートに変換するものであってもよい。
【０１０３】
このように複数枚の内挿画像信号を生成する場合には、複数の内挿フレーム毎に前記エッジ強調処理を異ならしめても良い。例えば、図７（Ａ）に示すように、一方向の原画像から４枚の内挿画像を生成する場合、原画像から時間的に離れた４枚目の内挿画像は、原画像からの動きベクトルの長さが大きくなり、動きベクトル検出時の計算誤差が大きくなることで内挿画像信号に画像劣化が生じる場合がある。このような場合には、原画像信号から時間的に離れた内挿画像信号に対するエッジ強調度合いを小さくし、原画像信号または原画像信号に時間的に近い内挿画像信号に対するエッジ強調度合いを大きくすることで、画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【０１０４】
また、図７（Ｂ）に示すように、４枚の内挿画像のうち前半の２枚は前の原画像から生成し、後半の２枚は後の原画像から生成する場合、または、図７（Ｃ）に示すように、前後の原画像からの距離に応じて加重加算比率あるいは混合比率を変化させて内挿画像を生成する場合には、中央の２枚目及び３枚目の内挿画像信号は原画像信号から時間的に遠くなるため、エッジ強調度合いを小さくし、原画像信号または原画像信号に近い１枚目及び４枚目の内挿画像信号に対するエッジ強調度合いを大きくすることで、画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【０１０５】
以上のように、本実施形態の画像処理装置においては、ＦＲＣ部１００にて得られる入力画像信号の動き量に応じて、エッジ強調部２のエッジ強調処理を適切に制御することにより、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能になるとともに、過度のエッジ強調による画質劣化を防止することができる。
【０１０６】
ここで、入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないようにしているので、内挿画像信号に画像劣化が生じた場合であっても、これを目立たせることなく、表示画像の鮮鋭感を向上させることが可能となる。
【０１０７】
尚、内挿ベクトル割付部１０３とエッジ強調部２との間に内挿ベクトルに対するローパスフィルタを設けて、画面内での内挿ベクトルの変化を滑らかにすることによって、画面内でエッジ強調処理が急激に変化することにより生じるアーティファクトを防止するのが望ましい。
【０１０８】
また、本実施形態の場合、ＦＲＣ部１００の動きベクトル検出部１０１における動きベクトル検出処理はエッジ強調処理の影響を受けず、安定した動作が可能となる。さらに、ＦＲＣ部１００の内挿ベクトル割付部１０３で割り付けた内挿ベクトル情報をそのまま用いているため、後述の第三乃至第四の実施形態に比べて簡易な構成で実現可能である。
【０１０９】
但し、ＦＲＣ部１００の出力画像信号は、原画像と内挿画像が交互に出力されているが、エッジ強調部２ではＦＲＣ部１００で生成した内挿ベクトル情報をそのまま原画像と内挿画像との両方に適用しているため、原画像に対しては正確なエッジ強調処理が行われない場合がある。上記課題に対する改善方法は、第三乃至第四の実施形態として後述する。
【０１１０】
（第三の実施の形態）
本発明の第三の実施の形態に係る画像処理装置について、図９とともに説明するが、上述の画像処理装置と同一部分には同一符号を付し、その説明は省略する。ここで、図９は本実施形態の画像処理装置の一構成例を示すブロック図である。
【０１１１】
図９において、動きベクトル検出部１０１は、フレームバッファ（ＦＢ）１０５にて遅延させた１フレーム前の入力画像信号ｎ−１と現フレームの入力画像信号ｎとから、各動き検出ブロック毎に動きベクトルを求める。内挿ベクトル割付部１０３は、検出された動きベクトルを用いて、内挿フレームに対する適切な割り付けベクトルＶの割り付けを行う。内挿フレーム生成部１０２は、割付けられたベクトルＶを用いて、内挿フレーム画像を生成し、ベクトルＶと共に出力する。原フレームベクトル割付部１０６は、動きベクトル検出部１０１で求められた動きベクトルを用いて、原フレームに対する適切なベクトルＶの割り付けを行い、この割り付けられたベクトルＶを出力する。
【０１１２】
ここで、原フレームに対する適切なベクトルＶの割り付けとは、前記第二の実施形態で詳述した内挿フレームへのベクトル割付処理と同様の処理を、原フレームに対しても行うことである。もともと動きベクトル検出部１０１で検出された動きベクトルは、原フレームである入力画像信号ｎに対する動きベクトルであるが、これは動きベクトル検出ブロックに対するベクトルである。これを内挿ブロックに割付けなおす処理を行う。内挿ブロックが動きベクトル検出ブロックと同じ大きさならそのまま使っても良い。内挿ブロックが動きベクトル検出ブロックより小さければ、割付けなおす。
【０１１３】
タイムベース変換部１０４は、内挿フレーム生成部１０２から出力された内挿フレームと、原フレームとを交互に出力することで、元の入力画像信号の２倍のフレームレートの画像信号をエッジ強調部２へ出力する。また、タイムベース変換部１０４は、内挿フレームを出力すると同時に内挿フレーム生成部１０２から出力された割り付けベクトルＶを、原フレームを出力すると同時に原フレームベクトル割付部１０６から出力された割り付けベクトルＶを、それぞれエッジ強調部２へ出力する。
【０１１４】
エッジ強調部２は、タイムベース変換部１０４から出力された割り付けベクトルＶに基づいて、フレームレートが変換された画像信号に対するエッジ強調処理を行う。このとき、割り付けベクトルＶが大きい程、エッジ強調の度合いをより強くする、あるいは、強調する周波数範囲を拡大することで、撮像素子の時間積分効果に起因して減衰した高域周波数成分を補償する。
【０１１５】
尚、本実施形態においては、エッジ強調部２にて、内挿画像信号および入力画像信号（原画像信号）の両者に対してエッジ強調処理を施す構成としているが、これに限らず、入力画像信号に対してのみエッジ強調処理を施すようにしてもよい。この場合、エッジ強調部２での処理量を削減することが可能となる。
【０１１６】
また、本実施形態においても、エッジ強調部２にて、入力画像信号及びＦＲＣ部１００の内挿フレーム生成部１０２にて生成された内挿画像信号の両者に対してエッジ強調処理を施す構成としているが、入力画像信号に対するエッジ強調処理と内挿画像信号に対するエッジ強調処理とを異なる処理としてもよい。
【０１１７】
すなわち、動きベクトル検出の誤りなどに起因して内挿画像信号には画像劣化（画像破綻）が生じる場合があり、このような劣化した内挿画像に対してエッジ強調処理を施すと画像劣化した部分にもエッジ強調処理が施され、さらに画像劣化が目立つこととなるため、内挿画像信号に対するエッジ強調度合いを、入力画像信号（原画像信号）に対するエッジ強調度合いより小さくする、あるいは、内挿画像信号に対するエッジ強調処理のみを無効化することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【０１１８】
例えば、内挿画像信号に対して強調する周波数範囲を、入力画像信号（原画像信号）に対して強調する周波数範囲より縮小することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【０１１９】
尚、本実施形態のＦＲＣ部１００は、入力画像信号のフレームレートを２倍に変換するものについて説明したが、これに限らず、入力画像信号のフレームレートを１．５倍、３倍などに変換するもの、または、入力画像信号が映画フィルム映像から生成されたものであり、例えば３−２プルダウンされた画像信号の場合、２４Ｈｚに相当する主要画像信号を抜き出し（いわゆる、逆３−２プルダウン処理を行い）、このフレーム間に４枚の内挿画像信号を内挿することで１２０Ｈｚ（５倍）のフレームレートに変換するものであってもよい。
【０１２０】
このように複数枚の内挿画像信号を生成する場合には、複数の内挿フレーム毎に前記エッジ強調処理を異ならしめても良い。例えば、図７（Ａ）に示すように、一方向の原画像から４枚の内挿画像を生成する場合、原画像から時間的に離れた４枚目の内挿画像は、原画像からの動きベクトルの長さが大きくなり、動きベクトル検出時の計算誤差が大きくなることで内挿画像信号に画像劣化が生じる場合がある。このような場合には、原画像信号から時間的に離れた内挿画像信号に対するエッジ強調度合いを小さくし、原画像信号または原画像信号に時間的に近い内挿画像信号に対するエッジ強調度合いを大きくすることで、画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【０１２１】
また、図７（Ｂ）に示すように、４枚の内挿画像のうち前半の２枚は前の原画像から生成し、後半の２枚は後の原画像から生成する場合、または、図７（Ｃ）に示すように、前後の原画像からの距離に応じて加重加算比率あるいは混合比率を変化させて内挿画像を生成する場合には、中央の２枚目及び３枚目の内挿画像信号は原画像信号から時間的に遠くなるため、エッジ強調度合いを小さくし、原画像信号または原画像信号に近い１枚目及び４枚目の内挿画像信号に対するエッジ強調度合いを大きくすることで、画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【０１２２】
また、本実施形態では、動きベクトル検出部１０１で原フレームｎに対する動きベクトルを検出し、原フレームベクトル割付部１０６では原フレームｎに対して該動きベクトルを割り付け、タイムベース変換部１０４では内挿フレームと原フレームｎとを交互に出力する構成としているが、原フレームｎ−１に対して動きベクトルを検出し、原フレームベクトル割付部１０６にて原フレームｎ−１に対して該動きベクトルを割り付け、タイムベース変換部１０４では原フレームｎ−１と内挿フレームとを交互に出力する構成とすることも可能である。
【０１２３】
以上のように、本実施形態の画像処理装置においては、ＦＲＣ部１００の内部で内挿フレーム画像信号と原フレーム画像信号とのそれぞれに対して画像の動き量に応じた適切なエッジ強調処理を施すので、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能になるとともに、過度のエッジ強調による画質劣化を防止することができる。
【０１２４】
ここで、入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないようにしているので、内挿画像信号に画像劣化が生じた場合であっても、これを目立たせることなく、表示画像の鮮鋭感を向上させることが可能となる。
【０１２５】
また、本実施形態の場合、ＦＲＣ部１００の動きベクトル検出部１０１における動きベクトル検出処理はエッジ強調処理の影響を受けず、安定した動作が可能となる。さらに、原フレームと内挿フレームとのそれぞれについて適切なベクトル割付を行った後にエッジ強調処理を行うため、上述の第一乃至第二の実施形態に比べて、より正確なエッジ強調処理を行うことが可能である。
【０１２６】
（第四の実施の形態）
本発明の第四の実施の形態に係る画像処理装置について、図１０とともに説明するが、上述の画像処理装置と同一部分には同一符号を付し、その説明は省略する。ここで、図１０は本実施形態の画像処理装置の一構成例を示すブロック図である。
【０１２７】
本実施形態の画像処理装置は、図９に示した第三の実施形態と類似している。第三の実施形態と異なる点は、エッジ強調部がＦＲＣ部１００の内部に設けられており、エッジ強調部２Ａとエッジ強調２Ｂとの２つに数が増えていること、エッジ強調部とタイムベース変換部１０４との順序が逆になっていることである。
【０１２８】
エッジ強調部２Ａは、内挿フレーム生成部１０２から出力された割り付けベクトルＶに基づいて、内挿フレーム画像信号に対するエッジ強調処理を行う。また、エッジ強調部２Ｂは、原フレームベクトル割付部１０６から出力された割り付けベクトルＶに基づいて、原フレーム画像信号に対するエッジ強調処理を行う。このとき、割り付けベクトルＶが大きい程、エッジ強調の度合いをより強くする、あるいは、強調する周波数範囲を拡大することで、撮像素子の時間積分効果に起因して減衰した高域周波数成分を補償する。
【０１２９】
タイムベース変換部１０４は、エッジ強調部２Ａから出力された内挿フレームと、エッジ強調部２Ｂから出力された原フレームとを交互に出力することで、元の入力画像信号の２倍のフレームレートの画像信号を出力する。
【０１３０】
尚、本実施形態においては、エッジ強調部２Ａおよびエッジ強調部２Ｂにて、内挿画像信号および入力画像信号（原画像信号）の両者に対してエッジ強調処理を施す構成としているが、これに限らず、入力画像信号に対してのみエッジ強調処理を施すようにしてもよい。例えば、内挿フレーム生成部１０２にて生成された内挿画像信号には動きベクトルの誤検出などによる画像劣化が生じる可能性があるため、内挿画像信号に対してエッジ強調処理を行うエッジ強調部２Ａを省略しても良い。このように、エッジ強調部２Ａを省略することで、構成をより簡単にすることが可能となる。
【０１３１】
また、本実施形態においては、エッジ強調部２Ａおよびエッジ強調部２Ｂにて、入力画像信号及びＦＲＣ部１００の内挿フレーム生成部１０２にて生成された内挿画像信号の両者に対してエッジ強調処理を施す構成としているが、入力画像信号に対するエッジ強調処理と内挿画像信号に対するエッジ強調処理とを異なる処理としてもよい。
【０１３２】
すなわち、動きベクトル検出の誤りなどに起因して内挿画像信号には画像劣化（画像破綻）が生じる場合があり、このような劣化した内挿画像に対してエッジ強調処理を施すと画像劣化した部分にもエッジ強調処理が施され、さらに画像劣化が目立つこととなるため、内挿画像信号に対するエッジ強調度合いを、入力画像信号（原画像信号）に対するエッジ強調度合いより小さくする、あるいは、内挿画像信号に対するエッジ強調処理のみを無効化することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【０１３３】
例えば、内挿画像信号に対して強調する周波数範囲を、入力画像信号（原画像信号）に対して強調する周波数範囲より縮小することで、動き補償型のフレームレート変換処理による画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【０１３４】
尚、本実施形態のＦＲＣ部１００は、入力画像信号のフレームレートを２倍に変換するものについて説明したが、これに限らず、入力画像信号のフレームレートを１．５倍、３倍などに変換するもの、または、入力画像信号が映画フィルム映像から生成されたものであり、例えば３−２プルダウンされた画像信号の場合、２４Ｈｚに相当する主要画像信号を抜き出し（いわゆる、逆３−２プルダウン処理を行い）、このフレーム間に４枚の内挿画像信号を内挿することで１２０Ｈｚ（５倍）のフレームレートに変換するものであってもよい。
【０１３５】
このように複数枚の内挿画像信号を生成する場合には、複数の内挿フレーム毎に前記エッジ強調処理を異ならしめても良い。例えば、図７（Ａ）に示すように、一方向の原画像から４枚の内挿画像を生成する場合、原画像から時間的に離れた４枚目の内挿画像は、原画像からの動きベクトルの長さが大きくなり、動きベクトル検出時の計算誤差が大きくなることで内挿画像信号に画像劣化が生じる場合がある。このような場合には、原画像信号から時間的に離れた内挿画像信号に対するエッジ強調度合いを小さくし、原画像信号または原画像信号に時間的に近い内挿画像信号に対するエッジ強調度合いを大きくすることで、画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【０１３６】
また、図７（Ｂ）に示すように、４枚の内挿画像のうち前半の２枚は前の原画像から生成し、後半の２枚は後の原画像から生成する場合、または、図７（Ｃ）に示すように、前後の原画像からの距離に応じて加重加算比率あるいは混合比率を変化させて内挿画像を生成する場合には、中央の２枚目及び３枚目の内挿画像信号は原画像信号から時間的に遠くなるため、エッジ強調度合いを小さくし、原画像信号または原画像信号に近い１枚目及び４枚目の内挿画像信号に対するエッジ強調度合いを大きくすることで、画像劣化を目立たせずに、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能となる。
【０１３７】
また、本実施形態では、動きベクトル検出部１０１で原フレームｎに対する動きベクトルを検出し、原フレームベクトル割付部１０６では原フレームｎに対して該動きベクトルを割り付け、エッジ強調部２Ｂでは原フレームｎに対するエッジ強調処理を行う構成としているが、原フレームｎ−１に対して動きベクトルを検出し、原フレームベクトル割付部１０６にて原フレームｎ−１に対して該動きベクトルを割り付け、エッジ強調部２Ｂでは原フレームｎ−１に対するエッジ強調処理を行う構成とすることも可能である。
【０１３８】
以上のように、本実施形態の画像処理装置においては、ＦＲＣ部１００の内部で内挿フレーム画像信号と原フレーム画像信号とのそれぞれに対して画像の動き量に応じた適切なエッジ強調処理を施すので、撮像素子の時間積分効果に起因する動きぼけを見掛け上低減し、表示画像の鮮鋭感を向上させることが可能になるとともに、過度のエッジ強調による画質劣化を防止することができる。
【０１３９】
ここで、入力画像信号に対しては第一のエッジ強調度合いでエッジ強調処理を施すとともに、内挿画像信号に対しては前記第一のエッジ強調度合いより小さい第二のエッジ強調度合いでエッジ強調処理を施す、あるいは、エッジ強調処理を行わないようにしているので、内挿画像信号に画像劣化が生じた場合であっても、これを目立たせることなく、表示画像の鮮鋭感を向上させることが可能となる。
【０１４０】
また、本実施形態の場合、ＦＲＣ部１００の動きベクトル検出部１０１における動きベクトル検出処理はエッジ強調処理の影響を受けず、安定した動作が可能となる。さらに、原フレームと内挿フレームとのそれぞれについて適切なベクトル割付を行った後にエッジ強調処理を行うため、上述の第一乃至第二の実施形態に比べて、より正確なエッジ強調処理を行うことが可能である。また、エッジ強調部２Ａとエッジ強調部２Ｂとの２つのエッジ強調部を備えているため、それぞれのエッジ強調処理は上述した第三の実施形態のものに比して半分で済む。
【０１４１】
以上の説明においては、本発明の画像処理装置及び方法に関する実施形態の一例について説明したが、これらの説明から、本画像処理方法をコンピュータによりプログラムとして実行する処理プログラム、及び、該処理プログラムをコンピュータにより読み取り可能な記録媒体に記録したプログラム記録媒体についても容易に理解することができるであろう。
【０１４２】
また、本発明の画像処理装置は、上述したとおり、画像表示装置と一体的に構成して設けられてもよいし、画像表示装置と別体に設けられてもよい。さらに、これらに限らず、例えば各種記録メディア再生装置などの映像出力機器内に設けられても良いことは言うまでもない。
【０１４３】
さらに、上述の各実施形態においては、入力画像信号の動き量に応じて、画像信号に対するエッジ強調度合いを可変するものについて説明したが、本発明はこれに限らず、入力画像信号の動き量に関わらず、予め定められたエッジ強調度合いでエッジ強調処理を施すものに適用してもよいことは明らかである。この場合も、内挿画像信号に対するエッジ強調度合いを、入力画像信号に対するエッジ強調度合いよりも小さくすることで、内挿画像信号に画像劣化が生じた場合であっても、これを目立たせることなく、表示画像の鮮鋭感を向上させることが可能となる。
【図面の簡単な説明】
【０１４４】
【図１】撮像素子の時間積分効果に起因する表示映像の動きぼけを低減する画像処理装置の概略構成を示す機能ブロック図である。
【図２】エッジ強調部の一構成例を示すブロック図である。
【図３】エッジ強調部の一構成例による動作を示す説明図である。
【図４】エッジ強調部の他の構成例を示すブロック図である。
【図５】エッジ強調部の他の構成例による動作を示す説明図である。
【図６】本発明の第一の実施の形態に係る画像処理装置の概略構成を示す機能ブロック図である。
【図７】フレームレートを５倍に変換する場合の内挿画像信号の生成方法を説明するための図である。
【図８】本発明の第二の実施の形態に係る画像処理装置の概略構成を示す機能ブロック図である。
【図９】本発明の第三の実施の形態に係る画像処理装置の一構成例を示すブロック図である。
【図１０】本発明の第四の実施の形態に係る画像処理装置の一構成例を示すブロック図である。
【図１１】従来の液晶表示装置におけるＦＲＣ駆動表示回路の概略構成を示すブロック図である。
【図１２】図１１に示した従来のＦＲＣ駆動表示回路によるフレームレート変換処理を説明するための図である。
【図１３】動きベクトル検出部及び内挿フレーム生成部による内挿フレーム生成処理について説明するための図である。
【図１４】従来の画像処理装置の構成を示す機能ブロック図である。
【符号の説明】
【０１４５】
１  動き検出部
２  エッジ強調部
２１  ハイパスフィルタ
２２  ゲイン調整部
２３  加算部
２４  フィルタ
１００  ＦＲＣ部
１０１  動きベクトル検出部
１０２  内挿フレーム生成部
１０３  内挿ベクトル割付部
１０４  タイムベース変換部
１０５  フレームバッファ（ＦＢ）
１０６  原フレームベクトル割付部
１０７  フレームバッファ（ＦＢ）
１１１  オブジェクト抽出部
１１２  動き検出部
１１３  領域特定部
１１４  混合比算出部
１１５  前景背景分離部
１１６  動きぼけ除去部
１１７  補正部
１１８  動きぼけ除去画像処理部
２０３  液晶表示パネル
２０４  電極駆動部
２０５  動きベクトル
２０６  内挿ベクトル
２０７  内挿フレーム
【図１】
2008295022.tif 000003
【図２】
2008295022.tif 000004
【図３】
2008295022.tif 000005
【図４】
2008295022.tif 000006
【図５】
2008295022.tif 000007
【図６】
2008295022.tif 000008
【図７】
2008295022.tif 000009
【図８】
2008295022.tif 000010
【図９】
2008295022.tif 000011
【図１０】
2008295022.tif 000012
【図１１】
2008295022.tif 000013
【図１２】
2008295022.tif 000014
【図１３】
2008295022.tif 000015
【図１４】
2008295022.tif 000016