(57)【要約】【課題】ベクトル型ＦＲＣおよび周波数分散型ＦＲＣの欠点を相互に補完することで良好な視聴感を得ることが出来るＦＲＣを提供する。【解決手段】ベクトル内挿画像５を生成するベクトル内挿画像生成手段４と、加算内挿画像７を生成する加算内挿画像生成手段６と、自身に入力された画像の特徴を抽出し、該特徴を元に、ベクトル内挿画像５と加算内挿画像７との混合率を内挿画像内のエリア毎に決定する内挿方式判定手段８と、内挿方式判定手段８により決定された上記混合率に基づいて、ベクトル内挿画像５と加算内挿画像７とを上記エリア毎に混合し、混合内挿画像１１を生成する内挿画像混合手段１０と、混合内挿画像１１をボカすボケ画像生成手段１２と、入力画像２、入力画像３、または入力画像２と入力画像３との両方に対して強調をかける強調画像生成手段１４とを備える。【選択図】図１
2010154300.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
上記画像処理装置に入力されるフレーム画像である第１の画像と、該第１の画像の時間的に次のフレーム画像である第２の画像とから、上記第１の画像と上記第２の画像との中間の画像である内挿画像を生成し、さらに上記第１の画像および上記第２の画像に対して画像処理を施す画像処理装置において、
上記第１の画像と上記第２の画像とから画像の動きを示す情報である動きベクトルを検出し、上記動きベクトルを元にベクトル内挿画像を生成するベクトル内挿画像生成手段と、
上記第１の画像と上記第２の画像との同一位置における各画素の画素値を足し合わせ、正規化することにより加算内挿画像を生成する加算内挿画像生成手段と、
自身に入力された画像の特徴を抽出し、該特徴を元に、上記ベクトル内挿画像と上記加算内挿画像との混合率を上記内挿画像内のエリア毎に決定する内挿方式判定手段と、
上記内挿方式判定手段により決定された上記混合率に基づいて、上記ベクトル内挿画像と上記加算内挿画像とを上記エリア毎に混合し、混合内挿画像を生成する内挿画像混合手段と、
上記混合内挿画像をボカすボケ画像生成手段と、
上記第１の画像、上記第２の画像、または上記第１の画像と上記第２の画像との両方に対して強調をかける強調画像生成手段とを備えることを特徴とする画像処理装置。
【請求項２】
上記内挿方式判定手段は、上記第１の画像と上記第２の画像との両方、上記第１の画像、または上記第２の画像について、輝度の高いエリアおよび輝度の低いエリアを判別し、上記輝度の高いエリアの混合率および上記輝度の低いエリアの混合率を上記ベクトル内挿画像の比率が高くなるようにすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記内挿方式判定手段は、上記第１の画像と上記第２の画像と上記第１の画像の時間的に前の画像、上記第１の画像、または上記第２の画像からロールテロップを判別し、該ロールテロップが検出されたエリアの混合率を上記ベクトル内挿画像の比率が高くなるようにすることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記内挿方式判定手段は、上記第１の画像と上記第２の画像と上記第１の画像の時間的に前の画像、上記第１の画像、または上記第２の画像から静止テロップを判別し、該静止テロップが検出されたエリアの混合率を上記加算内挿画像の比率が高くなるようにすることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
上記内挿方式判定手段は、上記エリア毎に検出される上記動きベクトルの信頼度に関する情報を上記ベクトル内挿画像生成手段から受け取り、上記動きベクトルの信頼度が低いエリアにおいて上記混合率を上記加算内挿画像の比率が高くなるようにすることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
上記内挿方式判定手段は、あるエリアの混合率と周囲のエリアの混合率との差が大きい場合に、これらを平滑化することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
上記内挿方式判定手段は、前のフレームに対して現フレームの混合率が大きく変わる場合に、混合率の変化を緩やかなものとすることを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、液晶表示装置などの画像表示装置における画質の向上に関するものである。
【背景技術】
【０００２】
動画像を表示する装置としては、ブラウン管、液晶ディスプレイなどが知られている。これらの表示装置では、表示装置上に配置された画素を発光させて画像を表示する。動画像を表示する場合は、画像を定期的に更新する必要があるが、この場合に、画像の更新タイミング毎に画素の発光量を次の画像の発光量に更新している。
【０００３】
ブラウン管では電子ビームを走査して蛍光体を発光させて表示を行う。この方式では画素の発光はインパルス状になる。このような表示装置は、インパルス型の表示装置と呼ばれている。
【０００４】
液晶ディスプレイでは液晶に電圧を印加し、光の透過度を制御することにより表示を行っている。印加された電圧は次に更新されるまで保持されるため、次の画像の表示タイミングまで画素は同じ輝度で発光することになる。このような表示装置は、ホールド型の表示装置と呼ばれている。
【０００５】
特許文献１、特許文献２などによると、ホールド型の表示装置では、動画像表示に際して動体の動きに観察者の眼が追随することによるボケ現象が生じるという問題が指摘されている。
【０００６】
この問題を解決するために、時間的に連続する画像の間に新たに画像を生成し、表示する画像の更新頻度を上げることによりボケ現象を低減する手法が提案されている。このような技術をＦＲＣ（Frame Rate Converter：フレームレート変換）と呼ぶ。ＦＲＣにはいくつかの方法がある。以下の記載では本発明に関連するＦＲＣ技術を２つ説明する。
【０００７】
第１のＦＲＣ技術は、特許文献１に代表される動きベクトルを使う方式である。以下の記載ではこのＦＲＣ技術をベクトル型ＦＲＣと呼ぶ。図１３は、ベクトル型ＦＲＣの基本的な概念を示す平面図である。
【０００８】
今、画像１０１と画像１０１の時間的に次の画像である画像１０２とがあるとする。これらの画像が続けて表示されると、各画像内の円１０３が斜め上方向（右上方向）に動いているように見える。これらの画像から、画像処理により円１０３がどちらの方向に動いたかを検出する。検出した動きが符号１０４のベクトルで示される。このような情報は動きベクトルと呼ばれる。
【０００９】
動きベクトル１０４が分かれば、動きベクトルの長さを半分にした位置に円１０５を描画すれば、画像１０１と画像１０２との中間の画像である画像１０６を得ることができる。
【００１０】
図１３における時刻の単位は、１フレームの表示時間である。例えば日本のＴＶ放送は５９．９４Ｈｚで放送しているため、１フレームの表示時間は１／５９．９４秒＝約１６．７ミリ秒となる。
【００１１】
実際にはベクトル型ＦＲＣではブロック単位で処理を行うことが多い。この様子を示したのが図１４である。図１４（ａ）では画像２０１が１３×１０＝計１３０個の矩形ブロックに分割される様子を示している。画像２０１は、図１３での画像１０１と同じものであるが、微小な矩形ブロック（矩形領域）に分割している。
【００１２】
今、ここで矩形ブロック２０２に注目する。矩形ブロック２０２が次の画像でどこに移動するかをパターンマッチングで探索する。図１４（ｂ）における画像２０３は、図１３における画像１０２と同じものであるが、画像２０１を合成している。
【００１３】
パターンマッチングの結果、矩形ブロック２０２は矩形ブロック２０４とほぼ等しいことが分かる。ここで求めたられたのが矩形ブロック２０２に対する動きベクトル２０５である。
【００１４】
次に図１４（ｃ）に注目する。矩形ブロック２０２の位置から、動きベクトル２０５の大きさを半分にした動きベクトル２０７の分だけ移動させた位置の矩形ブロック２０６に、矩形ブロック２０２の内容をコピーする。他のブロックに対しても同様の処理を繰り返せば、中間画像を得ることができる。これがベクトル型ＦＲＣを用いて中間画像を得る方法である。
【００１５】
図１５は、ベクトル型ＦＲＣの構成を示すブロック図である。入力画像３０２は、入力画像３０１の時間的に次のフレーム画像である。入力画像３０１および入力画像３０２は、ベクトル内挿画像生成手段３０３に入力される。ベクトル内挿画像生成手段３０３は、動きベクトル検出手段３０４およびブロックコピー手段３０５を備えている。
【００１６】
ベクトル内挿画像生成手段３０３に入力された、入力画像３０１および入力画像３０２は、動きベクトルの検出を行う動きベクトル検出手段３０４に入力される。即ち動きベクトル検出手段３０４は、例えば図１４（ｂ）に示される、動きベクトル２０５を検出する作業を行う。
【００１７】
動きベクトル検出手段３０４において動きベクトルを検出した後、入力画像３０１および上記動きベクトルがブロックコピー手段３０５に入力される。ブロックコピー手段３０５は、上記動きベクトルに基づいてブロック単位のコピーを行い、ベクトル型ＦＲＣによる中間画像であるベクトル内挿画像３０６を生成する。即ちブロックコピー手段３０５は、例えば図１４（ｃ）に示される、中間画像を得る作業を行う。
【００１８】
この後、表示装置によって表示される時は、入力画像３０１が出力画像３０７として、ベクトル内挿画像３０６が出力画像３０８として、入力画像３０２が出力画像３０９としてこの順に出力される。
【００１９】
第２のＦＲＣ技術は、特許文献２の手法である。以下の記載ではこのＦＲＣ技術を周波数分散型ＦＲＣと呼ぶ。図１６は、周波数分散型ＦＲＣの基本的な概念を示す平面図である。
【００２０】
今、入力画像４０１と入力画像４０１の時間的に次の画像である入力画像４０２とがあるとする。入力画像４０１を強調した画像を出力画像４０４として出力し、入力画像４０２を強調した画像を出力画像４０６として出力する。
【００２１】
また入力画像４０１と入力画像４０２とを足し合わせた加算内挿画像４０３を作り、これをボカしたものを出力画像４０５として出力する。各出力画像は、出力画像４０４、出力画像４０５、出力画像４０６の順に表示する。特許文献２によるとこのような表示をすることで人間の視覚特性のためボケ現象の低減ができる。
【００２２】
図１７は、周波数分散型ＦＲＣの構成を示すブロック図である。入力画像５０１および入力画像５０２が、画素毎の加算を行う加算内挿画像生成手段５０３に入力されて処理されることにより、加算内挿画像５０４が出力される。
【００２３】
加算内挿画像５０４は、ボケ画像生成手段５０５によりボカされ、出力画像５０８となる。また入力画像５０１および入力画像５０２は、画像の強調を行う強調画像生成手段５０６に入力され、出力画像５０７および出力画像５０９となる。
【００２４】
この後、表示装置によって表示される時は、出力画像５０７、出力画像５０８、および出力画像５０９がこの順に出力される。
【００２５】
なお、図１６における時刻の単位は、図１３と同様に１フレームの表示時間である。
【特許文献１】特許第３２９５４３７（２００２年４月５日特許）
【特許文献２】国際公開ＷＯ２００７／０５２４４１号（２００７年９月１０日公開）
【発明の開示】
【発明が解決しようとする課題】
【００２６】
ベクトル型ＦＲＣでは、高品位な中間画像の生成ができず、視聴感を大きく損ねるという問題が発生する可能性がある。原因は動きベクトルの検出ミスである。以下のような要因があると動きベクトルの検出ミスが起きやすい。
【００２７】
第１の要因として、画面上のノイズが大きい場合が挙げられる。カメラのノイズや圧縮ノイズなどの影響を受ける可能性がある。第２の要因として、画面上を複数の物体が移動しており、かつそれらが交差するような場合が挙げられる。第３の要因として、動きが大きい場合が挙げられる。処理の高速化のため動きベクトルの探索範囲は限定されることが多い。探索範囲よりも大きい動きは検出できない。第４の要因として、拡大・縮小・回転などの平行移動以外の動きである場合が挙げられる。動きベクトルの検出ミスが起こると動物体の像がブレるなどの現象が発生する。
【００２８】
周波数分散型ＦＲＣでは、強調過程において、強調後の画像の画素値（画素の輝度値）が表示装置の表示可能な範囲を越えてしまい、理論通りの強調後の画像が得られないことがある。この様子を図１８に示す。図１８は画像の横方向の輝度の変化をグラフにしたものである。図１８のグラフにおいて、グラフの縦軸が輝度を示し、グラフの横軸が画素の位置ｘを示している。
【００２９】
図１８（ａ）のように画像にエッジ６０１があったとする。図１８（ｂ）では、エッジ６０１に強調をかけた画像が示されている。エッジ６０１が強調され、６０２のように強調されたエッジとなる。
【００３０】
しかし、図１８（ｃ）のように、表示装置が表現できる輝度値に、上限６０３および下限６０４があった場合を考える。例えば下側の部分では本来点線部６０５のような輝度変化にならなければいけないが、点線部６０５は下限６０４を下回り、このような輝度は表現できないため、符号６０６で示されるように丸められてしまう。このような状況が発生すると理論通りの強調画像が得られないため、丸め込みが生じた画素の周辺で画像のボケが発生する。
【００３１】
本発明は上記の問題を鑑みてなされたものであり、その目的は、ベクトル型ＦＲＣおよび周波数分散型ＦＲＣの欠点を相互に補完することで良好な視聴感を得ることが出来るＦＲＣを提供することである。
【課題を解決するための手段】
【００３２】
本発明の画像処理装置は、上記課題を解決するために、画像処理装置であって、上記画像処理装置に入力されるフレーム画像である第１の画像と、該第１の画像の時間的に次のフレーム画像である第２の画像とから、上記第１の画像と上記第２の画像との中間の画像である内挿画像を生成し、さらに上記第１の画像および上記第２の画像に対して画像処理を施す画像処理装置において、上記第１の画像と上記第２の画像とから画像の動きを示す情報である動きベクトルを検出し、上記動きベクトルを元にベクトル内挿画像を生成するベクトル内挿画像生成手段と、上記第１の画像と上記第２の画像との同一位置における各画素の画素値を足し合わせ、正規化することにより加算内挿画像を生成する加算内挿画像生成手段と、自身に入力された画像の特徴を抽出し、該特徴を元に、上記ベクトル内挿画像と上記加算内挿画像との混合率を上記内挿画像内のエリア毎に決定する内挿方式判定手段と、上記内挿方式判定手段により決定された上記混合率に基づいて、上記ベクトル内挿画像と上記加算内挿画像とを上記エリア毎に混合し、混合内挿画像を生成する内挿画像混合手段と、上記混合内挿画像をボカすボケ画像生成手段と、上記第１の画像、上記第２の画像、または上記第１の画像と上記第２の画像との両方に対して強調をかける強調画像生成手段とを備えることを特徴とする。
【００３３】
上記発明によれば、上記内挿方式判定手段により、適切なＦＲＣ（フレームレート変換）の方法が上記エリア毎に決定され、上記ベクトル内挿画像および上記加算内挿画像が上記内挿画像混合手段により適切な上記混合率で混合される。このため、良好なＦＲＣの結果を得ることができ、ベクトル型ＦＲＣおよび周波数分散型ＦＲＣの欠点を相互に補完することで良好な視聴感を得ることが出来るＦＲＣを提供することが可能となる。
【００３４】
また、上記画像処理装置の構成で特徴的である点は、上記混合内挿画像に対して上記ボケ画像生成手段がボカし処理を行うことである。上記混合内挿画像には上記ベクトル内挿画像が採用されているエリアも存在する。このエリアに対してもボカし処理は行われる。
【００３５】
従来のベクトル型ＦＲＣでは、ＦＲＣの出力に対してボケ・強調といった処理は行われない。しかし特許文献２によれば、加算内挿画像ではなく、ベクトル型ＦＲＣの出力であるベクトル内挿画像に対してボケ・強調をかけることによるボケ低減の方法も提案されている。
【００３６】
そのため本発明では、混合された後の上記混合内挿画像全体に対してボカし処理を行う構成を取ることにより、必要に応じて強調された、上記第１の画像および上記第２の画像対して上記内挿画像混合手段を使用しなくてもよく、上記画像処理装置の処理量を減らし、上記画像処理装置の構成を簡単なものとしている。
【００３７】
上記画像処理装置では、上記内挿方式判定手段は、上記第１の画像と上記第２の画像との両方、上記第１の画像、または上記第２の画像について、輝度の高いエリアおよび輝度の低いエリアを判別し、上記輝度の高いエリアの混合率および上記輝度の低いエリアの混合率を上記ベクトル内挿画像の比率が高くなるようにしてもよい。
【００３８】
上記輝度の高いエリアおよび上記輝度の低いエリアは、周波数分散型ＦＲＣによる画像の強調において、強調後の画像の画素値、即ち画素の輝度値が表示装置の表示可能な範囲を超える可能性が高いエリアである。
【００３９】
このようなエリアでは、周波数分散型ＦＲＣによる画像がぼやけるため、ベクトル型ＦＲＣの方が周波数分散型ＦＲＣよりも良好な結果を得られる可能性が高い。従って、上記輝度の高いエリアおよび上記輝度の低いエリアでは、上記混合率をベクトル型ＦＲＣにより生成された上記ベクトル内挿画像の比率が高くなるようにする。
【００４０】
上記画像処理装置では、上記内挿方式判定手段は、上記第１の画像と上記第２の画像と上記第１の画像の時間的に前の画像、上記第１の画像、または上記第２の画像からロールテロップを判別し、該ロールテロップが検出されたエリアの混合率を上記ベクトル内挿画像の比率が高くなるようにしてもよい。
【００４１】
上記ロールテロップが検出されたエリアは、輝度が極端に高い部分および輝度が低い部分が多く、また画素間の輝度差が大きい傾向にある。そのため周波数分散型ＦＲＣによる画像の強調において、強調後の画像の画素値が表示装置の表示可能な範囲を超える可能性が高い。よって、上記ロールテロップが検出されたエリアでは、ベクトル型ＦＲＣの方が周波数分散型ＦＲＣよりも良好な結果を得られる可能性が高くなる。従って、上記ロールテロップが検出されたエリアでは、上記混合率をベクトル型ＦＲＣにより生成された上記ベクトル内挿画像の比率が高くなるようにする。
【００４２】
上記画像処理装置では、上記内挿方式判定手段は、上記第１の画像と上記第２の画像と上記第１の画像の時間的に前の画像、上記第１の画像、または上記第２の画像から静止テロップを判別し、該静止テロップが検出されたエリアの混合率を上記加算内挿画像の比率が高くなるようにしてもよい。
【００４３】
ベクトル型ＦＲＣでは、背景がパンしているような画像の上に静止テロップが重なっているような場合に、動きベクトルの検出ミスが起き易く、画像にブレが発生する可能性が高い。周波数分散型ＦＲＣでは動きベクトルを検出しておらず、このような問題は発生しない。従って、上記静止テロップが検出されたエリアでは、上記混合率を上記加算内挿画像の比率が高くなるようにする。
【００４４】
上記画像処理装置では、上記内挿方式判定手段は、上記エリア毎に検出される上記動きベクトルの信頼度に関する情報を上記ベクトル内挿画像生成手段から受け取り、上記動きベクトルの信頼度が低いエリアにおいて上記混合率を上記加算内挿画像の比率が高くなるようにしてもよい。
【００４５】
上記動きベクトルの信頼度が低いエリアでは、動きベクトルの検出ミスが発生している可能性が高く、画像にブレが発生する可能性が高い。周波数分散型ＦＲＣでは動きベクトルを検出しておらず、このような問題は発生しない。従って、上記動きベクトルの信頼度が低いエリアでは、上記混合率を上記加算内挿画像の比率が高くなるようにする。
【００４６】
上記画像処理装置では、上記内挿方式判定手段は、あるエリアの混合率と周囲のエリアの混合率との差が大きい場合に、これらを平滑化してもよい。
【００４７】
ベクトル型ＦＲＣと周波数分散型ＦＲＣとでは、出力される画像のボケ低減の効果はやや異なる。そのため、あるエリアの混合率と周囲のエリアの混合率との差が大きい場合に、即ち空間的に混合率が急激に変化してしまう場合に、上記混合率の変化点を目で認識できてしまう。具体的には映像に線が入るなどの現象がおき、視聴感が大きく劣化する可能性がある。そのため上記混合率の変化を緩やかなものとすることで上記変化点を目立たないようにする。
【００４８】
上記画像処理装置では、上記内挿方式判定手段は、前のフレーム画像に対して現フレーム画像の混合率が大きく変わる場合に、混合率の変化を緩やかなものとしてもよい。
【００４９】
ベクトル型ＦＲＣと周波数分散型ＦＲＣとでは、出力される画像のボケ低減の効果はやや異なる。そのため、前のフレーム画像に対して現フレーム画像の混合率が大きく変わる場合に、即ち時間的に混合率が急激に変化してしまう場合に、上記混合率の変化点を目で認識できてしまう。具体的には映像がフラッシングするような現象がおき、視聴感が大きく劣化する可能性がある。そのため上記混合率の変化を緩やかなものとすることで上記変化点を目立たないようにする。
【発明の効果】
【００５０】
本発明の画像処理装置は、以上のように、第１の画像と第２の画像とから画像の動きを示す情報である動きベクトルを検出し、上記動きベクトルを元にベクトル内挿画像を生成するベクトル内挿画像生成手段と、上記第１の画像と上記第２の画像との同一位置における各画素の画素値を足し合わせ、正規化することにより加算内挿画像を生成する加算内挿画像生成手段と、自身に入力された画像の特徴を抽出し、該特徴を元に、上記ベクトル内挿画像と上記加算内挿画像との混合率を内挿画像内のエリア毎に決定する内挿方式判定手段と、上記内挿方式判定手段により決定された上記混合率に基づいて、上記ベクトル内挿画像と上記加算内挿画像とを上記エリア毎に混合し、混合内挿画像を生成する内挿画像混合手段と、上記混合内挿画像をボカすボケ画像生成手段と、上記第１の画像、上記第２の画像、または上記第１の画像と上記第２の画像との両方に対して強調をかける強調画像生成手段とを備えるものである。
【００５１】
それゆえ、ベクトル型ＦＲＣおよび周波数分散型ＦＲＣの欠点を相互に補完することで良好な視聴感を得ることが出来るＦＲＣを提供するという効果を奏する。
【発明を実施するための最良の形態】
【００５２】
本発明の一実施形態について実施例１〜実施例４、および図１〜図１２に基づいて説明すると以下の通りである。
【００５３】
図１は、本実施形態に係る画像処理装置１のブロック図である。画像処理装置１には、入力画像２および入力画像３がこの順番で入力される。
【００５４】
入力画像２および入力画像３は、ベクトル内挿画像生成手段４に入力される。ベクトル内挿画像生成手段４は、入力画像２と入力画像３との中間画像であるベクトル内挿画像５をベクトル型ＦＲＣにより生成する。
【００５５】
また、入力画像２および入力画像３は、加算内挿画像生成手段６に入力される。加算内挿画像生成手段６は、入力画像２と入力画像３との同一位置にある画素を加算し、正規化した加算内挿画像７を生成する。
【００５６】
さらに、入力画像２および入力画像３は、内挿方式判定手段８に入力される。内挿方式判定手段８は、入力画像２と入力画像３との両方、入力画像２、または入力画像３から画像の特徴を抽出し、画像を分割した複数のエリア（領域）に関して、それぞれのエリアでベクトル型ＦＲＣの処理がよいか、周波数分散型ＦＲＣの処理がよいかを、上記特徴に関する情報を元に判定し、各エリアにおける、ベクトル内挿画像と加算内挿画像との混合率９を求める。なお、混合率の求め方については実施例１以降で定義する。
【００５７】
内挿画像混合手段１０では、内挿方式判定手段８より得られた混合率９に従って、ベクトル内挿画像５および加算内挿画像７を混合し、混合内挿画像１１を生成する。
【００５８】
ボケ画像生成手段１２は、混合内挿画像１１を空間フィルタ等の処理によってボカす。ボケ画像生成手段１２から出力される画像は、出力画像１３となる。
【００５９】
強調画像生成手段１４は、入力画像２と入力画像３との両方、入力画像２、または入力画像３に対して強調をかける。強調画像生成手段１４から出力される画像は、入力画像２に対しては出力画像１５、入力画像３に対しては出力画像１６となる。表示装置での表示順序は、出力画像１５、出力画像１３、出力画像１６の順となる。
【００６０】
画像処理装置１の構成では、内挿方式判定手段８により、適切なＦＲＣの方法が上記エリア毎に決定され、ベクトル内挿画像５および加算内挿画像７が内挿画像混合手段１０により適切な混合率で混合されるため、良好なＦＲＣの結果を得ることができ、ベクトル型ＦＲＣおよび周波数分散型ＦＲＣの欠点を相互に補完することで良好な視聴感を得ることが出来るＦＲＣを提供することが可能となる。
【００６１】
また、画像処理装置１の構成で特徴的である点は、混合内挿画像１１に対してボケ画像生成手段１２がボカし処理を行うことである。混合内挿画像１１にはベクトル内挿画像５が採用されているエリアも存在する。このエリアに対してもボカし処理は行われる。
【００６２】
従来のベクトル型ＦＲＣでは、ＦＲＣの出力に対してボケ・強調といった処理は行われない。しかし特許文献２によれば、加算内挿画像ではなく、ベクトル型ＦＲＣの出力であるベクトル内挿画像に対してボケ・強調をかけることによるボケ低減の方法も提案されている。
【００６３】
そのため本発明では、混合された後の混合内挿画像１１全体に対してボカし処理を行う構成を取ることにより、必要に応じて強調された出力画像１５，１６に対して内挿画像混合手段１０を使用しなくてもよく、画像処理装置１の処理量を減らし、画像処理装置１の構成を簡単なものとしている。
【００６４】
参考として、図２は、ベクトル型ＦＲＣと周波数分散型ＦＲＣとを単純に合成し、ボカし処理および強調処理が行われた後の各画像に対して内挿画像混合手段による混合を行う画像処理装置１７のブロック図である。図１の画像処理装置１と比べると構成が複雑になっている。
【００６５】
具体的には、画像処理装置１７の内挿画像混合手段２２は、以下の処理を行う。まず、入力画像２と強調画像２０とを混合し、出力画像２３を出力する。次に、ベクトル内挿画像５と加算ボケ画像１９とを混合し、出力画像２４を出力する。加算ボケ画像１９は、ボケ画像生成手段１８が加算内挿画像７に対してボカし処理を行うことにより生成された画像である。最後に、入力画像３と強調画像２１とを混合し、出力画像２５を出力する。表示装置での表示順序は、出力画像２３、出力画像２４、出力画像２５の順となる。
【００６６】
図１に戻り、内挿方式判定手段８は、入力画像２と入力画像３との両方、入力画像２、または入力画像３について、輝度の高いエリアと輝度の低いエリアとを判定し、これらのエリアに対する混合率を高くしてベクトル内挿画像５の比率を高くしてもよい。
【００６７】
上記輝度の高いエリアおよび上記輝度の低いエリアは、周波数分散型ＦＲＣによる画像の強調において、強調後の画像の画素値（画素の輝度値）が表示装置の表示可能な範囲を超える可能性が高いエリアである。
【００６８】
このようなエリアでは、周波数分散型ＦＲＣによる画像がぼやけるため、ベクトル型ＦＲＣの方が周波数分散型ＦＲＣよりも良好な結果を得られる可能性が高い。従って、上記輝度の高いエリアおよび上記輝度の低いエリアでは、混合率を高くしてベクトル型ＦＲＣにより生成されたベクトル内挿画像５の比率を高くする。
【００６９】
また、内挿方式判定手段８は、入力画像２と入力画像３と入力画像２の時間的に前の画像、入力画像２、または入力画像３からロールテロップ領域を検出し、該ロールテロップ領域に対する混合率を高くし、ベクトル内挿画像５の比率を高くしてもよい。
【００７０】
上記ロールテロップが検出されたエリアは、輝度が極端に高い部分および輝度が低い部分が多く、また画素間の輝度差が大きい傾向にある。そのため周波数分散型ＦＲＣによる画像の強調において、強調後の画像の画素値が表示装置の表示可能な範囲を超える可能性が高い。よって、上記ロールテロップが検出されたエリアでは、ベクトル型ＦＲＣの方が周波数分散型ＦＲＣよりも良好な結果を得られる可能性が高くなる。従って、上記ロールテロップが検出されたエリアでは、混合率を高くしてベクトル型ＦＲＣにより生成されたベクトル内挿画像の比率を高くする。
【００７１】
さらに、内挿方式判定手段８は、入力画像２と入力画像３と入力画像２の時間的に前の画像、入力画像２、または入力画像３から静止テロップを検出し、該静止テロップが検出されたエリアに対する混合率を低くし、加算内挿画像７の比率を高くしてもよい。
【００７２】
ベクトル型ＦＲＣでは、背景がパンしているような画像の上に静止テロップが重なっているような場合に、動きベクトルの検出ミスが起き易く、画像にブレが発生する可能性が高い。周波数分散型ＦＲＣでは動きベクトルを検出しておらず、このような問題は発生しない。従って、上記静止テロップが検出されたエリアでは、混合率を低くして加算内挿画像７の混合率を高くする。
【００７３】
さらに、内挿方式判定手段８は、上記エリア毎に検出される上記動きベクトルの信頼度に関する情報をベクトル内挿画像生成手段４から受け取り、上記動きベクトルの信頼度が低いエリアにおいて混合率を低くし、加算内挿画像７の比率を高くしてもよい。
【００７４】
上記動きベクトルの信頼度が低いエリアでは、動きベクトルの検出ミスが発生している可能性が高く、画像にブレが発生する可能性が高い。周波数分散型ＦＲＣでは動きベクトルを検出しておらず、このような問題は発生しない。従って、上記動きベクトルの信頼度が低いエリアでは、混合率を低くして加算内挿画像７の比率を高くする。
【００７５】
さらに、内挿方式判定手段８は、あるエリアの混合率と周囲のエリアの混合率との差が大きい場合に、これらを平滑化してもよい。即ち、内挿方式判定手段８は、混合率が空間的に急激に変化しないように混合率の変化を滑らかに調整してもよい。
【００７６】
ベクトル型ＦＲＣと周波数分散型ＦＲＣとでは、出力される画像のボケ低減の効果はやや異なる。そのため、あるエリアの混合率と周囲のエリアの混合率との差が大きい場合に、即ち空間的に混合率が急激に変化してしまう場合に、上記混合率の変化点を目で認識できてしまう。具体的には映像に線が入るなどの現象がおき、視聴感が大きく劣化する可能性がある。そのため上記混合率の変化を緩やかなものとすることで上記変化点を目立たないようにする。
【００７７】
さらに、内挿方式判定手段８は、前のフレーム画像に対して現フレーム画像の混合率が大きく変わる場合に、混合率の変化を緩やかなものとしてもよい。即ち、内挿方式判定手段８は、混合率が時間的に急激に変化しないように混合率の変化を滑らかに調整してもよい。
【００７８】
ベクトル型ＦＲＣと周波数分散型ＦＲＣとでは、出力される画像のボケ低減の効果はやや異なる。そのため、前のフレーム画像に対して現フレーム画像の混合率が大きく変わる場合に、即ち時間的に混合率が急激に変化してしまう場合に、上記混合率の変化点を目で認識できてしまう。具体的には映像がフラッシングするような現象がおき、視聴感が大きく劣化する可能性がある。そのため上記混合率の変化を緩やかなものとすることで上記変化点を目立たないようにする。
【００７９】
〔実施例１〕
図３は、本実施例１に係る画像処理装置２６のブロック図である。画像処理装置２６へは、約６０Ｈｚの周期で定期的に入力画像２７が送られてくる。入力画像２７は、まずフレームバッファ２８に納められる。
【００８０】
入力画像２７がフレームバッファ２８に納められると、フレームバッファ２８の内容は、画像強調装置（強調画像生成手段）２９、ベクトル型ＦＲＣ装置（ベクトル内挿画像生成手段）３０、画像加算装置（加算内挿画像生成手段）３１、および内挿方式判定装置（内挿方式判定手段）３２が読み込み、各装置がそれぞれの処理を行っていく。
【００８１】
フレームバッファ３３には、フレームバッファ２８に収められた画像の一つ前のフレーム画像が納められている。ベクトル型ＦＲＣ装置３０、画像加算装置３１、および内挿方式判定装置３２は、フレームバッファ２８からの読み込みと平行して、フレームバッファ３３の画像も読み込んでおく。フレームバッファ３３には、現在処理中の入力画像２７の１フレーム前の画像が保存されている。
【００８２】
画像強調装置２９は、フレームバッファ２８に収められた画像に対して、空間フィルタを利用した画像の強調処理を行い、処理後の強調画像をフレームバッファ３４へと格納する。
【００８３】
ベクトル型ＦＲＣ装置３０は、入力された２枚の画像の中間画像をベクトル型ＦＲＣにより求める装置である。ベクトル型ＦＲＣ装置３０は、フレームバッファ２８から読み込んだ画像と、フレームバッファ３３から読み込んだ画像とから画像内の動きベクトルを求め、該動きベクトルに基づいてベクトル内挿画像、即ち上記中間画像を生成し、上記ベクトル内挿画像をフレームバッファ３５へと格納する。
【００８４】
画像加算装置３１は、フレームバッファ２８から読み込んだ画像と、フレームバッファ３３から読み込んだ画像とを足し合わせる。即ち、同一位置の画素の画素値を足し合わせ、２で割り（正規化）、これを出力する加算内挿画像の画素値とする。上記加算内挿画像は、フレームバッファ３６へと格納される。
【００８５】
内挿方式判定装置３２は、０〜１６の範囲を持つ整数値である混合率を求める。該混合率は、画像加算装置３１から出力される加算内挿画像と、ベクトル型ＦＲＣ装置３０から出力されるベクトル内挿画像とを混合させる比率である。
【００８６】
上記混合率が０であるということは、加算内挿画像を採用することを意味し、上記混合率の値が増える毎にベクトル内挿画像の比率が上がり、混合率が１６の場合ではベクトル内挿画像を採用することを意味する。上記混合率は、一つの画素毎に一つの割合で求められ、内挿方式判定装置３２において保持されるものとする。
【００８７】
ここで、内挿方式判定装置３２の処理を示すフローチャートを図４に示す。以下の記載では、内挿方式判定装置３２の動作を図４を用いて説明していく。
【００８８】
まず、内挿方式判定装置３２は、フレームバッファ２８から入力画像３７を読み込む（ステップＳ１）。次に、内挿方式判定装置３２は、フレームバッファ３３から入力画像３８を読み込む（ステップＳ２）。
【００８９】
次に、内挿方式判定装置３２は、フレームバッファ２８から読み込んだ入力画像３７とフレームバッファ３３から読み込んだ入力画像３８との各画素に対して、輝度を調査していく。輝度は０〜２５５の値を持っている。輝度の値によって以下に示す表１で対応するように仮の混合率を算出する（ステップＳ３およびステップＳ４）。フレームバッファ２８の画像とフレームバッファ３３の画像との間で混合率が違う場合は、大きい方の値を混合率として採用する（ステップＳ５〜Ｓ７）。算出した混合率は一時保存しておく。
【００９０】
【表１】
2010154300.tif 000003
【００９１】
採用された上記混合率をそのまま使用してもよいが、輝度の高い部分および輝度の低い部分は、静止テロップである可能性がある。ベクトル型ＦＲＣでは静止テロップ周辺で動きベクトルの検出ミスが発生しやすく、画像のブレが起こりやすい。そのため静止テロップと思われる部分の混合率を下げる処理を行う。
【００９２】
静止テロップの検出方法は、様々な公知技術を用いることができる。例えば入力画像３７，３８を８×８の矩形エリアに分割し（ステップＳ８）、各エリアに対して以下のようなチェックを行う。
【００９３】
第１に、エリア内の各画素において、入力画像３７の時の画素値と入力画像３８の時の画素値との差分の合計が閾値以下かをチェックする（Ｓ９）。第２に、エリア内に存在する混合率の合計値が閾値以上かをチェックする（Ｓ１０）。第３に、エリア内の各画素の画素値と、隣接する画素の画素値との差分の二乗和が閾値以上かをチェックする（Ｓ１１）。
【００９４】
以上の条件を全て満たすエリアは静止テロップの可能性があるため、エリアに該当する画素の混合率から１２を減算する（Ｓ１２）。なお１２を減算した結果、混合率が負の値となる場合は、混合率を０に丸める。
【００９５】
図３に戻り、上述したように内挿方式判定装置３２において求められた混合率は、画像混合装置（内挿画像混合手段）３９へと送られる。画像混合装置３９は、フレームバッファ３５からベクトル内挿画像を、フレームバッファ３６から加算内挿画像を読み込み、内挿方式判定装置３２から出力された混合率に従って混合内挿画像を生成する。混合内挿画像は、画素毎に求められた混合率に従って生成される。生成された混合内挿画像は、フレームバッファ４０へと記録される。混合内挿画像における各画素の画素値は、以下に示す（１）式で求められる。
【００９６】
混合内挿画像の画素値＝[（混合率）×ベクトル内挿画像の画素値＋｛１６−（混合率）｝×加算内挿画像の画素値]÷１６    （１）
ボケ画像生成装置４１は、フレームバッファ４０から混合内挿画像を読み込み、空間フィルタを利用したボケ画像生成を行い、該ボケ画像をフレームバッファ４２へと格納する。
【００９７】
画像出力装置４３は、まずフレームバッファ３４から強調画像を読み込み、液晶パネル４４へと出力する。その１／１２０秒後、次はフレームバッファ４２からボケ画像を読み込み、液晶パネル４４へと出力する。
【００９８】
以上の処理が終了すると、フレームバッファ２８に格納していた画像をフレームバッファ３３へと転送する。前の画像入力から１／６０秒後に、画像処理装置２６には新たな画像が入力され、これがフレームバッファ２８へと格納され、同様の処理を繰り返していく。
【００９９】
〔実施例２〕
本実施例２の画像処理装置４５の構成は、実施例１の画像処理装置２６の構成と同じである。ただし内挿方式判定装置３２の動作が異なり、またベクトル型ＦＲＣ装置３０はロールテロップ領域の検出機能を有している。
【０１００】
本実施例２において、ベクトル型ＦＲＣ装置３０はロールテロップ領域の検出を行う。テロップ領域の検出には、様々な公知技術を用いることができる。例えば、ある特定の速度（ベクトル長）を持つ動きベクトルが集中して存在する領域をロールテロップ領域として検出したり、ロールテロップ領域は水平方向にスクロールする場合が多いため、表示画面の水平方向の帯状領域毎に、同様の速度（ベクトル長）を持つ動きベクトルが多数存在しているかどうかを判定し、同様の速度（ベクトル長）を持つ動きベクトルが多数存在する水平方向の帯状領域をロールテロップ領域として検出したりしても良い。
【０１０１】
ベクトル型ＦＲＣ装置３０によるロールテロップ領域の検出結果は、内挿方式判定装置３２へと送られる。内挿方式判定装置３２では。ロールテロップ領域の検出結果を元に混合率を求める。混合率は０〜１６の範囲を持つ整数値であり、実施例１に記載の混合率と同じ意味を持つ。
【０１０２】
本実施例２における内挿方式判定装置３２の動作の概念を、図５（ａ）のフローチャートおよび図５（ｂ）〜図５（ｄ）の画面への混合率の割り当てを示す図を用いて説明する。
【０１０３】
ベクトル型ＦＲＣ装置３０は、入力画像４６のロールテロップ領域４７を、動きベクトルの分布等から判定する（ステップＳ２１）。ロールテロップ領域として判断された領域４７には混合率１６を割り当て、それ以外の非ロールテロップ領域４８に対して混合率０を割り当てる（ステップＳ２２〜Ｓ２４）。最後に混合率にＬＰＦ（ＬｏｗＰａｓｓＦｉｌｔｅｒ）をかける（ステップＳ２５）。この結果、混合率の境界部４９においてボケが生じ、ロールテロップ領域４７と非ロールテロップ領域４８との境界が緩やかになる。こうして算出した混合率は画像混合装置３９へと送られる。画像処理装置４５の以後の処理は、実施例１の画像処理装置２６と同様である。
【０１０４】
〔実施例３〕
本実施例３の画像処理装置５０の構成は、実施例１の画像処理装置２６の構成と同じである。ただし内挿方式判定装置３２の動作が異なり、またベクトル型ＦＲＣ装置３０は動きベクトルの信頼度を算出し、出力する機能を有する。
【０１０５】
動きベクトルの信頼度は、様々な方法で算出可能である。ここではＤＦＤ（Displaced Frame Difference：変位フレーム差）を用いる。
【０１０６】
図６は、ベクトル型ＦＲＣの概念を示した図２を元にＤＦＤの算出過程を示す図である。入力画像５１が時刻ｔにおいて画像処理装置５０に入力され、その次の画像である入力画像５２が時刻ｔ＋１において画像処理装置５０に入力され、入力画像５１のブロック５３が入力画像５２ではブロック５４へと移動した時に、動きベクトル５５を検出したとする。
【０１０７】
この時、ブロック５３を拡大したのがブロック拡大図５６であり、ブロック５４を拡大したのがブロック拡大図５７である。
【０１０８】
ブロック拡大図５６，５７において、符号５８や符号５９で示される小さな矩形が一画素を示している。ＤＦＤ算出部６０は、２つのブロック内での同じ位置の画素、例えば画素５８と画素５９とについて、画素値の差の絶対値をとる。ＤＦＤ算出部６０内のブロックＡＢＳは、入力された画素値の絶対値をとる。
【０１０９】
同様に、ＤＦＤ算出部６０においてブロック内の各画素の差分を取り、それらの絶対値の和を求める。これがＤＦＤである。
【０１１０】
ＤＦＤが大きい場合は、動きを正確に取れていない可能性が高い。即ちＤＦＤが大きい場合は、動きベクトル５５の信頼性が低いと考えられ、動きベクトル５５の信頼度を示す指標の１つとしてＤＦＤを使用することが出来る。この場合、ＤＦＤが小さいほど信頼性があるといえる。
【０１１１】
このようにして画面内のブロック毎に求められたＤＦＤは、内挿方式判定装置３２へと送られる。内挿方式判定装置３２では、動きベクトルの信頼度を元に混合率を求める。混合率は０〜１６の範囲を持つ整数値であり、実施例１に記載の混合率と同じ意味を持つ。
【０１１２】
次に本実施例３における内挿方式判定装置３２の動作について解説する。図７は、本実施例３に係る内挿方式判定装置３２の処理を示すフローチャートであり、図８は、本実施例３に係る混合率の決定過程を示す図である。本実施例３における内挿方式判定装置３２の動作をこれらの図を用いて説明していく。
【０１１３】
図８では小さな矩形が一つのブロックを表し、ブロックの色が黒くなるほど混合率が低く、ブロックの色が白くなるほど混合率が高い。最も黒いブロック６１が混合率０のブロック、最も白いブロック６２が混合率１６のブロックを表す。本実施例３では混合率はブロック単位で一つの混合率を持つものとする。
【０１１４】
内挿方式判定装置３２は、一画面分の混合率を保存する混合率バッファ６３を内部に有している。画像処理装置５０の電源投入時、内挿方式判定装置３２は、混合率バッファ６３の混合率を１６で初期化しておく（ステップＳ３１）。
【０１１５】
図７のステップＳ３１の処理は、図８の画面６４と対応している。ステップＳ３２以降では入力画像毎にステップＳ３３〜Ｓ４４の処理を繰り返していく。画像が入力され、ベクトル型ＦＲＣが実行されると、ブロック毎にＤＦＤが算出される（ステップＳ３３）。
【０１１６】
次にステップＳ３４以降のステップＳ３５〜Ｓ３７でブロック毎に求められたＤＦＤが閾値よりも高いか低いかを判定し（ステップＳ３５）、この結果より仮混合率を求める。
【０１１７】
ＤＦＤが閾値よりも高い場合は，動きベクトルの信頼性が低いと考えられるので、周波数分散型ＦＲＣを採用するため仮混合率を０に設定する（ステップＳ３６）。ＤＦＤが閾値よりも低い場合は、ベクトル型ＦＲＣを採用するため仮混合率を１６に設定する（ステップＳ３７）。
【０１１８】
図７のステップＳ３６，Ｓ３７の処理は、図８の画面６５と対応している。全てのブロックに対して仮混合率が求められると、次は仮混合率に対してＬＰＦをかけ、境界をボケさせる（ステップＳ３８）。図７のステップＳ３８の処理は、図８の画面６６と対応している。ステップＳ３８の処理により、混合率の境界部分が目立ちにくくなる。
【０１１９】
次にステップＳ３９以降では各画素に対してステップＳ４０〜Ｓ４４の処理を繰り返していく。ステップＳ４０では混合率バッファ６３に保存しておいた前のフレーム画像の混合率と、仮混合率とを比較し、低い方の混合率を新混合率として採用する（ステップＳ４１，Ｓ４２）。図７のステップＳ４０〜Ｓ４２の処理は、図８の画面６７と対応している。
【０１２０】
新混合率は画像混合装置３９に出力され（ステップＳ４３）、新混合率の値を元に混合内層画像が作成される。
【０１２１】
最後に新混合率を全領域で＋１し（ステップＳ４４）、混合率バッファ６３に保存する。新混合率を全領域で＋１することで、時間方向の混合率が急峻に変化することを一方向だけだが抑えることが可能となり、フラッシングの発生を大幅に抑制することができる。図７のステップＳ４４の処理は、図８の画面６８と対応している。以降のフレーム画像についても、図７のフローチャートに示されるステップＳ３３〜Ｓ４４の処理を繰り返していく（画面６９〜７２）。画像処理装置５０の以後の処理は、実施例１の画像処理装置２６と同様である。
【０１２２】
〔実施例４〕
図９は、本実施例４に係る画像処理装置７３のブロック図である。混合内挿画像生成装置７４は、図３の部材２８〜３１，３３〜３６，３９〜４３とまとめたものであり、内挿方式判定装置が３つ搭載されている。
【０１２３】
内挿方式判定装置７５は実施例１の方式、内挿方式判定装置７６は実施例２の方式、内挿方式判定装置７７は実施例３の方式の内挿方式判定装置である。これら内挿方式判定装置７５〜７７は同時には動作せず、いずれか一つが動作するようになっている。どれが動作するかは、制御ＣＰＵ７８から混合内挿画像生成装置７４に出力される内挿方式決定信号７９によって決定される。
【０１２４】
制御ＣＰＵ７８は、リモコンまたはボタン８０からユーザーによる操作を受け付ける。ユーザーは、「標準」、「スポーツ」、「ダイナミック」などの画質を選択可能であり、制御ＣＰＵ７８は、ユーザーが選択した画質に応じて画像処理の特性を切り替える。該特性には、画像のコントラストや明るさ、色合いなどの他、内挿方式も含まれる。
【０１２５】
画像調整装置８１は、入力画像８２のコントラストや明るさ、色合いを調整する装置である。制御ＣＰＵ７８は、ユーザーが画質を選択した場合、画像調整装置８１に画像調整信号８３を出力し、画像のコントラストや明るさ、色合いなどを操作する。
【０１２６】
制御ＣＰＵ７８は、ユーザーが画質を選択した場合、画像調整装置８１に画像調整信号８３を出力すると同時に、以下に示すように選択した画質によって内挿方式判定装置７５〜７７を切り替える。
【０１２７】
ユーザーが「標準」を選択した場合は、内挿方式判定装置７７を動作させるように制御ＣＰＵ７８が内挿方式決定信号７９を出力する。
【０１２８】
ユーザーが「スポーツ」を選択した場合は、内挿方式判定装置７６を動作させるように制御ＣＰＵ７８が内挿方式決定信号７９を出力する。これは、一般的なスポーツ映像の場合、画面内の動きが大きく、ベクトル型ＦＲＣでは動きベクトルの検出ミスが発生しやすいためであり、ロールテロップ以外は周波数分散型ＦＲＣとなる内挿方式判定装置７６を動作させる。
【０１２９】
ユーザーが「ダイナミック」を選択した場合は、制御ＣＰＵ７８は、内挿方式判定装置７５を動作させるように内挿方式決定信号７９を出力すると同時に、画像調整装置８１に対して画像調整信号８３を出力する。これにより、入力画像８２のコントラストを拡大し、派手な絵作りにする。その際、輝度の高い部分、低い部分が他の画質に比べよく出るため、輝度の高い部分、輝度の低い部分に対して処理を行う内挿方式判定装置７５を動作させる。
【０１３０】
〔画像をボカす処理〕
本実施形態において画像をボカすとは、画像に対してＬＰＦ（ＬｏｗＰａｓｓＦｉｌｔｅｒ）等をかけることにより画像の高周波成分を抑え、平滑化することを意味する。本実施形態における画像をボカす処理としては、例えば図１０に示される処理を行う。
【０１３１】
図１０において、画像９０を構成するある画素（ピクセル）９１に注目する。注目する画素９１のｘ座標がｎ、ｙ座標がｍであった時、画素９１の画素値をＰ（ｎ，ｍ）で表す。今、テーブル９２を有するＬＰＦにより画像をボカす処理を行った後に、画素値がＰ（ｎ，ｍ）からＱ（ｎ，ｍ）に変化したとすると、画素値Ｑ（ｎ，ｍ）は、以下に示す（２）式で計算される。（２）式による計算を、画像を構成する全ての画素に対して行うと、画像の高周波成分が平滑化され、画像がボケたように見える。
Ｑ（ｎ，ｍ）＝｛Ｐ（ｎ−１，ｍ−１）＋Ｐ（ｎ＋１，ｍ−１）＋Ｐ（ｎ−１，ｍ＋１）＋Ｐ（ｎ＋１，ｍ＋１）＋２×Ｐ（ｎ，ｍ−１）＋２×Ｐ（ｎ−１，ｍ）＋２×Ｐ（ｎ＋１，ｍ）＋２×Ｐ（ｎ，ｍ＋１）＋４×Ｐ（ｎ，ｍ）｝／１６    （２）
〔画像に強調をかける処理〕
本実施形態において画像に強調をかけるとは、平滑化と逆に画像の輪郭を強調することを意味する。
【０１３２】
画像をボカす処理と同様に、図１０において画像９０を構成するある画素９１に注目する。注目する画素９１のｘ座標がｎ、ｙ座標がｍであった時、画素９１の画素値をＰ（ｎ，ｍ）で表す。今、ＬＰＦにより画像をボカす処理を行った後の画素値をＱ（ｎ，ｍ）とし、強調を掛ける処理を行った後の画素値をＲ（ｎ，ｍ）とすると、画素値Ｒ（ｎ，ｍ）は、以下に示す（３）式で表される。
Ｒ（ｎ，ｍ）＝Ｐ（ｎ，ｍ）−｛Ｑ｛ｎ，ｍ｝−Ｐ（ｎ，ｍ）｝    （３）
または、図１０のテーブル９２を図１１のテーブル９３に置き換えることによっても、画像に強調をかけることが可能である。
【０１３３】
図１２は、エッジがある画像の画素値９４に対してボカす処理を行ったときの画素値を符号９５で示し、エッジがある画像の画素値９４に対して強調をかける処理を行ったときの画素値を符号９６で示すグラフである。
【０１３４】
なお、〔画像をボカす処理〕及び〔画像に強調をかける処理〕において示した各処理はあくまで一例であり、画像をボカす処理及び画像に強調をかける処理を、他の手法により行ってもよい。
【０１３５】
なお、本実施形態における時刻の単位は、１フレームの表示時間である。例えば日本のＴＶ放送は５９．９４Ｈｚで放送しているため、１フレームの表示時間は１／５９．９４秒＝約１６．７ミリ秒となる。
【産業上の利用可能性】
【０１３６】
本発明の画像処理装置は、ベクトル型ＦＲＣおよび周波数分散型ＦＲＣの欠点を相互に補完することで良好な視聴感を得ることが出来るＦＲＣを提供出来るので、液晶ディスプレイ等に好適に用いることが出来る。
【図面の簡単な説明】
【０１３７】
【図１】本発明の実施形態に係る画像処理装置のブロック図である。
【図２】ベクトル型ＦＲＣと周波数分散型ＦＲＣとを単純に合成し、ボカし処理および強調処理が行われた後の各画像に対して内挿画像混合手段による混合を行う画像処理装置のブロック図である。
【図３】本発明の実施例に係る画像処理装置のブロック図である。
【図４】本発明の実施例に係る内挿方式判定装置の処理を示すフローチャートである。
【図５】（ａ）は本発明の他の実施例に係る内挿方式判定装置の処理を示すフローチャートであり、（ｂ）〜（ｄ）はの画面への混合率の割り当てを示す図である。
【図６】本発明のさらに別の実施例に係る変位フレーム差の算出過程を示す図である。
【図７】本発明のさらに別の実施例に係る内挿方式判定装置の処理を示すフローチャートである。
【図８】本発明のさらに別の実施例に係る混合率の決定過程を示す図である。
【図９】本発明のさらに別の実施例に係る画像処理装置のブロック図である。
【図１０】本発明の実施形態に係る、画像をボカす処理を示す図である。
【図１１】画像に強調をかける時のＬＰＦのテーブルを示す図である。
【図１２】エッジがある画像の画素値、エッジがある画像の画素値に対してボカす処理を行ったときの画素値、及びエッジがある画像の画素値に対して強調をかける処理を行ったときの画素値を示すグラフである。
【図１３】ベクトル型ＦＲＣの基本的な概念を示す図である。
【図１４】（ａ）〜（ｃ）は、ベクトル型ＦＲＣにおいてブロック単位で処理を行うことを示す図である。
【図１５】ベクトル型ＦＲＣの構成を示すブロック図である。
【図１６】周波数分散型ＦＲＣの基本的な概念を示す図である。
【図１７】周波数分散型ＦＲＣの構成を示すブロック図である。
【図１８】（ａ）はエッジがある画像を示すグラフであり、（ｂ）はエッジが強調された画像を示すグラフであり、（ｃ）は、エッジにおいて輝度が丸め込まれた画像を示すグラフである。
【符号の説明】
【０１３８】
１，１７，２６，４５，５０，７３  画像処理装置
２  入力画像（第１の画像）
３  入力画像（第２の画像）
４  ベクトル内挿画像生成手段
５  ベクトル内挿画像
６  加算内挿画像生成手段
７  加算内挿画像
８  内挿方式判定手段
９，１６  混合率
１０  内挿画像混合手段（内挿画像混合手段）
１１  混合内挿画像
１２  ボケ画像生成手段（ボケ画像生成手段）
１３，１５，１６  出力画像
１４  強調画像生成手段
１８  ボケ画像生成手段
１９  加算ボケ画像
２０，２１  強調画像
２２  内挿画像混合手段
２３〜２５  出力画像
２７，３７，３８，４６，５１，５２，８２  入力画像
２８，３３〜３６，４０，４２  フレームバッファ
２９  画像強調装置
３０  ベクトル型ＦＲＣ装置
３１  画像加算装置
３２，７５〜７７  内挿方式判定装置
３９  画像混合装置
４１  ボケ画像生成装置
４３  画像出力装置
４４  液晶パネル
４７  ロールテロップ領域
４８  非ロールテロップ領域
４９  境界部
５３，５４，６１，６２  ブロック
５５  動きベクトル
５６，５７  ブロック拡大図
５８，５９  画素
６０  ＤＦＤ算出部
６３  混合率バッファ
６４〜７２  画面
７４  混合内挿画像生成装置
７８  制御ＣＰＵ
７９  内挿方式決定信号
８０  リモコンまたはボタン
８１  画像調整装置
８３  画像調整信号
９０  画像
９１  画素
９２，９３  テーブル
９４〜９６  画素値
ｔ，Ｔ  時刻
ｘ  位置
【図１】
2010154300.tif 000004
【図２】
2010154300.tif 000005
【図３】
2010154300.tif 000006
【図４】
2010154300.tif 000007
【図６】
2010154300.tif 000008
【図７】
2010154300.tif 000009
【図９】
2010154300.tif 000010
【図１０】
2010154300.tif 000011
【図１１】
2010154300.tif 000012
【図１２】
2010154300.tif 000013
【図１３】
2010154300.tif 000014
【図１４】
2010154300.tif 000015
【図１５】
2010154300.tif 000016
【図１７】
2010154300.tif 000017
【図１８】
2010154300.tif 000018
【図５】
2010154300.tif 000019
【図８】
2010154300.tif 000020
【図１６】
2010154300.tif 000021