(57)【要約】【課題】解像度を変換して画素を補間することで高精細化を図る際に、コーミングノイズが目立たないように処理することにより画質を向上させる。【解決手段】画像処理装置は、入力画像信号を処理して該入力画像信号よりも解像度の高い画像信号を出力する。この画像処理装置は、入力画像信号の所定の特徴を示す特徴量に基づいて、入力画像信号のフィールドパターンが特定のフィールドパターンであることの尤度を算出する尤度算出部（フィルムらしさ算出部（１３））と、尤度算出部による算出結果に基づいて、入力画像信号をＩＰ変換するＩＰ変換部（１４）と、ＩＰ変換部（１４）から出力された画像信号をアップスケーリングして解像度の高い画像信号を生成する超解像処理部（１５）とを有する。超解像処理部（１５）は、解像度の高い画像信号を生成する際に、高解像処理の程度を尤度算出部による算出結果に応じて変化させる。【選択図】図１
2015192265.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号を処理して該入力画像信号よりも解像度の高い画像信号を出力する画像処理装置であって、
入力画像信号の所定の特徴を示す特徴量に基づいて、前記入力画像信号のフィールドパターンが特定のフィールドパターンであることの尤度を算出する尤度算出部と、
該尤度算出部による算出結果に基づいて、入力画像信号をＩＰ変換するＩＰ変換部と、
該ＩＰ変換部から出力された画像信号をアップスケーリングして前記解像度の高い画像信号を生成する超解像処理部とを有し、
前記超解像処理部は、前記解像度の高い画像信号を生成する際に、超解像処理の程度を前記尤度算出部による算出結果に応じて変化させること、を特徴とする画像処理装置。
【請求項２】
請求項１に記載画像処理装置において、
前記超解像処理は、画像の高域成分を強調する処理であって、前記超解像処理の程度は、前記高域成分を強調する程度であること、を特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記尤度算出部は、前記特定のフィールドパターンとして、フィルムに撮影された画像の２フレームを５フィールドにプルダウンした画像のフィールドパターンであることの尤度を算出し、
前記超解像処理部は、前記特定のフィールドパターンであることの尤度が高いときに、前記超解像処理の程度を低くする、ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
入力画像信号の画像における黒帯の有無を検出する黒帯検出部と、
入力画像信号が、フィルムに撮影された画像の２フレームを５フィールドにプルダウンした画像であることを検出するフィルムケーデンス検出部と、を有し、
前記尤度算出部は、前記特徴量として、前記黒帯検出部による検出結果と、前記フィルムケーデンス検出部による検出結果と、前記尤度算出部に入力される前記入力画像信号のジャンル情報に基づき検出した入力画像信号のジャンル検出結果と、を用いて、
前記２フレームを５フィールドにプルダウンしたフィールドパターンであることの尤度を算出することを特徴とする画像処理装置。
【請求項５】
請求項１〜４のいずれか１に記載の画像処理装置を備えたテレビ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、より詳細には、超解像処理により高解像で高精細の画像を生成する処理を行う画像処理装置及び該画像処理装置を備えたテレビ装置に関する。
【背景技術】
【０００２】
いわゆる２Ｋ画像と呼ばれるフルハイビジョン画像（例えば１９２０画素×１０８０画素前後）よりも解像度の高い４Ｋ画像（例えば４０９６×２１６０画素）を表示可能な高解像度液晶パネルを用いた高解像度テレビが提供されているが、このような高解像度を活かしたコンテンツを提供する環境はまだ十分に整備されていないのが実情である。このため、テレビ内にアップスケーラを搭載し、２Ｋ画像の解像度を変換して足りない画素を補間し、このときに高域成分を強調して高精細化を図る、いわゆる超解像処理が行なわれている。
【０００３】
一方、例えばフィルムに撮影されたシネマをＮＴＳＣ方式のテレビで放送する場合、２４フレームのプログレッシブ画像は、６０フィールドのインタレース画像に変換されている。つまりフィルムに撮影された画像の２フレームのプログレッシブ画像が５フィールドのインタレース画像に変換されている。この変換は２：３プルダウンと呼ばれる。
【０００４】
２：３プルダウンされたフィルム画像を液晶表示装置などのプログレッシブディスプレイに表示する場合、フィルム画像に対してＩＰ変換が行われる。このとき２：３プルダウンされたフィルム画像の場合と、通常のビデオ画像の場合とでは異なるＩＰ変換処理が行われる。
図８はフィルム画像とビデオ画像におけるＩＰ変換処理例を説明するための図である。図中（Ａ）には、２４フレームのプログレッシブ画像を６０フィールドのインタレース画像にプルダウンしたフィルム画像の例を示す。フィルム画像は、連続したインタレース画像よりなる。ここでは１番目と２番目のインタレース画像Ｉ１、Ｉ２は、１フレームのプログレッシブ画像を変換したものであり、３番目から５番目のインタレース画像Ｉ３〜Ｉ５は、次の１フレームのプログレッシブ画像を変換したものである。インタレース画像Ｉ５は、Ｉ３と同じリピート画像である。そしてこの５フィールドのパターンが繰り返される。
【０００５】
図８において、（Ｂ）は（Ａ）に示すインタレース画像をＩＰ変換したプログレッシブ画像を示す。プログレッシブ画像Ｐ１は、インタレース画像Ｉ１とＩ２とを用いてフィールド間補間により生成される。フィルム画像の場合には、このようなフィールド間補間によりプログレッシブ画像が生成される。
次に図中（Ｃ）は、ビデオ画像の例を示している。ビデオ画像は、連続したインタレース画像Ｉ１１，Ｉ１２，Ｉ１３・・・よりなる。動きのある画像では、フィールドごとに画像が変化していく。このような動きのあるビデオ画像の場合、（Ｃ）に示すように、ＩＰ変換は１つのフィールドＩ１１を用いてフィールド内補間によりプログレッシブ画像Ｐ１１を生成する。これによりフィールドごとに変換する画像に応じたプログレッシブ画像を生成することができる。
【０００６】
ここでビデオ画像をフィルム画像であると誤認し、フィルム画像に適用するＩＰ変換を誤変換により実行した場合、（Ｃ）のビデオ画像のインタレース画像Ｉ１１とＩ１２とからプログレッシブ画像を生成することになり、（Ｅ）のプログレッシブ画像Ｐ２１に示すように、画像がずれて補間され、これがコーミングノイズとなる。
このため従来では、２：３プルダウンされたフィルム画像かビデオ画像かを検出することで、その検出結果に応じてＩＰ変換処理を切り替えるものが知られている。
【０００７】
フィルム画像を検出して所定の処理を行う技術に関して、例えば特許文献１に記載された画像信号処理装置は、入力画像信号が２：３プルダウンされたフィルム画像か否かを検出して、その検出結果に応じたＩＰ変換処理を行う際に、入力画像信号のノイズレベルが大きい場合に、フィルム画像であることが検出されにくくなるように検出感度を切り替える。これにより、フィルム画像の検出の誤動作により生じるＩＰ変換処理の煩雑な切り替えを抑制するようにしている。
【０００８】
また、特許文献２に記載されたノイズ除去装置は、画像信号がフィルム素材のフィルム画像であるか否かを判定し、画像信号がフィルム画像であると判定した場合、２次元ノイズ除去手段の符号化ノイズ検出感度、および３次元ノイズ除去手段の動き検出感度を、フィルム画像でない場合の値よりも高く設定する。
フィルム画像は、各フィールドのフレーム間差分値の時間的推移パターンから検出したり、ＭＰＥＧ符号化データに記述されている情報から検出する。あるいはフレーム周波数が２４Ｈｚである場合や、画像信号がプログレッシブ信号である場合にフィルム画像として検出する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００７−３１２３１７号公報
【特許文献２】特開２００８−２８３３４２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上記のように、入力画像信号がフィルム画像かビデオ画像かを判定することで、ＩＰ変換の処理を切り替えることができる。しかしながらこのときに、フィルム画像かビデオ画像かを誤判定してしまうと、ＩＰ変換時に適切な参照フィールドを選択することができず、コーミングノイズの発生につながる。
例えばフィールド間の差分値から、２：３プルダウンのフィールド構成を検出する場合、フィールド間で動きが少なく静止画に近いような画像では差分値の差が発現しにくく、誤判定につながる。また、ノイズ等の影響でフィールド間の差分値が原画像の差分値よりも過大になった場合等においても、誤判定の要因となる。
【００１１】
そしてこの場合、従来の２Ｋ解像度の液晶パネルであれば、それほど目立たないコーミングノイズであっても、４Ｋ解像度の液晶パネルに表示させる場合には、超解像処理によってコーミングノイズが強調されてしまい、２Ｋ解像度の液晶パネルよりもよりノイズが目立つようになる、という課題がある。
超解像処理では、例えば２Ｋ解像度の画像信号から周波数の高域成分を抽出し、元の画像信号をアップスケーリングした画像に加算することで画質改善処理を施して画素補間を行う。このときにコーミングノイズは画像の１ラインごとに発生したり消えたりすることが多く、これにより画像に高域成分を与える。そして超解像処理によって高域成分を抽出して強調する処理を行うことで、コーミングノイズ自体も強調されてしまい、超解像処理を行うことによってコーミングノイズが目立つようになってしまう。
【００１２】
本発明は、上述した課題を鑑みてなされたものであり、解像度を変換して画素を補間することで高精細化を図る際に、コーミングノイズが目立たないように処理することにより画質を向上させた画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明の第１の技術手段は、入力画像信号を処理して該入力画像信号よりも解像度の高い画像信号を出力する画像処理装置であって、入力画像信号の所定の特徴を示す特徴量に基づいて、前記入力画像信号のフィールドパターンが特定のフィールドパターンであることの尤度を算出する尤度算出部と、該尤度算出部による算出結果に基づいて、入力画像信号をＩＰ変換するＩＰ変換部と、該ＩＰ変換部から出力された画像信号をアップスケーリングして前記解像度の高い画像信号を生成する超解像処理部とを有し、前記超解像処理部は、前記解像度の高い画像信号を生成する際に、超解像処理の程度を前記尤度算出部による算出結果に応じて変化させること、を特徴としたものである。
【００１４】
第２の技術手段は、第１の技術手段において、前記超解像処理は、画像の高域成分を強調する処理であって、前記超解像処理の程度は、前記高域成分を強調する程度であること、を特徴としたものである。
【００１５】
第３の技術手段は、第１または第２の技術手段において、前記尤度算出部は、前記特定のフィールドパターンとして、フィルムに撮影された画像の２フレームを５フィールドにプルダウンした画像のフィールドパターンであることの尤度を算出し、前記超解像処理部は、前記特定のフィールドパターンであることの尤度が高いときに、前記超解像処理の程度を低くする、ことを特徴としたものである。
【００１６】
第４の技術手段は、第３の技術手段において、入力画像信号の画像における黒帯の有無を検出する黒帯検出部と、入力画像信号が、フィルムに撮影された画像の２フレームを５フィールドにプルダウンした画像であることを検出するフィルムケーデンス検出部と、を有し、前記尤度算出部は、前記特徴量として、前記黒帯検出部による検出結果と、前記フィルムケーデンス検出部による検出結果と、前記尤度算出部に入力される前記入力画像信号のジャンル情報に基づき検出した入力画像信号のジャンル検出結果と、を用いて、前記２フレームを５フィールドにプルダウンしたフィールドパターンであることの尤度を算出することを特徴としたものである。
【００１７】
第５の技術手段は、第１〜４のいずれか１の技術手段の画像処理装置を備えたテレビ装置である。
【発明の効果】
【００１８】
本発明によれば、解像度を変換して画素を補間することで高精細化を図る際に、コーミングノイズが目立たないように処理することにより画質を向上させた画像処理装置を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明による画像表示装置の一実施形態における機能を説明するためのブロック図である。
【図２】黒画素比率から黒帯検出結果を得るための関係を示す図である。
【図３】フィルムらしさスコアからフィルム画像か否かを示す情報を取得する処理を説明するための図である。
【図４】超解像処理部の構成例を説明するための図である。
【図５】フィルムらしさスコアに対するゲインの設定例を示す図である。
【図６】超解像処理部の他の構成例を説明するための図である。
【図７】超解像処理部の更に他の構成例を説明するための図である。
【図８】フィルム画像とビデオ画像におけるＩＰ変換処理例を説明するための図である。
【発明を実施するための形態】
【００２０】
（実施形態１）
図１は、本発明による画像処理装置の一実施形態における機能を説明するためのブロック図である。画像処理装置は、２Ｋ画像（２Ｋ解像度の画像）を入力して、４Ｋ画像（４Ｋ解像度の画像）に変換して出力する。２Ｋ画像は、例えば１９２０×１０８０画素の解像度で作成されたものであり、４Ｋ画像は、例えば３８４０×２１６０画素の解像度で作成されたものとされる。
【００２１】
２Ｋ画像は、黒帯検出部１１、フィルムケーデンス検出部１２、およびＩＰ変換部１４に入力される。黒帯検出部１１では、入力された２Ｋ画像から黒帯の有無を検出する。フィルム画像を構成する映画は、その画像のアスペクト比が２１：９であるものが多く、これを１６：９のアスペクト比を持つテレビなどの表示装置に表示する場合、上下に黒帯が付与された画像として入力される。ただし最近の映画では黒帯がないものがあり、また、年代的に古い映画では、左右に黒帯が付与されている画像もある。従って、黒帯検出の結果だけでフィルム画像であると断定することはできない。フィルム画像を検出するためには、アスペクト比が２１：９の画像以外のものも検出可能とすべきである。
【００２２】
黒帯検出部１１では、所定の条件に基づき入力画像の黒帯を検出する。
例えば、入力画像がＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）インタフェースにより入力する場合、ＨＤＭＩ規格により規定されるＶＳＩ（Vender Specific Information）を取得することができる。ＶＳＩには、画像の解像度およびアスペクト比の情報が含まれている。黒帯検出部１１では、このＶＳＩ情報を取得して、画像のアスペクト比が１６：９以外であれば、画像に黒帯があると判断して、その結果を出力する。
【００２３】
また黒帯検出部１１では、入力される画像の特定領域における階調値から黒帯の有無を検出してもよい。例えば、画像に黒帯が付与される位置に検出領域を設定する。検出領域は、画像の上下の黒帯相当の位置、および画像の左右の黒帯相当の位置とする。そしてこの検出領域の輝度階調値を検出し、領域内の最大輝度が所定値以下（例えば２５６階調で画像表現されるときに１６階調以下）であって、その状態が所定時時間連続して検出された場合に、その検出領域に黒帯があると判断することができる。また、このとき、黒帯ではない実画像領域に検出領域を設け、その輝度階調値を黒帯検出領域の輝度階調値を対比することで、実画像に対して付加された黒帯が存在していることを判断することできる。
【００２４】
また例えば画像の１画面全体をラインごとにスキャンし、輝度階調値を閾値処理して所定レベル以下にある領域を検出し、その領域が画面の上下端、または左右端にある場合、黒帯がある画像であると判断することができる。
あるいは、画像の１画面から黒画素数を検出し、その黒画素数と、黒帯を表示したときの黒帯の画素数とを比較し、所定範囲で一致するときに黒帯があると判断するようにしてもよい。黒画素数は、例えば輝度が所定値以下（例えば２５６階調で画像表現されるときに１６階調以下）のものを黒画素とみなして検出することができる。
【００２５】
あるいは、画像処理装置が適用されるテレビ装置等において、入力画像信号の黒帯を自動検出して実画像のサイズを自動的に切り替える機能（オートワイド機能などとも呼ばれる）があれば、その機能を実行させるときの判定結果を用いて黒帯検出を行うことができる。
オートワイド機能では、例えば左右両側に黒帯が付与される入力画像に対して、左右の黒帯を除去して、それ以外の実画像部を１６：９の画面に合うように引き延ばして表示させる処理を実行する。ここでは例えば、上記のように画像の階調値等から黒領域を判別したり、画像の付帯情報として送られてくる画面サイズ制御信号により、黒帯の有無が判別できる。この他、黒帯検出の手法は上記に限ることなく、他の公知の手法を適宜適用するものであってもよい。
【００２６】
黒帯検出部１１からは、上記の黒帯検出処理に従って例えば０〜１の値を示す黒帯検出結果を出力する。この場合、黒帯があることが検出された場合に黒帯検出結果を“０”とし、黒帯が検出されない場合に黒帯検出結果を“１”とする。
また、黒帯検出の信頼性が低い場合、例えば画面内の黒画素数しか取得できないような場合、黒帯検出結果として０〜１の間の値をとるようにしてもよい。
一例として、図２に示す関係図に従って黒帯検出結果の値を算出することができる。ここでは入力画像信号の一画面から取得した黒画素比率に対して、黒帯検出結果とする値が定められている。例えば２Ｋ画像の全画素数が１９２０×１０８０＝２０７３６００画素であり、アスペクト比が２１：９のフィルム画像を１６：９の画面に表示する場合の黒帯の画素数を４９３４４０画素とする。この場合、黒帯の黒画素比率は、４９３４４０／２０７３６００によりほぼ２３．８％となる。
【００２７】
この場合、図２に示すように、入力画像信号の１画面から検出した黒画素比率が２３．８％以上では、黒帯検出結果として、０〜１の範囲内で最も高い（黒帯の可能性が高い）値ａを設定し、黒画素比率が０〜所定レベルｃまでの低い範囲では、最も低い（黒帯の可能性が低い）値ｂを設定し、これらの間では黒画素比率が高くなるに従って黒検出結果の値が高くなるように設定する。黒帯検出部１１からは、この関係図に基づいて取得した値を黒帯検出結果として出力することができる。
【００２８】
フィルムケーデンス検出部１２は、入力画像信号が、２フレームのプルグレッシブ画像が５フィールドのインタレース画像に２：３プルダウンされたフィルム画像か否かを検出し、検出結果をフィルムらしさ算出部１３に出力する。フィルムケーデンス検出部１２については、従来知られているフィルム検出処理の技術を適用することができる。
この場合、例えば現在のフィールド画像と２フィールド前のフィールド画像との差分絶対値を計算する。つまり比較するフィールド同士の同一画素位置の階調値を減算して絶対差分値を計算する。これによりフレーム間差分の分布を得る。フレーム間差分の分布は、比較するフィールド同士の画素の階調差の最大値および最小値等から得るものであってもよく、フィールドごとの絶対差分和に基づき得るようにしてもよい。
【００２９】
２：３プルダウンされたフィルム画像では、５フィールドに一回の周期でリピートフィールドがあり、５フィールド周期で絶対差分値が特徴的なケーデンス（周期的なリピートパターン）を示す。このケーデンスの特徴を判別することで２：３プルダウンされたフィルム画像であることを検出することができる。また、５フィールド周期の特徴的なケーデンスが現れない場合には、リピートフィールドのない通常のビデオ画像であることが検出できる。
【００３０】
フィルムケーデンス検出結果としては、フィルム画像である可能性を示す０〜１の値を出力することができる。ここでは例えば、上記のケーデンスの検出回数が多くなるに従って、フィルム画像である可能性が高いものとして０〜１の中で高い値を設定することができる。一例として、５フィールドに一回のリピートパターンによるケーデンスの検出回数に応じて以下のフィルムケーデンス検出結果を出力する。
ケーデンスを０回検出したとき“０”
ケーデンスを１回検出したとき“０．２”
ケーデンスを２回連続して検出したとき“０．４”
ケーデンスを３回連続して検出したとき“０．６”
ケーデンスを４回連続した検出したとき“０．８”・・・
ここでは連続検出が途切れた場合には、０回から再スタートすることなく、連続検出された回数に相当する値から、非検出が判定されるごとに徐々にその値を減らしていくようにしてもよい。フィルムケーデンス検出部１２は、このフィルムケーデンス検出結果の値をフィルムらしさ算出部１３に出力する。
【００３１】
フィルムらしさ算出部１３は、入力画像信号のフィルムらしさを算出する。フィルムらしさ算出部１３は、入力画像信号のフィールドパターンが２：３プルダウンされた特定のフィールドパターンであることの尤度を算出する本発明の尤度算出部に相当する。
このフィルムらしさ算出部１３には、黒帯検出部１１による黒帯検出結果と、フィルムケーデンス検出部１２によるフィルムケーデンス検出結果とが入力される。
【００３２】
また、フィルムらしさ算出部１３には、入力画像信号のジャンル情報が入力される。画像信号のジャンル情報は、放送信号に重畳された付帯データ（メタデータ）に基づき取得できる。例えば放送信号には、電子番組表（ＥＰＧ：Electronic Program Guide）に関する情報としてジャンル情報が付与されている。また、インターネット上のサーバなどから入力画像信号に合致する放送番組のジャンル情報を取得してもよく、あるいはチューナに設定したジャンル情報からそのチューナで受信する放送信号のジャンルを判別してジャンル情報として使用してもよい。また、電子番組表に関する情報として番組名情報を取得してフィルムらしさ算出部１３に入力して、ジャンル情報として使用してもよい。
【００３３】
フィルムらしさ算出部１３では、入力したジャンル情報に基づき、ジャンル検出結果を判定する。この場合、ジャンル検出結果として、映画コンテンツである可能性を示す０〜１の範囲の値を生成することができる。例えば、入力したジャンル情報が「映画」であった場合には、ジャンル検出結果を“１”とし、ジャンル情報が「映画」以外であった場合には、ジャンル検出結果を“０”とする。
また、フィルムらしさ算出部１３で生成するジャンル検出結果は、フィルムらしさ算出部１３ではなく他の情報処理装置やプロセッサ等にて生成し、フィルムらしさ算出部１３に入力させるものであってもよい。
【００３４】
そしてフィルムらしさ算出部１３では、上記の黒帯検出結果、フィルムケーデンス検出結果、およびジャンル検出結果に基づき、フィルムらしさを表すスコアを算出する。このスコアは、入力画像信号のフィールドパターンが２：３プルダウンされた特定のフィールドパターンであることの尤度を示すものである。また上記の黒帯検出結果、フィルムケーデンス検出結果、およびジャンル検出結果は、入力画像信号の所定の特徴を示す本発明の特徴量に相当するものである。
【００３５】
この場合、例えば２：３プルダウンされたフィルム画像には、黒帯の無い映画があり、また黒帯があるにもかかわらず映画ではないコンテンツ（たとえは４：３のＳＤ画像（Standard Definition Video））や、映画番組中のＣＭ（Commercial Message）画像、情報番組中の映画の１シーンの再生画像、など２：３プルダウンされたフィルム画像ではない画像もある。またフィルムケーデンスを検出する場合、上記のように画像の内容やノイズ等によって誤検出が生じることもある。
【００３６】
従って黒帯検出結果やフィルムケーデンス検出結果、ジャンル検出結果等から単純にフィルム画像であるか否かを断定することなく、これらを用いた以下の式（１）でフィルム画像らしさを示すスコア（フィルムらしさスコア）を算出する。
【００３７】
フィルムらしさスコア＝α×（黒帯検出結果）＋β×（ジャンル情報検出結果）＋γ                        ×（フィルムケーデンス検出結果）・・・式（１）
式（１）において、α、β、γは各検出結果に対して予め設定される重み付け係数である。また、黒帯検出結果、フィルムケーデンス検出結果、及びジャンル検出結果は例えば０〜１の値を取るものとする。
この式（１）によって、最終的にフィルムスコアとして０〜１の範囲内の値が得られる。この値は、１に近いほどフィルムらしさが高く、０に近いほどフィルムらしさが低いものとなる。
【００３８】
フィルムらしさ算出部１３が算出したフィルムらしさスコアは、ＩＰ変換部１４および超解像処理部１５に出力される。ここで、ＩＰ変換部１４に対しては、フィルムらしさスコアは、フィルム画像か否かを示す情報として出力される。例えば、図３に示すようにフィルムらしさスコアの所定レベルにスレッショルド（Ｔｈ）を設定し、式（１）により算出したフィルムらしさスコアがそのスレッショルド以上であれば、フィルム画像であることを示す“１”を出力し、スレッショルドより小さければビデオ画像であることを示す“０”を出力する。
また、フィルムらしさ算出部１３は、超解像処理部１５に対しては、算出したフィルムスコアの値を出力することができる。例えば０〜１の範囲で算出されたフィルムらしさスコアの値を出力する。
例えば、式（１）の重み付け係数αを０．２、βを０．３、γを０．５とし、ビデオとフィルムのスレッシュを０．６とする。ここで黒帯検出結果が１、ジャンル情報検出結果が１、フィルムケーデンス検出結果が０．８とすると、式（１）の結果は、
フィルムらしさスコア＝  ０．２×１＋０．３×１＋０．５×０．８・・・式（２）
となり、フィルムらしさスコアは０．９となる。この場合、フィルムらしさスコアがスレッシュよりも大きいためフィルム映像であると判定する。フィルムらしさ算出部１３は、ＩＰ変換部１４に対して１を出力し、超解像処理部１５に対しては０．９を出力する。
【００３９】
ＩＰ変換部１４は、フィルムらしさ算出部１３から出力されたフィルムらしさスコアに基づき、すなわち入力画像がフィルム画像かビデオ画像かを示す信号に基づき、入力画像信号にＩＰ変換処理を行う。
ここでは、入力画像信号がフィルム画像であることを示すフィルムらしさスコアがフィルムらしさ算出部１３から入力した場合、ＩＰ変換部１４では、２：３プルダウンに適応して原画像の同一フレームから生成された二つのフィールドによりフィールド間補間を行ってプログレッシブフレーム画像を生成する。
【００４０】
つまり、原画像の１フレームから２フィールドのインタレースフィールド画像が生成されている部分では、これらを使用してプログレッシブのフレーム画像を２つ連続して生成し、原画像の１フレームから３フィールドのインタレースフィールド画像が生成されている部分では、１番目と２番目のフィールド画像を用いてフィールド間補間を行って、プログレッシブのフレーム画像を２枚連続で生成し、さらに２番目のフィールド画像と３番目のフィールド画像（リピートフィールド）を組み合わせてもう１枚のプログレッシブのフレーム画像を生成する。
【００４１】
一方、入力画像が通常のビデオ画像であることを示すフィルムらしさスコアが入力した場合、ＩＰ変換部１４では、ビデオ画像の１つのインタレース画像からフィールド内補間を行ってプログレッシブ画像を生成する。ここでは、フィールド内の上下の走査線から中間の走査線を生成することで１枚のプログレッシブ画像を生成する。
またビデオ画像の場合、公知の動き検出処理によりフィールド間の動きがないと判定した場合には、フィールド間補間を行ってプログレッシブ画像を生成する動き適応型のＩＰ変換処理を行ってもよく、あるいは画面内で部分的に動きを判断して、フィールド間補間とフィールド内補間を組み合わせてプログレッシブ画像を生成するものであってもよい。
いずれの場合でもＩＰ変換部１４では、フィルム画像かビデオ画像かを示すフィルムらしさスコアに基づき、ＩＰ変換時の処理を変更して、フィールド構成に合ったＩＰ変換処理を実行する。
【００４２】
ＩＰ変換部１４でＩＰ変換された２Ｋ解像度のプログレッシブ画像は、超解像処理部１５でアップスケーリングされ４Ｋ解像度の画像とされる。超解像処理部１５ではフィルムらしさ算出部１３で算出されたフィルムらしさスコアに応じて、超解像処理の程度を変化させる。
具体的には、超解像処理により画像の高域成分（高周波数域成分）をアップスケーリングされた画像に加算することで、単純なアップスケーリング画像よりも高精細な高解像度画像を得る。超解像処理部１５では、フィルムらしさ算出部１３で算出されたフィルムらしさスコアに基づき、高域成分のゲインを変化させる。ここでは、フィルムらしさ算出部１３で算出されたフィルムらしさスコアの値が大きく、フィルム画像である可能性が高いほど、アップスケーリングされた画像に加算する高域成分のゲインを小さくして、超解像処理による高域成分の強調を弱くする。
【００４３】
入力画像がビデオ画像の場合、誤ってフィルム画像であると判断し、フィルム画像のためのＩＰ変換を行うとコーミングノイズが発生する。そして超解像処理により高域成分を強調するとよりコーミングノイズも強調されてしまう。従って、フィルムらしさスコアが高く、フィルム画像である可能性が高い場合には、ビデオ画像をフィルム画像であると誤検出する可能性が高いため、超解像処理により加算する高域成分のゲインを小さくして、誤検出によるコーミングノイズが目立たないようにする。
逆にビデオ画像である可能性が高いときには、超解像処理により加算する高域成分のゲインを大きくして、高精細な高解像度の画像を生成させる。
【００４４】
図４は、超解像処理部の構成例を説明するための図である。超解像処理部１５は、主に輝度信号により以下の処理を行う。超解像処理部１５は、２Ｋ解像度の入力画像を高域成分抽出部１６とアップスケーラ１７にそれぞれ入力させる。アップスケーラ１７では、２Ｋ解像度の入力画像を４Ｋ解像度の画像にアップスケーリングする。アップスケーラ１７では例えば線形補間やバイクービック補間、スプライン補間等を全画素に適用し、画素を補間して解像度をアップスケーリングする。通常アップスケーリングされた画像は、周波数の高域成分が減衰した精細感のないぼけた画像となる。この画像の画質を改善し、高解像度画像を生成するために高域成分抽出部１６にて入力画像から高域成分を抽出する。
【００４５】
高域成分抽出部１６では、入力した画像の解像度を向上させる信号処理を行って、その画像から高域成分を抽出する処理を行う。ここでは入力画像に含まれている高域成分、もしくは含まれているものと類推される高域成分を再生し、もしくは再構築して画像に高域成分を付加して解像度を向上させ、この画像から高域成分を抽出して出力する。
高域成分を付加する処理は、その手法を限定されるものではなく、所謂超解像度処理として知られる技術を適宜適用することができる。
例えば、予め用意したデータベースから適切な高域成分を類推して画素を置き換える処理を行なったり、画像の自己相関性を利用して自身の解像度と落とした画像を生成し、データベースを利用する方法と同様に、低解像度の画像と高解像度の画像のペアを作成し、低解像度の画像から高解像度の画像を類推して置き換える処理を行う、等の処理を行うことができる。
高域成分抽出部１６は、画像の解像度を向上させる超解像処理に適用可能ないずれかの方法を適宜適用して、画像を高解像度化し、その画像から高域成分を抽出して出力するものとする。
【００４６】
本例では、高域成分抽出部１６は、入力した２Ｋ画像を高解像化して４Ｋ解画像にアップスケーリングし、高域成分を抽出して出力する。
高域成分抽出部１６から出力された４Ｋ画像の高域成分は、ゲイン設定部１８によりゲインが付与され、加算部１９にてアップスケーラ１７から出力された４Ｋ解像度の画像に加算される。これにより、アップスケーラ１７でアップスケーリングされた画像に高域成分が加算され、画像の高域成分が強調されて画質改善された４Ｋ画像が得られる。
【００４７】
そして本発明に係る実施形態の特徴として、高域成分抽出部１６で抽出された高域成分を画像に対して加算するときのゲインの値を、フィルムらしさ算出部１３で算出されたフィルムらしさスコアに従って変化させる。例えばフィルムらしさスコアとして算出された値からゲインを決定し、高域成分の画像に適用し、ゲイン適用後の画像をアップスケーラ１７でアップスケーリングされた画像に加算する。
【００４８】
図５は、フィルムらしさスコアに対するゲインの設定例を示す図である。この例では、超解像処理部１５では、フィルムらしさスコアに応じて０〜２倍のゲインを設定する。ここではフィルムらしさスコアが０から所定値までの低いスコア領域で最も高いゲインを設定し、フィルらしさスコアが最高値１を含む所定範囲の高いスコア領域で最も低いゲインを設定し、これらの領域の間ではフィルムらしさスコアが大きくなるほど、ゲインが小さくなるように設定する。
フィルムらしさ算出部１３で算出されたフィルムらしさスコアの値が大きく、フィルム画像である可能性が高いほど、アップスケーリングされた画像に加算する高域成分のゲインを小さくして超解像処理の強調を抑えることで、誤検出により発生するコーミングノイズが目立たないようにすることができる。
【００４９】
図６は、超解像処理部の他の構成例を説明するための図である。本例の超解像処理部１５は、２Ｋ解像度の入力画像を高域成分抽出部１６にそれぞれ入力させる。高域成分抽出部１６では、上記の例と同様の処理により、２Ｋ画像の解像度を向上させて４Ｋ画像とし、その４Ｋ画像を加算器１９に出力するとともに、４Ｋ画像から抽出した高域成分をゲイン設定部１８に出力し、フィルムらしさスコアに応じたゲインを設定する。加算部１９では、高域成分抽出部１６から出力された４Ｋ画像に対して、ゲイン設定部１８でゲインが設定された高域成分が加算される。これにより、高域成分抽出部１６でアップスケーリングされた画像に対して、フィルムらしさスコアに応じたゲインが設定された高域成分が加算され、画質改善された４Ｋ画像が出力される。
【００５０】
図７は、超解像処理部のさらに他の構成例を説明するための図である。本例の超解像処理部１５は、２Ｋ解像度の入力画像をアップスケーラ１７に入力させ、画素を補間して解像度をアップスケーリングし、４Ｋ解像度の画像として出力させる。アップスケーラ１７から出力された４Ｋ解像度の画像は、高域成分抽出部１６に出力されるとともに、加算部１９に出力される。
【００５１】
高域成分抽出部１６では、入力した４Ｋ解像度の画像に対して解像度を向上させる処理を行い、高域成分を抽出して出力する。高域成分抽出部１６から出力された高域成分の画像は、ゲイン設定部１８に出力され、フィルムらしさスコアに応じたゲインが設定される。加算部１９では、アップスケーラ１７でアップスケーリングされた４Ｋ解像度の画像に対して、ゲインが設定された高域成分が加算される。これにより、画質改善された４Ｋ画像が出力される。
【００５２】
上記の各例のいずれにおいても、フィルムらしさ高域成分抽出部１６で抽出された高域成分の画像に対して付与するゲインの値を、フィルムらしさ算出部１３で算出されたフィルムらしさスコアに従って変化させる。フィルムらしさスコアの値が大きく、フィルム画像である可能性が高い場合には、高域成分のゲインを小さくして超解像処理の強調を抑える。フィルムらしさスコアが高く、フィルム画像である可能性が高い場合には、ビデオ画像をフィルム画像であると誤検出する可能性が高いため、高域成分のゲインを小さくして、コーミングノイズを目立たなくなるようにし、逆にビデオ画像である可能性が高いときには、超解像処理により高域成分のゲインを大きくして高精細な高解像度画像を生成させる。この処理を行うことにより、解像度を変換してより画素を補間して高精細化を図る際に、コーミングノイズが目立たないように処理することで画質を向上させることができる。
【００５３】
（実施形態２）
上記実施形態１において、フィルムらしさ算出部１３では、入力したジャンル情報に基づき、ジャンル検出結果を判定している。ここでは映画コンテンツである可能性を示す０〜１の値を出力している。
これに対して本実施形態では、ジャンル検出結果を判定するためのジャンル情報に関連する情報として、ＥＰＧ等の番組名情報や番組内容情報を用いることもできる。例えば入力画像信号に関わる番組名情報に「映画」が含まれる場合に、ジャンル検出結果に“０．２”を加えることができる。
番組名情報は、実施形態１のようなジャンル情報の検出結果とともに使用してもよく、番組名情報を単独で使用してジャンル検出結果を判定してもよい。ここでは、番組内容情報に「映画」「ムービー」「邦画」「洋画」等が含まれる場合は、ジャンル検出結果に所定の数値を加えてもよい。
【００５４】
また、フィルムらしさ算出部１３は、ジャンル情報以外の番組情報を別の検出結果として、以下の式（３）によりフィルムらしさスコアを算出してもよい。
フィルムらしさスコア＝α×（黒帯検出結果）＋β×（ジャンル情報検出結果）＋γ×                      （フィルムケーデンス検出結果）＋δ×（番組情報）                                                                          ・・・式（３）
上記の番組情報は、ジャンル情報を除く番組情報である。番組情報をジャンル情報と別個に加えることで、映画以外の番組で、一時的に映画の映像が表示される可能性のある場合も加味することができる
上記式（３）によりフィルムらしさ算出部１３が算出したスコアは、実施形態１と土曜の処理により、ＩＰ変換部１４および超解像処理部１５に出力される。
本実施形態２において、上記の処理以外の構成および動作については、実施形態１と同様でありその繰り返しの説明は省略する。
【００５５】
（実施形態３）
上記実施形態の画像処理装置は、テレビ装置に適用することができる。テレビ装置は、アンテナで受信した放送信号を選局して復調し、復号して再生用画像信号を生成する手段を有し、再生用画像信号に適宜所定の画像処理を施して、図１の画像処理装置の入力画像信号として入力させる。また、画像信号は、テレビ装置に接続されたレコーダや通信回線を介して接続された外部装置から入力することができる。そして画像処理装置で超解像処理が行われて出力された高解像度画像を液晶ディスプレイなどの表示パネルに表示させる。本発明に係る実施形態では、本発明に係る画像処理装置を備えるテレビ装置として実施することができる。
【００５６】
なお上記の各実施形態に記載されている技術的特徴はお互いに組み合わせ可能であり、組み合わせることにより新しい技術的特徴を形成することができる。
【符号の説明】
【００５７】
１１…黒帯検出部、１２…フィルムケーデンス検出部、１３…フィルムらしさ算出部、１４…ＩＰ変換部、１５…超解像処理部、１６…高域成分抽出部、１７…アップスケーラ、１８…ゲイン設定部、１９…加算部。
【図１】
2015192265.tif 000003
【図２】
2015192265.tif 000004
【図３】
2015192265.tif 000005
【図４】
2015192265.tif 000006
【図５】
2015192265.tif 000007
【図６】
2015192265.tif 000008
【図７】
2015192265.tif 000009
【図８】
2015192265.tif 000010