(57)【要約】  ノイズの影響により超解像処理の処理範囲が限定されることを低減した画像処理装置を提供する。入力画像を構成する各画素を高周波領域画素と非高周波領域画素に区別し、高周波領域画素と判定された画素に対して、ノイズ量に応じて超解像処理を用いて出力画像を生成する。
2012176367.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に画像処理を施して出力画像を生成する画像処理装置であって、
前記入力画像を構成する入力画素データに超解像処理を施して超解像処理データを生成する超解像処理部と、
前記入力画素データそれぞれを、高周波領域データと非高周波領域データに区別する領域判定部と、
前記高周波領域データと判定された入力画素データに対して、当該入力画素データのノイズ量に応じて前記超解像処理データを用いて、前記出力画像を構成する出力画素データを生成する生成部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記生成部は、前記高周波領域データと判定された入力画素データのノイズ量が所定の閾値よりも小さければ、前記超解像処理データをそのまま前記出力画素データとする
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
更に、前記入力画素データにフィルタ処理を施してフィルタ処理データを生成するフィルタ処理部を備え、
前記生成部は、
前記高周波領域データと判定された入力画素データのノイズ量に応じて、前記フィルタ処理データと前記超解像処理データとを混合した第１混合データを生成する第１混合手段を有し、
前記第１混合データを前記出力画素データとする
ことを特徴とする請求項1記載の画像処理装置。
【請求項４】
前記第1混合手段は、前記ノイズ量が大きくなるにしたがって、αも大きくなるように混合比率α：（１−α）（ただし、０≦α≦１）を算出し、前記フィルタ処理データと、前記超解像処理データとを、前記混合比率α：（１−α）で混合して前記第１混合データを生成する
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記生成部は、
更に、前記入力画素データと前記第１混合データとを、あらかじめ設定された比率で混合した第２混合データを生成する第２混合手段を有し、
前記第１混合データの代わりに前記第２混合データを前記出力画素データとする
ことを特徴とする請求項３記載の画像処理装置。
【請求項６】
入力画像に画像処理を施して出力画像を生成する画像処理方法であって、
前記入力画像を構成する入力画素データに超解像処理を施して超解像処理データを生成する超解像処理ステップと、
前記入力画素データそれぞれを、高周波領域データと非高周波領域データに区別する領域判定ステップと、
前記高周波領域データと判定された入力画素データに対して、当該入力画素データのノイズ量に応じて前記超解像処理データを用いて、前記出力画像を構成する出力画素データを生成する生成ステップと
を含むことを特徴とする画像処理方法。
【請求項７】
入力画像に画像処理を施して出力画像を生成する画像処理装置に用いられる集積回路であって、
前記入力画像を構成する入力画素データに超解像処理を施して超解像処理データを生成する超解像処理部と、
前記入力画素データそれぞれを、高周波領域データと非高周波領域データに区別する領域判定部と、
前記高周波領域データと判定された入力画素データに対して、当該入力画素データのノイズ量に応じて前記超解像処理データを用いて、前記出力画像を構成する出力画素データを生成する生成部と
を備えることを特徴とする集積回路。
【請求項８】
コンピュータ読み取り可能な非一時的な記録媒体に記録され、画像処理を実行するためのプログラムであって、
前記画像処理は、
入力画像を構成する入力画素データに超解像処理を施して超解像処理データを生成する超解像処理ステップと、
前記入力画素データそれぞれを、高周波領域データと非高周波領域データに区別する領域判定ステップと、
前記高周波領域データと判定された入力画素データに対して、当該入力画素データのノイズ量に応じて前記超解像処理データを用いて、出力画像を構成する出力画素データを生成する生成ステップと
を含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、超解像処理を施した画像を出力する画像処理技術に関する。
【背景技術】
【０００２】
近年、映像コンテンツのフルＨＤ（High Definition）化が進み、フルＨＤの解像度を有する表示機器で映像を視聴する機会が増えている。なお、フルＨＤとは、縦１９２０画素、横１０８０画素の映像である。【０００３】
このような表示機器でＤＶＤ等に記録された低解像度の映像をフルＨＤで視聴する場合には、その映像に拡大処理を施して高解像度に変換する必要がある。しかし、低解像度から高解像度への変換する処理には、拡大処理に伴って画像がぼやけてしまうという問題がある。【０００４】
そこで、画像を鮮鋭化させる処理として輪郭強調フィルタ処理や超解像処理が知られている。ここでいう超解像処理とは、輪郭強調フィルタ処理では得られない精密さで画像の細部を補正する処理である（例えば、非特許文献１、非特許文献２、非特許文献３参照）。【０００５】
ところで、超解像処理には、画素単位の処理を行うものもあるが、処理対象となる画素にノイズが含まれていた場合には、そのノイズをも鮮鋭化（強調）してしまう可能性がある。【０００６】
記録媒体に記録されている映像コンテンツは、一般に符号化を行った上で記録されるため、その符号化・復号化の際、いわゆる符号化ノイズが発生する。このようなノイズは、特に映像を構成する画像において、高周波領域（エッジ部周辺）に発生することが多い。【０００７】
そこで、高周波領域においては超解像処理を行わずに、輪郭強調フィルタ処理を行う手法がある（例えば、非特許文献４参照）。【０００８】
また、上述のノイズの影響を抑制すべく、ノイズ除去フィルタ処理と輪郭強調フィルタ処理を組み合わせたフィルタ処理が提案されている（例えば、特許文献１参照）。【０００９】
なお、ノイズ除去の効率を高めるために、ノイズ量を測定し、ノイズ除去フィルタのノイズ除去度値の変更を行う手法もある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平７−１５２９０８号公報
【特許文献２】特開２００８−１８２４８７号公報
【非特許文献】
【００１１】
【非特許文献１】今田  敬、"大画面時代の鮮明な画像拡大技術”、東芝レビュー2009 Vol.64 No.2
【非特許文献２】三島  直、山内  日美生、"CELL レグザの超解像技術"、 東芝レビュー 2010 Vol.65 No.4
【非特許文献３】S. Park、M. Park、M. Kang、"Super-Resolution Image Reconstruction :A Technical Overview"、IEEE Signal Processing Magazine、2003、Vol.20、Issue 3、Pages 21 - 36
【非特許文献４】東芝ＷＥＢページ、"高解像を超えた、東芝の技術力"、[online] 、［平成23年4月1日検索］、インターネット<URL: http://www.toshiba.co.jp/regza/detail/superresolution/technology.html>
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかし、上述のノイズ除去処理を行った場合、超解像処理の効果が低減してしまう。また、上述のように、超解像処理によってノイズを強調してしまう可能性もある。従って、ノイズが現れる高周波領域においては超解像処理によってかえって画質が低下してしまうことがある。【００１３】
本発明は、上記問題に鑑みてなされたものであり、高周波領域においても超解像処理を行って、より高画質な画像が得られる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明に係る画像処理装置は、入力画像に画像処理を施して出力画像を生成する画像処理装置であって、前記入力画像を構成する入力画素データに超解像処理を施して超解像処理データを生成する超解像処理部と、前記入力画素データそれぞれを、高周波領域データと非高周波領域データに区別する領域判定部と、前記高周波領域データと判定された入力画素データのノイズ量に応じて前記超解像処理データを用いて、前記出力画像を構成する出力画素データを生成する生成部とを備えることを特徴としている。
【発明の効果】
【００１５】
上記の構成により、高周波領域においてもノイズの影響を受けない範囲で超解像処理による高画質化を利用することができる。
【図面の簡単な説明】
【００１６】
【図１】実施の形態１における画像処理装置１００の構成例を示すブロック図
【図２】実施の形態１における映像選択部１４０の構成例を示すブロック図
【図３】実施の形態１におけるノイズ量判定部２０１の判定例を示す図
【図４】実施の形態１における画像処理装置１００の動作例を示すフローチャート
【図５】実施の形態２における画像処理装置５００の構成例を示すブロック図
【図６】実施の形態２における映像混合部５４０の構成例を示すブロック図
【図７】実施の形態２における画像処理装置５００の動作例を示すフローチャート
【発明を実施するための形態】
【００１７】
＜実施の形態１＞
以下、本発明の一実施形態である画像処理装置１００について図面を用いて説明する。
＜構成＞
図１は、本発明の一実施形態の画像処理装置１００の構成を示すブロック図である。図１に示すように、画像処理装置１００は、領域判定部１１０、フィルタ処理部１２０、超解像処理部１３０および映像選択部１４０を備え、入力画像データ１０１およびノイズ情報データ１０２を入力として、出力画像データ１０３を出力する。
【００１８】
入力画像データ１０１は、低解像度の画像に拡大処理を施して高解像度の画像へ変換した画像データおよび処理対象の画素の画像（フレーム）における位置情報である。なお、処理対象の画素とは、領域判定部１１０、フィルタ処理部１２０および超解像処理部１３０で行う処理の対象となる画素のことである。
【００１９】
ノイズ情報データ１０２は、上記高解像度に変換してある画像データの各画素に含まれるノイズ量である。画像処理装置１００は、入力画像データ１０１の元となるデータを符号化した際の圧縮率や量子化係数を用いて、あらかじめ推定されたノイズ情報データ１０２を入力とする。
【００２０】
領域判定部１１０は、入力画像データ１０１の処理対象の画素の位置情報から処理対象の画素の画素値（入力画素データ）とその周辺画素の画素値（周辺画素データ）を参照し、処理対象となる画素が輝度の変化が大きい高周波領域、輝度の変化が小さい中周波領域および輝度の変化がほとんどない低周波領域のうちいずれの領域に属しているかを判定し、領域によって異なる領域判定データ１１１を出力する。判定方法の一例として、周波数変換を伴ったスペクトル解析を行い、画素に含まれる最大周波数成分から２つ閾値を使用していずれの領域に含まるかを判定してもよいし、高域通過型や低域通過型、帯域通過型などのフィルタを用いて特定の周波数を取り出し判定することも可能である。
【００２１】
なお、高周波領域のことをエッジ部、中周波領域のことをテクスチャ部、低周波領域のことを平坦部と呼ぶこともある。
【００２２】
フィルタ処理部１２０は、入力画素データとその周辺画素データを参照し、ノイズ除去や輪郭強調のフィルタ処理を行い、輪郭強調されたフィルタ処理データ１２１を出力する。
【００２３】
超解像処理部１３０は、入力画像データ１０１を用いて、超解像処理を行うもので、超解像処理を行って得られた超解像処理データ１３１を出力する。なお、超解像処理については、例えば、非特許文献１で開示された自己合同性を利用した超解像や色超解像等の公知の技術を用いることが可能である。
【００２４】
映像選択部１４０は、ノイズ情報データ１０２の処理対象の画素の推定ノイズ量および領域判定部１１０の判定結果に基づいて、入力画像データ１０１の処理対象の画素の画素値（入力画素データ）、フィルタ処理データ１２１および超解像処理データ１３１から、出力画像データ１０３を構成する出力画素データを選択し出力する。
【００２５】
図２は、映像選択部１４０の構成を示すブロック図である。図２に示すように、映像選択部１４０は、ノイズ量判定部２０１、選択部２０２および選択部２０３を備える。
【００２６】
ノイズ量判定部２０１はノイズ情報データ１０２のノイズ量と領域判定データ１１１により、選択部２０２においてフィルタ処理データ１２１と超解像処理データ１３１のいずれかを選択する信号を生成する。領域判定データ１１１が高周波領域の場合は、ノイズ量によって生成する信号を決定する。ノイズ情報データ１０２のノイズ量が小さい場合には、高画質化のために超解像処理データ１３１を選択する信号を生成し、ノイズ情報データ１０２のノイズ量が大きい場合には、ノイズの強調を避けるためにフィルタ処理データ１２１を選択する信号を生成する。
【００２７】
図３に、ノイズ量判定部２０１の判定例を示す。ノイズ量判定部２０１は、領域判定データ１１１が高周波領域でノイズ情報データ１０２のノイズ量が、あらかじめ設定されている閾値よりも大きな場合には、フィルタ処理データ１２１を選択する信号を生成し、領域判定データ１１１が高周波領域でノイズ情報データ１０２のノイズ量があらかじめ設定されている閾値以下の場合には、超解像処理データ１３１を選択する信号を生成する。また、ノイズ量判定部２０１は、領域判定データ１１１が中周波領域の場合には、超解像処理データ１３１を選択する信号を生成し、低周波領域の場合には、フィルタ処理データ１２１もしくは超解像処理データ１３１のうちあらかじめ設定してある方を選択する信号を生成する。
【００２８】
選択部２０２は、ノイズ量判定部２０１により生成される信号に従って、フィルタ処理データ１２１と超解像処理データ１３１とのいずれかを選択し出力する。
【００２９】
選択部２０３は、領域判定データ１１１を示す信号に従って、領域判定データ１１１が低周波領域の場合は入力画素データを出力画素データとして出力する。領域判定データ１１１が中周波領域および高周波領域の場合には、選択部２０２の出力を待って選択部２０２の出力結果を出力画素データとして出力する。
【００３０】
なお、領域判定部１１０、フィルタ処理部１２０、超解像処理部１３０および映像選択部１４０の各構成要素は、例えば、ＣＰＵがＲＡＭ等に記憶されたプログラムを実行することにより実現される。
＜動作＞
次に、本実施形態の動作を図４に示すフローチャートを用いて説明する。
【００３１】
図４に示すように画像処理装置１００は、フレーム処理を開始するとまず、入力画像データ１０１およびノイズ情報データ１０２から処理対象の画素を選択する（ステップＳ４０１）。選択方法は、入力画像データ１０１の各画素をラスタスキャン方式で選択する。
【００３２】
フィルタ処理部１２０は入力画素データにフィルタ処理を施したフィルタ処理データ１２１を出力する（ステップＳ４０２）。超解像処理部１３０は入力画素データに超解像処理を施した超解像処理データ１３１を出力する（ステップＳ４０３）。
【００３３】
次に、領域判定部１１０は入力画像データ１０１の処理対象の画素が高周波領域、中周波領域および低周波領域のいずれの領域に属するかを判定する領域判定処理を行う（ステップＳ４０４）。
【００３４】
領域判定データ１１１が低周波領域の場合（ステップ４０５がＹＥＳの場合）、選択部２０３はノイズ量判定部２０１および選択部２０２の処理結果によらず、入力画素データを出力画素データとして出力する（ステップＳ４０８）。
【００３５】
領域判定データ１１１が中周波領域の場合（ステップＳ４０５およびステップＳ４０６がＮＯの場合）、ノイズ量判定部２０１は超解像処理データ１３１を選択する信号を出力し、選択部２０２はノイズ量判定部２０１の生成した信号に従って超解像処理データ１３１を出力し、選択部２０３は選択部２０２が出力した超解像処理データ１３１を出力画素データとして出力する（ステップＳ４０９）。
【００３６】
領域判定データ１１１が高周波領域の場合（ステップＳ４０５がＮＯでステップＳ４０６がＹＥＳの場合）、ノイズ情報データ１０２のノイズ量とあらかじめ設定されている閾値との比較を行う（ステップＳ４０７）。
【００３７】
ノイズ量が閾値以下の場合（ステップＳ４０７のＮＯの場合）、ノイズ量判定部２０１は超解像処理データ１３１を選択する信号を出力し、選択部２０２はノイズ量判定部２０１の生成した信号に従って超解像処理データ１３１を出力し、選択部２０３は選択部２０２が出力した超解像処理データ１３１を出力画素データとして出力する（ステップＳ４０９）。
【００３８】
ノイズ量が閾値よりも大きい場合（ステップＳ４０７のＹＥＳの場合）、ノイズ量判定部２０１はフィルタ処理データ１２１を選択する信号を出力し、選択部２０２はノイズ量判定部２０１の生成した信号に従ってフィルタ処理データ１２１を出力し、選択部２０３は選択部２０２が出力したフィルタ処理データ１２１を出力画素データとして出力する（ステップＳ４１０）。
【００３９】
画像処理装置１００は、入力画像データ１０１の全画素を処理したかどうかの判定を行う（ステップＳ４１１）。処理していない画素がある場合（ステップＳ４１１のＮＯの場合）は再度ステップＳ４０１に戻り、全画素を処理した場合（ステップＳ４１１のＹＥＳの場合）はフレーム処理を終了する。
＜実施の形態２＞
以下、本発明の一実施形態である画像処理装置について説明する。実施の形態１では各画素処理において、複数の画像処理結果から１つを選択して出力画素データを生成していたが、実施の形態２では、複数の画像処理結果を混合することによって出力画素データを生成する。なお、構成とデータについて実施の形態１と同様の部分は同様の符号を付し説明を省略する。
＜構成＞
図５は、画像処理装置５００の構成を示すブロック図である。図５に示すように、画像処理装置５００は実施の形態１と比較して映像選択部１４０代わりとして映像混合部５４０を備える。
映像混合部５４０は、ノイズ情報データ１０２の処理対象の画素の推定ノイズ量および領域判定データ１１１に基づいて、入力画素データ、フィルタ処理データ１２１および超解像処理データ１３１を混合して出力する。
【００４０】
図６は、映像混合部５４０の構成を示すブロック図である。図６に示すように、映像混合部５４０は、混合比率算出部６０１、混合部６０２および混合部６０３を備える。
【００４１】
混合比率算出部６０１は、領域判定データ１１１とノイズ情報データ１０２のノイズ量に基づいて、フィルタ処理データ１２１と超解像処理データ１３１を混合するための混合比率α：（１−α）を計算し、出力する。領域判定データ１１１が高周波領域である場合は、超解像処理によってノイズが強調されないように、混合比率α：（１−α）は、ノイズ量が大きくなるに従ってαを大きくして、フィルタ処理データ１２１の混合割合が大きくなるようにする。ただし、０≦α≦１とする。
【００４２】
ここでは、混合比率α：（１−α）の算出方法は、あらかじめ設定されているノイズ量をＮ、ノイズ情報データ１０２のノイズ量をＭとすると、混合比率α：（１−α）は、α＝ＣＬＩＰ（1.0、Ｍ／Ｎ）とする。ＣＬＩＰ関数の意味は、（Ｍ／Ｎ）≦1.0ならばα＝Ｍ／Ｎ、（Ｍ／Ｎ）＞1.0ならばα＝1.0となる関数である。ただし、領域判定データ１１１が中周波領域の場合はα=0.0とする。
【００４３】
混合部６０２は、混合比率算出部６０１から出力された混合比率α：（１−α）を用いて、フィルタ処理データ１２１と超解像処理データ１３１とをα：（１−α）で混合した混合画素データを出力する。
【００４４】
混合部６０３では、入力画素データと混合部６０２の出力結果とを、あらかじめ設定されている混合比率β：（１−β）で混合した出力画素データを出力する。ただし、領域判定データ１１１が低周波領域の場合はβ=1.0として入力画素データを無処理で出力する。また、領域判定データ１１１が中周波領域および高周波領域の場合は、混合部６０２の処理が終了するのを待って混合部６０３の処理を開始するものとする。
【００４５】
なお、βの値は、入力画素データと混合画素データとの混合割合を決めて、画像処理装置５００の行う画像処理の効果を調整するものであり、ユーザの好みで設定する。
＜動作＞
本実施の形態の動作を図７に示すフローチャートを用いて説明する。
【００４６】
図７に示すように画像処理装置１００は、フレーム処理を開始するとまず、入力画像データ１０１およびノイズ情報データ１０２から処理対象の画素を選択する（ステップＳ７０１）。選択方法は、入力画像データ１０１の各画素をラスタスキャン方式で選択する。
【００４７】
フィルタ処理部１２０は入力画素データにフィルタ処理を施したフィルタ処理データ１２１を出力する（ステップＳ７０２）。超解像処理部１３０は入力画素データに超解像処理を施した超解像処理データ１３１を出力する（ステップＳ７０３）。
【００４８】
次に、領域判定部１１０は入力画像データ１０１の処理対象の画素が高周波領域、中周波領域および低周波領域のいずれの領域に属するかを判定する領域判定処理を行う（ステップＳ７０４）。
【００４９】
領域判定データ１１１が低周波領域の場合（ステップ７０５がＹＥＳの場合）、混合部６０３は混合比率算出部６０１および混合部６０２の処理結果によらず、入力画素データと混合画素データとを１：０で混合したデータ、つまり、入力画素データを出力画素データとして出力する（ステップＳ７１０）。
【００５０】
領域判定データ１１１が中周波領域の場合（ステップ７０５およびステップＳ７０６がＮＯの場合）、混合比率算出部６０１はフィルタ処理データ１２１と超解像処理データ１３１と混合するための混合比率α：（１−α）をα＝0.0と設定し出力する（ステップＳ７０７）。
【００５１】
領域判定データ１１１が高周波領域の場合（ステップＳ７０５がＮＯでステップＳ７０６がＹＥＳの場合）、混合比率算出部６０１はフィルタ処理データ１２１と超解像処理データ１３１と混合するための混合比率α：（１−α）を算出し、値αを出力する（ステップＳ７０８）。
【００５２】
領域判定データ１１１が中周波領域および高周波領域の場合、混合部６０２は、混合比率算出部６０１が出力した混合比率α：（１−α）を用いてフィルタ処理データ１２１と超解像処理データ１３１とをα：（１−α）で混合した混合画素データを出力する（ステップＳ７０９）。
【００５３】
領域判定データ１１１が中周波領域および高周波領域の場合、混合部６０３は、あらかじめ設定してある混合比率β：（１−β）を用いて入力画素データと混合画素データとを、β：（1−β）で混合した出力画素データを出力する（ステップＳ７１１）。
【００５４】
画像処理装置５００は、入力画像データ１０１の全画素を処理したかどうかの判定を行う（ステップＳ７１２）。処理していない画素がある場合（ステップＳ７１２のＮＯの場合）は再度ステップＳ７０１に戻り、全画素を処理した場合（ステップＳ７１２のＹＥＳの場合）はフレーム処理を終了する。
＜補足１＞
上記実施形態について説明したが、本発明はこれに限られるものではない。以下、本発明の思想として含まれる各種変形例について説明する。
【００５５】
（１）実施の形態１、２では、入力画像データ１０１は、低解像度の画像に拡大処理を施して高解像度の画像へ変換した画像データであって、処理対象の画素の画素値およびフレームにおける位置情報としたが、拡大処理について、拡大処理を施していない画像データを鮮鋭化するために入力してもよい。
【００５６】
（２）実施の形態１、２では、入力画像データ１０１は、低解像度の画像に拡大処理を施して高解像度の画像へ変換した画像データであって、処理対象の画素の画素値およびフレームにおける位置情報としたが、拡大処理について、構成に拡大処理部を追加して画像処理装置の内部で拡大処理を行ってもよい。
【００５７】
（３）実施の形態１，２ではノイズ情報データ１０２は、符号化ノイズを推定しているが、これに限るものではない。例えば、画像処理装置が撮像装置の場合には、ノイズ情報データ１０２として、光学ノイズを推定する。光学ノイズは、撮像装置のセンサ特性や画像の輝度値から確率的な分布を用いて各画素のノイズ量を推定できる。
【００５８】
（４）実施の形態１、２では、領域判定部１１０は、領域判定方法として、周波数変換を伴うスペクトル解析を行うものとしたが、簡易的に周辺画素の輝度値との差分情報から算出する方法でもよい。
【００５９】
（５）実施の形態２では、混合比率算出部６０１は、ＣＬＩＰ関数を用いて混合比率αを計算するとしたが、混合比率αの算出方法については、ノイズ量が大きくなるに従ってフィルタ処理データ１２１の混合割合が大きくなるものであれば足り、ＣＬＩＰ関数以外のノイズ量を変数とする単調増加関数から算出してもよいし、混合比率テーブルを用いて、領域判定データ１１１とノイズ量から対応した値を出力してもよい。
【００６０】
（６）上述の各実施形態及び各変形例を、部分的に組み合せてもよい。
【００６１】
（７）実施の形態１、２で示した各処理（フィルタ処理、超解像処理等）を、画像処理装置のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるための機械語或いは高級言語のプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ、フラッシュメモリ等がある。流通、頒布された制御プログラムはプロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより各実施形態で示したような各機能が実現されるようになる。なお、プロセッサは、制御プログラムを直接実行する他、コンパイルして実行或いはインタプリタにより実行してもよい。
【００６２】
（８）実施の形態１〜２で示した各機能構成要素（フィルタ処理部、超解像処理部等）は、その機能を実行する回路として実現されてもよいし、１又は複数のプロセッサによりプログラムを実行することで実現されてもよい。また、実施形態１、２で示した画像処理装置は、ＩＣ、ＬＳＩその他の集積回路のパッケージとして構成されるものとしてもよい。このパッケージは各種装置に組み込まれて利用に供され、これにより各種装置は、各実施形態で示したような各機能を実現するようになる。
【００６３】
なお、各機能ブロック（フィルタ処理部、超解像処理部等）は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップされてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
＜補足２＞
本発明の取り得る一実施形態とその効果について説明する。
【００６４】
（１）本発明の一実施形態の画像処理装置は、入力画像に画像処理を施して出力画像を生成する画像処理装置であって、前記入力画像を構成する画素データのうち、処理対象の画素データに超解像処理を施して超解像処理データを生成する超解像処理部と、前記処理対象の画素データを、高周波領域データと非高周波領域データに区別する領域判定部と、前記高周波領域データと判定された画素データのノイズ量に応じて前記超解像処理データを用いて、出力画素データを前記出力画像として生成する生成部とを備える。
【００６５】
また、本発明の一実施形態の画像処理方法は、入力画像に画像処理を施して出力画像を生成する画像処理方法であって、前記入力画像を構成する画素データのうち、処理対象の画素データに超解像処理を施して超解像処理データを生成する超解像処理ステップと、前記処理対象の画素データを、高周波領域データと非高周波領域データに区別する領域判定ステップと、前記高周波領域データと判定された画素データのノイズ量に応じて前記超解像処理データを用いて、出力画素データを前記出力画像として生成する生成ステップとを含む。
【００６６】
また、本発明の一実施形態の集積回路は、入力画像に画像処理を施して出力画像を生成する画像処理装置に用いられる集積回路であって、前記入力画像を構成する画素データのうち、処理対象の画素データに超解像処理を施して超解像処理データを生成する超解像処理部と、前記処理対象の画素データを、高周波領域データと非高周波領域データに区別する領域判定部と、前記高周波領域データと判定された画素データのノイズ量に応じて前記超解像処理データを用いて、出力画素データを前記出力画像として生成する生成部とを備える。
【００６７】
また、本発明の一実施形態のプログラムは、入力画像を構成する入力画素データに超解像処理を施して超解像処理データを生成する超解像処理ステップと、前記入力画素データそれぞれを、高周波領域データと非高周波領域データに区別する領域判定ステップと、前記高周波領域データと判定された入力画素データに対して、当該入力画素データのノイズ量に応じて前記超解像処理データを用いて、出力画像を構成する出力画素データを生成する生成ステップとを含む。
【００６８】
上記構成によれば、高周波領域においてもノイズの影響を受けない範囲で超解像処理による高画質化を利用することで、従来よりも鮮鋭な出力画像を得ることができる。
【００６９】
（２）上記実施形態（１）の画像処理装置において、前記生成部は、前記高周波領域データと判定された入力画素データのノイズ量が所定の閾値よりも小さければ、前記超解像処理データをそのまま前記出力画素データとするとしてもよい。
【００７０】
（３）上記実施形態（１）の画像処理装置は、更に、前記入力画素データにフィルタ処理を施してフィルタ処理データを生成するフィルタ処理部を備え、前記生成部は、前記高周波領域データと判定された入力画素データのノイズ量に応じて、前記フィルタ処理データと前記超解像処理データとを混合した第１混合データを生成する第１混合手段を有し、前記第１混合データを前記出力画素データとするとしてもよい。
【００７１】
（４）上記実施形態（３）の画像処理装置において、前記第1混合手段は、前記ノイズ量が大きくなるにしたがって、αも大きくなるように混合比率α：（１−α）（ただし、０≦α≦１）を算出し、前記フィルタ処理データと、前記超解像処理データとを、前記混合比率α：（１−α）で混合して前記第１混合データを生成するとしてもよい。
【００７２】
上記（３）、（４）の構成によれば、高周波領域においても超解像処理による高画質化を利用でき、ノイズ量に応じてフィルタ処理データを混合させることで、ノイズが強調されることを抑えることができる。
【００７３】
（５）上記実施形態（３）の画像処理装置において、前記生成部は、さらに、前記入力画素データと前記第１混合データとを、あらかじめ設定された比率で混合した第２混合データを生成する第２混合手段を有し、前記第１混合データの代わりに前記第２混合データを前記出力画素データとするとしてもよい。
【００７４】
上記（５）の構成によれば、画像処理が施された画像データに無処理の画像データを混合することで画像処理の効果を弱めることができ、混合割合を調整することで画像処理の効果を調整することができる。
【産業上の利用可能性】
【００７５】
本発明の画像処理装置は、映像表示装置、画像再生装置、撮像装置等として活用することができる。
【符号の説明】
【００７６】
１００、５００  画像処理装置
１０１  入力画像データ
１０２  ノイズ情報データ
１０３  出力画像データ
１１０  領域判定部
１１１  領域判定データ
１２０  フィルタ処理部
１２１  フィルタ処理データ
１３０  超解像処理部
１３１  超解像処理データ
１４０  映像選択部
５４０  映像混合部
２０１  ノイズ量判定部
２０２、２０３  選択部
６０１  混合比率算出部
６０２、６０３  混合部
【図１】
2012176367.tif 000003
【図２】
2012176367.tif 000004
【図３】
2012176367.tif 000005
【図４】
2012176367.tif 000006
【図５】
2012176367.tif 000007
【図６】
2012176367.tif 000008
【図７】
2012176367.tif 000009
【国際調査報告】
2012176367.tif 000010
2012176367.tif 000011