(57)【要約】【課題】演算量がより少なく、実装性がより高い超解像技術を実現すること。【解決手段】入力された画像を線形補間する補間手段と、前記補間手段によって線形補間された画像の高周波数成分を抽出する高周波数成分抽出手段と、前記高周波数成分抽出手段によって抽出された高周波数成分をショックフィルタによって鮮鋭化する高周波数成分鮮鋭化手段と、前記補間手段によって線形補間された画像と、前記高周波数成分鮮鋭化手段によって鮮鋭化された高周波数成分とを加算して高解像度画像を生成する高解像度画像生成手段と、を備えることを特徴とする画像処理装置。【選択図】図２
2015166976.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像を線形補間する補間手段と、
前記補間手段によって線形補間された画像の高周波数成分を抽出する高周波数成分抽出手段と、
前記高周波数成分抽出手段によって抽出された高周波数成分をショックフィルタによって鮮鋭化する高周波数成分鮮鋭化手段と、
前記補間手段によって線形補間された画像と、前記高周波数成分鮮鋭化手段によって鮮鋭化された高周波数成分とを加算して高解像度画像を生成する高解像度画像生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
高周波数成分鮮鋭化手段は、前記ショックフィルタを複数回適用することによって高周波数成分を鮮鋭化することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
入力された画像の高周波数成分を強調する高周波数成分強調手段と、
前記高周波数成分強調手段によって高周波数成分が強調された画像を線形補間する補間手段と、
を備えることを特徴とする画像処理装置。
【請求項４】
前記高周波数成分強調手段は、画素値の２階微分によって画像の高周波数成分を強調することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
入力された画像を線形補間する補間ステップと、
前記補間ステップにおいて線形補間された画像の高周波数成分を抽出する高周波数成分抽出ステップと、
前記高周波数成分抽出ステップにおいて抽出された高周波数成分をショックフィルタによって鮮鋭化する高周波数成分鮮鋭化ステップと、
前記補間ステップにおいて線形補間された画像と、前記高周波数成分鮮鋭化ステップにおいて鮮鋭化された高周波数成分とを加算して高解像度画像を生成する高解像度画像生成ステップと、
を含むことを特徴とする画像処理方法。
【請求項６】
入力された画像の高周波数成分を強調する高周波数成分強調ステップと、
前記高周波数成分強調ステップにおいて高周波数成分が強調された画像を線形補間する補間ステップと、
を含むことを特徴とする画像処理方法。
【請求項７】
コンピュータに、
入力された画像を線形補間する補間機能と、
前記補間機能によって線形補間された画像の高周波数成分を抽出する高周波数成分抽出機能と、
前記高周波数成分抽出機能によって抽出された高周波数成分をショックフィルタによって鮮鋭化する高周波数成分鮮鋭化機能と、
前記補間機能によって線形補間された画像と、前記高周波数成分鮮鋭化機能によって鮮鋭化された高周波数成分とを加算して高解像度画像を生成する高解像度画像生成機能と、
を実現させることを特徴とするプログラム。
【請求項８】
コンピュータに、
入力された画像の高周波数成分を強調する高周波数成分強調機能と、
前記高周波数成分強調機能によって高周波数成分が強調された画像を線形補間する補間機能と、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のサイズを変更する画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、デジタル画像のサイズを拡大し、より大きいサイズの画像として表示する技術が知られている。
例えば、非特許文献１に記載の技術では、入力された低解像度の画像を線形補間により所望サイズに拡大した後に、高周波数成分を強調し、高い鮮鋭感の画像を生成する手法が提案されている。
非特許文献１に記載の技術では、線形補間により拡大した初期画像に対して高域通過フィルタを適用して高周波数成分を算出し、その高周波数成分に対してｙ=ａｘ３（０＜ａ＜１）の非線形処理を適用している。そして、修正された高周波数成分を初期画像に加算することにより、高解像度画像を生成している。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｓ．  Ｇｏｈｓｈｉ，  Ｍ．  Ｔｅｒａｇａｗａ．  Ｈ．  Ｍｉｋａｍｉ，  ａｎｄ  Ｓ．  Ｉｍａｉ，“非線形特性を応用した画像の超解像度化”，情報科学技術フォーラム,ｐｐ.７-１２,２００９.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１に記載された技術においては、非線形処理によって変調が行われることで、より高い周波数成分を生成しているものの、その生成された周波数成分を加算した結果の高解像度画像が、自然画像として違和感がなく鮮鋭感の高い画像となるかは保証されていない。そのため、非特許文献１に記載された技術では、優れた高解像度画像を生成するためには、画像に依存する様々なパラメータの調整が必要となる。さらに、３次の非線形処理には多くの演算量が必要であり、非特許文献１に記載の技術は、実装性が低く実用性が高いとは言えない。
即ち、従来の技術においては、演算量が多く、実装性の高い超解像技術を実現することは困難であった。
【０００５】
本発明の課題は、演算量がより少なく、実装性がより高い超解像技術を実現することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の一態様の画像処理装置は、
入力された画像を線形補間する補間手段と、
前記補間手段によって線形補間された画像の高周波数成分を抽出する高周波数成分抽出手段と、
前記高周波数成分抽出手段によって抽出された高周波数成分をショックフィルタによって強調する高周波数成分強調手段と、
前記補間手段によって線形補間された画像と、前記高周波数成分強調手段によって強調された高周波数成分とを加算して高解像度画像を生成する高解像度画像生成手段と、
を備える。
【発明の効果】
【０００７】
本発明によれば、演算量がより少なく、実装性がより高い超解像技術を実現することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明における画像処理装置のハードウェア構成例を示すブロック図である。
【図２】第１実施形態における画像処理装置の機能的構成を示すブロック図である。
【図３】画像処理装置が実行する解像度変更処理を示すフローチャートである。
【図４】第１実施形態における画像処理装置によって、サンプル画像から生成した高解像度画像の定量的評価を行った結果を示す図である。
【図５】サンプル画像の例を示す図である。
【図６】サンプル画像ＳＭＰ２の低解像度画像から生成した高解像度画像及び線形補間して得た拡大画像を比較して示す図である。
【図７】サンプル画像ＳＭＰ２の低解像度画像から生成した高解像度画像及び線形補間して得た拡大画像を比較して示す図である。
【図８】サンプル画像ＳＭＰ２の低解像度画像から生成した高解像度画像及び線形補間して得た拡大画像を比較して示す図である。
【図９】第２実施形態における画像処理装置の機能的構成を示すブロック図である。
【図１０】画像処理装置が実行する解像度変更処理を示すフローチャートである
【図１１】第２実施形態における画像処理装置１によって、サンプル画像から生成した高解像度画像の定量的評価を行った結果を示す図である。
【図１２】サンプル画像ＳＭＰ２の低解像度画像から生成した高解像度画像及び線形補間して得た拡大画像を比較して示す図である。
【図１３】サンプル画像ＳＭＰ２の低解像度画像から生成した高解像度画像及び線形補間して得た拡大画像を比較して示す図である。
【図１４】サンプル画像ＳＭＰ２の低解像度画像から生成した高解像度画像及び線形補間して得た拡大画像を比較して示す図である。
【図１５】サンプル画像ＳＭＰ２の低解像度画像から生成した高解像度画像及び線形補間して得た拡大画像を比較して示す図である。
【図１６】サンプル画像ＳＭＰ２の低解像度画像から生成した高解像度画像及び線形補間して得た拡大画像を比較して示す図である。
【図１７】サンプル画像ＳＭＰ２の低解像度画像から生成した高解像度画像及び線形補間して得た拡大画像を比較して示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
［第１実施形態］
［ハードウェア構成］
図１は、本発明における画像処理装置１のハードウェア構成例を示すブロック図である。
なお、画像処理装置１は、例えばＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）によって構成される。
図１において、画像処理装置１は、制御部１０と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３０と、入力部４０と、出力部５０と、通信部６０と、ドライブ７０と、記憶部８０と、を備えている。
【００１０】
制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等の演算処理装置によって構成され、画像処理装置１全体の動作を制御する。例えば、制御部１０は、解像度変更処理（後述）のためのプログラム等、ＲＯＭ３０に記憶されている各種プログラムに従って各種の処理を実行する。
ＲＡＭ２０は、制御部１０が各種処理を実行するためのワークエリアを形成する。
ＲＯＭ３０は、制御部１０が実行するプログラムや画像処理装置１の各種設定に関するデータ等の情報を記憶する。
【００１１】
入力部４０は、キーボードやマウス、あるいはタッチパネル等、画像処理装置１に対して各種情報の入力を行う装置によって構成される。
出力部５０は、ディスプレイやスピーカー等、画像や音声の出力を行う装置によって構成される。
通信部６０は、インターネット等のネットワークや赤外線通信等のリンクを介して他の装置（図示せず）との間で行う通信を制御する。
ドライブ７０には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等のリムーバブルメディア７１が適宜装着される。そして、ドライブ７０は、装着されたリムーバブルメディア７１におけるデータの読み出し及びデータの書き込みを行う。ドライブ７０によってリムーバブルメディア７１から読み出されたプログラムは、必要に応じて記憶部８０にインストールされる。また、リムーバブルメディア７１は、記憶部８０に記憶されている画像のデータ等の各種データも、記憶部８０と同様に記憶することができる。
【００１２】
記憶部８０は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等のストレージデバイスによって構成され、各種プログラムやデータを記憶する。本実施形態において、解像度変更処理の対象となる画像のデータは、通信部６０あるいはドライブ７０を介して取得され、記憶部８０に記憶されている。
【００１３】
［機能的構成］
次に、画像処理装置１の機能的構成について説明する。
図２は、第１実施形態における画像処理装置１の機能的構成を示すブロック図である。
図２に示す機能的構成は、制御部１０が解像度変更処理のためのプログラムを実行することによって実現される。
図２において、画像処理装置１は、機能的構成として、画像取得部１１０と、補間処理部１２０と、高周波数成分画像生成部１３０と、ショックフィルタ処理部１４０と、高解像度画像生成部１５０と、を備えている。
【００１４】
画像取得部１１０は、記憶部８０に記憶された画像の中から、高解像度画像を生成するための原画像を取得する。なお、取得する原画像は、入力部４０等を介して、ユーザによって指定される。画像取得部１１０が取得する画像としては、静止画像の他、動画像を構成するフレームの画像とすることができる。また、画像取得部１１０は、高解像度画像を生成するための原画像を通信部６０を介して外部から適宜取得したり、ドライブ７０を介してリムーバブルメディア７１から適宜取得したりすることができる。
補間処理部１２０は、画像取得部１１０によって取得された原画像を線形補間することにより拡大し、目的とする高解像度画像と同サイズの初期画像を生成する。例えば、補間処理部１２０は、Ｂｉｌｉｎｅａｒ法あるいはＢｉｃｕｂｉｃ法によって、原画像を線形補間する。
【００１５】
高周波数成分画像生成部１３０は、補間処理部１２０によって生成された初期画像において、ローパスフィルタによって低周波数成分を抽出し、抽出した低周波数成分を初期画像から減算することで、初期画像の高周波数成分からなる高周波数成分画像を生成する。
高周波数成分画像をＩｈ、初期画像をＩ、ローパスフィルタをＧＬＬとすると、高周波数成分画像生成部１３０における処理は、畳み込みを表す演算子「＊」を用いて、式（１）で表される。
【００１６】
【数１】
2015166976.tif 000003
【００１７】
【数２】
2015166976.tif 000004
【００１８】
式（２）における係数は２の乗数であるため、コンピュータにおける演算処理ではビットシフトによる処理となり、小さい処理負荷で実現することができる。
【００１９】
ショックフィルタ処理部１４０は、高周波数成分画像生成部１３０によって生成された高周波数成分画像にショックフィルタを１回または複数回施すことにより、高周波数成分を強調する。本実施形態においては、高周波数成分画像生成部１３０によって生成された高周波数成分画像にショックフィルタを３回施すことする。ショックフィルタを施すことで、画像の変動成分の変動幅が急峻になり、画像の鮮鋭化が実現される。ショックフィルタは、少ない繰り返し処理で鮮鋭化の効果が得られ、ほぼ線形処理によって構成される低演算量で実現可能なフィルタである。具体的には、ショックフィルタは、式（３）で表される。
【００２０】
【数３】
2015166976.tif 000005
【００２１】
式（３）における第１項（ローパスフィルタと入力画像との畳み込みの項）は、フィルタ処理の注目画素を周囲となじませる効果（入力画像をぼかす効果）を有している。
また、式（３）における第２項（符号関数の項）は、画素値の２階微分を基に画素値の変化方向を決定する効果を有している。
さらに、式（３）における第３項（各画素の勾配の絶対値の項）は、画素値の縦横方向の１階微分を基に画素値の変化量を決定する効果を有している。
式（３）による処理は、画素毎に複数回適用して画像全体を処理したり、全画素に一度適用して画像全体を複数回処理したりすることが可能である。式（３）を画素毎に複数回適用して画像全体を処理する場合、より少ないメモリ量で演算を行うことができる。
【００２２】
高解像度画像生成部１５０は、補間処理部１２０によって生成された初期画像と、ショックフィルタ処理部１４０によって高周波数成分が鮮鋭化された高周波数成分画像とを加算することにより、高解像度画像を生成する。
即ち、本実施形態において生成された高解像度画像は、原画像が線形補間された初期画像に対して、ショックフィルタによって高周波数成分を自然に鮮鋭化し、２次の非線形処理によって高周波数成分を変調したものとなる。そのため、初期画像においてテクスチャを保存しつつ、ショックフィルタによって鮮鋭化された高周波数成分を加算して、より鮮鋭度の高い高解像度画像を生成することができる。
【００２３】
［動作］
次に、画像処理装置１の動作について説明する。
図３は、画像処理装置１が実行する解像度変更処理を示すフローチャートである。
解像度変更処理は、入力部４０を介して、処理の実行が指示入力されることに対応して開始される。
解像度変更処理が開始されると、ステップＳ１において、画像取得部１１０は、記憶部８０から処理対象とする原画像を取得する。
ステップＳ２において、補間処理部１２０は、取得された原画像を線形補間することにより拡大し、初期画像を生成する。
【００２４】
ステップＳ３において、高周波数成分画像生成部１３０は、ローパスフィルタによって初期画像における低周波数成分を抽出し、抽出した低周波数成分を初期画像から減算することで、高周波数成分画像を生成する。
ステップＳ４において、ショックフィルタ処理部１４０は、ショックフィルタの適用回数を示すパラメータｎに１をセットする（ｎ＝１）。
ステップＳ５において、ショックフィルタ処理部１４０は、入力画像に対してショックフィルタを適用し、高周波数成分を鮮鋭化する。
ステップＳ６において、ショックフィルタ処理部１４０は、ショックフィルタの適用回数を示すパラメータｎを１インクリメントする（ｎ＝ｎ＋１）。
【００２５】
ステップＳ７において、ショックフィルタ処理部１４０は、ショックフィルタの適用回数を示すパラメータｎが３より大きい（ｎ＞３）か否かの判定を行う。
ステップＳ７において、ショックフィルタの適用回数を示すパラメータｎが３以下である（ＮＯ）と判定された場合、処理はステップＳ５に移行する。
一方、ステップＳ７において、ショックフィルタの適用回数を示すパラメータｎが３より大きい（ＹＥＳ）と判定された場合、処理はステップＳ８に移行する。
ステップＳ８において、高解像度画像生成部１５０は、補間処理部１２０によって生成された初期画像と、ショックフィルタ処理部１４０によって高周波数成分が鮮鋭化された高周波数成分画像とを加算し、高解像度画像を生成する。
ステップＳ８の後、解像度変更処理は終了となる。
【００２６】
以上のように、本実施形態における画像処理装置１は、小さいサイズの原画像を線形補間によって拡大し、拡大して得られた初期画像の高周波数成分を抽出して高周波数成分画像を得る。そして、画像処理装置１は、高周波数成分画像にショックフィルタを適用することにより、高周波数成分を鮮鋭化し、高周波数成分を鮮鋭化した高周波数成分画像を初期画像に加算することにより、高解像度画像を生成する。
そのため、線形補間によって得られた初期画像の高周波数成分を低演算量で鮮鋭化の効果が得られるショックフィルタによって鮮鋭化し、高解像度画像を得ることができる。
したがって、演算量がより少なく、実装性がより高い超解像技術を実現することが可能となる。
また、画像処理装置１では、ショックフィルタを対象の画像の内容等に応じて、１回または複数回適用することができる。
そのため、対象の画像に応じた適切な高周波数成分の鮮鋭化を行うことができ、より適切な高解像度画像を生成することが可能となる。
【００２７】
［第１実施形態の効果］
図４は、本実施形態における画像処理装置１によって、サンプル画像から生成した高解像度画像の定量的評価を行った結果を示す図である。
また、図５は、サンプル画像の例を示す図であり、図５（ａ）はサンプル画像ＳＭＰ１、図５（ｂ）はサンプル画像ＳＭＰ２、図５（ｃ）はサンプル画像ＳＭＰ３を示している。
【００２８】
図４においては、図５に示すサンプル画像ＳＭＰ１〜ＳＭＰ３の画素を間引いて得た低解像度の画像から、画像処理装置１によって生成した高解像度画像と、単純に線形補間して得た拡大画像とをオリジナルのサンプル画像ＳＭＰ１〜ＳＭＰ３と比較した場合の定量的評価の値を示している。なお、図４においては、式（３）のλ＝０．５とし、図４（ａ）が１．５倍の拡大率の場合、図４（ｂ）が２倍の拡大率の場合、図４（ｃ）が２倍×２回＝４倍の拡大率の場合の定量的評価の値をそれぞれ示している。また、図４においては、低解像度としたサンプル画像ＳＭＰ１〜ＳＭＰ３をＢｉｃｕｂｉｃ法によって単純に拡大した場合及び画像処理装置１によって高解像度画像とした場合のＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ）及びＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ  ＳＩＭｉｌａｒｉｔｙ）の値を定量的評価の一例として示している。
【００２９】
図５（ａ）に示すように、サンプル画像ＳＭＰ１は、自転車やテニスラケットを含む被写体の画像である。また、図５（ｂ）に示すように、サンプル画像ＳＭＰ２は、女性を含む被写体の画像である。さらに、図５（ｃ）に示すように、サンプル画像ＳＭＰ３は、複数の野菜を含む被写体の画像である。
これらサンプル画像ＳＭＰ１〜ＳＭＰ３を低解像度とした後、線形補間によって拡大画像とした場合と、画像処理装置１によって高解像度画像とした場合との比較結果では、ＰＳＮＲの値及びＳＳＩＭの値は、サンプル画像ＳＭＰ１〜ＳＭＰ３の全ての拡大率の場合において、画像処理装置１によって高解像度画像とした場合の方がより大きい値となっている。これは、画像処理装置１によって高解像度画像とした画像の方が、単純に線形補間して得た拡大画像に比べて、より高画質であることを意味している。
【００３０】
図６〜８は、サンプル画像ＳＭＰ２の低解像度画像から生成した高解像度画像及び線形補間して得た拡大画像を比較して示す図である。なお、図６は、サンプル画像ＳＭＰ２の低解像度画像から１．５倍にサイズを拡大した場合、図７は、サンプル画像ＳＭＰ２の低解像度画像から２倍にサイズを拡大した場合、図８は、サンプル画像ＳＭＰ２の低解像度画像から２倍×２回（４倍）にサイズを拡大した場合を表している。
図６〜８に示すように、いずれの拡大率の場合においても、サンプル画像ＳＭＰ２を低解像度とした画像を画像処理装置１によって高解像度画像とした画像の方が、単純に線形補間した拡大画像よりも、画像の鮮鋭感がより高いものとなっている。
【００３１】
［第２実施形態］
次に、本発明の第２実施形態について説明する。
本実施形態に係る画像処理装置１のハードウェア構成は、図１に示す第１実施形態のハードウェア構成と同様である。
一方、本実施形態においては、画像処理装置１の機能的構成及び解像度変更処理の内容が第１実施形態と異なっている。
したがって、以下、画像処理装置１の機能的構成及び解像度変更処理の内容について、主として説明する。
【００３２】
図９は、第２実施形態における画像処理装置１の機能的構成を示すブロック図である。
図９に示す機能的構成は、制御部１０が解像度変更処理のためのプログラムを実行することによって実現される。
図９において、画像処理装置１は、機能的構成として、画像取得部２１０と、高周波数成分強調画像生成部２２０と、補間処理部２３０と、を備えている。
画像取得部２１０は、記憶部８０に記憶された画像の中から、高解像度画像を生成するための原画像を取得する。なお、取得する原画像は、入力部４０等を介して、ユーザによって指定される。画像取得部２１０が取得する画像としては、静止画像の他、動画像を構成するフレームの画像とすることができる。また、画像取得部２１０は、高解像度画像を生成するための原画像を通信部６０を介して外部から適宜取得したり、ドライブ７０を介してリムーバブルメディア７１から適宜取得したりすることができる。
【００３３】
高周波数成分強調画像生成部２２０は、画像取得部２１０によって取得された原画像において、行方向及び列方向それぞれの２階微分によって高周波数成分を強調し、高周波数成分強調画像を生成する。
高周波数成分強調画像をＩ’、原画像をＩ、λを０〜１の設計パラメータ、Ｉｖｖを縦方向の２階微分、Ｉｈｈを横方向の２階微分とすると、高周波数成分強調画像生成部２２０における処理は、式（４）で表される。
【００３４】
【数４】
2015166976.tif 000006
【００３５】
補間処理部２３０は、高周波数成分強調画像生成部２２０によって生成された高周波数成分強調画像を線形補間することにより拡大し、高解像度画像を生成する。例えば、補間処理部２３０は、Ｂｉｌｉｎｅａｒ法あるいはＢｉｃｕｂｉｃ法によって、高周波数成分強調画像を線形補間する。
即ち、本実施形態において生成された高解像度画像は、低解像度の原画像の高周波数成分を強調した後、線形補間することによりサイズが拡大されたものとなる。そのため、少ない演算量で、より鮮鋭度の高い高解像度画像を生成することができる。
【００３６】
［動作］
次に、画像処理装置１の動作について説明する。
図１０は、画像処理装置１が実行する解像度変更処理を示すフローチャートである。
解像度変更処理は、入力部４０を介して、処理の実行が指示入力されることに対応して開始される。
解像度変更処理が開始されると、ステップＳ１０１において、画像取得部２１０は、記憶部８０から処理対象とする原画像を取得する。
ステップＳ１０２において、高周波数成分強調画像生成部２２０は、行方向及び列方向それぞれの２階微分によって、取得された原画像の高周波数成分を強調し、高周波数成分強調画像を生成する。
【００３７】
ステップＳ１０３において、補間処理部２３０は、生成された高周波数成分強調画像を線形補間することにより拡大し、高解像度画像を生成する。
ステップＳ１０３の後、解像度変更処理は終了となる。
【００３８】
以上のように、本実施形態にける画像処理装置１は、入力された低解像度の原画像の高周波数成分を強調した後、線形補間することによりサイズを拡大して、高解像度画像を生成する。
そのため、演算量をより少ないものとしながら、より鮮鋭度の高い高解像度画像を得ることができる。
即ち、演算量がより少なく、実装性がより高い超解像技術を実現することが可能となる。
また、画像処理装置１は、画素値の２階微分によって画像の高周波数成分を強調するため、より少ない演算量で画像の高周波数成分を強調することができる。
【００３９】
［第２実施形態の効果］
図１１は、本実施形態における画像処理装置１によって、サンプル画像から生成した高解像度画像の定量的評価を行った結果を示す図である。
なお、ここで用いるサンプル画像は、図５に示すサンプル画像ＳＭＰ１〜ＳＭＰ３と同様である。
【００４０】
図１１においては、図５に示すサンプル画像ＳＭＰ１〜ＳＭＰ３の画素を間引いて得た低解像度の画像から、Ｂｉｌｉｎｅａｒ法及びＢｉｃｕｂｉｃ法を用いた場合のそれぞれを用いて、画像処理装置１によって生成した高解像度画像と、単純に線形補間して得た拡大画像とをオリジナルのサンプル画像と比較した場合の定量的評価の値を示している。なお、図１１においては、式（４）のλ＝１．０とし、図１１（ａ）が１．５倍の拡大率の場合、図１１（ｂ）が２倍の拡大率の場合、図１１（ｃ）が２倍×２回＝４倍の拡大率の場合の定量的評価の値をそれぞれ示している。また、図１１においては、低解像度としたサンプル画像ＳＭＰ１〜ＳＭＰ３をＢｉｌｉｎｅａｒ法及びＢｉｃｕｂｉｃ法によって単純に拡大した場合及び画像処理装置１によって高解像度画像とした場合のＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ）及びＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ  ＳＩＭｉｌａｒｉｔｙ）の値を定量的評価の一例として示している。
【００４１】
これらサンプル画像ＳＭＰ１〜ＳＭＰ３を低解像度とした後、線形補間によって拡大画像とした場合と、画像処理装置１によって高解像度画像とした場合との比較結果では、ＰＳＮＲの値及びＳＳＩＭの値は、サンプル画像ＳＭＰ１〜ＳＭＰ３のほとんどの拡大率の場合において、画像処理装置１によって高解像度画像とした場合の方が同等以上の値となっている。これは、画像処理装置１によって高解像度画像とした画像の方が、単純に線形補間して得た拡大画像に比べて、おおむね同等以上の画質であることを意味している。
【００４２】
図１２〜１７は、サンプル画像ＳＭＰ２の低解像度画像から生成した高解像度画像及び線形補間して得た拡大画像を比較して示す図である。なお、図１２は、Ｂｉｌｉｎｅａｒ法を用いてサンプル画像ＳＭＰ２の低解像度画像から１．５倍にサイズを拡大した場合、図１３は、Ｂｉｃｕｂｉｃ法を用いてサンプル画像ＳＭＰ２の低解像度画像から１．５倍にサイズを拡大した場合を表している。また、図１４は、Ｂｉｌｉｎｅａｒ法を用いてサンプル画像ＳＭＰ２の低解像度画像から２倍にサイズを拡大した場合、図１５は、Ｂｉｃｕｂｉｃ法を用いてサンプル画像ＳＭＰ２の低解像度画像から２倍にサイズを拡大した場合を表している。さらに、図１６は、Ｂｉｌｉｎｅａｒ法を用いてサンプル画像ＳＭＰ２の低解像度画像から２倍×２回＝４倍にサイズを拡大した場合、図１７は、Ｂｉｃｕｂｉｃ法を用いてサンプル画像ＳＭＰ２の低解像度画像から２倍×２回＝４倍にサイズを拡大した場合を表している。
【００４３】
図１２〜１７に示すように、いずれの拡大率の場合においても、線形補間の方法に関わらず、サンプル画像ＳＭＰ２を低解像度とした画像を画像処理装置１によって高解像度画像とした画像の方が、単純に線形補間した拡大画像よりも、画像の鮮鋭感が同等以上となっている。
【００４４】
なお、本発明は、本発明の効果を奏する範囲で変形、改良等を適宜行うことができ、上述の実施形態に限定されない。
例えば、本発明は、画像処理機能を有する各種電子機器に適用することができる。具体的には、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
特に、携帯電話機やスマートフォンで撮影された小さいサイズの画像をパーソナルコンピュータやテレビジョン受像機等のより大きい画面に適したサイズに変更する場合に、本発明を用いることができる。また、いわゆる４Ｋテレビあるいは８Ｋテレビでの表示に適する高い解像度への変更にも、本発明を適用することができる。
【００４５】
上述の実施形態における処理は、ハードウェア及びソフトウェアのいずれにより実行させることも可能である。
即ち、上述の処理を実行できる機能が画像処理装置１に備えられていればよく、この機能を実現するためにどのような機能構成及びハードウェア構成とするかは上述の例に限定されない。
上述の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータにネットワークや記憶媒体からインストールされる。
【００４６】
プログラムを記憶する記憶媒体は、装置本体とは別に配布されるリムーバブルメディア、あるいは、装置本体に予め組み込まれた記憶媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ），Ｂｌｕ−ｒａｙ  Ｄｉｓｃ（ブルーレイディスク）（登録商標）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた記憶媒体は、例えば、プログラムが記憶されているＲＯＭやハードディスク等で構成される。
【符号の説明】
【００４７】
１  画像処理装置、１０  制御部、２０  ＲＡＭ、３０  ＲＯＭ、４０  入力部、５０  出力部、６０  通信部、７０  ドライブ、７１  リムーバブルメディア、８０  記憶部、１１０，２１０  画像取得部、１２０，２３０  補間処理部、１３０  高周波数成分画像生成部、１４０  ショックフィルタ処理部、１５０  高解像度画像生成部、２２０  高周波数成分強調画像生成部
【図１】
2015166976.tif 000007
【図２】
2015166976.tif 000008
【図３】
2015166976.tif 000009
【図４】
2015166976.tif 000010
【図９】
2015166976.tif 000011
【図１０】
2015166976.tif 000012
【図１１】
2015166976.tif 000013
【図５】
2015166976.tif 000014
【図６】
2015166976.tif 000015
【図７】
2015166976.tif 000016
【図８】
2015166976.tif 000017
【図１２】
2015166976.tif 000018
【図１３】
2015166976.tif 000019
【図１４】
2015166976.tif 000020
【図１５】
2015166976.tif 000021
【図１６】
2015166976.tif 000022
【図１７】
2015166976.tif 000023