(57)【要約】【課題】  より好適に画像の高解像化を行う。【解決手段】  入力画像の部分領域ごとまたは画素ごとにぼやけ度を算出するぼやけ度を推定し、前記ぼやけ度の推定処理おいて算出したぼやけ度に基づいて、前記部分領域または前記画素についての高解像度化処理に用いるパラメータを決定し、前記パラメータ決定処理において決定したパラメータに基づいて、部分領域ごとまたは画素ごとに前記入力画像に高解像度化処理を行う。【選択図】図１
2010073074.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の部分領域ごとまたは画素ごとにぼやけ度を算出するぼやけ度推定部と、
前記ぼやけ度推定部が算出したぼやけ度に基づいて、前記部分領域または前記画素についての高解像度化処理に用いるパラメータを決定するパラメータ決定部と、
前記パラメータ決定部が決定したパラメータに基づいて、部分領域ごとまたは画素ごとに前記入力画像に高解像度化処理を行う高解像度化処理部とを備えることを特徴とする画像信号処理装置。
【請求項２】
前記ぼやけ度推定部は、前記入力画像の部分領域ごとまたは画素ごとに画像のテクスチャ量を前記ぼやけ度として算出することを特徴とする請求項１に記載の画像信号処理装置。
【請求項３】
前記パラメータ決定部が決定するパラメータは、前記高解像度化処理部において行う高解像度化処理に含まれるローパスフィルタ処理のローパスフィルタ係数であることを特徴とする請求項１に記載の画像信号処理装置。
【請求項４】
請求項１に記載の画像信号処理装置である画像信号処理部と、
前記画像信号処理部において画像処理を行った画像信号に基いて画像を表示する表示部とを備えることを特徴とする画像表示装置。
【請求項５】
入力画像を蓄積する蓄積部と、
請求項１に記載の画像信号処理装置である画像信号処理部であって、前記蓄積部から再生される画像に対して画像処理を行う画像信号処理部とを備えることを特徴とする録画再生装置。
【請求項６】
入力画像の部分領域ごとまたは画素ごとにぼやけ度を算出するぼやけ度推定ステップと、
前記ぼやけ度推定ステップにおいて算出したぼやけ度に基づいて、前記部分領域または前記画素についての高解像度化処理に用いるパラメータを決定するパラメータ決定ステップと、
前記パラメータ決定ステップにおいて決定したパラメータに基づいて、部分領域ごとまたは画素ごとに前記入力画像に高解像度化処理を行う高解像度化処理ステップとを備えることを特徴とする画像信号処理方法。
【請求項７】
前記ぼやけ度推定ステップにおいて、前記入力画像の部分領域ごとまたは画素ごとに画像のテクスチャ量を前記ぼやけ度として算出することを特徴とする請求項６に記載の画像信号処理方法。
【請求項８】
前記パラメータ決定ステップにおいて決定するパラメータは、前記高解像度化処理ステップにおいて行う高解像度化処理に含まれるローパスフィルタ処理のローパスフィルタ係数であることを特徴とする請求項６に記載の画像信号処理方法。
【請求項９】
請求項６に記載の画像信号処理方法であって、
さらに、高解像度化処理ステップにおいて高解像度化処理を行った画像信号に基いて画像を表示する表示ステップとを備えることを特徴とする画像表示装置。
【請求項１０】
入力画像を蓄積する蓄積ステップと、
前記蓄積ステップにおいて蓄積した画像を再生する再生ステップと、
前記再生ステップにおいて再生した画像の部分領域ごとまたは画素ごとにぼやけ度を算出するぼやけ度推定ステップと、
前記ぼやけ度推定ステップにおいて算出したぼやけ度に基づいて、前記部分領域または前記画素についての高解像度化処理に用いるパラメータを決定するパラメータ決定ステップと、
前記パラメータ決定ステップにおいて決定したパラメータに基づいて、部分領域ごとまたは画素ごとに前記再生ステップにより再生された画像に対して高解像度化処理を行う高解像度化処理ステップとを備えることを特徴とする画像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
画像を高解像度化する技術に関する。
【背景技術】
【０００２】
最近のテレビ受像機は大画面化が進んでおり、放送や通信、蓄積媒体などから入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増やして表示することが一般的に行われている。この際、一般的に知られているsinc関数を用いたローパスフィルタやスプライン関数等によって画素数を増やすだけでは解像度を上げることはできない。
【０００３】
そこで、入力された複数の画像フレーム(以下、フレームと略記)を合成して１枚のフレームとすることにより、高解像度化する超解像技術が非特許文献１に開示されている。
【０００４】
【非特許文献１】Sina Farsiu、M. Dirk Robinson、Michael Elad、Peyman Milanfar“Fast and Robust Multiframe Super Resolution”、IEEE Transactions on Image Processing、VOL. 13、NO. 10、October 2004
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、非特許文献１に記載の技術による高解像度化処理は、画像撮像の際のぼやけの発生条件や動きの影響などの撮像条件を取得しておき、当該撮像条件を用いて高解像度化処理を行う。
【０００６】
すると、当該撮像条件を取得せずに画像信号のみを取得して高解像度化する場合に、上記撮像条件を用いることができないため、誤った条件に基づく高解像度化処理を行ってしまうことがある。このとき、本来は撮像時にフォーカスのあっていない領域についてまで高解像度化処理がかかり高解像度化されて画像の遠近感が失われてしまうといった課題があった。
【０００７】
本発明は上記課題に鑑みてなされたものであり、その目的は、より好適に画像の高解像化を行う画像の遠近感の保持しながら画像を高解像度化することである。
【課題を解決するための手段】
【０００８】
本発明の一実施の形態は、例えば、特許請求の範囲に記載されたように構成すればよい。
【発明の効果】
【０００９】
本発明によれば、より好適に画像の高解像化を行うことができる。
【発明を実施するための最良の形態】
【００１０】
以下に、図面を用いて本発明の実施例を説明する。
【実施例１】
【００１１】
まず、本発明の実施例１に係る画像信号処理装置及びその画像信号処理方法について説明する。
【００１２】
図1に本発明の実施例１に係る画像信号処理装置(100)を示す。まず、画像信号処理装置(100)に入力された入力画像(101)はぼやけ度推定部(102)に入力され、ぼやけ度推定部(102)は、入力画像中の領域ごとに画像のぼやけの度合いであるぼやけ度を推定、算出する。
次に、パラメータ決定部(103)は、ぼやけ度推定部(102)で推定されたぼやけ度に基づいて、高解像度化処理に用いるパラメータを決定する。さらに、高解像度化処理部(104)にはパラメータ決定部(103)で決定されたパラメータが入力され、高解像度化処理部(104)は、このパラメータを用いて上記入力画像を高解像度化する高解像度化処理を行う。高解像度化処理部(104)における高解像度化処理は、例えば非特許文献１に記載される処理を用いればよいので説明を省略する。
【００１３】
ここで、ぼやけ度推定部(102)におけるぼやけ度推定処理の具体例としては、画像のテクスチャ量を算出してぼやけ度を推定する方法がある。画像のテクスチャ量の計算には例えば周囲画素から画像の分散を計算する方法などで計算することができる。この様にして計算されたテクスチャ量が多い部分では、画像が鮮明である領域、すなわちぼやけ度が小さい領域であり、逆にテクスチャ量が少ない部分では画像がぼやけている領域、すなわちぼやけ度が大きい領域であると推定できる。当該ぼやけ度推定処理は、画面内の部分領域ごとに行ってもよく１画素ごとに行っても良い。
【００１４】
ここで、図２を用いて、上記のぼやけ度推定部(102)のぼやけ度推定処理のぼやけ度推定結果の例を説明する。
【００１５】
図２の例においては、例えば、領域Ａの被写体は人物であり、領域Ａに撮像時のフォーカスがあっている。また領域Ｂの被写体は人物の後ろにある花瓶であり、領域Ｂは撮像時のフォーカスは領域Ａよりもずれている。さらに、また領域Ｃの被写体は、人物、花瓶よりもさらに後ろにある背景であり、領域Ｃには撮像時のフォーカスが領域Ａ、Ｂよりもずれているとする。
【００１６】
上記のような図２の画像を入力画像としたとき、上記のぼやけ度推定部(102)におけるぼやけ度推定処理によれば、領域Ａをぼやけ度小（鮮明な画像）と推定し、領域Ｂをぼやけ度中（領域Ａよりもぼやけた画像、領域Ａよりも鮮明でない画像）と推定し、領域Ｃをぼやけ度大（領域Ｂよりもさらにぼやけた画像、領域Ｂよりもさらに鮮明でない画像）と推定することが可能である。
【００１７】
なお、上記の例では、ぼやけ度推定部(102)のぼやけ度推定処理において、画像のぼやけ量の推定にテクスチャ量を用いたが、例えばエッジ情報を算出して、算出したエッジ情報に基づいて画像が鮮明であるかぼやけているかを判定するなど、他の方法で推定しても良い。
【００１８】
次に、パラメータ決定部(103)のパラメータ決定処理の具体例としては、ぼやけ回復用伝達関数をパラメータとする方法が挙げられる。
【００１９】
すなわち、高解像度化処理部(104)における高解像度化処理に、非特許文献１に記載される処理を用いる場合、撮像の際に生じる画像ぼやけを回復するための伝達関数がパラメータとして必要となる。一般的にはこの伝達関数はローパスフィルタ係数である。当該ローパスフィルタ係数を、ローパスフィルタ処理が強い設定にすると、高解像度化処理のぼやけ回復効果が強くなり、逆にローパスフィルタ処理が弱い設定にすると、高解像度化処理のぼやけ回復効果が弱くなる。
【００２０】
実施例１に係るパラメータ決定部(103)では、ぼやけ度推定部(102)が算出したぼやけ度に従って画像中の部分領域ごとに上記ローパスフィルタ係数を変化させる。これにより、高解像度化処理部(104)の高解像度化処理におけるローパスフィルタの強度を画像中の部分領域ごとに変化させることが可能となり、画像の遠近感の保持しながら、撮像の際に生じる画像ぼやけを回復して画像を高解像度化することが可能となる。
【００２１】
なお、ぼやけ度推定部(102)のぼやけ度推定処理が、テクスチャ量の算出によるぼやけ度推定処理である場合は、パラメータ決定部(103)は、ぼやけ度推定部(102)が算出したテクスチャ量が多い領域ほどローパスフィルタを強く設定し、テクスチャ量が少ない領域ほどローパスフィルタを弱く設定する。
【００２２】
以上の説明では、高解像度化処理部(104)における高解像度化処理に用いるパラメータの例としてぼやけ回復用伝達関数を挙げたが、他の高解像度化処理における画像ぼやけ回復効果を制御するパラメータを用いても良い。
【００２３】
なお、当該ぼやけ度推定処理は、画面内の部分領域ごとに行ってもよく、１画素ごとに行っても良い。
【００２４】
最後に、高解像度化処理部(104)は、パラメータ決定部(103)で算出されたパラメータを用いて、入力画像の高解像度化処理を行う。当該高解像度化処理は、画面内の部分領域ごとに行ってもよく１画素ごとに行っても良い。
【００２５】
なお、パラメータ決定部(103)が決定するパラメータが、ローパスフィルタ係数である場合は、高解像度化処理部(104)は、前記パラメータ決定部(103)が決定するローパスフィルタ係数を用いたローパスフィルタ処理を含む高解像度化処理を行う。
【００２６】
次に、図５に以上説明した画像信号処理装置(100)による画像処理の処理フローを示す。画像信号処理装置(100)においては、ぼやけ度推定部(102)が入力画像の画面内の部分領域ごとまたは１画素ごとに画像のぼやけ度を算出、推定する(ステップ５０１)。次に、パラメータ決定部(103)が、ぼやけ度推定部(102)が算出、推定したぼやけ度に基づいて、入力画像の部分領域ごとまたは１画素ごとに、高解像度化処理部(104)の高解像度化処理にもちいるパラメータを決定する(ステップ５０２)。最後に、高解像度化処理部(104)が、パラメータ決定部(103)が決定したパラメータを用いて、入力画像を高解像度化処理する処理を行う(ステップ５０３)。
【００２７】
以上説明した実施例１に係る画像信号処理装置によれば、入力画像のうち、ぼやけを改善すべき部分領域または画素と、ぼやけを残すべき部分領域または画素を入力画像のぼやけ度から判別して、入力画像に対してぼやけ度に応じた高解像度化処理を行うことができる。
【００２８】
すなわち、以上説明した実施例１に係る画像信号処理装置によれば、入力画像の部分領域ごとまたは１画素ごとにぼやけ度を推定して、推定したぼやけ度に基づいて、高解像度化処理を変更することにより、画像の遠近感を保持したまま高解像度化処理を行うことができる。よって、より好適に画像の高解像化を行うことができる。
【実施例２】
【００２９】
図3に、本発明の実施例２に係る画像表示装置を示す。本実施例に係る画像表示装置は、上述の実施例１に記載の画像信号処理を行う画像信号処理部を備える構成とした画像表示装置である。 
同図において、画像表示装置(300)は、例えば、テレビジョン信号などを含む放送波やネットワークなどを介して放送信号や画像コンテンツや画像コンテンツなどを入力する入力部(301)と、入力部(301)から入力されたコンテンツを録画もしくは再生する録画再生部(302)と、録画再生部(302)がコンテンツを記録するコンテンツ蓄積部(303)と、録画再生部(302)が再生した画像信号に対して実施例１に記載された画像信号処理を行う画像信号処理部(304)と、画像信号処理部(304)にて処理された画像信号を表示する表示部(305)と、録画再生部(302)が再生した音声信号を出力する音声出力部(306)と、画像表示装置(300)の各構成部を制御する制御部(307)と、ユーザーが画像表示装置(300)の操作を行うユーザインターフェース部(308)などを備える。 
画像信号処理部(304)の詳細な構成・動作については、実施例１に記載した画像信号処理装置(100)と同様であるので、説明を省略する。 
画像表示装置(300)が実施例１に記載された画像信号処理装置である画像信号処理部(304)を備えることで、入力部(301)に入力された画像信号を、画像の遠近感を保持したまま高解像度化して表示部(305)に表示することができる。
【００３０】
また、コンテンツ蓄積部(303)に蓄積された画像コンテンツを再生する際も、画像の遠近感を保持したまま高解像度化して表示部(305)に表示することができる。
【００３１】
また、画像信号処理部(304)を録画再生部(302)に含め、録画時に上述の画像信号処理を行ってもよい。この場合は、再生時には上述の画像信号処理を行う必要が無いため、再生時の処理負荷を低減できるという効果がある。
【００３２】
以上説明した本発明の実施例２に係る画像表示装置によれば、実施例1に示す効果を有する画像表示装置を実現できる。よって、画像の遠近感を保持したまま高解像度化して表示することができる。
【実施例３】
【００３３】
図4に、本発明の実施例３に係る録画再生装置を示す。本実施例に係る録画再生装置は、上述の実施例１の画像信号処理を行う画像信号処理部を備える構成とした録画再生装置である。 
同図において、録画再生装置(400)は、例えば、例えば、テレビジョン信号などを含む放送波やネットワークなどを介して放送信号や画像コンテンツや画像コンテンツなどを入力する入力部(401)と、入力部(401)から入力されたコンテンツを録画もしくは再生する録画再生部(402)と、録画再生部(402)がコンテンツを記録するコンテンツ蓄積部(403)と、録画再生部(402)が再生した画像信号に対して実施例１に記載された画像信号処理を行う画像信号処理部(404)と、画像信号処理部(404)にて処理された画像信号を他の装置などに出力する画像出力部(405)と、録画再生部(402)が再生した音声信号を他の装置などに出力する音声出力部(406)と、録画再生装置(400)の各構成部を制御する制御部(407)と、ユーザーが録画再生装置(400)の操作を行うユーザインターフェース部(408)などを備える。 
録画再生装置(400)が実施例１に記載された画像信号処理装置である画像信号処理部(404)を備えることで、画像の遠近感を保持したまま高解像度化した画像信号として、他の装置などに出力することができる。
【００３４】
また、画像信号処理部(404)を録画再生部(402)に含め、録画時に上述の画像信号処理を行ってもよい。この場合は、再生時には上述の画像信号処理を行う必要が無いため、再生時の処理負荷を低減できるという効果がある。 
以上説明した本発明の実施例３に係る録画再生装置によれば、実施例1に示す効果を有する録画再生装置を実現できる。よって、画像の遠近感を保持したまま高解像度化して録画、再生または出力することができる。
【図面の簡単な説明】
【００３５】
【図１】本発明に係る実施例１の説明図である。
【図２】本発明に係る実施例１の説明図である。
【図３】本発明に係る実施例２の説明図である。
【図４】本発明に係る実施例３の説明図である。
【図５】本発明に係る実施例１の説明図である。
【符号の説明】
【００３６】
101 入力画像
102 ぼやけ度推定部 
103 パラメータ決定部
104 高解像度化処理部
105 出力画像 
201 画像テクスチャ量計算部 
202 ぼやけ回復用伝達関数決定部
300 画像表示装置 
301 入力部 
302 録画再生部 
303 コンテンツ蓄積部 
304 画像信号処理部 
305 表示部 
306 音声出力部 
307 制御部 
308 ユーザインターフェース部
400 録画再生装置 
401 入力部 
402 録画再生部 
403 コンテンツ蓄積部 
404 画像信号処理部 
405 画像画像出力部
406 音声出力部
407 制御部 
408 ユーザインターフェース部
【図１】
2010073074.tif 000003
【図２】
2010073074.tif 000004
【図３】
2010073074.tif 000005
【図４】
2010073074.tif 000006
【図５】
2010073074.tif 000007