(57)【要約】【課題】対象領域に応じて、より高品質な高解像度画像を生成する。【解決手段】画像処理装置１は、複数の低解像度画像データＬＰ１１…ＬＰｎが示す画像のそれぞれにおいて、設定された対象領域におけるボケ量を推定するボケ量推定部１４と、推定されたボケ量に応じて上記高解像度画像を生成するための基準となる低解像度画像を選択する基準画像選択部１５とを備える。【選択図】図１
2014206926.tif 000002
【特許請求の範囲】
【請求項１】
複数の低解像度画像から該低解像度画像よりも高い解像度を有する高解像度画像を生成する画像処理装置において、
複数の低解像度画像のそれぞれにおいて、注目すべき領域である対象領域を設定する対象領域設定手段と、
複数の低解像度画像のそれぞれにおいて設定された対象領域における画像の性質を表わす画像指標を推定する画像指標推定手段と、
推定された画像指標に応じて上記複数の低解像度画像から、上記高解像度画像を生成するための基準となる低解像度画像を選択する選択手段とを備えることを特徴とする画像処理装置。
【請求項２】
さらに、上記対象領域設定手段によって低解像度画像において複数の対象領域が設定された場合、設定された複数の対象領域に対して重みを設定する重み設定手段を備え、
上記画像指標推定手段は、設定された重みに基づいて上記低解像度画像の画像指標を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記対象領域設定手段は、それぞれの低解像画像において物体検出を行い、該物体検出結果に基づいて対象領域を設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
上記対象領域設定手段は、それぞれの低解像画像において顕著領域を推定し、推定した顕著領域に基づいて対象領域を設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
上記対象領域設定手段は、それぞれの低解像画像において、物体検出および顕著領域の推定を行い、該物体検出および顕著領域の推定の結果に応じて、対象領域を設定し、
上記重み設定手段は、物体検出により設定された対象領域および顕著領域の推定により設定された対象領域に応じた重みを設定することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
上記対象領域設定手段は、上記複数の低解像度画像のそれぞれにおいて設定した対象領域に基づいて、設定した対象領域を修正することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
上記対象領域設定手段は、上記複数の低解像度画像の間で、上記複数の低解像度画像のそれぞれにおいて設定した対象領域について論理和をとることで、設定した対象領域を修正することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
上記対象領域設定手段は、上記複数の低解像度画像の間で、上記複数の低解像度画像のそれぞれにおいて設定した対象領域について論理積をとることで、設定した対象領域を修正することを特徴とする請求項６に記載の画像処理装置。
【請求項９】
上記画像指標は、ボケ量であることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
複数の低解像度画像から該低解像度画像よりも高い解像度を有する高解像度画像を生成する画像処理装置の制御方法において、
複数の低解像度画像のそれぞれにおいて、注目すべき領域である対象領域を設定する対象領域設定ステップと、
複数の低解像度画像のそれぞれにおいて設定された対象領域における画像の性質を表わす画像指標を推定する画像指標推定ステップと、
推定された画像指標に応じて上記複数の低解像度画像から、上記高解像度画像を生成するための基準となる低解像度画像を選択する選択ステップとを含むことを特徴とする画像処理装置の制御方法。
【請求項１１】
複数の低解像度画像から該低解像度画像よりも高い解像度を有する高解像度画像を生成する画像処理プログラムにおいて、
複数の低解像度画像のそれぞれにおいて、注目すべき領域である対象領域を設定する対象領域設定ステップと、
複数の低解像度画像のそれぞれにおいて設定された対象領域における画像の性質を表わす画像指標を推定する画像指標推定ステップと、
推定された画像指標に応じて上記複数の低解像度画像から、上記高解像度画像を生成するための基準となる低解像度画像を選択する選択ステップとを処理をコンピュータに実行させるための画像処理プログラム。
【請求項１２】
請求項１１に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の低解像度画像から該低解像度画像よりも高い解像度を有する高解像度画像を生成する画像処理装置、画像処理装置の制御方法、画像処理プログラムおよびその記録媒体に関する。
【背景技術】
【０００２】
従来、低い解像度の画像を高解像度化する画像処理技術として超解像技術が知られている。超解像技術の一つとして、マルチフレーム超解像技術が知られている。マルチフレーム超解像技術では、同じ対象物に関する複数枚の低解像度画像を用いて、１枚の高解像度画像を生成する。
【０００３】
より具体的には、被写体等の位置を少しずつずらして撮像を行って取得した複数の低解像度画像を用いて高解像度化処理を行うことで１枚の高解像度画像を生成する。
【０００４】
この高解像度化は、複数の低解像度画像の中から選択された基準画像を基準として行われる。具体的には、まず、基準画像を基準として複数の低解像度画像間の位置ずれ量が算出され、算出された位置ずれ量と、各低解像度画像の画像データとに基づいて高解像度化処理が行われる。
【０００５】
多くの場合、順に読み込まれた複数の低解像度画像のうち、先頭の低解像度画像が基準画像として選択される。しかしながら、高解像度化によって得られる高解像度画像の内容（画質や構図を含む）は、基準画像に大きく依存する。よって、複数の低解像度画像のうち、最も画質が良い低解像度画像のフレームを基準画像として選択した場合と、最も画質が悪い低解像度画像のフレームを基準画像として選択した場合とで、得られる高解像度画像の結果が大きく異なる。
【０００６】
図２１を用いて具体的に説明すると次のとおりである。図２１は、３枚の低解像度画像を用いて、１枚の高解像度画像を生成する場合について例示している。図２１の（ａ）は、３枚の低解像度画像ＬＰ１０１、ＬＰ１０２、およびＬＰ１０３のうち、最も画質が良い低解像度画像ＬＰ１０１を基準画像として選択した場合を示す。図２１の（ａ）に示す場合、良好な高解像度画像ＨＰ１０１が得られる。
【０００７】
一方、図２１の（ｂ）は、３枚の低解像度画像ＬＰ１０１、ＬＰ１０２、およびＬＰ１０３のうち、最も画質が悪い低解像度画像ＬＰ１０３を基準画像として選択した場合を示す。図２１の（ｂ）に示す場合、得られる高解像度画像ＨＰ１０２は不鮮明となる。
【０００８】
そこで、従来、画面全体のボケの少なさに基づいて基準画像を選択すること等の提案がなされてきた（特許文献１）。
【０００９】
なお、超解像技術の分野では、他にも、画質を向上させるため、画像上の各領域のボケ量を算出し、領域ごとにボケ量に応じたパラメータで超解像処理を行うことが提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００９−１９４８９６号公報（２００９年８月２７日公開）
【特許文献２】特開２０１０−７３０７４号公報（２０１０年４月２日公開）
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述のような従来技術で提案されているように基準画像を画像全体のボケの少なさを基準に選択したとしても、意図した高解像度画像を得られない場合がある。図２２を用いて、具体的に説明すると、次のとおりである。
【００１２】
図２２は、画像全体のボケ量がほぼ同じ２枚の画像について示している。図２２の（ａ）は、人物Ｍ１００が鮮明で、背景Ｂ１００がぼやけた画像ＬＰ１１１を示している。また、図２２の（ｂ）は、人物Ｍ１００がぼやけており、背景Ｂ１００が鮮明な画像ＬＰ１１２を示している。
【００１３】
画像ＬＰ１１１およびＬＰ１１２は、画像全体としてボケ量がほぼ同じ画像であるが、基準画像としたとき、超解像処理後に自然な高解像度画像が得られるのは画像ＬＰ１１１のほうである。つまり、人物Ｍ１００が鮮明な画像ＬＰ１１１を基準画像にしたときのほうが、画像ＬＰ１１２を基準画像にしたときよりも、人物Ｍ１００が鮮明となった高解像度画像を得ることができる。
【００１４】
従って、従来技術では、対象領域に応じた基準画像を用いて解像度処理を行うことができず、必ずしも意図した高解像度画像を得られない場合があるという課題があった。
【００１５】
本発明は上記の課題に鑑みてなされたものであり、その目的は、マルチフレーム超解像処理において、対象領域に応じた適切な基準画像を選択することで高解像度画像の画質向上を図ることができる画像処理装置、画像処理装置の制御方法、画像処理プログラムおよびその記録媒体を実現することにある。
【課題を解決するための手段】
【００１６】
上記の課題を解決するために、本発明に係る画像処理装置は、複数の低解像度画像から該低解像度画像よりも高い解像度を有する高解像度画像を生成する画像処理装置において、複数の低解像度画像のそれぞれにおいて、注目すべき領域である対象領域を設定する対象領域設定手段と、複数の低解像度画像のそれぞれにおいて設定された対象領域における画像の性質を表わす画像指標を推定する画像指標推定手段と、推定された画像指標に応じて上記複数の低解像度画像から、上記高解像度画像を生成するための基準となる低解像度画像を選択する選択手段とを備えることを特徴とする。
【００１７】
上記の課題を解決するために、本発明に係る画像処理装置の制御方法は、複数の低解像度画像から該低解像度画像よりも高い解像度を有する高解像度画像を生成する画像処理装置の制御方法において、複数の低解像度画像のそれぞれにおいて、注目すべき領域である対象領域を設定する対象領域設定ステップと、複数の低解像度画像のそれぞれにおいて設定された対象領域における画像の性質を表わす画像指標を推定する画像指標推定ステップと、推定された画像指標に応じて上記複数の低解像度画像から、上記高解像度画像を生成するための基準となる低解像度画像を選択する選択ステップとを含むことを特徴とする。
【００１８】
上記の課題を解決するために、本発明に係る画像処理プログラムは、複数の低解像度画像から該低解像度画像よりも高い解像度を有する高解像度画像を生成する画像処理プログラムにおいて、複数の低解像度画像のそれぞれにおいて、注目すべき領域である対象領域を設定する対象領域設定ステップと、複数の低解像度画像のそれぞれにおいて設定された対象領域における画像の性質を表わす画像指標を推定する画像指標推定ステップと、推定された画像指標に応じて上記複数の低解像度画像から、上記高解像度画像を生成するための基準となる低解像度画像を選択する選択ステップとを処理をコンピュータに実行させることを特徴とする。
【００１９】
上記画像処理装置は、いわゆる画像の超解像化処理によって、低解像度画像から高解像度画像を生成する。上記画像処理装置では、複数の位置ずれのある複数の低解像度画像を参照し、複数の低解像度画像間の位置ずれ量と複数の低解像度画像の画像データに基づいて低解像度画像の超解像度化処理を行うことにより１枚の高解像度画像を生成する。
【００２０】
上記構成によれば、まず、複数の低解像度画像のそれぞれにおいて、注目すべき領域である対象領域を設定する。ここで、対象領域とは、画像において、画像解析によって検出される物体や、視覚上注目を引くようなパターンなどを含む領域のことをいう。より具体的には、物体検出処理によって物体が検出された領域を対象領域として設定したり、顕著領域の推定によって対象領域を設定したりすることができる。
【００２１】
なお対象領域は複数設定されても構わない。例えば、画像解析によって複数の物体が検出されている場合、対象領域は複数設定してもよい。
【００２２】
ところで、超解像度化処理では、複数の低解像度画像の中から選択された基準画像を基準として行われる。例えば、超解像度化処理において、位置ずれ量算出などは、基準画像を基準として行われる。
【００２３】
上記構成によれば、対象領域において推定された画像指標に応じて複数の低解像度画像から、上記高解像度画像を生成するための基準となる低解像度画像を選択する。画像の性質を表わす画像指標としては、例えば、「ボケ量」、「ぶれ」、「ノイズ」、「白飛び」、「黒つぶれ」が挙げられる。なお、本発明に係る画像処理装置では、上記画像指標は、ボケ量であることが好ましい。ボケ量とは、画像に含まれるボケの大きさを示す指標である。
【００２４】
このため、対象領域において推定された画像指標に応じて、複数の低解像度画像から、超解像度化処理を行う際の基準画像を選択することができる。例えば、対象領域において推定された画像指標が良好な（例えば、ボケ量が少ない）低解像度画像を基準画像として選択すればよい。
【００２５】
これにより、対象領域がより鮮明となった高解像度画像を生成することができるという効果を奏する。
【００２６】
なお、本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各手段として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【００２７】
本発明に係る画像処理装置では、さらに、上記対象領域設定手段によって低解像度画像において複数の対象領域が設定された場合、設定された複数の対象領域に対して重みを設定する重み設定手段を備え、上記画像指標推定手段は、設定された重みに基づいて上記低解像度画像の画像指標を推定することが好ましい。
【００２８】
上記構成によれば、低解像度画像において複数の対象領域が設定された場合、それぞれの領域に対して重みを設定する。
【００２９】
上記重みの設定では、例えば、対象領域が物体検出によって検出される場合、検出された物体に応じて重みを設定してもよい。また、上記重みの設定では、例えば、対象領域が顕著領域の推定に基づいて設定される場合、顕著度に応じた重みを設定してもよい。
【００３０】
上記構成によれば、対象領域ごとの重みづけに応じた画像指標をそれぞれの低解像画像において推定する。
【００３１】
これにより、各低解像度画像において対象領域ごとの重みづけに応じて推定された画像指標に基づいて、複数の低解像度画像から基準画像を選択することができる。
【００３２】
本発明に係る画像処理装置では、上記対象領域設定手段は、それぞれの低解像画像において物体検出を行い、該物体検出結果に基づいて対象領域を設定することが好ましい。
【００３３】
上記構成によれば、物体検出結果に基づいて対象領域を設定する。物体検出には、人物の顔の検出、人物の検出、ランドマークをはじめとする構造物やパターンの検出等が含まれる。物体が検出された領域は注目すべき領域である可能性が高いため、このような領域を対象領域として設定することができる。
【００３４】
本発明に係る画像処理装置では、上記対象領域設定手段は、それぞれの低解像画像において顕著領域を推定し、推定した顕著領域に基づいて対象領域を設定することが好ましい。
【００３５】
上記構成によれば、顕著領域の推定に基づいて対象領域を設定する。例えば、顕著度の高い領域は注目すべき領域である可能性が高いため、このような領域を対象領域として設定することができる。
【００３６】
本発明に係る画像処理装置では、上記対象領域設定手段は、それぞれの低解像画像において、物体検出および顕著領域の推定を行い、該物体検出および顕著領域の推定の結果に応じて、対象領域を設定し、上記重み設定手段は、物体検出により設定された対象領域および顕著領域の推定により設定された対象領域に応じた重みを設定することが好ましい。
【００３７】
本発明に係る画像処理装置では、上記対象領域設定手段は、上記複数の低解像度画像のそれぞれにおいて設定した対象領域に基づいて、設定した対象領域を修正することが好ましい。
【００３８】
上記構成によれば、設定した対象領域を修正するので、複数の低解像度画像の間で、対象領域が同じように設定されていない場合でも、複数の低解像度画像の間で対象領域をそろえることができる。
【００３９】
本発明に係る画像処理装置では、上記対象領域設定手段は、上記複数の低解像度画像の間で、上記複数の低解像度画像のそれぞれにおいて設定した対象領域について論理和をとることで、設定した対象領域を修正することが好ましい。
【００４０】
上記構成によれば、上記複数の低解像度画像の間で、対象領域を補完することができる。具体的には、一部の（少数の）低解像度画像では設定されていない対象領域を、他の（多数の）低解像度画像において設定されている対象領域に基づいて補完することができる。これにより対象領域の設定漏れを防ぐことができるという効果を奏する。
【００４１】
本発明に係る画像処理装置では、上記対象領域設定手段は、上記複数の低解像度画像の間で、上記複数の低解像度画像のそれぞれにおいて設定した対象領域について論理積をとることで、設定した対象領域を修正することが好ましい。
【００４２】
上記構成によれば、上記複数の低解像度画像の間で、対象領域の誤検出を除去することができる。具体的には、一部の（少数の）低解像度画像では設定されているが、他の（多数の）低解像度画像では設定されていないような対象領域がある場合、一部の（少数の）低解像度画像でしか設定されていない対象領域を除去することができる。
【発明の効果】
【００４３】
本発明に係る画像処理装置は、複数の低解像度画像のそれぞれにおいて、注目すべき領域である対象領域を設定する対象領域設定手段と、複数の低解像度画像のそれぞれにおいて設定された対象領域における画像の性質を表わす画像指標を推定する画像指標推定手段と、推定された画像指標に応じて上記複数の低解像度画像から、高解像度画像を生成するための基準となる低解像度画像を選択する選択手段とを備えることを特徴とする。
【００４４】
本発明に係る画像処理装置の制御方法は、複数の低解像度画像のそれぞれにおいて、注目すべき領域である対象領域を設定する対象領域設定ステップと、複数の低解像度画像のそれぞれにおいて設定された対象領域における画像の性質を表わす画像指標を推定する画像指標推定ステップと、推定された画像指標に応じて上記複数の低解像度画像から、高解像度画像を生成するための基準となる低解像度画像を選択する選択ステップとを含むことを特徴とする。
【００４５】
本発明に係る画像処理プログラムは、複数の低解像度画像のそれぞれにおいて、注目すべき領域である対象領域を設定する対象領域設定ステップと、複数の低解像度画像のそれぞれにおいて設定された対象領域における画像の性質を表わす画像指標を推定する画像指標推定ステップと、推定された画像指標に応じて上記複数の低解像度画像から、高解像度画像を生成するための基準となる低解像度画像を選択する選択ステップとを処理をコンピュータに実行させることを特徴とする。
【００４６】
よって、対象領域がより鮮明となった高解像度画像を生成することができるという効果を奏する。
【図面の簡単な説明】
【００４７】
【図１】本発明の一実施形態に係る超解像画像処理装置の概略的な構成の一例を示す機能ブロック図である。
【図２】マルチフレーム超解像処理の概略について例示する図である。
【図３】上記超解像画像処理装置における基準画像選択処理の概要について示す図である。（ａ）は、対象領域内のぼけが少ない低解像度画像データを示しており、（ｂ）は、対象領域内のぼけが大きい低解像度画像データを示している。
【図４】上記超解像画像処理装置の超解像処理の流れについて例示するフローチャートである。
【図５】本発明の他の実施形態に係る超解像画像処理装置の概略的な構成の一例を示す機能ブロック図である。
【図６】上記超解像画像処理装置における基準画像選択処理の概要について示す図である。
【図７】上記超解像画像処理装置の超解像処理の流れについて例示するフローチャートである。
【図８】本発明の別の実施形態に係る超解像画像処理装置の概略的な構成の一例を示す機能ブロック図である。
【図９】上記超解像画像処理装置における基準画像選択処理の概要について示す図である。
【図１０】上記超解像画像処理装置の超解像処理の流れについて例示するフローチャートである。
【図１１】本発明の別の実施形態に係る超解像画像処理装置の概略的な構成の一例を示す機能ブロック図である。
【図１２】上記超解像画像処理装置における基準画像選択処理の概要について示す図である。
【図１３】上記超解像画像処理装置の超解像処理の流れについて例示するフローチャートである。
【図１４】フレーム間の物体検出結果の整合をとる方法について示す図である。
【図１５】フレーム間の物体検出結果の整合をとる方法について示す図である。
【図１６】フレーム間の物体検出結果の整合をとる方法について示す図である。
【図１７】フレーム間の物体検出結果の整合をとる方法について示す図である。
【図１８】フレーム間の物体検出結果の整合をとる方法について示す図である。
【図１９】フレーム間の物体検出結果の整合をとる方法について示す図である。
【図２０】フレーム間の物体検出結果の整合をとる方法について示す図である。
【図２１】従来の超解像画像処理について示す図である。
【図２２】従来の超解像画像処理について示す図である。
【発明を実施するための形態】
【００４８】
〔実施形態１〕
本発明の一実施形態について図１〜図４を参照して説明する。まず、図１を用いて、本発明の一実施形態に係る超解像画像処理装置１について説明する。図１は、超解像画像処理装置１の概略的な構成の一例を示す機能ブロック図である。
【００４９】
図１に示すように、超解像画像処理装置１は、複数の低解像度画像データＬＰ１１、…、ＬＰｎを入力として、超解像処理を行って、高解像度画像データＨＰ１を生成するものである。
【００５０】
図２を用いて、超解像画像処理装置１が実行する超解像処理の概略について説明する。図２は、マルチフレーム超解像処理の概略について例示する図である。図２に例示するように、マルチフレーム超解像処理では、位置ずれのある複数の低解像度画像データＬＰ１１、…、ＬＰｎを参照し、画像間のずれ量に基づいて超解像処理を行って１枚の高解像度画像データＨＰ１を生成する。なお、複数の低解像度画像データＬＰ１１、…、ＬＰｎは、時空間上で連続した画像であってもよい。
【００５１】
超解像画像処理装置１は、制御部１０および記憶部２０を備えている。記憶部２０は、各種データおよびプログラムを記憶するものである。
【００５２】
制御部１０は、超解像画像処理装置１における各種機能を統括的に制御するものである。制御部１０の機能は、記憶部２０などに記憶されたプログラムをＣＰＵ（Central Processing Unit）などの処理装置が実行することによって実現される。例えば、制御部１０は、超解像処理機能を備えている。
【００５３】
制御部１０は、より具体的には、画像読込部１１、物体検出部１２、対象領域決定部１３、ボケ量推定部１４、基準画像選択部１５、および超解像処理部１６を備える。
【００５４】
画像読込部１１は、入力となる複数の低解像度画像データＬＰ１１、…、ＬＰｎを読み込むものである。複数の低解像度画像データＬＰ１１、…、ＬＰｎは、記憶部２０に記憶されていてもよいし、取り外し可能な外部記憶媒体から供給されてもよいし、有線または無線の通信ネットワークを通じて供給されてもよい。また、超解像画像処理装置１が、被写体を撮像する撮像部を備えている場合、画像読込部１１は、当該撮像部から、複数の低解像度画像データＬＰ１１、…、ＬＰｎを取得してもかまわない。
【００５５】
また、画像読込部１１は、タッチパネル、キーボード、マウスなどの入力インターフェース（不図示）を通じてユーザから入力される操作に応じて、画像の読み込みを開始してもよい。また、画像読込部１１は、定期的にまたは非定期的に、あるいはタイマー等何らかの事象の発生を契機に自動的に画像の読み込みを開始してもよい。
【００５６】
画像読込部１１は、読み込んだ複数の低解像度画像データＬＰ１１、…、ＬＰｎを物体検出部１２に供給する。
【００５７】
物体検出部１２は、複数の低解像度画像データＬＰ１１、…、ＬＰｎそれぞれを画像解析し、画像に含まれている物体を検出する。物体検出部１２が検出する物体は、特定の物体でも、一般の物体でもよく、例えば、人物の顔、人体、ランドマーク等である。物体検出部１２は、顔認証により特定の人物のみを検出してもよい。また、物体検出部１２は、パターン認識により物体を検出してもよい。
【００５８】
また、物体検出部１２は、１枚の低解像度画像データＬＰ１１が示す画像から、複数の物体を検出してもよい。
【００５９】
また、物体検出部１２は、物体を検出した場合、物体が存在することを示す物体検出領域（検出枠と称することもある）を設定してもよい。物体検出領域は物体を含む矩形であってもよい。あるいは、物体位置判定部２４は、物体の輪郭を検出して、検出した輪郭を当該物体の物体検出領域と設定してもよい。
【００６０】
また、物体検出部１２は、物体検出処理の結果を対象領域決定部１３に供給する。
【００６１】
対象領域決定部１３は、複数の低解像度画像データＬＰ１１、…、ＬＰｎそれぞれについて、物体検出処理の結果に基づいて、ボケ量推定処理を行う領域を決定する。具体的には、対象領域決定部１３は、物体が検出された領域をボケ量推定処理を行う領域（以下、対象領域と称する）として決定する。物体検出部１２が物体検出処理によって複数の物体を検出しているとき、対象領域決定部１３は、検出された複数の物体について対象領域を設定してもよい。対象領域決定部１３は、決定した対象領域をボケ量推定部１４に通知する。
【００６２】
ボケ量推定部１４は、複数の低解像度画像データＬＰ１１、…、ＬＰｎそれぞれについて決定された対象領域におけるボケ量を推定する。ボケ量推定部１４におけるボケ量の推定には、例えば特許文献１に記載の技術を用いることができる。ボケ量推定部１４は、推定したボケ量を基準画像選択部１５に供給する。
【００６３】
基準画像選択部１５は、対象領域のボケ量に基づき、複数の低解像度画像データＬＰ１１、…、ＬＰｎのなかから、超解像処理の基準となる基準画像を選択する。なお、基準画像は、基準フレーム、ターゲットフレーム又は対象画像などとも呼ばれる。基準画像選択部１５は、よりボケ量が少ない低解像度画像データを基準画像として選択する。基準画像選択部１５は、選択した基準画像を超解像処理部１６に通知する。
【００６４】
超解像処理部１６は、選択された基準画像に基づいて、複数の低解像度画像データＬＰ１１、…、ＬＰｎを用いた超解像処理を行う。超解像処理部１６は、超解像処理により生成した高解像度画像データＨＰ１を出力する。超解像画像処理装置１が、表示部を備えている場合、超解像処理部１６は、表示部に高解像度画像データＨＰ１を表示させてもよい。また、超解像処理部１６は、生成した高解像度画像データＨＰ１を記憶部２０に記憶してもよいし、有線または無線の通信ネットワークを通じて外部に送信してもよい。
【００６５】
（超解像画像処理装置における基準画像選択処理の概要）
次に、図３を用いて、超解像画像処理装置１における基準画像選択処理の概要について説明する。
【００６６】
図３の（ａ）および（ｂ）に、それぞれ、低解像度画像データＬＰ１１およびＬＰ１２が示す画像を例示している。
【００６７】
低解像度画像データＬＰ１１およびＬＰ１２には、それぞれ人物Ｍ１が含まれており、物体検出部１２によって顔の部分が検出されいる。また、それぞれにおいて、検出された部分に設定された物体検出領域Ｒ１には、対象領域決定部１３によって対象領域が設定される。
【００６８】
ボケ量推定部１４は、低解像度画像データＬＰ１１およびＬＰ１２が示す画像のそれぞれの対象領域におけるボケ量を推定する。
【００６９】
ここで、低解像度画像データＬＰ１１では、対象領域（物体検出領域Ｒ１）におけるボケ量が少ないのに対して、低解像度画像データＬＰ１２では、対象領域（物体検出領域Ｒ１）におけるボケ量が多い。
【００７０】
このため、基準画像選択部１５は、対象領域におけるボケ量がより少ない低解像度画像データＬＰ１１を基準画像として選択する。
【００７１】
（超解像画像処理装置における処理の流れ）
次に、図４を用いて、超解像画像処理装置１における超解像処理の流れについて説明する。図４は、実施形態１に係る超解像画像処理装置１の超解像処理の流れについて例示するフローチャートである。
【００７２】
図４に示すように、まず、物体検出部１２が、複数の低解像度画像データＬＰ１１、…、ＬＰｎについて、物体検出処理を実行する（Ｓ１００）。
【００７３】
次に、物体検出部１２は、複数の低解像度画像データＬＰ１１、…、ＬＰｎについて、物体検出処理の結果、物体を検出したか否かを判定する（Ｓ１０１）。
【００７４】
物体が検出されている場合（Ｓ１０１においてＹＥＳ）、対象領域決定部１３は、検出された物体に設定された物体検出領域を、ボケ量を推定するための対象領域として設定する（Ｓ１０２）。続いて、ボケ量推定部１４は、複数の低解像度画像データＬＰ１１、…、ＬＰｎについて、対象領域におけるボケ量を推定する（Ｓ１０３）。さらに、基準画像選択部１５は、推定されたボケ量に基づいて、複数の低解像度画像データＬＰ１１、…、ＬＰｎから、基準画像を選択する（Ｓ１０４）。そして、超解像処理部１６が、選択された基準画像に基づいて、超解像処理を実行する（Ｓ１０５）。
【００７５】
一方、物体が検出されていない場合（Ｓ１０１においてＮＯ）、対象領域決定部１３は、低解像度画像データの画像全体を対象領域として設定し（Ｓ１０６）、その後、上述のＳ１０３〜Ｓ１０５が実行される。
【００７６】
なお、複数の低解像度画像データＬＰ１１、…、ＬＰｎのうち、一部の低解像度画像データについて物体が検出されていない場合、当該一部の低解像度画像を基準画像の選択候補からはずしてもよい。
【００７７】
〔実施形態２〕
本発明の他の実施形態について、図５〜図７に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【００７８】
本実施形態では、物体検出処理の結果、低解像度画像において複数の物体が検出された場合に、ボケ量の推定結果に重み付けを行うことついて説明する。
【００７９】
まず、図５を用いて、本発明の他の実施形態に係る超解像画像処理装置２について説明する。図５は、超解像画像処理装置２の概略的な構成の一例を示す機能ブロック図である。
【００８０】
図５に示す超解像画像処理装置２は、図１に示した超解像画像処理装置１と同様、複数の低解像度画像データＬＰ２１、…、ＬＰｎを入力として、超解像処理を行って、高解像度画像データＨＰ２を生成するものである。図５に示す超解像画像処理装置２は、図１に示した超解像画像処理装置１において、重み決定部１７を追加するとともに、ボケ量推定部１４を、ボケ量推定部１４Ａに変更した構成である。
【００８１】
なお、以下では、特に断りがない限り、物体検出部１２が、低解像度画像データＬＰ２１等が示す画像から、複数の物体を検出するものとし、対象領域決定部１３が、検出された複数の物体について対象領域を設定しているものとする。また、物体検出部１２が検出する物体検出領域は、前後フレームとの論理和・論理積やトラッキング（動き予測）により、統合してもよい。
【００８２】
以下、図６も参照しながら、重み決定部１７、ボケ量推定部１４Ａについて説明する。
【００８３】
重み決定部１７は、検出された複数の物体について設定されている対象領域それぞれに対して、推定結果に適用する重みを決定する。重み決定部１７は、検出された物体の種別に応じて重み付けを行ってもよい。物体の種別とは、例えば、（特定の）人物の顔、人体、ランドマーク等検出された物体の種類のことである。
【００８４】
重み決定部１７は、例えば、低解像度画像において特定の人物と、一般的な物体とが検出されている場合、特定の人物について設定された対象領域に対する重みを、一般的な物体において設定された対象領域に対する重みよりも大きくしてもよい。
【００８５】
図６を参照しながら、より具体的に例示すると次のとおりである。図６に示す低解像度画像データＬＰ２１および低解像度画像データＬＰ２２が示す画像では、それぞれ、人物Ｍ１と、ランドマークＭ２とが検出されている。そして、物体検出部１２によって、人物Ｍ１について物体検出領域Ｒ１が設定され、ランドマークＭ２について物体検出領域Ｒ２が設定される。このような場合、重み決定部１７は、人物Ｍ１に対して、重み１．０を決定し、物体（ランドマークＭ２）に対して、重み０．５を決定してもよい。
【００８６】
また、重み決定部１７は、検出物体のサイズ、位置に応じて重み付けを行ってもよい。重み付けは、検出された物体の重要度・注目度に応じて決定することができる。重要度・注目度は、予め設定しておいてもよいし、検出した物体に基づいて計算されてもよい。
【００８７】
また、重み決定部１７は、決定した重みをボケ量推定部１４Ａに通知する。
【００８８】
ボケ量推定部１４Ａは、低解像度画像において複数の物体が検出された場合、重み付けを行ったボケ量を推定する。ボケ量推定部１４Ａは、具体的には、まず、低解像度画像において検出された複数の物体それぞれに設定された対象領域についてボケ量を推定する。次に、ボケ量推定部１４Ａは、推定したボケ量に対して、重み決定部１７が決定した重みを適用し、重みを適用したボケ量を加算することで合計ボケ量を算出する。
【００８９】
図６を参照しながら、より具体的に例示すると次のとおりである。図６に示す低解像度画像データＬＰ２１について、ボケ量推定部１４Ａは、人物Ｍ１に関しボケ量１０を推定し、物体（ランドマークＭ２）に関しボケ量５０を推定する。このとき、ボケ量推定部１４Ａは、重み決定部１７が決定した人物に対する重み１．０と、物体に対する重み０．５とをそれぞれ推定したボケ量に適用し、合計する。低解像度画像データＬＰ２１について、ボケ量推定部１４Ａが算出する合計ボケ量は、１０×１．０＋５０×０．５＝３５である。
【００９０】
一方、低解像度画像データＬＰ２２について、ボケ量推定部１４Ａは、人物Ｍ１に関しボケ量５０を推定し、物体（ランドマークＭ２）に関しボケ量１０を推定する。ボケ量推定部１４Ａは、上述したように、推定したボケ量の加重和を算出する。低解像度画像データＬＰ２２について、ボケ量推定部１４Ａが算出する合計ボケ量は、５０×１．０＋１０×０．５＝５５である。
【００９１】
よって、図６に示す例では、基準画像選択部１５は、より合計ボケ量が少ない低解像度画像データＬＰ２１を基準画像として選択する。
【００９２】
（超解像画像処理装置における処理の流れ）
次に、図７を用いて、超解像画像処理装置２における超解像処理の流れについて説明する。図７は、実施形態２に係る超解像画像処理装置２の超解像処理の流れについて例示するフローチャートである。
【００９３】
図７に示すように、まず、物体検出部１２が、複数の低解像度画像データＬＰ２１、…、ＬＰｎについて、物体検出処理を実行する（Ｓ２０１）。
【００９４】
次に、物体検出部１２は、複数の低解像度画像データＬＰ２１、…、ＬＰｎについて、物体検出処理の結果、物体を検出したか否かを判定する（Ｓ２０２）。
【００９５】
物体が検出されている場合（Ｓ２０２においてＹＥＳ）、物体検出部１２は、さらに検出した物体が複数存在するか否かを判定する（Ｓ２０３）。
【００９６】
複数の物体が検出されている場合（Ｓ２０３においてＹＥＳ）、対象領域決定部１３が、検出された複数の物体についてそれぞれ対象領域を設定し、重み決定部１７が、設定された対象領域ごとの重みを決定する（Ｓ２０４）。また、ボケ量推定部１４Ａが、対象領域ごとのボケ量を推定するとともに（Ｓ２０５）、推定されたボケ量に重みを適用し合計ボケ量を算出する（Ｓ２０６）。
【００９７】
そして、基準画像選択部１５が合計ボケ量に基づいて超解像処理の基準画像を選択し（Ｓ２１０）、超解像処理部１６が、選択された基準画像に基づいて超解像処理を実行する（Ｓ２１１）。
【００９８】
一方、検出された物体が単一の物体である場合（Ｓ２０３においてＮＯ）、対象領域決定部１３が、当該物体に係る物体検出領域をボケ量を推定するための対象領域として決定する（Ｓ２０７）。次に、ボケ量推定部１４Ａが、対象領域におけるボケ量を推定する（Ｓ２０９）。そして、基準画像選択部１５が推定されたボケ量に基づいて超解像処理の基準画像を決定し（Ｓ２１０）、超解像処理部１６が、選択された基準画像に基づいて超解像処理を実行する（Ｓ２１１）。
【００９９】
なお、Ｓ２０２において、物体が検出されていない場合（Ｓ２０２においてＮＯ）、対象領域決定部１３は、低解像度画像データの画像全体を対象領域として設定し（Ｓ２０８）、その後、上述のＳ２０９〜Ｓ２１１が実行される。
【０１００】
〔実施形態３〕
本発明の別の実施形態について、図８〜図１０に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０１０１】
本実施形態では、画像における顕著領域を推定して、ボケ量を推定するための対象領域を決定することについて説明する。
【０１０２】
まず、図８を用いて、本発明の別の実施形態に係る超解像画像処理装置３について説明する。図８は、超解像画像処理装置３の概略的な構成の一例を示す機能ブロック図である。
【０１０３】
図８に示す超解像画像処理装置３は、図５に示した超解像画像処理装置２と同様、複数の低解像度画像データＬＰ３１、…、ＬＰｎを入力として、超解像処理を行って、高解像度画像データＨＰ３を生成するものである。
【０１０４】
図８に示す超解像画像処理装置３は、図５に示した超解像画像処理装置３において、物体検出部１２、対象領域決定部１３、重み決定部１７を、それぞれ、顕著領域推定部１８、対象領域決定部１３Ｂ、重み決定部１７Ｂに変更した構成である。
【０１０５】
以下、図９も参照しながら、顕著領域推定部１８、対象領域決定部１３Ｂ、重み決定部１７Ｂについて説明する。
【０１０６】
顕著領域推定部１８は、低解像度画像データＬＰ３１、…、ＬＰｎが示す画像のについて、人間が視覚的に注目するであろう程度（顕著性（Saliency））が高い顕著領域を推定する。具体的には、顕著領域推定部１８は、低解像度画像に関し、人間が視覚的に注目すべき度合いである顕著度を算出し、顕著度をマッピングした顕著マップ画像を生成する。
【０１０７】
顕著領域推定部１８は、画像のコントラストに基づいて顕著度を算出してもよい。次に、顕著領域推定部１８は、算出した顕著度に基づいて顕著マップ画像における顕著領域を推定する。顕著領域は、画像において顕著度が所定値以上である部分を顕著領域として推定してもよいし、顕著度が所定値以上である部分を含む矩形を顕著領域として推定してもよい。また、顕著領域推定部１８は、複数の顕著領域を推定してもよい。また、顕著領域推定部１８が推定する顕著領域は、前後フレームとの論理和・論理積やトラッキング（動き予測）により、統合してもよい。
【０１０８】
図９を用いて顕著領域推定部１８について説明すると次のとおりである。図９に示す低解像度画像データＬＰ３１が示す画像には、犬Ｍ３が含まれる。顕著領域推定部１８は、低解像度画像ＬＰ３１の各部分における顕著度を算出し、顕著マップ画像ＬＰ３１´を生成してもよい。顕著マップ画像ＬＰ３１´において、明るい部分は顕著度が高く、暗い部分は顕著度が低いことを示している。
【０１０９】
顕著マップ画像ＬＰ３１´では、低解像度画像データＬＰ３１が示す画像に含まれる犬Ｍ３に対応する部分が明るく（顕著度が高く）なっている。顕著領域推定部１８は、顕著度に応じて顕著領域Ｒ３´を設定する。
【０１１０】
また、顕著領域推定部１８は、顕著領域推定処理の結果を対象領域決定部１３Ｂに通知する。
【０１１１】
対象領域決定部１３Ｂは、複数の低解像度画像データＬＰ３１、…、ＬＰｎそれぞれについて、顕著領域推定処理の結果に基づいて、ボケ量推定処理を行う領域を決定する。
【０１１２】
対象領域決定部１３Ｂは、例示的には、低解像度画像データＬＰ３１が示す画像において、顕著マップ画像ＬＰ３１´において推定された顕著領域に対応する部分をボケ量推定処理を行う領域（以下、対象領域と称する）として決定する。
【０１１３】
また、対象領域決定部１３は、顕著領域推定結果に応じて複数の対象領域を設定してもよい。
【０１１４】
図９を用いて対象領域決定部１３Ｂについて説明すると次のとおりである。図９に示すように、対象領域決定部１３Ｂは、低解像度画像データＬＰ３１が示す画像において、顕著マップ画像ＬＰ３１´において推定された顕著領域Ｒ３´に対応する部分を対象領域Ｒ３として設定する。
【０１１５】
対象領域決定部１３は、決定した対象領域を重み決定部１７Ｂに通知する。
【０１１６】
重み決定部１７Ｂは、推定された複数の顕著領域（さらにいえば、顕著領域に対応する対象領域）それぞれに対して、ボケ量の推定結果に適用する重みを決定する。重み決定部１７Ｂは、各顕著領域の顕著度に応じて重み付けを行ってもよい。なお、重み決定部１７Ｂは、各対象領域に適用する重みを均一にしてもかまわない（つまり、重み付けを省略してもよい）。また、重み決定部１７Ｂを省略した構成とすることも可能である。
【０１１７】
（超解像画像処理装置における処理の流れ）
次に、図１０を用いて、超解像画像処理装置３における超解像処理の流れについて説明する。図１０は、実施形態３に係る超解像画像処理装置３の超解像処理の流れについて例示するフローチャートである。
【０１１８】
図１０に示すように、まず、顕著領域推定部１８が、複数の低解像度画像データＬＰ３１、…、ＬＰｎについて、顕著領域推定処理を実行する（Ｓ３０１）。
【０１１９】
次に、顕著領域推定部１８は、複数の低解像度画像データＬＰ３１、…、ＬＰｎについて実行した顕著領域推定処理の結果、顕著領域が存在するか否かを判定する（Ｓ３０２）。
【０１２０】
顕著領域が存在する場合（Ｓ３０２においてＹＥＳ）、顕著領域推定部１８は、さらに顕著領域が複数存在するか否かを判定する（Ｓ３０３）。
【０１２１】
複数の顕著領域が存在する場合（Ｓ３０３においてＹＥＳ）、対象領域決定部１３Ｂが、複数の顕著領域についてそれぞれ対象領域を設定し、重み決定部１７Ｂが、設定された対象領域ごとの重みを決定する（Ｓ３０４）。また、ボケ量推定部１４Ａが、対象領域ごとのボケ量を推定するとともに（Ｓ３０５）、推定されたボケ量に重みを適用し合計ボケ量を算出する（Ｓ３０６）。
【０１２２】
そして、基準画像選択部１５が合計ボケ量に基づいて超解像処理の基準画像を選択し（Ｓ３１０）、超解像処理部１６が、選択された基準画像に基づいて超解像処理を実行する（Ｓ３１１）。
【０１２３】
一方、推定された顕著領域が単一である場合（Ｓ３０３においてＮＯ）、対象領域決定部１３Ｂが、当該顕著領域に基づいて、ボケ量を推定するための対象領域を決定する（Ｓ３０７）。次に、ボケ量推定部１４Ｂが、対象領域におけるボケ量を推定する（Ｓ３０９）。そして、基準画像選択部１５が推定されたボケ量に基づいて超解像処理の基準画像を選択し（Ｓ３１０）、超解像処理部１６が、選択された基準画像に基づいて超解像処理を実行する（Ｓ３１１）。
【０１２４】
なお、Ｓ３０２において、顕著領域が存在しない場合（Ｓ３０２においてＮＯ）、対象領域決定部１３Ｂは、低解像度画像データの画像全体を対象領域として設定し（Ｓ３０８）、その後、上述のＳ３０９〜Ｓ３１１が実行される。
【０１２５】
〔実施形態４〕
本発明のさらに別の実施形態について、図１１〜図１３に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【０１２６】
本実施形態では、物体検出と顕著領域推定との両方を行って、それぞれの結果の重複範囲に基づいて重み付けを行うことについて説明する。
【０１２７】
まず、図１１を用いて、本発明のさらに別の実施形態に係る超解像画像処理装置４について説明する。図１１は、超解像画像処理装置４の概略的な構成の一例を示す機能ブロック図である。
【０１２８】
図１１に示す超解像画像処理装置４は、図１に示した超解像画像処理装置１および図８に示す超解像画像処理装置３と同様、複数の低解像度画像データＬＰ４１、…、ＬＰｎを入力として、超解像処理を行って、高解像度画像データＨＰ４を生成するものである。
【０１２９】
図１１に示す超解像画像処理装置４は、概略的に言えば、超解像画像処理装置１が備える物体検出部１２および超解像画像処理装置３が備える顕著領域推定部１８を両方備える構成である。
【０１３０】
超解像画像処理装置３の制御部１０は、より具体的には、画像読込部１１、物体検出部１２、顕著領域推定部１８、対象領域決定部１３Ｃ、重なり判定部１９、重み決定部１７Ｃ、ボケ量推定部１４Ｃ、基準画像選択部１５、および超解像処理部１６を備える。
【０１３１】
画像読込部１１、物体検出部１２、顕著領域推定部１８、基準画像選択部１５、および超解像処理部１６については既に説明した通りであるので、ここではその説明を省略する。なお、物体検出部１２は、物体検出処理の結果を対象領域決定部１３Ｃに通知するものとする。また、顕著領域推定部１８は、顕著領域推定処理の結果を対象領域決定部１３Ｃに通知するものとする。
【０１３２】
以下、対象領域決定部１３Ｃ、重なり判定部１９、重み決定部１７Ｃ、ボケ量推定部１４Ｃについて説明する。
【０１３３】
対象領域決定部１３Ｃは、複数の低解像度画像データＬＰ４１、…、ＬＰｎそれぞれについて、物体検出処理の結果に基づく第１対象領域を設定するとともに、顕著領域推定処理の結果に基づく第２対象領域を設定する。なお、以下の説明では、第１対象領域および第２対象領域の少なくともいずれかは、複数設定されているものとする。また、第２対象領域は、低解像度画像において、顕著マップ画像で設定された顕著領域に対応する部分である。対象領域決定部１３Ｃは、決定した第１対象領域および第２対象領域を重なり判定部１９に通知する。
【０１３４】
重なり判定部１９は、第１対象領域および第２対象領域が重なっているか否かを判定する。なお、重なり判定部１９は、第１対象領域および第２対象領域の重複の度合い、範囲を判定してもよい。
【０１３５】
重み決定部１７Ｃは、第１対象領域および第２対象領域が重なっているか否かに応じて、第１対象領域および第２対象領域に適用する重みを決定する。なお、重み決定部１７Ｃは、第１対象領域および第２対象領域の重なり度合いに応じて上記重みを決定してもよい。
【０１３６】
図１２を参照して説明すると次のとおりである。図１２は、低解像度画像データと、当該低解像度画像データから生成される顕著マップ画像を模式的に示したものである。図１２の（ａ）に示す低解像度画像データＬＰ４１が示す画像にはサーキットを走行する車Ｍ４が含まれている。当該画像では、物体検出部１２による物体検出の結果、車Ｍ４について物体検出領域Ｒ４が設定される。
【０１３７】
また、図１２の（ｂ）に示すように、顕著領域推定部１８は、低解像度画像データＬＰ４１に基づいて顕著マップ画像ＬＰ４１´を生成する。また、顕著マップ画像ＬＰ４１´では、顕著領域推定処理の結果、車Ｍ４およびサーキットのコースの境界にある白線付近における顕著度が高く検出されている。顕著領域推定部１８は、車Ｍ４について顕著領域Ｒ４´を設定し、白線において顕著領域Ｒ４１を設定する。
【０１３８】
ここで、重なり判定部１９は、第１対象領域（物体検出領域）と、第２対象領域（低解像画像において顕著領域に対応する領域）とが重なっているか否かを判定する。図１２の（ａ）および（ｂ）に示す例では、物体検出領域Ｒ４と顕著領域Ｒ４´に対応する領域とが重なっている。一方で、顕著領域Ｒ４１については、対応する物体検出領域は存在しない。よって、重み決定部１７Ｃは、車Ｍ４について、白線よりも高い重みが適用されるようにする。
【０１３９】
ボケ量推定部１４Ｃは、重み決定部１７Ｃが決定した重みを用いて、第１対象領域または第２対象領域についてボケ量を推定する。なお、これに限られず、ボケ量推定部１４Ｃは、第１対象領域または第２対象領域に基づいて、ボケ量を推定する領域を決定してもよい。具体的には、ボケ量推定部１４Ｃは、ボケ量を推定する領域を決定するため、第１対象領域および第２対象領域について和および積などの領域演算を行っても構わない。例えば、ボケ量推定部１４Ｃは、第１対象領域および第２対象領域の重複領域をボケ量を推定する領域として設定してもよい。
【０１４０】
（超解像画像処理装置における処理の流れ）
次に、図１３を用いて、超解像画像処理装置２における超解像処理の流れについて説明する。図１３は、実施形態４に係る超解像画像処理装置４の超解像処理の流れについて例示するフローチャートである。
【０１４１】
図１３に示すように、まず、顕著領域推定部１８が、複数の低解像度画像データＬＰ３１、…、ＬＰｎについて、顕著領域推定処理を実行する（Ｓ４０１）。
【０１４２】
次に、物体検出部１２が、複数の低解像度画像データＬＰ４１、…、ＬＰｎについて、物体検出処理を実行する（Ｓ４０２）。
【０１４３】
次に、対象領域決定部１３Ｃは、複数の低解像度画像データＬＰ４１、…、ＬＰｎそれぞれについて、物体検出処理の結果に基づく第１対象領域を設定するとともに、顕著領域推定処理の結果に基づく第２対象領域を設定する。そして、対象領域決定部１３Ｃは、対象領域の有無を判定する（Ｓ４０３）。対象領域決定部１３Ｃは、具体的には、第１対象領域が存在し、かつ、第２対象領域が存在するか否かを判定する。
【０１４４】
第１対象領域および第２対象領域の両方が存在する場合（Ｓ４０３においてＹＥＳ）、重なり判定部１９は、第１対象領域および第２対象領域の重なりを判定する（Ｓ４０４）。次に、重み決定部１７Ｃは、重なりを判定に応じて各対象領域に適用する重みを決定する（Ｓ４０６）。また、ボケ量推定部１４Ｃは、重み決定部１７Ｃが決定した重みを用いて対象領域ごとのボケ量を推定するとともに（Ｓ４０６）、推定されたボケ量に重みを適用し合計ボケ量を算出する（４０７）。
【０１４５】
そして、基準画像選択部１５が合計ボケ量に基づいて超解像処理の基準画像を選択し（Ｓ４１０）、超解像処理部１６が、選択された基準画像に基づいて超解像処理を実行する（Ｓ４１１）。
【０１４６】
一方、第１対象領域および第２対象領域の少なくとも一方が存在しない場合（Ｓ４０３においてＮＯ）、対象領域決定部１３Ｃが、当該画像全体をボケ量を推定するための対象領域として決定する（Ｓ４０８）。なお、Ｓ４０８において第１対象領域および第２対象領域の一方が存在する場合、対象領域決定部１３Ｃは、第１対象領域および第２対象領域のうち、存在している方を対象領域として決定してもよい。
【０１４７】
次に、ボケ量推定部１４Ｃが、対象領域におけるボケ量を推定する（Ｓ４０９）。そして、基準画像選択部１５が推定されたボケ量に基づいて超解像処理の基準画像を選択し（Ｓ４１０）、超解像処理部１６が、選択された基準画像に基づいて超解像処理を実行する（Ｓ４１１）。
【０１４８】
〔変形例〕
（１）画像の性質を表わす画像指標について
以上では、一例として、ボケ量推定部１４、１４Ａ、１４Ｃがボケ量を推定する構成について説明したが、この構成に限られない。超解像画像処理装置１，２，３，４では、画像の性質を表わす画像指標を推定してもよい。画像の性質を表わす画像指標としては、例えば、画像の主観的特性を表わす指標を採用することができる。より具体的には、画像の性質を表わす画像指標としては、例えば、「ボケ量」の他にも、「ぶれ」、「ノイズ」、「白飛び」、「黒つぶれ」が挙げられる。また、基準画像選択部１５は、推定した画像指標に基づいて基準画像を選択してもよい。
（２）物体検出領域を統合する手法について
以下において、以上で説明した超解像画像処理装置１、２、３、４において、複数の低解像度画像の間で物体検出領域を統合する手法について説明する。
【０１４９】
以下、説明の便宜上、超解像画像処理装置１および２について順に説明する。フレーム間の画質のゆらぎ等により、物体検出結果が、フレーム間で異なる場合がある。このような場合、以下に示すようにフレーム間の物体検出結果の整合を取ってもよい。
【０１５０】
図１４〜図１６を用いて、超解像画像処理装置１において、複数の低解像度画像の間で物体検出領域の整合をとる手法について説明する。
【０１５１】
まず、図１４に示すように各フレーム間で物体検出結果の整合がとれていない場合について説明する。図１４は、超解像画像処理装置１において物体検出処理が行われた低解像度画像のフレームＦＲ１１、ＦＲ１２、およびＦＲ１３の一例を示している。
【０１５２】
物体検出部１２は、フレームＦＲ１１およびフレームＦＲ１３において、人物Ｍ１を検出し、それぞれのフレームにおいて物体検出領域Ｒ１を設定している。ところが、フレームＦＲ１２では、画質のゆらぎ等に起因して物体が検出されていない。
【０１５３】
図１４に示すような場合、物体検出部１２は、フレームＦＲ１１、ＦＲ１２、およびＦＲ１３の間で物体検出領域Ｒ１に関し論理和をとって、物体検出結果を補完してもよい。すなわち、物体検出部１２は、論理和を取ることによって、図１５に示すようにフレームＦＲ１２において物体検出領域Ｒ１を補完することができる。これにより、いずれかのフレームにおいて画質のゆらぎ等に起因して物体の検出漏れが起こったとしても、他のフレームから補完することで、各フレーム間で物体検出領域の整合をとることができる。
【０１５４】
なお、物体検出部１２は、補完の対象となるフレームＦＲ１２において物体検出領域を補完するとき、他のいずれかのフレームにおける物体検出領域の位置を用いてもよいし、他のフレームにおいて設定された物体検出領域の平均的な位置を用いてもよい。以下の説明において同様である。
【０１５５】
また、図１４に示すような場合、物体検出部１２は、フレームＦＲ１１、ＦＲ１２、およびＦＲ１３の間で物体検出領域Ｒ１に関し論理積をとってもよい。すなわち、図１６に示すように、物体検出部１２は、論理積を取ることによってフレームＦＲ１１およびＦＲ１３から物体検出領域Ｒ１を除去してもよい。これにより、図１６に示すように、フレームＦＲ１１、ＦＲ１２、およびＦＲ１３の間で、物体検出領域の整合をとることができる。
【０１５６】
以上の構成によれば、例えば、いずれかのフレームにおいて誤検出が生じているような場合、これを除去することができる。
【０１５７】
また、物体検出領域の整合の度合いに応じて論理和をとるか、論理積をとるかを決定してもよい。なお、複数の物体が検出されている場合、物体ごとに当該決定を行ってもかまない。
【０１５８】
具体的には、多くのフレームで、ある物体が検出されているのに対して、一部のフレームで当該物体が検出されていない場合、物体検出部１２は、論理和をとることを決定してもよい。これは、当該一部のフレームで物体の検出漏れが起こっている可能性があるためである。これにより検出漏れを補完し、各フレーム間で物体検出領域の整合をとることができる。
【０１５９】
これに対して、多くのフレームで、ある物体が検出されていないのに対して、一部のフレームで当該物体が検出されてる場合、物体検出部１２は、論理積をとることを決定してもよい。これは、当該一部のフレームで当該物体を誤検出している可能性があるためである。これにより誤検出を除去し、各フレーム間で物体検出領域の整合をとることができる。以下の説明において同様である。
【０１６０】
次に、図１７〜図２０を用いて、超解像画像処理装置２において、複数の低解像度画像の間で物体検出領域の整合をとる手法について説明する。
【０１６１】
まず、図１７および図１８を用いて、論理和により整合をとる手法について説明する。図１７は、超解像画像処理装置２において物体検出処理が行われた低解像度画像のフレームＦＲ２１〜ＦＲ２５の一例を示している。各低解像度画像には、人物Ｍ１とランドマークＭ２とが含まれる。
【０１６２】
物体検出部１２は、フレームＦＲ２４以外のフレームにおいて、人物Ｍ１を検出し物体検出領域Ｒ１を設定している。また、物体検出部１２は、フレームＦＲ２３以外のフレームにおいて、ランドマークＭ２を検出し物体検出領域Ｒ２を設定している。
【０１６３】
図１７に示すような場合、物体検出部１２は、フレームＦＲ２１〜ＦＲ２５の間で物体検出領域Ｒ１およびＲ２に関し論理和をとって、物体検出結果を補完してもよい。すなわち、物体検出部１２は、論理和を取ることによって、図１８に示すように、フレームＦＲ２４において物体検出領域Ｒ１を補完し、フレームＦＲ２３において物体検出領域Ｒ２を補完することができる。これによりフレームＦＲ２１〜ＦＲ２５の間で物体検出領域の整合をとることができる。
【０１６４】
続いて、図１９および図２０を用いて、論理積により整合をとる手法について説明する。図１９は、超解像画像処理装置２において物体検出処理が行われた低解像度画像のフレームＦＲ３１〜ＦＲ３５の一例を示している。各低解像度画像には、人物Ｍ１とランドマークＭ２とが含まれる。
【０１６５】
物体検出部１２は、フレームＦＲ３１〜ＦＲ３５の全てにおいて、人物Ｍ１およびランドマークＭ２を検出しており、人物Ｍ１およびランドマークＭ２について物体検出領域Ｒ１およびＲ２を設定している。
【０１６６】
また、物体検出部１２は、画質のゆらぎ等に起因して、フレームＦＲ３３において不明な物体に対して不明物体検出領域Ｒ１１を設定している。
【０１６７】
図１９に示すような場合、物体検出部１２は、フレームＦＲ３１〜ＦＲ３５の間で物体検出領域Ｒ１、Ｒ２、およびＲ１１に関し論理積をとって、不要と思われる物体検出結果を除去してもよい。すなわち、物体検出部１２は、論理積を取ることによって、図２０に示すように、フレームＦＲ３３から不明物体検出領域Ｒ１１を除去することができる。これによりフレームＦＲ３１〜ＦＲ３５の間で物体検出領域の整合をとることができる。
【０１６８】
（作用・効果）
以上に示したとおり、本発明の一態様に係る画像処理装置１は、複数の低解像度画像データＬＰ１１…ＬＰｎが示す画像を用いて高解像度画像データＨＰ１を生成する画像処理装置１において、複数の低解像度画像データＬＰ１１…ＬＰｎが示す画像のそれぞれにおいて、注目すべき領域である対象領域を設定する対象領域決定部（対象領域設定手段）１３と、複数の低解像度画像データＬＰ１１…ＬＰｎが示す画像のそれぞれにおいて設定された対象領域におけるボケ量を推定するボケ量推定部（画像指標推定手段）１４と、推定されたボケ量に応じて上記複数の低解像度画像データＬＰ１１…ＬＰｎが示す画像を用いて、上記高解像度画像データＨＰ１を生成するための基準となる低解像度画像を選択する基準画像選択部（選択手段）１５とを備える構成である。
【０１６９】
よって、対象領域がより鮮明となった高解像度画像を生成することができるという効果を奏する。
【０１７０】
〔ソフトウェアによる実現例〕
超解像画像処理装置１、２、３、４の制御ブロック（制御部１０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【０１７１】
後者の場合、超解像画像処理装置１、２、３、４は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１７２】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【産業上の利用可能性】
【０１７３】
本発明は、複数の低解像度画像から該低解像度画像よりも高い解像度を有する高解像度画像を生成する画像処理装置に用いることができるので、プリンタ、スキャナ、デジタルカメラ、デジタルテレビジョン受像機、スマートフォン、パーソナルコンピュータ等のデジタル画像機器や、画像の超解像技術を用いたセキュリティシステム等に好適に利用することができる。
【符号の説明】
【０１７４】
１、２、３、４  超解像画像処理装置
１０  制御部
１１  画像読込部
１２  物体検出部
１３、１３Ｂ、１３Ｃ  対象領域決定部（対象領域設定手段）
１４、１４Ａ、１４Ｃ  ボケ量推定部（画像指標推定手段）
１５  基準画像選択部（選択手段）
１６  超解像処理部
１７、１７Ｂ、１７Ｃ  重み決定部（重み設定手段）
１８  顕著領域推定部
１９  重なり判定部
２０  記憶部
【図１】
2014206926.tif 000003
【図４】
2014206926.tif 000004
【図５】
2014206926.tif 000005
【図７】
2014206926.tif 000006
【図８】
2014206926.tif 000007
【図１０】
2014206926.tif 000008
【図１１】
2014206926.tif 000009
【図１３】
2014206926.tif 000010
【図２】
2014206926.tif 000011
【図３】
2014206926.tif 000012
【図６】
2014206926.tif 000013
【図９】
2014206926.tif 000014
【図１２】
2014206926.tif 000015
【図１４】
2014206926.tif 000016
【図１５】
2014206926.tif 000017
【図１６】
2014206926.tif 000018
【図１７】
2014206926.tif 000019
【図１８】
2014206926.tif 000020
【図１９】
2014206926.tif 000021
【図２０】
2014206926.tif 000022
【図２１】
2014206926.tif 000023
【図２２】
2014206926.tif 000024