(57)【要約】【課題】パソコンのモニタを用いてむらの存在を効率的に知覚させ、或いはパソコンのモニタに予め表示させなくてもむらのない最大の倍率を有する超解像度画像を自動的に提供することができる超解像度画像の生成装置を提供する。【解決手段】第１の解像度を有する第１の画像が入力され、第１の画像を用いて第１の解像度よりも高い第２の解像度を有する第２の画像を生成する超解像度化部と、超解像度化部によって生成された第２の画像が入力され、第２の画像における部分領域ごとの鮮鋭度を計算する鮮鋭度計算部と、鮮鋭度計算部により計算された部分領域ごとの鮮鋭度が入力され、鮮鋭度を画像として表示するための値に変換したものを部分領域ごとに持つ第３の画像を生成する鮮鋭度画像生成部と、第１の画像及び前記第３の画像が入力され、第１の画像及び第３の画像を合成して第４の画像を生成する合成部を具備する。【選択図】  図４
2008067110.tif 000002
【特許請求の範囲】
【請求項１】
第１の解像度を有する第１の画像が入力され、前記第１の画像を用いて前記第１の解像度よりも高い第２の解像度を有する第２の画像を生成する超解像度化部と、
前記超解像度化部によって生成された前記第２の画像が入力され、前記第２の画像における部分領域ごとの鮮鋭度を計算する鮮鋭度計算部と、
前記鮮鋭度計算部により計算された部分領域ごとの鮮鋭度が入力され、前記鮮鋭度を画像として表示するための値に変換したものを部分領域ごとに持つ第３の画像を生成する鮮鋭度画像生成部と、
前記第１の画像及び前記第３の画像が入力され、前記第１の画像及び前記第３の画像を合成して第４の画像を生成する合成部とを具備することを特徴とする超解像度画像の生成装置。
【請求項２】
第１の解像度を有する第１の画像が複数入力され、前記複数の第１の画像を用いて前記第１の解像度より縦横の画素密度をそれぞれ増加させた第２の解像度を有する第２の画像を生成する超解像度化部と、
前記第１の画像が複数入力され、前記複数の第１の画像間で動きベクトルを検出する動きベクトル検出部と、
前記動き検出部によって検出された動きベクトルが入力され、前記動きベクトルを用いて前記複数の第１の画像の位置を合わせたものの部分領域に存在する画素数を数える画素数算出部と、
前記画素数算出部により算出された前記画素数及び前記第１の画像が入力され、前記画素数を用いて第２の画像の部分領域ごとの鮮鋭度を計算する鮮鋭度計算部と、
前記鮮鋭度計算部により計算された部分領域ごとの鮮鋭度が入力され、前記鮮鋭度を画像として表示するための値に変換したものを部分領域ごとに持つ第３の画像を生成する鮮鋭度画像生成部と、
前記第１の画像及び前記第３の画像が入力され、前記第１の画像及び前記第３の画像を合成して第４の画像を生成する合成部とを具備することを特徴とする超解像度画像の生成装置。
【請求項３】
第１の解像度を有する第１の画像が複数入力され、前記複数の第１の画像を用いて前記第１の解像度より縦横の画素密度をそれぞれＭ倍及びＮ倍に増加させた第２の解像度を有する第２の画像を生成する超解像度化部と、
前記第１の画像が複数入力され、前記複数の第１の画像間で動きを検出する動き検出部と、
前記動き検出部によって検出された動きが入力され、前記動きを用いて前記複数の第１の画像の位置を合わせたものの部分領域に存在する画素数nを数える画素数算出部と、
前記画素数算出部により算出された前記画素数n、予め設定された閾値及び予め設定された縦方向と横方向の画素密度倍率の比（Ｍ／Ｎ）が入力され、前記画素数ｎを前記Ｍと前記Ｎの積で除算した値（ｎ／ＭＮ）が、前記閾値以上となり、前記比（Ｍ／Ｎ）の関係を満たす最大のＭとＮを決定する画素密度倍率決定部とを具備し、
前記超解像度化部は、前記画素密度倍率決定部により決定された画素密度倍率が入力され、前記画素密度倍率を用いて前記第２の画像を生成することを特徴とする超解像度画像の生成装置。
【請求項４】
前記合成部は、前記第１の画像及び前記第３の画像を半透明に合成することを特徴とする請求項１或いは請求項２に記載の超解像度画像の生成装置。
【請求項５】
前記鮮鋭度計算部は、前記第２の画像の部分領域に２次元離散フーリエ変換を施して得られる係数のうち高い周波数に対応するものほど大きな重みをつけて加算することにより前記鮮鋭度を計算することを特徴とする請求項１に記載の超解像度画像の生成装置。
【請求項６】
前記鮮鋭度計算部は、前記第２の画像及び前記第２の画像に平均値フィルタを施した画像の部分領域からそれぞれデルタヒストグラムを計算し、前記それぞれのデルタヒストグラムの差分を計算することにより前記鮮鋭度を計算することを特徴とする請求項１に記載の超解像度画像の生成装置。
【請求項７】
前記鮮鋭度計算部は、前記画素数ｎを画素密度倍率で除算した値を計算することにより前記鮮鋭度を計算することを特徴とする請求項２に記載の超解像度の生成装置。
【請求項８】
前記合成部によって合成された前記第４の画像が入力され、前記第４の画像を表示する表示部とをさらに具備することを特徴とする請求項１乃至請求項２のいずれかに記載の超解像度画像の生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、超解像度画像の生成装置に関する。
【背景技術】
【０００２】
デジタルカメラやビデオカメラで撮影した画像を印刷して写真にしたい場合がある。例えば、パソコンとプリンタを利用し、A3用紙全体に余白なく解像度300ppi(pixel / inch)にて印刷する場合、パソコンのソフトウェアであるPhotoshop7.0（非特許文献１）に、縦横それぞれ4961, 3508画素の画像を入力すれば、Photoshop7.0が印刷を補助してくれるため、簡単に印刷できる。
【０００３】
もし、撮影した画像が縦横それぞれ4961, 3508画素を満たさないにもかかわらず、A3用紙全体に余白なく解像度300ppi(pixel / inch)にて印刷したい場合は、超解像度化手法といった画素数を増やす技術を利用する方法がある。
【０００４】
しかしながら超解像度化手法を利用すると、必ずしも画像全体が均一に鮮鋭にはならず、ぼけた部分が混在したむらのある画像が印刷される場合がある。
【０００５】
図１６、図１７に、超解像度化手法を用いて画素数を増やした画像を印刷した例を示す。図１７は、図１６で印刷した画像のうち、動きのある人物を楕円で囲んだものである。
【０００６】
図１７に示すように、この超解像度化手法を用いて画素数を増やした画像を印刷した例では、楕円で囲んだ人物の部分がぼけているのに対し、それ以外の部分は鮮鋭化されており、その対比がむらとして知覚されていることが分かる。
【非特許文献１】Adobe Photoshop7.0日本語版ユーザガイドpp.54-61、381-395
【発明の開示】
【発明が解決しようとする課題】
【０００７】
このように、超高解像度化手法を用いて、画素数を増やし印刷を行っても、印刷された写真のうち鮮鋭化されているところとそうでないところがむらとなって現れることがある。
【０００８】
このためユーザとしては予めパソコンのモニタに超解像度化した画像を表示してむらがあるかないか確認したい。画素数が増やされた画像を解像度がそれよりも少ないパソコンのモニタに表示させるためには、いったん縮小してモニタに表示させる必要がある。しかしながら超解像度化された画像を縮小させるとぼけた部分がより鮮鋭に表現されるために、パソコンのモニタ上ではむらが目立たなくなり確認できないという問題がある。
【０００９】
図１８に、図１７の画像を縮小してモニタに表示させた例を表す。図１７において楕円で囲んだ人物のぼけが図１８では知覚し難くなっていることが分かる。
【００１０】
一方、超解像度化された画像を縮小させずにそのまま解像度の低いパソコンのモニタに表示させると、画像中の一部分しかモニタに表示できず、ユーザはスクロールを駆使してむらを確認しなければならない。
【００１１】
図１９は、図１７の画像の左上部分のみを縮小させずに表示させた例である。他の部分にむらがないかどうかを確認するためには、画像中の表示位置を移動させ、全ての位置でむらが存在するかどうかスクロールさせながら目視で確認しなければならないことが分かる。
【００１２】
本発明は、上記した問題を解決するためになされたものであり、パソコンのモニタを用いてむらの存在を効率的に知覚させ、或いはパソコンのモニタに予め表示させなくてもむらのない最大の倍率を有する超解像度画像を自動的に提供することができる超解像度画像の生成装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、第１の発明は、
第１の解像度を有する第１の画像が入力され、前記第１の画像を用いて前記第１の解像度よりも高い第２の解像度を有する第２の画像を生成する超解像度化部と、
前記超解像度化部によって生成された前記第２の画像が入力され、前記第２の画像における部分領域ごとの鮮鋭度を計算する鮮鋭度計算部と、
前記鮮鋭度計算部により計算された部分領域ごとの鮮鋭度が入力され、前記鮮鋭度を画像として表示するための値に変換したものを部分領域ごとに持つ第３の画像を生成する鮮鋭度画像生成部と、
前記第１の画像及び前記第３の画像が入力され、前記第１の画像及び前記第３の画像を合成して第４の画像を生成する合成部とを具備することを特徴とする超解像度画像の生成装置を提供する。
【００１４】
また、第２の発明は、
第１の解像度を有する第１の画像が複数入力され、前記複数の第１の画像を用いて前記第１の解像度より縦横の画素密度をそれぞれ増加させた第２の解像度を有する第２の画像を生成する超解像度化部と、
前記第１の画像が複数入力され、前記複数の第１の画像間で動きベクトルを検出する動きベクトル検出部と、
前記動き検出部によって検出された動きベクトルが入力され、前記動きベクトルを用いて前記複数の第１の画像の位置を合わせたものの部分領域に存在する画素数を数える画素数算出部と、
前記画素数算出部により算出された前記画素数及び前記第１の画像が入力され、前記画素数を用いて第２の画像の部分領域ごとの鮮鋭度を計算する鮮鋭度計算部と、
前記鮮鋭度計算部により計算された部分領域ごとの鮮鋭度が入力され、前記鮮鋭度を画像として表示するための値に変換したものを部分領域ごとに持つ第３の画像を生成する鮮鋭度画像生成部と、
前記第１の画像及び前記第３の画像が入力され、前記第１の画像及び前記第３の画像を合成して第４の画像を生成する合成部とを具備することを特徴とする超解像度画像の生成装置を提供する。
【００１５】
を提供する。
【００１６】
また、第３の発明は、
第１の解像度を有する第１の画像が複数入力され、前記複数の第１の画像を用いて前記第１の解像度より縦横の画素密度をそれぞれＭ倍及びＮ倍に増加させた第２の解像度を有する第２の画像を生成する超解像度化部と、
前記第１の画像が複数入力され、前記複数の第１の画像間で動きを検出する動き検出部と、
前記動き検出部によって検出された動きが入力され、前記動きを用いて前記複数の第１の画像の位置を合わせたものの部分領域に存在する画素数nを数える画素数算出部と、
前記画素数算出部により算出された前記画素数n、予め設定された閾値及び予め設定された縦方向と横方向の画素密度倍率の比（Ｍ／Ｎ）が入力され、前記画素数ｎを前記Ｍと前記Ｎの積で除算した値（ｎ／ＭＮ）が、前記閾値以上となり、前記比（Ｍ／Ｎ）の関係を満たす最大のＭとＮを決定する画素密度倍率決定部とを具備し、
前記超解像度化部は、前記画素密度倍率決定部により決定された画素密度倍率が入力され、前記画素密度倍率を用いて前記第２の画像を生成することを特徴とする超解像度画像の生成装置を提供する。
【発明の効果】
【００１７】
パソコンのモニタ上に、鮮鋭度に関する情報が提示されるため、鮮鋭度の低い部分があるかどうかが分かりやすくなる。また、超解像度化に必要な画素数を倍率で除算した値を鮮鋭度に用いることで、ぼけが生じない範囲で最大のサイズの画像を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施形態を、図面を参照しながら説明する。なお、本発明は以下の実施形態に限定されることはなく種々工夫して用いることができる。
【００１９】
図４は、第1の発明の実施形態に関わる超解像度画像の生成装置のブロック図である。
【００２０】
図４に示すように、この超解像度画像の生成装置０２０１は、低解像度画像データ１が入力される入力部０２０２と、ユーザからのサイズ指示データ０３１０を受けるサイズ指示受理部０３１１と、ぼけであるかどうかの判断基準になる閾値データ０２１０が入力される閾値指示受理部０５０１と、ぼけ領域の色指示データ０２１２が入力される合成色指示受理部０５０２と、低解像度画像データ１を用いて高解像度画像データ２を生成する超解像度化部０２０３と、高解像度画像データ２における部分領域ごとの鮮鋭度データ０２０５を計算する鮮鋭度計算部０２０４と、閾値データ０５０３に基づいて鮮鋭度データ０２０５を部分領域ごとに画像表示する鮮鋭度画像データ３を生成する鮮鋭度画像生成部０２０６と、切り替え指示データ０２１１により低解像度画像データ１と高解像度画像データ２とを切り替える切り替え部０２０７と、低解像度画像データ１と鮮鋭度画像データ３とを合成する合成部０２０８と、合成部０２０８からの表示画像データ４を表示する表示部０２０９とを具備している。
【００２１】
次に、この超解像度画像の生成装置０２０１について動作の説明を行う。
【００２２】
先ず、超解像度画像の生成装置０２０１の外部から、低解像度画像データ１が入力部０２０２へ入力される。また、サイズ指示データ０３１０がサイズ指示受理部０３１１へ入力され、閾値指示データ０２１０が閾値指示受理部０５０１へ入力される。また、切り替え指示データ０２１１が切り替え部０２０７へ入力され、合成色指示データ０２１２が合成色指示受理部０５０２へ入力される。
【００２３】
ここで、画像データとは、画像の縦方向、横方向の画素数と、各画素に濃淡や色を表す値を持ったデータである。例えば、高さがＨで幅がＷの濃淡画像データは、HとW、H行Ｗ列の行列により定義できる。また、サイズ指示データ０３１０は、後で説明する超解像度化部０２０３において生成する解像度を増加させた高解像度画像データ２の高さと幅を表すデータである。
【００２４】
次に、入力部０２０２では、低解像度画像データ１がそのまま出力され、超解像度化部０２０３と切り替え部０２０７に送られる。
【００２５】
サイズ指示受理部０３１１では、サイズ指示データ０３１０がそのまま出力され、超解像度化部０２０３に送られる。
【００２６】
次に、閾値指示受理部０５０１では、閾値指示データ０２１０に従い、閾値データ０５０３が設定されて出力され、鮮鋭度画像生成部０２０６に送られる。閾値指示受理部０５０１は、例えば、スライドバーであり、閾値指示データ０２１０は、スライドバーの位置を表すデータである。このとき閾値の最小値と最大値とを予め設定しておくことにより、閾値データ０５０３がスライドバーの位置から計算されて設定されることになる。
【００２７】
また、閾値指示データ０２１０により閾値データ０５０３が変更されたときに、後で説明する表示画像データ４がそれに連動して表示も変化されるようにできるため、どの部分の鮮鋭度が低く、どの部分が高いか分かりやすくなる。ここで、鮮鋭度とは、ある被写体がどれだけ鮮鋭にうつっているかを示す値である。
【００２８】
合成色指示受理部０５０２では、合成色指示データ０２１２に従い、合成色データ０５０４が設定されて出力され、合成部０２０８に送られる。合成色指示受理部０５０２は、例えば、カラーパレットであり、合成色指示データ０２１２は、そのカラーパレット中の位置を表すデータである。合成色データ０５０４はその位置に対応した色として設定される。
【００２９】
また、合成色指示データ０２１２により合成色データ０５０４が変更されたときに、後で説明する表示画像データ４がそれに連動して表示も変化されるようにできるため、ユーザの好む合成色で合成された画像が表示されるようになる。もし、合成色データ０５０４を予め定めた色で固定するのであれば、合成色指示データ０２１２と合成色指示受理部０５０２は不要である。
【００３０】
超解像度化部０２０３では、低解像度画像データ１がサイズ指示データ０３１０の表す高さＨと幅Ｗに超解像度化された高解像度画像データ２が生成される。この超解像度化部０２０３では、複数の入力画像を基にして画素数を増加させたり、画像の相似性を利用して画素数を増やしたりといった超解像度手法を用いることができる。次に、この超解像度化部０２０３で生成された高解像度画像データ２は鮮鋭度計算部０２０４と切り替え部０２０７に送られる。
【００３１】
鮮鋭度計算部０２０４では、高解像度画像データ２の部分領域ごとに、鮮鋭度が計算され、それら部分領域ごとの鮮鋭度の集合が鮮鋭度データ０２０５として出力され、鮮鋭度画像生成部０２０６に送られる。
【００３２】
ここで部分領域は、例えば、縦横それぞれＡ個、Ｂ個の画素の領域である。高解像度画像データ２中に部分領域が縦横それぞれＣ個、Ｄ個あれば、鮮鋭度データ０２０５をＣ行Ｄ列の行列で表現できる。その行列の各要素が各部分領域の鮮鋭度である。ある部分領域の鮮鋭度は、例えば、その部分領域内の画素の濃淡値に２次元離散フーリエ変換を施して得られる係数のうち、高い周波数に対応するものほど大きな重みをつけて加算した値により定義できる。またはその値をその部分領域内の画素数で除算した値により定義できる。
【００３３】
これらの定義では、高い周波数成分を持つ部分領域ほど鮮鋭度が高くなる。Ａ＝Ｂ＝８など、ＡとＢを２の累乗にすると、２次元離散フーリエ変換の計算に都合が良い。ＡとＢを利用者が設定できるようにしても良い。
【００３４】
次に、鮮鋭度画像生成部０２０６では、鮮鋭度データ０２０５が閾値データ０５０３よりも小さい部分領域に１、それ以外の領域に０を持つ鮮鋭度画像データ３が生成され、合成部０２０８に送られる。
【００３５】
図７に、高解像度画像データ２を重なりなく部分領域に分割した例を表す。ここで、図７中の丸が画素を表し、四角形が部分領域を表す。この例では、画素数横Ｗ＝２４、画素数縦Ｈ＝１６、部分領域画素数横Ａ＝８、部分領域画素数縦Ｂ＝８、部分領域数縦Ｃ＝２、部分領域数横Ｄ＝３である。
【００３６】
また、図８に、図７の高解像度画像データ２に対して画素数と画素密度が１／４の低解像度画像データ１と、図７で説明した部分領域に対応する部分領域を表す。この例では、画素数横Ｗ＝１２、画素数縦Ｈ＝８、部分領域画素数横Ａ＝４、部分領域画素数縦Ｂ＝４、部分領域数縦Ｃ＝２、部分領域数横Ｄ＝３である。
【００３７】
次に、切り替え部０２０７では、低解像度画像データ１と高解像度画像データ２とが切り替え指示データ０２１１により切り替えられ、それらのうちのいずれか一方が合成部０２０８に送られる。
【００３８】
合成部０２０８では、低解像度画像データ１または高解像度画像データ２のうち、鮮鋭度画像データ３が１である領域と対応する領域が合成色データ０５０４と半透明に合成され、残りの領域は低解像度画像データ１または高解像度画像データ２と同じである表示画像データ４が生成され、表示部０２０９に送られる。表示部０２０９では、表示画像データ４の表す画像が表示される。
【００３９】
図１５に、このようにして合成色データ０５０４が赤（図１５では網掛けで表現）である場合の表示画像データ４の表す画像がコンピュータのモニタに表示された例を表す。
【００４０】
次に、第１の発明に関わる超解像度画像の生成装置０２０１の処理の流れを、図１を参照しながら説明する。
【００４１】
先ず、図１に示すように、入力部０２０２に低解像度画像データ１が入力される（ステップＳ０１０１）。
【００４２】
次に、低解像度画像データ１が超解像度化部０２０３にて超解像度化処理が施され、解像度が増加した高解像度画像データ２が生成される（ステップＳ０１０２）。
【００４３】
次に、鮮鋭度計算部０２０４にて高解像度画像データ２の部分領域ごとの鮮鋭度の集合である鮮鋭度データ０２０５が計算される（ステップＳ０１０３）。
【００４４】
次に、鮮鋭度画像生成部０２０６にて鮮鋭度データ０２０５が閾値データ０５０３よりも小さい部分領域に１、それ以外の領域に０を持つ鮮鋭度画像データ３が生成される（ステップＳ０１０４）。
【００４５】
次に、低解像度画像データ１または高解像度画像データ２のうち、鮮鋭度画像データ３が１である領域と対応する領域が合成色０５０４と半透明に合成され、残りの領域は低解像度画像データ１または高解像度画像データ２と同じである表示画像データ４が生成される（ステップＳ０１０５）。
【００４６】
次に、表示画像データ４がコンピュータのモニタに表示される（ステップＳ０１０６）。
【００４７】
このようにして図１５で説明したように、解像度の低いコンピュータのモニタ上にも鮮鋭度データ０２０５が閾値データ０５０３よりも小さい部分領域が合成色データ０５０４と半透明に合成されて表示される。このようにしてコンピュータのモニタ上で鮮鋭度の低い部分と高い部分の混在が一目で分かるようになる。したがって、むらの有無が一目でわかるようになり、むらのない超解像度画像を生成しやすくなる。
【００４８】
上述した実施形態では、低解像度画像データ１として、濃淡画像の場合を例にとって説明したが、カラー画像であっても構わない。その場合、鮮鋭度データ０２０５はカラー画像を濃淡画像に変換してから計算したり、各色成分に関して計算した鮮鋭度の平均を鮮鋭度データ０２０５として定義しなおしたりする。これにより、濃淡画像だけでなく、カラー画像にも適用できるようになる。
【００４９】
また、本実施形態では、鮮鋭度データ０２０５の計算方法の例として、２次元離散フーリエ変換を利用する方法を挙げたが、他の計算方法を利用しても構わない。
【００５０】
次に、図５のブロック図を用いて、第２の発明に係る超解像度画像の生成装置について説明する。この超解像度画像の生成装置は、複数の低解像度画像データ１を利用して高解像度画像を生成するものであり、複数の低解像度画像データ間の重なりが、超解像度化による画素密度の倍率に対して大きいほど、高解像度画像データの鮮鋭さが増すという性質を利用したものであり、低解像度画像データ間の重なり具合を表す値を、超解像度化による画素密度の倍率で除算した値により鮮鋭度データを計算したものである。
【００５１】
図５に示すように、この超解像度画像の生成装置０２０１は、低解像度画像データ１が複数入力される入力部０２０２と、複数の低解像度画像データ１を用いて縦横の画素密度をそれぞれＭ倍及びＮ倍に増加させた高解像度画像データ２を生成する超解像度化部０２０３と、低解像度画像データ１が複数入力され、複数の低解像度画像データ１間で動きを検出する動き検出部０３０１と、動き検出部０３０１によって検出された動きデータ０３０２が入力され、この動きデータ０３０２を用いて複数の低解像度画像データの位置を合わせたものの部分領域に存在する画素数nを数え全部分領域に画素数ｎの集合が与えられた画素数データ０３０４を算出する画素数算出部０３０３と、画素数算出部０３０３により算出された画素数データ０３０４及び低解像度画像データ１が入力され、画素数ｎデータ０３０４を用いて低解像度画像データ１の部分領域ごとの鮮鋭度データ０２０５を計算する鮮鋭度計算部０２０４と、鮮鋭度計算部０２０４により計算された部分領域ごとの鮮鋭度データ０２０５が入力され、鮮鋭度データ０２０５を部分領域ごとに画像表示する鮮鋭度画像データ３を生成する鮮鋭度画像生成部０２０６と、低解像度画像データ１及び鮮鋭度画像データ３が入力され低解像度画像データ１及び鮮鋭度画像データ３を合成して表示画像データ４を生成する合成部０２０８と、合成部０２０８によって合成された表示画像データ４が入力され、表示画像データ４を表示する表示部０２０９とを具備している。
【００５２】
また、第１の発明と同様に、ユーザからのサイズの指示を受けるサイズ指示受理部０３１１と、ぼけであるかどうかの判断基準になる閾値データ０２１０が入力される閾値指示受理部０５０１と、ぼけ領域の色を指示する合成色指示受理部０５０２と、超解像度化指示データが入力され超解像度化部０２０３に超解像度を指示する超解像度化指示受理部０３１３とを具備している。
【００５３】
入力部０２０２では、低解像度画像データ１が複数出力され、動き検出部０３０１、画素数算出部０３０３と鮮鋭度計算部０２０４に送られる。
【００５４】
動き検出部０３０１では、複数の低解像度画像データ１に含まれる画像間の動きが低解像度画像データ１の画素間隔よりも細かい精度で検出され、動きデータ０３０２として出力され、画素数算出部０３０３に送られる。この動きデータ０３０２は、画像全体の動きとして求められたり、画像中の部分領域ごとの動きとして求められたり、各画素の動きとして求められたりする。
【００５５】
画素数算出部０３０３では、低解像度画像データ１の高さと幅、動きデータ０３０２が入力され、これらから複数の低解像度画像データ１に含まれる画像のうちの１枚を基準として、低解像度画像データ１中の画像の位置が合わされる。そして、生成される高解像度画像データ２の部分領域と同じ位置の領域における画素数nが数えられ、全部分領域に対するnの集合が画素数データ０３０４として鮮鋭度計算部０２０４に送られる。
【００５６】
この画素数データの算出方法について図９乃至図１４を用いて説明する。
【００５７】
図９及び図１１は、低解像度画像データ１を示し、図１０は、これらの低解像度画像データ１の画素数を縦横それぞれ３倍に増やした高解像度画像データ２を示す。図中丸が１つの画素を表している。
【００５８】
図１２は、図９及び図１１で示す低解像度画像データ１をそれぞれ位置合わせした様子を示す。
【００５９】
また、図１３は、図１０の高解像度画像データ２の画素のある部分領域を四角形で表現している。
【００６０】
また、図１４は、図１２で示した位置あわせした低解像度画像データ１について、図１３で示した部分領域と同じ位置にある部分領域を四角形で表現している。このように図１４の四角形内に画素は２つあるため、図１３の部分領域と同じ位置の部分領域における画素数ｎは２となる。
【００６１】
鮮鋭度計算部０２０４では、各部分領域での鮮鋭度が、画素数データ０３０４中のその部分領域の画素数nを、超解像度化による画素密度の倍率mで除算することにより計算される。先程の例と同様に、画素の位置が図９に示す通りである低解像度画像データ１から、画素数を縦横それぞれ３倍に増やした図１０の高解像度画像データ２を生成する場合を考える。この場合、画素数が（３×３＝）９倍に増え、画素密度の倍率は９となるため、ｍ＝９である。画素数データ０３０４中のその部分領域の画素数nは２であった。したがって、nをmで除算した２／９という値が図１３の部分領域の鮮鋭度となる。
【００６２】
他の部分領域に対しても同様に鮮鋭度を算出してまとめたデータが鮮鋭度データ０２０５として出力される。
【００６３】
このように鮮鋭度計算部０２０４では、生成する高解像度画像データ２の各部分領域での鮮鋭度が、低解像度画像データ１の高さと幅、サイズ指示データ０３１０、画素数データ０３０４とから計算され、全部分領域に対する鮮鋭度ｎ／ｍの集合が鮮鋭度データ０２０５として鮮鋭度画像生成部０２０６に送られる。
【００６４】
この定義では、鮮鋭度の計算のために、超解像度化の処理が必要ない。したがって、超解像度画像を生成する前に鮮鋭度を計算できる。その分、表示画像データ４を表示するまでの時間を短くできる。時間が短くなるため、利用者がサイズ指示データ０３１０を変化させることによりｍを変化させてから、表示画像データ４が表示されるまでの時間が短くなる。表示までの時間が短くなるため、利用者に与えるストレスを軽減できる。
【００６５】
動き検出の精度が信頼できない画素は、鮮鋭度の計算のための画素としては数えないようにしてもよい。また、動き検出の精度が信頼できる画素ほど大きな重みを与えて数えるように定義を変更してもよい。
【００６６】
次に、第２の発明に関わる超解像度画像の生成装置０２０１の処理の流れを、図２を参照しながら説明する。
【００６７】
先ず、図２に示すように、入力部０２０２に第1の画像データ（低解像度画像データ）１が複数入力される（ステップＳ０３０１）。
【００６８】
次に、入力部０２０２から複数の低解像度画像データ１が動き検出部０３０１に入力され、これらの複数の低解像度画像データ１から動きデータ０３０２が算出される（ステップＳ０３０２）。
【００６９】
次に、画素数算出部０３０３にて、低解像度画像データ１中の画像間の位置が合わされ、生成する表示画像データ４の各部分領域に対応する画素の数の集合である画素数データ０３０４が求められる（ステップＳ０３０３）。
【００７０】
次に、鮮鋭度計算部０２０４にて、画素数データ０３０４を用いて高解像度画像データ２に対応する部分領域ごとの鮮鋭度の集合である鮮鋭度データ０２０５が計算される（ステップＳ０３０４）。
【００７１】
次に、鮮鋭度画像生成部０２０６にて鮮鋭度データ０２０５が閾値データ０５０３よりも小さい部分領域に１、それ以外の領域に０を持つ鮮鋭度画像データ３が生成される（ステップＳ０３０５）。
【００７２】
次に、合成部０２０８にて、鮮鋭度画像データ３が１である領域と対応する領域が合成色データ０５０４と半透明に合成され、残りの領域は第１の画像データと同じである表示画像データ４が生成される（ステップＳ０３０６）。
【００７３】
次に、表示画像データ４がコンピュータのモニタに表示される（ステップＳ０３０７）。
【００７４】
なお、超解像度化部０２０３では、超解像度化指示データ０３１２が入力されると、低解像度画像データ１と動きデータ０３０２とから、低解像度画像データ１のうち少なくとも１枚がサイズ指示データ０３１０の表す幅と高さに超解像度化された高解像度画像データ２が生成される。
【００７５】
超解像度化手法の一つとして、学習用の低解像度画像と高解像度画像の組から、それらの部分領域ごとに対応関係をデータベースに登録し、そのデータベースを利用して超解像度化の処理を行うものがある。この手法では、部分領域ごとに超解像度化の処理を行う。
【００７６】
この手法では、先ず、超解像度化したい低解像度画像のある部分領域と類似した低解像度画像の部分領域を、学習時に登録したデータベース中の低解像度画像の部分領域との距離が小さいものを見つけることにより探索する。そして、それと対応する高解像度画像の部分領域の特徴を利用して、超解像度画像を生成する。
【００７７】
例えば、その対応する高解像度画像の部分領域を、超解像度画像の部分領域としてそのまま採用する場合がある。また、超解像度化する低解像度画像を内挿法により拡大したものに、その対応する高解像度画像の部分領域の高周波成分を加算する場合もある。いずれにせよ、データベースから探索された低解像度画像の部分領域の、超解像度化したい低解像度画像の部分領域に対する距離ｄが近いほど鮮鋭な超解像度画像が生成されるという性質がある。
【００７８】
そこで、この性質を利用し、１／（ｄ＋ε）を鮮鋭度として用いることができる。ここで、εは０に近い正の小さな数であり、ｄが０のときに０で除算するのを防ぐための数である。こうすることでデータベースから探索されたものが、超解像度化するものに近いほど大きな鮮鋭度になるように定義することができる。この方法では、鮮鋭度は距離さえ算出できれば計算できるため、超解像度画像を生成する前に計算できる。
【００７９】
したがって、利用者がｍを変化させてから、表示画像データ４が表示されるまでの時間を短くできるという効果がある。
【００８０】
また、本実施形態では、超解像度画像の全部分領域に関して鮮鋭度を計算したが、平坦な部分領域ではぼけを知覚しにくいため、鮮鋭度の計算を省略するように変更しても構わない。この変更に伴い、鮮鋭度の計算を省略した部分領域では鮮鋭度に関する情報を提示しないように変更すると良い。平坦な部分領域は、低解像度画像データ１または超解像度画像に対してエッジ検出を施し、エッジがないと判定された部分領域と定義すれば良い。これにより、計算量を削減できる。
【００８１】
また、鮮鋭度の計算方法として、例えば、超解像度画像とそれに平均値フィルタを施した画像の部分領域からそれぞれ求めたデルタヒストグラムの差分を鮮鋭度として用いることができる。
【００８２】
ここで、画像の部分領域からデルタヒストグラムを求める方法を説明する。
【００８３】
先ず、画像の部分領域内のある画素の濃淡値と、その画素の左上、上、右上、左、右、左下、下、右下に隣接する画素の濃淡値の差分の絶対値をそれぞれ求める。こうして８つの値が求められる。
【００８４】
次に、部分領域内の他の画素でも同様にして、これら８つの値を求める。そうすると、部分領域内の外周以外の画素数Ｅに８を掛け合わせた数である８Ｅ個の値が求められる。最後に、その８Ｅ個の値から、横軸に差分の絶対値、縦軸に頻度をとったヒストグラムを求める。ここで、８階調の濃淡画像であれば、差分の絶対値は0から255の値をとる。こうして、画像の部分領域のデルタヒストグラムが求められる。
【００８５】
デルタヒストグラムＨ（１）とＨ（２）の差分は、例えば、
【数１】
2008067110.tif 000003
【００８６】
により計算する。ここで、max(・,・)は２つの値の最大値をとる関数であり、min(・,・)は最小値をとる関数である。
【００８７】
また、超解像度画像とそれに平均値フィルタを施した画像の部分領域からそれぞれ求めた累積デルタヒストグラムの差分を鮮鋭度として用いても良い。
【００８８】
累積デルタヒストグラムは、上述の方法で求めたデルタヒストグラムから、縦軸を累積頻度にすることで求められる。その他は同様にして計算できる。
【００８９】
また、超解像度画像の部分領域における鮮鋭度を計算し、その部分領域と対応する低解像度画像データ１の領域の鮮鋭度をさらに計算し、前者を後者で除算した値を改めて鮮鋭度として用いることができる。
【００９０】
こうすることによって超解像度化の処理によってぼけた部分の鮮鋭度が小さくなるため、超解像度化によって発生したむらの位置が分かりやすくなる。
【００９１】
また、超解像度画像のうち、鮮鋭度が低い部分領域付近をパーソナルコンピュータのモニタに表示させることもできる。これにより、鮮鋭度の低い部分がどの程度ぼけているのかを目視しやすくなる。もちろん、利用者が超解像度画像のどの部分を表示させるか、選択できるようにしても良い。これにより、利用者が特に注目したい部分がぼけていないかどうかを確認しやすくなる。
【００９２】
また、超解像度画像全体が表示部０２０９におさまるように画像サイズを変更してから表示させることもできる。これにより、超解像度化により不自然なノイズが発生した場合に発見しやすくなる。
【００９３】
また、本実施形態では、閾値データ０５０３よりも鮮鋭度が低い部分だけが合成色データ０５０４と半透明に合成されるようにしたが、別の方法で合成しても構わない。
【００９４】
例えば、閾値データ０５０３よりも鮮鋭度が高い部分だけが合成色データ０５０４と半透明に合成されるようにしても良い。このように変更しても、鮮鋭度の低い部分と高い部分が混在することを一目で確認できる。
【００９５】
また、閾値データ０５０３を利用せず、鮮鋭度データ０２０５の値に比例、あるいは、反比例させてアルファ値と呼ばれる透過度を設定し、合成色データ０５０４と半透明に合成されるようにできる。これにより、鮮鋭度が高いほど、あるいは、低いほど、合成色０５０４が濃く半透明に合成されるようになる。この変更に伴い、閾値指示受理部０５０１や閾値指示データ０２１０、閾値データ０５０３は不要となる。
【００９６】
また、本実施形態では、低解像度画像データ１の全体を超解像度化したが、その一部分だけを保存したり、印刷したりできる。超解像度画像を縮小表示させてもむらの有無が分かりにくかったために、保存したり、印刷したりする領域を選択するのが困難だった。それに対し、表示された表示画像データ４から領域を指定させ、その領域と対応する超解像度画像中の領域だけを保存したり、印刷したりすることにより、むらのない領域を選択しやすくなる。その結果としてむらのない超解像度画像を保存したり、印刷したりしやすくなる。
【００９７】
また、本実施形態では、低解像度画像データ１の全体を超解像度化したが、低解像度画像データ１中の一部分だけを超解像度化するようにできる。鮮鋭度が超解像度化の前に計算できる場合、超解像度化の前に表示画像データ４を生成して表示できる。表示された表示画像データ４に基づいて、利用者が超解像度化する領域を選択できるようにすれば、むらのない超解像度画像を生成しやすくなる。
【００９８】
また、超解像度画像を印刷するのに適した用紙サイズを提示するように変更しても良い。超解像度画像中の印刷領域と印刷時の解像度が決定すれば、それに適したＡ３、Ａ４などの用紙サイズを計算できる。印刷領域としては、表示した表示画像データ４から領域を指定させることで、それに対応する超解像度画像の領域が設定されるようにする。解像度は、プリンタの性能から自動的に決定したり、写真の求める画質により決定したりする。
【００９９】
縦に印刷するか横に印刷するかという印刷方向を、印刷領域の高さと幅から自動的に決定するようにすると良い。これにより、利用者がわざわざ縦か横かを指定しなくても済むようになる。
【０１００】
用紙サイズと印刷方向、解像度が決まっていれば、印刷に必要な縦方向と横方向の画素数を計算できる。この性質を利用して、利用者が用紙サイズと印刷方向、解像度を設定すると、印刷領域を指定しやすくできる。具体的には、計算した画素数の大きさの矩形を表示させ、それを利用者が移動させられるようにすれば、印刷領域を指定しやすくなる。表示画像データ４上にその矩形を表示させれば、鮮鋭度が高く、かつ、利用者が好む画角の印刷領域を指定しやすい。
【０１０１】
また、超解像度化部０２０３では、複数の低解像度画像データ１同士を繋ぎ合わせ、さらにそれを超解像度化することにより、超解像度画像の画角を広げることができる。
【０１０２】
図２０は、この超解像度画像の生成装置０２０１のブロック図である。
【０１０３】
図５の構成に対し、接合部２００１と領域指示受理部２００４、倍率指示受理部２００７が追加され、サイズ指示受理部０３１１が削除されている。その他図５と同一部分には同一符号を付し、その説明は省略する。
【０１０４】
入力部０２０２では、低解像度画像データ１がそのまま出力され、動き検出部０３０１と接合部２００１とに送られる。
【０１０５】
接合部２００１では、動きデータ０３０２と低解像度画像データ１とから、低解像度画像データ１中の画像が繋ぎ合わされた画像データ５が生成され画素数算出部０３０３に送られる。
【０１０６】
これらの処理を図２１乃至図２５に富士山の画像を例にして説明する。
【０１０７】
先ず、図２１に示す風景のうち、時刻tでは図２２(a)の部分が撮影され、時刻t+1では図２２(b)、時刻t+2では図２２(c)が撮影された場合を考える。このように低解像度画像データ１が図２２で示すようにこれら３枚であった場合、接合部２００１では、動きデータ０３０２に基づいて位置合わせがなされ、画像データ５を生成する。
【０１０８】
図２３は、この繋ぎ合わされた画像データ５を表している。
【０１０９】
また、図２４は、繋ぎ合わされた画像データ５の画素の位置を表す。図中の丸い形状が画素を表す。このように、画像データ５は、画素の位置を保持している。
【０１１０】
画素数算出部０３０３では、画像データ５から、各部分領域内の画素の数nが数えられ、それらの集合が画素数データ０３０４として出力され、鮮鋭度計算部０２０４に送られる。
【０１１１】
倍率指示受理部２００７では、超解像度画像の生成装置０２０１の外部から入力された倍率指示データ２００６から、画素密度倍率２００８が決定される。この画素密度倍率２００８は、上述のｍと同じである。倍率指示受理部２００７は例えばテンキーであり、倍率指示２００６は利用者によるキー入力である。
【０１１２】
鮮鋭度計算部０２０４では、生成する超解像度画像の各部分領域での鮮鋭度が、画素密度倍率２００８と画素数データ０３０４とから計算され、全部分領域に対する鮮鋭度の集合が鮮鋭度データ２０５として出力され、鮮鋭度画像生成部０２０６に送られる。
【０１１３】
領域指示受理部２００４では、超解像度画像の生成装置０２０１の外部から入力された領域指示データ２００３から、領域データ２００５が決定され合成部０２０８に送られる。
【０１１４】
領域指示受理部２００４は、例えば、マウスなどの入力インターフェースであり、領域指示データ２００３はそれを利用した利用者による指示である。領域データ２００５は、その指示により決定された領域を表す。
【０１１５】
図２５に、領域が矩形だった場合の領域データ２００５の例を表す。
【０１１６】
合成部０２０８では、領域データ２００５の輪郭を破線で合成されたものが表示画像データ４として表示部０２０９に送られる。なお、領域データ２００５が指定されていない場合は、破線は合成されない。あるいは、領域データ２００５の内部だけを、表示画像データ４として出力するようにしても良い。そうすると、表示させた時に、どのような画角になっているのかを、利用者にわかりやすく伝えられる。
【０１１７】
図２６は、この場合の処理の流れを表すフローチャートである。
【０１１８】
図２６のステップＳ０６０１、ステップＳ０６０２では、図２で説明したステップＳ０３０１、ステップＳ０３０２と同様に処理される。
【０１１９】
次に、動きに基づいて低解像度画像データ１中の画像が繋ぎ合わされて画像データ５が生成される（ステップＳ０６０３）。
【０１２０】
次に、画像データ５の部分領域内の画素数が数えられることにより、画素数データ０３０４が生成される（ステップＳ０６０４）。
【０１２１】
次に、鮮鋭度データ２０５が計算される（ステップＳ０６０５）。
【０１２２】
次に、ステップＳ０６０６では、図２で説明したステップＳ０３０５と同様に処理される。
【０１２３】
次に、表示画像データ４が生成される（ステップＳ０６０７）。
【０１２４】
次に、ステップＳ０６０８では、図２で説明したステップＳ０３０７と同様に処理される。
【０１２５】
このようにして動きに基づいて位置合わせを行うことにより繋ぎ合わされた画像は、繋ぎ合わされていないものに対して、高さや幅が大きくなる。その繋ぎ合わされた画像を超解像度化すると、高さと幅がさらに大きくなる。その超解像度化画像が表示装置に、全体がおさまるように縮小されて表示される場合、むらがさらに分かり難くなる。ここでは縮小の割合に関係なく、鮮鋭度の低い領域が合成色データ０５０４と半透明に合成されるため、むらの有無が分かりやすい。
【０１２６】
さらに、領域２００５が破線で合成されて表示されるため、表示画像データ４のうちどの部分を超解像度化して印刷すればむらが発生しないかが分かりやすい。また、求めた動きを、画像を繋ぎ合わせるために利用し、さらに、鮮鋭度を求めるためにも利用するため、処理に無駄がない。
【０１２７】
図６は、第３の発明の実施形態に関わる超解像度画像の生成装置のブロック図である。
【０１２８】
図６に示すように、この超解像度画像の生成装置０２０１は、低解像度画像データ１が複数入力される入力部０２０２と、比指示データ０８０１が入力され超解像度化の際の縦方向と横方向の画素密度倍率の比（Ｍ／Ｎ）である比データ０８０３を設定する比指示受理部０８０２と、複数の低解像度画像データ１を用いて縦横の画素密度をそれぞれＭ倍及びＮ倍に増加させる超解像度化部０２０３と、低解像度画像データ１が複数入力され、複数の低解像度画像データ１間で動きを検出する動き検出部０３０１と、動き検出部０３０１によって検出された動きが入力され、その動きを用いて複数の画像データの位置を合わせたものの部分領域に存在する画素数nを数える画素数算出部０３０３と、閾値指示データ０２１０が入力され閾値データ０５０３を設定する閾値指示受理部０５０１と、画素数算出部０３０３により算出された画素数nデータ０３０４、閾値データ０５０３及び比データ０８０３が入力され、画素数ｎデータ０３０４をＭとＮの積で除算した値（ｎ／ＭＮ）が、閾値データ０５０３以上となり、比データ０８０３の関係を満たす最大のＭとＮを表す画素密度倍率データ０６０２を決定する画素密度倍率決定部０６０１と有している。
【０１２９】
入力部０２０２では、低解像度画像データ１がそのまま出力され、動き検出部０３０１と画素数算出部０３０３とに送られる。
【０１３０】
また、画素数算出部０３０３での処理は、画素数データ０３０３が画素密度倍率決定部０６０１に送られる。また、比指示受理部０８０２は、例えば、テンキーからなり、ユーザにより押されたキー入力列が比指示データ０８０１として入力され、それが数値に変換されたものが比０８０３として出力され、画素密度倍率決定部０６０１に送られる。
【０１３１】
また、画素密度倍率決定部０６０１では、画素数データ０３０４と閾値データ０５０３と比データ０８０３とから、縦方向の画素密度倍率Ｍと横方向の画素密度倍率Ｎがそれぞれ求められ、ＭとＮの組が画素密度倍率データ０６０２として出力される。
【０１３２】
また、超解像度化部０２０３では、低解像度画像データ１、動きデータ０３０２と画素密度倍率データ０６０２とから、低解像度画像データ１のうち少なくとも１枚が画素密度倍率データ０６０２の表す画素密度倍率で超解像度化された高解像度画像データ２が生成される。
【０１３３】
次に、画素密度倍率決定部０６０１でのＭとＮの計算方法を説明する。ここで、鮮鋭度が、n/ｍにより定義されているものとする。画素密度の倍率ｍはＭとＮの積であるＭＮに等しいため、ＭやＮを増加させると、ｍは増加する。したがって、ＭやＮを増加させると、鮮鋭度n/ｍが減少することになる。
【０１３４】
一方、画素数nデータは、鮮鋭度を計算する超解像度画像の部分領域にのみ依存するため、ＭやＮを増加させても、変化しない。したがって、n_minを閾値データ０５０３で除算することにより、全部分領域で鮮鋭度が閾値データ０５０３以上になるｍを求められる。ここで、n_minは、鮮鋭度データ０２０５の中で最小の鮮鋭度である。
【０１３５】
ＭとＮの比が、Ｍ＝aＮにより表される場合、ｍ＝ＭＮ、Ｍ＞０、Ｎ＞０より、全部分領域で鮮鋭度が閾値０５０３以上になるＭとＮは、それぞれ、
【数２】
2008067110.tif 000004
【０１３６】
と決定できる。ここで、aは比データ０８０３を表し、Ｔは閾値データ０５０３を表す。
【０１３７】
ここでは、比データ０８０３、すなわちaをユーザが与える構成にしたが、aは必ずしもユーザが与えなくても構わない。例えば、生成する高解像度画像２の高さと幅の比が、表示装置や印刷用紙に同期して定まっている場合、それに合わせてaを自動的に設定すれば良い。あるいは、元の低解像度画像と同じ縦横比にしたい場合、aを1に設定すれば良い。
【０１３８】
処理の流れを図３に示す。
【０１３９】
先ず、入力部０２０２に複数の低解像度画像データ１が入力される（ステップＳ０４０１）。
【０１４０】
次に、動き検出部０３０１にて、この複数の低解像度画像データ１間の動きデータを求める（ステップＳ０４０２）。
【０１４１】
次に、動き検出部０３０１からの動きデータ０３０２及び複数の低解像度画像データ１から画素数を算出する（ステップＳ０４０３）。
【０１４２】
次に、閾値指示データ０２１０が入力された閾値指示受理部０５１０は、閾値データ０５０３を設定する（ステップＳ０４０４）。
【０１４３】
次に、比指示受理部０８０２では、MとNの比である比データ０８０３（a）を設定する（ステップＳ０４０５）。
【０１４４】
次に、画素密度倍率決定部０６０１では、画素密度倍率データ０６０２（ＭとＮ）を決定する（ステップＳ０４０６）。
【０１４５】
このように全部分領域で鮮鋭度n/mが閾値データ０５０３（Ｔ）以上であり、かつ、設定した比の関係を満たす最大のＭとＮが自動的に決定されるようになる。
【図面の簡単な説明】
【０１４６】
【図１】本発明の第１の発明の実施形態に関わる超解像度画像の生成装置の処理の流れを表すフローチャートである。
【図２】本発明の第２の発明の実施形態に関わる超解像度画像の生成方法の処理の流れを表すフローチャートである。
【図３】本発明の第３の発明の実施形態に関わる超解像度画像の生成補助方法の別の変更例の処理の流れを表すフローチャートである。
【図４】本発明の第１の発明の実施形態に関わる超解像度画像の生成補助装置の構成を表すブロック図である。
【図５】本発明の第２の発明の実施形態に関わる超解像度画像の生成補助装置の変更例の構成を表すブロック図である。
【図６】本発明の第３の発明の実施形態に関わる超解像度画像の生成補助装置の別の変更例の構成を表すブロック図である。
【図７】超解像度画像とその部分領域を説明するための図である。
【図８】図７に対応する低解像度画像と図７の部分領域と同じ位置の部分領域を説明するための図である。
【図９】低解像度画像の例を表す図である。
【図１０】図９の低解像度画像の画素数を縦横それぞれ３倍に超解像度化した超解像度画像を表す図である。
【図１１】図９の超解像度画像を生成するために利用する図９とは別の低解像度画像を表す図である。
【図１２】図９と図１１の低解像度画像の位置を合わせた様子を示す図である。
【図１３】図１０の超解像度画像のうちのある部分領域を説明するための図である。
【図１４】図９と図１１の低解像度画像の位置を合わせたものにおいて、図１０の部分領域と同じ位置の部分領域を説明するための図である。
【図１５】合成色０５０４が赤（斜線で表示）である場合の表示画像データ４の表す画像が表示された例を表す。
【図１６】むらのある画像をプリンタから印刷した様子を示す図である。
【図１７】図１６の画像のぼけた部分を楕円で囲んだ図である。
【図１８】図１６の画像を縮小してモニタに表示した様子を示す図である。
【図１９】図１６の画像の一部分だけを縮小せずにモニタに表示した様子を示す図である。
【図２０】本発明の第２の発明の別の実施形態に関わる超解像度画像の生成装置の構成を表すブロック図である。
【図２１】風景を表す図である。
【図２２】図２１の風景を各時刻に撮影した様子を表す図である。
【図２３】図２２の撮影画像を繋ぎ合わせた様子を表す図である。
【図２４】図２３の画像の画素の位置を表す図である。
【図２５】利用者の指示により決定した領域を表す図である。
【図２６】本発明の第２の発明の別の実施形態に関わる超解像度画像の生成装置の処理の流れを表すフローチャートである。
【符号の説明】
【０１４７】
１・・・低解像度画像データ
２・・・高解像度画像データ
３・・・鮮鋭度画像データ
４・・・表示画像データ
０２０１・・・超解像度画像の生成装置
０２０２・・・入力部
０２０３・・・超解像度化部
０２０４・・・鮮鋭度計算部
０２０５・・・鮮鋭度データ
０２０６・・・鮮鋭度画像生成部
０２０７・・・切り替え部
０２０８・・・合成部
０２０９・・・表示部
０２１０・・・閾値指示データ
０２１１・・・切り替えデータ
０２１２・・・合成色指示データ
０３１０・・・サイズ指示データ
０３１１・・・サイズ指示受理部
０５０１・・・閾値指示受理部
０５０２・・・合成色指示受理部
０５０３・・・閾値データ
０５０４・・・合成色データ
【図１】
2008067110.tif 000005
【図２】
2008067110.tif 000006
【図３】
2008067110.tif 000007
【図４】
2008067110.tif 000008
【図５】
2008067110.tif 000009
【図６】
2008067110.tif 000010
【図７】
2008067110.tif 000011
【図８】
2008067110.tif 000012
【図９】
2008067110.tif 000013
【図１０】
2008067110.tif 000014
【図１１】
2008067110.tif 000015
【図１２】
2008067110.tif 000016
【図１３】
2008067110.tif 000017
【図１４】
2008067110.tif 000018
【図１５】
2008067110.tif 000019
【図１６】
2008067110.tif 000020
【図１７】
2008067110.tif 000021
【図１８】
2008067110.tif 000022
【図１９】
2008067110.tif 000023
【図２０】
2008067110.tif 000024
【図２１】
2008067110.tif 000025
【図２２】
2008067110.tif 000026
【図２３】
2008067110.tif 000027
【図２４】
2008067110.tif 000028
【図２５】
2008067110.tif 000029
【図２６】
2008067110.tif 000030