(57)【要約】【課題】超解像において複数の入力画像を合成する時の加重加算係数を最適化する。【解決手段】撮影によって低解像度画像である複数の入力画像（ＩＮk）を取得し、異なる入力画像間の位置ずれ量を検出する一方で、各入力画像を画素の補間によって高解像度化することにより中間生成画像（ＭＩＤk）を生成する。検出された位置ずれ量をパラメータとして持つ評価関数に基づいて折り返し歪の除去に適した加重加算係数（ｗk）を算出し、該加重加算係数に従って各中間生成画像の対応画像信号を加重加算することにより出力画像を生成する。評価関数は、入力画像の撮影条件等に応じて可変設定される。例えば、入力画像のＩＳＯ感度が高い場合には、折り返し歪の除去よりも、高ＩＳＯ感度に起因して増大したノイズが優先的に除去されるように評価関数を調整する。【選択図】図３
2011082614.tif 000002
【特許請求の範囲】
【請求項１】
撮影によって得られる複数の入力画像間の位置ずれ量をパラメータとして持つ評価関数に基づいて各入力画像を高解像度化しつつ合成することにより、前記入力画像の解像度よりも高い解像度を有する出力画像を生成する画像処理装置において、
前記評価関数は、前記入力画像の撮影条件、前記入力画像の画像特徴、又は、前記位置ずれ量の大きさに応じて可変設定される
ことを特徴とする画像処理装置。
【請求項２】
前記評価関数は、前記入力画像の撮影条件に応じて可変設定され、
前記入力画像の撮影条件は、
前記入力画像の明るさを調節するための信号増幅率、
前記入力画像の撮影時における光学ズーム倍率、又は、
前記入力画像の撮影時における露光時間、を含む
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記評価関数は、前記入力画像の画像特徴に応じて可変設定され、
前記入力画像の画像特徴は、前記入力画像の合焦度合い、又は、前記入力画像上の各位置におけるエッジ強度を含む
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記評価関数は、前記入力画像の画像特徴に応じて可変設定され、
前記入力画像上に前記特定の物体の画像信号が存在しているとき、前記特定の物体の画像信号が存在している画像領域とそれ以外の画像領域との間で、前記複数の入力画像の合成条件を求めるための関数である前記評価関数を異ならせる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記複数の入力画像の夫々を高解像度化することによって複数の中間生成画像を生成する高解像度化部と、
前記評価関数に基づいて各中間生成画像に対する加重加算係数を導出する加重加算係数導出部と、
前記加重加算係数を用いて前記複数の中間生成画像の画像信号を加重加算することにより、前記出力画像を生成する加重加算部と、を備えた
ことを特徴とする請求項１〜請求項４の何れかに記載の画像処理装置。
【請求項６】
複数の画像を撮影する撮像部と、
請求項１〜請求項５の何れかに記載の画像処理装置と、を備えた撮像装置であって、
前記撮像部にて撮影された前記複数の画像を複数の入力画像として前記画像処理装置に与える
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びデジタルカメラ等の撮像装置に関する。本発明は、特に、複数枚の低解像度画像から折り返し歪が除去された高解像度画像を生成する技術に関する。
【背景技術】
【０００２】
複数の低解像度画像から１枚の高解像度画像を生成する画像処理方法が様々に提案されている。これらの方法の内、特許文献１に記載された方法について簡単に説明する。画像が一次元画像である場合を考える。
【０００３】
特許文献１における方法では、標本化位置が互いに異なる複数組のデジタルデータから高解像度化データを生成する。複数組のデジタルデータは、複数の低解像度画像を表し、高解像度化データは高解像度画像を表す。ｋ番目のデジタルデータの標本化位置（Δk）に基づき、下記式（Ａ１）〜（Ａ３）を満たす係数ｗkを算出する。一方で、複数の低解像度画像（複数組のデジタルデータ）の夫々に対してナイキスト周波数以上の高周波成分を通過させるフィルタ処理を行い、該フィルタ処理後の画像を高解像度化する。そして、この高解像度化によって得られた複数の中間高解像度画像を係数ｗkに従って加重加算することにより、折り返し歪が除去された高解像度画像を生成する。
【０００４】
【数１】
2011082614.tif 000003
【０００５】
式（Ａ１）〜（Ａ３）において、
ｗkは、ｋ番目のデジタルデータに対する重みを表す加重加算係数であり、
Δkは、ｋ番目のデジタルデータの標本化位置である。１番目のデジタルデータの標本化位置を基準にして考えた場合、Δkは、１番目のデジタルデータの標本化位置に対するｋ番目のデジタルデータの標本化位置の位置ずれである（この場合、当然、Δ1はゼロである）。式（Ａ２）及び式（Ａ３）は、下記式（Ａ４）にまとめて表現される。ここで、ｉは虚数単位である。
【０００６】
【数２】
2011082614.tif 000004
【０００７】
一次元画像に対する上記式（Ａ１）〜（Ａ３）を解くためには、３枚の低解像度画像（３組のデジタルデータ）が必要となる。二次元画像においては、折り返し歪が４方向に存在するため、加重加算係数の算出式は３〜９個の等式から成る連立方程式となる。折り返し歪を除去する方向を１つ増加させるごとに、必要な等式が２個増加する。従って、二次元画像に含まれる４方向の折り返し歪を特許文献１の方法で除去するためには、９枚の低解像度画像（９組の二次元デジタルデータ）が必要となる。
【０００８】
標本化位置の異なる画像間では折り返し歪の発生の仕方が異なるため、上述の如く複数枚の画像を加重加算することによって、折り返し歪が除去された高解像度画像を生成することができるのであるが、特許文献１に係る上述の方法を用いた場合、位置ずれ量によっては加重加算係数ｗkを求めることができない。例えば、（Δ1，Δ2，Δ3）＝（０，０．５，１）の場合、式（Ａ１）〜（Ａ３）からは、２つの等式「ｗ1＋ｗ2＋ｗ3＝１」及び「ｗ1−ｗ2＋ｗ3＝０」しか得られなため、加重加算係数ｗkを求めることができない。
【０００９】
一方において、特許文献１には、上記式（Ａ１）〜（Ａ３）を利用した下記式（Ａ５）に示すような評価関数を設定し、該評価関数の値が最小化されるように演算を行うことで、加重加算係数ｗkを求める方法も提案されている。この評価関数を用いた方法によれば加重加算係数ｗkが導出不可になるおそれはなくなる。
【００１０】
【数３】
2011082614.tif 000005
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平８−３３６０４６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、超解像の元となる複数の低解像度画像の状態は様々であり、上記の評価関数を用いることが高解像度画像の画質向上にとって最適であるとはいい難い。低解像度画像の状態に適応した評価関数を利用すれば、超解像によって得られる高解像度画像の最適化が図れる。
【００１３】
そこで本発明は、低解像度画像の状態に適応した画像高解像度化を行うことができる画像処理装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明に係る画像処理装置は、撮影によって得られる複数の入力画像間の位置ずれ量をパラメータとして持つ評価関数に基づいて各入力画像を高解像度化しつつ合成することにより、前記入力画像の解像度よりも高い解像度を有する出力画像を生成する画像処理装置において、前記評価関数は、前記入力画像の撮影条件、前記入力画像の画像特徴、又は、前記位置ずれ量の大きさに応じて可変設定されることを特徴とする。
【００１５】
これにより、入力画像の撮影条件等に適応した評価関数を用いて出力画像を生成することが可能となり、様々な条件下において、出力画像の画質最適化を狙うことが可能となる。
【００１６】
具体的には例えば、前記評価関数は、前記入力画像の撮影条件に応じて可変設定され、前記入力画像の撮影条件は、前記入力画像の明るさを調節するための信号増幅率、前記入力画像の撮影時における光学ズーム倍率、又は、前記入力画像の撮影時における露光時間、を含む。
【００１７】
或いは例えば、前記評価関数は、前記入力画像の画像特徴に応じて可変設定され、前記入力画像の画像特徴は、前記入力画像の合焦度合い、又は、前記入力画像上の各位置におけるエッジ強度を含む。
【００１８】
更に或いは例えば、前記評価関数は、前記入力画像の画像特徴に応じて可変設定され、前記入力画像上に前記特定の物体の画像信号が存在しているとき、前記特定の物体の画像信号が存在している画像領域とそれ以外の画像領域との間で、前記複数の入力画像の合成条件を求めるための関数である前記評価関数を異ならせる。
【００１９】
また具体的には例えば、当該画像処理装置は、前記複数の入力画像の夫々を高解像度化することによって複数の中間生成画像を生成する高解像度化部と、前記評価関数に基づいて各中間生成画像に対する加重加算係数を導出する加重加算係数導出部と、前記加重加算係数を用いて前記複数の中間生成画像の画像信号を加重加算することにより、前記出力画像を生成する加重加算部と、を備えている。
【００２０】
本発明に係る撮像装置は、複数の画像を撮影する撮像部と、前記画像処理装置と、を備えた撮像装置であって、前記撮像部にて撮影された前記複数の画像を複数の入力画像として前記画像処理装置に与えることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、複数の低解像度画像の状態に適応した画像高解像度化を行うことができる画像処理装置及び撮像装置を提供することが可能となる。
【００２２】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態に係る撮像装置の概略ブロック図である。
【図２】図１の撮像部の内部構成図である。
【図３】図１の撮像装置に設けられた画像処理部の内部ブロック図である。
【図４】基準画像上における特定被写体領域の位置及び大きさを説明するための図である。
【図５】各入力画像の露光タイミング関係を示す図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、以下の説明において、背景技術の説明で用いた記号（例えば、ｗkやΔk）と同じ記号が用いられた場合、本発明の実施形態の説明文中の記載が、背景技術の説明文中の記載よりも優先される。
【００２５】
本実施形態に係る画像処理装置は、ｍ枚の低解像度画像をｍ枚の入力画像として受け、ｍ枚の入力画像に基づいて高解像度画像である１枚の出力画像を生成する。ｍ枚の入力画像は、入力画像ＩＮ1、ＩＮ2、・・・及びＩＮmから成る。ｍは３以上の整数である。高解像度画像の解像度は、低解像度画像のそれよりも高く、高解像度画像の画素数は、低解像度画像のそれよりも多い。
【００２６】
入力画像は、一次元又は二次元の原信号を標本化することによって得られるデジタル画像である。一次元の原信号を標本化した場合、入力画像は一次元画像であって該入力画像から生成される出力画像も一次元画像となり、二次元の原信号を標本化した場合、入力画像は二次元画像であって該入力画像から生成される出力画像も二次元画像となる。
【００２７】
ｍ枚の入力画像は、同一の原信号を標本化することによって生成されるが、標本化位置はｍ枚の入力画像間で異なる。入力画像ＩＮ1を基準にして考えると、入力画像ＩＮkは、入力画像ＩＮ1を位置ずれ量ｄkだけ位置ずれさせた画像であるとみなすことができる。ここで、ｋは、自然数であって、１以上ｍ以下の各整数をとる。即ち例えば、入力画像ＩＮ2は、入力画像ＩＮ1を位置ずれ量ｄ2だけ位置ずれさせた画像であるとみなすことができ、入力画像ＩＮ3は、入力画像ＩＮ1を位置ずれ量ｄ3だけ位置ずれさせた画像であるとみなすことができる。以下の説明では、位置ずれ量を、入力画像ＩＮ1を基準にして考え、入力画像ＩＮ1を基準画像とも呼ぶ。入力画像ＩＮ1が基準画像となっているため、位置ずれ量ｄ1はゼロである。
【００２８】
入力画像が一次元画像である場合には、位置ずれ量ｄkは一次元量であるが、入力画像が二次元画像である場合には、位置ずれ量ｄkは水平及び垂直成分を含む二次元量である。二次元画像は、水平及び垂直方向に複数の画素が等間隔でマトリクス状に配列されて形成される。
【００２９】
入力画像において、隣接する画素間隔は１であるとする。入力画像が二次元画像である場合には、水平及び垂直方向における隣接画素間隔が共に１である。
【００３０】
各入力画像を、撮影によって取得することができる。図１に、撮影によって入力画像を取得する、本実施形態に係る撮像装置１の概略ブロック図を示す。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。
【００３１】
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。
【００３２】
図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部１３からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量を制御する。
【００３３】
撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。以下の説明における「露光」とは、撮像素子３３の露光を意味するものとする。また、露光時間の長さは、主制御部１３によって制御される。
【００３４】
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、主制御部１３に出力する。ＡＦＥ１２における信号増幅の増幅率は、主制御部１３によって制御される。
【００３５】
主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等から成る。主制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、撮影画像とも言う）を表す画像信号を生成する。画像信号は、例えば、輝度信号や色差信号を含む。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。
【００３６】
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。
【００３７】
主制御部１３には、画像処理部５０が備えられている。撮像部１１の撮影によって得られた撮影画像が入力画像として画像処理部５０に与えられる。画像処理部５０では、超解像によって、ｍ枚の低解像度画像であるｍ枚の入力画像ＩＮ1〜ＩＮmから１枚の高解像度画像である１枚の出力画像を生成する。超解像とは、標本化により各入力画像内に生じた折り返し歪を複数の入力画像を用いて除去することによって、画像の解像度を向上させる技術である。ｍ枚の入力画像ＩＮ1〜ＩＮmは、共通の被写体を互いに異なる時刻にて撮影して得たｍ枚の撮影画像であるが、ｍ枚の入力画像の撮影期間中に撮像装置１に作用した手ぶれ等の影響により、異なる入力画像間には位置ずれが発生している。
【００３８】
図３は、画像処理部５０の内部ブロック図である。画像処理部５０は、ＡＦＥ１２を介してｍ枚の入力画像ＩＮ1〜ＩＮmの画像信号を取得する入力画像取得部５１と、入力画像ＩＮ1〜ＩＮmの画像信号に基づいて位置ずれ量ｄ1〜ｄmを検出する位置ずれ量検出部５２と、入力画像ＩＮ1〜ＩＮmの夫々を高解像度化することにより高解像度画像であるｍ枚の中間生成画像ＭＩＤ1〜ＭＩＤmを作成する高解像度化部（補間拡大部）５３と、位置ずれ量検出部５２の検出結果に基づいて各中間生成画像に対する加重加算係数ｗkを算出する加重加算係数算出部５４と、その加重加算係数を用いてｍ枚の中間生成画像の画像信号を加重加算することでｍ枚の中間生成画像を合成し、合成によって画像を出力画像として生成する画像合成部５５と、を備える。
【００３９】
各入力画像が二次元画像であることを想定して、図３に示される各部位の動作を詳細に説明する。入力画像である低解像度画像は、水平方向にＵNUM個及び垂直方向にＶNUM個の画素がマトリクス状に二次元配列された画像である。中間生成画像又は出力画像である高解像度画像は、水平方向にＸNUM個及び垂直方向にＹNUM個の画素がマトリクス状に二次元配列された画像である。
【００４０】
高解像度画像の画素数は低解像度画像の画素数よりも多いため、ＸNUM＞ＵNUM且つＹNUM＞ＶNUMが成立する。水平及び垂直方向において、低解像度画像に対する高解像度画像の拡大率が、夫々ＥＮH及びＥＮVであるとき、ＸNUM＝ＥＮH×ＵNUM且つＹNUM＝ＥＮV×ＶNUMが成立する（ＥＮH＞１、ＥＮV＞１）。例えば、ＥＮH＝ＥＮV＝１０である場合、水平及び垂直方向の夫々において、高解像度画像（中間生成画像又は出力画像）の隣接画素間隔は低解像度画像（入力画像）のそれの１／１０になる。
【００４１】
位置ずれ量検出部５２は、入力画像ＩＮ1〜ＩＮmの画像信号に基づいて、位置ずれ量ｄ1〜ｄmを求める。この位置ずれ量の導出に当たり、代表点マッチング法、ブロックマッチング法、勾配法などを利用した位置ずれ量推定アルゴリズムを用いる。ここで求められる位置ずれ量は、低解像度画像の画素間隔よりも分解能の高い、所謂サブピクセルの分解能を有している。つまり、低解像度画像内の隣接する２つの画素の間隔よりも短い距離を最小単位として位置ずれ量が算出される。サブピクセルの分解能を有する位置ずれ量の算出方法として、公知の算出方法を用いることができる。例えば、特開平１１-３４５３１５号公報に記載された方法や、“奥富，「ディジタル画像処理」，第二版，ＣＧ−ＡＲＴＳ協会，２００７年３月１日発行”に記載された方法（ｐ．２０５参照）を用いればよい。
【００４２】
高解像度化部５３は、各入力画像を高解像度化する高解像度化処理を行う。また、高解像度化部５３において、位置ずれ量ｄ1〜ｄmに基づく位置合わせ処理を行うこともできる。高解像度化部５３において、位置合わせ処理及び高解像度化処理を行う場合の動作を説明する。
【００４３】
まず、位置合わせ処理を説明する。位置合わせ処理は、２≦ｋ≦ｍを満たす夫々の入力画像ＩＮkに対して実行される。尚、位置ずれ量ｄkは、等式「ｄk＝ＩＮＴk＋Δk」且つ不等式「−０．５＜Δk≦０．５」を満たすように、整数の値ＩＮＴk及び小数の値Δkに分解されるものとする。上述したように、入力画像ＩＮkは、入力画像ＩＮ1を位置ずれ量ｄkに相当する分だけ位置ずれさせた画像であるとみなすことができる。位置合わせ処理では、これらの位置ずれの整数部分だけが打ち消されるように、入力画像ＩＮkに対して、入力画像ＩＮ1を基準とした位置合わせを行う。例えば、位置ずれ量ｄkの整数部分ＩＮＴkの水平成分及び垂直成分が夫々２及び０である場合、位置合わせ後の入力画像ＩＮkの位置ずれ量の整数部分における水平成分及び垂直成分が共にゼロとなるように、入力画像ＩＮkに対し、水平方向に距離２だけ（即ち、低解像度画像の隣接画素間隔の２倍に相当する距離だけ）幾何学的変換を施す。この幾何学的変換後の入力画像ＩＮkが、位置合わせ後の入力画像ＩＮkである。
【００４４】
高解像度化処理では、入力画像のナイキスト周波数以上の、入力画像に含まれる高周波成分を通過させる広帯域フィルタを用いて入力画像を補間拡大することにより、入力画像の解像度を高解像度画像のそれと同じにまで増加させ、これによって高解像度画像の一種である中間生成画像を生成する。この補間拡大は、位置ずれ量ｄkの小数部分Δkを用いて行われる。例えば、入力画像ＩＮkを補間拡大して中間生成画像を生成する際において、位置ずれ量ｄkの小数部分Δkの水平成分及び垂直成分が夫々０．５及び０であるならば、入力画像ＩＮkの注目画素位置の画像信号は、注目画素位置から０．５分だけ位置ずれせしめられた位置の画像信号として中間生成画像に挿入される。高解像度化処理の方法として、公知の方法（例えば特許文献１に記載の方法）を用いることができる。例えば、ＥＮH＝ＥＮV＝１０である場合、水平及び垂直方向の夫々において、入力画像の隣接画素間に９つの補間画素が設定され、その補間画素をも含む画像が中間生成画像として生成される。高解像度化処理は、入力画像ごとに行われる。従って、入力画像ＩＮ1から中間生成画像ＭＩＤ1が生成され、入力画像ＩＮ2から中間生成画像ＭＩＤ2が生成される（他の中間生成画像についても同様）。
【００４５】
位置合わせ処理後に高解像度化処理を行うことが可能である。位置合わせ処理後に高解像度処理を行う場合、位置合わせ後の入力画像に対して高解像度化処理を施すことにより中間生成画像が生成される。尚、位置合わせ処理において位置ずれ量の小数部分（Δk）までも打ち消す幾何学的変換を行うと、サブピクセル精度の位置ずれ情報が位置合わせ処理にて失われてしまう。これを避けるべく、上記の如く、整数部分ＩＮＴkのみを用いて位置合わせ処理を行った後に小数部分Δkを考慮して高解像度化処理を行う。
【００４６】
勿論、位置合わせ処理と高解像度化処理を同時に行うようにしてもよい。或いは、高解像度処理を行った後に、位置合わせ前の中間生成画像に対して位置ずれ量ｄkに基づく位置合わせ処理を行い、これによって、最終的な中間生成画像の画像信号を求めるようにしてもよい。更に或いは、位置合わせ処理を高解像度化部５３においてではなく、画像合成部５５の画像合成の段階において実行するようにしてもよい。即ち、高解像度化部５３において位置合わせ処理を行った場合と同じ結果が得られるように、画像合成部５５における画像合成の段階において位置ずれ量ｄkに基づく位置合わせ処理を行うようにしても良い。
【００４７】
加重加算係数算出部５４は、位置ずれ量検出部５２による検出結果に基づいて、各中間生成画像に対する加重加算係数を算出する。中間生成画像ＭＩＤkに対する加重加算係数をｗkにて表す。加重加算係数ｗkは、中間生成画像ＭＩＤkの全画素位置に対して共通であっても良いし非共通であっても良い。本実施形態の特徴的技術を含む、加重加算係数の算出方法は、後に詳説される。
【００４８】
画像合成部５５は、中間生成画像ＭＩＤ1〜ＭＩＤmにおける対応画素位置の画像信号同士が加重加算係数ｗ1〜ｗmに従って加重加算されるように中間生成画像ＭＩＤ1〜ＭＩＤmを合成し、これによって出力画像を生成する。
【００４９】
中間生成画像ＭＩＤkの画素位置（ｘ，ｙ）における画像信号をｍｉｄk（ｘ，ｙ）にて表し、中間生成画像ＭＩＤk又は出力画像の画素位置（ｘ，ｙ）における加重加算係数ｗkをｗk（ｘ，ｙ）にて表し、出力画像の画素位置（ｘ，ｙ）における画像信号をｏｕｔ（ｘ，ｙ）にて表す。そうすると、画像合成部５５では、次式（Ｂ１）に従って、出力画像の画像信号ｏｕｔ（ｘ，ｙ）が求められる。ｘ及びｙは、夫々、ｘ及びｙによって指定される画素位置の、画像空間上における水平方向の座標値及び垂直方向の座標値を表す。
【００５０】
【数４】
2011082614.tif 000006
【００５１】
加重加算係数算出部５４では、従来方法に係る上記連立方程式（上記式（Ａ１）〜（Ａ３）に対応）を変更することで、超解像に関わる加重加算係数をいかなる場合にも算出できるようにしている。更に、撮影条件等をも考慮して加重加算係数を求めるようにすることで、撮影条件等に適した加重加算係数を導出することが可能になっている。この導出方法を説明する。
【００５２】
一次元で考えた場合、上記式（Ａ１）〜（Ａ３）に対応する、下記式（Ｃ１）〜（Ｃ３）を満たす加重加算係数ｗkを用いれば折り返し歪の除去が可能である。但し、式（Ｃ２）及び（Ｃ３）におけるΔkをｄkに置き換えることも可能である。
【００５３】
【数５】
2011082614.tif 000007
【００５４】
行列Ａ、ｗ及びｖを用いて、式（Ｃ１）〜（Ｃ３）を下記式（Ｃ４）の如く変形することができる（即ち、式（Ｃ４）の行列式を展開すれば、式（Ｃ１）〜（Ｃ３）が得られる）。一次元で考えた場合、行列ｗは行列（ｗ1，ｗ2，ｗ3）の転置行列であり、行列ｖは行列（１，０，０）の転置行列であり、行列Ａはｃｏｓ（２πΔk）及びｓｉｎ（２πΔk）を要素として含む３行３列の行列である。
【００５５】
【数６】
2011082614.tif 000008
【００５６】
二次元で考えた場合には、除去されるべき折り返し歪の方向が４方向（即ち、水平、垂直、右斜め及び左斜め方向）となるため、入力画像の枚数ｍは３よりも大きくされ、典型的にはｍ＝９とされる。入力画像が二次元画像であって、ｍ＝９である場合には、式（Ｃ２）及び（Ｃ３）の組が４組分必要となり、その４組分の等式と式（Ｃ１）を、式（Ｃ４）を満たす行列Ａ、ｗ及びｖに置き換えればよい。
【００５７】
加重加算係数算出部５４では、式（Ｃ４）に従って加重加算係数ｗkを導出するのではなく、下記式（Ｃ５）にて表される評価関数Ｅを設定し、評価関数Ｅを最小化するｗkを求めるようにする。但し、ｗ1〜ｗmの和が１となるようにｗkは最終的に正規化される（即ち、式（Ｃ１）を満たす条件の下で、評価関数Ｅを最小化するｗkを求めればよい）。
【００５８】
【数７】
2011082614.tif 000009
【００５９】
ｆ（λ，ｗ）は、行列λ及びｗを変数として持つ、事前に定められた関数であり、ｆ（λ，ｗ）の設定の仕方によっては、必ず加重加算係数ｗkを算出することができるようになる。ｆ（λ，ｗ）によって表される関数を、以下、便宜上、補助関数と呼ぶ。行列λは、λ1〜λmを要素として持つ行列である。λkは、ｋ番目の画像、即ち、入力画像ＩＮk及び中間生成画像ＭＩＤkに対する調整パラメータである。
【００６０】
以下、ｆ（λ，ｗ）の設定の仕方の具体例を、複数の実施例において説明する。以下に示される複数の実施例の中には、入力画像の次元に依存しない実施例も含まれているが、説明の簡略化上、特に必要のない限り、各実施例においては一次元方向にのみ注目する（即ち、特に必要のない限り、入力画像が一次元画像であると仮定する）。一次元方向にのみ注目して説明された、以下の事項を二次元に拡張すれば、二次元画像に対する加重加算係数ｗkを導出することができる。
【００６１】
［第１実施例］
第１実施例を説明する。第１実施例では、下記式（Ｄ１）にて定義される関数ｆ1（λ，ｗ）を、式（Ｃ５）における補助関数ｆ（λ，ｗ）として用いる。
【００６２】
【数８】
2011082614.tif 000010
【００６３】
関数ｆ1（λ，ｗ）を補助関数ｆ（λ，ｗ）として用いることにより、ｗ1が異常に小さくなったりすることはなくなる（ｗ1＝０となるようなことはない）。従って、基準画像である入力画像ＩＮ1の、出力画像に対する寄与度を、一定程度確保することが可能となる。
【００６４】
第１実施例及び後述の他の実施例において、λ1〜λmは、予め設定された一定値であっても良いし、何らかの情報に基づいて可変設定される変数であっても良い（可変設定の方法については、第１４実施例において後述）。また、第１実施例及び後述の他の実施例において、λ1〜λmは、全て同じ値であっても良いし、そうでなくても良い。
【００６５】
［第２実施例］
第２実施例を説明する。第２実施例では、下記式（Ｄ２）にて定義される関数ｆ2（λ，ｗ，Δ）を、式（Ｃ５）における補助関数ｆ（λ，ｗ）として用いる。ここで、εは、所定の値を有するパラメータである。
【００６６】
【数９】
2011082614.tif 000011
【００６７】
基準画像に対する位置ずれ量の小数部位が０．５に近い入力画像を、より多く出力画像の生成に寄与させることにより、超解像の原理上、超解像効果が高まる。即ち、｜Δk｜が０．５に近い入力画像ＩＮkに対する加重加算係数ｗkが大きくなれば超解像効果は高くなる。逆に、｜Δk｜が０に近い入力画像ＩＮkに対する加重加算係数ｗkが大きくなれば超解像効果は低くなる。超解像効果とは、超解像による解像度改善効果を指す。
【００６８】
関数ｆ2（λ，ｗ，Δ）を補助関数ｆ（λ，ｗ）として用いることにより、｜Δk｜が０．５に近い入力画像ＩＮkに対する加重加算係数ｗkが相対的に大きくなる一方で、｜Δk｜が０に近い入力画像ＩＮkに対する加重加算係数ｗkが相対的に小さくなるため、高い超解像効果が得られるようになる。
【００６９】
［第３実施例］
第３実施例を説明する。第３実施例では、下記式（Ｄ３）にて定義される関数ｆ3（λ，ｗ）を、式（Ｃ５）における補助関数ｆ（λ，ｗ）として用いる。
【００７０】
【数１０】
2011082614.tif 000012
【００７１】
一般に、複数の信号が、互いに無相関であって且つ分散がσ2の雑音を含んでいる場合において、ｗkを重みとして用いて該複数の信号の加重平均をとると、加重平均信号の雑音の分散はσ2Σｗk2となるため、Σｗk2の最小化を図ることで加重平均信号の雑音
の最小化が図れる。従って、関数ｆ3（λ，ｗ）を補助関数ｆ（λ，ｗ）として用いれば、出力画像の雑音の最小化が図られる。
【００７２】
［第４実施例］
第４実施例を説明する。第４実施例では、下記式（Ｄ４）にて定義される関数ｆ4（λ，ｗ，Δ）を、式（Ｃ５）における補助関数ｆ（λ，ｗ）として用いる。
【００７３】
【数１１】
2011082614.tif 000013
【００７４】
式（Ｄ４）において距離｜｜Δk｜−｜Δj｜｜が大きくなるとｗk2にかかる指数関数の値（ｅｘｐの値）が小さくなり、結果、ｗkが相対的に大きくなる。複数の入力画像に基づく超解像処理を行う場合、相対的により位置が離れた入力画像群を優先的に使用した方が超解像効果が高くなり、また、ノイズも発生しにくい。このため、上記関数ｆ4（λ，ｗ，Δ）を導入することで、相対的により位置が離れた入力画像群を優先的に使用するようにする。尚、仮に、式（Ｄ４）における｜｜Δk｜−｜Δj｜｜が｜Δk−Δj｜であると、Δk＝−０．５且つΔj＝０．５の時に、入力画像ＩＮk及びＩＮj間の距離が最も大きいと評価される場合がある。しかし、Δk＝−０．５の位置ずれ量を有する入力画像ＩＮkとΔj＝０．５の位置ずれ量を有する入力画像ＩＮjは、基準画像から見れば同等のものであるため、それらの加重加算係数を大きく設定しても高い超解像効果は期待できない。故に、式（Ｄ４）には、｜Δk−Δj｜ではなく、｜｜Δk｜−｜Δj｜｜が含められている。
【００７５】
関数ｆ4（λ，ｗ，Δ）を補助関数ｆ（λ，ｗ）として用いるようにすれば、上記距離に応じてノイズ量が制御され、出力画像の雑音を低減しつつ超解像効果の向上を図ることができる。
【００７６】
［第５実施例］
第５実施例を説明する。第５実施例では、下記式（Ｄ５）にて定義される関数ｆ5（λ，ｗ，Δ）を、式（Ｃ５）における補助関数ｆ（λ，ｗ）として用いる。
【００７７】
【数１２】
2011082614.tif 000014
【００７８】
式（Ｄ５）における関数ｇk（Δ）は、式（Ｄ５＿１）によって定義される。即ち、ｊ≠ｋを満たす任意の整数ｊに対して、Δk≠Δjが満たされる場合、関数ｇk（Δ）は０であり、それ以外の場合においては、関数ｇk（Δ）は１である。
【００７９】
関数ｆ5（λ，ｗ，Δ）を補助関数ｆ（λ，ｗ）として用いた場合、Δk＝Δjが満たされるならば、ｗk＝ｗjとなるように作用する。
【００８０】
［第６実施例］
第６実施例を説明する。第６実施例では、下記式（Ｄ６）にて定義される関数ｆ6（λ，ｗ）を、式（Ｃ５）における補助関数ｆ（λ，ｗ）として用いる。ｆ’（λ，ｗ）として、第１〜第５実施例で述べた関数ｆ1（λ，ｗ）、ｆ2（λ，ｗ，Δ）、ｆ3（λ，ｗ）、ｆ4（λ，ｗ，Δ）及びｆ5（λ，ｗ，Δ）の何れかを用いることができる（後述の他の実施例においても同様）。
【００８１】
【数１３】
2011082614.tif 000015
【００８２】
値ＳＮＳは、入力画像の撮影時において設定されている撮影感度に依存する量、即ち、入力画像の明るさを調節するための撮影感度に依存する量である。該撮影感度は、入力画像の撮影条件の一種である。基準画像である入力画像ＩＮ1の撮影時における撮影感度に依存する量、又は、複数の入力画像（例えば入力画像ＩＮ1〜ＩＮm）の撮影時における撮影感度に依存する量の平均値を、ＳＮＳとして用いることができる。基本的に、入力画像ＩＮ1〜ＩＮmの撮影時において撮影感度は一定であることが想定される。
【００８３】
本例では、撮影感度としてＩＳＯ感度が用いられるものとする。ＩＳＯ感度は、ＩＳＯ（International Organization for Standardization）によって規定された感度を意味し、ＩＳＯ感度を調節することで、撮影画像としての入力画像の明るさ（輝度レベル）を調節することができる。実際には、ＩＳＯ感度に応じてＡＦＥ１２における信号増幅の増幅率（以下、単に信号増幅率ともいう）を決定する。従って、撮影感度とは信号増幅率そのものである或いは信号増幅率を含む概念であると考えることができ、本実施例では、該信号増幅率を値ＳＮＳとして用いることができる。ＡＦＥ１２の信号増幅率はＩＳＯ感度に比例している。ＩＳＯ感度が２倍になれば、その信号増幅率も２倍となり、これによって撮影画像の各画素の輝度値も２倍となる（但し、増幅による信号飽和を無視）。ユーザは、各撮影画像のＩＳＯ感度を自由に設定することができる。撮像素子３３に対する単位時間当たりの入射光量に基づいて、撮像装置１側がＩＳＯ感度を自動的に設定するようにしても良い。
【００８４】
尚、言うまでもないが、他の条件が同じである時において、撮影画像の各画素の輝度値は露光時間に比例し、露光時間が２倍となれば撮影画像の各画素の輝度値も２倍となる（但し、信号飽和を無視）。輝度値は、撮影画像を形成する画素の輝度信号の値を意味する。或る画素に関し、輝度値が増加すれば該画素の明るさは増加する。
【００８５】
ＩＳＯ感度が大きくなると上記信号増幅率の増大に伴って入力画像中のノイズ量も増大するため、入力画像における信号対雑音比（以下、ＳＮ比という）が低下する。入力画像のＳＮ比が低い場合には、そのＳＮ比の改善を優先的に狙って出力画像を生成した方が、出力画像の実質的な画質改善にとって有益である。一方において、評価関数Ｅに対する補助関数ｆ（λ，ｗ）の寄与度を増加させると、超解像による折り返し歪の除去よりも、ノイズ低減を含む画質調整がより強く働くようになる（特に、ｆ’（λ，ｗ）として、ｆ1（λ，ｗ）、ｆ3（λ，ｗ）又はｆ4（λ，ｗ，Δ）を用いた場合に、ノイズ低減効果が大きい）。
【００８６】
これを考慮し、信号増幅率が大きい場合において評価関数Ｅに対する補助関数ｆ（λ，ｗ）の寄与度を大きくするべく、上記の如く関数ｆ6（λ，ｗ）を設定する。
【００８７】
尚、本実施例では、ｆ6（λ，ｗ）を√ＳＮＳに比例させることによって、ｆ6（λ，ｗ）を値ＳＮＳの増加関数にしているが、ｆ6（λ，ｗ）がＳＮＳの増加関数である限り、ｆ6（λ，ｗ）の定義式を式（Ｄ６）から変更することが可能である。例えば、式（Ｄ６）における“√ＳＮＳ”を“ＳＮＳ”に変更することが可能である。同様のことが、補助関数ｆ（λ，ｗ）の例として後述される他の関数の定義式（式（Ｄ７）等）にも当てはまる。本明細書において、√ａは、ａの正の平方根を表す（ａは任意の正の数）。
【００８８】
［第７実施例］
第７実施例を説明する。第７実施例では、下記式（Ｄ７）にて定義される関数ｆ7（λ，ｗ）を、式（Ｃ５）における補助関数ｆ（λ，ｗ）として用いる。
【００８９】
【数１４】
2011082614.tif 000016
【００９０】
ここで、Ｍは、入力画像の撮影時における光学ズーム倍率である。より具体的には、基準画像である入力画像ＩＮ1の撮影時における光学ズーム倍率、又は、複数の入力画像（例えば入力画像ＩＮ1〜ＩＮm）の撮影時における光学ズーム倍率の平均値を、Ｍとして用いることができる。基本的に、入力画像ＩＮ1〜ＩＮmの撮影時において光学ズーム倍率は一定であることが想定される。光学ズーム倍率Ｍは、入力画像の撮影条件の一種である。
【００９１】
主制御部１３は、ドライバ３４を介してズームレンズ３０の位置を駆動制御することにより光学系３５の焦点距離を調節し、これによって光学ズームを実現する（図１及び図２参照）。或る被写体の被写体距離が一定である場合において、光学ズーム倍率が増大すれば入力画像上の該被写体の大きさは増大し、光学ズーム倍率が減少すれば入力画像上の該被写体の大きさは減少する。被写体の被写体距離とは、被写体と撮像装置１との、実空間上における距離を指す。
【００９２】
光学ズーム倍率が大きくなると、手ぶれ等に起因する各入力画像の画像ぶれが大きくなって、入力画像に高周波成分が殆ど含まれなくなる（従って、折り返し歪も殆ど含まれなくなる）ため、超解像効果はあまり期待できない。
【００９３】
従って、光学ズーム倍率が大きい場合には、ノイズ低減を含む画質調整がより強く働くようにした方が出力画像の実質的な画質改善にとって有益である。これを考慮し、光学ズーム倍率が大きい場合において評価関数Ｅに対する補助関数ｆ（λ，ｗ）の寄与度を大きくするべく、上記の如く関数ｆ7（λ，ｗ）を設定する。
【００９４】
尚、本実施例では、ｆ7（λ，ｗ）をＭ2に比例させることによって、ｆ7（λ，ｗ）をＭの増加関数にしているが、ｆ7（λ，ｗ）がＭの増加関数である限り、ｆ7（λ，ｗ）の定義式を式（Ｄ７）から変更することが可能である。
【００９５】
［第８実施例］
第８実施例を説明する。第８実施例では、下記式（Ｄ８）にて定義される関数ｆ8（λ，ｗ）を、式（Ｃ５）における補助関数ｆ（λ，ｗ）として用いる。
【００９６】
【数１５】
2011082614.tif 000017
【００９７】
ここで、ＴEXPは、入力画像の撮影時における露光時間である。より具体的には、基準画像である入力画像ＩＮ1の撮影時における露光時間、又は、複数の入力画像（例えば入力画像ＩＮ1〜ＩＮm）の撮影時における露光時間の平均値を、ＴEXPとして用いることができる。基本的に、入力画像の露光時間は入力画像ＩＮ1〜ＩＮm間で一定である。露光時間ＴEXPは、入力画像の撮影条件の一種である。
【００９８】
主制御部１３は、入力画像ＩＮ1〜ＩＮmの明るさが所望の明るさとなるように、入力画像ＩＮ1〜ＩＮmよりも前に撮影された撮影画像の明るさに応じて露光時間ＴEXPを決定することができる。比較的暗いシーンを撮影する場合には露光時間ＴEXPが比較的長くなり、比較的明るいシーンを撮影する場合には露光時間ＴEXPが比較的短くなる。露光時間ＴEXPが長くなると、手ぶれ等に起因する各入力画像の画像ぶれが大きくなって、入力画像に高周波成分が殆ど含まれなくなる（従って、折り返し歪も殆ど含まれなくなる）ため、超解像効果はあまり期待できない。
【００９９】
従って、露光時間ＴEXPが長い場合には、ノイズ低減を含む画質調整がより強く働くようにした方が出力画像の実質的な画質改善にとって有益である。これを考慮し、露光時間ＴEXPが長い場合において評価関数Ｅに対する補助関数ｆ（λ，ｗ）の寄与度を大きくするべく、上記の如く関数ｆ8（λ，ｗ）を設定する。
【０１００】
尚、本実施例では、ｆ8（λ，ｗ）を√ＴEXPに比例させることによって、ｆ8（λ，ｗ）をＴEXPの増加関数にしているが、ｆ8（λ，ｗ）がＴEXPの増加関数である限り、ｆ8（λ，ｗ）の定義式を式（Ｄ８）から変更することが可能である。
【０１０１】
［第９実施例］
第９実施例を説明する。第９実施例では、下記式（Ｄ９）にて定義される関数ｆ9（λ，ｗ）を、式（Ｃ５）における補助関数ｆ（λ，ｗ）として用いる。
【０１０２】
【数１６】
2011082614.tif 000018
【０１０３】
ここで、Ｆｏｃｕｓは、入力画像の合焦度合いを表す評価値である。より具体的には、基準画像である入力画像ＩＮ1の合焦度合いを表すＡＦ評価値、又は、複数の入力画像（例えば入力画像ＩＮ1〜ＩＮm）の合焦度合いを表すＡＦ評価値の平均値を、Ｆｏｃｕｓとして用いることができる。以下の説明では、Ｆｏｃｕｓが、入力画像ＩＮ1のＡＦ評価値であることを想定する。
【０１０４】
主制御部１３は、撮影画像ごとに撮影画像の画像信号に基づいて撮影画像の合焦度合いを表すＡＦ評価値を算出し、ＡＦ評価値に基づきフォーカスレンズ３１の位置を制御することで、ＴＴＬ（Through The Lens）方式のコントラスト検出法に基づくオートフォーカス制御を実現することができる。ＡＦ評価値を算出するＡＦ評価部（不図示）を、画像処理部５０に設けておくことができる。
【０１０５】
入力画像ＩＮ1のＡＦ評価値の算出方法を説明する（他の入力画像のＡＦ評価値についても同様に算出される）。まず、入力画像ＩＮ1の映像信号より輝度信号を抽出する。この際、入力画像ＩＮ1の全画像領域内に定義された、ＡＦ評価領域内の輝度信号のみを抽出する。次に、抽出した輝度信号の中から、ハイパスフィルタ等を用いて、所定の高周波数成分のみを抽出する。最後に、抽出した高周波数成分を積算し、得られた積算値を入力画像ＩＮ1のＡＦ評価値として出力する。入力画像ＩＮ1におけるＡＦ評価領域とは、入力画像ＩＮ1上の所定位置に配置された、入力画像ＩＮ1の一部画像領域である。或いは、入力画像ＩＮ1の全画像領域が入力画像ＩＮ1のＡＦ評価領域であっても良い。ＡＦ評価値は、ＡＦ評価領域内の画像のコントラスト量に概ね比例し、該コントラスト量が増大するにつれてＡＦ評価値は増大する。
【０１０６】
上述の説明からも明らかなように、入力画像ＩＮ1のＡＦ評価値は入力画像ＩＮ1の画像特徴を表しており、入力画像ＩＮ1の合焦度合いが高いほど（即ち、入力画像ＩＮ1の撮影時において被写体にピントが合っていれば合っているほど）、入力画像ＩＮ1のＡＦ評価値は大きくなる。
【０１０７】
入力画像ＩＮ1のＡＦ評価値に相当する値Ｆｏｃｕｓが小さいときには、合焦状態が悪く、入力画像に高周波成分が殆ど含まれていないため（従って、折り返し歪も殆ど含まれていないため）、超解像効果はあまり期待できない。
【０１０８】
従って、値Ｆｏｃｕｓが小さい場合には、ノイズ低減を含む画質調整がより強く働くようにした方が出力画像の実質的な画質改善にとって有益である。これを考慮し、値Ｆｏｃｕｓが小さい場合において評価関数Ｅに対する補助関数ｆ（λ，ｗ）の寄与度を大きくするべく、上記の如く関数ｆ9（λ，ｗ）を設定する。
【０１０９】
尚、本実施例では、ｆ9（λ，ｗ）を１／Ｆｏｃｕｓに比例させることによって、ｆ9（λ，ｗ）をＦｏｃｕｓの減少関数にしているが、ｆ9（λ，ｗ）がＦｏｃｕｓの減少関数である限り、ｆ9（λ，ｗ）の定義式を式（Ｄ９）から変更することが可能である。勿論、入力画像ＩＮ1の合焦度合いが高くなるにつれてＦｏｃｕｓが小さくなるのであれば、ｆ9（λ，ｗ）はＦｏｃｕｓの増加関数とされる。
【０１１０】
［第１０実施例］
第１０実施例を説明する。上述の第１〜第９実施例では、中間生成画像ＭＩＤkの全画素位置に対して（換言すれば、入力画像の全画素位置に対して）共通の評価関数Ｅが設定される。中間生成画像ＭＩＤkの全画素位置に対して共通の評価関数Ｅが設定される場合、中間生成画像ＭＩＤkの全画素位置に対して共通の加重加算係数ｗkが算出される、つまり加重加算係数ｗkは画素位置の変化（即ち、ｘ及びｙの変化）に対して不変となる（上記式（Ｂ１）も参照）。
【０１１１】
これに対し、第１０実施例では、画素位置が異なれば設定される評価関数Ｅも異なりうる。第１０実施例では、より現実に即した説明を可能にするため、入力画像が二次元画像であるものとして説明を行う。第１０実施例では、下記式（Ｄ１０）にて定義される関数ｆ10（λ，ｗ，ｘ，ｙ）を、画素位置（ｘ，ｙ）に対する補助関数ｆ（λ，ｗ）として用いる。
【０１１２】
【数１７】
2011082614.tif 000019
【０１１３】
ここで、Ｅｄｇｅ（ｘ，ｙ）は、基準画像の画素位置（ｘ，ｙ）におけるエッジ強度である。基準画像の画素位置（ｘ，ｙ）は、基準画像に基づく中間生成画像ＭＩＤ1の画素位置（ｘ，ｙ）に対応しており、基準画像の画素位置（ｘ，ｙ）における画像信号から、中間生成画像ＭＩＤ1の画素位置（ｘ，ｙ）における画像信号が生成されるものとする。従って、Ｅｄｇｅ（ｘ，ｙ）は中間生成画像ＭＩＤ1の画素位置（ｘ，ｙ）におけるエッジ強度である、とも言える。エッジ強度Ｅｄｇｅ（ｘ，ｙ）を算出するエッジ評価部（不図示）を、画像処理部５０に設けておくことができる。
【０１１４】
エッジ強度が求められるべき画像（入力画像ＩＮ1又は中間生成画像ＭＩＤ1）を、便宜上、エッジ評価画像という。エッジ評価画像の画素位置（ｘ，ｙ）における、輝度信号の水平方向及び垂直方向の勾配（即ち、一次微分）を、夫々、ＥｄｇｅX（ｘ，ｙ）及びＥｄｇｅY（ｘ，ｙ）にて表す。ＥｄｇｅX（ｘ，ｙ）及びＥｄｇｅY（ｘ，ｙ）は、エッジ評価画像の画素位置（ｘ，ｙ）における、輝度信号の水平方向及び垂直方向の二次微分であっても良い。（｜ＥｄｇｅX（ｘ，ｙ）｜＋｜ＥｄｇｅY（ｘ，ｙ）｜）をＥｄｇｅ（ｘ，ｙ）として用いることができる。
【０１１５】
上述の説明からも明らかなように、エッジ強度Ｅｄｇｅ（ｘ，ｙ）は入力画像ＩＮ1の画像特徴を表している。エッジ強度Ｅｄｇｅ（ｘ，ｙ）が小さい画像領域（即ち平坦領域）に含まれるノイズは、エッジ強度Ｅｄｇｅ（ｘ，ｙ）が大きい画像領域（即ちエッジ領域）のそれよりも視覚的に目立つ。このため、エッジ強度Ｅｄｇｅ（ｘ，ｙ）が小さい画像領域に対しては、ノイズ低減を含む画質調整がより強く働くようにした方が出力画像の実質的な画質改善にとって有益である。これを考慮し、エッジ強度Ｅｄｇｅ（ｘ，ｙ）が小さい画像領域において、評価関数Ｅに対する補助関数ｆ（λ，ｗ）の寄与度を大きくするべく、上記の如く関数ｆ10（λ，ｗ，ｘ，ｙ）を設定する。
【０１１６】
これにより、画素位置（ｘ1，ｙ1）に対しては、関数ｆ10（λ，ｗ，ｘ1，ｙ1）を含む評価関数Ｅに基づいて加重加算係数ｗk（ｘ1，ｙ1）が算出されて、ｗk（ｘ1，ｙ1）及びｍｉｄk（ｘ1，ｙ1）からｏｕｔ（ｘ1，ｙ1）が求められ、画素位置（ｘ2，ｙ2）に対しては、関数ｆ10（λ，ｗ，ｘ2，ｙ2）を含む評価関数Ｅに基づいて加重加算係数ｗk（ｘ2，ｙ2）が算出されて、ｗk（ｘ2，ｙ2）及びｍｉｄk（ｘ2，ｙ2）からｏｕｔ（ｘ2，ｙ2）が求められる（後述の第１１実施例においても同様）。画素位置（ｘ1，ｙ1）及び（ｘ2，ｙ2）が互いに異なり且つ関数ｆ10（λ，ｗ，ｘ，ｙ）が画素位置（ｘ1，ｙ1）及び（ｘ2，ｙ2）間で異なれば、その相違の程度にもよるが、ｗk（ｘ1，ｙ1）及びｗk（ｘ2，ｙ2）は互いに異なりうる（後述の第１１実施例においても同様）。
【０１１７】
尚、上述の方法では、画素位置ごとに補助関数ｆ（ｘ，ｙ）が設定されることになるが、複数の画素から成るブロックごとに補助関数ｆ（ｘ，ｙ）を設定するようにしても良い（後述の第１１実施例においても同様）。この場合、エッジ評価画像を複数のブロックに切り分け、ブロックごとにエッジ強度を求めるようにする。或るブロックに対するエッジ強度を、そのブロックに属する各画素位置（ｘ，ｙ）のエッジ強度Ｅｄｇｅ（ｘ，ｙ）の平均値とすることができる。そして、式（Ｄ１０）のＥｄｇｅ（ｘ，ｙ）に第１ブロックのエッジ強度を代入した時における式（Ｄ１０）の右辺を、第１ブロックに対する関数ｆ10（λ，ｗ，ｘA，ｙA）として設定し、同様に、式（Ｄ１０）のＥｄｇｅ（ｘ，ｙ）に第２ブロックのエッジ強度を代入した時における式（Ｄ１０）の右辺を、第２ブロックに対する関数ｆ10（λ，ｗ，ｘB，ｙB）として設定する。ここで、第１及び第２ブロックは互いに異なり、（ｘA，ｙA）は第１ブロックに属する任意の画素位置を表すと共に（ｘB，ｙB）は第２ブロックに属する任意の画素位置を表す。他のブロックに対しても同様に関数ｆ10（λ，ｗ，ｘ，ｙ）が設定される。
【０１１８】
これにより、第１ブロックに対しては、関数ｆ10（λ，ｗ，ｘA，ｙA）を含む評価関数Ｅに基づいて加重加算係数ｗk（ｘA，ｙA）が算出されてｗk（ｘA，ｙA）及びｍｉｄk（ｘA，ｙA）からｏｕｔ（ｘA，ｙA）が求められ、第２ブロックに対しては、関数ｆ10（λ，ｗ，ｘB，ｙB）を含む評価関数Ｅに基づいて加重加算係数ｗk（ｘB，ｙB）が算出されてｗk（ｘB，ｙB）及びｍｉｄk（ｘB，ｙB）からｏｕｔ（ｘB，ｙB）が求められるようになる。第１ブロックに対する加重加算係数ｗkは、第１ブロック内の全画素位置に対して共通となり、第２ブロックに対する加重加算係数ｗkは、第２ブロック内の全画素位置に対して共通となる。
【０１１９】
［第１１実施例］
第１１実施例を説明する。第１０実施例と同様、第１１実施例においても、画素位置が異なれば設定される評価関数Ｅも異なりうる。第１０実施例と同様、第１１実施例においても、より現実に即した説明を可能にするため、入力画像が二次元画像であるものとして説明を行う。第１１実施例では、下記式（Ｄ１１）にて定義される関数ｆ11（λ，ｗ，ｘ，ｙ）を、画素位置（ｘ，ｙ）に対する補助関数ｆ（λ，ｗ）として用いる。
【０１２０】
【数１８】
2011082614.tif 000020
【０１２１】
式（Ｄ１１）における関数Ｇ（ｘ，ｙ）は、式（Ｄ１１＿１）によって定義される。図４に示す如く、Ｃ1及びＣ2は、夫々、基準画像上に設定された特定被写体領域の中心画素位置の水平及び垂直方向の座標値であり、“２×Ｌ1”は、基準画像上における特定被写体領域の水平方向の大きさであり、“２×Ｌ2”は、基準画像上における特定被写体領域の垂直方向の大きさである。図４における斜線領域が特定被写体領域に対応している。本例では、特定被写体領域が矩形領域であることを想定しているが、特定被写体領域の形状は矩形でなくても構わない。
【０１２２】
注目画素位置（ｘ，ｙ）に対する関数Ｇ（ｘ，ｙ）の値は、注目画素位置（ｘ，ｙ）が特定被写体領域内に属していれば１となる。注目画素位置（ｘ，ｙ）が特定被写体領域内に属していなければ、注目画素位置（ｘ，ｙ）に対する関数Ｇ（ｘ，ｙ）の値は、注目画素位置（ｘ，ｙ）及び中心（Ｃ1，Ｃ2）間の距離が増大するに従って増大する、１より大きな値となる。
【０１２３】
特定被写体領域は、例えば、人の顔の画像信号が存在する顔領域であって、主要被写体の画像信号が存在する画像領域とみなされる。画像処理部５０に内在する顔検出部（不図示）は、基準画像の画像信号に基づく公知の顔検出処理を用いて、基準画像の全画像領域の中から基準画像の一部画像領域に相当する顔領域を抽出することができる。但し、特定被写体領域は、顔領域以外の領域であっても良く、特定の物体の画像信号が存在する領域を特定被写体領域として定めればよい。基準画像上に特定の物体の画像信号が存在しているか否かも、基準画像の画像特徴の一種である。基準画像上に特定の物体の画像信号が存在しないこともあるが、ここでは、特定の物体としての人の顔の画像信号が基準画像上に存在している場合を考える。
【０１２４】
上記の如く補助関数ｆ（λ，ｗ）を設定することにより、顔領域に対しては、評価関数Ｅに対する補助関数ｆ（λ，ｗ）の寄与度が比較的小さくなって超解像効果が強く働く一方で、顔領域以外の画像領域に対しては、評価関数Ｅに対する補助関数ｆ（λ，ｗ）の寄与度が比較的大きくなってノイズ低減を含む画質調整がより強く働く。結果、顔領域がそれ以外の領域（通常は背景領域）よりも鮮明に描写された、メリハリのある出力画像を得ることができる。
【０１２５】
［第１２実施例］
第１２実施例を説明する。第１２実施例では、上述の第１〜第９実施例と同様、中間生成画像ＭＩＤkの全画素位置に対して（換言すれば、入力画像の全画素位置に対して）共通の評価関数Ｅが設定される。具体的には、下記式（Ｄ１２）にて定義される関数ｆ12（λ，ｗ，ｄ）を、式（Ｃ５）における補助関数ｆ（λ，ｗ）として用いる。ここで、μは、露光時間ＴEXPに依存する値を有するパラメータである。
【０１２６】
【数１９】
2011082614.tif 000021
【０１２７】
上述したように、「ｄk＝ＩＮＴk＋Δk」且つ「−０．５＜Δk≦０．５」であるから（ＩＮＴkは整数）、｜ｄk｜は、入力画像ＩＮkについての、整数部分を含む位置ずれ量の絶対的な大きさ（即ち、絶対値）である。
【０１２８】
位置ずれ量の絶対的な大きさと露光時間及び露光間隔は、相関の関係にある。図５に、入力画像ＩＮ1、ＩＮ2、ＩＮ3・・・の順番で入力画像列が撮影された場合における、各入力画像の露光タイミング関係を示す。入力画像ＩＮkの露光時間とは、入力画像ＩＮkの画像信号を取得するために撮像素子３３において行われた露光の期間の長さである。入力画像ＩＮ1及びＩＮkの露光間隔とは、入力画像ＩＮ1を撮影するための露光の開始時刻と入力画像ＩＮkを撮影するための露光の開始時刻との間隔である。入力画像ＩＮkの露光時間が長いと入力画像ＩＮkに画像ぶれが含まれやすくなり、入力画像ＩＮkの露光時間が短いと入力画像ＩＮkに画像ぶれが含まれにくくなる。このように、１枚の入力画像に含まれる画像ぶれは、当該入力画像の露光時間に依存する。他方、１枚の入力画像に含まれる画像ぶれは、当該入力画像と他の入力画像との間の露光間隔には依存しない。その露光間隔が長かったとしても、当該入力画像の露光時間が短ければ当該入力画像に画像ぶれは含まれにくくなるからである。しかしながら、露光間隔が長いこと等に起因して位置ずれ量の絶対的な大きさ｜ｄk｜が大きくなればなるほど、基本的に、入力画像ＩＮkを超解像に利用することの適正が損なわれてゆく。｜ｄk｜が大きいほど、超解像に適した画像領域が入力画像ＩＮkに含まれなくなる可能性が高まるからである。例えば、｜ｄk｜が大きくなればなるほど、入力画像ＩＮ1には含まれていなかった動物体が入力画像ＩＮkに含まれるという事象の発生確率が高まり、そのような事象が発生すると、動物体の画像部分に対して超解像処理を行うことはできなくなる。
【０１２９】
これを考慮し、関数ｆ12（λ，ｗ，ｄ）を補助関数ｆ（λ，ｗ）として用いる。これにより、｜ｄk｜が比較的小さい入力画像ＩＮkに対する加重加算係数ｗkが相対的に大きくなる一方で、｜ｄk｜が比較的大きい入力画像ＩＮkに対する加重加算係数ｗkが相対的に小さくなる。｜ｄk｜が十分に大きければ、出力画像の生成に入力画像ＩＮkは寄与しなくなる（不要な入力画像が除去される）。
【０１３０】
［第１３実施例］
第１３実施例を説明する。中間生成画像ＭＩＤkの全画素位置に対して（換言すれば、入力画像の全画素位置に対して）共通の評価関数Ｅを設定する方法と、異なる画素位置間で評価関数Ｅを異ならせる方法と、を上述したが、前者の方法と後者の方法を組み合わせて実施することも可能である。
【０１３１】
即ち例えば、前者の方法を用いることにより中間生成画像ＭＩＤkの全画素位置に対して（換言すれば、入力画像の全画素位置に対して）共通の評価関数Ｅを暫定的に設定した後、最終的な評価関数Ｅが異なる画素位置間で異なりうるように、後者の方法を用いて、暫定的に設定した評価関数Ｅを修正するようにしても良い。勿論、前者の方法と後者の方法を同時に実行するようにしても良い。前者の方法は第１〜第９及び第１２実施例において示され、後者の方法は第１０及び第１１実施例において示されている。
【０１３２】
例えば、第６実施例と第１０又は第１１実施例とを組み合わせる場合には、上記式（Ｄ６）に定義された関数ｆ6（λ，ｗ）を上記式（Ｄ１０）又は式（Ｄ１１）におけるｆ’（λ，ｗ）に代入し、これによって得た関数ｆ10（λ，ｗ，ｘ，ｙ）又はｆ11（λ，ｗ，ｘ，ｙ）を、画素位置（ｘ，ｙ）に対する補助関数ｆ（λ，ｗ）として用いればよい。これによれば、補助関数ｆ（λ，ｗ）は値ＳＮＳに依存しつつも、各画像領域のエッジ状態に応じて画素位置（ｘ1，ｙ1）に対する補助関数ｆ（λ，ｗ）と画素位置（ｘ2，ｙ2）に対する補助ｆ（λ，ｗ）は異なるようになる（ここで、画素位置（ｘ1，ｙ1）と画素位置（ｘ2，ｙ2）は互いに異なる）。同様にして、第１〜第９及び第１２実施例の内の何れかと、第１０又は第１１実施例とを組み合わせて実施することが可能である。
【０１３３】
更に、矛盾が生じない限り、第１〜第１２実施例の内の、任意の複数の実施例を組み合わせることも可能である。例えば、第６実施例と第７実施例を組み合わせる場合においては、第６実施例で述べた上記式（Ｄ６）に従う関数ｆ6（ｘ，ｙ）を式（Ｄ７）の関数ｆ’（ｘ，ｙ）に代入し、この代入によって得た関数ｆ7（ｘ，ｙ）を、式（Ｃ５）における補助関数ｆ（ｘ，ｙ）として用いればよい（この場合、補助関数ｆ（ｘ，ｙ）は、√ＳＮＳとＭ2に比例することになる）。
【０１３４】
［第１４実施例］
第１４実施例を説明する。第１４実施例では、特許文献１に係る上記式（Ａ５）を用いた加重加算係数の算出方法と、上述の第３実施例に係る上記式（Ｄ３）を用いた加重加算係数の算出方法とを対比しつつ、調整パラメータλkの存在意義及び設定方法を説明する。
【０１３５】
特許文献１には、上記式（Ａ５）と等しい次式（Ｅ１）を、Σｗk＝１の条件下で解く
という方法が示されている。
【０１３６】
【数２０】
2011082614.tif 000022
【０１３７】
一方、上述の第３実施例に係る方法を式（Ｅ１）に沿った形で記述したならば、第３実施例に係る方法は、次式（Ｅ２）を、Σｗk＝１の条件下で解くという方法に相当する。
【０１３８】
【数２１】
2011082614.tif 000023
【０１３９】
式（Ｅ１）に基づく方法と式（Ｅ２）に基づく方法との間には、調整パラメータλkの有無に起因する、本質的な差異がある。つまり、式（Ｅ１）に基づく方法では、各入力画像に対して一律の評価が行われるのに対して、式（Ｅ２）に基づく方法では、入力画像ごとに設定可能な調整パラメータλkを導入したことにより、入力画像ごとに加重加算係数を制御することが可能となる。
【０１４０】
調整パラメータλkの具体的な設定例を説明する。基準画像から見た位置ずれ量の絶対的な大きさ｜ｄk｜が相当に大きな入力画像が、出力画像の元となるべき複数の入力画像の中に含まれていた場合を考える。このような位置ずれ量の大きな入力画像は、第１２実施例においても述べたように、超解像にあまり利用したくない。
【０１４１】
式（Ｅ１）に基づく方法では、位置ずれ量が大きいからといって、その入力画像に対する加重加算係数を減らすような制御はできない。一方、式（Ｅ２）に基づく方法を用いた場合には、｜ｄk｜が大きい入力画像に対する調整パラメータλkを他の入力画像のそれよりも相対的に大きく設定しておくことで、｜ｄk｜が大きい入力画像に対する加重加算係数を減らす（究極的にはゼロにする）ことが可能である。このように、λi≠λjとなるように位置ずれ量ｄk等に基づき調整パラメータλkを設定することが可能になるため（ここにおけるｉ及びｊは、１以上ｍ以下の整数であって且つｉ≠ｊ）、式（Ｅ２）に基づく方法に代表されるような、調整パラメータλkを導入した本実施形態に係る方法は有益である。
【０１４２】
上述してきたように、本実施形態に係る方法によれば、入力画像の撮影条件等に適応した評価関数Ｅを用いて加重加算係数ｗkの算出がなされるため、様々な条件下において、様々な条件に適応した出力画像の画質最適化が図られる。
【０１４３】
＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１４４】
[注釈１]
上述の各実施例において示した、補助関数ｆ（ｘ，ｙ）として設定されるべき関数の定義式（式（Ｄ１）〜（Ｄ１２））は、あくまで例示であり、各実施例の主旨又は本発明の主旨を損なわない限り、それらの定義式を様々に変形できることは言うまでもない。
【０１４５】
[注釈２]
上述の実施形態では、画像処理部５０が撮像装置１内に設けられていることを想定したが、画像処理部５０は、撮像装置１と異なる電子機器（不図示）に搭載されていてもよい。電子機器には、テレビ受信機のような表示装置、パーソナルコンピュータ、携帯電話機などが含まれ、撮像装置も電子機器の一種である。撮像装置１における撮影によって得られたｍ枚の入力画像の画像信号を、記録媒体１５を介して又は通信によって上記電子機器に伝達するようにすれば、当該電子機器内の画像処理部５０において、ｍ枚の入力画像から出力画像を生成することが可能である。
【０１４６】
この際、評価関数Ｅを設定するために必要な付加情報も、当該電子機器に伝達するようにすると良い。この付加情報に、入力画像の撮影条件を表す情報（撮影感度に応じた信号増幅率ＳＮＳ、光学ズーム倍率Ｍ及び／又は露光時間ＴEXPを含む）や、入力画像の合焦度合いを表す情報（評価値Ｆｏｃｕｓを含む）を含めておくことができる。
【０１４７】
［注釈３］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい
【符号の説明】
【０１４８】
１  撮像装置
１１  撮像部
１２  ＡＦＥ
１３  主制御部
３０  ズームレンズ
３１  フォーカスレンズ
３２  絞り
３３  撮像素子
３４  ドライバ
３５  光学系
５１  入力画像取得部
５２  位置ずれ量検出部
５３  高解像度化部
５４  加重加算係数算出部
５５  画像合成部
【図１】
2011082614.tif 000024
【図２】
2011082614.tif 000025
【図３】
2011082614.tif 000026
【図４】
2011082614.tif 000027
【図５】
2011082614.tif 000028