(57)【要約】【課題】撮像状況に適した低解像度画像を取得するとともに、ノイズの少ない高解像度画像を生成することを可能とする撮像装置を提供する。【解決手段】超解像処理部６０は、複数の第１入力画像を合成して高解像度画像を生成する高解像度画像生成部６１を備える。第１入力画像は、超解像処理によって出力画像の解像度を入力画像以上とすることが可能となる下限の速度である超解像限界シャッタ速度以上のシャッタ速度で撮像される。そして、露出量に応じて、高解像度画像が出力画像となる第１方式が選択されたり、高解像度画像と平均化画像に基づいた画像とが加重加算処理された加重加算画像が出力画像となる第２方式が選択されたり、高解像度画像と第２入力画像に基づいた画像とが加重加算処理された加重加算画像が出力画像となる第３方式が選択されたりする。【選択図】図２
2010063088.tif 000002
【特許請求の範囲】
【請求項１】
撮像により入力画像を生成する撮像部を備えた撮像装置において、
前記撮像部から得られる複数の前記入力画像に対して超解像処理を行い、前記入力画像の解像度以上の解像度を有する出力画像を生成する超解像処理部を備え、
少なくとも１つの前記入力画像を前記撮像部が撮像する時のシャッタ速度を、前記超解像処理によって前記出力画像の解像度を前記入力画像の解像度以上とすることが可能となる下限のシャッタ速度である超解像限界シャッタ速度以上とすることを特徴とする撮像装置。
【請求項２】
前記超解像処理部が行う前記超解像処理に複数の方式が有り、
前記超解像処理部が、前記撮像部の露出量に基づいて選択される前記複数の方式の中の１つを実行することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記超解像処理部が、
複数の前記入力画像を合成して高解像度画像を生成する高解像度画像生成部と、
複数の前記入力画像を平均化処理して平均化画像を生成する平均化処理部と、
前記高解像度画像と所定の画像とを加重加算処理して加重加算画像を生成する加重加算処理部と、を備え、
前記露出量が第１閾値より小さい場合、
前記加重加算処理部が、前記高解像度画像と前記平均化画像に基づいた画像とを加重加算処理して前記加重加算画像を生成するとともに、
前記加重加算画像を前記出力画像とすることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記入力画像が、前記超解像限界シャッタ速度以上のシャッタ速度で撮像されて得られる第１入力画像と、前記超解像限界シャッタ速度未満のシャッタ速度で撮像されて得られる第２入力画像と、から成り、
前記超解像処理部が、
複数の前記入力画像を合成して高解像度画像を生成する高解像度画像生成部と、
前記高解像度画像と所定の画像とを加重加算処理して加重加算画像を生成する加重加算処理部と、をさらに備え、
前記露出量が第２閾値より小さい場合、
前記加重加算処理部が、前記高解像度画像と前記第２入力画像に基づいた画像とを加重加算処理して前記加重加算画像を生成するとともに、
前記加重加算画像を前記出力画像とすることを特徴とする請求項２または請求項３に記載の撮像装置。
【請求項５】
前記超解像処理部が、
複数の前記入力画像を平均化処理して平均化画像を生成する平均化処理部を備え、
前記露出量が第２閾値より小さい場合、
前記平均化画像に基づいた画像を前記出力画像とすることを特徴とする請求項２または請求項３に記載の撮像装置。
【請求項６】
撮像により入力画像を生成する撮像部を備えた撮像装置において、
前記撮像部から得られる複数の前記入力画像に対して超解像処理を行い、前記入力画像の解像度以上の解像度を有する出力画像を生成する超解像処理部を備え、
前記撮像部の前記露出量が第２閾値以上の場合、
少なくとも１つの前記入力画像を前記撮像部が撮像する時のシャッタ速度を、前記超解像処理によって前記出力画像の解像度を前記入力画像の解像度以上とすることが可能となる下限のシャッタ速度である超解像限界シャッタ速度以上とし、
前記撮像部の前記露出量が前記第２閾値より小さい場合、
前記入力画像を前記撮像部が撮像する時のシャッタ速度を、前記超解像限界シャッタ速度未満にすることを特徴とする撮像装置。
【請求項７】
画像を表示する画像表示部をさらに備え、
前記入力画像の撮像前に、前記露出量に基づいて選択されると推定された前記超解像処理の方式を、前記画像表示部に表示して報知することを特徴とする請求項２〜請求項６のいずれかに記載の撮像装置。
【請求項８】
前記超解像処理部が、前記入力画像の一部分を拡大した前記出力画像を出力することを特徴とする請求項１〜請求項７のいずれかに記載の撮像装置。
【請求項９】
前記撮像装置が、前記出力画像に関する付加情報を前記出力画像に関連付けて成る出力画像ファイルを作成するものであり、
前記出力画像の生成状況を示す情報を、前記付加情報の１つとすることを特徴とする請求項１〜請求項８のいずれかに記載の撮像装置。
【請求項１０】
前記入力画像を前記撮像部が撮像する時の撮像条件が任意に設定されるマニュアル設定モードであるときに、
少なくとも１つの前記入力画像を前記撮像部が撮像する時のシャッタ速度が前記超解像限界シャッタ速度以上となるように、設定可能な前記撮像条件を制限することを特徴とする請求項１〜請求項９のいずれかに記載の撮像装置。
【請求項１１】
前記撮像部に入力される光学像に生じるぶれを抑制する光学手ぶれ補正部をさらに備え、
前記光学手ぶれ補正部を使用する際に設定する超解像限界シャッタ速度を、前記光学手ぶれ補正部を使用しない際に設定する超解像限界シャッタ速度以下とすることを特徴とする請求項１〜請求項１０のいずれかに記載の撮像装置。
【請求項１２】
前記撮像部が前記超解像シャッタ速度以上の仮シャッタ速度で仮入力画像を撮像した場合に、当該仮入力画像中に生じると推測される撮像対象のぶれ量を算出するぶれ量算出部をさらに備え、
当該ぶれ量が所定の大きさ以上となる場合に、少なくとも１つの前記入力画像を前記撮像部が撮像する時のシャッタ速度を、前記仮シャッタ速度以上とすることを特徴とする請求項１〜請求項１１のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像により得られた低解像度画像に基づいて高解像度画像を得る超解像処理を実行可能な撮像装置に関する。
【背景技術】
【０００２】
近年、撮像を行って得られた低解像度の画像を用いて高解像度の画像を得る、いわゆる超解像処理を実行可能な撮像装置が種々提案されている。このような超解像処理の１つとして、例えば非特許文献１には、複数の低解像度画像を用いて１つの高解像度画像を生成する超解像処理が提案されている。
【０００３】
また、特許文献１には、複数の画像を合成することによって得られる画像の明るさを調整する撮像装置が提案されている。また、シャッタ速度などを制御可能として、合成を行う画像の明るさの制御を行うことが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−９２４１６号公報
【非特許文献】
【０００５】
【非特許文献１】Sung, C. P. Min, K. P. Moon, G. K. 共著 "Super-resolution image reconstruction: a technical overview", (Signal processing Magazine, IEEE on Volume 26,Issue 3, May 2003, P.21-36)
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、非特許文献１によって提案されているような、複数の低解像度画像を用いて高解像度画像を生成する方法では、それぞれの低解像度画像の劣化を抑制することが課題となっている。特に、低解像度画像が極端に劣化すると、超解像処理を行っても解像度向上の効果を得ることができなくなるため、問題となる。具体的には、折り返し雑音（イメージセンサの画素ピッチｔの逆数１／ｔの１／２の周波数（ナイキスト周波数）以上の高い空間周波数を有する光学像が入射されて生成された画像に生じる雑音）が低解像度画像に発生し難ければ、折り返し雑音をキャンセルすることによる解像度向上の効果を得ることは困難となる。
【０００７】
折り返し雑音が低解像度画像から発生し難い場合とは、例えば、撮像中に手ぶれや被写体ぶれなどが生じて画像が劣化する場合などである。このような場合、画像がぼけることで高周波成分が著しく小さくなるため、折り返し雑音が発生し難くなる。なお、撮像中に手ぶれや被写体ぶれが発生しやすくなる状況とは、例えば、撮像装置に入射する光が弱い場合などである。この場合、シャッタ速度を遅くする（露出時間を長くする）必要が生じるため、手ぶれや被写体ぶれが発生しやすくなる。
【０００８】
なお、シャッタ速度を速くすれば、手ぶれや被写体ぶれなどを抑制することは可能となる。しかしながら、イメージセンサの感度を大きくする必要が生じるため、低解像度画像にノイズが含まれるようになる。すると、高解像度画像を生成する際に低解像度画像のノイズが増幅され、良好な高解像度画像を得ることが困難となる。
【０００９】
そこで、本発明は、撮像状況に適した低解像度画像を取得するとともに、ノイズの少ない高解像度画像を生成することを可能とする撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の撮像装置は、撮像により入力画像を生成する撮像部を備えた撮像装置において、前記撮像部から得られる複数の前記入力画像に対して超解像処理を行い、前記入力画像の解像度以上の解像度を有する出力画像を生成する超解像処理部を備え、少なくとも１つの前記入力画像を前記撮像部が撮像する時のシャッタ速度を、前記超解像処理によって前記出力画像の解像度を前記入力画像の解像度以上とすることが可能となる下限のシャッタ速度である超解像限界シャッタ速度以上とすることを特徴とする。
【００１１】
ここで、あるシャッタ速度が超解像限界シャッタ速度以上になるとは、例えばシャッタ速度を時間（露出時間）で表現すると、あるシャッタ速度の値が超解像限界シャッタ速度の値以下になることを示すものとする。また、超解像処理とは例えば、入力画像の解像度（画素数）を高めるとともに、ナイキスト周波数以上の高周波成分を精度よく復元したり、折り返し雑音をキャンセルしたりして、より高精細な出力画像を生成する処理である。
【００１２】
また、上記構成の撮像装置において、前記超解像限界シャッタ速度が、前記撮像部の焦点距離に基づいて決定されるものとしても構わない。具体的に例えば、前記超解像限界シャッタ速度を、前記焦点距離をｆｍｍとして１／（５×ｆ）秒で表される値としても構わない。
【００１３】
このように構成すると、超解像限界シャッタ速度が、入力画像中の手ぶれによるぼけがほとんど認識されないようになる手ぶれ限界シャッタ速度（例えば１／（２×ｆ））よりも十分（２．５倍程度）速いものとなる。そのため、ナイキスト周波数以上の高周波成分や折り返し雑音を含み得る入力画像を生成することが可能となる。したがって、超解像処理による高精細化の効果が十分に得られた出力画像を生成することが可能となる。
【００１４】
また、上記構成の撮像装置において、前記超解像処理部が行う前記超解像処理に複数の方式が有り、前記超解像処理部が、前記撮像部の露出量に基づいて選択される前記複数の方式の中の１つを実行することとしても構わない。
【００１５】
このように構成すると、撮像部に入力される被写体の明るさ（露出量）に応じて、実行される超解像処理の方式が決定される。具体的に例えば、露出量が小さくノイズが含まれやすくなる入力画像が生成される場合には、ノイズを低減する処理を伴う方式が選択されることとなる。そのため、ノイズの少ない出力画像を生成することが可能となる。
【００１６】
また、上記構成の撮像装置において、前記超解像処理部が、複数の前記入力画像を合成して高解像度画像を生成する高解像度画像生成部を備え、前記露出量が第１閾値以上である場合、前記高解像度画像を前記出力画像とすることとしても構わない。
【００１７】
また、上記構成の撮像装置において、前記超解像処理部が、複数の前記入力画像を合成して高解像度画像を生成する高解像度画像生成部と、複数の前記入力画像を平均化処理して平均化画像を生成する平均化処理部と、前記高解像度画像と所定の画像とを加重加算処理して加重加算画像を生成する加重加算処理部と、を備え、前記露出量が第１閾値より小さい場合、前記加重加算処理部が、前記高解像度画像と前記平均化画像に基づいた画像とを加重加算処理して前記加重加算画像を生成するとともに、前記加重加算画像を前記出力画像とすることとしても構わない。
【００１８】
このように構成すると、平均化処理をすることによってノイズが低減された平均化画像を、高解像度画像との加重加算処理に用いることができる。そのため、得られる加重加算画像（出力画像）のノイズを低減することが可能となる。
【００１９】
また、上記構成の撮像装置において、前記入力画像が、前記超解像限界シャッタ速度以上のシャッタ速度で撮像されて得られる第１入力画像と、前記超解像限界シャッタ速度未満のシャッタ速度で撮像されて得られる第２入力画像と、から成り、前記超解像処理部が、複数の前記入力画像を合成して高解像度画像を生成する高解像度画像生成部と、前記高解像度画像と所定の画像とを加重加算処理して加重加算画像を生成する加重加算処理部と、をさらに備え、前記露出量が第２閾値より小さい場合、前記加重加算処理部が、前記高解像度画像と前記第２入力画像に基づいた画像とを加重加算処理して前記加重加算画像を生成するとともに、前記加重加算画像を前記出力画像とすることとしても構わない。
【００２０】
このように構成すると、超解像限界シャッタ速度未満のシャッタ速度で撮像することによってノイズが低減された第２入力画像を、高解像度画像との加重加算処理に用いることができる。そのため、得られる加重加算画像（出力画像）のノイズを低減することが可能となる。
【００２１】
また、上記構成の撮像装置において、第２閾値が第１閾値よりも小さいこととしても構わない。このように構成すると、含まれるノイズの程度が小さい場合は、第１入力画像を用いて得られる平均化画像を用い、含まれるノイズの程度が大きく平均化画像では対応しきれない場合は、第２入力画像を生成して用いることとなる。したがって、第２入力画像の撮像を、必要な場合に限ることが可能となる。
【００２２】
また、上記構成の撮像装置において、前記超解像処理部が、複数の前記入力画像を平均化処理して平均化画像を生成する平均化処理部を備え、前記露出量が第２閾値より小さい場合、前記平均化画像に基づいた画像を前記出力画像とすることとしても構わない。
【００２３】
このように構成すると、出力画像のノイズを効果的に低減することが可能となる。また、高解像度画像の生成が不要となるため、処理の簡略化を図ることが可能となる。
【００２４】
また、本発明の撮像装置は、撮像により入力画像を生成する撮像部を備えた撮像装置において、前記撮像部から得られる複数の前記入力画像に対して超解像処理を行い、前記入力画像の解像度以上の解像度を有する出力画像を生成する超解像処理部を備え、前記撮像部の前記露出量が第２閾値以上の場合、少なくとも１つの前記入力画像を前記撮像部が撮像する時のシャッタ速度を、前記超解像処理によって前記出力画像の解像度を前記入力画像の解像度以上とすることが可能となる下限のシャッタ速度である超解像限界シャッタ速度以上とし、前記撮像部の前記露出量が前記第２閾値より小さい場合、前記入力画像を前記撮像部が撮像する時のシャッタ速度を、前記超解像限界シャッタ速度未満にすることを特徴とする。
【００２５】
このように構成すると、出力画像のノイズを効果的に低減することが可能となる。また、露出量が小さい場合に、シャッタ速度が速くノイズが多大に含まれ得る入力画像を無用に撮像したり、当該入力画像を用いて高解像度画像を生成したりすることを防止することが可能となる。したがって、処理の簡略化を図ることが可能となる。
【００２６】
また、上記構成の撮像装置において、画像を表示する画像表示部をさらに備え、前記入力画像の撮像前に、前記露出量に基づいて選択されると推定された前記超解像処理の方式を、前記画像表示部に表示して報知することとしても構わない。
【００２７】
また、上記構成の撮像装置において、前記超解像処理部が、前記入力画像の一部分を拡大した前記出力画像を出力することとしても構わない。
【００２８】
また、上記構成の撮像装置において、前記撮像装置が、前記出力画像に関する付加情報を前記出力画像に関連付けて成る出力画像ファイルを作成するものであり、前記出力画像の生成状況を示す情報を、前記付加情報の１つとすることとしても構わない。
【００２９】
このように構成すると、ユーザが付加情報を確認することにより、出力画像が効果的な超解像処理が施されたものであるか否かを確認することが可能となる。なお、生成状況を示す情報として、入力画像の撮像条件（焦点距離やシャッタ速度、絞り値、ＩＳＯ感度など）を示す情報や、上記超解像処理の方式を示す情報などを適用しても構わない。
【００３０】
また、上記構成の撮像装置において、前記入力画像を前記撮像部が撮像する時の撮像条件が任意に設定されるマニュアル設定モードであるときに、少なくとも１つの前記入力画像を前記撮像部が撮像する時のシャッタ速度が前記超解像限界シャッタ速度以上となるように、設定可能な前記撮像条件を制限することとしても構わない。
【００３１】
このように構成すると、マニュアル設定モードであっても、ナイキスト周波数以上の高周波成分や折り返し雑音を含み得る入力画像を確実に得ることが可能となる。
【００３２】
また、上記構成の撮像装置において、前記撮像部に入力される光学像に生じるぶれを抑制する光学手ぶれ補正部をさらに備え、前記光学手ぶれ補正部を使用する際に設定する超解像限界シャッタ速度を、前記光学手ぶれ補正部を使用しない際に設定する超解像限界シャッタ速度以下とすることとしても構わない。
【００３３】
このように構成すると、光学手ぶれ補正部を使用する場合に超解像限界シャッタ速度を遅くすることが可能となるため、好適に超解像処理の効果を得ることができる撮像状況を広げることが可能となる。したがって、入力画像に含まれるノイズを低減したり、適正な明るさを維持したりすることが可能となる。
【００３４】
また、上記構成の撮像装置において、前記撮像部が前記超解像シャッタ速度以上の仮シャッタ速度で仮入力画像を撮像した場合に、当該仮入力画像中に生じると推測される撮像対象のぶれ量を算出するぶれ量算出部をさらに備え、当該ぶれ量が所定の大きさ以上となる場合に、少なくとも１つの前記入力画像を前記撮像部が撮像する時のシャッタ速度を、前記仮シャッタ速度以上とすることとしても構わない。
【００３５】
このように構成すると、入力画像に含まれるぶれを効果的に抑制し、入力画像にナイキスト周波数以上の高周波成分や折り返し雑音が含まれ得るようにすることが可能となる。さらに、仮シャッタ速度以上のシャッタ速度が、仮シャッタ速度の１／８倍以下の速さであることとしても構わない。このような範囲となるようにシャッタ速度を設定すると、シャッタ速度が速くなりすぎて不明瞭な入力画像が撮像されることを抑制することが可能となる。なお、以下の実施形態では、ぶれ量算出部の一例として画像処理部を挙げて説明している。
【発明の効果】
【００３６】
本発明によると、超解像処理を行う入力画像を撮像する際のシャッタ速度が速いものとなる。そのため、ナイキスト周波数以上の高周波成分や折り返し雑音が入力画像に含まれやすくなり、出力画像の高精細化を図ることが可能となる。
【図面の簡単な説明】
【００３７】
【図１】は、本発明の実施形態における撮像装置の構成を示すブロック図である。
【図２】は、本発明の実施形態に係る撮像装置の超解像処理部の構成を示すブロック図である。
【図３】は、本発明の実施形態に係る撮像装置の超解像処理部の動作を示すフローチャートである。
【図４】は、１入力画像の撮像条件及び超解像処理の方式の決定方法の一例について示すプログラム線図である。
【図５】は、超解像処理の第１方式について示す図である。
【図６】は、超解像処理の第２方式について示す図である。
【図７】は、超解像処理の第３方式について示す図である。
【図８】は、高解像度画像生成部の動作の概要を示す図である。
【図９】は、高解像度画像生成部の動作の概要を示す図である。
【図１０】は、代表点マッチング法における画像の各領域の分割方法について示す画像の模式図である。
【図１１】は、代表点マッチング法について示す基準画像及び非基準画像の模式図である。
【図１２】は、１画素内動き量検出について示す基準画像及び非基準画像の模式図である。
【図１３】は、１画素内動き量検出を行う際の代表点及びサンプリング点の画素値の関係を示すグラフである。
【図１４】は、加重加算処理部の構成を示すブロック図である。
【図１５】は、エッジ強度値と加算割合との関係を示すグラフである。
【図１６】は、撮像状況と使用される超解像処理の各方式の関係の一例について示した図である。
【図１７】は、表示画像の一例について示した模式図である。
【図１８】は、撮像対象のぶれ量の算出方法の一例について示す図である。
【発明を実施するための形態】
【００３８】
本発明における撮像装置の実施形態について、図面を参照して説明する。また、撮像装置として、デジタルカメラなどの音声、動画及び静止画の記録が可能な撮像装置を例に挙げて説明する。
【００３９】
＜＜撮像装置＞＞
まず、撮像装置の構成について、図１を参照して説明する。図１は、本発明の実施形態における撮像装置の構成を示すブロック図である。
【００４０】
図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤ（Charge Coupled Devices）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。
【００４１】
さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音声を電気信号に変換するマイク５と、ＡＦＥ４から出力されるＲ（赤）Ｇ（緑）Ｂ（青）のデジタル信号となる画像信号をＹ（輝度信号）Ｕ，Ｖ（色差信号）を用いた信号に変換するとともに画像信号に各種画像処理を施す画像処理部６と、マイク５から出力されるアナログ信号である音声信号をデジタル信号に変換する音声処理部７と、画像処理部６から出力される画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したり画像処理部６から出力される画像信号と音声処理部７からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したりする圧縮処理部８と、圧縮処理部８で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、画像信号を外部メモリ１０に記録したり読み出したりするドライバ部９と、ドライバ部９において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１１と、を備える。なお、画像処理部６は、入力される画像信号に超解像処理を施す超解像処理部６０を備える。
【００４２】
また、撮像装置１は、伸長処理部１１で復号された画像信号をディスプレイなどの表示装置（不図示）で表示可能な形式の信号に変換する画像出力回路部１２と、伸長処理部１１で復号された音声信号をスピーカなどの再生装置（不図示）で再生可能な形式の信号に変換する音声出力回路部１３と、を備える。
【００４３】
また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１４と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１５と、撮像を開始するボタンや各種設定の決定を行うボタンなどのユーザからの指示が入力される操作部１６と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１７と、ＣＰＵ１４と各部との間で信号のやりとりを行うためのバス回線１８と、メモリ１５と各部との間で信号のやりとりを行うためのバス回線１９と、を備える。
【００４４】
なお、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。
【００４５】
次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１７から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／６０秒）で順次ＡＦＥ４に画像信号を出力する。そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部６に入力される。画像処理部６では、画像信号がＹＵＶを用いた信号に変換されるとともに、階調補正や輪郭強調等の各種画像処理が施される。また、メモリ１５はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像信号を一時的に保持する。
【００４６】
また、このとき画像処理部６に入力される画像信号に基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。また、画像処理部６に備えられる超解像処理部６０は、必要に応じて入力される画像信号に対して超解像処理を施す。
【００４７】
動画を記録する場合であれば、画像信号だけでなく音声信号も記録される。マイク５において電気信号に変換されて出力される音声信号は音声処理部７に入力されてデジタル化されるとともにノイズ除去などの処理が施される。そして、画像処理部６から出力される画像信号と、音声処理部７から出力される音声信号と、はともに圧縮処理部８に入力され、圧縮処理部８において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部９を介して外部メモリ１０に記録される。
【００４８】
一方、静止画や音声のみを記録する場合であれば、画像信号または音声信号が圧縮処理部８において所定の圧縮方法で圧縮され、外部メモリ１０に記録される。なお、動画を記録する場合と静止画を記録する場合とで、画像処理部６において行われる処理を異なるものとしても構わない。
【００４９】
外部メモリ１０に記録された圧縮後の画像信号及び音声信号は、ユーザの指示に基づいて伸長処理部１１に読み出される。伸長処理部１１では、圧縮された画像信号及び音声信号を伸長し、画像信号を画像出力回路部１２、音声信号を音声出力回路部１３にそれぞれ出力する。そして、画像出力回路部１２や音声出力回路部１３において、表示装置やスピーカで表示または再生可能な形式の信号に変換されて出力される。
【００５０】
なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。
【００５１】
また、画像信号の記録を行わずに表示装置などに表示される画像（スルー画像）をユーザが確認する、いわゆるプレビュー時に、画像処理部６から出力される画像信号を圧縮せずに画像出力回路部１２に出力することとしても構わない。また、動画の画像信号を記録する際に、圧縮処理部８で圧縮して外部メモリ１０に記録するのと並行して、画像出力回路部１２を介して表示装置などに画像信号を出力することとしても構わない。
【００５２】
＜＜超解像処理部＞＞
超解像処理部の構成について図２を参照して説明する。図２は、本発明の実施形態に係る撮像装置の超解像処理部の基本構成を示すブロック図である。なお、以下では説明の具体化のために、超解像処理部６０に入力されて超解像処理が行われる画像信号を画像として表現するとともに、「入力画像」と呼ぶこととする。また、超解像処理部６０から出力される画像信号を「出力画像」と呼び、静止画に対して超解像処理を行う場合について説明する。
【００５３】
図２に示すように、超解像処理部６０は、複数の第１入力画像が入力されるとともに入力される複数の第１入力画像を合成して高解像度画像を生成する高解像度画像生成部６１と、複数の第１入力画像が入力されるとともに入力される複数の第１入力画像に対して平均化処理を施して平均化画像を生成する平均化処理部６２と、平均化処理部６２から出力される平均化画像に対して補間処理を施し第１補間画像を生成する第１補間処理部６３と、第２入力画像が入力されるとともに第２入力画像に対して補間処理を施し第２補間画像を生成する第２補間処理部６４と、高解像度画像と第１補間画像及び第２補間画像のいずれかとが入力されるとともに入力されるこれら２つの画像に対して加重加算処理を行い加重加算画像を生成する加重加算処理部６５と、を備える。なお、高解像度画像及び加重加算画像のいずれかが、出力画像として超解像処理部６０から出力される。
【００５４】
また、図２では、高解像度画像生成部６１において合成される第１入力画像の数が４つである場合について示しているが、第１入力画像の数がｎ（ｎは２以上の整数）であっても構わない。ただし、説明の具体化のため、以下においては第１入力画像が４つである場合について説明する。
【００５５】
次に、超解像処理部６０の動作について図３を参照して説明する。図３は、本発明の実施形態に係る撮像装置の超解像処理部の動作を示すフローチャートである。図３に示すように、超解像処理部６０による超解像処理を行う撮像モード（以下、超解像撮像モードとする）が開始されると、まず、設定されている焦点距離ｆに応じた超解像限界シャッタ速度Ｔが算出される（ＳＴＥＰ１）。
【００５６】
超解像限界シャッタ速度Ｔとは、超解像処理部６０の超解像処理によって出力画像の解像度を入力画像の解像度以上として、高精細化することが可能となる下限（許容される最遅）のシャッタ速度である。より具体的には、通常の手ぶれ限界シャッタ速度よりも速いシャッタ速度であり、撮像により得られた画像がナイキスト周波数以上の高周波成分や折り返し雑音を含み得るものとなる下限のシャッタ速度である。なお、シャッタ速度は時間で表現され、当該時間が短いほどシャッタ速度が速い（大きい）ことを示す。
【００５７】
一般的な手ぶれ限界シャッタ速度は、３５ｍｍフィルムカメラにおいて焦点距離ｆ（ｍｍ）を用いて１／ｆ（秒）と表現される。また、デジタルカメラでは画像を拡大して観察することが多いため、さらに速い１／（２×ｆ）程度にすると好ましい（この場合のｆは３５ｍｍフィルム換算値）。この手ぶれ限界シャッタ速度とは、撮像により得られた画像中に手ぶれによるぼけがほとんど認識されないことを基準としたものである。そのため、撮像により得られた画像を、ナイキスト周波数以上の高周波成分や折り返し雑音を含み得るものとするためには、この手ぶれ限界シャッタ速度よりもシャッタ速度を速いものとして、手ぶれの影響をさらに低減する必要がある。そこで例えば、超解像限界シャッタ速度Ｔを、上記のデジタルカメラの手ぶれ限界シャッタ速度１／（２×ｆ）を基準として、その２〜２．５倍程度まで速くしたものとする。即ち例えば、１／（５×ｆ）としても構わない。
【００５８】
このようにして設定される超解像限界シャッタ速度Ｔ以上のシャッタ速度で撮像して得られる第１入力画像は、ナイキスト周波数以上の高周波成分や折り返し雑音を含み得るものとなる。したがって、超解像処理（入力画像中の高周波成分の復元や折り返し雑音のキャンセルにより、高精細化した出力画像を生成する処理）による効果を十分に得ることが可能となる。
【００５９】
ＳＴＥＰ１で超解像限界シャッタ速度Ｔが設定されると、次に、撮像指示の入力の有無が確認される（ＳＴＥＰ２）。撮像指示は、例えば、操作部１６に備えられる撮像ボタンが押下されることなどにより撮像装置１に入力される。撮像指示が入力されない場合（ＳＴＥＰ２、ＮＯ）、撮像指示が入力されるまで待機する。
【００６０】
撮像指示が入力されると（ＳＴＥＰ２、ＹＥＳ）、次に、第１入力画像の撮像条件及び超解像処理の方式の決定が行われる。超解像処理の方式とは、第１入力画像及び第２入力画像を用いた超解像処理の方式であり、図２に示した超解像処理部６０によって実行され得る超解像処理の方式を示すものである。なお、本例では第１方式〜第３方式の超解像処理が実行可能であるものとし、超解像処理の各方式の詳細については後述する。
【００６１】
第１入力画像の撮像条件及び超解像処理の方式の決定は、ＥＶ（Exposure Value）値に基づく。ＥＶ値とは、撮像部に入射される被写体の明るさを示すものであり、露出量とも段とも呼ばれる。このＥＶ値に基づいて、例えば、絞り値、ＩＳＯ（International Organization for Standardization）感度及びシャッタ速度の決定を行う。ここで、絞り値及びＩＳＯ感度はともに露出を表現する値である。絞り値は、イメージセンサ２に照射される光の量を示すものであり、ＩＳＯ感度はイメージセンサの感度を示すものである。
【００６２】
絞り値の値が小さくなると、イメージセンサ２に照射される光量が増えるため、得られる画像が明るくなる。また、ＩＳＯ感度の値が大きくなると、イメージセンサ２の感度が大きくなるため、得られる画像が明るくなる。具体的には、絞り値が２1/2倍になると明るさが１／２倍になり、ＩＳＯ感度が１／２倍になると明るさも１／２倍になる。なお、ＩＳＯ感度が５０、絞り値が１、シャッタ速度が１秒で適正露出となる明るさをＥＶ０と定義する。
【００６３】
ＳＴＥＰ３における第１入力画像の撮像条件及び超解像処理の方式の決定方法の具体例について図面を参照して説明する。図４は、第１入力画像の撮像条件及び超解像処理の方式の決定方法の一例について示すプログラム線図である。なお、図４に示すプログラム線図は、焦点距離が５０ｍｍ、超解像限界シャッタ速度Ｔが１／２５０秒である場合について示したものである。
【００６４】
図４の縦軸は絞り値及びＩＳＯ感度である。本例では、絞り値で明るさが制御できる場合は絞り値で制御する（この場合、ＩＳＯ感度は５０で一定）。そして、絞り値が１．４（開放）となった後、さらに画像を明るくする必要がある場合は、ＩＳＯ感度を制御する（この場合、絞り値は１．４で一定）。図４では、縦軸において１つ上の目盛りになると明るさが半分になり、１つ下の目盛りになると明るさが２倍となる。一方、横軸はシャッタ速度となる。横軸において１つ右の目盛りになるとシャッタ速度の値がおよそ１／２倍になって速くなり、１つ左の目盛りになるとシャッタ速度の値がおよそ２倍になって遅くなる。
【００６５】
図４に示すようなプログラム線図を用いると、ＥＶ値に応じた適正露出が求められる。例えば、あるＥＶ値に対応する対角線（目盛りの左上と右下とを結ぶ対角線）上であれば、どこでもそのＥＶ値における適正露出となる。例えば、ＥＶ値が０（対角線Ｌ１）である場合、シャッタ速度２ｓ、ＩＳＯ感度５０及び絞り値１．４でも、シャッタ速度１／２５０ｓ、ＩＳＯ感度２５６００及び絞り値１．４でも、どちらも適正露出となる。
【００６６】
ここで、本例では決定されるシャッタ速度が超解像限界シャッタ速度Ｔ以上に速くなるように、第１入力画像の撮像条件を決定する。特に、第１入力画像の撮像条件を規定する線Ｌ２と、ＥＶ値に対応する対角線との交点が示す撮像条件を、第１入力画像の撮像条件とする。線Ｌ２は、撮像部に入力される光量が大きいほど（露出量が大きいほど）シャッタ速度が速くなることを示す。ただし、ある明るさ（ＥＶ値で略９、対角線Ｌ３）より暗くなる場合は、シャッタ速度が超解像限界シャッタ速度Ｔで一定となることをも示している。
【００６７】
以上のようにしてシャッタ速度、絞り値及びＩＳＯ感度が決定される。そして、同時に超解像処理の方式も決定される。図４に示す例では、線Ｌ２において点Ａ〜点Ｂの間の撮像条件が使用される場合（ＥＶ値が６以上である場合）であれば、第１方式が用いられる。同様に、線Ｌ２において点Ｂ〜点Ｃの間の撮像条件が使用される場合（ＥＶ値が３以上６未満である場合）であれば、第２方式が用いられ、点Ｃ〜点Ｄの間の撮像条件が使用される場合（ＥＶ値が３未満である場合）であれば、第３方式が用いられる。
【００６８】
即ち、撮像部に入力される光量が減る（露出量が小さくなる）にしたがって（絞り値が小さくなり、ＩＳＯ感度が大きくなるにしたがって）、第１方式、第２方式、第３方式の順に選択されることとなる。
【００６９】
ＳＴＥＰ３において第１入力画像の撮像条件と超解像処理の方式とが決定されると、次に、第１入力画像の撮像が行われる（ＳＴＥＰ４）。このとき、第１入力画像は連続的に複数撮像される。例えば、図２に示す例のように４つ撮像される。
【００７０】
ＳＴＥＰ４において第１入力画像が撮像されると、次に、ＳＴＥＰ３で決定された超解像処理の方式に応じた超解像処理が行われる。ここで、第１方式が選択されている場合（ＳＴＥＰ５、ＹＥＳ）、第１方式の超解像処理が実行され（ＳＴＥＰ６）、超解像処理が終了する。なお、第１方式は、第１入力画像のみを用いて高解像度画像を生成する方式である。
【００７１】
第１方式ではなく（ＳＴＥＰ５、ＮＯ）、第２方式が選択されている場合（ＳＴＥＰ７、ＹＥＳ）、第２方式の超解像処理が実行され（ＳＴＥＰ８）、超解像処理が終了する。なお、第２方式も第１方式と同様であり、第１入力画像のみを用いて高解像度画像を生成する方式である。
【００７２】
第２方式でもない場合（ＳＴＥＰ７、ＮＯ）、第３方式が選択されていることとなる。第３方式は、第１入力画像と第２入力画像を用いて高解像度画像を生成する方式である。そのため、第２入力画像の撮像を行う。まず、第２入力画像の撮像条件を決定する（ＳＴＥＰ９）。第２入力画像の撮像条件の決定方法について、図４を参照して説明する。
【００７３】
第２入力画像の撮像条件の決定方法は、第１入力画像の決定方法と同様のものとなる。具体的には、第２入力画像の撮像条件を規定する線Ｌ４と、ＥＶ値に対応する対角線との交点が示す撮像条件を、第２入力画像の撮像条件とする。線Ｌ４は、一例としてＩＳＯ感度を８００、絞り値を１．４に固定している。なお、点Ｃ１及び点Ｄ１は、それぞれ適正露出となる場合の点Ｃ及び点Ｄと、同じＥＶ値（３及び−３）となる点である。
【００７４】
また、第２入力画像は、超解像限界シャッタ速度Ｔ未満のシャッタ速度で撮像される。例えば、ＥＶ値が０であれば、第２入力画像は、シャッタ速度１／８、ＩＳＯ感度８００及び絞り値１．４の撮像条件で撮像されることとなる。
【００７５】
ＳＴＥＰ９において第２入力画像の撮像条件が決定されると、次に、第２入力画像の撮像が行われる（ＳＴＥＰ１０）。そして、第１入力画像と第２入力画像とを用いて、第３方式による超解像処理が実行され、超解像処理が終了する。
【００７６】
なお、図４に示したプログラム線図は一例である。また、焦点距離などが変わることによって、線Ｌ２も変化し得る。
【００７７】
＜超解像処理の各方式＞
次に、超解像処理の第１〜第３の各方式について、図面を参照して説明する。図５〜図７は、それぞれ超解像処理の第１〜第３方式について示す図である。各図において、図２と同様の部分についは同じ番号を付し、その詳細な説明については省略する。
【００７８】
（第１方式）
図５に示すように、超解像処理の第１方式は、複数の第１入力画像を高解像度画像生成部６１において合成し、出力される高解像度画像をそのまま出力画像として出力する処理である。なお、高解像度画像生成部６１の詳細については後述する。
【００７９】
上述のように、第１方式が選択される場合とは、ＥＶ値が大きく、シャッタ速度を速いものとしてもＩＳＯ感度が小さいものとなる。そのため、第１入力画像はノイズが少なく良好な画像となる。したがって、高解像度画像生成部６１から出力される高解像度画像をそのまま出力画像として用いることが可能となる。
【００８０】
（第２方式）
図６に示すように、超解像処理の第２方式では、まず、第１方式と同様に複数の第１入力画像を高解像度画像生成部６１において合成し、高解像度画像を生成する。また、複数の第１入力画像を平均化処理部６２において平均化処理し、平均化画像を生成する。生成された平均化画像に対して、第１補間処理部６３によって補間処理を施し、高解像度画像に対応する画素を備えた第１補間画像を生成する。そして、高解像度画像と第１補間画像とを加重加算処理部６５において加重加算処理し、生成される加重加算画像を出力画像とする。なお、高解像後画像生成部６１及び加重加算処理部６５の詳細については後述する。
【００８１】
平均化処理部６２は、例えば、対応する画素（被写体の同じ部分を表示する画素）の画素値を加算平均することで、平均化画像のそれぞれの画素値を算出する。このとき、第１入力画像の位置ズレを補正して、対応する画素毎に加算平均が行われるようにしても構わない。また、位置ズレの大きさ（位置ズレ量）の算出時に、後述する代表点マッチング法などの方法を用いても構わない。
【００８２】
第１補間処理部６３は、入力される平均化画像の画素値を用いて新たな画素（補間画素）を生成し、画素数を増大させる。特に、補間画素を生成しようとする位置の周囲の画素の画素値を用いて、線形補間などを行うことにより補間画素の画素値を算出しても構わない。このような処理により、低解像度である平均化画像の画素数を増大させ、高解像度画像の各画素と第１補間画像の画素とが１対１で対応するようにさせる。そして、後段の加重加算処理部６５において高解像度画像及び第１補間画像の加重加算処理をする際に、対応する画素毎で加重加算処理が行われるようにする。
【００８３】
上述のように、第２方式が選択される場合とは、ＥＶ値がやや小さく、シャッタ速度を速いもの（超解像限界シャッタ速度Ｔ）とするとＩＳＯ感度をやや大きくする必要がある場合である。そのため、第１入力画像にはノイズがやや多く含まれる。すると、高解像度画像生成部６１から出力される高解像度画像にもノイズがやや多く含まれることとなる。
【００８４】
これに対して、平均化処理部６２において複数の第１入力画像を平均化処理すると、ノイズはランダムに発生するものであるため、生成される平均化画像は、解像度は高解像度画像生成部６１から出力される高解像度画像よりも低いが、ノイズが抑制されたものとなる。そのため、この平均化画像に基づいた第１補間画像と、高解像度画像と、を加重加算処理部６５において加重加算処理することで、両方の画像の特長を併せることが可能となる。
【００８５】
具体的に例えば、画素値の変動が大きいエッジ部分（例えば、画像中の異なる物体間の境界、物体の輪郭など）では高解像度画像の加算割合を大きくし、それ以外の画素値の変動が小さい平坦部分では第１補間画像の加算割合を大きくする。
【００８６】
以上のように構成すると、画素値の変動が大きいエッジ部分を明瞭なものにして、高解像度化を図ることが可能となる。また、画素値の変動が小さく明瞭化する必要性が乏しい平坦部分では、ノイズを低減することが可能となる。したがって、効果的に出力画像の高解像度化とノイズの低減化とを図ることが可能となる。
【００８７】
なお、生成される高解像度画像によっては、第１補間処理部６３が補間処理を行う必要がない場合もある。例えば、高解像度画像と第１入力画像の画素数が同じである場合などである。この場合、第１補間画像と平均化画像とを同じものとしても構わない。
【００８８】
（第３方式）
図７に示すように、超解像処理の第３方式では、まず、第１及び第２方式と同様に、複数の第１入力画像を高解像度画像生成部６１において合成し、高解像度画像を生成する。また、第２入力画像の撮像を行い、第２入力画像を生成する。この第２入力画像に対して、第２補間処理部６４において補間処理を施し、高解像度画像に対応する画素を備えた第２補間画像を生成する。そして、高解像度画像と第２補間画像とを加重加算処理部６５において加重加算処理し、生成される加重加算画像を出力画像とする。なお、高解像後画像生成部６１及び加重加算処理部６５の詳細については後述する。
【００８９】
第２補間処理部６４は、第１補間処理部６３と同様の動作を行う。即ち、入力される第２入力画像の画素値を用いて補間画素を生成し、画素数を増大させるものである。そして、低解像度である第２入力画像の画素数を増大させ、高解像度画像の各画素と第２補間画像の画素とが１対１で対応するようにさせ、後段の加重加算処理部６５において高解像度画像及び第２補間画像の加重加算処理をする際に、対応する画素毎で加重加算処理が行われるようにする。
【００９０】
上述のように、第３方式が選択される場合とは、ＥＶ値が小さく、シャッタ速度を速いもの（超解像限界シャッタ速度Ｔ）とすると、ＩＳＯ感度を大きくする必要がある場合である。そのため、第１入力画像にはノイズが多く含まれる。すると、高解像度画像生成部６１から出力される高解像度画像にもノイズが多く含まれることとなる。
【００９１】
これに対して、第３方式では、シャッタ速度を遅くした第２入力画像を用いることとしている。第２入力画像は、シャッタ速度が遅いためにぶれが生じやすく、ぼけたものとなりやすい。しかしながら、ＩＳＯ感度を小さくすることが可能であるため、画像に含まれるノイズを小さいものとすることができる。そのため、この第２入力画像に基づいた第２補間画像と、高解像度画像と、を加重加算処理部６５において加重加算処理することで、両方の画像の特長を併せることが可能となる。
【００９２】
具体的に例えば、第２方式と同様に、画素値の変動が大きいエッジ部分では高解像度画像の加算割合を大きくし、それ以外の画素値の変動が小さい平坦部分では第２補間画像の加算割合を大きくする。
【００９３】
以上のように構成すると、第２方式と同様に、画素値の変動が大きいエッジ部分を高解像度化し、出力画像を明瞭なものにすることが可能となるとともに、画素値の変動が小さく明瞭化する必要性が乏しい平坦部分では、効果的にノイズを低減することが可能となる。さらに、第３方式では、第２方式の平均化画像よりもノイズが少ないことが見込まれる第２入力画像を用いるため、加重加算画像に含まれるノイズをさらに抑制することが可能となる。
【００９４】
なお、第２方式と同様に、生成される高解像度画像によっては、第２補間処理部６４が補間処理を行う必要がない場合もある。この場合、第２補間画像と第２入力画像とを同じものとしても構わない。
【００９５】
以上のように、撮像状況（特に、撮像部に入射する光量（露出量））に応じて低解像度画像の撮像条件を決定するとともに、超解像処理の方式を決定することによって、ノイズの少ない高解像度画像を生成することが可能となる。特に、シャッタ速度を速くして解像度の向上を図ると同時に、シャッタ速度を速くするために発生し得るノイズを低減することが可能となる。
【００９６】
＜＜超解像処理部の各部の具体例＞＞
＜高解像度画像生成部＞
超解像処理部６０に備えられる高解像度画像生成部６１の具体例について図面を参照して説明する。図８及び図９は、高解像度画像生成部の動作の概要を示す図である。なお、以下に示す例は一例に過ぎず、低解像度画像を用いて高解像度画像を生成することが可能な方法であれば、どのような方法を採用しても構わないものとする。
【００９７】
以下においては説明を簡単にするため、第１入力画像のある１方向に整列した複数の画素について考えることとする。また、２つの第１入力画像を合成して高解像度画像を生成する場合であり、画素値が輝度値である場合を例に挙げて説明することとする。
【００９８】
図８（ａ）は、撮像しようとする被写体の輝度分布を示したものである。また、図８（ｂ）及び（ｃ）は、図８（ａ）に示す被写体を撮像した場合の第１入力画像である。また、図８（ｄ）は、図８（ｃ）に示す第１入力画像を所定の位置だけずらした画像である。なお、上述のように、図８（ｂ）に示す第１入力画像（以下、低解像度実画像Ｆａとする）と図８（ｃ）に示す第１入力画像（以下、低解像度実画像Ｆｂとする）とは、連続的に撮像されて得られたものとする。即ち、低解像度実画像Ｆａと低解像度実画像Ｆｂとは、撮像されたタイミングがわずかにずれたものとなる。
【００９９】
図８（ｂ）に示すように、図８（ａ）に示す輝度分布を有する被写体を時間Ｔ１に撮像して得られた低解像度実画像Ｆａのサンプル点の位置を、Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳとする。また、図８（ｃ）に示すように、時間Ｔ２（Ｔ１≠Ｔ２）に撮像して得られた低解像度実画像Ｆｂのサンプル点の位置を、Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳとする。このとき、低解像度実画像Ｆａのサンプル点Ｓ１と低解像度実画像Ｆｂのサンプル点Ｓ２とは、手ぶれなどが原因となりその位置にズレが生じているものとする。
【０１００】
サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳは、被写体上のサンプル点を示す。図８（ｂ）に示す低解像度実画像Ｆａでは、このサンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳから得られた輝度値が、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐａ１，ｐａ２，ｐａ３となる。同様に、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳも、被写体上のサンプル点を示し、図８（ｃ）に示す低解像度実画像Ｆｂでは、このサンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳから得られた輝度値が、画素Ｐ１，Ｐ２，Ｐ３における画素値ｐｂ１，ｐｂ２，ｐｂ３となる。
【０１０１】
これにより、低解像度実画像Ｆａの画素Ｐ１，Ｐ２，Ｐ３における画素値ｐａ１，ｐａ２，ｐａ３が、図８（ｂ）に示すような関係となる。また、低解像度実画像Ｆｂの画素Ｐ１，Ｐ２，Ｐ３における画素値ｐｂ１，ｐｂ２，ｐｂ３は、図８（ｃ）に示すような関係となる。そして、図８（ｂ）の低解像度実画像Ｆａと図８（ｃ）の低解像度実画像Ｆｂとは、画素位置が（Ｓ１−Ｓ２）だけずれたものとなる。そこで、低解像度実画像Ｆａの画素Ｐ１，Ｐ２，Ｐ３を基準として低解像度実画像Ｆｂを表した場合（即ち、低解像度実画像Ｆｂを低解像度実画像Ｆａに対する動き量（Ｓ１−Ｓ２）分だけ位置ズレ補正した場合）、位置ずれ補正後の低解像度実画像Ｆｂ＋は、図８（ｄ）に示すようになる。
【０１０２】
また、図８（ｂ）に示した低解像度実画像Ｆａと図８（ｄ）に示した低解像度実画像Ｆｂ＋とを組み合わせて高解像度画像を生成する方法を図９に示す。まず、図９（ａ）に示すように、低解像度実画像Ｆａと低解像度実画像Ｆｂ＋とを組み合わせて高解像度画像Ｆｘ１を推定する。なお、説明を簡単にするために、例えば、解像度をある１方向に対して２倍にするものとする。即ち、高解像度画像Ｆｘ１の画素として、低解像度実画像Ｆａ，Ｆｂ＋の画素Ｐ１，Ｐ２，Ｐ３に加えてさらに、画素Ｐ１，Ｐ２の中間位置に位置する画素Ｐ４と、画素Ｐ２，Ｐ３の中間位置に位置する画素Ｐ５と、が設定されるものとする。
【０１０３】
低解像度実画像Ｆａが基準である注目画像とされると、画素Ｐ１，Ｐ２，Ｐ３での画素値が、低解像度実画像Ｆａにおける画素値ｐａ１，ｐａ２，ｐａ３とされる。また、画素Ｐ４の画素値については、低解像度実画像Ｆａにおける画素Ｐ１，Ｐ２の画素位置（画素の中心位置）と画素Ｐ４の画素位置との距離よりも、低解像度実画像Ｆｂ＋における画素Ｐ１の画素位置と画素Ｐ４の画素位置との距離の方が近いことにより、画素値ｐｂ１が選択されるものとする。同様に、画素Ｐ５の画素値については、低解像度実画像Ｆａにおける画素Ｐ２，Ｐ３の画素位置と画素Ｐ５の画素位置との距離よりも、低解像度実画像Ｆｂ＋における画素Ｐ２の画素位置と画素Ｐ５の画素位置との距離の方が近いことにより、画素値ｐｂ２が選択されるものとする。
【０１０４】
その後、図９（ｂ）に示すように、得られた高解像度画像Ｆｘ１に対してダウンサンプリング量やぼけ量や位置ズレ量（動き量に相当）などをパラメータとして備えた変換式による演算を行うことで、低解像度実画像Ｆａ，Ｆｂのそれぞれに相当する推定画像である低解像度推定画像Ｆａ１，Ｆｂ１を生成する。ここで、図９（ｂ）では、ｎ回目の処理によって推定された高解像度画像、即ち、高解像度画像Ｆｘｎより推定された低解像度推定画像Ｆａｎ，Ｆｂｎを示している。
【０１０５】
ｎ＝１のとき、図９（ａ）に示すような方法によって得られた高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ１、Ｓ１＋ΔＳ、Ｓ１＋２ΔＳにおける画素値を推定して、取得した画素値ｐａ１１〜ｐａ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆａ１を生成する。同様に、高解像度画像Ｆｘ１に基づいて、サンプル点Ｓ２、Ｓ２＋ΔＳ、Ｓ２＋２ΔＳにおける画素値を推定して、取得した画素値ｐｂ１１〜ｐｂ３１を画素Ｐ１〜Ｐ３の画素値とする低解像度推定画像Ｆｂ１を生成する。
【０１０６】
そして、図９（ｃ）に示すように、低解像度推定画像Ｆａ１，Ｆｂ１のそれぞれと、撮像により取得した低解像度実画像Ｆａ，Ｆｂそれぞれとの間における差分を求め、この差分を合成することで、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する。なお、図９（ｃ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘｎに対する差分画像ΔＦｘｎ、即ち、低解像度推定画像Ｆａｎ，Ｆｂｎと低解像度実画像Ｆａ，Ｆｂとによる差分画像ΔＦａｎ、ΔＦｂｎを合成することで得られた差分画像ΔＦｘｎを示す。
【０１０７】
図９（ｃ）に示す処理によって、低解像度推定画像Ｆａ１と低解像度実画像Ｆａにおける画素Ｐ１，Ｐ２，Ｐ３での差分（ｐａ１１−ｐａ１）、（ｐａ２１−ｐａ２）、（ｐａ３１−ｐａ３）による差分画像ΔＦａ１、低解像度推定画像Ｆｂ１と低解像度実画像Ｆｂにおける画素Ｐ１，Ｐ２，Ｐ３での差分（ｐｂ１１−ｐｂ１）、（ｐｂ２１−ｐｂ２）、（ｐｂ３１−ｐｂ３）による差分画像ΔＦｂ１がそれぞれ求められる。即ち、差分画像ΔＦａ１では、差分値（ｐａ１１−ｐａ１）、（ｐａ２１−ｐａ２）、（ｐａ３１−ｐａ３）が画素値となり、差分画像ΔＦｂ１では、差分値（ｐｂ１１−ｐｂ１）、（ｐｂ２１−ｐｂ２）、（ｐｂ３１−ｐｂ３）が画素値となる。
【０１０８】
そして、差分画像ΔＦａ１，ΔＦｂ１の画素値を合成することによって、画素Ｐ１〜Ｐ５のそれぞれにおける差分値を算出して、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１を取得する。この差分画像ΔＦａ１，ΔＦｂ１の画素値を合成して差分画像ΔＦｘ１を取得する際、例えば、ＭＬ（Maximum Likelihood）法やＭＡＰ（Maximum A Posterior）法を用いる場合では、二乗誤差を評価関数として用いる。即ち、ＭＬ法やＭＡＰ法の評価関数が、差分画像ΔＦａ１，ΔＦｂ１の画素値を二乗してフレーム間で加算した値となる。よって、この評価関数の微分値である勾配は、差分画像ΔＦａ１，ΔＦｂ１の画素値を２倍した値となるため、高解像度画像Ｆｘ１に対する差分画像ΔＦｘ１は、差分画像ΔＦａ１，ΔＦｂ１それぞれの画素値を２倍した値を用いて高解像度化することで算出される。
【０１０９】
その後、図９（ｄ）に示すように、得られた差分画像ΔＦｘ１における画素Ｐ１〜Ｐ５の画素値（差分値）が、高解像度画像Ｆｘ１における画素Ｐ１〜Ｐ５の画素値より減算されることで、図８（ａ）に示した輝度分布の被写体に近い画素値となる高解像度画像Ｆｘ２が再構成される。なお、図９（ｄ）では、ｎ回目の処理によって取得された高解像度画像Ｆｘ（ｎ＋１）、即ち、高解像度画像Ｆｘｎより差分画像ΔＦｘｎが減算されて得られた高解像度画像Ｆｘ（ｎ＋１）を示している。
【０１１０】
そして、上述した一連の処理を繰り返すことによって、得られる差分画像ΔＦｘｎの画素値が小さくなり、高解像度画像Ｆｘｎの画素値が、図２（ａ）に示す輝度分布の被写体に近い画素値に収束される。なお、ｎ回目の処理において、前回（ｎ−１回目）の処理において得られた高解像度画像Ｆｘｎによって、低解像度推定画像Ｆａｎ，Ｆｂｎ及び高解像度画像Ｆｘ（ｎ＋１）が取得される。そして、差分画像ΔＦｘｎの画素値（差分値）が所定値より小さくなったときや、差分画像ΔＦｘｎの画素値（差分値）が収束したとき、前の処理（ｎ−１回目の処理）において得られた高解像度画像Ｆｘｎを、高解像度画像生成部６１の出力とする。
【０１１１】
なお、上記の処理において動き量（位置ズレ量）を求める際に、例えば以下に示すような、代表点マッチング法と１画素内動き量検出とを行うこととしても構わない。最初に、代表点マッチング法について図面を参照して説明し、その後に１画素内動き量検出について図面を参照して説明する。図１０及び図１１は、代表点マッチング法について示す図である。図１０は、画像の各領域の分割方法について示す画像の模式図であり、図１１は、基準画像及び非基準画像について示す模式図である。
【０１１２】
（代表点マッチング法）
代表点マッチング法は、例えば、基準となる画像（基準画像）と、基準画像と比較されて動きが検出される画像（非基準画像）のそれぞれに対して、図１０に示すような領域分割を行う。例えば、ａ×ｂの画素群（例えば、３６×３６の画素群）を１つの小領域ｅとして分割し、さらに、この小領域ｅのｐ×ｑ領域分（例えば、６×８領域分）を１つの検出領域Ｅとして分割する。
【０１１３】
また、図１１（ａ）に示すように、基準画像では各小領域ｅにおいて、小領域ｅを構成するａ×ｂの画素から１つの画素が代表点Ｒとして設定される。一方、図１１（ｂ）に示すように、非基準画像では各小領域ｅにおいて、小領域ｅを構成するａ×ｂの画素のうちの複数の画素がサンプリング点Ｓとして設定される（例えば、ａ×ｂの画素全てをサンプリング点Ｓとしても構わない）。
【０１１４】
以上のように、小領域ｅ及び検出領域Ｅが設定されると、基準画像と非基準画像の同一位置となる小領域ｅについて、非基準画像の各サンプリング点Ｓの画素値と基準画像の代表点Ｒの画素値との差が、各サンプリング点Ｓでの相関値として求められる。そして、検出領域Ｅ毎に、各小領域ｅ間で代表点Ｒとの相対位置が同一となるサンプリング点Ｓの相関値を、検出領域Ｅを構成する全ての小領域ｅ分だけ累積加算することで、各サンプリング点Ｓにおける累積相関値を取得する。これにより、検出領域Ｅ毎に、代表点Ｒとの相対位置が同一となるｐ×ｑ個のサンプリング点Ｓの相関値が累積加算されることで、サンプリング点の個数分の累積相関値が得られる（例えば、ａ×ｂの画素全てをサンプリング点Ｓとする場合、ａ×ｂ個の累積相関値が得られることとなる）。
【０１１５】
各検出領域Ｅに対して、各サンプリング点Ｓに対する累積相関値が求められると、各検出領域Ｅにおいて、代表点Ｒと相関性が最も高いと考えられるサンプリング点Ｓ（即ち、累積相関値が最小となるサンプリング点Ｓ）が検出される。そして、各検出領域Ｅでは、累積相関値が最小となるサンプリング点Ｓと代表点Ｒとの動き量が、それぞれの画素位置によって求められる。その後、各検出領域Ｅそれぞれに対して求められた動き量を平均することで、この平均値を、基準画像と非基準画像との間の画素単位による動き量として検出する。
【０１１６】
（１画素内動き量検出）
次に、１画素内動き量検出について図面を参照して説明する。図１２は、１画素内動き量検出について示す基準画像及び非基準画像の模式図であり、図１３は、１画素内動き量検出を行う際の代表点及びサンプリング点の画素値の関係を示すグラフである。
【０１１７】
上述のように、例えば代表点マッチング法を用いるなどして画素単位の動き量を検出した後、さらに、下記に示す方法を用いて１画素内の動き量を検出することができる。例えば、図１０に示した小領域ｅ毎に、基準画像の代表点Ｒの画素の画素値と、代表点Ｒと相関性の高いサンプリング点Ｓｘの画素及びその周辺画素のそれぞれの画素値と、の関係によって１画素内の動き量を検出することができる。
【０１１８】
図１２に示すように、各小領域ｅにおいて、基準画像で画素位置（ａｒ，ｂｒ）となる代表点Ｒの画素値Ｌａと、非基準画像において画素位置（ａｓ，ｂｓ）となるサンプル点Ｓｘの画素値Ｌｂと、サンプル点Ｓｘと水平方向に隣接する画素位置（ａｓ＋１，ｂｓ）の画素値Ｌｃと、サンプル点Ｓｘと垂直方向に隣接する画素位置（ａｓ，ｂｓ＋１）の画素値Ｌｄとの関係によって、１画素内における動き量が検出される。このとき、代表点マッチング法により、基準画像から非基準画像への画素単位の動き量が、（ａｓ−ａｒ，ｂｓ−ｂｒ）となるベクトル量で表される値となる。
【０１１９】
また、図１３（ａ）に示すように、サンプル点Ｓｘとなる画素から水平方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｃに線形的に変化するものとする。同様に、図１３（ｂ）に示すように、サンプル点Ｓｘとなる画素から垂直方向に１画素ずれることで、画素値Ｌｂから画素値Ｌｄに線形的に変化するものとする。そして、画素値Ｌｂ，Ｌｃの間で画素値Ｌａとなる水平方向の位置Δｘ（＝（Ｌａ−Ｌｂ）／（Ｌｃ−Ｌｂ））を求めるとともに、画素値Ｌｂ，Ｌｄの間で画素値Ｌａとなる垂直方向の位置Δｙ（＝（Ｌａ−Ｌｂ）／（Ｌｄ−Ｌｂ））を求める。即ち、（Δｘ，Δｙ）で表されるベクトル量が、基準画素と非基準画素との間における、１画素内での動き量として求められる。
【０１２０】
このようにして、小領域ｅそれぞれにおける１画素内での動き量を求める。そして、求めた動き量を平均して得られる平均値を、基準画像（例えば、低解像度実画像Ｆｂ）と非基準画像（例えば、低解像度実画像Ｆａ）との間の１画素内での動き量として検出する。そして、代表点マッチング法によって得られた画素単位による動き量に、求めた１画素内での動き量を加えることによって、基準画像と非基準画像との間における動き量を算出することができる。
【０１２１】
＜加重加算処理部＞
次に、超解像処理部６０に備えられる加重加算処理部６５の具体例について図面を参照して説明する。図１４は、加重加算処理部の構成を示すブロック図である。なお、以下に示す構成は一例に過ぎず、他の構成や方法を用いて加重加算処理を行うこととしても構わない。
【０１２２】
図１４に示すように、本例の加重加算処理部６５は、高解像度画像からエッジ強度値を算出するエッジ強度値算出部６５ａと、エッジ強度値に基づいた比率で高解像度画像と第１補間画像または第２補間画像とを合成する合成部６５ｂと、を備える。
【０１２３】
エッジ強度値とは、画素の変化量（周囲の画素との変化量）を示す値である。例えば、輪郭を抽出するフィルタ（微分フィルタ）を高解像度画像にかけて得られる値などを、エッジ強度値として用いることができる。そのため、エッジ強度値算出部６５ａが、微分フィルタ（例えば、ソーベルフィルタやプレウィットフィルタなど）を備える構成としても構わない。なお、以下の説明においては、エッジ強度値が大きいほど、画素の変化量が大きいことを示すものとする。
【０１２４】
合成部６５ｂでは、入力される二つの画像を、対応する画素毎に合成する。特に、合成しようとする画素のエッジ強度値に基づいて、高解像度画像の加算割合を大きくしたり、第１補間画像または第２補間画像の加算割合を大きくしたりする。具体的には、エッジ強度値が大きいほど高解像度画像の加算割合を大きくし、エッジ強度値が小さいほど、第１補間画像または第２補間画像の加算割合を大きくする。
【０１２５】
加算割合の決定方法の一例について、図面を参照して説明する。図１５は、エッジ強度値と加算割合との関係を示すグラフである。また、図１５に示すグラフの縦軸は高解像度画像の加算割合Ｃであり、第１補間画像または第２補間画像の加算割合は（１−Ｃ）となる。
【０１２６】
図１５に示すように、加算割合Ｃは、エッジ強度値Ｌが閾値Ｔｈ＿Ｌよりも小さければ０となり、エッジ強度値Ｌが閾値Ｔｈ＿Ｈ以上であれば１となる。また、エッジ強度値Ｌが閾値Ｔｈ＿Ｌ以上であり閾値Ｔｈ＿Ｈよりも小さければ、（Ｌ−Ｔｈ＿Ｌ）／（Ｔｈ＿Ｈ−Ｔｈ＿Ｌ）となる。即ち、エッジ強度値Ｌの値を閾値Ｔｈ＿Ｌから閾値Ｔｈ＿Ｈに増大させると、加算割合Ｃは０から１へと線形に増加する。なお、非線形に増加させても構わないが、漸増するものとすると好ましい。
【０１２７】
図１５に示すように加算割合Ｃを設定すると、エッジ強度値Ｌの値が大きいエッジ部分では、高解像度画像の加算割合を大きくしてエッジ部分を明瞭化し、出力画像の高解像度化を図ることが可能となる。一方、エッジ強度値Ｌが小さい平坦部分では、第１補間画像または第２補間画像の加算割合を大きくして、ノイズを低減することが可能となる。
【０１２８】
なお、エッジ強度値算出部６５ａが、入力される高解像度画像中の高周波成分（主としてノイズ成分）を除去するＬＰＦ（Low pass filter）を備える構成としても構わない。このような構成とすると、エッジ強度値算出部６５ａがノイズとエッジ部分とを誤認することが抑制されるため、加重加算画像に含まれるノイズを低減することが可能となる。
【０１２９】
＜＜変形例＞＞
以下において、上述した実施形態に適用され得る各種変形例について説明する。なお、変形例のそれぞれは、矛盾なき限り組み合わせて適用することが可能である。
【０１３０】
＜選択された超解像処理の方式の報知＞
本発明の実施形態における撮像装置１において、第１入力画像及び第２入力画像を撮像する前に、超解像処理の各方式の中のどの方式が選択される可能性が高いのかをユーザに報知する構成としても構わない。図１６は、撮像状況と使用される超解像処理の各方式の関係の一例について示した図である。
【０１３１】
上述したように、本発明の実施形態における撮像装置は、撮像状況（特に、被写体の明るさ）に応じて、超解像処理の各方式からいずれかの方式が選択される構成となる。図１６に示す例では、被写体の照度が「明るい室内」（４００ｌｕｘ）より大きければ第１方式を用い、「明るい室内」より小さく「夜景ライトアップ」（５０ｌｕｘ）以上であれば第２方式を用い、「夜景ライトアップ」より小さければ第３方式を用いることとしている。
【０１３２】
また例えば、図１６に示すように選択される超解像処理の各方式を、表示装置を用いてユーザに対して表示することにより、選択された超解像処理の方式を報知することとしても構わない。この場合の表示方法の一例を、図１７を参照して説明する。図１７は、表示画像の一例について示した模式図である。なお、図１７に示す表示画像は、例えばプレビュー時などに表示されるものである。
【０１３３】
プレビュー時にこれらの表示画像の表示を行う場合、図３に示したフローチャートのＳＴＥＰ１（超解像限界シャッタ速度Ｔの算出）とＳＴＥＰ２（撮像指示の有無確認）との間に、撮像時に選択される超解像処理の方式を推定するステップと、推定された超解像処理の方式の表示を行うステップと、を設けることとしても構わない。なお、推定方法について、ＳＴＥＰ３（露出量に基づいて超解像処理の方式を決定する）と同様の方法を用いることとしても構わない。
【０１３４】
図１７（ａ）は、晴天の屋外で撮像する場合について示したものであり、図１７（ｂ）は、薄明かりの屋内で撮像する場合について示したものであり、図１７（ｃ）は、夜の屋外で撮像する場合について示したものである。そして、図１７（ａ）に示す表示画像では、超解像処理の方式として第１方式が選択されると推定されたため、画像中に第１方式を示すマーク１００が表示される。同様に、図１７（ｂ）では第２方式を示すマーク１０１が表示され、図１７（ｃ）では第３方式を示すマーク１０２が表示される。
【０１３５】
このように、選択され得る超解像処理の方式をユーザに報知することとすると、第１入力画像及び第２入力画像の撮像時にユーザに対して注意喚起を行うことが可能となる。特に、第１入力画像の撮像時よりも遅いシャッタ速度となる第２入力画像を撮像する必要がある第３方式が選択され得ることを報知する場合において、第２入力画像の撮像中に大きな手ぶれを生じさせないように、ユーザに対して注意喚起することが可能となる。
【０１３６】
＜電子ズーム処理＞
次に、超解像処理とともに電子ズーム処理を行う場合について説明する。なお、電子ズーム処理とは、入力される画像の一部分を切り出すとともに、当該一部分を拡大した画像を出力する処理である。
【０１３７】
第１方式が選択された場合について説明する。この場合、図２に示す高解像度画像生成部６１は、生成される高解像度画像中の一部分を切り出し、高解像度画像（一部分）を生成する。または、第１入力画像の一部分を切り出し、この切り出した画像を用いて高解像度画像（一部分）を生成する。なお、高解像度画像生成部６１において第１入力画像の一部分を予め切り出すこととすると、後段での演算量を減らすことができる。また、以上の処理は、第１〜第３方式の全てに共通して行われる。
【０１３８】
次に、第２方式が選択された場合について説明する。この場合、図２に示す平均化処理部６２は、生成される平均化画像の一部分を切り出し、平均化画像（一部分）を生成する。または、第１入力画像の一部分を切り出し、この切り出した画像に平均化処理を施して平均化画像（一部分）を生成する。第１補間処理部６３は、入力される平均化画像（一部分）に補間処理を施して第１補間画像（一部分）を生成する。そして、加重加算処理部６５が、高解像度画像（一部分）と第１補間画像（一部分）とに対して加重加算処理を施し、加重加算画像（一部分）を出力する。
【０１３９】
なお、平均化処理部６２で画像の切り出しを行うことなく、第１補間処理部６３において、生成される第１補間画像の一部分を切り出すことによって、第１補間画像（一部分）を生成することとしても構わない。ただし、平均化処理部６２において第１入力画像の一部分を予め切り出すこととすると、後段での演算量を減らすことができる。
【０１４０】
第３方式が選択された場合について説明する。この場合、図２に示す第２補間処理部６４は、生成される第２補間画像の一部分を切り出し、第２補間画像（一部分）を生成する。または、第２入力画像の一部分を切り出し、この切り出した画像に補間処理を施して第２補間画像（一部分）を生成する。そして、加重加算処理部６５が、高解像度画像（一部分）と第２補間画像（一部分）とに対して加重加算処理を施し、加重加算画像（一部分）を出力する。なお、第２補間処理部６４において第２入力画像を予め切り出すこととすると、後段での演算量を減らすことができる。
【０１４１】
以上のようにして得られる出力画像は、第１入力画像及び第２入力画像の一部分の拡大画像となる。そして、本発明の撮像装置を用いることで、明瞭な拡大画像を得ることが可能となる。
【０１４２】
＜出力画像ファイル形式＞
また、上述した出力画像を外部メモリ１０に記録するに際して、所定のファイル形式の画像ファイルとしても構わない。また、当該ファイル形式として、例えばＥｘｉｆ（Exchangeable Image File Format）やＣＩＦＦ（Camera Image File Format）に代表される、出力画像に付加情報を関連付け得るものを適用しても構わない。この場合、例えば出力画像のサムネイル画像や撮像日時、撮像時のフラッシュ使用の有無などの種々の情報を、付加情報に含ませることが可能となる。
【０１４３】
本例の場合、出力画像の生成状況を示す情報を付加情報に含ませることとすると、好ましい。出力画像の生成状況を示す情報とは、例えば、出力画像を生成するために撮像された第１入力画像や第２入力画像の撮像条件（焦点距離やシャッタ速度、絞り値、ＩＳＯ感度など）を示す情報や、出力画像を生成するために第１入力画像や第２入力画像に対して施された超解像処理の方式（第１〜第３方式）を示す情報などである。
【０１４４】
ユーザは、付加情報を確認して出力画像の生成状況を示す情報を把握することにより、当該出力画像が効果的な超解像処理が施されたものであるか否かを確認することが可能となる。
【０１４５】
＜撮像条件のマニュアル設定モード＞
上述した実施形態では、第１入力画像及び第２入力画像の撮像条件が自動的に設定されるモード（いわゆるオート設定モード、図３のＳＴＥＰ１、ＳＴＥＰ３及びＳＴＥＰ９参照）で撮像された第１入力画像及び第２入力画像に上述の超解像処理を施す場合について説明した。これに対して本例では、撮像条件（焦点距離やシャッタ速度、絞り値、ＩＳＯ感度など）をユーザが設定するモード（いわゆるマニュアル設定モード）で撮像された画像に対して、上述の超解像処理を施す場合について説明する。
【０１４６】
ただし、本例では好適に高精細化された出力画像を得るために、シャッタ速度について以下に説明するような制限を設ける。なお、超解像処理を施すことがない通常のマニュアル設定モードでは、シャッタ速度を含む撮像条件をユーザが自由に設定可能であるとしても構わない。
【０１４７】
超解像処理を伴うマニュアル設定モードでは、ユーザが第１入力画像の撮像時のシャッタ速度を設定しようとする際に、超解像限界シャッタ速度Ｔ未満となるシャッタ速度を設定できないようにする。なお、この超解像限界シャッタ速度Ｔは、上述した方法（図１のＳＴＥＰ１）と同様の方法で算出することができる。
【０１４８】
このように構成すると、超解像処理を伴うマニュアル設定モードで得られる第１入力画像が、ナイキスト周波数以上の高周波成分や折り返し雑音を含み得るものとなる。したがって、超解像処理による高精細化の効果が十分に得られた出力画像を生成することが可能となる。
【０１４９】
なお、超解像処理を伴うマニュアル設定モードにおいて、ユーザが超解像処理の方式を選択可能な構成としても構わないし、図３のＳＴＥＰ３と同様に超解像処理の方式については自動的に決定される構成として、第１入力画像の撮像条件の詳細をユーザが設定可能であることとしても構わない。
【０１５０】
また、第２入力画像が必要となる場合（例えば、ユーザが超解像処理の方式を選択可能な構成であって第３方式を選択する場合や、超解像処理の方式が自動的に選択される構成であって第３方式が選択される場合など）に、第１入力画像の撮像条件だけでなく、第２入力画像の撮像条件をもユーザが設定し得るように構成しても構わない。さらに、第２入力画像のシャッタ速度として、超解像限界シャッタ速度Ｔ以上となるシャッタ速度を設定できないようにしても構わない。
【０１５１】
このように構成すると、加重加算処理部６５において出力画像を生成する際にノイズを低減するために用いる第２補間画像（第２入力画像を補間処理して得られる画像）に、過度にノイズが含まれることを抑制することが可能となる。したがって、得られる出力画像に含まれるノイズを低減することが可能となる。
【０１５２】
また、超解像処理を伴うマニュアル設定モードを、上述した超解像処理の方式の１つと解釈しても（例えば、第４方式としても）構わないし、上述の第１〜第３方式の選択や撮像条件を設定する方法の１つと解釈しても構わない。マニュアル設定モードを超解像処理の方式の１つとして解釈する場合、例えば図１７（ａ）〜（ｃ）と同様に当該方式を示すマークを表示することとしても構わないし、出力画像ファイルの付加情報に当該方式を示す情報を含ませたりしても構わない。
【０１５３】
＜光学手ぶれ補正＞
上述した実施形態では、シャッタ速度を速くする（超解像限界シャッタ速度Ｔ以上とする）ことでぶれを抑制し、第１入力画像にナイキスト周波数以上の高周波成分や折り返し雑音が含まれ得るようにした場合について説明した。これに対して本例では、撮像時のシャッタ速度を速くするだけでなく、撮像時に光学手ぶれ補正を用いる場合について説明する。
【０１５４】
光学手ぶれ補正とは、撮像装置１に生じるぶれによってイメージセンサ２に入力される光学像がぶれることを抑制するものである。具体的に例えば、ジャイロセンサなどの撮像装置１のぶれを検出する装置や、レンズ部３やイメージセンサ２などの光学系を駆動する装置を備え、検出したぶれを打ち消すように光学系を駆動することで撮像した画像にぶれが含まれることを抑制する。なお、上記の構成は一例に過ぎず、光学手ぶれ補正を実現し得る構成であれば、どのような構成であっても構わない。
【０１５５】
光学手ぶれ補正によるぶれを抑制する効果は、シャッタ速度を速くすることによる効果に置き換えると、およそ２〜３段分（図４に示すプログラム線図の横軸の２〜３メモリ分）に相当する。即ち、シャッタ速度を１／４〜１／８倍に速くする効果におよそ相当する。そのため、光学手ぶれ補正を用いることとすると、さらに効果的に第１入力画像にナイキスト周波数以上の高周波成分や折り返し雑音が含まれ得るようにすることが可能となる。したがって、超解像処理による高精細化の効果が十分に得られた出力画像を生成することが可能となる。
【０１５６】
ところで、光学手ぶれ補正を用いることとすると、超解像限界シャッタ速度Ｔを遅くすることも可能となる。上述のように、光学手ぶれ補正によりぶれを抑制する効果は、シャッタ速度を１／４〜１／８倍に速くする効果におよそ相当する。そのため、超解像限界シャッタ速度Ｔを４〜８倍に遅くしたとしても、光学手ぶれ補正を用いない場合と等しい程度にぶれが抑制された第１入力画像を得ることができる。
【０１５７】
このように、超解像限界シャッタ速度Ｔを遅くすることが可能となれば、好適に超解像処理の効果を得ることができる撮像状況を広げることが可能となる。具体的に例えば、超解像処理による効果を得るために、撮像装置１に入射する光が弱いにもかかわらずシャッタ速度を無理に速くする状況を、生じにくくすることが可能となる。これにより、第１入力画像に含まれるノイズを低減したり、適正な明るさを維持したりすることが可能となる。
【０１５８】
なお、光学手ぶれ補正を用いる場合の超解像限界シャッタ速度Ｔを、光学手ぶれ補正を用いない場合の超解像限界シャッタ速度Ｔ未満とすれば、上記の効果を得ることができるが、その確実性を高めるために、超解像限界シャッタ速度Ｔを遅くする程度を２〜４倍までにすることとしても構わない。また、超解像限界シャッタ速度Ｔを、上述のごとく１／（５×ｆ）秒としても構わない。
【０１５９】
また、上記のように遅くした超解像限界シャッタ速度Ｔを、第１入力画像を撮像する時のシャッタ速度を決定する際の基準としてのみ用いて、第２入力画像を撮像するときのシャッタ速度を決定する際の基準としては用いない（第２入力画像に関しては光学手ぶれ補正の有無に応じて超解像限界シャッタ速度Ｔを変化させない）こととしても構わない。このように構成すると、単純に光学手ぶれ補正の効果を得て、第２入力画像に含まれるぶれを低減することが可能となる。
【０１６０】
一方、上記のように遅くした超解像限界シャッタ速度Ｔを、第２入力画像を撮像する時のシャッタ速度を決定する際の基準として用いることとしても構わない。このように構成すると、第２入力画像に含まれるぶれが増大することを抑制しつつ、第２入力画像に含まれるノイズをさらに低減することが可能となる。
【０１６１】
＜撮像対象のぶれ検出＞
本例では、手ぶれや被写体ぶれによって第１入力画像に生じる撮像対象（画像の一部または全部）のぶれを低減可能とする構成について述べる。本例の構成では、第１入力画像を撮像した場合に当該第１入力画像中に生じると推測される撮像対象のぶれの大きさ（以下、ぶれ量とする）を算出するとともに、当該ぶれ量に基づいてシャッタ速度の設定を行う。なお、以下において説明するように画像処理によって当該ぶれ量を算出する場合、図１の画像処理部６の一部が、当該ぶれ量の算出を行うこととしても構わない。
【０１６２】
最初に、撮像対象のぶれ量を算出する方法の一例として、ブロックマッチング法を適用する場合について図面を参照して説明する。図１８は、撮像対象のぶれ量の算出方法の一例について示す図である。なお、ブロックマッチング法とは、撮像対象の少なくとも一部を対象ブロックとして設定し、連続的に撮像されて得られるフレームから順次対象ブロックを検出することで、撮像対象の検出（追尾）を行うものである。
【０１６３】
上記撮像対象及び対象ブロックは、ユーザが指定することで設定されるものであっても構わないし、顔検出などのプログラムによって自動的に検出されて設定されるものであっても構わない。また上記フレームが、第１入力画像や第２入力画像の撮像を行う前のプレビュー時において連続的に撮像されるスルー画像であっても構わない。
【０１６４】
図１８（ａ）に、第（ｎ−１）フレーム２００と、第（ｎ−１）フレーム２００中に設定される対象ブロック２０１を示す。また、図１８（ｂ）に、第ｎフレーム２１０と、第ｎフレーム２１０中で対象ブロック２１０として設定され得る候補である候補ブロック２１１と、候補ブロック２１１が探索される探索ブロック２１２と、を示す。
【０１６５】
候補ブロック２１１は、探索ブロック２１２内で水平方向又は垂直方向に１画素ずつ移動させられ、その移動の度に対象ブロック２０１との相関値が算出される。相関値として、例えば、対象ブロック２０１と候補ブロック２１１との間における、各画素の輝度差の絶対値和ＳＡＤ（Sum of Absolute Difference）を用いても構わないし、輝度差の２乗和ＳＳＤ（Sum of Squared Difference)を用いても構わない。また、輝度差に限らず他の信号値のＳＡＤやＳＳＤを算出することで、相関値を求めても構わない。
【０１６６】
相関値は、対象ブロック２０１の画像と候補ブロック２１１の画像との間の相関が高いほど小さくなる。したがって、相関値が最も小さくなる候補ブロック２１１の位置を求めれば、対象ブロック２０１が、第ｎフレーム内のどこに位置しているかを求めることができると共に、対象ブロック２０１（撮像対象）のフレーム間における移動量を算出することができる。即ち、撮像対象の見かけの移動速度（手ぶれや被写体ぶれ、またはこれらの組み合わせに起因して生じる画像中での移動速度）を算出することができる。
【０１６７】
そして、当該移動速度を利用することで、図３のＳＴＥＰ３で決定されたシャッタ速度が示す露出時間中の撮像対象の移動量、即ち、第１入力画像に生じると推測されるぶれ量を算出することが可能となる。
【０１６８】
本例では、例えば図３のＳＴＥＰ３とＳＴＥＰ４との間において、ＳＴＥＰ３で決定されたシャッタ速度の調整を行う。このとき例えば、上記のように算出されたぶれ量の大きさが所定の大きさ（例えば、１画素分）未満であれば、調整を行わないこととしても構わない。一方、算出されたぶれ量が所定の大きさ（例えば、１画素分）以上であれば、当該ぶれ量が所定の大きさ（例えば、１画素分）以下となるように、ＳＴＥＰ３で決定されたシャッタ速度を調整して速くする。そして、ＳＴＥＰ４において、調整後のシャッタ速度により第１入力画像の撮像を行う。
【０１６９】
このように構成すると、第１入力画像に含まれるぶれを効果的に抑制し、第１入力画像にナイキスト周波数以上の高周波成分や折り返し雑音が含まれ得るようにすることが可能となる。したがって、超解像処理による高精細化の効果が十分に得られた出力画像を生成することが可能となる。
【０１７０】
なお、調整可能なシャッタ速度に範囲（少なくとも上限）を設けても構わない。具体的に例えば、調整可能なシャッタ速度の範囲を、１／２〜１／８倍（１〜３段分）としても構わない。そして、当該範囲を超えてシャッタ速度を速くしないと、撮像対象のぶれ量を所定の大きさ以下にすることを見込めない場合に、シャッタ速度の調整を行わないこととしても構わない。
【０１７１】
このように構成すると、調整後のシャッタ速度が速くなりすぎて不明瞭な第１入力画像が撮像されることを抑制することが可能となる。
【０１７２】
＜高解像度画像の不使用＞
上述の実施形態において第３方式が選択される場合に、高解像度画像を使用しないで出力画像を生成する構成としても構わない。
【０１７３】
例えば、第２方式において生成した平均化画像または第１補間画像（図６参照）を、そのまま出力画像として出力しても構わない。さらに、高解像度画像を生成しないこととしても構わない。
【０１７４】
また例えば、第３方式において生成した第２入力画像または第２補間画像（図７参照）を、そのまま出力画像として出力しても構わない。さらに、高解像度画像を生成しないこととしても構わないし、第１入力画像を撮像しないこととしても構わない。
【０１７５】
上述のように、第３方式が選択される場合であれば第１入力画像に多くノイズが含まれ得ることとなる。そのため、同様に多くのノイズが含まれ得る高解像度画像を出力画像の生成に用いないことで、出力画像のノイズを効果的に低減することが可能となる。さらに、高解像度画像の生成や、第１入力画像の撮像を行わないこととすることで、処理の簡略化を図ることが可能となる。
【０１７６】
＜その他変形例＞
上述した超解像処理は、静止画のみならず動画に対しても利用することが可能である。また、本発明の実施形態における撮像装置１について、画像処理部６や超解像処理部６０などのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
【０１７７】
また、上述した場合に限らず、図１の撮像装置１や図１及び図２の超解像処理部６０は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や超解像処理部６０を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。
【０１７８】
以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。
【産業上の利用可能性】
【０１７９】
本発明は、デジタルカメラに代表される撮像装置に関するものであり、撮像により得られた低解像度画像に基づいて高解像度画像を得る超解像処理を実行可能な撮像装置に関する。
【符号の説明】
【０１８０】
１    撮像装置
２    イメージサンサ
３    レンズ部
４    ＡＦＥ
５    マイク
６    画像処理部
６０  超解像処理部
６１  高解像度画像生成部
６２  平均化処理部
６３  第１補間処理部
６４  第２補間処理部
６５  加重加算処理部
７    音声処理部
８    圧縮処理部
９    ドライバ部
１０    外部メモリ
１１    伸長処理部
１２    画像出力回路部
１３    音声出力回路部
１４    ＣＰＵ
１５    メモリ
１６    操作部
１７    ＴＧ部
１８    バス
１９    バス
【図１】
2010063088.tif 000003
【図２】
2010063088.tif 000004
【図３】
2010063088.tif 000005
【図４】
2010063088.tif 000006
【図５】
2010063088.tif 000007
【図６】
2010063088.tif 000008
【図７】
2010063088.tif 000009
【図８】
2010063088.tif 000010
【図９】
2010063088.tif 000011
【図１０】
2010063088.tif 000012
【図１１】
2010063088.tif 000013
【図１２】
2010063088.tif 000014
【図１３】
2010063088.tif 000015
【図１４】
2010063088.tif 000016
【図１５】
2010063088.tif 000017
【図１６】
2010063088.tif 000018
【図１７】
2010063088.tif 000019
【図１８】
2010063088.tif 000020