(57)【要約】【課題】より簡単に画像信号に含まれるノイズを低減させる。【解決手段】画像処理装置は、撮像素子上のｍ画素×ｎ画素からなる領域を単位領域とし、単位領域に対してｍ×ｎ個の加算読み出し領域を定める。各加算読み出し領域は、単位領域内にある、互いに隣接する２以上の画素からなる領域とされる。画像処理装置は、加算読み出し領域内の画素の出力値の和を加算出力値とし、各加算読み出し領域の加算出力値に基づいて単位領域内の各画素の画素値を算出する。これにより、画像信号に含まれるノイズ成分を低減させ、Ｓ／Ｎ比を向上させることができる。本技術は、画像処理装置に適用することができる。【選択図】図１
2013187677.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子上の水平方向ｍ画素および垂直方向ｎ画素からなる単位領域内にある、隣接する２以上の画素からなる領域を加算読み出し領域として、互いに異なるｍ×ｎ通りの前記加算読み出し領域ごとに、前記加算読み出し領域内の各画素の出力値の和を加算出力値として算出する加算読み出し部と、
前記単位領域について得られたｍ×ｎ個の前記加算出力値に基づいて、前記単位領域内の各画素の画素値を算出する演算部と
を備える画像処理装置。
【請求項２】
前記演算部は、ｍ×ｎ個の前記加算出力値を並べて得られる行列をｑとし、前記単位領域内の各画素の画素値を並べて得られる行列をｐとし、前記単位領域内の各画素の重みを並べて得られる行列をｗとしてｑ＝ｗｐを計算することで、前記単位領域内の各画素の画素値を算出する
請求項１に記載の画像処理装置。
【請求項３】
前記演算部は、前記行列ｗの逆行列をｗ-1としてｐ＝ｗ-1ｑを計算することで、前記単位領域内の各画素の画素値を算出する
請求項２に記載の画像処理装置。
【請求項４】
前記行列ｗは、前記加算出力値を求めるのに用いられる画素の重みを１とし、前記加算出力値を求めるのに用いられない画素の重みを０として得られる行列である
請求項３に記載の画像処理装置。
【請求項５】
前記加算読み出し部は、各画素のデジタル化された前記出力値の和を前記加算出力値として算出する
請求項４に記載の画像処理装置。
【請求項６】
撮像素子上の水平方向ｍ画素および垂直方向ｎ画素からなる単位領域内にある、隣接する２以上の画素からなる領域を加算読み出し領域として、互いに異なるｍ×ｎ通りの前記加算読み出し領域ごとに、前記加算読み出し領域内の各画素の出力値の和を加算出力値として算出し、
前記単位領域について得られたｍ×ｎ個の前記加算出力値に基づいて、前記単位領域内の各画素の画素値を算出する
ステップを含む画像処理方法。
【請求項７】
撮像素子上の水平方向ｍ画素および垂直方向ｎ画素からなる単位領域内にある、隣接する２以上の画素からなる領域を加算読み出し領域として、互いに異なるｍ×ｎ通りの前記加算読み出し領域ごとに、前記加算読み出し領域内の各画素の出力値の和を加算出力値として算出し、
前記単位領域について得られたｍ×ｎ個の前記加算出力値に基づいて、前記単位領域内の各画素の画素値を算出する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は画像処理装置および方法、並びにプログラムに関し、特に、より簡単にノイズを低減させることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、市場における高解像度化の要求と、小型化，低コスト化の要求によって、撮像素子の画素の微細化が進んでいる。例えば、水平方向の幅が８ｍｍ程度である撮像素子に8000個程度の画素を配置すると、画素ピッチ、すなわち１画素の間隔並びに幅は１μｍ程度となる。
【０００３】
このように、撮像素子上の画素ピッチが小さくなるにしたがって、撮像素子で得られる画像信号のＳ／Ｎ比（Signal to Noise ratio）が低下し、画像の画質が劣化してしまう。
【０００４】
そこで、ノイズ成分除去用に画像を撮影し、その画像からノイズ成分を予め求めておくことで、撮影時に画像から撮影装置固有のノイズ成分を除去する技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２７４０６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した技術では、撮影条件等によって画像信号に含まれるノイズ成分が変動すると、充分にノイズを低減させることができなくなってしまう。また、上述した技術では、ノイズ成分の抽出や記録、除去のための回路等が必要となるため、撮影装置の構成が複雑になってしまう。
【０００７】
本技術は、このような状況に鑑みてなされたものであり、より簡単にノイズを低減させることができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の画像処理装置は、撮像素子上の水平方向ｍ画素および垂直方向ｎ画素からなる単位領域内にある、隣接する２以上の画素からなる領域を加算読み出し領域として、互いに異なるｍ×ｎ通りの前記加算読み出し領域ごとに、前記加算読み出し領域内の各画素の出力値の和を加算出力値として算出する加算読み出し部と、前記単位領域について得られたｍ×ｎ個の前記加算出力値に基づいて、前記単位領域内の各画素の画素値を算出する演算部とを備える。
【０００９】
前記演算部には、ｍ×ｎ個の前記加算出力値を並べて得られる行列をｑとし、前記単位領域内の各画素の画素値を並べて得られる行列をｐとし、前記単位領域内の各画素の重みを並べて得られる行列をｗとしてｑ＝ｗｐを計算させることで、前記単位領域内の各画素の画素値を算出させることができる。
【００１０】
前記演算部には、前記行列ｗの逆行列をｗ-1としてｐ＝ｗ-1ｑを計算させることで、前記単位領域内の各画素の画素値を算出させることができる。
【００１１】
前記行列ｗを、前記加算出力値を求めるのに用いられる画素の重みを１とし、前記加算出力値を求めるのに用いられない画素の重みを０として得られる行列とすることができる。
【００１２】
前記加算読み出し部には、各画素のデジタル化された前記出力値の和を前記加算出力値として算出させることができる。
【００１３】
本技術の一側面の画像処理方法またはプログラムは、撮像素子上の水平方向ｍ画素および垂直方向ｎ画素からなる単位領域内にある、隣接する２以上の画素からなる領域を加算読み出し領域として、互いに異なるｍ×ｎ通りの前記加算読み出し領域ごとに、前記加算読み出し領域内の各画素の出力値の和を加算出力値として算出し、前記単位領域について得られたｍ×ｎ個の前記加算出力値に基づいて、前記単位領域内の各画素の画素値を算出するステップを含む。
【００１４】
本技術の一側面においては、撮像素子上の水平方向ｍ画素および垂直方向ｎ画素からなる単位領域内にある、隣接する２以上の画素からなる領域を加算読み出し領域として、互いに異なるｍ×ｎ通りの前記加算読み出し領域ごとに、前記加算読み出し領域内の各画素の出力値の和が加算出力値として算出され、前記単位領域について得られたｍ×ｎ個の前記加算出力値に基づいて、前記単位領域内の各画素の画素値が算出される。
【発明の効果】
【００１５】
本技術の一側面によれば、より簡単にノイズを低減させることができる。
【図面の簡単な説明】
【００１６】
【図１】加算読み出しと画素値の復元について説明する図である。
【図２】加算読み出しと画素値の復元について説明する図である。
【図３】画像処理装置の構成例を示す図である。
【図４】画像生成処理について説明するフローチャートである。
【図５】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００１８】
〈第１の実施の形態〉
［加算読み出しと画素値復元について］
本技術は、例えば撮像素子の受光面上のいくつかの画素の出力値を加算して得られる加算出力値に基づいて、各画素の画素値を復元することで、より簡単に画像信号のノイズを低減させるものである。
【００１９】
例えば、図１の矢印Ａ１１に示すように、撮像素子の受光面上に互いに隣接して並ぶ画素Ｇ1,1、画素Ｇ1,2、画素Ｇ2,1、および画素Ｇ2,2からなる領域を単位領域と呼ぶこととし、最終的に出力される画像を出力画像と呼ぶこととする。
【００２０】
本技術では、例えば矢印Ａ１２に示すようにセンサレイヤ、つまり単位領域上の画素Ｇi,j（但し、ｉ＝１乃至２，ｊ＝１乃至２）の画素値ｐi,jが、加算出力レイヤの加算出力値ｑi,j（但し、ｉ＝１乃至２，ｊ＝１乃至２）に基づいて算出される。なお、以下、図中、縦方向を撮像素子における垂直方向（ｉ方向）とも称し、図中、横方向を撮像素子における水平方向（ｊ方向）とも称することとする。
【００２１】
より具体的には、本技術では撮像素子の単位領域内の互いに隣接する２以上の画素からなる領域が加算読み出し領域とされ、加算読み出し領域内の各画素の出力値（画素値）の和が、その加算読み出し領域の加算出力値とされる。そして、複数の加算読み出し領域の加算出力値に基づいて、単位領域内の各画素の最終的な画素値が算出される。
【００２２】
例えば、矢印Ａ２１に示すように、単位領域内の４つの画素のうち、互いに隣接する３つの画素Ｇ1,1、画素Ｇ1,2、および画素Ｇ2,1からなる領域が１つの加算読み出し領域とされ、これらの３つの画素の画素値の和が加算出力値ｑ1,1とされる。
【００２３】
また、矢印Ａ２２に示すように、単位領域内の４つの画素のうち、互いに隣接する３つの画素Ｇ1,1、画素Ｇ1,2、および画素Ｇ2,2からなる領域が１つの加算読み出し領域とされ、これらの３つの画素の画素値の和が加算出力値ｑ1,2とされる。
【００２４】
さらに、矢印Ａ２３に示すように、単位領域内の４つの画素のうち、互いに隣接する３つの画素Ｇ1,1、画素Ｇ2,1、および画素Ｇ2,2からなる領域が１つの加算読み出し領域とされ、これらの３つの画素の画素値の和が加算出力値ｑ2,1とされる。
【００２５】
同様に、矢印Ａ２４に示すように、単位領域内の４つの画素のうち、互いに隣接する３つの画素Ｇ1,2、画素Ｇ2,1、および画素Ｇ2,2からなる領域が１つの加算読み出し領域とされ、これらの３つの画素の画素値の和が加算出力値ｑ2,2とされる。
【００２６】
このようにして１つの単位領域に対して得られた４つの加算出力値ｑ1,1、加算出力値ｑ1,2、加算出力値ｑ2,1、および加算出力値ｑ2,2に基づいて、最終的に得ようとする単位領域内の各画素の画素値が求められる。すなわち、単位領域内の画素Ｇ1,1の画素値ｐ1,1、画素Ｇ1,2の画素値ｐ1,2、画素Ｇ2,1の画素値ｐ2,1、および画素Ｇ2,2の画素値ｐ2,2が算出される。
【００２７】
例えば、矢印Ａ１１および矢印Ａ２１乃至矢印Ａ２４で示される撮像素子上の各領域のうち、斜線が施されている領域が光の入射した領域であり、斜線が施されていない領域が光の入射しなかった領域であるとする。この例では、画素Ｇ1,1の全領域と、画素Ｇ1,2および画素Ｇ2,1のそれぞれの半分の領域とに光が入射している。
【００２８】
したがって、矢印Ａ２１で示される単位領域内の各画素から分かるように、加算出力値ｑ1,1は、画素Ｇ1,1、画素Ｇ1,2、および画素Ｇ2,1に入射した光の成分の値となる。また、矢印Ａ２２で示される単位領域内の各画素から分かるように、加算出力値ｑ1,2は、画素Ｇ1,1、および画素Ｇ1,2に入射した光の成分の値となる。
【００２９】
同様に、矢印Ａ２３で示される単位領域内の各画素から分かるように、加算出力値ｑ2,1は、画素Ｇ1,1および画素Ｇ2,1に入射した光の成分の値となる。さらに矢印Ａ２４で示される単位領域内の各画素から分かるように、加算出力値ｑ2,2は画素Ｇ1,2および画素Ｇ2,1に入射した光の成分の値となる。
【００３０】
そして、各加算出力値ｑi,j（但し、ｉ＝１乃至２，ｊ＝１乃至２）を用いれば、各画素値ｐi,jを得ることができる。
【００３１】
具体的には各加算出力値ｑi,j（但し、ｉ＝１乃至２，ｊ＝１乃至２）から、次式（１）に示す連立方程式を得ることができる。
【００３２】
【数１】
2013187677.tif 000003
【００３３】
なお、式（１）では、各加算出力値ｑi,jは、単位領域内の全ての画素の画素値ｐi,jの重み付き加算に等しいとされており、式（１）におけるｗs,t（但し、ｓ＝１乃至４，ｔ＝１乃至４）は、各画素の画素値ｐi,jについての重みを示している。
【００３４】
すなわち、加算出力値ｑi,jの算出に画素Ｇi,jが用いられる場合、その画素Ｇi,jの画素値ｐi,jに対する重みｗs,tは「１」とされ、加算出力値ｑi,jの算出に画素Ｇi,jが用いられない場合、画素Ｇi,jの画素値ｐi,jに対する重みｗs,tは「０」とされる。
【００３５】
換言すれば、加算出力値ｑi,jを求めるための加算読み出し領域に、画素Ｇi,jが含まれていれば画素値ｐi,jの重みｗs,tは「１」とされ、加算読み出し領域に画素Ｇi,jが含まれていなければ画素値ｐi,jの重みｗs,tは「０」とされる。
【００３６】
具体的には、例えば加算出力値ｑ1,1の算出には、画素Ｇ2,2以外の全ての画素が用いられるので、画素Ｇ1,1の重みｗ1,1、画素Ｇ1,2の重みｗ1,2、および画素Ｇ2,1の重みｗ1,3は「１」とされ、画素Ｇ2,2の重みｗ1,4は「０」とされる。
【００３７】
このような式（１）に示す連立方程式を解くことで、単位領域内の各画素の画素値を得ることができる。例えば、式（１）の連立方程式を解く場合、行列演算を行なうと容易に各画素の画素値ｐi,jを得ることができる。
【００３８】
具体的には、式（１）に示した重みｗs,tを次式（２）に示すように並べて得られる行列を、重み行列ｗとする。
【００３９】
【数２】
2013187677.tif 000004
【００４０】
また、加算出力値ｑi,jを順番に並べて得られる行列（縦ベクトル）を行列ｑとする。例えば式（１）では、加算出力値ｑ1,1、加算出力値ｑ1,2、加算出力値ｑ2,1、および加算出力値ｑ2,2を順番に並べた縦ベクトルが行列ｑとされる。
【００４１】
さらに、画素値ｐi,jを順番に並べて得られる行列（縦ベクトル）を行列ｐとする。例えば式（１）では、画素値ｐ1,1、画素値ｐ1,2、画素値ｐ2,1、および画素値ｐ2,2を順番に並べた縦ベクトルが行列ｐとされる。
【００４２】
これらの行列ｐ、行列ｑ、および重み行列ｗを用いれば、式（１）は次式（３）で表すことができる。
【００４３】
【数３】
2013187677.tif 000005
【００４４】
さらに、式（３）に、重み行列ｗの逆行列である行列ｗ-1を乗算すると、次式（４）が得られる。
【００４５】
【数４】
2013187677.tif 000006
【００４６】
したがって、式（４）を計算すれば、求めようとしていた単位領域内の各画素の最終的な画素値ｐi,jが得られる。より具体的には式（２）を用いて計算すると、式（４）は次式（５）となる。
【００４７】
【数５】
2013187677.tif 000007
【００４８】
なお、実際の演算時には、式（１）の画素値ｐi,jに代入される値は、実際に画素から出力された出力値とされ、式（５）で求まる画素値ｐi,jは、計算により復元された画素の画素値、つまり最終的に得ようとする画素の画素値とされる。
【００４９】
また、重み行列ｗの各要素は、対象となる画素が加算出力値の算出に用いられるか否か、つまり加算読み出し領域内の画素であるか否かによって、「１」または「０」とされる。そのため、式（４）の計算により単位領域内の各画素の画素値ｐi,jを求める場合には、単位領域内の加算読み出し領域を構成する画素の組み合わせを、重み行列ｗが逆行列を有するような組み合わせとする必要がある。つまり、重み行列ｗが非特異行列となるように、各加算読み出し領域を構成する画素の組み合わせが定められればよい。
【００５０】
以上のように、複数画素からなる加算読み出し領域の各画素の出力値の和を加算出力値とし、複数の加算出力値から演算により各画素の最終的な画素値を求めることで、より簡単な構成で、また、より簡単な計算で画像信号のノイズを低減させることができる。
【００５１】
例えば撮像素子の画素を微細化（高画素化）すると、撮像素子により撮影された画像、つまり画像の画像信号に含まれるショットノイズが増えるので、画像信号のＳ／Ｎ比が低下する。この場合、画像信号に含まれる支配的なノイズはショットノイズとなる。
【００５２】
ショットノイズは、撮像素子に入射する光子（粒子）の数が少ない場合に、粒子数の統計的変動が大きくなるために発生し、ショットノイズの大きさは電流（光強度）の平均値に比例する。また、ある時間内に検出される光子数は、その平均値を中心とするポアソン分布となり、ポアソン分布の性質から光子雑音の標準偏差は光子数の平均の平方根に等しい。
【００５３】
このようなショットノイズの性質から、本技術のように、複数画素の出力値を加算出力値として読み出せば、見かけ上の画素ピッチが大きくなるので、信号（加算出力値）に含まれるノイズ成分が低減され、Ｓ／Ｎ比が向上する。すなわち、各画素の出力値には、偏りのあるショットノイズ成分が含まれているが、これらの画素の出力値を足し込んで加算出力値とすれば、各出力値のノイズ成分は平均化されていく。これにより、加算出力値に含まれる信号成分を相対的に増加させることができ、Ｓ／Ｎ比を向上させることができる。
【００５４】
このように複数画素の加算読み出しによって、加算出力値のノイズ成分は低減されるので、このような低ノイズの加算出力値から各画素の画素値を算出（復元）すれば、各画素の画素値を直接読み出す場合と比べて、Ｓ／Ｎ比を向上させることができる。
【００５５】
また、加算読み出しでは、見かけ上の画素ピッチもより大きくなるので、回折限界により解像が困難になるほど撮像素子の画素数が多い場合であっても、各画素の画素値を直接読み出す場合と比べて、より高解像度な画像を得ることができる。例えば、図１の例では、画素ごとに画素値を読み出す場合と比べて、見かけ上の画素ピッチ、つまり加算読み出し領域の幅が水平方向でも垂直方向でも倍相当となる。本技術は、特に、撮像素子上の画素の画素ピッチが４μｍ以下である場合に好適である。
【００５６】
なお、以上においては、図１を参照して説明したように、２画素×２画素の領域を単位領域とする場合について説明したが、単位領域は、隣接する画素からなる領域であれば、どのような領域であってもよい。
【００５７】
一般化すると、撮像素子における水平方向ｍ画素および垂直方向ｎ画素からなる領域を、単位領域とすればよい。この場合、単位領域に対してｍ×ｎ通り（ｍ×ｎ個）の加算読み出し領域を定めることになるが、加算読み出し領域を構成する画素の組み合わせは、単位領域内にある互いに隣接する２以上の画素の組み合わせであれば、どのような組み合わせでもよい。また、単位領域は矩形領域でなくてもよい。
【００５８】
但し、上述した式（４）の演算により各画素の画素値を求める場合には、各加算読み出し領域を構成する画素の組み合わせは、重み行列ｗが非特異行列となる組み合わせである必要がある。
【００５９】
例えば、ｍ画素×ｎ画素の単位領域として、３画素×３画素の領域が単位領域とされるとする。そのような場合、図２の矢印Ａ４１に示すようにセンサレイヤ、つまり単位領域上の画素Ｇi,jの最終的に求めたい画素値ｐi,jが、加算出力レイヤの加算出力値ｑi,j（但し、ｉ＝１乃至３，ｊ＝１乃至３）に基づいて算出される。
【００６０】
なお、以下、図２中、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。また、図２中、縦方向および横方向は、それぞれ垂直方向（ｉ方向）および水平方向（ｊ方向）を示している。
【００６１】
このように３画素×３画素の領域が単位領域とされる場合には、矢印Ａ５１乃至矢印Ａ５９に示すように、単位領域に対して９（＝３×３）個の加算読み出し領域が定められ、各加算読み出し領域の加算出力値が読み出される。
【００６２】
すなわち、例えば矢印Ａ５１に示すように、単位領域内の９個の画素全てからなる領域が加算読み出し領域とされ、それらの９個の画素の画素値の和が加算出力値ｑ1,1とされる。ここで、単位領域内の９個の画素とは、画素Ｇ1,1、画素Ｇ1,2、画素Ｇ1,3、画素Ｇ2,1、画素Ｇ2,2、画素Ｇ2,3、画素Ｇ3,1、画素Ｇ3,2、および画素Ｇ3,3である。
【００６３】
また、矢印Ａ５２に示すように、単位領域内の９個の画素のうち、互いに隣接する４つの画素Ｇ1,1、画素Ｇ1,2、画素Ｇ2,1、および画素Ｇ2,2からなる領域が加算読み出し領域とされ、それらの画素の画素値の和が加算出力値ｑ1,2とされる。
【００６４】
さらに、矢印Ａ５３に示すように、単位領域内の９個の画素のうち、互いに隣接する４つの画素Ｇ1,2、画素Ｇ1,3、画素Ｇ2,2、および画素Ｇ2,3からなる領域が加算読み出し領域とされ、それらの画素の画素値の和が加算出力値ｑ1,3とされる。
【００６５】
矢印Ａ５４に示すように、単位領域内の９個の画素のうち、互いに隣接する４つの画素Ｇ2,1、画素Ｇ2,2、画素Ｇ3,1、および画素Ｇ3,2からなる領域が加算読み出し領域とされ、それらの画素の画素値の和が加算出力値ｑ2,1とされる。
【００６６】
また、矢印Ａ５５に示すように、単位領域内の９個の画素のうち、互いに隣接する４つの画素Ｇ2,2、画素Ｇ2,3、画素Ｇ3,2、および画素Ｇ3,3からなる領域が加算読み出し領域とされ、それらの画素の画素値の和が加算出力値ｑ2,2とされる。
【００６７】
さらに、矢印Ａ５６に示すように、単位領域内の９個の画素のうち、互いに隣接する６個の画素Ｇ1,1、画素Ｇ1,2、画素Ｇ1,3、画素Ｇ2,1、画素Ｇ2,2、および画素Ｇ2,3からなる領域が加算読み出し領域とされ、それらの画素の画素値の和が加算出力値ｑ2,3とされる。
【００６８】
矢印Ａ５７に示すように、単位領域内の９個の画素のうち、互いに隣接する６個の画素Ｇ1,2、画素Ｇ1,3、画素Ｇ2,2、画素Ｇ2,3、画素Ｇ3,2、および画素Ｇ3,3からなる領域が加算読み出し領域とされ、それらの画素の画素値の和が加算出力値ｑ3,1とされる。
【００６９】
矢印Ａ５８に示すように、単位領域内の９個の画素のうち、互いに隣接する６個の画素Ｇ2,1、画素Ｇ2,2、画素Ｇ2,3、画素Ｇ3,1、画素Ｇ3,2、および画素Ｇ3,3からなる領域が加算読み出し領域とされ、それらの画素の画素値の和が加算出力値ｑ3,2とされる。
【００７０】
また、矢印Ａ５９に示すように、単位領域内の９個の画素のうち、互いに隣接する６個の画素Ｇ1,1、画素Ｇ1,2、画素Ｇ2,1、画素Ｇ2,2、画素Ｇ3,1、および画素Ｇ3,2からなる領域が加算読み出し領域とされ、それらの画素の画素値の和が加算出力値ｑ3,3とされる。
【００７１】
このようにして得られた９個の加算出力値ｑ1,1、加算出力値ｑ1,2、加算出力値ｑ1,3、加算出力値ｑ2,1、加算出力値ｑ2,2、加算出力値ｑ2,3、加算出力値ｑ3,1、加算出力値ｑ3,2、および加算出力値ｑ3,3に基づいて、最終的に得ようとする単位領域内の各画素の画素値が求められる。すなわち、単位領域内の画素Ｇ1,1乃至画素Ｇ3,3のそれぞれの画素値ｐ1,1乃至画素値ｐ3,3が算出される。
【００７２】
例えば、矢印Ａ５１乃至矢印Ａ５９で示される撮像素子上の各領域のうち、斜線が施されている領域が光の入射した領域であり、斜線が施されていない領域が光の入射しなかった領域であるとする。この例では、画素Ｇ1,1の全領域と、画素Ｇ1,2および画素Ｇ2,1のそれぞれの半分の領域とに光が入射している。
【００７３】
したがって、矢印Ａ５１で示される加算読み出し領域では、加算出力値ｑ1,1は画素Ｇ1,1、画素Ｇ1,2、および画素Ｇ2,1に入射した光の成分の値となる。同様に、矢印Ａ５２、矢印Ａ５６、および矢印Ａ５９で示される加算読み出し領域では、加算出力値ｑ1,2、加算出力値ｑ2,3、および加算出力値ｑ3,3は、画素Ｇ1,1、画素Ｇ1,2、および画素Ｇ2,1に入射した光の成分の値となる。
【００７４】
また、矢印Ａ５３および矢印Ａ５７で示される加算読み出し領域では、加算出力値ｑ1,3および加算出力値ｑ3,1は、画素Ｇ1,2に入射した光の成分の値となる。矢印Ａ５４および矢印Ａ５８で示される加算読み出し領域では、加算出力値ｑ2,1および加算出力値ｑ3,2は、画素Ｇ2,1に入射した光の成分の値となる。さらに、矢印Ａ５５で示される加算読み出し領域では、加算読み出し領域には光が入射していないので、加算出力値ｑ2,2には光の成分は含まれない。
【００７５】
このように、単位領域が３画素×３画素からなる領域である場合でも、各加算出力値ｑi,j（但し、ｉ＝１乃至３，ｊ＝１乃至３）を用いれば、各画素値ｐi,jを得ることができる。具体的には各加算出力値ｑi,j（但し、ｉ＝１乃至３，ｊ＝１乃至３）から、次式（６）に示す連立方程式を得ることができる。
【００７６】
【数６】
2013187677.tif 000008
【００７７】
なお、式（６）では式（１）における場合と同様に、各加算出力値ｑi,jは、単位領域内の全ての画素の画素値ｐi,jの重み付き加算に等しいとされており、式（６）におけるｗs,t（但し、ｓ＝１乃至９，ｔ＝１乃至９）は、各画素値ｐi,jの重みを示している。
【００７８】
これらの各画素値ｐi,jの重みｗs,tは、加算出力値ｑi,jの算出に画素Ｇi,jが用いられる場合「１」とされ、加算出力値ｑi,jの算出に画素Ｇi,jが用いられない場合「０」とされる。
【００７９】
したがって、式（６）に示した重みｗs,tを次式（７）に示すように並べて得られる行列を、重み行列ｗとすれば、上述した式（３）または式（４）を解くことにより、各画素の画素値ｐi,jを得ることができる。
【００８０】
【数７】
2013187677.tif 000009
【００８１】
なお、そのような場合、加算出力値ｑ1,1、加算出力値ｑ1,2、加算出力値ｑ1,3、加算出力値ｑ2,1、加算出力値ｑ2,2、加算出力値ｑ2,3、加算出力値ｑ3,1、加算出力値ｑ3,2、および加算出力値ｑ3,3を順番に並べた縦ベクトルが行列ｑとされる。また、画素値ｐ1,1、画素値ｐ1,2、画素値ｐ1,3、画素値ｐ2,1、画素値ｐ2,2、画素値ｐ2,3、画素値ｐ3,1、画素値ｐ3,2、および画素値ｐ3,3を順番に並べた縦ベクトルが行列ｐとされる。
【００８２】
したがって、図２に示した例において式（４）を計算すれば次式（８）が得られ、この式（８）の計算により、求めたい各画素の最終的な画素値ｐi,j（但し、ｉ＝１乃至３，ｊ＝１乃至３）が得られる。
【００８３】
【数８】
2013187677.tif 000010
【００８４】
なお、単位領域とする領域や加算読み出し領域とする画素の組み合わせ等は、どのように定めてもよいが、以下では、図１に示した２画素×２画素の領域が単位領域であり、矢印Ａ２１乃至矢印Ａ２４に示した領域が加算読み出し領域であるものとして説明を続ける。
【００８５】
［画像処理装置の構成例］
次に、本技術を適用した具体的な実施の形態について説明する。図３は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。
【００８６】
図３の画像処理装置１１は、受光部２１、変換部２２、加算読み出し部２３、および演算部２４から構成される。
【００８７】
受光部２１は、被写体から入射した光を受光して光電変換し、受光した光の強度に応じた電気信号を出力する画素からなり、各画素で得られた電気信号（出力値）を変換部２２に供給する。例えば、図１の例では、受光部２１上に設けられた４つの画素Ｇ1,1、画素Ｇ1,2、画素Ｇ2,1、および画素Ｇ2,2からなる領域が１つの単位領域とされ、受光部２１上には複数の単位領域が設けられている。つまり、受光部２１は、複数の単位領域に分割される。
【００８８】
受光部２１の各画素から出力される電気信号（出力値）からなるデータが、受光部２１で撮影された画像の画像信号である。
【００８９】
変換部２２は、受光部２１の各画素から供給された電気信号をアナログ信号からデジタル信号に変換し、加算読み出し部２３に供給する。例えば、変換部２２は、受光部２１の画素ごとに設けられた複数のＡ／Ｄ（Analog/Digital）変換回路からなり、各Ａ／Ｄ変換回路は、接続されている画素から供給された出力値をデジタル化し、加算読み出し部２３に出力する。
【００９０】
加算読み出し部２３は、変換部２２から供給された各画素の出力値に基づいて、単位領域に対して定められた各加算読み出し領域の加算出力値を算出し、演算部２４に供給する。
【００９１】
より詳細には、例えば加算読み出し部２３は、単位領域ごとに設けられた複数の加算器からなる。例えば、図１の例では、受光部２１としての単位領域内の４つの画素のそれぞれに対して、変換部２２としてのＡ／Ｄ変換回路が設けられており、それらの４つのＡ／Ｄ変換回路が、加算読み出し部２３としての１つの加算器に接続されている。各加算器は、式（２）に示した重み行列ｗを記録しており、この重み行列ｗに基づいて、Ａ／Ｄ変換回路から供給された各画素の出力値から加算出力値を算出し、演算部２４に供給する。
【００９２】
また、これらの受光部２１、変換部２２、および加算読み出し部２３は、CCD（Charge Coupled Device）等の１つの撮像素子（イメージセンサ）に設けられている。なお、変換部２２や加算読み出し部２３が撮像素子の外部に設けられていてもよい。
【００９３】
演算部２４は、加算読み出し部２３から供給された単位領域についての加算読み出し領域の加算出力値に基づいて、各画素の画素値を算出し、これにより得られた出力画像の画像信号を出力する。
【００９４】
［画像生成処理の説明］
ところで、画像処理装置１１では、被写体の１度の撮影により各加算読み出し領域の加算出力値を出力する同時読み出し方式と、加算読み出し領域ごとに被写体の撮影を行い、加算出力値を出力する順次読み出し方式との何れかで出力画像を得ることができる。
【００９５】
例えば図１の例では、同時読み出し方式においては、加算読み出し部２３は、受光部２１の４つの画素Ｇ1,1乃至画素Ｇ2,2から同時刻に供給された各出力値（画素値）に基づいて、式（１）の計算を行い、加算出力値ｑ1,1乃至加算出力値ｑ2,2を出力する。つまり、同時読み出し方式では、加算出力値ｑ1,1乃至加算出力値ｑ2,2が、同時刻に各画素から出力された画素値に基づいて、同時に計算される。
【００９６】
これに対して、順次読み出し方式では、例えば加算読み出し部２３は、まず受光部２１の４つの画素Ｇ1,1乃至画素Ｇ2,2から供給された各画素値に基づいて、式（１）の計算を行い、加算出力値ｑ1,1のみを算出する。続いて、加算読み出し部２３は、次の時刻に受光部２１の４つの画素Ｇ1,1乃至画素Ｇ2,2から供給された各画素値に基づいて、式（１）の計算を行い、加算出力値ｑ1,2のみを算出する。
【００９７】
さらに、加算読み出し部２３は、その後、受光部２１の４つの画素Ｇ1,1乃至画素Ｇ2,2から供給された各画素値に基づいて、式（１）の計算を行い、加算出力値ｑ2,1のみを算出する。そして、加算読み出し部２３は、さらにその後に受光部２１の４つの画素Ｇ1,1乃至画素Ｇ2,2から供給された各画素値に基づいて、式（１）の計算を行い、加算出力値ｑ2,2のみを算出する。
【００９８】
このように、順次読み出し方式では、互いに異なる時刻に各画素から出力された画素値に基づいて、それぞれの加算出力値が算出される。つまり、加算出力値の出力回数分だけ、被写体の撮影が行なわれることになる。例えば、図１の例では、４回の撮影により、矢印Ａ２１乃至矢印Ａ２２に示した各加算読み出し領域の加算出力値が得られることになる。
【００９９】
次に、画像処理装置１１により行なわれる画像生成処理について説明する。この画像生成処理は、ユーザにより出力画像の生成が指示されると開始される。
【０１００】
ステップＳ１１において、画像処理装置１１は、同時読み出し方式により出力画像を生成するか否かを判定する。
【０１０１】
ステップＳ１１において、同時読み出し方式により出力画像を生成すると判定された場合、ステップＳ１２において、撮像素子は被写体を撮影する。すなわち、受光部２１を構成する各画素は、被写体から入射した光を光電変換し、その結果得られた各画素の出力値を変換部２２に供給する。
【０１０２】
ステップＳ１３において、変換部２２は受光部２１から供給された各画素の出力値をデジタル化して加算読み出し部２３に供給する。
【０１０３】
ステップＳ１４において、加算読み出し部２３は、変換部２２から供給された各画素の出力値に基づいて、単位領域に対して定められた各加算読み出し領域について、加算出力値を算出し、演算部２４に供給する。
【０１０４】
例えば、加算読み出し部２３は、予め記録している重み行列ｗと、各画素の出力値とに基づいて式（１）の計算を行い、加算出力値ｑ1,1乃至加算出力値ｑ2,2を同時に算出する。なお、ステップＳ１４の計算では、実際に受光部２１の各画素で得られた出力値が、画素値ｐi,jに代入される。
【０１０５】
ステップＳ１５において、演算部２４は、加算読み出し部２３から供給された各加算出力値ｑi,j（但し、ｉ＝１乃至２，ｊ＝１乃至２）に基づいて、出力画像の各画素の画素値ｐi,j（但し、ｉ＝１乃至２，ｊ＝１乃至２）を算出する。
【０１０６】
例えば、演算部２４は、各加算出力値ｑi,jと予め記録している行列ｗ-1に基づいて式（４）を計算し、画素値ｐi,jを算出する。これにより、式（５）に示す画素値ｐi,jが得られる。
【０１０７】
ステップＳ１６において、演算部２４は、ステップＳ１５の処理により得られた各画素の画素値ｐi,jからなる出力画像、より詳細には出力画像の画像信号を出力し、画像生成処理は終了する。
【０１０８】
また、ステップＳ１１において、同時読み出し方式により出力画像を生成しない、つまり順次読み出し方式により出力画像を生成すると判定された場合、処理はステップＳ１７に進む。
【０１０９】
ステップＳ１７において、撮像素子は被写体を撮影する。すなわち、受光部２１を構成する各画素は被写体から入射した光を光電変換し、その結果得られた各画素の出力値を変換部２２に供給する。
【０１１０】
ステップＳ１８において、変換部２２は受光部２１から供給された各画素の出力値をデジタル化して加算読み出し部２３に供給する。
【０１１１】
ステップＳ１９において、加算読み出し部２３は、変換部２２から供給された各画素の出力値に基づいて、単位領域に対して定められた１つの加算読み出し領域について、加算出力値を算出し、演算部２４に供給する。
【０１１２】
例えば、ステップＳ１９では、基本的にステップＳ１４と同様の処理が行なわれるが、ステップＳ１９では、加算出力値ｑ1,1乃至加算出力値ｑ2,2のうちのまだ算出されていない加算出力値が１つ算出される。
【０１１３】
ステップＳ２０において、画像処理装置１１は、全ての加算読み出し領域の加算出力値を求めたか否かを判定する。
【０１１４】
例えば、図１の矢印Ａ２１乃至矢印Ａ２４のそれぞれにより示される４つの加算読み出し領域について、加算出力値が算出された場合、全ての加算読み出し領域の加算出力値が求められたと判定される。
【０１１５】
ステップＳ２０において、まだ全ての加算読み出し領域の加算出力値が求められていないと判定された場合、処理はステップＳ１７に戻り、上述した処理が繰り返される。すなわち、次の撮影により得られた各画素の出力値から、処理対象とされた加算読み出し領域の加算出力値が算出される。
【０１１６】
なお、より詳細には、被写体の撮影が行なわれ、受光部２１から各画素の出力値が出力されると、受光部２１では、次の撮影が開始される。
【０１１７】
一方、ステップＳ２０において、全ての加算読み出し領域の加算出力値が求められたと判定された場合、処理はステップＳ１５に進む。そして、その後、ステップＳ１５およびステップＳ１６の処理が行なわれ、画像生成処理は終了する。
【０１１８】
以上のように、画像処理装置１１は、単位領域に対して複数定められた加算読み出し領域について加算出力値を求め、それらの加算出力値から各画素の最終的な画素値を算出する。このように、加算出力値から各画素の画素値を求めることで、小型で低コストな撮像素子であっても、簡単にノイズを低減させ、Ｓ／Ｎ比を向上させることができる。
【０１１９】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１２０】
図５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１２１】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１２２】
バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記録部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０１２３】
入力部２０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記録部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインターフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１２４】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１２５】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１２６】
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。
【０１２７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１２８】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１２９】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１３０】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１３１】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１３２】
さらに、本技術は、以下の構成とすることも可能である。
【０１３３】
［１］
撮像素子上の水平方向ｍ画素および垂直方向ｎ画素からなる単位領域内にある、隣接する２以上の画素からなる領域を加算読み出し領域として、互いに異なるｍ×ｎ通りの前記加算読み出し領域ごとに、前記加算読み出し領域内の各画素の出力値の和を加算出力値として算出する加算読み出し部と、
前記単位領域について得られたｍ×ｎ個の前記加算出力値に基づいて、前記単位領域内の各画素の画素値を算出する演算部と
を備える画像処理装置。
［２］
前記演算部は、ｍ×ｎ個の前記加算出力値を並べて得られる行列をｑとし、前記単位領域内の各画素の画素値を並べて得られる行列をｐとし、前記単位領域内の各画素の重みを並べて得られる行列をｗとしてｑ＝ｗｐを計算することで、前記単位領域内の各画素の画素値を算出する
［１］に記載の画像処理装置。
［３］
前記演算部は、前記行列ｗの逆行列をｗ-1としてｐ＝ｗ-1ｑを計算することで、前記単位領域内の各画素の画素値を算出する
［２］に記載の画像処理装置。
［４］
前記行列ｗは、前記加算出力値を求めるのに用いられる画素の重みを１とし、前記加算出力値を求めるのに用いられない画素の重みを０として得られる行列である
［２］または［３］の何れかに記載の画像処理装置。
［５］
前記加算読み出し部は、各画素のデジタル化された前記出力値の和を前記加算出力値として算出する
［１］乃至［４］の何れかに記載の画像処理装置。
【符号の説明】
【０１３４】
１１  画像処理装置，  ２１  受光部，  ２２  変換部，  ２３  加算読み出し部，  ２４  演算部
【図１】
2013187677.tif 000011
【図２】
2013187677.tif 000012
【図３】
2013187677.tif 000013
【図４】
2013187677.tif 000014
【図５】
2013187677.tif 000015