(57)【要約】【課題】高感度で撮像した低ノイズの画像データを記録できる撮像装置を提供する。【解決手段】隣接する複数の画素の画素値を加算してなる画素信号を出力する画素加算出力モードで静止画撮影して得た静止画用画像データを記録することとした。また、静止画、動画に拘わらず、低輝度時に隣接する複数の画素の画素値を加算してなる画素信号を出力する画素加算出力モードを設定した上で、撮影して得た画像データを記録することとした。【効果】画素加算出力モード利用して高感度で撮影し、過剰なゲインアップを避けて低ノイズに抑えた画像データを記録し、後のユーザ任意の利用に供することができるようになった。【選択図】図１
2005303519.tif 000002
【特許請求の範囲】
【請求項１】
隣接する複数の画素の画素値を加算してなる画素信号を出力する加算出力モードを有する撮像素子と、
前記加算出力モードで前記撮像素子により静止画撮影して得た静止画用画像データを記録する記録手段とを備える撮像装置。
【請求項２】
出力モードとして、隣接する複数の画素の画素値を加算してなる画素信号を出力する加算出力モード及び画素毎の画素信号出力する全画素出力モードを有する撮像素子と、
前記撮像素子が出力する画像信号の輝度が所定の基準輝度以下か否か判断し、前記基準輝度以下と判断したとき前記撮像素子を前記加算出力モードに設定し、前記基準輝度以下でないと判断したとき前記撮像素子を前記全画素出力モードに設定するモード設定手段と、
前記モード設定手段により設定された出力モードで前記撮像素子により撮影して得た画像データを記録する記録手段とを備える撮像装置。
【請求項３】
前記画像データが静止画撮影して得た静止画用画像データであることを特徴とする請求項２記載の撮像装置。
【請求項４】
前記記録手段が着脱自在の記録媒体へ記録することを特徴とする請求項１から請求項３のうちいずれか一に記載の撮像装置。
【請求項５】
前記記録手段に記録されたデータを外部出力するためのインターフェースを有することを特徴とする請求項１から請求項４のうちいずれか一に記載の撮像装置。
【請求項６】
前記加算出力モードで前記撮像素子により撮影して得た画像データをリサイズ補完することを特徴とする請求項１から請求項５のうちいずれか一に記載の撮像装置。
【請求項７】
前記加算出力モードで前記撮像素子により撮影して得た画像データに加算出力モードで撮影されたことを識別するコードを付随させることを特徴とする請求項１から請求項６のうちいずれか一に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラ等のように、光電変換素子としてＣＣＤ撮像素子が用いられている撮像装置では、暗い環境で被写体の撮影を行う場合、ＣＣＤ撮像素子の各画素値がオートゲインコントロール回路等で増幅される。しかし、そこで適用されるゲイン値が無制限に大きく設定されると、それによってノイズ成分までもが増幅されることになり、その結果得られる画像は著しく画質の劣化した画像になる。
この状況を図３に示した。ＣＣＤ撮像素子１の１画素の出力画像信号に生じるノイズ成分をノイズ１とする。ＣＣＤ撮像素子１から信号処理回路２までの転送において生じるノイズ成分をノイズ２とする。信号処理回路２のオートゲインコントロール回路（ＡＧＣ）によるゲインアップによって、ノイズ１及びノイズ２までもが増幅され画質が劣化する。
【０００３】
これに対し、ノイズによる画質劣化を抑制するために、隣接する画素の画素値を加算することが考えられている（特許文献１段落0003、特許文献２請求項１等参照）。特許文献１においては、先に述べた構成を個別出力モードと呼び、これを加算出力モードと呼ぶ。加算出力モードでは、隣接する画素の画素値を加算することで、ノイズ成分を増幅することなく、大きな信号成分を得ることが可能になる。
この状況を図２に示した。ＣＣＤ撮像素子１の１画素の出力画像信号に生じるノイズ成分を上記と同様にノイズ１（図２中図示せず）とする。ＣＣＤ撮像素子１が例えば隣接する４画素の画素値を加算すると、ノイズ１も４画素分加算される。図２に示すように加算後のノイズ成分をノイズ１´とする。ＣＣＤ撮像素子１から信号処理回路２までの転送において生じるノイズ成分を上記と同様にノイズ２とする。ＣＣＤ撮像素子１の加算出力により十分な信号レベルが得られている。そのため、信号処理回路２のオートゲインコントロール回路（ＡＧＣ）で増幅せずとも、図３で説明した個別出力モードと同程度の信号レベルを得ることができ（すなわち、同程度の感度を得ることができ）、ノイズを抑えることができる。
【０００４】
特許文献１記載の発明にあっては、加算出力モードにより生成した画像データを、低輝度時に、ホワイトバランス調整、露出制御及びオートフォーカス制御に利用し（特許文献段落0120等参照）、メモリカードに記録する撮影画像データを生成するための本撮影時には個別出力モードを適用した（同文献段落0121参照）。
特許文献２記載の発明にあっては、動画撮影において、暗い被写体に対する予備撮影（予備測定）時に加算出力モード（特許文献２において「加算読出しモード」）を適用して、予備測定の短縮化を図っている（同文献段落0092等参照）。
また従来、静止画撮影に個別出力モードを適用するデジタルカメラ等の中には、動画撮影に加算出力モードを適用してフレームとして記録し、フレームレートをできるだけ高く維持しようとする技術が用いられているものがある。
【特許文献１】特開２００３−３１９４０７号公報
【特許文献２】特開２００３−１８９１８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１記載の発明にあっては、メモリカードに記録する撮影画像データを生成するための本撮影時には個別出力モードを適用し、加算出力モードにより生成した画像データをメモリカードに記録して利用することが無かった（同文献段落0121参照）。
また、特許文献２記載の発明にあっても、予備測定の短縮化を図ることに止まり、特許文献２にあっては本撮影時に個別出力モードを適用することが提案されていない。
しかしながら、先に図２、図３を参照して説明したような、低輝度時のゲインアップによりノイズまでも増幅され画質が劣化するという問題は、記録用の画像を撮像する本撮影においても同様に生じることに変わりがない。
一方、ゲインアップせずとも、露光時間を長くすることにより十分な信号レベルを得ることができるが、この場合、手ぶれの影響が生じる限界を超えるとやはり画質劣化を避けることができないという問題があり、最長露光時間の限界ともなる。
また、動画撮影における従来の加算出力モードの利用は、フレームレートを維持向上するために用いられたに過ぎず、被写体の輝度に拘わらず同し出力画素数の加算出力モードを経て画像データを記録していたため、低輝度時の相対的な画像劣化は何らかの解決手段が無い限り依然として露呈するところであった。
【０００６】
本発明は以上の従来技術における問題に鑑みてなされたものであって、露光時間の長期化により手ぶれ原因を発生させず、高感度で撮像した低ノイズの画像データを記録できる撮像装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
以上の課題を解決するための請求項１記載の発明は、隣接する複数の画素の画素値を加算してなる画素信号を出力する加算出力モードを有する撮像素子と、
前記加算出力モードで前記撮像素子により静止画撮影して得た静止画用画像データを記録する記録手段とを備える撮像装置である。
【０００８】
したがって請求項１記載の発明によれば、隣接する複数の画素の画素値が加算されて大きな画素値が得られているので、ゲインアップによるノイズの増大が回避され、低ノイズの静止画用画像データを記録することができる。また、隣接する複数の画素の画素値が加算されて大きな画素値が得られているので、手ぶれ原因となるような長期の露光を避けつつ、十分な画素値が得られる。
ここで、記録手段を信号処理に用いられる一次バッファを含む広義に解釈してはならない。本発明における記録手段は、後のユーザ任意の利用に供するためのものである。後のユーザ任意の利用には、ユーザの任意の時にその指示に基づく画像表示再生、外部機器への出力、外部機器での任意の利用などが該当する。外部機器での任意の利用には、例えば、画像加工、画像表示、他の端末への送信、印刷などが該当し、印刷されたもの二次的利用、他の端末での二次的利用も、後のユーザ任意の利用に該当する。また、外部機器への出力には通信のほかメモリカード等の着脱自在の記録媒体を介したものが含まれる。
【０００９】
請求項２記載の発明は、出力モードとして、隣接する複数の画素の画素値を加算してなる画素信号を出力する加算出力モード及び画素毎の画素信号を出力する全画素出力モードを有する撮像素子と、
前記撮像素子が出力する画像信号の輝度が所定の基準輝度以下か否か判断し、前記基準輝度以下と判断したとき前記撮像素子を前記加算出力モードに設定し、前記基準輝度以下でないと判断したとき前記撮像素子を前記全画素出力モードに設定するモード設定手段と、
前記モード設定手段により設定された出力モードで前記撮像素子により撮影して得た画像データを記録する記録手段とを備える撮像装置である。
【００１０】
したがって請求項２記載の発明によれば、低輝度時には隣接する複数の画素の画素値が加算されて大きな画素値が得られているので、低輝度時のゲインアップによるノイズの増大が回避され、低ノイズの画像データを記録することができる。また、低輝度時には隣接する複数の画素の画素値が加算されて大きな画素値が得られているので、低輝度時にも手ぶれ原因となるような長期の露光を避けつつ、十分な画素値が得られる。
なお、全画素出力モードは、撮影に必要な領域について各画素の画素信号を出力するものであればよいから、必ずしも撮像素子の全画素について各画素の画素信号を出力する必要があるものではなく、一部の領域について各画素の画素信号を出力するものでも足りる。
【００１１】
請求項３記載の発明は、前記画像データが静止画撮影して得た静止画用画像データであることを特徴とする請求項２記載の撮像装置である。
【００１２】
したがって請求項３記載の発明によれば、低輝度時に高感度で低ノイズの静止画用画像データを記録することができる。
【００１３】
請求項４記載の発明は、前記記録手段が着脱自在の記録媒体へ記録することを特徴とする請求項１から請求項３のうちいずれか一に記載の撮像装置である。
【００１４】
したがって請求項４記載の発明によれば、通信手段を用いることなく着脱自在の記録媒体を介して低ノイズの画像データを外部機器へ移し、ユーザが他人に配布するなどの利用に供することができる。
【００１５】
請求項５記載の発明は、前記記録手段に記録されたデータを外部出力するためのインターフェースを有することを特徴とする請求項１から請求項４のうちいずれか一に記載の撮像装置である。
【００１６】
したがって請求項５記載の発明によれば、記録媒体の着脱を要することなく低ノイズの画像データを外部機器へ出力することができ、さらにデータ転送することができる。
【００１７】
請求項６記載の発明は、前記加算出力モードで前記撮像素子により撮影して得た画像データをリサイズ補完することを特徴とする請求項１から請求項５のうちいずれか一に記載の撮像装置である。
【００１８】
したがって請求項６記載の発明によれば、加算出力モードで画素数が減少した分、画像サイズを補完することができる。
【００１９】
請求項７記載の発明は、前記加算出力モードで前記撮像素子により撮影して得た画像データに加算出力モードで撮影されたことを識別するコードを付随させることを特徴とする請求項１から請求項６のうちいずれか一に記載の撮像装置である。
【００２０】
したがって請求項７記載の発明によれば、後のユーザ任意の利用において、加算出力モードで撮影されたこと（特に画素数の減少）を踏まえて適切な処理（例えばリサイズ、可逆リサイズの逆変換）をすることができる。
例えば、本装置の記録手段に加算出力モードで得た画像をリサイズ補完せずに記録しておき、後のユーザ任意の利用において、本装置により又は外部機器によりリサイズ補完することによって、本装置のメモリ消費を抑えつつ、画像サイズの不統一よる使用感の悪化等の不都合を防ぐことができる。
【発明の効果】
【００２１】
上述したように本発明によれば、露光時間の長期化により手ぶれ原因を発生させず、高感度で撮像した低ノイズの画像データを記録でき、低ノイズの画像データを後でユーザ任意の利用に供することができるという効果がある。
【発明を実施するための最良の形態】
【００２２】
以下に本発明の一実施の形態につき図面を参照して説明する。以下は本発明の一実施形態であって本発明を限定するものではない。
【００２３】
図２(a)に示すように、本実施形態の撮像装置は、ＣＣＤ撮像素子１と、アナログ信号処理回路２と、Ａ/Ｄ変換器３と、ＣＰＵ４と、タイミングジェネレータ５と、デジタル信号処理回路６と、バッファ７と、圧縮回路８と、メモリカードリーダライタ９と、リサイズ回路１０と、外部インターフェース１１と、操作部１２とを備える。
【００２４】
ＣＣＤ撮像素子１は複数の画素が配列した画素アレイを有する。説明上、水平1600画素×垂直1200画素の画素アレイとする。
ＣＣＤ撮像素子１は、画素アレイから画素信号を読出し、隣接する複数の画素（ここでは２×２の４画素とする）の画素値を加算してなる画素信号を出力する画素加算出力モードと、画素毎の画素信号を全画素について出力する全画素出力モードの２つのモードで駆動されるものである。
したがって、ＣＣＤ撮像素子１は、全画素出力モードでは水平1600画素×垂直1200画素分の画素信号からなる画像データを出力する。ＣＣＤ撮像素子１は、画素加算出力モードでは水平800画素×垂直600画素分の画素信号からなる画像データを出力する。この画素加算出力モードであれば、同じ露光時間であっても高感度、低ノイズとなる。
この２つのモードの切替えは、ＣＣＤ撮像素子１に与える駆動信号を生成するタイミングジェネレータ５のクロック信号をＣＰＵ４により切替えて行う。
アナログ信号処理回路２には、相関二重サンプリング回路（ＣＤＳ）と、オートゲインコントロール回路（ＡＧＣ）とが含まれる。
ＣＰＵ４は、ＣＣＤ撮像素子１から出力されアナログ信号処理回路２により信号処理されＡ/Ｄ変換された画像データを取り込み、以下に説明する判断、制御を行う。
【００２５】
図１にＣＰＵ４上で実行されるプログラムのフローチャートの一例を示した。
まず、前提として、本装置を静止画撮影モードに設定する。
その後、操作部１２に含まれるレリーズボタン（図示せず）が半押しされると第一のスイッチＳ１がＯＮし（ステップＴ１）、ＣＣＤ撮像素子１から得られる画像信号に基づき、自動合焦制御（ＡＦ）、露出演算（ＡＥ）、ホワイトバランス演算（ＷＢ）を実行する（ステップＴ２）。
次に、レリーズボタン（図示せず）が全押しされると第二のスイッチＳ２がＯＮし（ステップＴ３）、ＣＣＤ撮像素子１から得られる画像信号に基づき、撮影範囲のうち所定エリア（例えば中央）の輝度が所定の基準輝度以下か否か判断する（ステップＴ４）。
【００２６】
ステップＴ４でＮＯの場合、タイミングジェネレータ５のクロック信号を切替えてＣＣＤ撮像素子１を全画素出力モードに設定する（ステップＴ８）。
続いてＣＣＤ撮像素子１が出力する画像信号をアナログ信号処理回路２のＣＤＳ回路によりノイズ低減処理させ、ＡＧＣ回路によりゲイン調整させ、さらにＡ/Ｄ変換器３により例えば８ビットのデジタル画像信号に変換させ、これを取り込み（ステップＴ９）、静止画を撮影する。撮影して得た画像データをデジタル信号処理回路６によりホワイトバランスやγ補正などの所定の画像処理を行わせたのち、バッファ７に一旦記憶させる。
バッファ７に記憶された画像データを圧縮回路８に読み出して、例えばＪＰＥＧなどの規格化された圧縮方式で所定のファイルサイズに圧縮変換させ（ステップＴ１０）、得られた画像ファイルをメモリカードリーダライタ９を制御してメモリカード１３に記録させ。
以上が静止画撮影モードにおける全画素出力モードの制御内容である。
【００２７】
ステップＴ４でＹＥＳの場合、タイミングジェネレータ５のクロック信号を切替えてＣＣＤ撮像素子１を画素加算出力モードに設定する（ステップＴ５）。
続いてＣＣＤ撮像素子１が出力する水平800画素×垂直600画素分の画像信号をアナログ信号処理回路２のＣＤＳ回路によりノイズ低減処理させ、ＡＧＣ回路によりゲイン調整させ、さらにＡ/Ｄ変換器３により例えば８ビットのデジタル画像信号に変換させ、これを取り込み（ステップＴ９）、静止画を撮影する。撮影して得た画像データをデジタル信号処理回路６によりホワイトバランスやγ補正などの所定の画像処理を行わせたのち、バッファ７に一旦記憶させる。
バッファ７に記憶された水平800画素×垂直600画素の画像データをリサイズ回路１０に読み出して、ＣＣＤ撮像素子１が加算した画素数４と同じ数の倍数、すなわち４倍に拡大して全画素出力モードと同じ水平1600画素×垂直1200画素の画像サイズに変換させる。このリサイズ補完では、画質向上等のため、周辺画素の輝度値や色値を考慮して不足する画素を生成する既存の又は将来利用できる画像処理技術を適用するとよい。リサイズ補完は行わなくても良い。リサイズ補完を行わない場合は、バッファ７に記憶された水平800画素×垂直600画素の画像データをリサイズ回路１０での処理を経ずに、そのままの画像サイズで次の圧縮回路８による処理に回す。
【００２８】
次に、リサイズ補完された画像データ（リサイズ補完を行わない場合は、リサイズ補完していない画像データ）を圧縮回路８により、例えばＪＰＥＧなどの規格化された圧縮方式で所定のファイルサイズに圧縮変換させ（ステップＴ１０）、得られた画像ファイルをメモリカードリーダライタ９を制御してメモリカード１３に記録させる。このとき、画像ファイルに画素加算出力モードで撮影されたことを識別するコードを書き込む。その際、画像サイズが選択できる撮像装置においてユーザに指定させた画像サイズの情報を付加して書き込むようにしても良い。
なお、本発明を動画撮影に適用する場合には、ＡＶＩ、ＭＰＥＧなどのファイル形式を適用して同様に実施することができる。
【００２９】
メモリカードリーダライタ９は、メモリカード１３を着脱可能にするものを用いる。したがって、ユーザはメモリカード１３を本装置から取り出して記録された画像ファイルを利用することができる。
【００３０】
また、外部インターフェース１１は、ＵＳＢなどの接続ポートや、通信モデム又はその装着部とする。これにより、有線又は無線通信により記録した画像ファイルを外部機器へ出力する。画像ファイルの外部機器への出力は、接続した相手機器からの命令又は操作部１２を介して入力された命令に従って行う。その命令には記録した複数の画像ファイルのうち、出力すべき画像ファイルの識別符号が含まれる。したがって、記録した複数の画像ファイルのうち任意の画像ファイルを選択して出力させることができる。
【００３１】
上述のようにリサイズ補完を行うことにより、ユーザが意図した画像サイズ（水平1600画素×垂直1200画素）と異なった画像サイズ（水平800画素×垂直600画素）で記録されるという不具合は防がれる。また、後の利用において、画像サイズの不統一による使用感の悪化等の不都合を防ぐことができる。
一方、画像データをリサイズ補完せずにメモリカード１３に記録すれば、記憶容量を節約でき、多くの画像を撮影することが可能となるという利点がある。この場合、画像ファイルに書き込まれた画素加算出力モードで撮影されたことを識別するコード（以下「画素加算コード」という。）を以下のように利用することができる。
すなわち、全画素出力モードで得た水平1600画素×垂直1200画素の画像データと、画素加算出力モードで得た水平800画素×垂直600画素の画像データをメモリカード１３に記録しておき、本装置又はパソコン等の外部機器で画像再生するときに画素加算コードにより識別して画像加算された画像について水平1600画素×垂直1200画素にリサイズ補完して再生することが有効である。これにより、水平1600画素×垂直1200画素の統一サイズの画像を表示することができる。画素加算コードは、画素加算した画素数、隣接方向など画像加算処理の内容までをも示すことができる情報とする。
また、メモリカード１３から画像データを読出して本装置からパソコン等の外部機器に送信するときに、画素加算コードにより識別して画素加算された画像について水平1600画素×垂直1200画素にリサイズ補完して送信することが有効である。これにより、水平1600画素×垂直1200画素の統一サイズの画像データを送信することができる。この場合は、外部機器の再生ソフトにリサイズ補完する機能を設けていなくても、そのまま再生すれば、水平1600画素×垂直1200画素の統一サイズで画像を表示することができる。
このように、画像データをリサイズ補完せずにメモリカード１３に記録する場合において、画素加算コードを利用することにより、本装置のメモリ消費を抑えつつ、画像サイズの不統一による使用感の悪化等の不都合を防ぐことができる。
【００３２】
なお、ユーザが画像サイズを指定できる場合に、ユーザが指定できる画像サイズを全画素出力モードの画像サイズと一致させても良いが、ユーザが指定できる画像サイズを全画素出力モードの画像サイズと一致させなくても良い。例えば、最大サイズ水平1600画素×垂直1200画素を有し、最大サイズ又は水平1200画素×垂直960画素が選択できる撮像装置において、ユーザが水平1200画素×垂直960画素を指定した場合に、全画素出力モードで水平1600画素×垂直1200画素の画像データを生成し、メモリカード１３に記録する一方、画素加算出力モードでは上述のようにバッファ７に記憶された水平800画素×垂直600画素の画像データをリサイズ回路１０で水平1200画素×垂直960画素にリサイズ補完し、メモリカード１３に記録することとしてもよい。勿論、全画素出力モードでもユーザが指定した水平1200画素×垂直960画素の画像データを生成し、メモリカード１３に記録しても良い。
また、メモリカード１３を着脱可能にするか、外部インターフェース１１を設けるかは二者択一でもよい。上記のように双方も設けてもよい。
【００３３】
いま、本実施形態において、図２（ｂ）に示すように、ＣＣＤ撮像素子１の１画素の出力画像信号に生じるノイズ成分をノイズ１（図２中図示せず、図３に図示）とする。ＣＣＤ撮像素子１が例えば隣接する４画素の画素値を加算すると、ノイズ１も４画素分加算される。また、図２に示すように加算後のノイズ成分をノイズ１´とする。ＣＣＤ撮像素子１からアナログ信号処理回路２までの転送において生じるノイズ成分をノイズ２とする。
本実施形態によれば、ＣＣＤ撮像素子１の画素加算出力により十分な信号レベルが得られている。そのため、アナログ信号処理回路２のオートゲインコントロール回路（ＡＧＣ）で画素値を増幅せずとも、図３で説明した個別出力モードと同程度の信号レベルを得ることができ（すなわち、同程度の感度を得ることができ）、ノイズを抑えることができる。画素加算出力モード時においても入力値に応じてオートゲインコントロール回路（ＡＧＣ）で画素値を増幅してもよいが、大きな増幅が必要とならずノイズを抑えることができる。
【００３４】
以上の実施形態においては、水平1600画素×垂直1200画素のＣＣＤを用い、画素加算出力モードでは、２×２の４画素を加算して水平800画素×垂直600画素の画像データを出力させる場合を例にとって説明したが、これらの数値は任意であり、加算する画素の隣接方向も水平方向のみや、垂直方向のみであってもよい。
また、輝度を判断するステップＴ４を設けたが、静止画撮影においてはこれを設けず、すべて画素加算出力モードで処理してもよい。その場合、所定の基準輝度で分け隔てることなく高感度で撮像し低ノイズの静止画用画像データを記録することができる。ＣＣＤの画素数に対し静止画用画像データの画素数は減少するが、高感度、低ノイズの静止画撮像装置を提供することができる。
また、上記画像ファイルの圧縮は必要に応じて行えばよい。
【００３５】
なお、本発明を静止画撮影に適用する一方、動画撮影においては本発明を適用せず例えば従来の動画撮影技術を適用しても良い。例えば、その動画撮影においては、輝度によらず、常に画素加算出力モードで出力された画像信号をＡＶＩ、ＭＰＥＧなどの規格化された記録方式で記録するようにする。この場合、画素加算出力モードにより記録画素が減少する分、より自然な動きの動画を再生するためにフレームレートを上げることができる。
【図面の簡単な説明】
【００３６】
【図１】本発明一実施形態におけるフローチャートである。
【図２】本発明一実施形態の撮像装置の主要部ブロック図(a)及び画素加算出力モード時のノイズ成分の変遷を示すイメージ図(b)である。
【図３】撮像装置のブロック図(a)及び全画素出力モード時のノイズ成分の変遷を示すイメージ図(b)である。
【図１】
2005303519.tif 000003
【図２】
2005303519.tif 000004
【図３】
2005303519.tif 000005