(57)【要約】【課題】位置合わせを行いながら複数枚の画像を合成する場合においても、周期的に変動するノイズに起因する画像の横縞ノイズを軽減することが可能な撮像装置を提供する。【解決手段】被写体の光学像を電気信号に変換する固体撮像素子によって複数枚の合成用画像を連続して撮影し、撮影した複数枚の合成用画像を位置合わせを行いながら合成して１枚の合成画像を生成し、各合成用画像の撮影時に発生する横縞ノイズの位相情報及び合成時の位置合わせ情報に基づいて合成画像用の横縞補正データを生成して合成画像の補正処理を行うようにして、位置合わせを行いながら複数枚の画像を合成する場合においても、周期的に変動するノイズに起因する画像の横縞ノイズを軽減できるようにする。【選択図】図６
2016096471.tif 000002
【特許請求の範囲】
【請求項１】
被写体の光学像を画素単位の電気信号に変換する撮像素子と、
前記撮像素子によって複数枚の画像を連続して撮影し、撮影した前記複数枚の画像を位置合わせを行いながら合成して１枚の合成画像を生成するとともに、前記複数枚の画像のそれぞれについての撮影時に発生する横縞ノイズの位相情報及び合成時の位置合わせ情報に基づいて前記合成画像に係る横縞補正データを生成し、生成した前記横縞補正データを用いて前記合成画像に補正処理を行う合成処理手段とを有することを特徴とする撮像装置。
【請求項２】
前記横縞ノイズの位相情報は、前記撮影時に発生する横縞ノイズの位相を確定することによって取得し、前記位置合わせ情報は、前記複数枚の画像の内の１つの基準画像と前記複数枚の画像間の動きベクトルを基に取得することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記複数枚の画像の撮影時に、前記撮像素子の駆動タイミングと周期的に変動するノイズ信号の位相が所定の関係となるように、前記撮像素子の駆動タイミング及び前記ノイズ信号の変動するタイミングを制御する制御手段を有することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記合成処理手段は、前記複数枚の画像と同じ撮影条件で撮影を行ってダーク画像を取得し、取得したダーク画像から生成した垂直方向の写像データに基づいて、前記横縞補正データを生成することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
【請求項５】
前記合成処理手段は、前記複数枚の画像についての前記撮影時の横縞ノイズの位相情報及び前記合成時の位置合わせ情報に基づいて、合成するために切り出した画像での横縞ノイズの位相を算出し、合成するために切り出した画像での横縞ノイズの位相差が所定の範囲である場合には、前記横縞補正データを用いた前記補正処理を行わないことを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
【請求項６】
被写体の光学像を画素単位の電気信号に変換する撮像素子によって複数枚の画像を連続して撮影し、
撮影した前記複数枚の画像を位置合わせを行いながら合成して１枚の合成画像を生成し、
前記複数枚の画像のそれぞれについての撮影時に発生する横縞ノイズの位相情報及び合成時の位置合わせ情報に基づいて前記合成画像に係る横縞補正データを生成し、
生成した前記横縞補正データを用いて前記合成画像に補正処理を行うことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
電子カメラ等の撮像装置においては、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子が用いられている。このような撮像装置においては、撮像素子で光学像を電気信号に変換する過程において、画像の画質劣化の原因となる様々なノイズが発生する。代表的なノイズとして、画素及び読み出し回路のリセットノイズや画素領域において発生する暗電流等の撮像動作を行う度に変動するランダムノイズがある。
【０００３】
撮像装置は、その内部又は近傍に撮像素子の電源電圧を周期的に変動させるノイズ源となり得る要素を有している。これらのノイズ源が撮像素子の信号読み出し中に動作すると、動作に伴い発生する電源変動や電磁波等によって撮像素子に供給される電源電圧が変動する。これらのノイズ源は、各々の機器及び部品毎に特定の周波数で駆動されるため、撮像素子の電源電圧が周期的に変動して、周期的な横縞状のノイズとして画像に現われることが知られている。
【０００４】
また、近年では、ＣＭＯＳイメージセンサ、及びＣＭＯＳイメージセンサの出力信号を扱う信号処理回路等の処理速度が向上し、短時間のうちに複数回の撮像及び信号処理が可能な高速読み出しシステムも開発されている。このような高速読み出しシステムを用いて、手振れが生じない程度のシャッター速度で複数枚の画像を連続して撮影し、撮影後の処理でそれら複数枚の画像の位置合わせを行いながら合成し手振れのない画像を得る技術が特許文献１に提案されている。
【０００５】
特許文献１に開示された技術では、手振れのない画像を得られるとともに、複数枚の画像を合成して１枚の画像を生成することにより個々の撮像画像に含まれるダークノイズ等のランダムノイズが平均化される。そのため、最終的に得られる合成画像は、１回の撮像で得られる画像よりもランダムノイズが低減される。一方で、周期的に変動するノイズに起因して発生する横縞ノイズに関しては、合成する画像の横縞の発生位置によってはノイズが増大してしまうことがあるという課題がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３３９５７６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示された技術では、位置合わせを行いながら複数枚の画像を合成する場合には、撮影時には位置合わせ量が分からないために、撮影時の横縞の位相の制御によって合成画像の横縞ノイズを軽減することが困難であった。本発明の目的は、位置合わせを行いながら複数枚の画像を合成する場合においても、周期的に変動するノイズに起因する画像の横縞ノイズを軽減することが可能な撮像装置及び撮像方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、被写体の光学像を画素単位の電気信号に変換する撮像素子と、前記撮像素子によって複数枚の画像を連続して撮影し、撮影した前記複数枚の画像を位置合わせを行いながら合成して１枚の合成画像を生成するとともに、前記複数枚の画像のそれぞれについての撮影時に発生する横縞ノイズの位相情報及び合成時の位置合わせ情報に基づいて前記合成画像に係る横縞補正データを生成し、生成した前記横縞補正データを用いて前記合成画像に補正処理を行う合成処理手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影時の横縞ノイズの位相情報及び合成時の位置合わせ情報を基に横縞ノイズの補正データを生成して補正処理を行うことで、位置合わせを行いながら複数枚の画像を合成する場合においても、画像の横縞ノイズを軽減することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態による撮像装置の構成例を示す図である。
【図２】本実施形態における固体撮像素子の構成例を示す等価回路図である。
【図３】本実施形態における固体撮像素子の信号読み出し動作を説明するためのタイミングチャートである。
【図４】本実施形態におけるタイミング制御部の構成例を示す図である。
【図５】本実施形態における固体撮像素子からの信号読み出し開始時の動作を示すタイミングチャートである。
【図６】本実施形態における撮像装置での合成撮影動作の例を示すフローチャートである。
【図７】本実施形態における位置合わせ合成動作を説明するための図である。
【図８】本実施形態における合成画像用の横縞補正データの生成処理の例を示すフローチャートである。
【図９】本実施形態における横縞補正データの生成を説明するための図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を図面に基づいて説明する。
【００１２】
図１は、本発明の一実施形態による撮像装置の構成例を示すブロック図である。本実施形態よる撮像装置は、固体撮像素子３０４を有する。レンズ３０１は、被写体の光学像を固体撮像素子３０４に結像させる。レンズ３０１を通過した被写体の光学像は、絞り３０２及びシャッター３０３により光量が制御され、固体撮像素子３０４に導かれる。固体撮像素子３０４は、光学像を光電変換によって画素単位の電気信号（画像信号）に変換し出力する。
【００１３】
固体撮像素子３０４から出力された画像信号（撮像信号ともいう）は、撮像信号処理及びアナログ−デジタル（Ａ／Ｄ）変換を行うアナログフロントエンド部（ＡＦＥ：Analog Front End）３０５に供給される。ＡＦＥ３０５の出力は、画像データとして信号処理部３０６に供給される。信号処理部３０６は、ＡＦＥ３０５から出力された画像データに対して各種の補正を行うとともに、必要に応じてデータ圧縮を行う。また、信号処理部３０６は、撮影された複数枚の画像の画像データを合成する合成処理や、複数枚の画像データ間の動きベクトルの検出処理を行う。
【００１４】
なお、固体撮像素子３０４、ＡＦＥ３０５、及び信号処理部３０６に対してタイミング発生部３１３から各種のタイミング信号が供給される。タイミング発生部１３から出力される各種のタイミング信号は、撮像クロックＣＬＫ＿ＣＭを基準として生成される。
【００１５】
全体制御・演算部３１２は、各種の演算を行うとともに、撮像装置の制御を行う。メモリ部３０７には画像データが一時的に記憶される。外部インターフェース（Ｉ／Ｆ）部３１０は、例えば、外部コンピュータ等の外部機器３１１と通信を行う。なお、外部Ｉ／Ｆ部３１０は、無線ユニット３１９を介して画像データを送信する等の外部機器３１１との通信を無線で行うこともできる。
【００１６】
記録媒体制御インターフェース（Ｉ／Ｆ）部３０８には、記録媒体３０９を着脱可能である。記録媒体３０９が記録媒体制御Ｉ／Ｆ部３０８に装着されている場合、記録媒体制御Ｉ／Ｆ部３０８によって記録媒体３０９に対して画像データの記録及び読み出しが行われる。なお、記録媒体３０９は、例えば、半導体メモリで構成されている。ストロボ部３１４は、ＡＦ（オートフォーカス）補助光の投光及びフラッシュ調光を行う。
【００１７】
電源回路３１５は、電池等から供給された電圧を所望の電圧に変換するＤＣ／ＤＣコンバータを有し、撮像装置で必要な電圧を必要な期間だけ、記録媒体３０９を含む各部に供給する。ＤＣ／ＤＣコンバータは、駆動クロックＣＬＫ＿ＤＣに基づいて駆動が行われる。なお、レンズ３０１は、全体制御・演算部３１２の制御下でレンズ駆動部３１８によって駆動される。絞り３０２は、全体制御・演算部３１２の制御下で絞り駆動部３１７によって駆動され、シャッター３０３は、全体制御・演算部３１２の制御下でシャッター駆動部３１６によって駆動される。
【００１８】
第１のスイッチ（ＳＷ１）３２０は、レリーズボタンが所定の位置まで押された状態（半押し状態）でオンになるスイッチであり、第２のスイッチ（ＳＷ２）３２１は、レリーズボタンが最後まで押された状態（全押し状態）でオンになるスイッチである。第１のスイッチ（ＳＷ１）３２０がオンすると撮影動作（撮影準備状態）を開始し、第２のスイッチ（ＳＷ２）３２１がオンすると撮影動作（露光動作）を開始する。タイミング制御部３２２は、基準クロックＣＬＫ＿ＩＮを基に、撮像クロックＣＬＫ＿ＣＭを生成しタイミング発生部３１３に供給するとともに、駆動クロックＣＬＫ＿ＤＣを生成し電源回路３１５のＤＣ／ＤＣコンバータに供給する。
【００１９】
図１に示した撮像装置では、ストロボ等の機器、電圧変換を行うためのＤＣ／ＤＣコンバータ、レンズ、絞り、シャッター等を駆動するためのアクチュエータ駆動回路、コンピュータ等の外部機器と通信を行うための通信ユニット等が備えられている。つまり、撮像装置は、その内部又は近傍に撮像素子の電源電圧を周期的に変動させるノイズ源となり得る要素を有している。
【００２０】
これらのノイズ源が撮像素子の信号読み出し中に動作すると、ノイズ源の駆動に伴って電源変動や電磁波等が発生し、その影響を受けて撮像素子に供給される電源電圧が変動する。これらのノイズ源は、各々の機器や部品毎に特定の周波数で駆動されるため、撮像素子の電源電圧が周期的に変動して、周期的な横縞状のノイズとして画像に現われる。なお、図１に示した機器や部品以外にも、動作によって撮像装置の電源及び撮像素子周辺の磁場を変動させうる機器や部品はノイズ源となりうる。
【００２１】
図２は、図１に示した固体撮像素子３０４の等価回路図を示す図である。図２に示すトランジスタのそれぞれは、例えばＭＯＳ（Metal Oxide Semiconductor）トランジスタである。固体撮像素子３０４を構成する各回路素子は、半導体集積回路製造技術によって、例えば、単結晶シリコンのような１つの半導体基板上に形成される。ここでは、画素アレイの行数及び列数は、ｉ行×ｊ列（ｉ及びｊの各々は２以上の整数）であるとする。なお、図２には、３行×３列の画素アレイを一例として示しているが、画素アレイの行数及び列数は、図示の例に限定されるものではない。
【００２２】
固体撮像素子３０４は、２次元マトリックス状に配列された複数の単位画素４００を有しており、これら単位画素４００によって画素部が構成される。単位画素４００は、フォトダイオードＰＤを有しており、フォトダイオードＰＤは、光を受けて電気信号である光信号を発生する。図示の例では、フォトダイオードＰＤは、そのアノードが接地されている。
【００２３】
フォトダイオードＰＤのカソードは、フォトダイオードＰＤに蓄積された光信号電荷を転送するための転送トランジスタＭ１を介して、増幅トランジスタＭ３のゲートに接続されている。増幅トランジスタＭ３のゲートには、当該増幅トランジスタＭ３をリセットするためのリセットトランジスタＭ２のソースが接続され、リセットトランジスタＭ２のドレインはリセット電源に接続されている。また、増幅トランジスタＭ３のドレインは直接電源に接続されている。
【００２４】
ｎ行目（１≦ｎ≦ｉ）の単位画素４００における転送トランジスタＭ１のゲートは、横方向に延長して配置される行転送線ＰＴＸ＿ｎに接続される。ｎ行目の単位画素４００におけるリセットトランジスタＭ２のゲートは、横方向に延長して配置される行リセット線ＰＲＥＳ＿ｎに接続される。ｎ行目の単位画素４００における選択トランジスタＭ４のゲートは、横方向に延長して配置される行選択線ＰＳＥＬ＿ｎに接続される。行転送線ＰＴＸ＿ｎ、行リセット線ＰＲＥＳ＿ｎ、及び行選択線ＰＳＥＬ＿ｎは、垂直走査回路（ＶＳＲ）ブロック４１１に接続されている。
【００２５】
行転送線ＰＴＸ＿ｎには、垂直走査回路ブロック４１１で生成され画素信号の転送を制御するための制御パルス（行転送パルス）が、後述するタイミングで供給される。行リセット線ＰＲＥＳ＿ｎには、垂直走査回路ブロック４１１で生成され単位画素４００のリセットを制御するための制御パルス（行リセットパルス）が、後述するタイミングで供給される。行選択線ＰＳＥＬ＿ｎには、垂直走査回路ブロック４１１で生成され信号転送を行う画素行を選択するための制御パルス（行選択パルス）が、後述するタイミングで供給される。
【００２６】
ｍ列目（１≦ｍ≦ｊ）の単位画素４００における増幅トランジスタＭ３のソースは、縦方向に延長して配置される垂直（列方向）信号線Ｖ＿ｍに選択トランジスタＭ４を介して接続される。垂直信号線Ｖ＿ｍは、定電流源Ｉに接続されるととともに、クランプ容量Ｃ０に接続される。また、クランプ容量Ｃ０は、演算増幅器４０１の反転入力端子に接続される。演算増幅器４０１の非反転入力端子は、クランプ電圧ＶＣ０Ｒに接続される。
【００２７】
演算増幅器４０１の出力端子は、基準信号転送スイッチＭ１１を介して基準信号（撮像信号に対する基準信号）を一時保持するための容量ＣＴＮ＿ｍに接続される。また、演算増幅器４０１の出力端子は、光信号転送スイッチＭ１２を介して光信号（撮像信号）を一時保持するための容量ＣＴＳ＿ｍに接続される。容量ＣＴＮ＿ｍ、ＣＴＳ＿ｍの逆側の端子は、接地されている。
【００２８】
基準信号転送スイッチＭ１１と容量ＣＴＮ＿ｍとの接続点、及び光信号転送スイッチＭ１２と容量ＣＴＳ＿ｍとの接続点は、水平転送スイッチＭ２１、Ｍ２２を介して、それぞれ基準信号と光信号との差分を得るための差動回路ブロック４３１に接続される。図２に示す残りの垂直信号線Ｖ＿（ｍ−１）、Ｖ＿（ｍ＋１）についても同様にして読み出し回路が設けられる。
【００２９】
各列の基準信号転送スイッチＭ１１のゲートは、第１の転送信号入力端子ＰＴＮに共通に接続される。各列の光信号転送スイッチＭ１２のゲートは、第２の転送信号入力端子ＰＴＳに共通に接続される。第１の転送信号入力端子ＰＴＮ及び第２の転送信号入力端子ＰＴＳには、後述するタイミングでそれぞれ制御パルス（転送信号入力パルス）が供給される。ｍ列目の水平転送スイッチＭ２１、Ｍ２２のゲートは、列選択線ＰＨ＿ｍを介して水平走査回路（ＨＳＲ）ブロック４２１に接続され、後述するタイミングで列毎に制御パルス（列送りパルス）が供給される。列選択線ＰＨ＿（ｍ−１）、ＰＨ＿（ｍ＋１）についても同様に構成されている。
【００３０】
図３は、本実施形態における固体撮像素子３０４の信号読み出し動作を説明するための駆動タイミングを示すタイミングチャートである。撮像素子３０４における信号読み出しを行う際には、０行目から開始し、１行目、２行目、及び３行目と順に行われる。そして、該当行の信号の読み出し動作が終了した後に、次の行の信号の読み出し動作に移る。
【００３１】
図２及び図３を参照して、固体撮像素子３０４のｎ行目に注目して、その読み出し動作を説明する。以下では、固体撮像素子３０４が有する各トランジスタ（スイッチ）のゲートに対して、ハイレベルが供給されたときに、各トランジスタ（スイッチ）がオンする（導通状態となる）ものとして説明する。
【００３２】
時刻Ｔ０＿ｎにて、行選択パルスＰＳＥＬがローレベルとなると、直前に読み出しを行った行、つまり（ｎ−１）行目の画素の選択トランジスタＭ４がオフとなって、（ｎ−１）行目の単位画素４００の選択が解除される。同時に、クランプパルスＰＣ０Ｒがハイレベルとなって、クランプ容量Ｃ０のリセットが開始される。また、転送信号入力パルスＰＴＳ、ＰＴＮがともにハイレベルとなり、容量ＣＴＮ、ＣＴＳのリセットが開始される。
【００３３】
時刻Ｔ１＿ｎにて、行送りパルスＰＶが垂直走査回路（ＶＳＲ）４１１に入力されると、読み出しを行う選択行の行送りが行われる。ここでは、選択行が（ｎ−１）行目からｎ行目に送られる。時刻Ｔ２＿ｎにて、行リセットパルスＰＲＥＳがローレベルとなって、フローティングディフュージョンＦＤのリセットが解除され、フローティングディフュージョンの基準電位が決定される。
【００３４】
時刻Ｔ３＿ｎにて、行送りパルスＰＶがローレベルとなる。また、行選択パルスＰＳＥＬがハイレベルとなり、ｎ行目の画素の選択トランジスタＭ４がオンとなって、ｎ行目の単位画素４００が選択される。時刻Ｔ４＿ｎにて、転送信号入力パルスＰＴＳ、ＰＴＮがローレベルとなって、容量ＣＴＳ、ＣＴＮのリセットが終了し、容量ＣＴＳ、ＣＴＮの基準電位が決定される。時刻Ｔ５＿ｎにて、クランプパルスＰＣ０Ｒがローレベルとなり、クランプ容量Ｃ０に基準電位ＶＣ０Ｒが保持される。
【００３５】
時刻Ｔ６＿ｎにて、転送信号入力パルスＰＴＮがハイレベルとなり、画素４００のフローティングディフュージョンＦＤの電位（電圧）が容量ＣＴＮに出力される。時刻Ｔ７＿ｎにて、転送信号入力パルスＰＴＮがローレベルとなり（保持タイミング）、この時点におけるフローティングディフュージョンＦＤの電位（電圧）が、基準信号として容量ＣＴＮに保持される。
【００３６】
時刻Ｔ８＿ｎにて、転送信号入力パルスＰＴＳがハイレベルとなり、画素４００のフローティングディフュージョン（ＦＤ）の電位（電圧）が容量ＣＴＳに出力される。時刻Ｔ９＿ｎにて、転送信号入力パルスＰＴＳがハイレベルである期間に、行転送パルスＰＴＸがハイレベルとなる。行転送パルスＰＴＸがハイレベルとなることで、ｎ行目の画素の転送トランジスタＭ１がオンとなって、ｎ行目の画素のフォトダイオードＰＤに蓄積されていた電荷がフローティングディフュージョンＦＤに転送される。
【００３７】
時刻Ｔ１０＿ｎにて、行転送パルスＰＴＸがローレベルとなり、転送トランジスタＭ１がオフされて、フォトダイオードＰＤからフローティングディフュージョンＦＤへの電荷の転送が終了する。時刻Ｔ１１＿ｎにて、転送信号入力パルスＰＴＳがローレベルとなり、この時点におけるフローティングディフュージョンＦＤの電位が、光信号（撮像信号）として容量ＣＴＳに保持される。時刻Ｔ１２＿ｎにて、行リセットパルスＰＲＥＳがハイレベルとなって、フローティングディフュージョンＦＤのリセットが開始される。
【００３８】
時刻Ｔ１３＿ｎにて、列送りパルスＰＨが水平走査回路（ＨＳＲ）４２１に入力されると、読み出し領域の先頭列から末尾の列まで列転送パルスが順に列選択線ＰＨに入力され、時刻Ｔ１４＿ｎで末尾の列までの列送りパルスＰＨの入力が完了する。したがって、容量ＣＴＮ、ＣＴＳにそれぞれ保持された信号は、１列分ずつ順番に差動回路ブロック４３１に送られる。そして、差動回路ブロック４３１によって基準信号と光信号との差分増幅信号が画像信号として固体撮像素子３０４の出力端子から出力される。
【００３９】
以上が、ｎ行目の画素行の信号読み出し動作であり、これを１水平期間（Ｈ）と定義する。ｎ行目の画素の信号読み出しが終了した後は、（ｎ＋１）行目の画素の信号読み出し動作に移る。なお、ｎ行目以外の画素行の読み出しについても、ｎ行目と同様の読み出し動作を繰り返して、各行の信号読み出しが終了すると、次の行の信号読み出しに移行する。前述の動作は、固体撮像素子３０４に含まれるすべての画素行の信号読み出しが終了するまで繰り返されて、１フレーム分の画像信号が読み出される。
【００４０】
ここで、本実施形態における撮像装置は、複数枚の画像を連続して撮影し、撮影された複数枚の画像を、位置合わせを行いながら合成（加算）する際に、各撮影毎に、画像に発生する横縞ノイズの位相を記憶しておく。さらに、動きベクトルの検出結果に基づき決定される位置合わせ情報に基づき、合成画像用の横縞補正データを生成して合成画像の横縞補正を行う。なお、以下の説明では、撮像装置の内部の周期的に変動するノイズ源が電源回路３１５のＤＣ／ＤＣコンバータのスイッチング動作である場合を例として説明するが、ノイズ源はＤＣ／ＤＣコンバータに限られるものではない。
【００４１】
次に、各撮影毎に画像に発生する横縞ノイズの位相を確定し、横縞ノイズの位相情報を取得する方法について説明する。ＤＣ／ＤＣコンバータの駆動クロックＣＬＫ＿ＤＣの駆動周波数をｆ（ＭＨｚ）とし、ＤＣ／ＤＣコンバータの駆動の影響により、固体撮像素子３０４の信号読み出し時に周波数ｆ（ＭＨｚ）のノイズが混入した場合を考える。式（１）で表現される、周波数ｆ、初期位相θの正弦波のノイズｙ（ｔ）が、固体撮像素子３０４の信号読み出し時に混入した場合の影響について説明する。なお、ｔは時刻を表す。
ｙ（ｔ）＝ｓｉｎ（２πｆｔ＋θ）…（１）
【００４２】
図３において、１水平期間をＨとする。また、転送信号入力パルスＰＴＮがローレベルとなって基準信号が容量ＣＴＮに保持される時刻Ｔ７＿ｎと転送信号入力パルスＰＴＳがローレベルとなって光信号（撮像信号）が容量ＣＴＳに保持される時刻Ｔ１１＿ｎとの時間差をΔＴとする。信号の読み出し動作時に混入した周波数ｆのノイズ信号のｎ行目の画素信号の差分検出時での影響をＬ（ｎ）とすると、Ｌ（ｎ）は式（２）で表現される。
Ｌ（ｎ）＝ｓｉｎ（２πｆ（Ｈｎ＋ΔＴ）＋θ）−ｓｉｎ（２πｆＨｎ＋θ）…（２）
【００４３】
また、式（２）は、三角関数の公式を用いて式（３）に変形される。
Ｌ（ｎ）＝２×ｃｏｓ（πｆ（２Ｈｎ＋ΔＴ）＋θ）×ｓｉｎ（πｆΔＴ）…（３）
式（３）よりノイズ周波数ｆ及び初期位相θのノイズ信号ｙ（ｔ）が信号読み出し動作中に混入した場合、行毎に出力信号が変動し、横縞状のノイズが発生することが分かる。また、撮影画像の画面上の横縞状のノイズの位相は、ノイズ源の初期位相θにより決定されることが分かる。すなわち、ノイズ信号の初期位相を確定できれば、撮影時の横縞ノイズの位相を確定することができる。
【００４４】
次に、ノイズ信号の位相を取得する構成の一例を、図４を用いて説明する。図４において、タイミング制御部３２２は、入力される基準クロックＣＬＫ＿ＩＮを基に、電源回路３１５のＤＣ／ＤＣコンバータの駆動クロックＣＬＫ＿ＤＣを生成して電源回路３１５へ供給する。また、タイミング制御部３２２は、入力される基準クロックＣＬＫ＿ＩＮを基に、タイミング発生部３１３で使用する撮像クロックＣＬＫ＿ＣＭを生成して供給する。
【００４５】
タイミング発生部３１３は、固体撮像素子３０４を駆動するための各種の制御信号を撮像クロックＣＬＫ＿ＣＭに基づき生成する。ここで、図３に示した固体撮像素子３０４からの信号読み出しを制御する各種の制御信号（制御パルス）もタイミング発生部３１３から出力される。信号読み出し動作で用いられる各種の制御信号は、固体撮像素子３０４からの信号読み出しを開始するタイミングを制御するタイミング信号ＶＤ＿ｒｅａｄが入力されると、タイミング発生部３１３より出力される。タイミング信号ＶＤ＿ｒｅａｄは、全体制御・演算部３１２から出力される。
【００４６】
タイミング制御部５０１は、ＰＬＬ（Phase Locked Loop）５０２及び分周器５０３、５０４を有する。ＰＬＬ５０２は、入力される基準クロックＣＬＫ＿ＩＮの整数倍の周波数のクロックを生成する。分周器５０３は、ＰＬＬ５０２で生成されたクロックを分周して所望の周波数のクロック信号を生成し、駆動クロックＣＬＫ＿ＤＣとして電源回路３１５のＤＣ／ＤＣコンバータに供給する。分周器５０４は、ＰＬＬ５０２で生成されたクロックを分周して所望の周波数のクロック信号を生成し、撮像クロックＣＬＫ＿ＣＭとしてタイミング発生部３１３に供給する。
【００４７】
ここで、本実施形態におけるタイミング制御部５０１は、駆動クロックＣＬＫ＿ＤＣの位相を外部信号により確定することが可能となっている。具体的には、外部からのタイミング信号ＶＤ＿ｒｅａｄにより分周器５０３を構成するカウンタ回路のカウント値を初期化することにより、駆動クロックＣＬＫ＿ＤＣの初期位相を確定することができる。これにより、撮影時に、信号読み出し開始時のノイズ源の位相を確定することができ、画像の横縞ノイズの位相も確定することが可能となる。
【００４８】
また、タイミング制御部５０１は、反転・非反転選択部５０５を有し、外部からの制御信号ＯＤＤｏｒＥＶＥＮによって、複数枚の画像を撮影する際に、各撮影毎に駆動クロックＣＬＫ＿ＤＣの位相を反転させるようにしても良い。例えば、制御信号ＯＤＤｏｒＥＶＥＮは、奇数枚目の画像であるか偶数枚目の画像であるかを示す信号であり、全体制御・演算部３１２から出力される。
【００４９】
図５を用いて、図４に示したタイミング制御部３２２を用いて、撮影時の駆動タイミングを制御する例について説明する。図５は、本実施形態における固体撮像素子３０４からの信号読み出し開始時（０行目）の各種タイミングを示すタイミングチャートである。
本実施形態における固体撮像素子３０４の信号読み出し動作を説明するための駆動タイミングを示すタイミングチャートである。
【００５０】
時刻Ｔｓｔａｒｔにおいて、撮影が開始される。タイミング発生部３１３は、固体撮像素子３０４からの信号読み出しを開始するタイミングを制御するタイミング信号ＶＤ＿ｒｅａｄが全体制御・演算部３１２から入力されると、各種駆動信号を出力する。図５に示す例では、タイミング信号ＶＤ＿ｒｅａｄを受けると、時刻Ｔ０＿０にて、タイミング発生部３１３より固体撮像素子３０４の０行目の画素の信号を読み出すための各種駆動信号が出力される。
【００５１】
また、図４で示したタイミング制御部３２２を用いて、タイミング信号ＶＤ＿ｒｅａｄが入力されることにより、駆動クロックＣＬＫ＿ＤＣの位相が初期位相にリセットされる。したがって、０行目の画素の信号読み出し制御の開始タイミングである時刻Ｔ０＿０において、駆動クロックＣＬＫ＿ＤＣの位相は常に所定の位相で確定する。ここで、図５に示した例では、時刻Ｔ０＿０において、駆動クロックＣＬＫ＿ＤＣの位相が０［ｒａｄ］となるように位相のリセットタイミングを制御している。なお、時刻Ｔ０＿０〜時刻Ｔ１４＿０における動作は、選択する行が０行目であるだけで、図３に示した時刻Ｔ０＿ｎ〜時刻Ｔ１４＿ｎにおける動作と同様である。
【００５２】
このように固体撮像素子３０４の駆動タイミングと駆動クロックＣＬＫ＿ＤＣの位相が所定の関係となるように制御することで、撮影時にノイズ源の位相θを確定することが可能となる。したがって、撮影された画像に発生する横縞ノイズの位相情報を取得することが可能となる。具体的には、信号読み出し開始時の駆動クロックＣＬＫ＿ＤＣの位相が０［ｒａｄ］となるように制御しているので、画像の横縞ノイズの位相情報も各撮影毎に常に初期位相で確定する。
【００５３】
ここで、ノイズ源の位相に関しては、例えば１ショット毎に位相を反転させるような制御としても良いし、１ショット毎に所定の角度ずつずらしていくような制御としても良い。その場合は、各ショットでのノイズ源の位相θから横縞ノイズの位相を算出すれば良い。
【００５４】
次に、本実施形態における撮像装置での合成撮影動作について説明する。合成撮影動作では、複数枚の画像を連続して撮影し、撮影された複数枚の画像を、位置合わせを実施しながら合成（画像データを加算）して合成画像を生成する。図６は、本実施形態における撮像装置での合成撮影動作の例を示すフローチャートである。
【００５５】
合成撮影動作を開始し、ステップＳ６０１にて、第１のスイッチ（ＳＷ１）３２０がオンされると、全体制御・演算部３１２は、撮影動作（撮影準備状態）を開始する。撮影動作（撮影準備状態）では、まず、ステップＳ６０２にて、不図示の測光センサを用いて測光が行われる。合成撮影動作時は、複数枚の画像を撮影し、信号処理部３１２で位置合わせを行って像の位置ズレを補正しながら複数枚の画像の加算合成が行われる。このときのシャッター速度は、例えば手振れが発生しにくい速度に設定される。
【００５６】
このようなシャッター速度は、次のようにして求めることができる。従来の３５ｍｍフィルムを使用するカメラでは撮影レンズの焦点距離をｆｍｍとすると、１／ｆ（ｓｅｃ）のシャッター速度であれば手振れが影響しにくいと言われている。固体撮像素子３０４における３５ｍｍフィルム換算の焦点距離ｆ’を求めて、この逆数（１／ｆ’（ｓｅｃ））をシャッター速度とすれば手振れしにくいシャッター速度とすることができる。
【００５７】
次に、ステップＳ６０３にて、全体制御・演算部３１２は、ステップＳ６０２において求めた測光値及びシャッター速度（１／ｆ’）から画像合成後に適正露出とするための撮影枚数Ｎを決定する。例えば、１枚あたりの露光量が適正露光量の１／２であれば、撮影枚数は２枚として２枚の画像を合成することで適正光量となる画像が求められる。なお、本実施形態では測光値に基づいて自動で合成枚数を決定しているが、ユーザーが任意に合成枚数を決定できるようにしても良い。
【００５８】
次に、ステップＳ６０４にて、測距動作が行われる。次に、ステップＳ６０５にて、第１のスイッチ（ＳＷ１）３２０がオンされている場合にはステップＳ６０６に進み、第１のスイッチ（ＳＷ１）３２０がオフしている場合にはステップＳ６０１に戻る。ステップ６０６にて、全体制御・演算部３１２は、第２のスイッチ（ＳＷ２）３２１がオンされているか否かの判定を行う。判定の結果、第２のスイッチ（ＳＷ２）３２１がオフしている場合にはステップＳ６０５に戻り、第２のスイッチ（ＳＷ２）３２１がオンしている場合にはステップＳ６０７に進み、露光動作に移行する。
【００５９】
ステップＳ６０７にて、全体制御・演算部３１２は、撮影枚数カウンタのカウント値ｎを０にセットする。次に、ステップＳ６０８にて、全体制御・演算部３１２は、撮影枚数カウンタのカウント値ｎを１加算し、ステップＳ６０９に進む。ステップＳ６０９にて、全体制御・演算部３１２の制御により不図示のクイックリターンミラーを作動させ、いわゆるミラーアップを行い、撮影光路外にクイックリターンミラーを退避させる。
【００６０】
次に、ステップＳ６１０にて、固体撮像素子３０４での電荷蓄積を開始し、次のステップＳ６１１にて、シャッター３０３を走行させて露光を行う。そして、ステップＳ６１２にて、固体撮像素子３０４の電荷蓄積を終了し、次のステップＳ６１３にて、固体撮像素子３０４から画像信号を読み出してＡＦＥ３０５及び信号処理部３０６で処理した画像データをメモリ部３０７に一時記憶する。次のステップＳ６１４にて、固体撮像素子３０４からすべての画像信号の読み出しが終了すると、続くステップＳ６１５にて、不図示のクイックリターンミラーをミラーダウンする。
【００６１】
次に、ステップＳ６１６にて、全体制御・演算部３１２は、撮影時の横縞ノイズの位相情報Ｙｐ＿ｎをメモリ部３０７に記憶させる。なお、本実施形態では、横縞ノイズの位相情報Ｙｐ＿ｎは常に初期位相で確定するので、横縞ノイズの位相情報Ｙｐ＿ｎ＝０が格納される。例えば、撮影毎にノイズ源の位相を異なる位相で制御する場合には、それぞれの位相で確定する横縞ノイズの位相情報Ｙｐ＿ｎをそれぞれ記憶しておけば良い。
【００６２】
次に、ステップＳ６１７にて、全体制御・演算部３１２は、合成用の２枚目以降の撮影であるか否かの判定を行う。１枚目の画像の撮影である場合にはステップＳ６２０へ進み、２枚目以降の画像の撮影である場合にはステップＳ６１８に進む。ステップＳ６１８にて、全体制御・演算部３１２の制御により信号処理部３０６で、合成用に撮影された１枚目の画像とｎ枚目に撮影された画像間での動きベクトルの検知が行われる。
【００６３】
動きベクトルの検知方法としては様々な手法が公知であり、そのうちどのような手法を用いることも可能である。一例としては、画像を小ブロックに分割し、各小ブロック毎に、動きベクトルを求めるためのもう１枚の画像との二次元相関値を求める。相関値としては、小ブロックを画素単位でずらしながら、対応する各画素間の差の絶対値の和を次々に求めていき、その和が最小となるずらし量をその小ブロックの動きベクトルとする。すべての小ブロックにおいて、動きベクトルを求め、最も頻度が多い動きベクトルを、この画像間の動きベクトルとして選択する。
【００６４】
次に、ステップＳ６１９に進み、ステップＳ６１８において求められた動きベクトルをもとに、全体制御・演算部３１２の制御により信号処理部３０６で、画像の位置合わせと合成が行われる。ここで、図７（ａ）及び図７（ｂ）を用いて、位置合わせ合成動作について説明する。
【００６５】
位置合わせを行う合成撮影時には、通常撮影時に使用される画素領域Ｐ×Ｑに対して小さい画素領域Ｈ×Ｖを動きベクトルを元に位置合わせして切り出しが行われる。ここで、図７（ａ）は合成用の画像の最初の１枚目の切り出し位置を示した図であり、中央付近のＨ×Ｖの領域が切り出される。このとき、始点座標（Ｓ，Ｔ）を原点（０，０）として座標の変換が行われる。
【００６６】
図７（ｂ）はｎ枚目の画像の切り出し位置を示した図である。ステップＳ６１８において求めた動きベクトル量を（ｈ＿ｎ，ｖ＿ｎ）とすると、通常撮影時の画像の座標に対して、（Ｓ＋ｈ＿ｎ、Ｔ＋ｖ＿ｎ）を原点として座標の変換が行われ、Ｈ×Ｖの領域の画像の切り出しが行われる。この切り出したＨ×Ｖの領域の画像を、既に得られている画像と合成することで位置合わせ合成が完了する。
【００６７】
ここで、１枚目の画像に関しては、次に撮影される（ｎ＋１）枚目の画像との間でも動きベクトルの検出に使用するため、合成後も基準画像としてメモリ部３０７に格納しておく。合わせて、合成して生成した画像データもメモリ部３０７に一時的に格納する。
【００６８】
次に、ステップＳ６２０にて、全体制御・演算部３１２は、ｎ枚目の画像の垂直方向の位置合わせ情報Ｒ＿ｎを記憶する。垂直方向の位置合わせ情報Ｒ＿ｎは、垂直方向の動きベクトル量ｖ＿ｎと垂直方向の始点Ｔを加算した値Ｔ＋ｖ＿ｎで求まる。次に、ステップＳ６２１にて、全体制御・演算部３１２は、Ｎ枚の合成用画像の撮影が終了したか否かの判定を行う。Ｎ枚の合成用画像の撮影が終了していない場合には、ステップＳ６０８に戻り、撮影枚数カウンタのカウント値ｎを１加算し、前述したステップＳ６０８〜Ｓ６２０による露光動作を繰り返す。Ｎ枚の合成用画像の撮影が終了した場合には、ステップＳ６２２に進み、合成画像用の横縞補正データの生成が行われる。
【００６９】
ステップＳ６２２での合成画像用の横縞補正データの生成について、図８及び図９を用いて説明する。図８は、合成画像用の横縞補正データの生成処理の例を示すフローチャートである。合成画像用の横縞補正データの生成処理が開始されると、ステップＳ８０１にて、基準写像データ生成用のダーク画像の撮影が自動で行われる。
【００７０】
ここで、ダーク画像は、ミラーダウン状態で、合成用画像の撮影条件と同一のＩＳＯ感度（撮影感度）設定にて撮影が行われる。ダーク画像の撮影時も合成用画像の撮影時と同様に撮影時にノイズ源の位相を制御することで、横縞ノイズの位相を確定する。具体的には、信号読み出し開始時の駆動クロックＣＬＫ＿ＤＣの位相が０［ｒａｄ］となるように制御する。
【００７１】
次に、ステップＳ８０２にて、横縞補正用の基準データとなる垂直方向の写像データＶ（ｍ）を算出する。図９（ａ）は、垂直方向の写像データの算出のイメージ図である。例えば、ステップＳ８０２において撮影したＰ×Ｑの領域のダーク画像に対して、各行毎に所定範囲のＭ画素分の平均値を算出し、その値を垂直方向の写像データＶ（ｍ）とする。
【００７２】
ステップＳ８０３にて、カウンタのカウント値ｎを０にセットする。次に、ステップＳ８０４にて、カウンタのカウント値ｎを１加算し、ステップＳ８０５に進む。ステップＳ８０５にて、ｎ枚目の合成用画像の切り出し画像に対応した写像データＶ＿ｎ（ｍ）を生成してメモリ部３０７に格納する。
【００７３】
図９（ｂ）を用いて、ｎ枚目の合成用画像の切り出し画像に対応した写像データＶ＿ｎ（ｍ）の生成方法について説明する。図６に示したフローチャートのステップＳ６１６において記憶された横縞ノイズの位相情報Ｙｐ＿ｎとステップＳ６２０において記憶された垂直方向の位置合わせ情報Ｒ＿ｎとを用いて、写像データＶ＿ｎ（ｍ）の生成が行われる。
【００７４】
具体的には、基準の写像データＶ（ｍ）に対して、（Ｙｐ＿ｎ＋Ｒ＿ｎ）分シフトした位置を原点に変換したＶ行分の写像データがＶ＿ｎ（ｍ）である。ここで、本実施形態ではＹｐ＿ｎ＝０となるように撮影時に制御されているため、Ｖ＿ｎ（ｍ）＝Ｖ（ｍ＋Ｒ＿ｎ）として、写像データＶ＿ｎ（ｍ）が求まる。
【００７５】
次に、ステップＳ９０６にて、カウンタのカウント値ｎが合成用画像の撮影枚数Ｎ以上であるか否かの判定が行われる。カウント値ｎがＮ未満である場合には、ステップＳ８０４に戻り、カウント値ｎがＮとなるまでステップＳ８０４、Ｓ８０５の処理を繰り返す。
【００７６】
カウント値ｎがＮ以上である場合には、ステップＳ８０７に進み、ステップＳ８０５において求めた写像データＶ＿ｎ（ｍ）を用いて合成画像用の横縞補正データＪ（ｍ）を生成する。合成画像用の横縞補正データＪ（ｍ）は、ステップＳ８０５において求めた各合成用画像の切り出し画像に対応した写像データＶ＿ｎ（ｍ）を加算することで求まる。すなわち、Ｊ（ｍ）＝Ｖ＿１（ｍ）＋・・・＋Ｖ＿ｎ（ｍ）＋・・・＋Ｖ＿Ｎ（ｍ）で求まる。ここで、画像データとしてダークの基準レベルがオフセット値を持っている場合には、画像合成時もオフセット値を減算した上で合成が実行されることになるので、合成画像用の横縞補正データもオフセット値を減算した上で生成すれば良い。
【００７７】
合成画像用の横縞補正データの生成が完了したら、図６に示したフローチャートのステップＳ６２３に進み、合成画像に対する横縞補正処理を実行する。具体的には、ステップＳ６１９で生成された合成画像のｍ行目の各画素データに対して、ステップＳ８０７で求めた合成画像用の横縞補正データＪ（ｍ）を一律で減算する、いわゆる一次元の垂直方向のシェーディング補正を行うことで、横縞ノイズを補正する。横縞補正処理を実施した後、画像データをメモリ部３０７に一時記憶する。
【００７８】
次に、ステップＳ６２４にて、補正後の合成画像データに対して、合成処理以外の画像処理や圧縮処理を信号処理部３０６にて実施し、記録媒体３０９に画像ファイルとして出力する。以上のように、図６及び図８に示したフローチャートで説明した合成撮影動作を行うことにより、位置合わせを行いながら、複数枚の画像の合成を行う場合においても、周期的に変動するノイズに起因する画像の横縞ノイズを軽減することが可能となる。
【００７９】
なお、前述した実施形態では、ノイズ源としてＤＣ／ＤＣコンバータを例に説明したが、駆動されるのに伴って周期的に変動するノイズを発生する他の制御回路に対しても同様に適用可能である。また、本実施形態では、合成用画像の撮影から合成処理、横縞補正処理までを同一の撮像装置内で行う例を示したが、合成用画像の撮影及び撮影時の横縞ノイズの位相情報の取得のみ撮像装置内で行い、合成処理、横縞補正処理は後処理で行う構成としても良い。この場合には、合成用のそれぞれの画像と、補正用の１枚のダーク画像とに横縞ノイズの位相情報を付加しておくことで、後処理で本実施形態と同様の横縞補正が実施可能となる。
【００８０】
また、本実施形態においては、合成用画像は同一のＩＳＯ感度（撮影感度）にて撮影する前提で説明したが、合成用画像は必ずしも同一のＩＳＯ感度（撮影感度）で撮影する必要はない。異なるＩＳＯ感度で撮影を行った合成用画像を含む場合には、横縞補正用データの生成を撮影に用いたＩＳＯ感度毎に実施すれば良い。すなわち、補正データ生成用のダーク画像は、合成用画像を撮影したＩＳＯ感度毎に取得し、各合成用画像の切り出し画像に対応した写像データを生成する際に、該当するＩＳＯ感度で撮影されたダーク画像から生成した基準写像データを用いて生成すればよい。
【００８１】
また、前述した実施形態では、横縞ノイズの補正を必ず行う例を示した。撮影時の横縞ノイズの位相情報と位置合わせ情報に基づいて、合成するために切り出した画像での横縞ノイズの位相を算出し、算出した横縞ノイズの位相に応じて横縞ノイズの補正処理の実行を制御するようにしても良い。例えば、合成するために切り出した画像間での横縞ノイズの位相差が所定の範囲である場合には、合成後の横縞ノイズが目立たないので、横縞ノイズの補正を行わない構成としても良い。例えば、合成用画像が２枚である場合等は、撮影時の横縞ノイズの位相差がπ［ｒａｄ］程度である場合には合成することで横縞ノイズが軽減される。このような条件の場合には、前述した実施形態で説明した横縞ノイズの補正は行わない構成としても良い。
【００８２】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００８３】
３０４：固体撮像素子  ３０６：信号処理部  ３０７：メモリ部  ３１２：全体制御・演算部  ３１３：タイミング発生部  ３１５：電源回路  ３２２：タイミング制御部  ＣＬＫ＿ＩＮ：基準クロック  ＣＬＫ＿ＣＭ：撮像クロック  ＣＬＫ＿ＤＣ：駆動クロック
【図１】
2016096471.tif 000003
【図２】
2016096471.tif 000004
【図３】
2016096471.tif 000005
【図４】
2016096471.tif 000006
【図５】
2016096471.tif 000007
【図６】
2016096471.tif 000008
【図７】
2016096471.tif 000009
【図８】
2016096471.tif 000010
【図９】
2016096471.tif 000011