(57)【要約】【課題】感度の低下を抑制しつつ、動画の高速化を図ることが可能な固体撮像装置を提供する。【解決手段】ビニング制御部７Ａは、画素アレイ部１の異なるライン間における画素ＰＣのいくつかがひとまとめになるように制御し、フレーム読み出し制御部７Ｂは、ビニング制御部７Ａにてひとまとめにされたラインの間引位置が２以上のフレーム間で異なるようにラインを間引いて読み出し、再構成処理部８は、間引位置が異なる２以上のフレームを合成することにより１つのフレームを構成する。【選択図】図１
2015032917.tif 000002
【特許請求の範囲】
【請求項１】
光電変換した電荷を蓄積する画素がマトリックス状に配置された画素アレイ部と、
前記画素アレイ部の異なるライン間における前記画素の電荷がひとまとめに読み出されるように制御するビニング制御部と、
前記ビニング制御部にてひとまとめにして読み出されたラインの間引位置が２以上のフレーム間で異なるように前記ラインを間引いて読み出すフレーム読み出し制御部と、
前記間引位置が異なる２以上のフレームを合成することにより１つのフレームを構成する再構成処理部とを備え、
前記フレーム読み出し制御部は、Ｍ（Ｍは２以上の整数）個のフレーム間でラインの間引位置が異なるように読み出し、１個のフレームの露光期間がＥＸであるとすると、ＥＸ／Ｍの時間で１個のフレームを読み出し、ＥＸ＊（Ｍ−１）／Ｍの時間は前のフレームと露光期間が重なっており、
前記ビニング制御部は、前記画素アレイ部の異なるライン間で電荷加算ビニングを行い、
前記再構成処理部は、フレーム間誤差に基づいて、解像度が高くなる再構成方法とアーティファクトが低くなる再構成方法とを使い分けることを特徴とする固体撮像装置。
【請求項２】
光電変換した電荷を蓄積する画素がマトリックス状に配置された画素アレイ部と、
前記画素アレイ部の異なるライン間における前記画素のいくつかがひとまとめになるように制御するビニング制御部と、
前記ビニング制御部にてひとまとめにされたラインの間引位置が２以上のフレーム間で異なるように前記ラインを間引いて読み出すフレーム読み出し制御部と、
前記間引位置が異なる２以上のフレームを合成することにより１つのフレームを構成する再構成処理部とを備えることを特徴とする固体撮像装置。
【請求項３】
前記フレーム読み出し制御部は、Ｍ（Ｍは２以上の整数）個のフレーム間でラインの間引位置が異なるように読み出し、１個のフレームの露光期間がＥＸであるとすると、ＥＸ／Ｍの時間で１個のフレームを読み出し、ＥＸ＊（Ｍ−１）／Ｍの時間は前のフレームと露光期間が重なっていることを特徴とする請求項２に記載の固体撮像装置。
【請求項４】
前記ビニング制御部は、前記画素アレイ部の異なるライン間で電荷加算ビニングを行うことを特徴とする請求項２または３に記載の固体撮像装置。
【請求項５】
前記再構成処理部は、フレーム間誤差に基づいて、解像度が高くなる再構成方法とアーティファクトが低くなる再構成方法とを使い分けることを特徴とする請求項２から４のいずれか１項に記載の固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、固体撮像装置に関する。
【背景技術】
【０００２】
固体撮像装置では、スローモーション動画などの超高速動画の要望があり、１０００ｆｐｓのフレームレートで動画を撮像できるデジタルカメラもある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】ＵＳ８１３０２９９
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の一つの実施形態は、感度の低下を抑制しつつ、動画の高速化を図ることが可能な固体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一つの実施形態によれば、画素アレイ部と、ビニング制御部と、フレーム読み出し制御部と、再構成処理部とが設けられている。画素アレイ部は、光電変換した電荷を蓄積する画素がマトリックス状に配置されている。ビニング制御部は、前記画素アレイ部の異なるライン間における前記画素のいくつかがひとまとめになるように制御する。フレーム読み出し制御部は、前記ビニング制御部にてひとまとめにされたラインの間引位置が２以上のフレーム間で異なるように前記ラインを間引いて読み出す。再構成処理部は、前記間引位置が異なる２以上のフレームを合成することにより１つのフレームを構成する。
【図面の簡単な説明】
【０００６】
【図１】図１は、第１実施形態に係る固体撮像装置の概略構成を示すブロック図である。
【図２】図２は、図１の固体撮像装置の画素の構成例を示す回路図である。
【図３】図３は、図２の画素の各部の電圧波形を示すタイミングチャートである。
【図４】図４（ａ）は、図１の固体撮像装置におけるビニング処理および間引き読み出しの一例を示す図、図４（ｂ）は、図１の固体撮像装置におけるビニング処理および間引き読み出しされたフレームの一例を示す図、図４（ｃ）は、図４（ｂ）のフレームの再構成方法を示す図である。
【図５】図５（ａ）および図５（ｂ）は、図１の固体撮像装置のフレーム再構成方法の一例を示す図である。
【図６】図６（ａ）および図６（ｂ）は、図１の固体撮像装置のフレーム再構成方法のその他の例を示す図である。
【図７】図７（ａ）および図７（ｂ）は、図１の固体撮像装置のフレーム再構成方法のさらにその他の例を示す図である。
【図８】図８は、図１の固体撮像装置のフレーム再構成方法のさらにその他の例を示す図である。
【図９】図９は、図１の固体撮像装置のフレーム再構成に用いられるフレーム間誤差の算出方法の一例を示す図である。
【図１０】図１０は、第２実施形態に係る固体撮像装置のフレーム読み出し方法を示す図である。
【図１１】図１１は、第３実施形態に係る固体撮像装置のビニング処理および間引き読み出し方法を示す図である。
【図１２】図１２は、第４実施形態に係る固体撮像装置のビニング処理および間引き読み出し方法を示す図である。
【図１３】図１３は、第５実施形態に係る固体撮像装置のビニング処理および間引き読み出し方法を示す図である。
【図１４】図１４は、第６実施形態に係る固体撮像装置のビニング処理および間引き読み出し方法を示す図である。
【図１５】図１５は、第７の実施形態に係る固体撮像装置が適用されたデジタルカメラの概略構成を示すブロック図である。
【発明を実施するための形態】
【０００７】
以下に添付図面を参照して、実施形態に係る固体撮像装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【０００８】
（第１実施形態）
図１は、第１実施形態に係る固体撮像装置の概略構成を示すブロック図である。
図１において、固体撮像装置には、画素アレイ部１が設けられている。画素アレイ部１には、光電変換した電荷を蓄積する画素ＰＣがロウ方向ＲＤおよびカラム方向ＣＤにマトリックス状に配置されている。ここで、画素アレイ部１には、Ｎ（Ｎは２以上の整数）本のラインＬ１〜ＬＮが設けられている。また、この画素アレイ部１において、ロウ方向ＲＤには画素ＰＣの読み出し制御を行う水平制御線Ｈｌｉｎが設けられ、カラム方向ＣＤには画素ＰＣから読み出された信号を伝送する垂直信号線Ｖｌｉｎが設けられている。
【０００９】
また、固体撮像装置には、読み出し対象となる画素ＰＣを垂直方向に走査する垂直走査回路２、画素ＰＣとの間でソースフォロア動作を行うことにより、画素ＰＣから垂直信号線Ｖｌｉｎにカラムごとに信号を読み出す負荷回路３、各画素ＰＣの信号成分をＣＤＳにてカラムごとに検出するカラムＡＤＣ回路４、カラムＡＤＣ回路４に基準電圧ＶＲＥＦを出力する基準電圧発生回路６および各画素ＰＣの読み出しや蓄積のタイミングを制御するタイミング制御回路７が設けられている。基準電圧ＶＲＥＦはランプ波を用いることができる。
【００１０】
なお、画素アレイ部１では、撮像画像をカラー化するために、４個の画素ＰＣを１組としたベイヤ配列ＨＰをなすことができる。このベイヤ配列ＨＰでは、一方の対角方向に２個の緑色用画素Ｇｒ、Ｇｂが配置され、他方の対角方向に１個の赤色用画素Ｒと１個の青色用画素Ｂが配置される。
【００１１】
タイミング制御回路７には、ビニング制御部７Ａおよびフレーム読み出し制御部７Ｂが設けられている。ビニング制御部７Ａは、画素アレイ部１の異なるライン間における画素ＰＣのいくつかがひとまとめになるように制御する。フレーム読み出し制御部７Ｂは、ビニング制御部７Ａにてひとまとめにされたラインの間引位置が２以上のフレーム間で異なるようにラインを間引いて読み出す。
また、固体撮像装置には、間引位置が異なる２以上のフレームを合成することにより１つのフレームを構成する再構成処理部８が設けられている。再構成処理部８には、カラムＡＤＣ回路４の出力信号Ｓ１をフレームごとに記憶するフレームメモリ８Ａが設けられている。
【００１２】
そして、垂直走査回路２にて画素ＰＣが垂直方向に走査されることで、ロウ方向ＲＤに画素ＰＣが選択される。そして、負荷回路３において、その画素ＰＣとの間でソースフォロア動作が行われることにより、画素ＰＣから読み出された信号が垂直信号線Ｖｌｉｎを介して伝送され、カラムＡＤＣ回路４に送られる。また、基準電圧発生回路６において、基準電圧ＶＲＥＦとしてランプ波が設定され、カラムＡＤＣ回路４に送られる。そして、カラムＡＤＣ回路４において、画素ＰＣから読み出された信号レベルとリセットレベルがランプ波のレベルに一致するまでクロックのカウント動作が行われ、その時の信号レベルとリセットレベルとの差分がとられることで各画素ＰＣの信号成分がＣＤＳにて検出され、出力信号Ｓ１として出力される。
【００１３】
ここで、ビニング制御部７Ａにおいて、画素アレイ部１の異なるライン間における画素ＰＣの電荷がひとまとめに読み出されるように制御される。すなわち、ビニング制御部７Ａは、画素アレイ部１の異なるライン間で電荷加算ビニングを行うことができる。例えば、Ｋ（Ｋは２以上の整数）本のラインがひとまとめになるように読み出すものとすると、感度をＫ倍にすることが可能となるとともに、画角をＫ倍にすることができる。
【００１４】
また、フレーム読み出し制御部７Ｂにおいて、ビニング制御部７Ａにてひとまとめにされたラインの間引位置が２以上のフレーム間で異なるようにラインが間引かれて読み出される。例えば、２個のフレームＡ、Ｂ間で間引位置を周回させるものとすると、フレームＡではビニング後の奇数ラインを間引き、フレームＢではビニング後の偶数ラインを間引くことができる。ここで、間引位置を周回させるフレームの個数がＭ（Ｍは２以上の整数）個であるとすると、フレームレートをＭ倍にすることができる。また、１個のフレームの露光期間がＥＸであるとすると、ＥＸ／Ｍの時間で１個のフレームを読み出し、ＥＸ＊（Ｍ−１）／Ｍの時間は他のフレームと露光期間が重なるようにすることができる。これにより、フレームと露光期間がフレーム間で重ならない場合に比べて感度をＭ倍にすることが可能となる。
【００１５】
また、再構成処理部８において、間引位置が異なる２以上のフレームが合成されることにより１つのフレームが構成され、出力信号Ｓ２として出力される。例えば、２個のフレームＡ、Ｂを合成することで１つのフレームを構成するものとすると、フレームレートを低下させることなく、画角を維持することができる。
【００１６】
すなわち、Ｋ本のラインで電荷加算ビニングを行い、間引位置を周回させるフレームをＭ個とし、これらのフレーム間で露光期間が重なるように設定し、これらのフレームを再構成することにより、同一フレームレートであれば、感度をＫ×Ｍ倍、画角をＫ倍にすることができる。もしくは、感度をＫ倍、画角をＫ倍、フレームレートをＭ倍にすることができる。
【００１７】
図２は、図１の固体撮像装置の画素の構成例を示す回路図である。
図２において、画素ＰＣには、フォトダイオードＰＤ、行選択トランジスタＴａ、増幅トランジスタＴｂ、リセットトランジスタＴｃおよび読み出しトランジスタＴｄがそれぞれ設けられている。また、増幅トランジスタＴｂとリセットトランジスタＴｃと読み出しトランジスタＴｄとの接続点には検出ノードとしてフローティングディフュージョンＦＤが形成されている。
【００１８】
そして、読み出しトランジスタＴｄのソースは、フォトダイオードＰＤに接続され、読み出しトランジスタＴｄのゲートには、読み出し信号ＲＥＡＤが入力される。また、リセットトランジスタＴｃのソースは、読み出しトランジスタＴｄのドレインに接続され、リセットトランジスタＴｃのゲートには、リセット信号ＲＥＳＥＴが入力され、リセットトランジスタＴｃのドレインは、電源電位ＶＤＤに接続されている。また、行選択トランジスタＴａのゲートには、行選択信号ＡＤＲＥＳが入力され、行選択トランジスタＴａのドレインは、電源電位ＶＤＤに接続されている。また、増幅トランジスタＴｂのソースは、垂直信号線Ｖｌｉｎに接続され、増幅トランジスタＴｂのゲートは、読み出しトランジスタＴｄのドレインに接続され、増幅トランジスタＴｂのドレインは、行選択トランジスタＴａのソースに接続されている。
【００１９】
なお、図１の水平制御線Ｈｌｉｎは、読み出し信号ＲＥＡＤ、リセット信号ＲＥＳＥＴおよび行選択信号ＡＤＲＥＳをロウごとに画素ＰＣに伝送することができる。
【００２０】
図３は、図２の画素の各部の電圧波形を示すタイミングチャートである。
図３において、行選択信号ＡＤＲＥＳがロウレベルの場合、行選択トランジスタＴａがオフ状態となり、垂直信号線Ｖｌｉｎに画素信号ＶＳＩＧは出力されない。この時、読み出し信号ＲＥＡＤとリセット信号ＲＥＳＥＴがハイレベルになると（ｔａ１）、読み出しトランジスタＴｄがオンし、非露光期間ＮＸにフォトダイオードＰＤに蓄積されていた電荷がフローティングディフュージョンＦＤに排出される。そして、リセットトランジスタＴｃを介して電源電位ＶＤＤに排出される。
【００２１】
非露光期間ＮＸにフォトダイオードＰＤに蓄積されていた電荷が電源電位ＶＤＤに排出された後、読み出し信号ＲＥＡＤがロウレベルになると、フォトダイオードＰＤでは、有効な信号電荷の蓄積が開始され、非露光期間ＮＸから露光期間ＥＸに移行する。
【００２２】
次に、行選択信号ＡＤＲＥＳがハイレベルになると（ｔａ２）、画素ＰＣの行選択トランジスタＴａがオンし、増幅トランジスタＴｂのドレインに電源電位ＶＤＤが印加される。
【００２３】
そして、行選択トランジスタＴａがオンの状態でリセット信号ＲＥＳＥＴがハイレベルになると（ｔａ３）、リセットトランジスタＴｃがオンし、フローティングディフュージョンＦＤにリーク電流などで発生した余分な電荷がリセットされる。そして、フローティングディフュージョンＦＤのリセットレベルに応じた電圧が増幅トランジスタＴｂのゲートにかかり、増幅トランジスタＴｂのゲートに印加された電圧に垂直信号線Ｖｌｉｎの電圧が追従することで、リセットレベルの画素信号ＶＳＩＧが垂直信号線Ｖｌｉｎに出力される。
【００２４】
そして、リセットレベルの画素信号ＶＳＩＧはカラムＡＤＣ回路４に入力され、基準電圧ＶＲＥＦと比較される。そして、その比較結果に基づいてリセットレベルの画素信号ＶＳＩＧがデジタル値に変換され保持される。
【００２５】
次に、画素ＰＣの行選択トランジスタＴａがオンの状態で読み出し信号ＲＥＡＤがハイレベルになると（ｔａ４）、読み出しトランジスタＴｄがオンし、露光期間ＥＸにフォトダイオードＰＤに蓄積されていた電荷がフローティングディフュージョンＦＤに転送される。そして、フローティングディフュージョンＦＤの信号読み出しレベルに応じた電圧が増幅トランジスタＴｂのゲートにかかり、増幅トランジスタＴｂのゲートに印加された電圧に垂直信号線Ｖｌｉｎの電圧が追従することで、信号読み出しレベルの画素信号ＶＳＩＧが垂直信号線Ｖｌｉｎに出力される。
【００２６】
そして、信号読み出しレベルの画素信号ＶＳＩＧはカラムＡＤＣ回路４に入力され、基準電圧ＶＲＥＦと比較される。そして、その比較結果に基づいてリセットレベルの画素信号ＶＳＩＧと信号読み出しレベルの画素信号ＶＳＩＧとの差分がデジタル値に変換され、露光期間ＥＸに応じた出力信号Ｓ１として出力される。
【００２７】
図４（ａ）は、図１の固体撮像装置におけるビニング処理および間引き読み出しの一例を示す図、図４（ｂ）は、図１の固体撮像装置におけるビニング処理および間引き読み出しされたフレームの一例を示す図、図４（ｃ）は、図４（ｂ）のフレームの再構成方法を示す図である。なお、図４（ａ）から図４（ｃ）では、Ｋ＝４およびＭ＝２の場合を例にとった。さらに、図４（ａ）から図４（ｃ）の例では、ベイヤ配列ＨＰの各色の対応関係が維持されるようにビニングおよび間引きが行われる場合を示した。
図４（ａ）および図４（ｂ）において、フレームＦＡでは、ラインＬ１〜Ｌ８のビニング処理に基づいてラインＬＡ１、ＬＡ２が生成され、ラインＬ１７〜Ｌ２４のビニング処理に基づいてラインＬＡ３、ＬＡ４が生成される。そして、ラインＬＡ１〜ＬＡ４が順次読み出されることでフレームＦＡが読み出される。フレームＦＢでは、ラインＬ９〜Ｌ１６のビニング処理に基づいてラインＬＢ１、ＬＢ２が生成され、ラインＬ２５〜Ｌ３２のビニング処理に基づいてラインＬＢ３、ＬＢ４が生成される。そして、フレームＦＡが読み出された後、ラインＬＢ１〜ＬＢ４が順次読み出されることでフレームＦＢが読み出される。これらのフレームＦＡ、ＦＢはフレームメモリ８Ａに格納することができる。
【００２８】
なお、ラインＬＡ１はラインＬ１、Ｌ３、Ｌ５、Ｌ７の電荷加算ビニングにて生成することができる。ラインＬＡ２はラインＬ２、Ｌ４、Ｌ６、Ｌ８の電荷加算ビニングにて生成することができる。ラインＬＡ３はラインＬ１７、Ｌ１９、Ｌ２１、Ｌ２３の電荷加算ビニングにて生成することができる。ラインＬＡ４はラインＬ１８、Ｌ２０、Ｌ２２、Ｌ２４の電荷加算ビニングにて生成することができる。ラインＬＢ１はラインＬ９、Ｌ１１、Ｌ１３、Ｌ１５の電荷加算ビニングにて生成することができる。ラインＬＢ２はラインＬ１０、Ｌ１２、Ｌ１４、Ｌ１６の電荷加算ビニングにて生成することができる。ラインＬＢ３はラインＬ２５、Ｌ２７、Ｌ２９、Ｌ３１の電荷加算ビニングにて生成することができる。ラインＬＢ４はラインＬ２６、Ｌ２８、Ｌ３０、Ｌ３２の電荷加算ビニングにて生成することができる。
【００２９】
この時、ビニング前のフレームＦＡでは、時刻ｔ１から時刻ｔ３までを露光期間として設定し、時刻ｔ２から時刻ｔ３までを読み出し期間Ｔｆとして設定することができる。ビニング前のフレームＦＢでは、時刻ｔ２から時刻ｔ４までを露光期間として設定し、時刻ｔ３から時刻ｔ４までを読み出し期間Ｔｆとして設定することができる。時刻ｔ２は、時刻ｔ１と時刻ｔ３の中央に設定し、時刻ｔ３は、時刻ｔ２と時刻ｔ４の中央に設定することができる。
【００３０】
フレームＦＡ、ＦＢが読み出されると、図４（ｃ）に示すように、フレームＦＡ、ＦＢの間引き位置が互いに補間されるようにフレームＦＡ、ＦＢが合成されることで１個のフレームＦＳが生成される。すなわち、フレームＦＳでは、最初の２ラインＬＡ１、ＬＡ２はフレームＦＡから取得され、次の２ラインＬＢ１、ＬＢ２はフレームＦＢから取得され、次の２ラインＬＡ３、ＬＡ４はフレームＦＡから取得され、次の２ラインＬＢ３、ＬＢ４はフレームＦＢから取得される。
【００３１】
これにより、図４（ａ）から図４（ｃ）の例では、ベイヤ配列ＨＰの各色の対応関係を維持しつつ、感度を４倍、画角を４倍、フレームレートを２倍にすることができる。なお、図４（ａ）から図４（ｃ）の例では、４ライン分をビニングした上で時間方向に２フレームの周期で空間情報を周回させる方法を示したが、Ｋライン分をビニングした上で時間方向にＭフレームの周期で空間情報を周回させるようにしてもよい。
【００３２】
以下、フレーム再構成方法について説明する。なお、以下の説明では、Ｋ＝１およびＭ＝２の場合を例にとる。
【００３３】
図５（ａ）および図５（ｂ）は、図１の固体撮像装置のフレーム再構成方法の一例を示す図である。
図５（ａ）において、過去のフレームＦｉ−１は、ラインＬ１、Ｌ２、Ｌ５、Ｌ６、Ｌ９、Ｌ１０、Ｌ１３、Ｌ１４から構成され、現在のフレームＦｉは、ラインＬ３、Ｌ４、Ｌ７、Ｌ８、Ｌ１１、Ｌ１２、Ｌ１５、Ｌ１６から構成されているものとする。そして、図５（ｂ）に示すように、これらのフレームＦｉ−１、Ｆｉを合成することで１つのフレームＦＳを構成する。
【００３４】
この時、現在のフレームＦｉの間引かれた画素の値は、現在のフレームＦｉの上下の同色画素の値と、その間引かれた画素の位置に対応する過去のフレームＦｉ−１の画素の値に基づいて補間する。例えば、現在のフレームＦｉの画素Ｐ４の値を補間する場合、現在のフレームＦｉの上下の同色画素Ｐ２、Ｐ３の値と、過去のフレームＦｉ−１の画素Ｐ１の値の重み付き平均をとることができる。
【００３５】
現在のフレームＦｉの元の画素の値は、現在のフレームＦｉの元の画素の値と、その元の画素の位置に対応する過去のフレームＦｉ−１の画素の上下の同色画素の値に基づいて変換する。例えば、現在のフレームＦｉの画素Ｐ７の値を変換する場合、現在のフレームＦｉの画素Ｐ７の値と、過去のフレームＦｉ−１の画素Ｐ５、Ｐ６の値の重み付き平均をとることができる。
【００３６】
ここで、フレームＦＳを構成する時に、フレームＦｉ−１、Ｆｉ間で周囲の画素の値の平均をとることで、フレームＦＳの画像をぼかすことができる。このため、高速動画においてジャギーや偽色などのアーティファクトを低くすることができる。
【００３７】
図６（ａ）および図６（ｂ）は、図１の固体撮像装置のフレーム再構成方法のその他の例を示す図である。
図６（ａ）において、現在のフレームＦｉは、ラインＬ１、Ｌ２、Ｌ５、Ｌ６、Ｌ９、Ｌ１０、Ｌ１３、Ｌ１４から構成され、未来のフレームＦｉ＋１は、ラインＬ３、Ｌ４、Ｌ７、Ｌ８、Ｌ１１、Ｌ１２、Ｌ１５、Ｌ１６から構成されているものとする。そして、図６（ｂ）に示すように、これらのフレームＦｉ、Ｆｉ＋１を合成することで１つのフレームＦＳを構成する。
【００３８】
この時、未来のフレームＦｉ＋１の間引かれた画素の値は、その間引かれた画素の位置に対応する現在のフレームＦｉの画素の値に基づいて補間する。例えば、未来のフレームＦｉ＋１の画素Ｐ２の値を補間する場合、現在のフレームＦｉの画素Ｐ１の値を使用することができる。未来のフレームＦｉ＋１の元の画素の値はそのまま使用する。
【００３９】
ここで、フレームＦＳを構成する時に、フレームＦｉ、Ｆｉ＋１の画素の値をそのまま使用することで、解像度の低下を防止することができ、図５（ａ）の方法に比べて解像度を高くすることができる。
【００４０】
図７（ａ）および図７（ｂ）は、図１の固体撮像装置のフレーム再構成方法のさらにその他の例を示す図である。
図７（ａ）において、過去のフレームＦｉ−２および現在のフレームＦｉは、ラインＬ１、Ｌ２、Ｌ５、Ｌ６、Ｌ９、Ｌ１０、Ｌ１３、Ｌ１４から構成され、過去のフレームＦｉ−１および未来のフレームＦｉ＋１は、ラインＬ３、Ｌ４、Ｌ７、Ｌ８、Ｌ１１、Ｌ１２、Ｌ１５、Ｌ１６から構成されているものとする。そして、図７（ｂ）に示すように、過去のフレームＦｉ−１、現在のフレームＦｉおよび未来のフレームＦｉ＋１を合成することで１つのフレームＦＳを構成する。
【００４１】
この時、現在のフレームＦｉの間引かれた画素の値は、その間引かれた画素の位置に対応する過去のフレームＦｉ−１および未来のフレームＦｉ＋１の画素の値に基づいて補間する。例えば、現在のフレームＦｉの画素Ｐ３の値を補間する場合、過去のフレームＦｉ−１の画素Ｐ１の値と未来のフレームＦｉ＋１の画素Ｐ２の値の平均をとることができる。現在のフレームＦｉの元の画素の値はそのまま使用する。
【００４２】
ここで、フレームＦＳを構成する時に、フレームＦｉ−１、Ｆｉ、Ｆｉ＋１の画素の値を使用することで、解像度の低下を抑制することができ、図５（ａ）の方法に比べて解像度を高くすることができる。
【００４３】
図８は、図１の固体撮像装置のフレーム再構成方法のさらにその他の例を示す図である。
図８において、図５（ａ）のフレーム再構成方法によって図５（ｂ）の過去のフレームＦＳｉ−１および現在のフレームＦＳｉを得る。そして、フレームＦＳｉ−１から画素領域Ｒｉ−１を抽出するとともに、画素領域Ｒｉ−１の位置に対応するようにフレームＦＳｉから画素領域Ｒｉを抽出する。なお、図８では、３×３画素を画素領域Ｒｉ−１、Ｒｉとして抽出する例を示した。そして、画素領域Ｒｉ−１、Ｒｉ間において、各画素の値の差分絶対値の和を求める。なお、この差分絶対値の和が大きい時は、フレームＦＳｉ−１、ＦＳｉ間において被写体の動きが大きく、この差分絶対値の和が小さい時は、フレームＦＳｉ−１、ＦＳｉ間において被写体の動きが小さいことを示す。
【００４４】
そして、この差分絶対値の和が所定値を超える場合は、図５（ａ）のフレーム再構成方法を選択し、この差分絶対値の和が所定値以下の場合は、図６（ａ）または図７（ａ）のフレーム再構成方法を選択することができる。なお、この差分絶対値の和が所定範囲内の場合には、図５（ａ）の方法で再構成したフレームと、図６（ａ）または図７（ａ）の方法で再構成したフレームとを混合するようにしてもよい。
これにより、被写体の動きが大きな箇所では、解像度の低下をブラーにて補償しつつ、アーティファクトを低くすることが可能となるとともに、被写体の動きが小さな箇所では、アーティファクトの発生を伴うことなく解像度を高くすることができる。
【００４５】
図９は、図１の固体撮像装置のフレーム再構成に用いられるフレーム間誤差の算出方法の一例を示す図である。
図９において、過去のフレームＦｉ−２の画素の値と、その画素の位置に対応する現在のフレームＦｉの画素の値との差分絶対値を求める。例えば、過去のフレームＦｉ−２の画素Ｐ１の値と、現在のフレームＦｉの画素Ｐ２の値との差分絶対値を求める。なお、この差分絶対値が大きい時は、フレームＦｉ−２、Ｆｉ間において被写体の動きが大きく、この差分絶対値が小さい時は、フレームＦｉ−２、Ｆｉ間において被写体の動きが小さいことを示す。そして、この差分絶対値が所定値を超える場合は、図５（ａ）のフレーム再構成方法を選択し、この差分絶対値が所定値以下の場合は、図６（ａ）または図７（ａ）のフレーム再構成方法を選択することができる。
【００４６】
なお、現在のフレームＦｉの間引かれた画素の位置では、その間引かれた画素の位置に対応する現在のフレームＦｉの上下の同色画素の値と、その上下の同色画素の位置に対応する過去のフレームＦｉ−２の画素の値との間で差分絶対値の平均を求めることができる。例えば、現在のフレームＦｉの画素Ｐ３の位置では、現在のフレームＦｉの画素Ｐ５の値と過去のフレームＦｉ−２の画素Ｐ４の値の差分絶対値を求めるとともに、現在のフレームＦｉの画素Ｐ７の値と過去のフレームＦｉ−２の画素Ｐ６の値の差分絶対値を求め、これらの差分絶対値を平均する。
【００４７】
なお、フレーム再構成に用いられるフレーム間誤差を算出する場合、図８の方法と図９の方法とを組み合わせるようにしてもよい。例えば、図８の方法で求めた値と図９の方法で求めた値とで大きい方を用いるようにしてもよい。
【００４８】
（第２実施形態）
図１０は、第２実施形態に係る固体撮像装置のフレーム読み出し方法を示す図である。なお、図１０の例では、時間方向に３フレームの周期で空間情報を周回させる方法を示した。
図１０において、間引位置が異なるフレームＡ、Ｂ、Ｃを順次読み出すことで、フレームレートを３倍にすることができる。この時、３つのフレームＡ、Ｂ、Ｃから１つのフレームを再構成しやすくするために、間引きされた１フレームの画素配列はベイヤ配列でＲＧＢが全て揃っていることが好ましい。さらにベイヤ配列での位相が揃っていることが好ましい。また、各フレームＡ、Ｂ、Ｃの読み出し期間をＴｆとすると、各フレームＡ、Ｂ、Ｃの露光期間を３Ｔｆとし、各フレームＡ、Ｂ、Ｃの露光期間が互いに重なるように設定することで、同一フレームレートにおいて感度を３倍にすることができる。
【００４９】
（第３実施形態）
図１１は、第３実施形態に係る固体撮像装置のビニング処理および間引き読み出し方法を示す図である。
図１１において、フレームＡ、Ｂ、Ｃでは、露光時の４×４画素で読み出し時の１つの画素Ｕ１〜Ｕ４が構成される。ここで、画素Ｕ１では、ベイヤ配列ＨＰにおける緑色用画素Ｇｂ、赤色用画素Ｒおよび青色用画素Ｂが読み出されないようにして緑色用画素Ｇｒだけが読み出される。画素Ｕ２では、ベイヤ配列ＨＰにおける緑色用画素Ｇｂ、Ｇｒおよび青色用画素Ｂが読み出されないようにして赤色用画素Ｒだけが読み出される。画素Ｕ３では、ベイヤ配列ＨＰにおける緑色用画素Ｇｂ、Ｇｒおよび赤色用画素Ｒが読み出されないようにして青色用画素Ｂだけが読み出される。画素Ｕ４では、ベイヤ配列ＨＰにおける緑色用画素Ｇｒ、赤色用画素Ｒおよび青色用画素Ｂが読み出されないようにして緑色用画素Ｇｂだけが読み出される。
【００５０】
そして、フレームＡでは、ラインＬ１〜Ｌ４をひとまとめに読み出すことでラインＬＡ１が読み出され、ラインＬ１３〜Ｌ１６をひとまとめに読み出すことでラインＬＡ２が読み出される。フレームＢでは、ラインＬ５〜Ｌ８をひとまとめに読み出すことでラインＬＢ１が読み出され、ラインＬ１７〜Ｌ２０をひとまとめに読み出すことでラインＬＢ２が読み出される。フレームＣでは、ラインＬ９〜Ｌ１２をひとまとめに読み出すことでラインＬＣ１が読み出され、ラインＬ２１〜Ｌ２４をひとまとめに読み出すことでラインＬＣ２が読み出される。
【００５１】
この時、各フレームＡ、Ｂ、Ｃは画素Ｕ１〜Ｕ４で構成される。すなわち、フレームＡにおいて、ラインＬＡ１にて緑色用画素Ｇｒおよび赤色用画素Ｒが読み出され、ラインＬＡ２にて緑色用画素Ｇｂおよび青色用画素Ｂが読み出される。フレームＢにおいて、ラインＬＢ１にて緑色用画素Ｇｂおよび青色用画素Ｂが読み出され、ラインＬＢ２にて緑色用画素Ｇｒおよび赤色用画素Ｒが読み出される。フレームＣにおいて、ラインＬＣ１にて緑色用画素Ｇｒおよび赤色用画素Ｒが読み出され、ラインＬＣ２にて緑色用画素Ｇｂおよび青色用画素Ｂが読み出される。このため、フレームＡ、Ｂ、Ｃでは画素配列はベイヤ配列となり、フレームＡ、Ｂ、Ｃから１つのフレームを再構成しやすくすることができる。
【００５２】
（第４実施形態）
図１２は、第４実施形態に係る固体撮像装置のビニング処理および間引き読み出し方法を示す図である。
図１２において、フレームＡ、Ｂ、Ｃでは、露光時の４×４画素で読み出し時の１つの画素Ｕ１〜Ｕ４が構成される。そして、フレームＡでは、ラインＬ１〜Ｌ４をひとまとめに読み出すことでラインＬＡ１が読み出され、ラインＬ１３〜Ｌ１６をひとまとめに読み出すことでラインＬＡ２が読み出される。フレームＢでは、ラインＬ５〜Ｌ８をひとまとめに読み出すことでラインＬＢ１が読み出され、ラインＬ１７〜Ｌ２０をひとまとめに読み出すことでラインＬＢ２が読み出される。フレームＣでは、ラインＬ９〜Ｌ１２をひとまとめに読み出すことでラインＬＣ１が読み出され、ラインＬ２１〜Ｌ２４をひとまとめに読み出すことでラインＬＣ２が読み出される。
【００５３】
この時、フレームＡにおいて、ラインＬＡ１にて緑色用画素Ｇｂおよび赤色用画素Ｒが読み出され、ラインＬＡ２にて緑色用画素Ｇｒおよび青色用画素Ｂが読み出される。フレームＢにおいて、ラインＬＢ１にて緑色用画素Ｇｒおよび青色用画素Ｂが読み出され、ラインＬＢ２にて緑色用画素Ｇｂおよび赤色用画素Ｒが読み出される。フレームＣにおいて、ラインＬＣ１にて緑色用画素Ｇｂおよび赤色用画素Ｒが読み出され、ラインＬＣ２にて緑色用画素Ｇｒおよび青色用画素Ｂが読み出される。このため、フレームＡ、Ｂ、Ｃでは、画素配列をベイヤ配列としつつ、全てのカラムから信号を読み出すことができ、フレームの再構成を容易化しつつ、図１１の方法に比べてＡＤ変換速度を向上させることができる。
【００５４】
（第５実施形態）
図１３は、第５実施形態に係る固体撮像装置のビニング処理および間引き読み出し方法を示す図である。
図１３において、フレームＡ、Ｂでは、露光時の４×４画素で読み出し時の１つの画素Ｕ１〜Ｕ４が構成される。そして、フレームＡでは、ラインＬ１〜Ｌ４をひとまとめに読み出すことでラインＬＡ１が読み出され、ラインＬ５〜Ｌ８をひとまとめに読み出すことでラインＬＡ２が読み出され、ラインＬ１７〜Ｌ２０をひとまとめに読み出すことでラインＬＡ３が読み出され、ラインＬ２１〜Ｌ２４をひとまとめに読み出すことでラインＬＡ４が読み出される。フレームＢでは、ラインＬ９〜Ｌ１２をひとまとめに読み出すことでラインＬＢ１が読み出され、ラインＬ１３〜Ｌ１６をひとまとめに読み出すことでラインＬＢ２が読み出され、ラインＬ２５〜Ｌ２８をひとまとめに読み出すことでラインＬＢ３が読み出され、ラインＬ２９〜Ｌ３２をひとまとめに読み出すことでラインＬＢ４が読み出される。
【００５５】
この時、各フレームＡ、Ｂは画素Ｕ１〜Ｕ４で構成される。すなわち、フレームＡにおいて、ラインＬＡ１、ＬＡ３にて緑色用画素Ｇｂおよび赤色用画素Ｒが読み出され、ラインＬＡ２、ＬＡ４にて緑色用画素Ｇｒおよび青色用画素Ｂが読み出される。フレームＢにおいて、ラインＬＢ１、ＬＢ３にて緑色用画素Ｇｂおよび赤色用画素Ｒが読み出され、ラインＬＢ２、ＬＢ４にて緑色用画素Ｇｒおよび青色用画素Ｂが読み出される。このため、フレームＡ、Ｂでは、画素配列はベイヤ配列となり、位相が全て揃っているため、フレームＡ、Ｂから１つのフレームを再構成しやすくすることができる。
【００５６】
（第６実施形態）
図１４は、第６実施形態に係る固体撮像装置のビニング処理および間引き読み出し方法を示す図である。
図１４において、フレームＡ〜Ｄでは、露光時の４×４画素で読み出し時の１つの画素Ｕ１〜Ｕ４が構成される。また、フレームＡ、Ｂは互いに同一ラインかつ異なるカラムに割り当てられ、フレームＣ、Ｄは互いに同一ラインかつ異なるカラムに割り当てられる。また、フレームＡ、ＢとフレームＣ、Ｄは互いに異なるラインに割り当てられる。
【００５７】
この時、各フレームＡ〜Ｄは画素Ｕ１〜Ｕ４で構成される。このため、フレームＡ〜Ｄでは、画素配列はベイヤ配列となり、位相が全て揃っているため、フレームＡ〜Ｄから１つのフレームを再構成しやすくすることができる。
【００５８】
（第７実施形態）
図１５は、第７実施形態に係る固体撮像装置が適用されたデジタルカメラの概略構成を示すブロック図である。
図１５において、デジタルカメラ１１は、カメラモジュール１２および後段処理部１３を有する。カメラモジュール１２は、撮像光学系１４および固体撮像装置１５を有する。後段処理部１３は、イメージシグナルプロセッサ（ＩＳＰ）１６、記憶部１７及び表示部１８を有する。なお、固体撮像装置１５は、図１の構成を用いることができる。また、ＩＳＰ１６の少なくとも一部の構成は固体撮像装置１５とともに１チップ化するようにしてもよい。あるいは、固体撮像装置１５の少なくとも一部の構成はＩＳＰ１６とともに１チップ化するようにしてもよい。例えば、再構成処理部８はＩＳＰ１６に設けるようにしてもよい。
【００５９】
撮像光学系１４は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置１５は、被写体像を撮像する。ＩＳＰ１６は、固体撮像装置１５での撮像により得られた画像信号を信号処理する。記憶部１７は、ＩＳＰ１６での信号処理を経た画像を格納する。記憶部１７は、ユーザの操作等に応じて、表示部１８へ画像信号を出力する。表示部１８は、ＩＳＰ１６あるいは記憶部１７から入力される画像信号に応じて、画像を表示する。表示部１８は、例えば、液晶ディスプレイである。なお、カメラモジュール１２は、デジタルカメラ１１以外にも、例えばカメラ付き携帯端末等の電子機器に適用するようにしてもよい。
【００６０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６１】
１  画素アレイ部、２  垂直走査回路、３  負荷回路、４  カラムＡＤＣ回路、６  基準電圧発生回路、７  タイミング制御回路、７Ａ  ビニング制御部、７Ｂ  フレーム読み出し制御部、８  再構成処理部、８Ａ  フレームメモリ、ＰＣ  画素、ＨＰ  ベイヤ配列、Ｔａ  行選択トランジスタ、Ｔｂ  増幅トランジスタ、Ｔｃ  リセットトランジスタ、Ｔｄ  読み出しトランジスタ、ＰＤ  フォトダイオード、ＦＤ  フローティングディフュージョン、Ｖｌｉｎ  垂直信号線、Ｈｌｉｎ  水平制御線
【図１】
2015032917.tif 000003
【図２】
2015032917.tif 000004
【図３】
2015032917.tif 000005
【図４】
2015032917.tif 000006
【図５】
2015032917.tif 000007
【図６】
2015032917.tif 000008
【図７】
2015032917.tif 000009
【図８】
2015032917.tif 000010
【図９】
2015032917.tif 000011
【図１０】
2015032917.tif 000012
【図１１】
2015032917.tif 000013
【図１２】
2015032917.tif 000014
【図１３】
2015032917.tif 000015
【図１４】
2015032917.tif 000016
【図１５】
2015032917.tif 000017