(57)【要約】【課題】被写体の状況に応じて白飛び等を回避しつつ、高画質の画像を出力することができる撮像装置を提供する。【解決手段】撮像装置１は、各画素回路２１１の撮像モードを、フォトダイオード２１１ａの受光光量が所定の光量よりも小さい時には、受光光量の増加に伴い出力信号が線形的に増加する一方、フォトダイオード２１１ａの受光光量が所定の光量以上の時には、出力信号が飽和するＮＤＲモードと、フォトダイオード２１１ａの受光光量が前記所定の光量以上の時に、出力信号が飽和しないＷＤＲモードと、の間で切り替える撮像モード切替部５と、画素回路２１１がＮＤＲモードで撮像したときの出力信号に基づいて、撮像モード切替部５に対して、各画素回路２１１の撮像モードをＮＤＲモード又はＷＤＲモードに指定する制御部６と、を備える。【選択図】図１
2010171867.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ受光することによって電荷を生じると共に、複数のラスタを構成するように格子状に配置された複数の受光素子と、該受光素子のそれぞれに対応して設けられると共に、前記受光素子で生じた電荷を蓄積しかつ、その電荷の蓄積量に応じた出力信号を出力する複数の画素回路と、を有し、前記出力信号に基づいて構成されるフレームを、時系列に連続して出力する撮像素子と、
前記撮像素子に対し、前記各画素回路の撮像モードを、前記受光素子の受光光量が所定の光量よりも小さい時には、前記受光光量の増加に伴い前記出力信号が線形的に増加する一方、前記受光素子の受光光量が前記所定の光量以上の時には、前記出力信号が飽和する第１撮像モードと、前記受光素子の前記受光光量が前記所定の光量以上の時に、前記出力信号が飽和しない第２撮像モードと、の間で切り替える撮像モード切替部と、
前記画素回路が第１撮像モードで撮像したときの前記出力信号に基づいて、前記撮像モード切替部に対して、前記各画素回路の撮像モードを前記第１又は前記第２撮像モードに指定する制御部と、を備えていることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記撮像素子は、所定の数のフレームを出力する毎に、前記各画素回路が前記第１撮像モードで撮像した前記出力信号に基づく撮像モード判定フレームを出力し、
前記制御部は、前記撮像モード判定フレームに含まれる前記出力信号を撮像モード判定対象として所定の判定を行うと共に、その判定結果に基づいて、以降における前記各画素回路の撮像モードを指定することを特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において、
前記撮像素子は、所定の数のフレームを出力する毎に、前記画素回路が前記第１撮像モードで撮像した前記出力信号に基づいて構成される第１撮像モードラスタと、前記画素回路が前記第２撮像モードで撮像した前記出力信号に基づいて構成される第２撮像モードラスタと、を含んで構成される撮像モード判定フレームを出力し、
前記制御部は、前記撮像モード判定フレームにおける前記第１撮像モードラスタを構成する前記出力信号を判定対象として所定の判定を行うと共に、その判定結果に基づいて、以降における前記各画素回路の撮像モードを指定することを特徴とする撮像装置。
【請求項４】
請求項２又は請求項３に記載の撮像装置において、
前記各画素回路の出力信号をデジタル信号に変換した撮像データを含んで構成される前記フレームを出力する出力信号処理部をさらに備え、
前記制御部は、前記出力信号処理部から出力された前記撮像モード判定フレームの判定対象に対応する前記撮像データの最大値が所定の閾値を超えているか否かを判定すると共に、前記最大値が前記所定の閾値を超えているときには、前記撮像モード切替部に対して、前記各画素回路の撮像モードを前記第２撮像モードに指定することを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記制御部は、前記撮像モード判定フレームの判定対象に対応する前記撮像データの平均値を算出しかつ、その平均値が所定値よりも大きいか否かをさらに判定すると共に、前記平均値が前記所定値以下のときには、前記最大値が前記所定の閾値を超えていたときでも、前記撮像モード切替部に対して、前記各画素回路の撮像モードを前記第１撮像モードに指定することを特徴とする撮像装置。
【請求項６】
請求項４に記載の撮像装置において、
前記制御部は、前記撮像モード判定フレームの判定対象に対応する前記撮像データについて、所定の判定値以下の前記撮像データの発生頻度を計数しかつ、その発生頻度が所定の基準値よりも小さいか否かをさらに判定すると共に、前記発生頻度が所定の基準値以上のときには、前記撮像データの最大値が前記所定の閾値を超えていたときでも、前記撮像モード切替部に対して、前記各画素回路の撮像モードを前記第１撮像モードに指定することを特徴とする撮像装置。
【請求項７】
請求項２又は請求項３に記載の撮像装置において、
前記各画素回路の出力信号をデジタル信号に変換した撮像データを含んで構成される前記フレームを出力する出力信号処理部をさらに備え、
前記制御部は、前記出力信号処理部から出力された撮像モード判定フレームの判定対象に対応する前記撮像データについて、前記飽和に相当する上限値に達している前記撮像データが前記フレームに含まれているか否かを判定すると共に、前記上限値に達している前記撮像データが前記フレームに含まれているときには、前記撮像モード切替部に対して、前記各画素回路の撮像モードを前記第２撮像モードに指定することを特徴とする撮像装置。
【請求項８】
請求項７に記載の撮像装置において、
前記制御部は、前記撮像モード判定フレームの判定対象に対応する前記撮像データの平均値を算出しかつ、その平均値が所定値よりも大きいか否かをさらに判定すると共に、前記平均値が前記所定値以下のときには、前記上限値に達している前記撮像データが前記フレームに含まれているときでも、前記撮像モード切替部に対して、前記各画素回路の撮像モードを前記第１撮像モードに指定することを特徴とする撮像装置。
【請求項９】
請求項７に記載の撮像装置において、
前記制御部は、前記撮像モード判定フレームの判定対象に対応する前記撮像データについて、所定の判定値以下の前記撮像データの発生頻度を計数しかつ、その発生頻度が所定の基準値よりも小さいか否かをさらに判定すると共に、前記発生頻度が所定の基準値以上のときには、前記上限値に達している前記撮像データが前記フレームに含まれているときでも、前記撮像モード切替部に対して、前記各画素回路の撮像モードを前記第１撮像モードに指定することを特徴とする撮像装置。
【請求項１０】
それぞれ受光することによって電荷を生じると共に、複数のラスタを構成するように格子状に配置された複数の受光素子と、該受光素子のそれぞれに対応して設けられると共に、前記受光素子で生じた電荷を蓄積しかつ、その電荷の蓄積量に応じた出力信号を出力する複数の画素回路と、を有する撮像素子と、
前記撮像素子に対し、前記各画素回路の撮像モードを、前記受光素子の受光光量が所定の光量よりも小さい時には、前記受光光量の増加に伴い前記出力信号が線形的に増加する一方、前記受光素子の受光光量が前記所定の光量以上の時には、前記出力信号が飽和する第１撮像モードと、前記受光素子の前記受光光量が前記所定の光量以上の時に、前記出力信号が飽和しない第２撮像モードと、の間で前記ラスタの単位で切り替える撮像モード切替部と、を備え、
前記撮像素子は、前記第１撮像モードで撮像した前記出力信号に基づく第１撮像モードラスタと、前記第２撮像モードで撮像した前記出力信号に基づく第２撮像モードラスタと、を含んで構成されるフレームを時系列に連続して出力し、
前記フレームに含まれる前記第１撮像モードラスタと前記第２撮像モードラスタのうち、一方のラスタに含まれる前記出力信号に基づいて、選択されるべき撮像モードを判定するとともに、この判定結果に基づいて、当該フレーム及びその直前に撮像されたフレームから、前記第１撮像モードラスタ又は前記第２撮像モードラスタを選択しかつ、それらを合成したフレームを作成する制御部をさらに備えていることを特徴とする撮像装置。
【請求項１１】
請求項１０に記載の撮像装置において、
前記撮像モード切替部は、前記第１撮像モードラスタと第２撮像モードラスタとを、前記各フレームにおいて相互に隣接するよう交互に配置することを特徴とする撮像装置。
【請求項１２】
請求項１１に記載の撮像装置において、
前記撮像モード切替部は、時系列に隣接する前記フレーム間において、前記第１撮像モードラスタと第２撮像モードラスタの位置を入れ替えることを特徴とする撮像装置。
【請求項１３】
請求項１ないし請求項１２の何れか１項に記載の撮像装置において、
前記撮像素子は、前記各画素回路に蓄積されている電荷の一部を、前記出力信号の出力前に排出させる蓄積電荷排出動作を実行可能な蓄積電荷排出回路をさらに有し、
前記撮像モード切替部は、前記制御部によって指定された撮像モードに基づいて、前記蓄積電荷排出回路の蓄積電荷排出動作の実行及び非実行を切り替えることを特徴とする撮像装置。
【請求項１４】
請求項１３に記載の撮像装置において、
前記蓄積電荷排出回路は、蓄積電荷を排出する経路の途中に設けられると共に、トランジスタで構成された電荷排出ゲートを含み、
前記電荷排出ゲートは、前記第２撮像モードにおいて、前記第１撮像モードよりも、前記受光素子の受光光量が小さい段階で電荷の排出を開始するよう制御されることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、出力特性を切り替えて撮像することができる撮像装置に関する。
【背景技術】
【０００２】
従来より、ＣＣＤやＣＭＯＳイメージセンサ等の半導体撮像素子（以下、単に撮像素子ともいう）を備えた撮像装置は、種々の装置に用いられており、一例としてテレビドアフォンやネットワークカメラを挙げることができる。この撮像装置は、撮像素子内に格子状に配置された複数の受光素子を備え、受光した光を各受光素子によって電気信号に変換することにより、この電気信号に基づいた画像を出力する。詳しくは、撮像素子は、予め設定された電荷蓄積期間中に、各受光素子で受光した受光量に応じた量の電荷を蓄積すると共に、その蓄積した電荷（以下、蓄積電荷ともいう）の量に応じた電気信号を出力する。撮像装置は、撮像素子から出力された電気信号に基づいて面画像としてのフレームを構成し、それを時系列に連続させることによって動画像を出力する。ここで、撮像素子は、一般的に、受光した光量（以下、受光光量ともいう）に比例する量の電荷を蓄積する特性を有しており、そのため、撮像素子から出力される電気信号は、受光光量の増加に伴って線形的に増加する、いわゆる線形特性を示すが、撮像素子の電荷を蓄積することができる容量（以下、電荷蓄積容量ともいう）に達するまで電荷が蓄積されてしまうと（以下、飽和状態ともいう）、撮像素子から出力される電気信号は、所定の飽和電位で一定になってしまう。こうして撮像素子のダイナミックレンジが規定されてしまうため、飽和状態に至らないように相対的に暗い被写体を撮像したときには、各撮像素子から出力された電気信号の大きさに応じた明るさの階調が画像に現れる一方で、飽和状態に至ってしまうような相対的に明るい被写体を撮像したときには画像が真っ白、つまり白飛びしてしまうことになる。そこで、被写体の明るさに応じて電荷蓄積期間を変更することによって、比較的狭いダイナミックレンジであっても、画像の白飛びを回避するようにした撮像装置が知られている。すなわち、この撮像装置では、明るい被写体を撮像するときには電荷蓄積期間を短くすることによって、電荷の蓄積が飽和状態に至らないようにして白飛びを回避するようにしている。
【０００３】
しかしながら、例えば太陽を背にした人を撮像するときのように、一視野内に明暗差が大きい箇所を含む被写体を撮像する時には、明るい箇所に合わせて電荷蓄積期間を短くすると、暗い箇所が真っ黒、つまり黒潰れしてしまう一方、暗い箇所に合わせて電荷蓄積期間を長くすると、明るい箇所が白飛びしてしまう。
【０００４】
そこで、種々の方法により、線形特性とは異なる出力特性を得ることで、撮像素子のダイナミックレンジを拡大させる（以下、ワイドダイナミックレンジともいう）ことが試みられている。
【０００５】
例えば、特許文献１に開示された撮像素子では、受光素子で生成、蓄積される電荷の量が多いとき（より具体的には、フォトダイオードで生成され、蓄積された電荷が、予め設定された電位障壁を越えて外部に溢れた場合）には、その電荷蓄積期間の所定の中間タイミングで、それまでに蓄積された蓄積電荷の全てを一旦排出する、いわゆる電荷排出動作を行うことによって、電気信号の出力タイミングにおける飽和状態を回避し、そのことでワイドダイナミックレンジを実現している。
【０００６】
また、例えば、特許文献２には、受光光量に応じて発生した光電流を入力するＭＯＳトランジスタと、このＭＯＳトランジスタを閾値電圧以下でかつサブスレッショルド電流が流れうる状態にバイアスするバイアス手段とを備え、当該ＭＯＳトランジスタによって光電流を対数圧縮変換することで、ワイドダイナミックレンジ化を実現する技術が開示されている。
【特許文献１】特許第３９９６６１８号公報
【特許文献２】特開平０３−１９２７６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、前記特許文献１に開示されている撮像素子では、受光光量が所定の光量を超えている場合には、電荷蓄積期間の所定の中間タイミングにて蓄積電荷を（受光光量が大きければ大きいほど、加速度的に）一旦排出してしまい、その後の残存期間に再蓄積された電荷に基づいて出力電位を決定するため、受光光量の大きさや電荷排出タイミングの始期、終期や電荷排出期間の長さ等によっては、最終的な出力信号において階調逆転が生じることが懸念される。例えば、１つの出力フレームが明暗差の大きい階調グラデーションで構成される場合を考える。このとき、暗部では電荷排出が行なわれず、受光光量の増加に応じて、その出力は徐々に線形的に増加（線形特性）するとしても、一旦電荷排出動作が行なわれると、その過程で蓄積電荷は加速度的に排出されるから、階調グラデーションの途中でそれまで単調増加していた出力は、一転してゼロになる。この結果、再蓄積された電荷の量を、電荷排出後に設定される再蓄積期間と電荷蓄積期間全体の比に基づいて補正しようとしても、（出力がゼロとなる点がある限り）階調グラデーションは、その暗から明の階調変化のいずれかの部分で階調逆転を生じうることとなる。
【０００８】
一方、特許文献２に開示されている撮像素子の出力は、飽和電位に漸近するような対数特性を示す。この撮像素子は理論的には極めて大きなダイナミックレンジを実現可能だが、例えば光量比として１：１０６（約１２０［ｄＢ］）といったワイドダイナミックレンジにおいても飽和状態を確実に回避するために、受光光量が大きくなるほど出力が圧縮されるため、受光光量が同じであっても、線形特性の撮像素子が出力する電気信号よりも出力が小さくなる。このため、この撮像素子を備えた撮像装置では、飽和状態に至らないような比較的暗い被写体を撮像したときには、線形特性を有する撮像素子の場合よりもコントラストが低下すると共に、上述した出力の圧縮によって実質的な階調数も低下してしまう。
【０００９】
このコントラストの低下や階調数の減少といった課題に対して、アナログアンプによって出力を増幅することが考えられるが、このようにすると、ノイズ成分も同時に増幅されることとなり、線形特性とは異なる出力特性を有する撮像素子は、線形の出力特性を有する撮像素子と比べてノイズが大きくなる場合がある。
【００１０】
以上のように、ワイドダイナミックレンジの撮像素子を備えた撮像装置は、ダイナミックレンジが広いという利点が得られる一方で、例えば階調の低下やノイズの増大といった不利益を被ることになる。
【００１１】
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、被写体の状況に応じて白飛び等を回避しつつも、高画質の撮像が可能な撮像装置を提供することにある。
【課題を解決するための手段】
【００１２】
本願発明者らは、例えば特許文献１の撮像素子は、製造プロセスを適切に設定して作成することで、電荷排出動作を実行しても、それまでに蓄積された蓄積電荷の全てが排出されることなく、受光光量に基づく電荷生成と電荷排出が平衡状態に近くなって対数特性に類似する出力特性を発現させうること、および電荷排出動作の実行と非実行を指定するスイッチ素子のオンオフ（更には、スイッチ素子のゲート電位）を適宜制御することによって、線形の出力特性でダイナミックレンジが相対的に狭い動作と、対数特性に類似する出力特性でダイナミックレンジが相対的に広い動作とを容易に切り替え得ることに気付いた。そこで、出力特性を切り替えて動作可能な撮像装置において、それらの動作を適切に切り替えながら撮像を行うことに着目した。
【００１３】
第１の発明では、撮像装置は、それぞれ受光することによって電荷を生じると共に、複数のラスタを構成するように格子状に配置された複数の受光素子と、該受光素子のそれぞれに対応して設けられると共に、前記受光素子で生じた電荷を蓄積しかつ、その電荷の蓄積量に応じた出力信号を出力する複数の画素回路と、を有し、前記出力信号に基づいて構成されるフレームを、時系列に連続して出力する撮像素子と、前記撮像素子に対し、前記各画素回路の撮像モードを、前記受光素子の受光光量が所定の光量よりも小さい時には、前記受光光量の増加に伴い前記出力信号が線形的に増加する一方、前記受光素子の受光光量が前記所定の光量以上の時には、前記出力信号が飽和する第１撮像モードと、前記受光素子の前記受光光量が前記所定の光量以上の時に、前記出力信号が飽和しない第２撮像モードと、の間で切り替える撮像モード切替部と、前記画素回路が第１撮像モードで撮像したときの前記出力信号に基づいて、前記撮像モード切替部に対して、前記各画素回路の撮像モードを前記第１又は前記第２撮像モードに指定する制御部と、を備えている。
【００１４】
第１撮像モードは、受光素子の受光光量が所定の光量よりも小さい時には、受光光量の増加に伴い出力信号が線形的に増加する。そのため、出力信号が飽和に至らないような比較的暗い被写体を第１撮像モードで撮像したときには、撮像装置は、コントラストが高くかつ高階調の画像を出力する。一方、第１撮像モードにおいて、受光素子の受光光量が所定の光量以上の時には、出力信号が飽和する。そのため、第１撮像モードで比較的明るい被写体を撮像したときには、画像が白飛びする場合がある。つまり、この第１撮像モードは、ダイナミックレンジが相対的に狭い動作状態に相当する。
【００１５】
これに対し、第２撮像モードは、受光素子の受光光量が所定の光量以上の時に飽和しない撮像モードであり、従って、第１撮像モードで撮像したときには画像が白飛びするような比較的明るい被写体でも、第２撮像モードで撮像したときには、画像が白飛びしない。つまり、この第２撮像モードは、ダイナミックレンジが相対的に広い動作状態に相当する。
【００１６】
第１の発明の撮像装置によると、制御部は、第１撮像モードで撮像したときの出力信号に基づいて、撮像モード切替部に対し各画素回路の撮像モードを指定し、それによって、撮像素子の撮像モードを第１撮像モードと第２撮像モードとの間で切り替える。このことによって、ダイナミックレンジが相対的に狭い第１撮像モードで撮像しても出力される画像に何ら問題が生じないときには第１撮像モードで撮像を行う。こうすることによって、第２撮像モードで撮像した場合に生じ得る不都合（例えば、低コントラストや階調数減少、また、ノイズ増大等）が回避される。一方、第１撮像モードで撮像したときに、例えば白飛び等の問題が生じ得るときには、ダイナミックレンジが相対的に広い第２撮像モードに切り替えて撮像を行うことによって、白飛び等を回避した鮮明な画像を出力することができる。こうして、第１の発明の撮像装置は、ダイナミックレンジが相対的に狭い動作状態とダイナミックレンジが相対的に広い動作状態とを適切に切り替えて撮像することによって、それぞれの動作の利点を活かしながら、それぞれの動作の欠点を補うことができる。
【００１７】
第２の発明では、第１の発明において、前記撮像素子は、所定の数のフレームを出力する毎に、前記各画素回路が前記第１撮像モードで撮像した前記出力信号に基づく撮像モード判定フレームを出力し、前記制御部は、前記撮像モード判定フレームに含まれる前記出力信号を撮像モード判定対象として所定の判定を行うと共に、その判定結果に基づいて、以降における前記各画素回路の撮像モードを指定する。
【００１８】
こうすることで、撮像素子は、所定の数のフレームを出力する毎に第１撮像モードでの撮像に基づく撮像モード判定フレームを出力する。このときに、撮像素子の撮像モードが第１撮像モードであるときには、そのまま第１撮像モードでの撮像に基づく撮像モード判定フレームを出力すればよい。これとは異なり、撮像素子の撮像モードが第２撮像モードであるときには、撮像モード判定フレームの出力タイミングにおいて、撮像素子の撮像モードを一時的に第１撮像モードに切り替えて撮像モード判定フレームを出力すればよい。そうして、制御部は、その撮像モード判定フレームに含まれる第１撮像モードの出力信号に基づいて撮像モード判定フレーム以降の各画素回路の撮像モードを指定することができる。つまり、第１及び第２撮像モードのいずれが適切であるのかの判定を周期的に行うことによって、被写体の状況が変化したときにでも、その変化に応じて、撮像素子の撮像モードを適切に切り替えることが可能になる。
【００１９】
第３の発明では、第１の発明において、前記撮像素子は、所定の数のフレームを出力する毎に、前記画素回路が前記第１撮像モードで撮像した前記出力信号に基づいて構成される第１撮像モードラスタと、前記画素回路が前記第２撮像モードで撮像した前記出力信号に基づいて構成される第２撮像モードラスタと、を含んで構成される撮像モード判定フレームを出力し、前記制御部は、前記撮像モード判定フレームにおける前記第１撮像モードラスタを構成する前記出力信号を判定対象として所定の判定を行うと共に、その判定結果に基づいて、以降における前記各画素回路の撮像モードを指定する。
【００２０】
こうすることで、撮像モード判定フレームに含まれる全ての出力信号に基づいて適切な撮像モードを判定するのではなく、撮像モード判定フレームに含まれる一部の出力信号に基づいて適切な撮像モードを判定するため、判定対象の出力信号の数がその分減少し、撮像モードの判定に係る処理が軽減する。このことは、処理時間及び処理リソースの点で有利であり、特に高解像度の撮像素子であればあるほど有効になる。
【００２１】
第４の発明では、第２又は第３の発明において、前記各画素回路の出力信号をデジタル信号に変換した撮像データを含んで構成される前記フレームを出力する出力信号処理部をさらに備え、前記制御部は、前記出力信号処理部から出力された前記撮像モード判定フレームの判定対象に対応する前記撮像データの最大値が所定の閾値を超えているか否かを判定すると共に、前記最大値が前記所定の閾値を超えているときには、前記撮像モード切替部に対して、前記各画素回路の撮像モードを前記第２撮像モードに指定する。
【００２２】
この構成によると、制御部は、撮像モード判定フレームの判定対象に対応する撮像データの最大値が所定の閾値以下の場合には、撮像モード切替部に対して各画素回路の撮像モードを第１撮像モードに指定する一方、撮像モード判定フレームの判定対象に対応する撮像データの最大値が所定の閾値を超えているときには、撮像モード切替部に対して各画素回路の撮像モードを第２撮像モードに指定する。つまり、撮像モード判定フレームの中に比較的明るく、第１撮像モードでの撮像では白飛びしてしまう箇所が含まれているときには、以降の撮像を第２撮像モードで行うことになる。これによって、画像内に白飛び箇所が含まれることが確実に防止される。
【００２３】
第５の発明では、第４の発明において、前記制御部は、前記撮像モード判定フレームの判定対象に対応する前記撮像データの平均値を算出しかつ、その平均値が所定値よりも大きいか否かをさらに判定すると共に、前記平均値が前記所定値以下のときには、前記最大値が前記所定の閾値を超えていたときでも、前記撮像モード切替部に対して、前記各画素回路の撮像モードを前記第１撮像モードに指定する。
【００２４】
この構成によると、制御部は、判定対象に対応する撮像データの最大値のみに基づくのではなく、判定対象に対応する撮像データの平均値も考慮して、適切な撮像モードを判定する。つまり前記最大値が所定の閾値を超えており且つ、前記平均値が所定値よりも大きい場合にのみ、撮像モード切替部に対して、各画素回路の撮像モードを第２撮像モードに指定し、それ以外のとき、特に前記最大値が所定の閾値を超えていたとしても、前記平均値が所定値以下のときには、各画素回路の撮像モードを第１撮像モードに指定する。従って、撮像装置は、白飛び箇所がフレーム中の比較的広い範囲に拡がっているときには、第２撮像モードで撮像を行う一方、フレームの中に白飛び箇所が含まれていても、その白飛び箇所が局所的であれば第１撮像モードで撮像する。このことにより、より人間の視覚に近い画像を出力することができる。
【００２５】
第６の発明では、第４の発明において、前記制御部は、前記撮像モード判定フレームの判定対象に対応する前記撮像データについて、所定の判定値以下の前記撮像データの発生頻度を計数しかつ、その発生頻度が所定の基準値よりも小さいか否かをさらに判定すると共に、前記発生頻度が所定の基準値以上のときには、前記撮像データの最大値が前記所定の閾値を超えていたときでも、前記撮像モード切替部に対して、前記各画素回路の撮像モードを前記第１撮像モードに指定する。
【００２６】
この構成によると、制御部は、判定対象に対応する撮像データの最大値に加えて、判定対象に対応する撮像データであって、所定の判定値以下の撮像データの発生頻度に基づいて、適切な撮像モードを判定する。つまり、前記最大値が所定の閾値を超えており且つ、前記発生頻度が所定の基準値よりも小さい場合にのみ、撮像モード切替部に対して撮像モードを第２撮像モードに指定し、それ以外のとき、特に前記最大値が所定の閾値を超えていたとしても、前記発生頻度が所定の基準値以上のときには、各画素回路の撮像モードを第１撮像モードに指定する。従って、前記第５の発明と同様に、撮像装置は、白飛び箇所がフレーム中の比較的広い範囲に拡がっているときには、第２撮像モードで撮像を行う一方、フレームの中に白飛び箇所が含まれていても、その白飛び箇所が局所的であって、比較的暗い箇所が大部分を占めるときには第１撮像モードで撮像することになり、このことにより、より人間の視覚に近い画像を出力することができる。
【００２７】
第７の発明では、第２又は第３の発明において、前記各画素回路の出力信号をデジタル信号に変換した撮像データを含んで構成される前記フレームを出力する出力信号処理部をさらに備え、前記制御部は、前記出力信号処理部から出力された撮像モード判定フレームの判定対象に対応する前記撮像データについて、前記飽和に相当する上限値に達している前記撮像データが前記フレームに含まれているか否かを判定すると共に、前記上限値に達している前記撮像データが前記フレームに含まれているときには、前記撮像モード切替部に対して、前記各画素回路の撮像モードを前記第２撮像モードに指定する。
【００２８】
この構成によると、制御部は、飽和に相当する上限値に達している撮像データがフレームに含まれていないときには、撮像モード切替部に対して各画素回路の撮像モードを第１撮像モードに指定する一方、前記上限値に達している撮像データがフレームに含まれているときには、撮像モード切替部に対して各画素回路の撮像モードを第２撮像モードに指定する。つまり、第１撮像モードでの撮像では、出力信号が飽和するような明るい箇所がフレーム中に含まれているときには、第２撮像モードで撮像することになるため、画像内に白飛び箇所が含まれることが確実に防止される。
【００２９】
第８の発明では、第７の発明において、前記制御部は、前記撮像モード判定フレームの判定対象に対応する前記撮像データの平均値を算出しかつ、その平均値が所定値よりも大きいか否かをさらに判定すると共に、前記平均値が前記所定値以下のときには、前記上限値に達している前記撮像データが前記フレームに含まれているときでも、前記撮像モード切替部に対して、前記各画素回路の撮像モードを前記第１撮像モードに指定する。
【００３０】
この構成によると、制御部は、前記上限値に達している撮像データがフレームに含まれているか否かだけでなく、判定対象に対応する撮像データの平均値も考慮して、適切な撮像モードを判定する。つまり、前記上限値に達している撮像データがフレームに含まれており且つ、フレームに含まれる撮像データの平均値が所定値よりも大きいときには、撮像モード切替部に対して、各画素回路の撮像モードを第２撮像モードに指定する一方、それ以外の、特に上限値に達している撮像データがフレームに含まれていても、前記平均値が所定値以下のときには、各画素回路の撮像モードを第１撮像モードに指定する。従って、撮像装置は、白飛び箇所がフレーム中の比較的広い範囲に拡がっているときには、第２撮像モードで撮像を行う一方、フレームの中に白飛び箇所が含まれていても、その白飛び箇所が局所的であるときには、第１撮像モードで撮像することになり、より人間の視覚に近い画像を出力することができる。
【００３１】
第９の発明では、第７の発明において、前記制御部は、前記撮像モード判定フレームの判定対象に対応する前記撮像データについて、所定の判定値以下の前記撮像データの発生頻度を計数しかつ、その発生頻度が所定の基準値よりも小さいか否かをさらに判定すると共に、前記発生頻度が所定の基準値以上のときには、前記上限値に達している前記撮像データが前記フレームに含まれているときでも、前記撮像モード切替部に対して、前記各画素回路の撮像モードを前記第１撮像モードに指定する。
【００３２】
この構成によると、制御部は、前記上限値に達している撮像データがフレームに含まれているか否かに加えて、所定の判定値以下の撮像データの発生頻度をも判定条件に加えて、適切な撮像モードを判定する。つまり、上限値に達している撮像データがフレームに含まれており且つ、前記発生頻度が所定の基準値よりも小さい場合にのみ、撮像モード切替部に対して撮像モードを第２撮像モードに指定する一方、それ以外の、特に上限値に達している撮像データがフレームに含まれていても、前記発生頻度が所定の基準値以上のときには、各画素回路の撮像モードを第１撮像モードに指定する。従って、前記第８の発明と同様に、撮像装置は、白飛び箇所がフレーム中の比較的広い範囲に拡がっているときには、第２撮像モードで撮像を行う一方、フレームの中に白飛び箇所が含まれていても、その白飛び箇所が局所的であれば第１撮像モードで撮像することになり、このことにより、より人間の視覚に近い画像を出力することができる。
【００３３】
第１０の発明では、撮像装置は、それぞれ受光することによって電荷を生じると共に、複数のラスタを構成するように格子状に配置された複数の受光素子と、該受光素子のそれぞれに対応して設けられると共に、前記受光素子で生じた電荷を蓄積しかつ、その電荷の蓄積量に応じた出力信号を出力する複数の画素回路と、を有する撮像素子と、前記撮像素子に対し、前記各画素回路の撮像モードを、前記受光素子の受光光量が所定の光量よりも小さい時には、前記受光光量の増加に伴い前記出力信号が線形的に増加する一方、前記受光素子の受光光量が前記所定の光量以上の時には、前記出力信号が飽和する第１撮像モードと、前記受光素子の前記受光光量が前記所定の光量以上の時に、前記出力信号が飽和しない第２撮像モードと、の間で前記ラスタの単位で切り替える撮像モード切替部と、を備え、前記撮像素子は、前記第１撮像モードで撮像した前記出力信号に基づく第１撮像モードラスタと、前記第２撮像モードで撮像した前記出力信号に基づく第２撮像モードラスタと、を含んで構成されるフレームを時系列に連続して出力し、前記フレームに含まれる前記第１撮像モードラスタと前記第２撮像モードラスタのうち、一方のラスタに含まれる前記出力信号に基づいて、選択されるべき撮像モードを判定するとともに、この判定結果に基づいて、当該フレーム及びその直前に撮像されたフレームから、前記第１撮像モードラスタ又は前記第２撮像モードラスタを選択しかつ、それらを合成したフレームを作成する制御部をさらに備えている。ここで、時系列に隣接する前記フレーム間において、前記第１撮像モードラスタと第２撮像モードラスタの位置を入れ替えるようにすればよい。
【００３４】
この第１０の発明の撮像装置によると、各フレームは第１撮像モードラスタと第２撮像モードラスタとの双方を含んでいるため、制御部は、各フレームに含まれる第１撮像モードラスタ又は第２撮像モードラスタに含まれる出力信号に基づいて、第１及び第２撮像モードのいずれが適切であるのかをフレーム毎に判定することができる。そうして、第１撮像モードが適切な撮像モードであると判定されたときには、現在のフレーム及びその直前に出力されたフレームから第１撮像モードラスタを抽出して、その抽出した第１撮像モードラスタにより第１撮像モードのフレームを合成する一方、第２撮像モードが適切な撮像モードであると判定されたときには、現在のフレーム及びその直前に出力されたフレームから第２撮像モードラスタを抽出して、その抽出した第２撮像モードラスタにより第２撮像モードのフレームを合成する。こうして、撮像装置は、第１撮像モードで撮像したフレームと、第２撮像モードで撮像したフレームと、を被写体の状況に応じて適切に切り替えて出力するので、撮像モード判定フレームを出力するようなことをしなくても白飛び等を回避した鮮明な画像を出力することができる。
【００３５】
第１１の発明では、第１０の発明において、前記撮像モード切替部は、前記第１撮像モードラスタと第２撮像モードラスタとを、前記各フレームにおいて相互に隣接するよう交互に配置する。
【００３６】
こうすることで、第１撮像モードラスタと第２撮像モードラスタとが均等にされた状態でフレームを構成するので、フレームの部分的な特定箇所の出力信号の状態ではなく、フレーム全体の出力信号の状態に基づいて、撮像モードの判定をすることができる。
【００３７】
第１２の発明では、第１１の発明において、前記撮像モード切替部は、時系列に隣接する前記フレーム間において、前記第１撮像モードラスタと第２撮像モードラスタの位置を入れ替える。
【００３８】
撮像モード判定対象となるラスタ（第１撮像モードラスタ又は第２撮像モードラスタ）の位置が時間の経過に対して入れ替わるため、フレーム内の特定位置の状況に基づいて判定し続けることが回避され、被写体の状況変化に対応して、撮像モードの判定を適切に行い得る。
【００３９】
第１３の発明では、第１ないし第１２の何れかの発明において、前記撮像素子は、前記各画素回路に蓄積されている電荷の一部を、前記出力信号の出力前に排出させる蓄積電荷排出動作を実行可能な蓄積電荷排出回路をさらに有し、前記撮像モード切替部は、前記制御部によって指定された撮像モードに基づいて、前記蓄積電荷排出回路の蓄積電荷排出動作の実行及び非実行を切り替える。
【００４０】
この構成によると、蓄積電荷排出回路による蓄積電荷排出動作を非実行としたときには、各画素回路に対して電荷が線形的に蓄積されると共に、受光光量が大きいときには電荷の蓄積が飽和することになる。従って、蓄積電荷排出動作を非実行としたときには、受光素子の受光光量が所定の光量よりも小さい場合に出力信号が線形的に増加する一方、受光素子の受光光量が所定の光量以上の場合に出力信号が飽和する第１撮像モードでの動作を行い得る。
【００４１】
一方、蓄積電荷排出回路の蓄積電荷排出動作を実行するときには、各画素回路に蓄積されている電荷の一部が排出されるため、各画素回路において蓄積電荷が飽和することが回避され、受光素子の受光光量が所定の光量以上の場合でも出力信号が飽和しなくなり、第２撮像モードでの動作を行い得る。
【００４２】
第１４の発明では、第１３の発明において、前記蓄積電荷排出回路は、蓄積電荷を排出する経路の途中に設けられると共に、トランジスタで構成された電荷排出ゲートを含み、前記電荷排出ゲートは、前記第２撮像モードにおいて、前記第１撮像モードよりも、前記受光素子の受光光量が小さい段階で電荷の排出を開始するよう制御される。
【００４３】
この構成によると、蓄積電荷排出回路は、画素回路に蓄積されている電荷を電荷排出ゲートを通じて排出する。このとき、電荷排出ゲートを制御することにより、第１撮像モードよりも受光光量が小さい段階から電荷の排出を開始させることによって、第１撮像モードで撮像すると出力信号が飽和するような受光光量においても、出力信号が飽和しないようにすることができる。これによって、第２撮像モードを実現することができる。
【発明の効果】
【００４４】
以上説明したように、本発明の撮像装置では、ダイナミックレンジが相対的に狭い動作状態とダイナミックレンジが相対的に広い動作状態とを適切に切り替えて撮像することができ、それによって、それぞれの動作状態の利点を活かしつつ、それぞれの欠点を補うことができる。
【発明を実施するための最良の形態】
【００４５】
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎない。
【００４６】
本発明の撮像装置１は、図１に示すように、入射した光を電気信号に変換して撮像データとして出力する撮像素子２と、該撮像素子２から出力された撮像データを一時的に格納するバッファメモリ３と、該バッファメモリ３から撮像データが転送されて、その撮像データに基づき画像データを構築する画像処理部４と、撮像素子２の撮像モードを、詳しくは後述するが、ダイナミックレンジが相対的に狭いＮＤＲ（Ｎａｒｒｏｗ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）モードとダイナミックレンジが相対的に広いＷＤＲ（Ｗｉｄｅ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）モードとに切り替える撮像モード切替部５と、バッファメモリ３に格納された撮像データに基づいて撮像モード切替部５に対して撮像モードを指定すると共に、撮像素子２の動作全体を制御する制御部６と、を備えている。
【００４７】
撮像素子２は、図１に示すように、主走査方向（図１における上下方向）及びそれに直交する副走査方向（図１における左右方向）のそれぞれの方向に並んで配置されることによって行列状に配設された複数の画素回路２１１と、該画素回路２１１に連設された蓄積電荷排出回路２１２と、を有するセンサエリア２１と、該センサエリア２１の、図１においては右側に配設された出力信号処理部２２と、センサエリア２１の、図１においては下側に配設された周辺回路２３と、を備えている。
【００４８】
画素回路２１１は、図１，図２に示すように（尚、図２は図１に対して９０°時計回りに回転させた状態を示している）、等間隔（例えば７．８μｍ間隔）となるように主走査方向に、例えば６４０個、副走査方向に、例えば４８０個配置されており、これにより、画素回路２１１は、１つの撮像素子２内に、合計６４０×４８０個設けられている。これによって、この撮像素子２は、いわゆる１／３インチの撮像素子を構成すると共に、撮像装置１はＶＧＡ相当の解像度をもつ画像を出力することができる。
【００４９】
各画素回路２１１は、図３に示すように、受光素子としてのフォトダイオード２１１ａと、該フォトダイオード２１１ａで生成されかつ第１ノードＮ１に蓄積された電荷を第２ノードＮ２に転送するための転送ゲート２１１ｂと、第２ノードＮ２に蓄積されている電荷をクリアし得るリセットスイッチ２１１ｃと、第２ノードＮ２の電位に対応する信号を増幅して出力するアンプ２１１ｄと、該アンプ２１１ｄと出力ノードＮＯとの間に配設されて、前記アンプ２１１ｄにより増幅した信号を所定のタイミングで画素回路２１１から出力する画素選択スイッチ２１１ｅと、を備えている。
【００５０】
フォトダイオード２１１ａは、半導体のｐｎ接合によって構成されており、いわゆる光起電力効果によって、入射光を受けて、その受光光量に応じた量の電荷を発生させる。このフォトダイオード２１１ａのカソード側は第１ノードＮ１に接続されている一方、アノード側は接地電位ＶＳＳを供給する接地ノードＮ４に接続されて接地電位ＶＳＳにバイアスされている。従って、フォトダイオード２１１ａで発生する電荷は負電荷となり、この負電荷が、フォトダイオード２１１ａの電荷を蓄積できる容量としての第１ノードＮ１に蓄積される。
【００５１】
転送ゲート２１１ｂは、第１ノードＮ１と第２ノードＮ２との間に介設されかつ、例えばトランジスタによって構成されるスイッチ素子であり、転送制御信号ＴＧによってそのオン、オフが制御される。これによって転送ゲート２１１ｂは、第１ノードＮ１に蓄積されている電荷の、第１ノードＮ１から第２ノードＮ２への転送のタイミングを制御する機能を有している。
【００５２】
リセットスイッチ２１１ｃは、第２ノードＮ２と電源電位ＶＤＤを供給する電源電位ノードＮ３との間に介設されかつ、例えばトランジスタによって構成されるスイッチ素子であり、リセット制御信号ＲＦによってそのオン、オフが制御される。これによって、リセットスイッチ２１１ｃは、所定のタイミングで（つまり、第１ノードＮ１から第２ノードＮ２に電荷を転送する前に）第２ノードＮ２の電荷を除去する機能を有している。尚、電源電位ＶＤＤは、第２ノードＮ２の電荷が負電荷であるので正電位とされている。
【００５３】
アンプ２１１ｄは、前述したように、第２ノードＮ２の電荷に対応する信号を増幅して出力するものであり、その入力ノードが第２ノードＮ２と接続されると共に、その出力ノードが、画素選択スイッチ２１１ｅを介して出力ノードＮＯに接続されており、例えばソースフォロア回路によって構成される。
【００５４】
画素選択スイッチ２１１ｅは、アンプ２１１ｄと出力ノードＮＯとの間に介設されかつ、例えばトランジスタによって構成されるスイッチ素子であり、画素選択制御信号ＰＳによってそのオン、オフが制御される。これによって、画素選択スイッチ２１１ｅは、アンプ２１１ｄによって増幅された信号の、当該アンプ２１１ｄから出力ノードＮＯへの、ひいては出力信号処理部２２への出力タイミングを制御する機能を有している。
【００５５】
蓄積電荷排出回路２１２は、図１，図２に示すように、この実施形態においては、１つの画素回路２１１に対し１つ設けられている。
【００５６】
蓄積電荷排出回路２１２は、第１ノードＮ１に蓄積されている電荷を、必要に応じて排出させるための回路であり、図３に示すように、接地電位ＶＳＳを供給する接地ノードＮ４によって接地電位ＶＳＳにバイアスされたオーバーフロードレイン２１２ｂと、オーバーフロードレイン容量としての第５ノードＮ５と前記画素回路２１１の第１ノードＮ１との間に介設される電荷排出ゲート２１２ａと、第５ノードＮ５と電源電位ＶＤＤ２を供給する電源電位ノードＮ６との間に介設されるクリアスイッチ２１２ｃと、その入力ノードが第５ノードＮ５に接続されると共に、その出力ノードが電荷排出ゲート２１２ａに接続される反転アンプ２１２ｄと、を備えている。
【００５７】
ここで、電源電位ＶＤＤ２は切り替え可能な電源電位であり、撮像モード切替部５によって電源電位ＶＤＤ、又はこれより低い中間電位としての電源電位（但し、正電位）のいずれかに切り替えられる。
【００５８】
電荷排出ゲート２１２ａは、第１ノードＮ１に蓄積されている電荷の、第１ノードＮ１から第５ノードＮ５への転送（つまり、排出）を制御する機能を有する。本実施形態では、この電荷排出ゲート２１２ａは、等価的に可変抵抗として機能するトランジスタによって構成され、詳しくは後述するが、反転アンプ２１２ｄの出力電位Ｖｇに基づいて制御されることによって、電荷排出ゲート２１２ａによって構成されるポテンシャル障壁の高さが変化して電荷排出動作が変更制御されることになる。
【００５９】
オーバーフロードレイン２１２ｂは、第１ノードＮ１から電荷排出ゲート２１２ａを通って第５ノードＮ５に転送された電荷を蓄積する。
【００６０】
クリアスイッチ２１２ｃは、トランジスタによって構成されるスイッチ素子であり、クリア制御信号ＲＯによって、そのオン、オフが制御される。クリアスイッチ２１２ｃがオンのときには、電源電位ノードＮ６から供給される電源電位ＶＤＤ２によって第５ノードＮ５の電荷を消滅させる一方、クリアスイッチ２１２ｃがオフのときには、第５ノードＮ５の電荷が消滅しないため、第１ノードＮ１から排出されてオーバーフロードレイン２１２ｂに電荷（電子）が蓄積されるに伴い、第５ノードＮ５の電位が低下することになる。尚、詳しくは後述するが、電源電位ＶＤＤ２の電源電位の切り替え制御、及びこのクリアスイッチ２１２ｃの制御によって、撮像素子２（各画素回路２１１）の撮像モードを、ＮＤＲモードとＷＤＲモードとの間で切り替えることができる。
【００６１】
尚、撮像モード切替部５が出力するクリア制御信号ＲＯは、撮像素子２における主走査方向（図３においては図の上下方向）に連なる各蓄積電荷排出回路２１２のクリアスイッチ２１２ｃに共通に入力されており、主走査方向に連なる各蓄積電荷排出回路２１２は、クリア制御信号ＲＯをＨｉレベルに制御することで同時に電荷排出動作を実行する。撮像素子２は、このような構成単位を副走査方向（図３においては図の左右方向）に複数行有しており（図示せず）、副走査方向において各行の電荷排出動作は、撮像モード切替部５が出力するＲＯ＿１，ＲＯ＿２・・・によって独立して制御される。
【００６２】
即ち、本実施形態では、主走査方向に連なる各蓄積電荷排出回路２１２を一単位として、撮像モードをＮＤＲモードとＷＤＲモードとの間で切り替えることができ、後述の１フレーム中の副走査方向において、ＮＤＲモードで撮像する行とＷＤＲモードで撮像する行とを混在させることができる（図１１等を参照）。  
【００６３】
反転アンプ２１２ｄは、入力電位としての第５ノードＮ５の電位が高いときには出力電位Ｖｇが低くなり、逆に第５ノードＮ５の電位が低いときには出力電位Ｖｇが高くなるように構成されている。この出力電位Ｖｇが電荷排出ゲート２１２ａを構成するトランジスタのゲートに印加される。これによって、電荷排出ゲート２１２ａの抵抗値（ポテンシャル障壁）は、第５ノードＮ５の電位に応じて変化することになる。
【００６４】
ここで、センサエリア２１の動作について説明する。センサエリア２１に光が入射すると、フォトダイオード２１１ａで電荷が発生し、その電荷が第１ノードＮ１に蓄積される。この第１ノードＮ１の電荷は、１フレーム期間中に設定される所定の電荷蓄積期間においてフォトダイオード２１１ａに光が入射している間、蓄積され続ける。そうして、第１ノードＮ１における電荷の蓄積量が電荷排出ゲート２１２ａが有する電位としてのポテンシャル障壁を越えると、第１ノードＮ１から第５ノードＮ５へ電荷が溢れる。
【００６５】
ここで、電源電位ＶＤＤ２は切り替え可能に構成された電源電位であって、本実施形態では、予め２系統の電源（その電位は、例えばＶＤＤと、ＶＤＤ×３／４）を用意しておき、撮像モード切替部５が出力する信号（図示せず）に基づき、これらの系統を切り替えることでＶＤＤ２の電位をいずれかに設定する。尚、この系統の切り替えは、ラスタ単位で可能とされている。
【００６６】
この電源電位ＶＤＤ２の切り替えについては、系統をＶＤＤと、ＶＤＤ×αとしておき、後者を撮像モード切替部５に備えたＤＡコンバータで生成するようにしてもよい。
【００６７】
さて、電源電位ＶＤＤ２の電位を電源電位ＶＤＤと同じ電位に切り替え設定し、かつクリアスイッチ２１２ｃがオンのときには、第５ノードＮ５の電位が電源電位ＶＤＤと略同じであるので、第１ノードＮ１から第５ノードＮ５に溢れた電荷は第５ノードＮ５に吸引され消滅する（つまり、ＶＤＤがクリア電位となる）。従って、第５ノードＮ５の電位は、電源電位ＶＤＤのままで変わらないので、反転アンプ２１２ｄの出力電位Ｖｇは、低いままであり、電荷排出ゲート２１２ａが有するポテンシャル障壁は、高いままで変化しない。そのため、クリアスイッチ２１２ｃがオンの状態では、第１ノードＮ１の蓄積電荷の量は、フォトダイオード２１１ａの受光光量の増加に伴って線形的に増加し、所定の受光光量でフォトダイオード２１１ａの電荷蓄積容量に達して飽和する。従って、画素回路２１１から出力される前記出力信号もフォトダイオード２１１ａの受光光量の増加に伴って線形的に増加し、所定の受光光量で飽和するような特性となる（このようにして飽和に達した出力信号の電位を「飽和電位」とも呼称する）。この出力特性は、ダイナミックレンジが相対的に狭いという欠点を有するものの、飽和に至らないような所定の受光光量以下においては、線形的な出力特性が得られるという利点がある。このように、クリアスイッチ２１２ｃをオンにした状態では、撮像素子２の撮像モードが、第１撮像モードとしてのＮＤＲモードになる。
【００６８】
これに対し、クリアスイッチ２１２ｃをオフにしたときには、第１ノードＮ１から第５ノードＮ５に排出された電荷は、オーバーフロードレイン２１２ｂに蓄積されることになり、その排出量に応じて第５ノードＮ５の電位は次第に低くなる。このため、反転アンプ２１２ｄの出力電位Ｖｇは次第に高くなり、それに伴い電荷排出ゲート２１２ａのポテンシャル障壁は次第に低くなる。このことにより、第１ノードＮ１から第５ノードＮ５への電荷の排出が促進される。そうして電荷の排出が促進されることに伴い、第５ノードＮ５の電位がさらに低下し、電荷排出ゲート２１２ａのポテンシャル障壁の高さもさらに低くなる。こうして、第１ノードＮ１から第５ノードＮ５への電荷の排出が加速度的に促進されることになる。
【００６９】
尚、本実施形態においては、クリアスイッチ２１２ｃをオフする前の所定期間において、電源電位ＶＤＤ２を電源電位ＶＤＤより低い電位（例えば、クリア電位はＶＤＤ×３／４）に切り替え、クリアスイッチ２１２ｃをオンすることで、オーバーフロードレイン２１２ｂに蓄積された排出電荷を一旦クリアする。こうすることで、第５ノードＮ５の電位は電源電位ＶＤＤより低い電位に設定され、前記所定期間において反転アンプ２１２ｄを経て出力される出力電位Ｖｇは、少なくとも上述したＮＤＲモードのときよりも高くなる。従って、電荷排出ゲート２１２ａが形成するポテンシャル障壁の高さはＮＤＲモードの場合よりも低くなる。その結果、飽和電位に達する前に第１ノードＮ１から第５ノードＮ５に電荷が溢れることとなる。つまり、機能的に表現すると、電荷排出ゲート２１２ａはＮＤＲモードのときよりも、受光光量が小さい段階で電荷の排出を開始するよう制御される、ということである。
【００７０】
更に、本実施形態においては、電荷排出ゲート２１２ａのゲート幅およびゲート長を電荷移動を制限するように（即ち、ゲート幅を狭く、又はかつゲート長を長くするように）調整することで、仮に電荷排出ゲート２１２ａが開放（反転アンプ２１２ｄの出力Ｖｇが大きくなり電荷を完全に排出し得る状態、つまりポテンシャル障壁の高さが最低となった状態）された場合であっても、予め定められた電荷排出期間において第１ノードＮ１に蓄積された電荷がオーバーフロードレイン２１２ｂに全て排出されない程度に、電荷排出量（あるいは電荷排出速度）を抑制するようにしている。つまり、本実施形態の撮像装置１においては、電荷排出動作を行なっても、それまでに第１ノードＮ１に蓄積された電荷は全て排出されず、その一部のみが排出されることとなる。
【００７１】
尚、電荷移動を制限する方法としては、上述したゲート部分の物理的形状を調整する以外に、電荷排出ゲート２１２ａを構成するトランジスタの不純物濃度を低く調整するようにしてもよい。
【００７２】
以上説明してきたように、オーバーフロードレイン２１２ｂを一旦中間電位でクリアする制御、及び電荷排出を抑制する構成を導入したことで、本実施形態の撮像素子は、
ｉ）受光光量が小さく、フォトダイオード２１１ａで生成された電荷が電荷排出ゲート２１２ａのポテンシャル障壁（上述のように、ＮＤＲモードよりも障壁の高さは低い）を越えて溢れない場合は、出力特性は線形特性を示し、
ii）受光光量が大きくなり、フォトダイオード２１１ａで生成された電荷が電荷排出ゲート２１２ａのポテンシャル障壁を越えて溢れた場合は、フォトダイオード２１１ａで新たに生成される電荷の量に応じて電荷排出量が動的に（しかも自律的に）調整される、
という新規な作用をもたらす。
【００７３】
従って、電荷蓄積期間中の少なくとも一部の期間において、クリアスイッチ２１２ｃをオフにすることによって、第１ノードＮ１の蓄積電荷の量は、フォトダイオード２１１ａの受光光量の増加に伴って線形的に増加せずに、受光光量が増加しても飽和が抑制される。このとき、画素回路２１１から出力される出力信号は、フォトダイオード２１１ａの受光光量の増加に伴って、その飽和に対応する上限値に漸近するような、対数特性に類似する特性を示すようになる。このように本実施形態の撮像素子は、受光光量が小さい場合の出力は線形特性を示すが、受光光量が大きくなるとその出力は対数特性を示し、これらの特性が所定の光量（フォトダイオード２１１ａで生成された電荷が電荷排出ゲート２１２ａのポテンシャル障壁を越えて溢れ始める光量）において繋がった、ハイブリッドな出力特性を備える。これによって、通常の対数特性を備える撮像素子と同様にワイドダイナミックレンジを確保できると共に、単に対数特性を備える撮像素子と比較して、線形特性部分が存在する分、高輝度領域の圧縮の程度が小さくなり、高輝度領域における階調性が確保されるという効果を奏する。
【００７４】
更に、上述のように、オーバーフロードレイン２１２ｂをクリアする電位を調整可能（ＶＤＤ×α）とすれば、電荷排出ゲート２１２ａのポテンシャル障壁の高さを任意に設定できるため、線形特性から対数特性に切り替えるポイント設定の自由度が高まり、あらゆる撮像条件に対応することが可能となる。
【００７５】
このように、クリアスイッチ２１２ｃをオフにする期間を設けることによって、撮像素子２の撮像モードが第２撮像モードとしてのＷＤＲモードになる。
【００７６】
しかしながら、この出力特性は、ダイナミックレンジが相対的に広いという利点を有するものの、飽和に至らないような所定の受光光量以下においては出力を圧縮している点において変わりなく、コントラストの低下や階調の低下を招くという課題が残存する。
【００７７】
そうして所定の電荷蓄積期間が経過した後に、転送制御信号ＴＧによって転送ゲート２１１ｂをオンにし、第１ノードＮ１の蓄積電荷を第２ノードＮ２に転送する。第２ノードＮ２に転送された電荷に対応する信号は、所定のタイミングでアンプ２１１ｄによって増幅されて出力ノードＮＯから出力信号として出力される。
【００７８】
続いて、撮像素子２のセンサエリア２１以外の構成要素について説明する。
【００７９】
出力信号処理部２２は、図示省略のＣＤＳと、ＡＤコンバータと、を備えている。
【００８０】
ＣＤＳとＡＤコンバータは、各画素回路２１１に対応して主走査方向にそれぞれ６４０個設けられている。
【００８１】
ＣＤＳは、出力ノードＮＯから出力された出力信号に含まれるノイズをいわゆる相関二重サンプルにより除去する。
【００８２】
ＡＤコンバータは、出力ノードＮＯから出力された出力信号をアナログ信号からデジタル信号に変換する。
【００８３】
周辺回路２３は、画素回路２１１が撮像するときの同期をとるタイミング信号を出力する。このタイミング信号には、前記の転送制御信号ＴＧ、リセット制御信号ＲＦ及び画素選択制御信号ＰＳも含まれている。
【００８４】
ここで、撮像素子２の動作について説明する。まず、周辺回路２３から主走査方向（図３においては図面の上下方向）に延びる画素行（以下、ラスタともいう）ごとにタイミング信号が出力される。周辺回路２３から出力されたタイミング信号は、図示省略の制御信号線を通って各画素回路２１１及び各蓄積電荷排出回路２１２に出力される。次に、タイミング信号に基づいて各画素回路２１１で撮像が行われる。このとき、前述したように各画素回路２１１から出力信号が出力される。撮像は、主走査方向に連なる複数の画素回路２１１等で構成されるラスタ単位で副走査方向にずらしながら４８０列走査され、これによって１フレーム分の６４０×４８０画素の出力信号を得ることができる。この出力信号は、読出信号線を通って出力信号処理部２２に出力され、この出力信号処理部２２でノイズ除去とデジタル信号化が行われる。そうして、このデジタル信号化された出力信号（以下、撮像データともいう）が撮像データパスを介してバッファメモリ３に転送される。尚、出力信号処理部２２は、全てのラスタ（４８０本）について共有されており、本実施形態の撮像素子２には６４０個の出力信号処理部２２が搭載されている。
【００８５】
尚、本実施形態では、各画素回路２１１に１つの蓄積電荷排出回路２１２を設けているが、図１４のように、主走査方向及び副走査方向に隣接する４つの画素回路２１１によって１つの画素グループを構成し、その画素グループで１つの蓄積電荷排出回路２１２を共有してもよい。ここで、第１ノードＮ１に電荷を蓄積する電荷蓄積期間は、いわゆる電子シャッタを切るタイミングによって決定されるが、この電子シャッタを切る方法としていわゆるローリングシャッタ動作を用いると、ラスタ単位でシャッタを切るので、副走査方向に隣接するラスタの画素回路２１１間で、同じ蓄積電荷排出回路２１２に電荷を排出するタイミングが重畳し、そのことが画素回路２１１からの電荷排出動作に悪影響を及ぼす虞がある。これを回避するには、蓄積電荷排出回路２１２が跨る２つのラスタ単位でシャッタを切るローリングシャッタ動作を行うことが好ましい。また、４つの画素回路２１１から排出される電荷が１つのオーバーフロードレイン２１２ｂに蓄積されるため、オーバーフロードレイン２１２ｂの電荷を蓄積できる容量を超える虞がある。この場合には、電荷がオーバーフロードレイン２１２ｂから周囲のフォトダイオード２１１ａに溢れ出て、撮像装置１から出力される画像の画質が劣化する。この点について、図２のように、各画素回路２１１に対して１つの蓄積電荷排出回路２１２を設けた構成は、１つの画素回路２１１に対して十分なオーバーフロードレイン容量を確保することができる点で有利である。また、図２のように、蓄積電荷排出回路２１２を複数の画素回路２１１で共有せずに各画素回路２１１に対して１つの蓄積電荷排出回路２１２を設けることは、蓄積電荷排出回路２１２に排出される電荷が周囲の画素回路２１１に影響を及ぼさないので、１ラスタ単位でローリングシャッタ動作を行うことができる点でも有利になる。
【００８６】
また、図１５のように、画素回路２１１に対して蓄積電荷排出回路２１２を千鳥に配設し、４つの画素回路２１１で実質２つの蓄積電荷排出回路２１２を割り当ててもよい。こうすることで、図１４の構成をとるよりも、１つの画素回路２１１に対するオーバーフロードレイン容量を大きくすることができる。しかしながら、ローリングシャッタ動作を用いる場合には、ラスタ単位でシャッタを切るので、隣接するラスタの画素回路２１１から同じ蓄積電荷排出回路２１２に電荷が排出されるタイミングがずれることによる影響が副走査方向に隣接する画素回路２１１だけでなく、全画素回路２１１に拡がる虞がある。このため、撮像素子２に搭載された全ての画素回路２１１について同一のタイミングで電子シャッタ動作を行なう、いわゆるグローバルシャッタ動作を用いるほうが好ましい。
【００８７】
さらに、図１６ように、４つの画素回路２１１で実質４つの蓄積電荷排出回路２１２を割り当ててもよい。こうすることで、１つの画素回路２１１に対するオーバーフロードレイン容量をさらに大きくすることができる。しかしながら、前記と同様に、隣接するラスタの画素回路２１１から同じ蓄積電荷排出回路２１２に電荷が排出されるタイミングがずれることによる影響が全画素回路２１１に拡がるため、グローバルシャッタ動作を用いるほうが好ましい。
【００８８】
尚、図１４ないし図１６のように、１つの蓄積電荷排出回路２１２を複数の画素回路２１１によって共有する場合には、図４に示すように、各画素回路２１１と蓄積電荷排出回路２１２との間に電荷排出ゲート２１２ａを設ければよい。
【００８９】
また、図１４ないし図１６のような構成においても、上述したように電荷排出ゲート２１２ａにおける電荷排出能力を抑制するように構成することが好ましい。
【００９０】
次に、撮像装置１の撮像素子２以外の構成要素について説明する。バッファメモリ３は、前述したように、撮像素子２から出力された撮像データを一時的に格納する記憶装置であり、本実施形態では２フレーム分の記憶容量を有するデュアルポートメモリである。
【００９１】
画像処理部４は、バッファメモリ３から転送される撮像データを画像処理することにより画像データに変換する機能を有する。この画像処理部４で行われる画像処理には、例えば図５に示すように、光が撮像素子２に入射する前に、画素回路２１１に対応するように、緑のフィルタを千鳥に配置すると共に、その緑のフィルタの間に赤及び青のフィルタを交互に配置した、いわゆるベイヤ配列のカラーフィルタに通しておいて、それによって得られる赤、緑、青の色情報を有する撮像データに対して、対象とする撮像データの実際の色を周囲の撮像データの色から推測する、いわゆる補間処理がある。この画像処理部４は、前記のような画像処理を行うために、撮像データ（いわゆるＲＡＷデータ）を格納するための記憶装置を有している。尚、この記憶装置をバッファメモリ３として用いてもよい。
【００９２】
撮像モード切替部５は、制御部６からの制御信号に基づいて、クリアスイッチ２１２ｃをオン、オフするためのクリア制御信号ＲＯを撮像素子２に送り、それによって各撮像素子２の撮像モードをＮＤＲモード又はＷＤＲモードにする機能を有する。但し、上述したように、撮像モードの切替は、主走査方向に連なる各電荷排出回路２１２を一単位として列単位に行なわれる。
【００９３】
制御部６は、図示は省略するがＣＰＵと、いわゆるワイヤードロジックで構成される演算部と、を備えて構成され、出力信号処理部２２と周辺回路２３とを制御することによって、撮像素子２の動作全体を制御する。制御部６はまた、本実施形態に係る撮像装置１において特徴的な点として、各画素回路２１１について適切な撮像モードを判断し、撮像モード切替部５に対して判断した撮像モードにするように命令する機能を有する。尚、図例では、制御部６とは別に、撮像モード切替部５の機能ブロックを設けているが、この制御部６の中に撮像モード切替部５の機能を含めてもよい。
【００９４】
次に、制御部６が実行する撮像モードの判断処理について、図７に示すフローチャートを参照しながら説明する。
【００９５】
前述したように、撮像素子２から出力される撮像データは、６４０（画素）×４８０（ラスタ）のフレームを構成する。そうして、撮像装置１は、１秒間に３０フレームを出力することによって動画を提供する。制御部６は、適切な撮像モードの判断を、撮像モード判定フレームに基づいて行う。そのために制御部６は、図６に示すように、所定枚数のフレームを出力する毎に撮像モード判定フレームを挿入することを命令する。本実施形態では、撮像装置１が３０フレーム／秒に設定されているのに対し、０．５秒毎に適切な撮像モードの判断を行うべく、制御部６は、１４枚のフレームを出力する毎に撮像モード判定フレームを挿入することを命令する。撮像モード判定フレームは、各画素回路２１１が第１撮像モードで撮像を行ったときの撮像データによって構成され、制御部６は、基本的には、その撮像モード判定フレーム内に飽和状態の撮像データが含まれているか否かに基づいて、適切な撮像モードを判断する。
【００９６】
先ず、図７に示すフローチャートにおける各変数を定義すると、ＦＣは撮像したフレーム数をカウントするフレームカウンタ、ＩＮＳＥＲＴは撮像モード判定フレームの挿入の有無を示す挿入フラグ、ＩＮＳＥＲＴ＿Ｒは撮像モード判定フレームを挿入するタイミングを制御する制御定数であり、ここでは１５に設定している。また、ＰＭは撮像モードを示すパラメータ、ＴＥＭＰはパラメータＰＭを退避する退避変数である。
【００９７】
同フローチャートにおいて先ず、ステップＳ１では、以下のステップで使用する変数の初期化を行う。具体的には、フレームカウンタＦＣに０を、挿入フラグＩＮＳＥＲＴに０を、パラメータＰＭにＮＤＲモードをそれぞれ入力する。
【００９８】
続くステップＳ２では、ユーザーから撮像の指示がされているか否かを判定する。ユーザーから撮像の指示がされている場合には、ステップＳ３に移行する一方、ユーザーから撮像の指示がされていない場合には、処理を終了する。尚、撮像装置１がランタイムモニタ等のオペレーティングシステムを搭載している場合には、所定のブレーク期間を経て、ステップＳ１又はステップＳ２に戻るループを構成してもよい。
【００９９】
前記ステップＳ３では、撮像モード判定フレームの挿入を行うか否かを判定する。具体的には、挿入フラグＩＮＳＥＲＴが０の場合にはステップＳ４に移行して撮像モード判定フレームの挿入を行う一方、挿入フラグＩＮＳＥＲＴが０でない場合にはステップＳ１２に移行して撮像モード判定フレームの挿入を行わない。
【０１００】
まず、撮像モード判定フレームの挿入を行う（つまり、挿入フラグＩＮＳＥＲＴが０の場合）として説明を続けると、前記ステップＳ４では、パラメータＰＭを退避変数ＴＥＭＰに退避する。
【０１０１】
続くステップＳ５では、撮像モード切替部５に対して撮像モードをＮＤＲモードにするように命令し、撮像を行う。このため、これまでＮＤＲモードで撮像を行っていた場合は、そのままＮＤＲモードで撮像を行うことになるのに対し、これまでＷＤＲモードで撮像を行っていた場合は、ＮＤＲモードに切り替わることになる。これによって得られるＮＤＲモードのフレームが撮像モード判定フレームとなる。
【０１０２】
続くステップＳ６では、前記ステップＳ５で得られた撮像モード判定フレームをバッファメモリ３に格納する。
【０１０３】
続くステップＳ７では、バッファメモリ３に格納した撮像モード判定フレームの中に飽和状態の撮像データが含まれているか否かを判定（以下、飽和判定ともいう）する。このとき、撮像データが飽和状態にあるとは、例えば撮像データが８ビットで出力されているのであれば、その上限値である２５５のときであるとしてもよい。また、所定の値（例えば、２５０）を超えたときには、撮像データが飽和状態にあると判断してもよい。こうすることで、アンプ２１１ｄや出力信号処理部２２のＡＤコンバータで、出力信号に生じ得る誤差の影響を回避することができる。尚、撮像データが飽和状態にあるとは、換言すれば、その撮像データを画像として出力したときに白飛びするということである。
【０１０４】
飽和判定は、撮像モード判定フレームに含まれる全ての撮像データを対象として行ってもよいが、一部の撮像データに対してのみ行ってもよい。例えば、前述したベイヤ配列のカラーフィルタによって得られる赤、緑、青の色情報を有する撮像データのうち、緑の色情報をもつ撮像データのみを対象として判定を行ってもよい。緑の色情報は、人の視覚特性において輝度との相関が最も高くかつ、１フレーム内に千鳥に配置されるため判定対象の撮像データの数が半減し、判定に要する処理時間や処理リソースの点で有利になる。また、厳密性を求める場合には、撮像データの赤、緑、青の色情報から輝度成分（Ｙ成分）を計算（ＹＣ分離）し、その輝度成分に基づいて飽和判定を行ってもよい。また、飽和判定は、撮像モード判定フレームから最も大きい値を有する撮像データを抽出し、その撮像データが所定の値を超えているか否かによって判定してもよい。さらに、飽和状態の撮像データが所定数以上存在しているときに、撮像モード判定フレームに飽和状態の撮像データが含まれていると判定してもよい。
【０１０５】
そうして、撮像モード判定フレームに飽和状態の撮像データが含まれていると判断されるときは、ステップＳ８に移行する一方、撮像モード判定フレームに飽和状態の撮像データが含まれていないと判断されるときは、ステップＳ９に移行する。
【０１０６】
前記ステップＳ８では、撮像モード判定フレームに飽和状態の撮像データが含まれているため、より詳細には、撮像素子２の受光光量が大きく、ＮＤＲモードで撮像すると飽和状態になる撮像データが出力されるため、パラメータＰＭにＷＤＲモードを入力する。そうして、ステップＳ１０に移行する。
【０１０７】
前記ステップＳ９では、撮像モード判定フレームに飽和状態の撮像データが含まれてないため、より詳細には、撮像素子２の受光光量が小さく、ＮＤＲモードで撮像しても飽和状態の撮像データが出力されないため、パラメータＰＭにＮＤＲモードを入力する。そうして、ステップＳ１４に移行する。
【０１０８】
前記ステップＳ１０では、前記ステップＳ４で退避変数ＴＥＭＰに退避しておいたパラメータＰＭがＷＤＲモードであるか否かを判定する。そうして、退避変数ＴＥＭＰがＷＤＲモードのときは、ステップＳ１１に移行する一方、退避変数ＴＥＭＰがＷＤＲモードでないときは、ステップＳ１４に移行する。
【０１０９】
前記ステップＳ１１では、バッファメモリ３から前記ステップＳ６で格納した撮像モード判定フレームの１つ前に格納したフレームを取り出して画像処理部４に出力する。そうして、ステップＳ１５に移行する。一方、前記ステップＳ１４では、直近にバッファメモリ３に格納されたフレームを画像処理部４に出力する。つまり、前記ステップＳ６でバッファメモリ３に格納した撮像モード判定フレームを画像処理部４に出力する。そうして、ステップＳ１５に移行する。
【０１１０】
ここで、ステップＳ１１における撮像モード判定フレームの１つ前にバッファメモリ３に格納したフレームとは、退避変数ＴＥＭＰが示すＷＤＲモードで撮像したフレームのことである。つまり、撮像モード判定フレームが挿入される前に画像処理部４に出力されたフレームを２回続けて画像処理部４に出力することになる。すなわち、図８の（ａ）に示すように、撮像モード判定フレームを挿入する前に画像処理部４に出力されたフレームの撮像モードがＷＤＲモードで、撮像モード判定フレームを挿入した後に画像処理部４に出力するフレームの撮像モードもＷＤＲモードのときには、この状態のままフレームを画像処理部４に出力すると、連続して出力されるＷＤＲモードのフレームの間に飽和状態の撮像データを含むＮＤＲモードのフレームが画像処理部４に出力される。この撮像モードが一瞬切り替わる状態を動画として出力すると、動画を見ている人は一瞬白飛びした画像を見ることになり、違和感を感じてしまう。このことを防止するため、ＮＤＲモードの撮像モード判定フレームを画像処理部４に出力する代わりに、撮像モード判定フレームを挿入する前に画像処理部４に出力したＷＤＲモードのフレームを２回続けて出力している。
【０１１１】
これに対し、図８の（ｂ）に示す、撮像モード判定フレームを挿入する前に画像処理部４に出力されたフレームの撮像モードがＮＤＲモードで、撮像モード判定フレームを挿入した後に画像処理部４に出力するフレームの撮像モードもＮＤＲモードのときや、図８の（ｃ）に示す、撮像モード判定フレームを挿入する前に画像処理部４に出力されたフレームの撮像モードがＮＤＲモードで、撮像モード判定フレームを挿入した後に画像処理部４に出力するフレームの撮像モードがＷＤＲモードのときや、図８の（ｄ）に示す、撮像モード判定フレームを挿入する前に画像処理部４に出力されたフレームの撮像モードがＷＤＲモードで、撮像モード判定フレームを挿入した後に画像処理部４に出力するフレームの撮像モードがＮＤＲモードのときには、前述した撮像モードが一瞬だけ切り替わる状態が起きないので、ステップＳ１４において、撮像モード判定フレームをそのまま画像処理部４に出力している。
【０１１２】
尚、本実施形態では、上述のように撮像モード判定フレームとしてＮＤＲモードで撮像したフレームを用いているが、これに換えて、ＷＤＲモードで撮像したフレームを用いることが可能である。何故ならば、ＮＤＲモードで撮像した際に出力が丁度飽和する状態をＷＤＲモードで撮像すれば、ＮＤＲモードで飽和が発生するときのＷＤＲモードにおける撮像データの値を特定することが可能だからである。
【０１１３】
さて、撮像モード判定フレームとしてＷＤＲモードで撮像したフレームを用いた場合に問題となるのは、ＮＤＲモードで撮像していた状態で、ＷＤＲモードの撮像モード判定フレームを挿入し、ここで以降の撮像モードとしてＮＤＲモードで撮像するよう判定された場合である。この場合は、上述のステップＳ１１においてＮＤＲモードで撮像したフレームを２回出力するように制御すればよい。これを一般化すると、撮像モード判定フレームの前後に連続するフレームが、撮像モード判定フレームで用いる撮像モードと異なる撮像モードで撮像されている場合は、撮像モード判定フレームを破棄して、撮像モード判定フレームの直前のフレームを再度出力するように制御する、ということになる。
【０１１４】
更に、上述したように撮像モード判定フレームとして、ＮＤＲモードのみならずＷＤＲモードで撮像したフレームも採用できるのであるから、現在の（即ち、撮像モード判定フレームを挿入する直前に撮像されたフレームの）撮像モードがＷＤＲモードであれば撮像モード判定フレームをＷＤＲモードとし、現在の撮像モードがＮＤＲモードであれば撮像モード判定フレームをＮＤＲモードとして挿入すれば、図８（ａ）に示すような撮像モード判定フレームとその前後で撮像モードが切り替わるという不具合を解消することが可能となる。当該制御を採用した場合は、上述したような、同一フレームを２回にわたって出力することが回避される。
【０１１５】
尚、撮像モード判定フレームは、撮像モードの判定にのみ用い、画像処理部４には出力しないように、画素回路２から出力する単位時間当たりのフレーム数を、撮像装置１から出力する単位時間当たりのフレーム数よりも多くしてもよい。例えば、画素回路２が、１秒間に３２フレームを出力するように構成することによって、撮像モード判定フレーム（尚、撮像モード判定フレームは１秒間に２枚である）を画像処理部４に出力しなくても、撮像装置１としては１秒間に３０フレームを出力することが可能である。この場合は前述したフローチャートにおけるステップＳ１１のような、同一フレームを２回にわたって出力することが回避される。
【０１１６】
前記ステップＳ１１及び前記ステップＳ１４から移行してきた前記ステップＳ１５では、フレームカウンタＦＣに１加算する。
【０１１７】
続くステップＳ１６では、フレームカウンタＦＣを制御定数ＩＮＳＥＲＴ＿Ｒで割り、その余りを挿入フラグＩＮＳＥＲＴに入力する。そうして、前記ステップＳ２に戻る。尚、本実施形態では、ＩＮＳＥＲＴ＿Ｒを１５に設定しており、１４枚のフレームを出力する毎に、撮像モード判定フレームを挿入することができる。尚、制御定数ＩＮＳＥＲＴ＿Ｒは、適宜変更してもよい。即ち、撮像装置１に別途ユーザー指定によるモード設定を設け、例えば、高速で動く被写体に対しては、制御定数ＩＮＳＥＲＴ＿Ｒの値を小さくし、ＮＤＲモードとＷＤＲモードの切換え機会を増加するような制御とすることが好ましい。
【０１１８】
次に、挿入フラグＩＮＳＥＲＴが０でなく、撮像モード判定フレームの挿入を行わない場合は、前記ステップＳ３からステップＳ１２に移行する。
【０１１９】
前記ステップＳ１２では、撮像モード切替部５に対して撮像モードをパラメータＰＭの値にするように命令し、撮像を行う。従って、ＮＤＲモードで撮像している最中ではそのままＮＤＲモードで撮像が行われ、ＷＤＲモードで撮像している最中ではそのままＷＤＲモードで撮像が行われる。
【０１２０】
続くステップＳ１３では、前記ステップＳ１２で得られるフレームをバッファメモリ３に格納する。そうして、前記ステップＳ１４に移行する。
【０１２１】
前記ステップＳ１４では、前述したように、直近にバッファメモリ３に格納されたフレームを画像処理部４に出力する。つまり、前記ステップＳ１２でバッファメモリ３に格納したフレームを画像処理部４に出力する。そうして、ステップＳ１５及びステップＳ１６を経て、ステップＳ２に戻る。
【０１２２】
このようにして、撮像装置１による撮像中には、ＮＤＲモードによって撮像された撮像データにより構成される撮像モード判定フレームに基づいて、適切な撮像モードが、ＮＤＲモードであるか、ＷＤＲモードであるかが判断され、その判断結果に基づいて、撮像素子２の撮像モードが適切な撮像モードに設定される。つまり、ダイナミックレンジが相対的に狭いＮＤＲモードでの撮像が可能なときには、ＮＤＲモードで撮像が行われ、ＮＤＲモードでの撮像では飽和してしまうときには、ダイナミックレンジが相対的に広いＷＤＲモードでの撮像が行われる。こうして、ＮＤＲモードとＷＤＲモードとのそれぞれの利点を活かしつつ、それぞれの欠点を補うことができる。
【０１２３】
尚、本実施形態では、撮像モード判定フレームに飽和状態の撮像データが含まれているか否かを判定することのみに基づいて、それ以降に出力するフレームの撮像モードを決定しているが、例えば図９に示すように、前記ステップＳ７で撮像モード判定フレームに飽和状態の撮像データが含まれていると判断された場合には、撮像モード判定フレームに含まれる全撮像データの平均値が所定値よりも大きいか否かを判定するステップＳ７Ａに移行するようにしてもよい。
【０１２４】
前記ステップＳ７Ａでは、撮像モード判定フレームに含まれる全撮像データの平均値が所定値よりも大きいときに前記ステップＳ８に移行して、以降の撮像モードをＷＤＲモードに設定する一方、撮像モード判定フレームに含まれる全撮像データの平均値が所定値以下のときには前記ステップＳ９に移行して、以降の撮像モードをＮＤＲモードに設定する。これによって、撮像モード判定フレームに飽和状態の撮像データが含まれており且つ、撮像モード判定フレームに含まれる全撮像データの平均値が所定値よりも大きいときにのみ、撮像モードをＷＤＲモードとし、それ以外のときには、撮像モード判定フレームに飽和状態の撮像データが含まれていても、撮像モードをＮＤＲモードとする。このことにより、撮像モード判定フレームにおいて飽和状態（つまり、高輝度）の撮像データが比較的広い範囲に拡がっているとき（平均値が所定値よりも大きいとき）には、白飛びの領域が広くなることから、撮像モードをＷＤＲモードとして画像の白飛びを回避する一方、その飽和状態の撮像データが局所的にしかないとき（平均値が所定値以下のとき）には、白飛びの領域が局所的であることから、撮像モードをＮＤＲモードとする。こうすることで、より人間の視覚に近い画像を得ることができる。
【０１２５】
尚、人間は一般に画像の中央部を注視する傾向があるため、ステップＳ７Ａにおいては、撮像モード判定フレームに含まれる全撮像データの平均値ではなく、撮像モード判定フレームの中央部に含まれる撮像データの平均値が所定値よりも大きいか否かを判定してもよい。このようにすることで人間の感覚とマッチングした撮像モードの判定が可能となる。
【０１２６】
また、図９に示す制御と同じ内容の制御であれば適宜変更してもよく、例えばステップＳ７とステップＳ７Ａとの順序を入れ替えてもよい。
【０１２７】
さらに、図１０に示すように、前記ステップＳ７で撮像モード判定フレームに飽和状態の撮像データが含まれていると判断されたときには、所定の値以下の撮像データの発生頻度が所定の基準値よりも小さいか否かを判定するステップＳ７Ｂに移行するようにしてもよい。
【０１２８】
前記ステップＳ７Ｂでは、撮像モード判定フレームにおいて所定の値以下の撮像データの発生頻度が所定の基準値よりも小さい場合に前記ステップＳ８に移行して、以降の撮像モードをＷＤＲモードに設定する一方、撮像データの発生頻度が所定の基準値以上の場合には前記ステップＳ９に移行して、以降の撮像モードをＮＤＲモードに設定する。これによって、撮像モード判定フレームに飽和状態の撮像データが含まれており且つ、撮像モード判定フレームにおいて所定の値以下の撮像データの発生頻度が所定の基準値よりも小さいときにのみ、撮像モードをＷＤＲモードとし、それ以外のときには、撮像モード判定フレームに飽和状態の撮像データが含まれていても、撮像モードをＮＤＲモードとする。すなわち、前記と同様に、撮像モード判定フレームにおいて飽和状態の撮像データが比較的広い範囲に拡がっているとき（発生頻度が基準値よりも小さいとき）には、白飛びの領域が広くなることから、撮像モードをＷＤＲモードとして画像の白飛びを回避する一方、撮像モード判定フレームにおいて飽和状態の撮像データが局所的にしかないとき（発生頻度が基準値以上のとき）には、白飛びの領域が局所的であり、画像全体としては暗いと判断されることから撮像モードをＮＤＲモードとする。
【０１２９】
尚、このステップＳ７Ｂにおいても、前記と同様に撮像モード判定フレームの中央部に含まれる撮像データのみを頻度計測する対象としてもよい。
【０１３０】
また、図１０に示す制御と同じ内容の制御であれば適宜変更してもよく、例えば前記ステップＳ７Ｂにおいては、所定の値以上の撮像データの発生頻度が所定値よりも大きいか否かを判定し、所定の値以上の撮像データの発生頻度が所定値よりも大きいときに撮像モードをＷＤＲモードにする処理にしたり、ステップＳ７とステップＳ７Ｂとの順序を入れ替えたりしてもよい。
【０１３１】
また、本実施形態では、飽和判定の結果に基づいて、撮像モード判定フレームの次のフレーム以降のフレームの撮像モードを決定し、リアルタイムに撮像モードの変更を行っているが、例えば撮像モード判定フレームで判定した結果を所定の時間（例えば０．５秒間）だけ保留し、その後もう一度飽和判定をして、双方の結果が一致した場合にのみ、飽和判定により決定した撮像モードで以降に出力するフレームを撮像してもよい。こうすることで、通常、マクロな入射光量は緩やかに変化するのに対し、例えば撮像データに含まれるノイズ等の影響により、撮像データが飽和状態の境で前後して飽和判定の結果がその判定毎に入れ替わったとしても、実際の撮像モードが頻繁に入れ替わることを防止することができる。
【０１３２】
さらに、本実施形態では、撮像モード判定フレームの画素全体をＮＤＲモードの撮像データで構成しているが、本撮像素子２は、図３等に示すように、画素回路２１１と蓄積電荷排出回路２１２とが１：１対応であって、画素回路２１１毎に、個別にＮＤＲモードとＷＤＲモードとを設定し得る構成であることを利用して、例えば図１１の（ａ）に示すように、撮像モード判定フレームを、ＮＤＲモードの撮像データで構成されるラスタとＷＤＲモードで構成されるラスタとが交互になるように構成してもよい。こうすることで、飽和判定をするときには当該撮像モード判定フレームにおける半数の撮像データを判定対象として飽和判定をすることができる。また、その内の緑の色情報をもつ撮像データをさらに抽出して、それを判定対象として飽和判定をしてもよい。これによって、処理時間の短縮や処理リソースの軽減を図ることができる。このことは、撮像装置のコストを低減する点で有利である。尚、飽和判定の判定対象を減少させるサンプリングは、本実施形態のように６４０×４８０画素のＶＧＡ相当の撮像素子においても有効であると共に、例えば１２８０×１０２４画素（いわゆるＳＸＧＡ）や１６００×１２００画素（いわゆるＵＸＧＡ）のような高解像度の撮像素子を用いる場合に、特に有効である。
【０１３３】
尚、図１４のように、副走査方向に隣接する２つの画素回路２１１間で１つの蓄積電荷排出回路２１２を共有する場合には、前述したように１ラスタ単位でシャッタを切ることによる不具合が想定されるので、図１１の（ｂ）に示すように、２ラスタ単位でＮＤＲモードの撮像データとＷＤＲモードの撮像データとが交互になるように撮像モード判定フレームを構成すればよい。尚、このとき、図１４に示す１つの画素グループは、ＷＤＲモード又はＮＤＲモードで撮像するラスタに完全に包含される必要があり、１つの画素グループがＷＤＲモードとＮＤＲモードの両方に跨るように設定すべきではない。
【０１３４】
また、前記実施形態では、撮像モード判定フレームを周期的に挿入し、最適な撮像モードを周期的に判定しているが、変形例として、撮像素子２から、時系列で出力される各フレームをＮＤＲモードの撮像データ（ラスタ）とＷＤＲモードの撮像データ（ラスタ）とによって構成すると共に、時間的に連続する２つのフレームでラスタを合成することで、撮像モード判定フレームを等価的に構成すると共に、その撮像モード判定フレームに基づく判定結果に応じて、時間的に連続する２つのフレーム間でラスタを適宜合成して、撮像装置１から出力するようにしてもよい。
【０１３５】
即ち、この変形例は、撮像モード切替部５によって切り替えられた撮像モードに基づいて、撮像素子２は、フレームを構成するＮＤＲモードで撮像した出力信号に基づくラスタ（第１撮像モードラスタ）と、ＷＤＲモードで撮像した出力信号に基づくラスタ（第２撮像モードラスタ）とを出力する。そして制御部６は、第１撮像モードラスタと第２撮像モードラスタのうち、一方の撮像モードのラスタに含まれる出力信号（バッファメモリ３に格納された撮像データ）に基づいて、選択されるべき撮像モードを判定するとともに、この判定結果に基づいて、フレーム及び、このフレームの直前に撮像されたフレームから、第１撮像モードラスタ又は第２撮像モードラスタを選択し、合成するようにしたものである。
【０１３６】
具体的には、前記フレームカウンタＦＣが偶数のときには、図１２の（ａ）に示すように、副走査方向（同図の上下方向）における奇数行目（行数は１からカウントするものとする）のラスタ（以下、奇数ラスタともいう）はＮＤＲモードの撮像データによって構成する一方、偶数行目のラスタ（以下、偶数ラスタともいう）はＷＤＲモードの撮像データによって構成する。つまり、１つのフレーム内において、ＮＤＲモードで撮像されたラスタと、ＷＤＲモードで撮像されたラスタは相互に隣接するよう交互に配置されている。
【０１３７】
一方、前記フレームカウンタＦＣが奇数のときには、図１２の（ｂ）に示すように、同図（ａ）とは逆に、奇数ラスタをＷＤＲモードの撮像データによって構成する一方、偶数ラスタをＮＤＲモードの撮像データによって構成する。つまり、隣接するフレーム間において、ＮＤＲモードで撮像されたラスタとＷＤＲモードで撮像されたラスタの位置を入れ替えるようにしている。
【０１３８】
尚、ＮＤＲモードで撮像されたラスタとＷＤＲモードで撮像されたラスタは逆にしてもよい。そうして、制御部６は、図１３に示すように、フレームカウンタＦＣが１の場合には、フレームカウンタＦＣが０のときにバッファメモリ３に格納したフレーム（以下、第０フレームともいう）から奇数ラスタの撮像データ（つまり、ＮＤＲモードの撮像データ）を抽出すると共に、フレームカウンタＦＣが１のときにバッファメモリ３に格納したフレーム（以下、第１フレームともいう）から偶数ラスタの撮像データ（つまり、ＮＤＲモードの撮像データ）を抽出する。こうして、第０及び第１フレームによって、等価的に、ＮＤＲモードの撮像データのみにより構成される撮像モード判定フレームを作成する。そうして、この等価的な撮像モード判定フレームからさらに緑の色情報をもつ撮像データを抽出して飽和判定をする。尚、飽和判定は、前述の種々の判定方法を採用することが可能である。
【０１３９】
ここで、撮像データ判定フレームに飽和状態の撮像データが含まれている場合には、制御部６は、第０フレームの偶数ラスタの撮像データ（つまり、ＷＤＲモードの撮像データ）と第１フレームの奇数ラスタの撮像データ（つまり、ＷＤＲモードの撮像データ）とを合成して画像処理部４に出力（ＤＭＡ転送）する。
【０１４０】
これに対し、撮像データ判定フレームに飽和状態の撮像データが含まれていない場合には、制御部６は、第０フレームの奇数ラスタの撮像データ（つまり、ＮＤＲモードの撮像データ）と第１フレームの偶数ラスタの撮像データ（つまり、ＮＤＲモードの撮像データ）とを合成して画像処理部４に出力（ＤＭＡ転送）する。
【０１４１】
第０フレームと第１フレームとを合成して画像処理部４に出力するのと並行して、撮像素子２は、フレームカウンタＦＣが２のフレーム（以下、第２フレームともいう）をバッファメモリ３に出力する。
【０１４２】
そうして、今度は第１フレームの偶数ラスタの撮像データと第２フレームの奇数ラスタの撮像データを基にして前記と同様に飽和判定をする。このとき、制御部６は、既に第１フレームについては飽和判定をしているので、第２フレームにおける奇数ラスタの撮像データ（つまり、ＮＤＲモードの撮像データ）ついてのみ飽和判定を行えばよい。このとき、既に行なった第１フレームの飽和判定の結果と、新たに行なった第２フレームの飽和判定の結果が異なる場合は、時系列的な順序が後である第２フレームに基づく判定結果を優先させるようにしてもよい。
【０１４３】
尚、本実施形態では、連続する２つのフレームからＮＤＲモードで撮像したラスタを抽出し、これを合成して撮像モード判定フレームを等価的に構成しているが、ＮＤＲモードで撮像したラスタに替えて、ＷＤＲモードで撮像したラスタを用いてもよい。
【０１４４】
また、隣接するラスタ間では一般的に画像の相間は非常に高いため、撮像モード判定フレームとして６４０×４８０画素の画像を構築するのではなく、１回の撮像で得られたＮＤＲモードで撮像されたラスタ（あるいはＷＤＲモードで撮像されたラスタ）のみに基づいて、飽和判定等を行なうようにしてもよい。
【０１４５】
以降は、前記と同様の制御を繰り返し行うことによって、合成したフレームを連続的に画像処理部４に出力する。こうすることでも、ＮＤＲモードの撮像データに基づくフレームと、ＷＤＲモードの撮像データに基づくフレームとが切り替わりながら出力されるため、白飛び等を回避しつつ、しかも不必要にコントラストが低下したり、階調が低下したりすることを回避した動画像を得ることができる。また、この制御を行うことによって、いわゆるプログレッシブスキャンと同様の効果が得られるので、高速で動く被写体であっても画像ぶれの少ない動画を得ることができるという付随的な効果を得ることもできる。
【０１４６】
尚、ここに開示する技術は、図３等に示すような、いわゆる電荷排出動作を実行することが可能な撮像素子に限定されるものではなく、その出力特性を、互いに異なる複数の出力特性間で切り替え得る撮像素子に対して広く適用可能である。
【産業上の利用可能性】
【０１４７】
以上説明したように、本発明の撮像装置は、ダイナミックレンジが変更されるように出力特性を切り替えて動作が可能な撮像装置において、その動作切り替えを適切に行って、それぞれの動作の利点を活かしつつ、それぞれの動作の欠点を補うことができるため、例えばテレビドアフォンやネットワークカメラを含む各種装置に利用したときに、常に適切かつ高画質な画像が得られる点で有用である。
【図面の簡単な説明】
【０１４８】
【図１】本発明に係る撮像装置の概略構成図である。
【図２】画素回路と蓄積電荷排出回路との配置関係の一例を説明する図である。
【図３】本発明に係る撮像装置の回路図である。
【図４】撮像装置の変形例に係る回路図である。
【図５】ベイヤ配列のカラーフィルタの構成図である。
【図６】撮像モード判定フレームを挿入するタイミングを説明する図である。
【図７】制御部による撮像モードを決定するためのフローチャートである。
【図８】画像処理部に出力するフレームを決定する方法を説明する図である。
【図９】制御部による飽和判定の他のフローチャートである。
【図１０】制御部による飽和判定のさらに他のフローチャートである。
【図１１】撮像モード判定フレームの他の構成を示す図である。
【図１２】フレームの他の構成を示す図である。
【図１３】図１２に示すフレームを用いて画像処理部に出力するフレームを合成する方法についての説明図である。
【図１４】画素回路と蓄積電荷排出回路との配置関係の一例を説明する図である。
【図１５】画素回路と蓄積電荷排出回路との配置関係の一例を説明する図である。
【図１６】画素回路と蓄積電荷排出回路との配置関係の一例を説明する図である。
【符号の説明】
【０１４９】
１                    撮像装置
２                    撮像素子
２１                  センサエリア
２１１                画素回路
２１１ａ              フォトダイオード（受光素子）
２１２                蓄積電荷排出回路
２１２ａ              電荷排出ゲート
２１２ｂ              オーバーフロードレイン
２１２ｃ              クリアスイッチ
２２                  出力信号処理部
３                    バッファメモリ
４                    画像処理部
５                    撮像モード切替部
６                    制御部
【図１】
2010171867.tif 000003
【図２】
2010171867.tif 000004
【図３】
2010171867.tif 000005
【図４】
2010171867.tif 000006
【図５】
2010171867.tif 000007
【図６】
2010171867.tif 000008
【図７】
2010171867.tif 000009
【図８】
2010171867.tif 000010
【図９】
2010171867.tif 000011
【図１０】
2010171867.tif 000012
【図１１】
2010171867.tif 000013
【図１２】
2010171867.tif 000014
【図１３】
2010171867.tif 000015
【図１４】
2010171867.tif 000016
【図１５】
2010171867.tif 000017
【図１６】
2010171867.tif 000018