(57)【要約】【課題】被写体の状況に応じて白飛び等を回避しつつ、高画質の画像を出力することができる撮像装置を提供する。【解決手段】撮像装置１０１は、画素回路２１１の出力信号に応じて、制御電位発生部２１２ｅを通じて制御電位を制御することによって、電荷排出の開始電位に対応する電荷排出ゲート２１２ａのポテンシャル障壁の初期の高さを設定する制御部６を備える。これによって、被写体の状況に応じて、撮像装置１０１のダイナミックレンジを最適化する。【選択図】図１７
2010192659.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ受光することによって電荷を生じると共に、複数のラスタを構成するように格子状に配置された複数の受光素子と、該受光素子のそれぞれに対応して設けられると共に、前記受光素子で生じた電荷を蓄積しかつ、その電荷の蓄積量に応じた出力信号を出力する複数の画素回路と、を有し、前記出力信号に基づいて構成されるフレームを、時系列に連続して出力する撮像素子を備え、
前記撮像素子は、前記各画素回路から排出された電荷を蓄積するオーバーフロードレインと、該オーバーフロードレインに蓄積された電荷の量に応じた制御電位を出力する制御電位発生部と、前記各画素回路と前記オーバーフロードレインとの間でポテンシャル障壁を構成すると共に、前記制御電位に応じて、前記ポテンシャル障壁の高さを変更することにより、前記画素回路から前記オーバーフロードレインへの電荷の排出態様を変更する電荷排出ゲートと、を有しかつ、前記各画素回路に蓄積されている電荷の一部を、前記各画素回路の出力信号の出力前に前記オーバーフロードレインに排出させる蓄積電荷排出動作を実行可能な蓄積電荷排出回路をさらに有し、
前記画素回路の出力信号に応じて、前記制御電位発生部を通じて前記制御電位を制御することによって、前記電荷排出の開始電位に対応する前記電荷排出ゲートのポテンシャル障壁の初期高さを設定する制御部をさらに備えていることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記各画素回路の出力信号をデジタル信号に変換した撮像データを含んで構成される前記フレームを出力する出力信号処理部をさらに備え、
前記制御部は、前記フレームに含まれる前記撮像データの最大値が、予め設定されている前記撮像素子の最大出力値となるように、前記ポテンシャル障壁の初期高さを制御することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記制御部は、前記出力信号に応じた電位指定信号を出力するように構成され、
前記制御電位発生部は、前記オーバーフロードレインの蓄積電荷量を入力として、当該蓄積電荷量が増大すればするほど高い制御電位を出力する反転アンプと、前記制御部からの電位指定信号に対応する電荷排出指定電位を当該制御電位に加算する加算器と、を含んで構成され、
前記電荷排出ゲートは、前記制御電位が高ければ高いほどポテンシャル障壁の高さを低くするように構成され、
前記制御部はさらに、前記フレームに含まれる前記撮像データの最大値が、前記撮像素子の最大出力値を超えるときには、前記電荷排出指定電位が上がるように前記電位指定信号を出力する一方、前記撮像データの最大値が、前記最大出力値を下回るときには、前記電荷排出指定電位が下がるように前記電位指定信号を出力するように構成されていることを特徴とする撮像装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の撮像装置において、
前記撮像素子に対し、前記各画素回路の撮像モードを、前記蓄積電荷排出回路による前記蓄積電荷排出動作を実行しない第１撮像モードと、前記蓄積電荷排出動作を実行する第２撮像モードと、の間で切り替える撮像モード切替部をさらに備えており、
前記撮像素子は、所定の数のフレームを出力する毎に、前記画素回路が前記第１撮像モードで撮像した前記出力信号に基づいて構成される第１撮像モードラスタを、少なくともその一部に含んで構成される撮像モード判定フレームを出力し、
前記制御部はさらに、前記撮像モード判定フレームにおける前記第１撮像モードラスタを構成する前記出力信号に基づいて、前記撮像モード切替部を通じて、前記各画素回路の撮像モードを前記第１又は第２撮像モードに指定することを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記撮像素子は、前記オーバーフロードレインの蓄積電荷をクリアするクリアスイッチをさらに有し、
前記撮像モード切替部は、前記クリアスイッチをオンにすることによって前記蓄積電荷排出回路が前記蓄積電荷排出動作を実行しない第１撮像モードにする一方、前記クリアスイッチをオフにすることによって前記蓄積電荷排出回路が前記蓄積電荷排出動作を実行する第２撮像モードにするように構成されていることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の状況に応じて、出力特性を変えて撮像することができる撮像装置に関する。
【背景技術】
【０００２】
従来より、ＣＣＤやＣＭＯＳイメージセンサ等の半導体撮像素子（以下、単に撮像素子ともいう）を備えた撮像装置は、種々の装置に用いられており、一例としてテレビドアフォンやネットワークカメラを挙げることができる。この撮像装置は、撮像素子内に格子状に配置された複数の受光素子を備え、受光した光を各受光素子によって電気信号に変換することにより、この電気信号に基づいた画像を出力する。詳しくは、撮像素子は、予め設定された電荷蓄積期間中に、各受光素子で受光した受光量に応じた量の電荷を蓄積すると共に、その蓄積した電荷（以下、蓄積電荷ともいう）の量に応じた電気信号を出力する。撮像装置は、撮像素子から出力された電気信号に基づいて面画像としてのフレームを構成し、それを時系列に連続させることによって動画像を出力する。ここで、撮像素子は、一般的に、受光した光量（以下、受光光量ともいう）に比例する量の電荷を蓄積する特性を有しており、そのため、撮像素子から出力される電気信号は、受光光量の増加に伴って線形的に増加する、いわゆる線形特性を示すが、撮像素子の電荷を蓄積することができる容量（以下、電荷蓄積容量ともいう）に達するまで電荷が蓄積されてしまうと（以下、飽和状態ともいう）、撮像素子から出力される電気信号は、所定の飽和電位で一定になってしまう。こうして撮像素子のダイナミックレンジが規定されてしまうため、飽和状態に至らないように相対的に暗い被写体を撮像したときには、各撮像素子から出力された電気信号の大きさに応じた明るさの階調が画像に現れる一方で、飽和状態に至ってしまうような相対的に明るい被写体を撮像したときには画像が真っ白、つまり白飛びしてしまうことになる。そこで、被写体の明るさに応じて電荷蓄積期間を変更することによって、比較的狭いダイナミックレンジであっても、画像の白飛びを回避するようにした撮像装置が知られている。すなわち、この撮像装置では、明るい被写体を撮像するときには電荷蓄積期間を短くすることによって、電荷の蓄積が飽和状態に至らないようにして白飛びを回避するようにしている。
【０００３】
しかしながら、例えば太陽を背にした人を撮像するときのように、一視野内に明暗差が大きい箇所を含む被写体を撮像する時には、明るい箇所に合わせて電荷蓄積期間を短くすると、暗い箇所が真っ黒、つまり黒潰れしてしまう一方、暗い箇所に合わせて電荷蓄積期間を長くすると、明るい箇所が白飛びしてしまう。
【０００４】
そこで、種々の方法により、線形特性とは異なる出力特性を得ることで、撮像素子のダイナミックレンジを拡大させる（以下、ワイドダイナミックレンジともいう）ことが試みられている。
【０００５】
例えば、特許文献１に開示された撮像素子では、受光素子で生成、蓄積される電荷の量が多いとき（より具体的には、フォトダイオードで生成され、蓄積された電荷が、予め設定されたポテンシャル障壁（電位障壁）を越えて外部に溢れた場合）には、その電荷蓄積期間の所定の中間タイミングで、それまでに蓄積された蓄積電荷の全てを一旦排出する、いわゆる電荷排出動作を行うことによって、電気信号の出力タイミングにおける飽和状態を回避し、そのことでワイドダイナミックレンジを実現している。
【０００６】
また、例えば、特許文献２には、受光光量に応じて発生した光電流を入力するＭＯＳトランジスタと、このＭＯＳトランジスタを閾値電圧以下でかつサブスレッショルド電流が流れうる状態にバイアスするバイアス手段とを備え、当該ＭＯＳトランジスタによって光電流を対数圧縮変換することで、ワイドダイナミックレンジ化を実現する技術が開示されている。
【特許文献１】特許第３９９６６１８号公報
【特許文献２】特開平０３−１９２７６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、前記特許文献１に開示されている撮像素子では、受光光量が所定の光量を超えている場合には、電荷蓄積期間の所定の中間タイミングにて蓄積電荷を（受光光量が大きければ大きいほど、加速度的に）一旦排出してしまい、その後の残存期間に再蓄積された電荷に基づいて出力電位を決定するため、受光光量の大きさや電荷排出タイミングの始期、終期や電荷排出期間の長さ等によっては、最終的な出力信号において階調逆転が生じることが懸念される。例えば、１つの出力フレームが明暗差の大きい階調グラデーションで構成されると考える。このとき、暗部では電荷排出が行なわれず、受光光量の増加に応じて、その出力は徐々に線形的に増加（線形特性）するとしても、一旦電荷排出動作が行なわれると、その過程で蓄積電荷は加速度的に排出されるから、階調グラデーションの途中でそれまで単調増加していた出力は、一転してゼロになる。この結果、再蓄積された電荷の量を、電荷排出後に設定される再蓄積期間と電荷蓄積期間全体の比に基づいて補正しようとしても、（出力がゼロとなる点がある限り）階調グラデーションは、その暗から明の階調変化のいずれかの部分で階調逆転を生じうることとなる。
【０００８】
一方、特許文献２に開示されている撮像素子の出力は、飽和電位に漸近するような対数特性を示す。そうして、この撮像装置は、理論的には極めて広いダイナミックレンジを実現することができる。しかしながら、ワイドダイナミックレンジ（例えば光量比として１：１０６（約１２０［ｄＢ］））の出力信号を実現するには、飽和状態を確実に回避するために、受光光量が大きくなるほど出力を圧縮することになる。そのため、出力信号のコントラストの低下や実質的な階調数の低下を招くことになる。
【０００９】
このコントラストの低下や階調数の低下といった課題に対して、アナログアンプによって出力を増幅することが考えられるが、このようにすると、ノイズ成分も同時に増幅されることとなる。
【００１０】
以上のように、従来のワイドダイナミックレンジの撮像素子を備えた撮像装置は、ダイナミックレンジが広いという利点が得られる一方で、被写体の状況によっては、その出力画像がコントラストが低く且つ、階調が低くなってしまう場合があるといった欠点を有している。
【００１１】
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、被写体の状況に応じて白飛び等を回避しつつも、高画質の撮像が可能な撮像装置を提供することにある。
【課題を解決するための手段】
【００１２】
本願発明者らは、例えば特許文献１の撮像素子は、製造プロセスを適切に設定して作成することで、電荷排出動作を実行しても、それまでに蓄積された蓄積電荷の全てが排出されることなく、受光光量に基づく電荷生成と電荷排出が平衡状態に近くなって対数特性に類似する出力特性を発現させうること、およびフォトダイオードで生成されて蓄積された電荷の排出に係るポテンシャル障壁の初期の高さを適宜制御することによって、撮像装置のダイナミックレンジを容易に変更し得ることに気付いた。そこで、被写体の状況に応じて、ダイナミックレンジを最適化しながら撮像を行うことに着目した。
【００１３】
本発明の撮像装置は、それぞれ受光することによって電荷を生じると共に、複数のラスタを構成するように格子状に配置された複数の受光素子と、該受光素子のそれぞれに対応して設けられると共に、前記受光素子で生じた電荷を蓄積しかつ、その電荷の蓄積量に応じた出力信号を出力する複数の画素回路と、を有し、前記出力信号に基づいて構成されるフレームを、時系列に連続して出力する撮像素子を備え、前記撮像素子は、前記各画素回路から排出された電荷を蓄積するオーバーフロードレインと、該オーバーフロードレインに蓄積された電荷の量に応じた制御電位を出力する制御電位発生部と、前記各画素回路と前記オーバーフロードレインとの間でポテンシャル障壁を構成すると共に、前記制御電位に応じて、前記ポテンシャル障壁の高さを変更することにより、前記画素回路から前記オーバーフロードレインへの電荷の排出態様を変更する電荷排出ゲートと、を有しかつ、前記各画素回路に蓄積されている電荷の一部を、前記各画素回路の出力信号の出力前に前記オーバーフロードレインに排出させる蓄積電荷排出動作を実行可能な蓄積電荷排出回路をさらに有する。
【００１４】
前記撮像装置は、前記画素回路の出力信号に応じて、前記制御電位発生部を通じて前記制御電位を制御することによって、前記電荷排出の開始電位に対応する前記電荷排出ゲートのポテンシャル障壁の初期高さを設定する制御部をさらに備えている。
【００１５】
この構成によると、蓄積電荷排出回路は、制御電位を出力する制御電位発生部を有し、この制御電位発生部は、オーバーフロードレインに蓄積された電荷の量に応じた制御電位を出力する。電荷排出ゲートは、各画素回路とオーバーフロードレインとの間でポテンシャル障壁を構成し、そのポテンシャル障壁の高さに応じて各画素回路からオーバーフロードレインへの電荷の排出態様を変更させる。すなわち、各画素回路の受光素子の受光光量に応じて電荷が蓄積されることによって、電荷排出ゲートにより構成されるポテンシャル障壁を越えて、オーバーフロードレインへの電荷の排出が開始される。その電荷の排出に伴い、オーバーフロードレインに蓄積される電荷が増大するため、制御電位発生部の出力である制御電位が変化し、それによって電荷排出ゲートのポテンシャル障壁の高さが変更される。より具体的には、ポテンシャル障壁の高さが低くなる。そうしてポテンシャル障壁を越えてオーバーフロードレインへと排出される電荷がさらに増大し、それに伴いオーバーフロードレインに蓄積される電荷量も増大するため、制御電位がさらに変化して、電荷排出ゲートのポテンシャル障壁の高さがさらに変更される（さらに低くなる）。こうして、ポテンシャル障壁を越えてオーバーフロードレインへの電荷の排出が開始された後は、その電荷の排出量（換言すれば、受光素子の受光光量）に応じて、電荷の排出が促進されることになる。従って、電荷排出の開始前は、受光素子の受光光量の増大に対し電荷の蓄積量が線形的に増加する一方、電荷排出の開始後は、受光素子の受光光量の増大に対し電荷の蓄積量が非線形の、具体的には対数関数的に増加するようになって電荷の蓄積が抑制されるため、画素回路の出力信号の出力タイミングにおいて蓄積電荷が飽和することが回避される。そうして、受光素子の受光光量に対する出力特性は、線形特性の範囲と対数特性の範囲とを組み合わせた特性となって、ダイナミックレンジが拡大し得る。
【００１６】
ここで、前記の構成ではさらに、制御部が、電荷排出の開始電位に対応する電荷排出ゲートのポテンシャル障壁の初期高さを設定することにより、電荷排出の開始タイミングが変更されることになり、ひいては、受光素子の受光光量に対する電荷の蓄積特性が、線形特性から対数特性へと変わるタイミングが変更されることになる。このことは、受光素子の受光光量に対する画素回路の出力特性が変更されることを意味する。具体的には、ポテンシャル障壁の初期高さを相対的に低く設定して、電荷排出の開始タイミングが早くなるようにすることで、画素回路の出力特性は対数特性となる範囲が拡大し、ダイナミックレンジは相対的に拡大する一方、ポテンシャル障壁の初期高さを相対的に高く設定して、電荷排出の開始タイミングが遅くなるようにすることで、画素回路の出力特性は線形特性となる範囲が拡大し、ダイナミックレンジは相対的に縮小する。
【００１７】
制御部はさらに、そのポテンシャル障壁の初期高さを、画素回路の出力信号に応じて設定することにより、画素回路の出力信号、つまり被写体の状況に応じてダイナミックレンジを変更することになり、被写体の状況に応じてダイナミックレンジが最適化される。その結果、白飛びの回避は勿論のこと、不必要に出力画像のコントラストが低下したり、階調数が低下したりすることが回避され得る。
【００１８】
第２の発明では、第１の発明において、前記各画素回路の出力信号をデジタル信号に変換した撮像データを含んで構成される前記フレームを出力する出力信号処理部をさらに備え、前記制御部は、前記フレームに含まれる前記撮像データの最大値が、予め設定されている前記撮像素子の最大出力値となるように、前記ポテンシャル障壁の初期高さを制御する。ここでの「最大出力値」には、撮像素子の最大出力値そのもの、の他にも、その最大出力値に対して所定だけ低く、実質的に最大出力値とみなすことができる値も含まれる。
【００１９】
フレームに含まれる撮像データの最大値が、撮像素子の最大出力値となるようにすることで、画像の白飛びを回避しつつも、撮像素子の最大出力値まで出力が上がるため、不必要に出力を圧縮することがなく、コントラストの低下や階調数の低下が回避される。
【００２０】
第３の発明では、第２の発明において、前記制御部は、前記出力信号に応じた電位指定信号を出力するように構成され、前記制御電位発生部は、前記オーバーフロードレインの蓄積電荷量を入力として、当該蓄積電荷量が増大すればするほど高い制御電位を出力する反転アンプと、前記制御部からの電位指定信号に対応する電荷排出指定電位を当該制御電位に加算する加算器と、を含んで構成され、前記電荷排出ゲートは、前記制御電位が高ければ高いほどポテンシャル障壁の高さを低くするように構成され、前記制御部はさらに、前記フレームに含まれる前記撮像データの最大値が、前記撮像素子の最大出力値を超えるときには、前記電荷排出指定電位が上がるように前記電位指定信号を出力する一方、前記撮像データの最大値が、前記最大出力値を下回るときには、前記電荷排出指定電位が下がるように前記電位指定信号を出力するように構成されている。
【００２１】
こうすることで、反転アンプと加算器とを含む簡易な回路構成の制御電位発生部によって、電荷排出ゲートのポテンシャル障壁の高さをオーバーフロードレインの蓄積電荷量に応じて変更し得ると共に、その初期高さをも変更し得る。
【００２２】
そうして制御部が、フレームに含まれる撮像データの最大値が撮像素子の最大出力値を超えるとき、換言すれば飽和により白飛びするときには、電荷排出指定電位を上げることによって、制御電位発生部を通じて電荷排出ゲートのポテンシャル障壁の初期高さが低くなり、前述したように、電荷排出の開始タイミングが早まってダイナミックレンジが拡大する一方、前記最大値が前記最大出力値を下回るとき、換言すれば飽和が生じていないときには、電荷排出指定電位を上げることによって、電荷排出ゲートのポテンシャル障壁の初期高さが高くなり、前述したように、電荷排出開始タイミングが遅くなってダイナミックレンジが縮小する。そうして、ポテンシャル障壁の初期高さの制御により、前記最大値が前記最大出力値となるようにすることが実現し得る。
【００２３】
第４の発明では、第１ないし第３の何れかの発明において、前記撮像素子に対し、前記各画素回路の撮像モードを、前記蓄積電荷排出回路による前記蓄積電荷排出動作を実行しない第１撮像モードと、前記蓄積電荷排出動作を実行する第２撮像モードと、の間で切り替える撮像モード切替部をさらに備えており、前記撮像素子は、所定の数のフレームを出力する毎に、前記画素回路が前記第１撮像モードで撮像した前記出力信号に基づいて構成される第１撮像モードラスタを、少なくともその一部に含んで構成される撮像モード判定フレームを出力し、前記制御部はさらに、前記撮像モード判定フレームにおける前記第１撮像モードラスタを構成する前記出力信号に基づいて、前記撮像モード切替部を通じて、前記各画素回路の撮像モードを前記第１又は第２撮像モードに指定する。
【００２４】
第１撮像モードでは、蓄積電荷排出回路による蓄積電荷排出動作を実行しないため、出力信号は、受光素子の受光光量の増加に伴い線形的に増加する。このため、第１撮像モードで撮像したときには、撮像装置はコントラストが高く且つ階調が高い画像を出力することができる一方で、飽和により画像が白飛びする場合がある。これに対し、第２撮像モードでは、前述したように、蓄積電荷排出動作を実行するため、ダイナミックレンジが拡大する。
【００２５】
前記制御部は、撮像モード判定フレームに含まれる、第１撮像モードで撮像した出力信号に基づいて、撮像モード切替部を通じて各画素回路の撮像モードを指定するため、ダイナミックレンジが相対的に狭い第１撮像モードで撮像しても出力される画像に何ら問題が生じないときには、第１撮像モードで撮像を行う。一方、第１撮像モードで撮像したときに、例えば白飛び等の問題を生じ得るときには、ダイナミックレンジが相対的に広い第２撮像モードに切り替えて撮像を行う。こうした第１撮像モードと第２撮像モードとの切り替えによって、白飛び等を回避しつつ、コントラストがさらに高くかつ階調性のさらに高い画像が出力され得る。
【００２６】
ここで、第２撮像モードでの撮像時には、前述したように、ポテンシャル障壁の初期高さを設定すべく、フレームに含まれる撮像データについての判定を行うことになるのに対し、第１撮像モードでの撮像時には、そうした判定を行わない。従って、第１撮像モードと第２撮像モードとを切り替える構成は、少なくとも第２撮像モードでの撮像時における、フレームの撮像データに関する判定処理を省略し得るという利点がある。
【００２７】
第５の発明では、第４の発明において、前記撮像素子は、前記オーバーフロードレインの蓄積電荷をクリアするクリアスイッチをさらに有し、前記撮像モード切替部は、前記クリアスイッチをオンにすることによって前記蓄積電荷排出回路が前記蓄積電荷排出動作を実行しない第１撮像モードにする一方、前記クリアスイッチをオフにすることによって前記蓄積電荷排出回路が前記蓄積電荷排出動作を実行する第２撮像モードにするように構成されている。
【００２８】
クリアスイッチをオンにして、オーバーフロードレインの蓄積電荷をクリアするときには、電荷排出ゲートのポテンシャル障壁を越えて電荷が排出されても、その電荷がクリアされることで、オーバーフロードレインには実質的に電荷が蓄積されない。このことにより、前述したような、制御電位の変化に伴うポテンシャル障壁の高さの変更が行われない。つまり、電荷の排出が促進されず、よって蓄積電荷排出動作が行われない。これに対し、クリアスイッチをオフにしたときには、前述したように、電荷排出ゲートのポテンシャル障壁を越えて電荷が排出されたときには、オーバーフロードレインに電荷が蓄積されるようになり、制御電位の変化に伴いポテンシャル障壁の高さが変更し（低くなって）、電荷の排出が促進される。つまり、蓄積電荷排出動作が行われる。
【発明の効果】
【００２９】
以上説明したように、本発明の撮像装置では、被写体の状況に応じて、ダイナミックレンジを最適化することによって、白飛び等を回避しつつ、高画質な画像を出力することができる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎない。
【００３１】
本発明の撮像装置１は、図１に示すように、入射した光を電気信号に変換して撮像データとして出力する撮像素子２と、該撮像素子２から出力された撮像データを一時的に格納するバッファメモリ３と、該バッファメモリ３から撮像データが転送されて、その撮像データに基づき画像データを構築する画像処理部４と、撮像素子２の撮像モードを、詳しくは後述するが、ダイナミックレンジが相対的に狭いＮＤＲ（Ｎａｒｒｏｗ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）モードとダイナミックレンジが相対的に広いＷＤＲ（Ｗｉｄｅ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）モードとに切り替える撮像モード切替部５と、バッファメモリ３に格納された撮像データに基づいて撮像モード切替部５に対して撮像モードを指定すると共に、撮像素子２の動作全体を制御する制御部６と、を備えている。
【００３２】
撮像素子２は、図１に示すように、主走査方向（図１における上下方向）及びそれに直交する副走査方向（図１における左右方向）のそれぞれの方向に並んで配置されることによって行列状に配設された複数の画素回路２１１と、該画素回路２１１に連設された蓄積電荷排出回路２１２と、を有するセンサエリア２１と、該センサエリア２１の、図１においては右側に配設された出力信号処理部２２と、センサエリア２１の、図１においては下側に配設された周辺回路２３と、を備えている。
【００３３】
画素回路２１１は、図１，図２に示すように（尚、図２は図１に対して９０°時計回りに回転させた状態を示している）、等間隔（例えば７．８μｍ間隔）となるように主走査方向に、例えば６４０個、副走査方向に、例えば４８０個配置されており、これにより、画素回路２１１は、１つの撮像素子２内に、合計６４０×４８０個設けられている。これによって、この撮像素子２は、いわゆる１／３インチの撮像素子を構成すると共に、撮像装置１はＶＧＡ相当の解像度をもつ画像を出力することができる。
【００３４】
各画素回路２１１は、図３に示すように、受光素子としてのフォトダイオード２１１ａと、該フォトダイオード２１１ａで生成されかつ第１ノードＮ１に蓄積された電荷を第２ノードＮ２に転送するための転送ゲート２１１ｂと、第２ノードＮ２に蓄積されている電荷をクリアし得るリセットスイッチ２１１ｃと、第２ノードＮ２の電位に対応する信号を増幅して出力するアンプ２１１ｄと、該アンプ２１１ｄと出力ノードＮＯとの間に配設されて、前記アンプ２１１ｄにより増幅した信号を所定のタイミングで画素回路２１１から出力する画素選択スイッチ２１１ｅと、を備えている。
【００３５】
フォトダイオード２１１ａは、半導体のｐｎ接合によって構成されており、いわゆる光起電力効果によって、入射光を受けて、その受光光量に応じた量の電荷を発生させる。このフォトダイオード２１１ａのカソード側は第１ノードＮ１に接続されている一方、アノード側は接地電位ＶＳＳを供給する接地ノードＮ４に接続されて接地電位ＶＳＳにバイアスされている。従って、フォトダイオード２１１ａで発生する電荷は負電荷となり、この負電荷が、フォトダイオード２１１ａの電荷を蓄積できる容量としての第１ノードＮ１に蓄積される。
【００３６】
転送ゲート２１１ｂは、第１ノードＮ１と第２ノードＮ２との間に介設されかつ、例えばトランジスタによって構成されるスイッチ素子であり、転送制御信号ＴＧによってそのオン、オフが制御される。これによって転送ゲート２１１ｂは、第１ノードＮ１に蓄積されている電荷の、第１ノードＮ１から第２ノードＮ２への転送のタイミングを制御する機能を有している。
【００３７】
リセットスイッチ２１１ｃは、第２ノードＮ２と電源電位ＶＤＤを供給する電源電位ノードＮ３との間に介設されかつ、例えばトランジスタによって構成されるスイッチ素子であり、リセット制御信号ＲＦによってそのオン、オフが制御される。これによって、リセットスイッチ２１１ｃは、所定のタイミングで（つまり、第１ノードＮ１から第２ノードＮ２に電荷を転送する前に）第２ノードＮ２の電荷を除去する機能を有している。尚、電源電位ＶＤＤは、第２ノードＮ２の電荷が負電荷であるので正電位とされている。
【００３８】
アンプ２１１ｄは、前述したように、第２ノードＮ２の電荷に対応する信号を増幅して出力するものであり、その入力ノードが第２ノードＮ２と接続されると共に、その出力ノードが、画素選択スイッチ２１１ｅを介して出力ノードＮＯに接続されており、例えばソースフォロア回路によって構成される。
【００３９】
画素選択スイッチ２１１ｅは、アンプ２１１ｄと出力ノードＮＯとの間に介設されかつ、例えばトランジスタによって構成されるスイッチ素子であり、画素選択制御信号ＰＳによってそのオン、オフが制御される。これによって、画素選択スイッチ２１１ｅは、アンプ２１１ｄによって増幅された信号の、当該アンプ２１１ｄから出力ノードＮＯへの、ひいては出力信号処理部２２への出力タイミングを制御する機能を有している。
【００４０】
蓄積電荷排出回路２１２は、図１，図２に示すように、この実施形態においては、１つの画素回路２１１に対し１つ設けられている。
【００４１】
蓄積電荷排出回路２１２は、第１ノードＮ１に蓄積されている電荷を、必要に応じて排出させるための回路であり、図３に示すように、接地電位ＶＳＳを供給する接地ノードＮ４によって接地電位ＶＳＳにバイアスされたオーバーフロードレイン２１２ｂと、オーバーフロードレイン容量としての第５ノードＮ５と前記画素回路２１１の第１ノードＮ１との間に介設される電荷排出ゲート２１２ａと、第５ノードＮ５と電源電位ＶＤＤ２を供給する電源電位ノードＮ６との間に介設されるクリアスイッチ２１２ｃと、その入力ノードが第５ノードＮ５に接続されると共に、その出力ノードが電荷排出ゲート２１２ａに接続される反転アンプ２１２ｄと、を備えている。
【００４２】
ここで、電源電位ＶＤＤ２は切り替え可能な電源電位であり、撮像モード切替部５によって電源電位ＶＤＤ、又はこれより低い中間電位としての電源電位（但し、正電位）のいずれかに切り替えられる。
【００４３】
電荷排出ゲート２１２ａは、第１ノードＮ１に蓄積されている電荷の、第１ノードＮ１から第５ノードＮ５への転送（つまり、排出）を制御する機能を有する。本実施形態では、この電荷排出ゲート２１２ａは、等価的に可変抵抗として機能するトランジスタによって構成され、詳しくは後述するが、反転アンプ２１２ｄの出力電位Ｖｇに基づいて制御されることによって、電荷排出ゲート２１２ａによって構成されるポテンシャル障壁の高さが変化して電荷排出動作が変更制御されることになる。
【００４４】
オーバーフロードレイン２１２ｂは、第１ノードＮ１から電荷排出ゲート２１２ａを通って第５ノードＮ５に転送された電荷を蓄積する。
【００４５】
クリアスイッチ２１２ｃは、トランジスタによって構成されるスイッチ素子であり、クリア制御信号ＲＯによって、そのオン、オフが制御される。クリアスイッチ２１２ｃがオンのときには、電源電位ノードＮ６から供給される電源電位ＶＤＤ２によって第５ノードＮ５の電荷を消滅させる一方、クリアスイッチ２１２ｃがオフのときには、第５ノードＮ５の電荷が消滅しないため、第１ノードＮ１から排出されてオーバーフロードレイン２１２ｂに電荷（電子）が蓄積されるに伴い、第５ノードＮ５の電位が低下することになる。尚、詳しくは後述するが、電源電位ＶＤＤ２の電源電位の切り替え制御、及びこのクリアスイッチ２１２ｃの制御によって、撮像素子２（各画素回路２１１）の撮像モードを、ＮＤＲモードとＷＤＲモードとの間で切り替えることができる。
【００４６】
尚、撮像モード切替部５が出力するクリア制御信号ＲＯは、撮像素子２における主走査方向（図３においては図の上下方向）に連なる各蓄積電荷排出回路２１２のクリアスイッチ２１２ｃに共通に入力されており、主走査方向に連なる各蓄積電荷排出回路２１２は、クリア制御信号ＲＯをＨｉレベルに制御することで同時に電荷排出動作を実行する。撮像素子２は、このような構成単位を副走査方向（図３においては図の左右方向）に複数行有しており（図示せず）、副走査方向において各行の電荷排出動作は、撮像モード切替部５が出力するＲＯ＿１，ＲＯ＿２・・・によって独立して制御される。
【００４７】
即ち、本実施形態では、主走査方向に連なる各蓄積電荷排出回路２１２を一単位として、撮像モードをＮＤＲモードとＷＤＲモードとの間で切り替えることができ、後述の１フレーム中の副走査方向において、ＮＤＲモードで撮像する行とＷＤＲモードで撮像する行とを混在させることができる（図１１等を参照）。  
【００４８】
反転アンプ２１２ｄは、入力電位としての第５ノードＮ５の電位が高いときには出力電位Ｖｇが低くなり、逆に第５ノードＮ５の電位が低いときには出力電位Ｖｇが高くなるように構成されている。この出力電位Ｖｇが電荷排出ゲート２１２ａを構成するトランジスタのゲートに印加される。これによって、電荷排出ゲート２１２ａの抵抗値（ポテンシャル障壁）は、第５ノードＮ５の電位に応じて変化することになる。
【００４９】
ここで、センサエリア２１の動作について説明する。センサエリア２１に光が入射すると、フォトダイオード２１１ａで電荷が発生し、その電荷が第１ノードＮ１に蓄積される。この第１ノードＮ１の電荷は、１フレーム期間中に設定される所定の電荷蓄積期間においてフォトダイオード２１１ａに光が入射している間、蓄積され続ける。そうして、第１ノードＮ１における電荷の蓄積量が電荷排出ゲート２１２ａが有する電位としてのポテンシャル障壁を越えると、第１ノードＮ１から第５ノードＮ５へ電荷が溢れる。
【００５０】
ここで、電源電位ＶＤＤ２は切り替え可能に構成された電源電位であって、本実施形態では、予め２系統の電源（その電位は、例えばＶＤＤと、ＶＤＤ×３／４）を用意しておき、撮像モード切替部５が出力する信号（図示せず）に基づき、これらの系統を切り替えることでＶＤＤ２の電位をいずれかに設定する。尚、この系統の切り替えは、ラスタ単位で可能とされている。
【００５１】
この電源電位ＶＤＤ２の切り替えについては、系統をＶＤＤと、ＶＤＤ×αとしておき、後者を撮像モード切替部５に備えたＤＡコンバータで生成するようにしてもよい。
【００５２】
さて、電源電位ＶＤＤ２の電位を電源電位ＶＤＤと同じ電位に切り替え設定し、かつクリアスイッチ２１２ｃがオンのときには、第５ノードＮ５の電位が電源電位ＶＤＤと略同じであるので、第１ノードＮ１から第５ノードＮ５に溢れた電荷は第５ノードＮ５に吸引され消滅する（つまり、ＶＤＤがクリア電位となる）。従って、第５ノードＮ５の電位は、電源電位ＶＤＤのままで変わらないので、反転アンプ２１２ｄの出力電位Ｖｇは、低いままであり、電荷排出ゲート２１２ａが有するポテンシャル障壁は、高いままで変化しない。そのため、クリアスイッチ２１２ｃがオンの状態では、第１ノードＮ１の蓄積電荷の量は、フォトダイオード２１１ａの受光光量の増加に伴って線形的に増加し、所定の受光光量でフォトダイオード２１１ａの電荷蓄積容量に達して飽和する。従って、画素回路２１１から出力される前記出力信号もフォトダイオード２１１ａの受光光量の増加に伴って線形的に増加し、所定の受光光量で飽和するような特性となる（このようにして飽和に達した出力信号の電位を「飽和電位」とも呼称する）。この出力特性は、ダイナミックレンジが相対的に狭いという欠点を有するものの、飽和に至らないような所定の受光光量以下においては、線形的な出力特性が得られるという利点がある。このように、クリアスイッチ２１２ｃをオンにした状態では、撮像素子２の撮像モードが、第１撮像モードとしてのＮＤＲモードになる。
【００５３】
これに対し、クリアスイッチ２１２ｃをオフにしたときには、第１ノードＮ１から第５ノードＮ５に排出された電荷は、オーバーフロードレイン２１２ｂに蓄積されることになり、その排出量に応じて第５ノードＮ５の電位は次第に低くなる。このため、反転アンプ２１２ｄの出力電位Ｖｇは次第に高くなり、それに伴い電荷排出ゲート２１２ａのポテンシャル障壁は次第に低くなる。このことにより、第１ノードＮ１から第５ノードＮ５への電荷の排出が促進される。そうして電荷の排出が促進されることに伴い、第５ノードＮ５の電位がさらに低下し、電荷排出ゲート２１２ａのポテンシャル障壁の高さもさらに低くなる。こうして、第１ノードＮ１から第５ノードＮ５への電荷の排出が加速度的に促進されることになる。
【００５４】
尚、本実施形態においては、クリアスイッチ２１２ｃをオフする前の所定期間において、電源電位ＶＤＤ２を電源電位ＶＤＤより低い電位（例えば、クリア電位はＶＤＤ×３／４）に切り替え、クリアスイッチ２１２ｃをオンすることで、オーバーフロードレイン２１２ｂに蓄積された排出電荷を一旦クリアする。こうすることで、第５ノードＮ５の電位は電源電位ＶＤＤより低い電位に設定され、前記所定期間において反転アンプ２１２ｄを経て出力される出力電位Ｖｇは、少なくとも上述したＮＤＲモードのときよりも高くなる。従って、電荷排出ゲート２１２ａが形成するポテンシャル障壁の高さはＮＤＲモードの場合よりも低くなる。その結果、飽和電位に達する前に第１ノードＮ１から第５ノードＮ５に電荷が溢れることとなる。つまり、機能的に表現すると、電荷排出ゲート２１２ａはＮＤＲモードのときよりも、受光光量が小さい段階で電荷の排出を開始するよう制御される、ということである。
【００５５】
更に、本実施形態においては、電荷排出ゲート２１２ａのゲート幅およびゲート長を電荷移動を制限するように（即ち、ゲート幅を狭く、又はかつゲート長を長くするように）調整することで、仮に電荷排出ゲート２１２ａが開放（反転アンプ２１２ｄの出力Ｖｇが大きくなり電荷を完全に排出し得る状態、つまりポテンシャル障壁の高さが最低となった状態）された場合であっても、予め定められた電荷排出期間において第１ノードＮ１に蓄積された電荷がオーバーフロードレイン２１２ｂに全て排出されない程度に、電荷排出量（あるいは電荷排出速度）を抑制するようにしている。つまり、本実施形態の撮像装置１においては、電荷排出動作を行なっても、それまでに第１ノードＮ１に蓄積された電荷は全て排出されず、その一部のみが排出されることとなる。
【００５６】
尚、電荷移動を制限する方法としては、上述したゲート部分の物理的形状を調整する以外に、電荷排出ゲート２１２ａを構成するトランジスタの不純物濃度を低く調整するようにしてもよい。
【００５７】
以上説明してきたように、オーバーフロードレイン２１２ｂを一旦中間電位でクリアする制御、及び電荷排出を抑制する構成を導入したことで、本実施形態の撮像素子は、
ｉ）受光光量が小さく、フォトダイオード２１１ａで生成された電荷が電荷排出ゲート２１２ａのポテンシャル障壁（上述のように、ＮＤＲモードよりも障壁の高さは低い）を越えて溢れない場合は、出力特性は線形特性を示し、
ii）受光光量が大きくなり、フォトダイオード２１１ａで生成された電荷が電荷排出ゲート２１２ａのポテンシャル障壁を越えて溢れた場合は、フォトダイオード２１１ａで新たに生成される電荷の量に応じて電荷排出量が動的に（しかも自律的に）調整される、
という新規な作用をもたらす。
【００５８】
従って、電荷蓄積期間中の少なくとも一部の期間において、クリアスイッチ２１２ｃをオフにすることによって、第１ノードＮ１の蓄積電荷の量は、フォトダイオード２１１ａの受光光量の増加に伴って線形的に増加せずに、受光光量が増加しても飽和が抑制される。このとき、画素回路２１１から出力される出力信号は、フォトダイオード２１１ａの受光光量の増加に伴って、その飽和に対応する上限値に漸近するような、対数特性に類似する特性を示すようになる。このように本実施形態の撮像素子は、受光光量が小さい場合の出力は線形特性を示すが、受光光量が大きくなるとその出力は対数特性を示し、これらの特性が所定の光量（フォトダイオード２１１ａで生成された電荷が電荷排出ゲート２１２ａのポテンシャル障壁を越えて溢れ始める光量）において繋がった、ハイブリッドな出力特性を備える。これによって、通常の対数特性を備える撮像素子と同様にワイドダイナミックレンジを確保できると共に、単に対数特性を備える撮像素子と比較して、線形特性部分が存在する分、高輝度領域の圧縮の程度が小さくなり、高輝度領域における階調性が確保されるという効果を奏する。
【００５９】
更に、上述のように、オーバーフロードレイン２１２ｂをクリアする電位を調整可能（ＶＤＤ×α）とすれば、電荷排出ゲート２１２ａのポテンシャル障壁の高さを任意に設定できるため、線形特性から対数特性に切り替えるポイント設定の自由度が高まり、あらゆる撮像条件に対応することが可能となる。
【００６０】
このように、クリアスイッチ２１２ｃをオフにする期間を設けることによって、撮像素子２の撮像モードが第２撮像モードとしてのＷＤＲモードになる。
【００６１】
しかしながら、この出力特性は、ダイナミックレンジが相対的に広いという利点を有するものの、飽和に至らないような所定の受光光量以下においては出力を圧縮している点において変わりなく、コントラストの低下や階調数の低下を招くという課題が残存する。
【００６２】
そうして所定の電荷蓄積期間が経過した後に、転送制御信号ＴＧによって転送ゲート２１１ｂをオンにし、第１ノードＮ１の蓄積電荷を第２ノードＮ２に転送する。第２ノードＮ２に転送された電荷に対応する信号は、所定のタイミングでアンプ２１１ｄによって増幅されて出力ノードＮＯから出力信号として出力される。
【００６３】
続いて、撮像素子２のセンサエリア２１以外の構成要素について説明する。
【００６４】
出力信号処理部２２は、図示省略のＣＤＳと、ＡＤコンバータと、を備えている。
【００６５】
ＣＤＳとＡＤコンバータは、各画素回路２１１に対応して主走査方向にそれぞれ６４０個設けられている。
【００６６】
ＣＤＳは、出力ノードＮＯから出力された出力信号に含まれるノイズをいわゆる相関二重サンプルにより除去する。
【００６７】
ＡＤコンバータは、出力ノードＮＯから出力された出力信号をアナログ信号からデジタル信号に変換する。
【００６８】
周辺回路２３は、画素回路２１１が撮像するときの同期をとるタイミング信号を出力する。このタイミング信号には、前記の転送制御信号ＴＧ、リセット制御信号ＲＦ及び画素選択制御信号ＰＳも含まれている。
【００６９】
ここで、撮像素子２の動作について説明する。まず、周辺回路２３から主走査方向（図３においては図面の上下方向）に延びる画素行（以下、ラスタともいう）ごとにタイミング信号が出力される。周辺回路２３から出力されたタイミング信号は、図示省略の制御信号線を通って各画素回路２１１及び各蓄積電荷排出回路２１２に出力される。次に、タイミング信号に基づいて各画素回路２１１で撮像が行われる。このとき、前述したように各画素回路２１１から出力信号が出力される。撮像は、主走査方向に連なる複数の画素回路２１１等で構成されるラスタ単位で副走査方向にずらしながら４８０列走査され、これによって１フレーム分の６４０×４８０画素の出力信号を得ることができる。この出力信号は、読出信号線を通って出力信号処理部２２に出力され、この出力信号処理部２２でノイズ除去とデジタル信号化が行われる。そうして、このデジタル信号化された出力信号（以下、撮像データともいう）が撮像データパスを介してバッファメモリ３に転送される。尚、出力信号処理部２２は、全てのラスタ（４８０本）について共有されており、本実施形態の撮像素子２には６４０個の出力信号処理部２２が搭載されている。
【００７０】
尚、本実施形態では、各画素回路２１１に１つの蓄積電荷排出回路２１２を設けているが、図１４のように、主走査方向及び副走査方向に隣接する４つの画素回路２１１によって１つの画素グループを構成し、その画素グループで１つの蓄積電荷排出回路２１２を共有してもよい。ここで、第１ノードＮ１に電荷を蓄積する電荷蓄積期間は、いわゆる電子シャッタを切るタイミングによって決定されるが、この電子シャッタを切る方法としていわゆるローリングシャッタ動作を用いると、ラスタ単位でシャッタを切るので、副走査方向に隣接するラスタの画素回路２１１間で、同じ蓄積電荷排出回路２１２に電荷を排出するタイミングが重畳し、そのことが画素回路２１１からの電荷排出動作に悪影響を及ぼす虞がある。これを回避するには、蓄積電荷排出回路２１２が跨る２つのラスタ単位でシャッタを切るローリングシャッタ動作を行うことが好ましい。また、４つの画素回路２１１から排出される電荷が１つのオーバーフロードレイン２１２ｂに蓄積されるため、オーバーフロードレイン２１２ｂの電荷を蓄積できる容量を超える虞がある。この場合には、電荷がオーバーフロードレイン２１２ｂから周囲のフォトダイオード２１１ａに溢れ出て、撮像装置１から出力される画像の画質が劣化する。この点について、図２のように、各画素回路２１１に対して１つの蓄積電荷排出回路２１２を設けた構成は、１つの画素回路２１１に対して十分なオーバーフロードレイン容量を確保することができる点で有利である。また、図２のように、蓄積電荷排出回路２１２を複数の画素回路２１１で共有せずに各画素回路２１１に対して１つの蓄積電荷排出回路２１２を設けることは、蓄積電荷排出回路２１２に排出される電荷が周囲の画素回路２１１に影響を及ぼさないので、１ラスタ単位でローリングシャッタ動作を行うことができる点でも有利になる。
【００７１】
また、図１５のように、画素回路２１１に対して蓄積電荷排出回路２１２を千鳥に配設し、４つの画素回路２１１で実質２つの蓄積電荷排出回路２１２を割り当ててもよい。こうすることで、図１４の構成をとるよりも、１つの画素回路２１１に対するオーバーフロードレイン容量を大きくすることができる。しかしながら、ローリングシャッタ動作を用いる場合には、ラスタ単位でシャッタを切るので、隣接するラスタの画素回路２１１から同じ蓄積電荷排出回路２１２に電荷が排出されるタイミングがずれることによる影響が副走査方向に隣接する画素回路２１１だけでなく、全画素回路２１１に拡がる虞がある。このため、撮像素子２に搭載された全ての画素回路２１１について同一のタイミングで電子シャッタ動作を行なう、いわゆるグローバルシャッタ動作を用いるほうが好ましい。
【００７２】
さらに、図１６ように、４つの画素回路２１１で実質４つの蓄積電荷排出回路２１２を割り当ててもよい。こうすることで、１つの画素回路２１１に対するオーバーフロードレイン容量をさらに大きくすることができる。しかしながら、前記と同様に、隣接するラスタの画素回路２１１から同じ蓄積電荷排出回路２１２に電荷が排出されるタイミングがずれることによる影響が全画素回路２１１に拡がるため、グローバルシャッタ動作を用いるほうが好ましい。
【００７３】
尚、図１４ないし図１６のように、１つの蓄積電荷排出回路２１２を複数の画素回路２１１によって共有する場合には、図４に示すように、各画素回路２１１と蓄積電荷排出回路２１２との間に電荷排出ゲート２１２ａを設ければよい。
【００７４】
また、図１４ないし図１６のような構成においても、上述したように電荷排出ゲート２１２ａにおける電荷排出能力を抑制するように構成することが好ましい。
【００７５】
次に、撮像装置１の撮像素子２以外の構成要素について説明する。バッファメモリ３は、前述したように、撮像素子２から出力された撮像データを一時的に格納する記憶装置であり、本実施形態では２フレーム分の記憶容量を有するデュアルポートメモリである。
【００７６】
画像処理部４は、バッファメモリ３から転送される撮像データを画像処理することにより画像データに変換する機能を有する。この画像処理部４で行われる画像処理には、例えば図５に示すように、光が撮像素子２に入射する前に、画素回路２１１に対応するように、緑のフィルタを千鳥に配置すると共に、その緑のフィルタの間に赤及び青のフィルタを交互に配置した、いわゆるベイヤ配列のカラーフィルタに通しておいて、それによって得られる赤、緑、青の色情報を有する撮像データに対して、対象とする撮像データの実際の色を周囲の撮像データの色から推測する、いわゆる補間処理がある。この画像処理部４は、前記のような画像処理を行うために、撮像データ（いわゆるＲＡＷデータ）を格納するための記憶装置を有している。尚、この記憶装置をバッファメモリ３として用いてもよい。
【００７７】
撮像モード切替部５は、制御部６からの制御信号に基づいて、クリアスイッチ２１２ｃをオン、オフするためのクリア制御信号ＲＯを撮像素子２に送り、それによって各撮像素子２の撮像モードをＮＤＲモード又はＷＤＲモードにする機能を有する。但し、上述したように、撮像モードの切替は、主走査方向に連なる各電荷排出回路２１２を一単位として列単位に行なわれる。
【００７８】
制御部６は、図示は省略するがＣＰＵと、いわゆるワイヤードロジックで構成される演算部と、を備えて構成され、出力信号処理部２２と周辺回路２３とを制御することによって、撮像素子２の動作全体を制御する。制御部６はまた、各画素回路２１１について適切な撮像モードを判断し、撮像モード切替部５に対して判断した撮像モードにするように命令する機能を有する。このとき、制御部６は、判断した撮像モードを示すモード指定信号を撮像モード切替部５に送り、このモード指定信号に基づいて、撮像モード切替部５は、クリア制御信号ＲＯを撮像素子２に送る。尚、図例では、制御部６とは別に、撮像モード切替部５の機能ブロックを設けているが、この制御部６の中に撮像モード切替部５の機能を含めてもよい。
【００７９】
次に、制御部６が実行する撮像モードの判断処理について、図７に示すフローチャートを参照しながら説明する。
【００８０】
前述したように、撮像素子２から出力される撮像データは、６４０（画素）×４８０（ラスタ）のフレームを構成する。そうして、撮像装置１は、１秒間に３０フレームを出力することによって動画を提供する。制御部６は、適切な撮像モードの判断を、撮像モード判定フレームに基づいて行う。そのために制御部６は、図６に示すように、所定枚数のフレームを出力する毎に撮像モード判定フレームを挿入することを命令する。本実施形態では、撮像装置１が３０フレーム／秒に設定されているのに対し、０．５秒毎に適切な撮像モードの判断を行うべく、制御部６は、１４枚のフレームを出力する毎に撮像モード判定フレームを挿入することを命令する。撮像モード判定フレームは、各画素回路２１１が第１撮像モードで撮像を行ったときの撮像データによって構成され、制御部６は、基本的には、その撮像モード判定フレーム内に飽和状態の撮像データが含まれているか否かに基づいて、適切な撮像モードを判断する。
【００８１】
先ず、図７に示すフローチャートにおける各変数を定義すると、ＦＣは撮像したフレーム数をカウントするフレームカウンタ、ＩＮＳＥＲＴは撮像モード判定フレームの挿入の有無を示す挿入フラグ、ＩＮＳＥＲＴ＿Ｒは撮像モード判定フレームを挿入するタイミングを制御する制御定数であり、ここでは１５に設定している。また、ＰＭは撮像モードを示すパラメータ、ＴＥＭＰはパラメータＰＭを退避する退避変数である。
【００８２】
同フローチャートにおいて先ず、ステップＳ１では、以下のステップで使用する変数の初期化を行う。具体的には、フレームカウンタＦＣに０を、挿入フラグＩＮＳＥＲＴに０を、パラメータＰＭにＮＤＲモードをそれぞれ入力する。
【００８３】
続くステップＳ２では、ユーザーから撮像の指示がされているか否かを判定する。ユーザーから撮像の指示がされている場合には、ステップＳ３に移行する一方、ユーザーから撮像の指示がされていない場合には、処理を終了する。尚、撮像装置１がランタイムモニタ等のオペレーティングシステムを搭載している場合には、所定のブレーク期間を経て、ステップＳ１又はステップＳ２に戻るループを構成してもよい。
【００８４】
前記ステップＳ３では、撮像モード判定フレームの挿入を行うか否かを判定する。具体的には、挿入フラグＩＮＳＥＲＴが０の場合にはステップＳ４に移行して撮像モード判定フレームの挿入を行う一方、挿入フラグＩＮＳＥＲＴが０でない場合にはステップＳ１２に移行して撮像モード判定フレームの挿入を行わない。
【００８５】
まず、撮像モード判定フレームの挿入を行う（つまり、挿入フラグＩＮＳＥＲＴが０の場合）として説明を続けると、前記ステップＳ４では、パラメータＰＭを退避変数ＴＥＭＰに退避する。
【００８６】
続くステップＳ５では、撮像モード切替部５に対して撮像モードをＮＤＲモードにするように命令し、撮像を行う。このため、これまでＮＤＲモードで撮像を行っていた場合は、そのままＮＤＲモードで撮像を行うことになるのに対し、これまでＷＤＲモードで撮像を行っていた場合は、ＮＤＲモードに切り替わることになる。これによって得られるＮＤＲモードのフレームが撮像モード判定フレームとなる。
【００８７】
続くステップＳ６では、前記ステップＳ５で得られた撮像モード判定フレームをバッファメモリ３に格納する。
【００８８】
続くステップＳ７では、バッファメモリ３に格納した撮像モード判定フレームの中に飽和状態の撮像データが含まれているか否かを判定（以下、飽和判定ともいう）する。このとき、撮像データが飽和状態にあるとは、例えば撮像データが８ビットで出力されているのであれば、その上限値である２５５のときであるとしてもよい。尚、本実施形態において、撮像データを８ビットで出力しているが、出力ビットは適宜変更してもよく、例えば１０ビットや１２ビットとしてもよい。また、所定の値（例えば、２５０）を超えたときには、撮像データが飽和状態にあると判断してもよい。こうすることで、アンプ２１１ｄや出力信号処理部２２のＡＤコンバータで、出力信号に生じ得る誤差の影響を回避することができる。尚、撮像データが飽和状態にあるとは、換言すれば、その撮像データを画像として出力したときに白飛びするということである。
【００８９】
飽和判定は、撮像モード判定フレームに含まれる全ての撮像データを対象として行ってもよいが、一部の撮像データに対してのみ行ってもよい。例えば、前述したベイヤ配列のカラーフィルタによって得られる赤、緑、青の色情報を有する撮像データのうち、緑の色情報をもつ撮像データのみを対象として判定を行ってもよい。緑の色情報は、人の視覚特性において輝度との相関が最も高くかつ、１フレーム内に千鳥に配置されるため判定対象の撮像データの数が半減し、判定に要する処理時間や処理リソースの点で有利になる。また、厳密性を求める場合には、撮像データの赤、緑、青の色情報から輝度成分（Ｙ成分）を計算（ＹＣ分離）し、その輝度成分に基づいて飽和判定を行ってもよい。また、飽和判定は、撮像モード判定フレームから最も大きい値を有する撮像データを抽出し、その撮像データが所定の値を超えているか否かによって判定してもよい。さらに、飽和状態の撮像データが所定数以上存在しているときに、撮像モード判定フレームに飽和状態の撮像データが含まれていると判定してもよい。
【００９０】
そうして、撮像モード判定フレームに飽和状態の撮像データが含まれていると判断されるときは、ステップＳ８に移行する一方、撮像モード判定フレームに飽和状態の撮像データが含まれていないと判断されるときは、ステップＳ９に移行する。
【００９１】
前記ステップＳ８では、撮像モード判定フレームに飽和状態の撮像データが含まれているため、より詳細には、撮像素子２の受光光量が大きく、ＮＤＲモードで撮像すると飽和状態になる撮像データが出力されるため、パラメータＰＭにＷＤＲモードを入力する。そうして、ステップＳ１０に移行する。
【００９２】
前記ステップＳ９では、撮像モード判定フレームに飽和状態の撮像データが含まれてないため、より詳細には、撮像素子２の受光光量が小さく、ＮＤＲモードで撮像しても飽和状態の撮像データが出力されないため、パラメータＰＭにＮＤＲモードを入力する。そうして、ステップＳ１４に移行する。
【００９３】
前記ステップＳ１０では、前記ステップＳ４で退避変数ＴＥＭＰに退避しておいたパラメータＰＭがＷＤＲモードであるか否かを判定する。そうして、退避変数ＴＥＭＰがＷＤＲモードのときは、ステップＳ１１に移行する一方、退避変数ＴＥＭＰがＷＤＲモードでないときは、ステップＳ１４に移行する。
【００９４】
前記ステップＳ１１では、バッファメモリ３から前記ステップＳ６で格納した撮像モード判定フレームの１つ前に格納したフレームを取り出して画像処理部４に出力する。そうして、ステップＳ１５に移行する。一方、前記ステップＳ１４では、直近にバッファメモリ３に格納されたフレームを画像処理部４に出力する。つまり、前記ステップＳ６でバッファメモリ３に格納した撮像モード判定フレームを画像処理部４に出力する。そうして、ステップＳ１５に移行する。
【００９５】
ここで、ステップＳ１１における撮像モード判定フレームの１つ前にバッファメモリ３に格納したフレームとは、退避変数ＴＥＭＰが示すＷＤＲモードで撮像したフレームのことである。つまり、撮像モード判定フレームが挿入される前に画像処理部４に出力されたフレームを２回続けて画像処理部４に出力することになる。すなわち、図８の（ａ）に示すように、撮像モード判定フレームを挿入する前に画像処理部４に出力されたフレームの撮像モードがＷＤＲモードで、撮像モード判定フレームを挿入した後に画像処理部４に出力するフレームの撮像モードもＷＤＲモードのときには、この状態のままフレームを画像処理部４に出力すると、連続して出力されるＷＤＲモードのフレームの間に飽和状態の撮像データを含むＮＤＲモードのフレームが画像処理部４に出力される。この撮像モードが一瞬切り替わる状態を動画として出力すると、動画を見ている人は一瞬白飛びした画像を見ることになり、違和感を感じてしまう。このことを防止するため、ＮＤＲモードの撮像モード判定フレームを画像処理部４に出力する代わりに、撮像モード判定フレームを挿入する前に画像処理部４に出力したＷＤＲモードのフレームを２回続けて出力している。
【００９６】
これに対し、図８の（ｂ）に示す、撮像モード判定フレームを挿入する前に画像処理部４に出力されたフレームの撮像モードがＮＤＲモードで、撮像モード判定フレームを挿入した後に画像処理部４に出力するフレームの撮像モードもＮＤＲモードのときや、図８の（ｃ）に示す、撮像モード判定フレームを挿入する前に画像処理部４に出力されたフレームの撮像モードがＮＤＲモードで、撮像モード判定フレームを挿入した後に画像処理部４に出力するフレームの撮像モードがＷＤＲモードのときや、図８の（ｄ）に示す、撮像モード判定フレームを挿入する前に画像処理部４に出力されたフレームの撮像モードがＷＤＲモードで、撮像モード判定フレームを挿入した後に画像処理部４に出力するフレームの撮像モードがＮＤＲモードのときには、前述した撮像モードが一瞬だけ切り替わる状態が起きないので、ステップＳ１４において、撮像モード判定フレームをそのまま画像処理部４に出力している。
【００９７】
尚、本実施形態では、上述のように撮像モード判定フレームとしてＮＤＲモードで撮像したフレームを用いているが、これに換えて、ＷＤＲモードで撮像したフレームを用いることが可能である。何故ならば、ＮＤＲモードで撮像した際に出力が丁度飽和する状態をＷＤＲモードで撮像すれば、ＮＤＲモードで飽和が発生するときのＷＤＲモードにおける撮像データの値を特定することが可能だからである。
【００９８】
さて、撮像モード判定フレームとしてＷＤＲモードで撮像したフレームを用いた場合に問題となるのは、ＮＤＲモードで撮像していた状態で、ＷＤＲモードの撮像モード判定フレームを挿入し、ここで以降の撮像モードとしてＮＤＲモードで撮像するよう判定された場合である。この場合は、上述のステップＳ１１においてＮＤＲモードで撮像したフレームを２回出力するように制御すればよい。これを一般化すると、撮像モード判定フレームの前後に連続するフレームが、撮像モード判定フレームで用いる撮像モードと異なる撮像モードで撮像されている場合は、撮像モード判定フレームを破棄して、撮像モード判定フレームの直前のフレームを再度出力するように制御する、ということになる。
【００９９】
更に、上述したように撮像モード判定フレームとして、ＮＤＲモードのみならずＷＤＲモードで撮像したフレームも採用できるのであるから、現在の（即ち、撮像モード判定フレームを挿入する直前に撮像されたフレームの）撮像モードがＷＤＲモードであれば撮像モード判定フレームをＷＤＲモードとし、現在の撮像モードがＮＤＲモードであれば撮像モード判定フレームをＮＤＲモードとして挿入すれば、図８（ａ）に示すような撮像モード判定フレームとその前後で撮像モードが切り替わるという不具合を解消することが可能となる。当該制御を採用した場合は、上述したような、同一フレームを２回にわたって出力することが回避される。
【０１００】
尚、撮像モード判定フレームは、撮像モードの判定にのみ用い、画像処理部４には出力しないように、画素回路２から出力する単位時間当たりのフレーム数を、撮像装置１から出力する単位時間当たりのフレーム数よりも多くしてもよい。例えば、画素回路２が、１秒間に３２フレームを出力するように構成することによって、撮像モード判定フレーム（尚、撮像モード判定フレームは１秒間に２枚である）を画像処理部４に出力しなくても、撮像装置１としては１秒間に３０フレームを出力することが可能である。この場合は前述したフローチャートにおけるステップＳ１１のような、同一フレームを２回にわたって出力することが回避される。
【０１０１】
前記ステップＳ１１及び前記ステップＳ１４から移行してきた前記ステップＳ１５では、フレームカウンタＦＣに１加算する。
【０１０２】
続くステップＳ１６では、フレームカウンタＦＣを制御定数ＩＮＳＥＲＴ＿Ｒで割り、その余りを挿入フラグＩＮＳＥＲＴに入力する。そうして、前記ステップＳ２に戻る。尚、本実施形態では、ＩＮＳＥＲＴ＿Ｒを１５に設定しており、１４枚のフレームを出力する毎に、撮像モード判定フレームを挿入することができる。尚、制御定数ＩＮＳＥＲＴ＿Ｒは、適宜変更してもよい。即ち、撮像装置１に別途ユーザー指定によるモード設定を設け、例えば、高速で動く被写体に対しては、制御定数ＩＮＳＥＲＴ＿Ｒの値を小さくし、ＮＤＲモードとＷＤＲモードの切換え機会を増加するような制御とすることが好ましい。
【０１０３】
次に、挿入フラグＩＮＳＥＲＴが０でなく、撮像モード判定フレームの挿入を行わない場合は、前記ステップＳ３からステップＳ１２に移行する。
【０１０４】
前記ステップＳ１２では、撮像モード切替部５に対して撮像モードをパラメータＰＭの値にするように命令し、撮像を行う。従って、ＮＤＲモードで撮像している最中ではそのままＮＤＲモードで撮像が行われ、ＷＤＲモードで撮像している最中ではそのままＷＤＲモードで撮像が行われる。
【０１０５】
続くステップＳ１３では、前記ステップＳ１２で得られるフレームをバッファメモリ３に格納する。そうして、前記ステップＳ１４に移行する。
【０１０６】
前記ステップＳ１４では、前述したように、直近にバッファメモリ３に格納されたフレームを画像処理部４に出力する。つまり、前記ステップＳ１２でバッファメモリ３に格納したフレームを画像処理部４に出力する。そうして、ステップＳ１５及びステップＳ１６を経て、ステップＳ２に戻る。
【０１０７】
このようにして、撮像装置１による撮像中には、ＮＤＲモードによって撮像された撮像データにより構成される撮像モード判定フレームに基づいて、適切な撮像モードが、ＮＤＲモードであるか、ＷＤＲモードであるかが判断され、その判断結果に基づいて、撮像素子２の撮像モードが適切な撮像モードに設定される。つまり、ダイナミックレンジが相対的に狭いＮＤＲモードでの撮像が可能なときには、ＮＤＲモードで撮像が行われ、ＮＤＲモードでの撮像では飽和してしまうときには、ダイナミックレンジが相対的に広いＷＤＲモードでの撮像が行われる。こうして、撮像装置１は、ＮＤＲモードとＷＤＲモードとのそれぞれの利点を活かしつつ、それぞれの欠点を補うことによって、白飛び等を回避しつつ、高画質の撮像をすることができる。
【０１０８】
尚、本実施形態では、撮像モード判定フレームに飽和状態の撮像データが含まれているか否かを判定することのみに基づいて、それ以降に出力するフレームの撮像モードを決定しているが、例えば図９に示すように、前記ステップＳ７で撮像モード判定フレームに飽和状態の撮像データが含まれていると判断された場合には、撮像モード判定フレームに含まれる全撮像データの平均値が所定値よりも大きいか否かを判定するステップＳ７Ａに移行するようにしてもよい。
【０１０９】
前記ステップＳ７Ａでは、撮像モード判定フレームに含まれる全撮像データの平均値が所定値よりも大きいときに前記ステップＳ８に移行して、以降の撮像モードをＷＤＲモードに設定する一方、撮像モード判定フレームに含まれる全撮像データの平均値が所定値以下のときには前記ステップＳ９に移行して、以降の撮像モードをＮＤＲモードに設定する。これによって、撮像モード判定フレームに飽和状態の撮像データが含まれており且つ、撮像モード判定フレームに含まれる全撮像データの平均値が所定値よりも大きいときにのみ、撮像モードをＷＤＲモードとし、それ以外のときには、撮像モード判定フレームに飽和状態の撮像データが含まれていても、撮像モードをＮＤＲモードとする。このことにより、撮像モード判定フレームにおいて飽和状態（つまり、高輝度）の撮像データが比較的広い範囲に拡がっているとき（平均値が所定値よりも大きいとき）には、白飛びの領域が広くなることから、撮像モードをＷＤＲモードとして画像の白飛びを回避する一方、その飽和状態の撮像データが局所的にしかないとき（平均値が所定値以下のとき）には、白飛びの領域が局所的であることから、撮像モードをＮＤＲモードとする。こうすることで、より人間の視覚に近い画像を得ることができる。
【０１１０】
尚、人間は一般に画像の中央部を注視する傾向があるため、ステップＳ７Ａにおいては、撮像モード判定フレームに含まれる全撮像データの平均値ではなく、撮像モード判定フレームの中央部に含まれる撮像データの平均値が所定値よりも大きいか否かを判定してもよい。このようにすることで人間の感覚とマッチングした撮像モードの判定が可能となる。
【０１１１】
また、図９に示す制御と同じ内容の制御であれば適宜変更してもよく、例えばステップＳ７とステップＳ７Ａとの順序を入れ替えてもよい。
【０１１２】
さらに、図１０に示すように、前記ステップＳ７で撮像モード判定フレームに飽和状態の撮像データが含まれていると判断されたときには、所定の値以下の撮像データの発生頻度が所定の基準値よりも小さいか否かを判定するステップＳ７Ｂに移行するようにしてもよい。
【０１１３】
前記ステップＳ７Ｂでは、撮像モード判定フレームにおいて所定の値以下の撮像データの発生頻度が所定の基準値よりも小さい場合に前記ステップＳ８に移行して、以降の撮像モードをＷＤＲモードに設定する一方、撮像データの発生頻度が所定の基準値以上の場合には前記ステップＳ９に移行して、以降の撮像モードをＮＤＲモードに設定する。これによって、撮像モード判定フレームに飽和状態の撮像データが含まれており且つ、撮像モード判定フレームにおいて所定の値以下の撮像データの発生頻度が所定の基準値よりも小さいときにのみ、撮像モードをＷＤＲモードとし、それ以外のときには、撮像モード判定フレームに飽和状態の撮像データが含まれていても、撮像モードをＮＤＲモードとする。すなわち、前記と同様に、撮像モード判定フレームにおいて飽和状態の撮像データが比較的広い範囲に拡がっているとき（発生頻度が基準値よりも小さいとき）には、白飛びの領域が広くなることから、撮像モードをＷＤＲモードとして画像の白飛びを回避する一方、撮像モード判定フレームにおいて飽和状態の撮像データが局所的にしかないとき（発生頻度が基準値以上のとき）には、白飛びの領域が局所的であり、画像全体としては暗いと判断されることから撮像モードをＮＤＲモードとする。
【０１１４】
尚、このステップＳ７Ｂにおいても、前記と同様に撮像モード判定フレームの中央部に含まれる撮像データのみを頻度計測する対象としてもよい。
【０１１５】
また、図１０に示す制御と同じ内容の制御であれば適宜変更してもよく、例えば前記ステップＳ７Ｂにおいては、所定の値以上の撮像データの発生頻度が所定値よりも大きいか否かを判定し、所定の値以上の撮像データの発生頻度が所定値よりも大きいときに撮像モードをＷＤＲモードにする処理にしたり、ステップＳ７とステップＳ７Ｂとの順序を入れ替えたりしてもよい。
【０１１６】
また、本実施形態では、飽和判定の結果に基づいて、撮像モード判定フレームの次のフレーム以降のフレームの撮像モードを決定し、リアルタイムに撮像モードの変更を行っているが、例えば撮像モード判定フレームで判定した結果を所定の時間（例えば０．５秒間）だけ保留し、その後もう一度飽和判定をして、双方の結果が一致した場合にのみ、飽和判定により決定した撮像モードで以降に出力するフレームを撮像してもよい。こうすることで、通常、マクロな入射光量は緩やかに変化するのに対し、例えば撮像データに含まれるノイズ等の影響により、撮像データが飽和状態の境で前後して飽和判定の結果がその判定毎に入れ替わったとしても、実際の撮像モードが頻繁に入れ替わることを防止することができる。
【０１１７】
さらに、本実施形態では、撮像モード判定フレームの画素全体をＮＤＲモードの撮像データで構成しているが、本撮像素子２は、図３等に示すように、画素回路２１１と蓄積電荷排出回路２１２とが１：１対応であって、画素回路２１１毎に、個別にＮＤＲモードとＷＤＲモードとを設定し得る構成であることを利用して、例えば図１１の（ａ）に示すように、撮像モード判定フレームを、ＮＤＲモードの撮像データで構成されるラスタとＷＤＲモードで構成されるラスタとが交互になるように構成してもよい。こうすることで、飽和判定をするときには当該撮像モード判定フレームにおける半数の撮像データを判定対象として飽和判定をすることができる。また、その内の緑の色情報をもつ撮像データをさらに抽出して、それを判定対象として飽和判定をしてもよい。これによって、処理時間の短縮や処理リソースの軽減を図ることができる。このことは、撮像装置のコストを低減する点で有利である。尚、飽和判定の判定対象を減少させるサンプリングは、本実施形態のように６４０×４８０画素のＶＧＡ相当の撮像素子においても有効であると共に、例えば１２８０×１０２４画素（いわゆるＳＸＧＡ）や１６００×１２００画素（いわゆるＵＸＧＡ）のような高解像度の撮像素子を用いる場合に、特に有効である。
【０１１８】
尚、図１４のように、副走査方向に隣接する２つの画素回路２１１間で１つの蓄積電荷排出回路２１２を共有する場合には、前述したように１ラスタ単位でシャッタを切ることによる不具合が想定されるので、図１１の（ｂ）に示すように、２ラスタ単位でＮＤＲモードの撮像データとＷＤＲモードの撮像データとが交互になるように撮像モード判定フレームを構成すればよい。尚、このとき、図１４に示す１つの画素グループは、ＷＤＲモード又はＮＤＲモードで撮像するラスタに完全に包含される必要があり、１つの画素グループがＷＤＲモードとＮＤＲモードの両方に跨るように設定すべきではない。
【０１１９】
また、前記実施形態では、撮像モード判定フレームを周期的に挿入し、最適な撮像モードを周期的に判定しているが、変形例として、撮像素子２から、時系列で出力される各フレームをＮＤＲモードの撮像データ（ラスタ）とＷＤＲモードの撮像データ（ラスタ）とによって構成すると共に、時間的に連続する２つのフレームでラスタを合成することで、撮像モード判定フレームを等価的に構成すると共に、その撮像モード判定フレームに基づく判定結果に応じて、時間的に連続する２つのフレーム間でラスタを適宜合成して、撮像装置１から出力するようにしてもよい。
【０１２０】
即ち、この変形例は、撮像モード切替部５によって切り替えられた撮像モードに基づいて、撮像素子２は、フレームを構成するＮＤＲモードで撮像した出力信号に基づくラスタ（第１撮像モードラスタ）と、ＷＤＲモードで撮像した出力信号に基づくラスタ（第２撮像モードラスタ）とを出力する。そして制御部６は、第１撮像モードラスタと第２撮像モードラスタのうち、一方の撮像モードのラスタに含まれる出力信号（バッファメモリ３に格納された撮像データ）に基づいて、選択されるべき撮像モードを判定するとともに、この判定結果に基づいて、フレーム及び、このフレームの直前に撮像されたフレームから、第１撮像モードラスタ又は第２撮像モードラスタを選択し、合成するようにしたものである。
【０１２１】
具体的には、前記フレームカウンタＦＣが偶数のときには、図１２の（ａ）に示すように、副走査方向（同図の上下方向）における奇数行目（行数は１からカウントするものとする）のラスタ（以下、奇数ラスタともいう）はＮＤＲモードの撮像データによって構成する一方、偶数行目のラスタ（以下、偶数ラスタともいう）はＷＤＲモードの撮像データによって構成する。つまり、１つのフレーム内において、ＮＤＲモードで撮像されたラスタと、ＷＤＲモードで撮像されたラスタは相互に隣接するよう交互に配置されている。
【０１２２】
一方、前記フレームカウンタＦＣが奇数のときには、図１２の（ｂ）に示すように、同図（ａ）とは逆に、奇数ラスタをＷＤＲモードの撮像データによって構成する一方、偶数ラスタをＮＤＲモードの撮像データによって構成する。つまり、隣接するフレーム間において、ＮＤＲモードで撮像されたラスタとＷＤＲモードで撮像されたラスタの位置を入れ替えるようにしている。
【０１２３】
尚、ＮＤＲモードで撮像されたラスタとＷＤＲモードで撮像されたラスタは逆にしてもよい。そうして、制御部６は、図１３に示すように、フレームカウンタＦＣが１の場合には、フレームカウンタＦＣが０のときにバッファメモリ３に格納したフレーム（以下、第０フレームともいう）から奇数ラスタの撮像データ（つまり、ＮＤＲモードの撮像データ）を抽出すると共に、フレームカウンタＦＣが１のときにバッファメモリ３に格納したフレーム（以下、第１フレームともいう）から偶数ラスタの撮像データ（つまり、ＮＤＲモードの撮像データ）を抽出する。こうして、第０及び第１フレームによって、等価的に、ＮＤＲモードの撮像データのみにより構成される撮像モード判定フレームを作成する。そうして、この等価的な撮像モード判定フレームからさらに緑の色情報をもつ撮像データを抽出して飽和判定をする。尚、飽和判定は、前述の種々の判定方法を採用することが可能である。
【０１２４】
ここで、撮像データ判定フレームに飽和状態の撮像データが含まれている場合には、制御部６は、第０フレームの偶数ラスタの撮像データ（つまり、ＷＤＲモードの撮像データ）と第１フレームの奇数ラスタの撮像データ（つまり、ＷＤＲモードの撮像データ）とを合成して画像処理部４に出力（ＤＭＡ転送）する。
【０１２５】
これに対し、撮像データ判定フレームに飽和状態の撮像データが含まれていない場合には、制御部６は、第０フレームの奇数ラスタの撮像データ（つまり、ＮＤＲモードの撮像データ）と第１フレームの偶数ラスタの撮像データ（つまり、ＮＤＲモードの撮像データ）とを合成して画像処理部４に出力（ＤＭＡ転送）する。
【０１２６】
第０フレームと第１フレームとを合成して画像処理部４に出力するのと並行して、撮像素子２は、フレームカウンタＦＣが２のフレーム（以下、第２フレームともいう）をバッファメモリ３に出力する。
【０１２７】
そうして、今度は第１フレームの偶数ラスタの撮像データと第２フレームの奇数ラスタの撮像データを基にして前記と同様に飽和判定をする。このとき、制御部６は、既に第１フレームについては飽和判定をしているので、第２フレームにおける奇数ラスタの撮像データ（つまり、ＮＤＲモードの撮像データ）ついてのみ飽和判定を行えばよい。このとき、既に行なった第１フレームの飽和判定の結果と、新たに行なった第２フレームの飽和判定の結果が異なる場合は、時系列的な順序が後である第２フレームに基づく判定結果を優先させるようにしてもよい。
【０１２８】
尚、本実施形態では、連続する２つのフレームからＮＤＲモードで撮像したラスタを抽出し、これを合成して撮像モード判定フレームを等価的に構成しているが、ＮＤＲモードで撮像したラスタに替えて、ＷＤＲモードで撮像したラスタを用いてもよい。
【０１２９】
また、隣接するラスタ間では一般的に画像の相間は非常に高いため、撮像モード判定フレームとして６４０×４８０画素の画像を構築するのではなく、１回の撮像で得られたＮＤＲモードで撮像されたラスタ（あるいはＷＤＲモードで撮像されたラスタ）のみに基づいて、飽和判定等を行なうようにしてもよい。
【０１３０】
以降は、前記と同様の制御を繰り返し行うことによって、合成したフレームを連続的に画像処理部４に出力する。こうすることでも、ＮＤＲモードの撮像データに基づくフレームと、ＷＤＲモードの撮像データに基づくフレームとが切り替わりながら出力されるため、白飛び等を回避しつつ、しかも不必要にコントラストが低下したり、階調が低下したりすることを回避した動画像を得ることができる。また、この制御を行うことによって、いわゆるプログレッシブスキャンと同様の効果が得られるので、高速で動く被写体であっても画像ぶれの少ない動画を得ることができるという付随的な効果を得ることもできる。
（実施形態２）
次に、図１７を参照しながら、本発明の実施形態２に係る撮像装置１０１について説明する。実施形態２に係る撮像装置１０１は、ＷＤＲモードにおける動作が、実施形態１に係る撮像装置１と異なる。具体的に実施形態２に係る撮像装置１０１では、電荷排出動作を実行するＷＤＲモードにおいて、その電荷排出を開始する電位（蓄積電荷量）を変更することによって、ダイナミックレンジを変更するようにしている。
【０１３１】
この実施形態２に係る撮像装置１０１は、電源電位ノードと、反転アンプと、制御部の機能と、撮像モード切替部の機能と、が実施形態１と異なる。そこで、実施形態１と同様の構成は、同じ符号を付して、実施形態１と異なる構成を中心に説明する。
【０１３２】
撮像装置１０１は、制御電位発生部２１２ｅの入力ノードが、第５ノードＮ５及び撮像モード切替部５に接続されると共に、クリアスイッチ２１２ｃをオンにすることによって第５ノードＮ５に供給される電源電位が、電源電位ノードＮ３から供給される電源電位ＶＤＤとされた構成となっている。
【０１３３】
制御部６は、実施形態１と同様に、撮像素子２全体の動作を制御すると共に、撮像モード切替部５に対してモード指定信号を送信する一方で、実施形態１とは異なり、詳しくは後述するが、フレームに含まれる撮像データに基づいて、ＷＤＲモードにおける蓄積電荷の排出開始電位に係る電位指定信号を決定し、その電位指定信号を撮像モード切替部５に送信する。尚、本実施形態では、電位指定信号の出力ビット数を８ビットにしている。
【０１３４】
撮像モード切替部５は、実施形態１と同様に、制御部６からのモード指定信号に基づいて、クリア制御信号ＲＯ及びＲＯ＿１，ＲＯ＿２・・・を撮像素子２に送り、それによって各画素回路２１１の撮像モードをＮＤＲモード又はＷＤＲモードにする一方で、実施形態１で説明した構成に加えて、制御部６からの電位指定信号をデジタル信号からアナログ信号に変換し、そのアナログ信号に変換した電荷排出指定電位Ｖ＿ｒｅｆを制御電位発生部２１２ｅに出力するポートを備える。
【０１３５】
制御電位発生部２１２ｅは、実施形態１における反転アンプ２１２ｄに加算器を追加して構成されており、第５ノードＮ５の電位（以下、第５ノード電位ともいう）Ｖ＿ｎ５と、撮像モード切替部５から入力される電荷排出指定電位Ｖ＿ｒｅｆと、に基づくアナログ信号を演算することによって制御電位Ｖｇを生成し、それを出力する。
【０１３６】
ここで、ＷＤＲモードにおける制御電位Ｖｇの特性について、図１８を参照しながら説明する。
【０１３７】
図１８は、第１ノードＮ１から電荷排出ゲート２１２ａを介して第５ノードＮ５に排出された溢れ電荷量ｄｅに対する制御電位Ｖｇの特性を示している。この図において、Ｖ＿ｒｅｆ０，Ｖ＿ｒｅｆ１，Ｖ＿ｒｅｆ２，Ｖ＿ｒｅｆ３及びＶ＿ｒｅｆ４は、それぞれ制御部６から出力される前記電位指定信号（８ビット）が０，６３，１２７，１９１及び２５５のときの電荷排出指定電位に対応する。
【０１３８】
制御電位Ｖｇは、溢れ電荷量ｄｅが０のときには、電荷排出指定電位Ｖ＿ｒｅｆに等しくなる一方、溢れ電荷量ｄｅが０よりも大きいときには、溢れ電荷量ｄｅの増加に比例して増加する特性を有する。従って、制御電位Ｖｇは、下記（１）式で表すことができる。
【０１３９】
Ｖｇ＝Ｖ＿ｒｅｆ＋ｋ×ｄｅ  ・・・（１）
ここで、ｋは溢れ電荷量ｄｅの増分に対する制御電位Ｖｇの増分、すなわち傾きを表す。
【０１４０】
この（１）式は下記（２）式に変形することができる。
【０１４１】
Ｖｇ＝Ｖ＿ｒｅｆ＋ｋ×ＶＤＤ−ｋ×（ＶＤＤ−ｄｅ）  ・・・（２）
この（２）式において、ＶＤＤは電源電位ノードＮ３から供給される電源電位であるので、ＶＤＤ−ｄｅは第５ノード電位Ｖ＿ｎ５と等価である。従って、下記（３）式と表すことができる。
【０１４２】
Ｖｇ＝Ｖ＿ｒｅｆ＋ｋ×ＶＤＤ−ｋ×Ｖ＿ｎ５  ・・・（３）
この（３）式は、下記（４）式に変形することができる。
【０１４３】
Ｖｇ＝Ｖ＿ｒｅｆ＋ｋ（ＶＤＤ−Ｖ＿ｎ５）  ・・・（４）
この（４）式の第２項のＶＤＤ−Ｖ＿ｎ５は減算であるので、減算器ないし反転アンプで構成することができる。また、傾きｋは、減算後の出力に対する増幅率ないし反転アンプの増幅率によって設定することができる。また、（４）式の第１項と第２項との加算は、加算器で行うことができる。そのため、本実施形態では、制御電位Ｖｇが（１）式で表されるような特性となるように、制御電位発生部２１２ｅを反転アンプ（あるいは減算器）と加算器とで構成している。
【０１４４】
つまり、第１ノードＮ１から第５ノードＮ５に電荷が排出される前の制御電位Ｖｇは、電荷排出指定電位Ｖ＿ｒｅｆと等価であり、この電荷排出指定電位Ｖ＿ｒｅｆが電荷排出ゲート２１２ａのポテンシャル障壁の初期高さに相当することから、実施形態２においては、撮像モード切替部５が、制御部６からの電位指定信号に応じた電荷排出指定電位Ｖ＿ｒｅｆを制御電位発生部２１２ｅに出力することによって、電荷排出ゲート２１２ａのポテンシャル障壁の初期高さを変更設定することができる。そうして、第１ノードＮ１の電荷が電荷排出ゲート２１２ａのポテンシャル障壁を越えてオーバーフロードレイン２１２ｂに蓄積された後は、実施形態１と同様に、第５ノード電位Ｖ＿ｎ５が低下し、それによって制御電位Ｖｇが上昇し、電荷排出ゲート２１２ａのポテンシャル障壁の高さが低下するので、第１ノードＮ１から第５ノードＮ５への電荷排出が促進されることになる。
【０１４５】
ここで、蓄積電荷排出動作を実行するＷＤＲモードにおいて、電荷排出ゲート２１２ａのポテンシャル障壁の初期高さの変更に伴う、電荷排出動作の変化について説明する。尚、以下の説明には、実施形態１における説明と一部重複する部分がある。
【０１４６】
先ず、制御部６が撮像モード切替部５に電位指定信号として「６３」を送信するとき（図１８のＶ＿ｒｅｆ１に該当）のように、比較的小さい電荷排出指定電位Ｖ＿ｒｅｆを制御電位発生部２１２ｅに入力するときの電荷の動きについて、図１９を参照しながら説明する。
【０１４７】
図１９は、電荷排出ゲート２１２ａのポテンシャル障壁の状態と、電荷の動きと、を模式的に示した図である。この図において、縦軸はポテンシャル障壁の高さを表す一方、横軸において、Ｗ１は第５ノードＮ５（オーバーフロードレイン容量）の配置領域（以下、オーバーフロードレイン領域ともいう）に、Ｗ２は電荷排出ゲート２１２ａの配置領域（以下、電荷排出ゲート領域ともいう）に、Ｗ３はフォトダイオード２１１ａの配置領域（以下、フォトダイオード領域ともいう）に、Ｗ４は転送トランジスタ２１１ｂの配置領域（以下、転送トランジスタ領域ともいう）に、Ｗ５は第２ノードＮ２（いわゆるフローティングデフュージョン）の配置領域（以下、フローティングデフュージョン領域ともいう）に、それぞれ対応する。
【０１４８】
図１９に示すように、制御電位Ｖｇの原点は縦軸の上方にあり、制御電位Ｖｇの値が大きくなるほど、ポテンシャル障壁のピークは下方に移動、つまりポテンシャル障壁の高さは低く設定される。
【０１４９】
図１９の（ａ）に示す、第１ノードＮ１から第５ノードＮ５に電荷が排出される前において、制御電位Ｖｇは、前述したように電荷排出指定電位Ｖ＿ｒｅｆと等価であるため、電荷排出指定電位Ｖ＿ｒｅｆと同様に比較的小さく、基板電位（つまり０Ｖ）との差が比較的小さくなっている。そのため、電荷排出ゲート２１２ａの初期のポテンシャル障壁は、比較的高く設定されている。この状態において、フォトダイオード２１１ａが受光することによって発生する電荷は、フォトダイオード２１１ａのポテンシャル井戸（つまり、フォトダイオード領域Ｗ３）に蓄積される。
【０１５０】
フォトダイオード２１１ａの受光光量が増大するにつれて、フォトダイオード領域Ｗ３に電荷がさらに蓄積されると、図１９の（ｂ）に示すように、電荷が電荷排出ゲート領域Ｗ２のポテンシャル障壁を越えて、フォトダイオード領域Ｗ３からオーバーフロードレイン領域Ｗ１に溢れ出る。
【０１５１】
そうして、前記フォトダイオード領域Ｗ３からオーバーフロードレイン領域Ｗ１に溢れ出た電荷がオーバーフロードレイン領域Ｗ１に蓄積される（電荷排出動作を行うため、クリアスイッチ２１２ｃはオフである）。このオーバーフロードレイン領域Ｗ１に電荷が蓄積されることによって、第５ノード電位Ｖ＿ｎ５は低下し、前記（４）式によっても理解できるように、制御電位Ｖｇが大きくなるので、図１９の（ｃ）に示すように、電荷排出ゲート領域Ｗ２のポテンシャル障壁の高さは低下する。その結果、フォトダイオード領域Ｗ３からオーバーフロードレイン領域Ｗ１に電荷がさらに溢れ出ることになる。こうして、蓄積電荷排出動作が促進されることになる。
【０１５２】
このとき、フォトダイオード領域Ｗ３における電荷の蓄積量は、フォトダイオード２１１ａで新たに発生する電荷の量と、フォトダイオード領域Ｗ３からオーバーフロードレイン領域Ｗ１に排出される電荷の量と、のバランスによって決まる。
【０１５３】
仮に、電荷排出ゲート領域Ｗ２のポテンシャル障壁の高さが低下せずに一定であるとすると、フォトダイオード領域Ｗ３からオーバーフロードレイン領域Ｗ１に排出される電荷の量は、フォトダイオード２１１ａで発生する電荷の量に比例する。このことは、一定の抵抗値を有する抵抗に対し電圧を印加するときに、電圧を大きくすると電流も比例して大きくなることと同様の仕組みである。そのため、フォトダイオード領域Ｗ３からオーバーフロードレイン領域Ｗ１に電荷が排出されていても、フォトダイオード領域Ｗ３に蓄積される電荷の量は、増加率は電荷が排出されていないときよりも低下するものの、フォトダイオード２１１ａで発生する電荷の量の増加に伴って、線形的に増加する。
【０１５４】
これに対し、本発明の撮像装置では、オーバーフロードレイン領域Ｗ１における電荷の蓄積量が増加することに伴って、電荷排出ゲート領域Ｗ２のポテンシャル障壁の高さが低下するので、フォトダイオード領域Ｗ３からオーバーフロードレイン領域Ｗ１に排出される電荷の量は、フォトダイオード２１１ａで発生する電荷の量の増加に伴って、比例して増加せずに、加速的に増加する。また、撮像装置１０１は、実施形態１と同様に、電荷排出ゲート２１２ａのゲート幅及びゲート長（あるいは不純物濃度）を調整することによって、第１ノードＮ１から第５ノードＮ５への電荷の排出能力が抑制されており、それによって、フォトダイオード２１１ａで新たに発生する電荷の量が、第１ノードＮ１から第５ノードＮ５への電荷の排出量を上回るように構成されている。このことから、フォトダイオード領域Ｗ３からオーバーフロードレイン領域Ｗ１に電荷が排出されているときにフォトダイオード領域Ｗ３に残存する電荷の量は、新たに生成される電荷量と排出される電荷量とのバランスによって自律的に調整され、フォトダイオード２１１ａで発生する電荷の量の増加に伴って、線形的に増加せずに、対数的に増加することになる。ここで、撮像データの値（撮像素子の出力値）は、フォトダイオード領域Ｗ３における電荷の蓄積量に基づいているので、図２２に示すように、フォトダイオード２１１ａの受光光量が比較的大きくないとき（つまり、フォトダイオード２１１ａの受光光量が小から中程度であって、蓄積電荷が電荷排出ゲートを越えて溢れない状況）には、フォトダイオード２１１ａの受光光量の増加に伴い線形的に増加する一方、フォトダイオード２１１ａの受光光量が比較的大きくなったときに電荷の排出を開始して、それ以降は、フォトダイオード２１１ａの受光光量の増加に伴い対数的に増加する。つまり、撮像データの値は、線形特性と対数特性とが繋がったハイブリッドな出力特性を示す。そのため、線形特性の撮像データよりもダイナミックレンジが拡大する。更に、線形特性となる領域を有することから、低輝度域（受光光量が小さい状態）において受光光量の増加に伴い急激に出力が増加する単純な対数特性と比較して、実質的な階調数を多く確保することが可能となる。
【０１５５】
次に、制御部６が撮像モード切替部５に電位指定信号として「１９１」を送信するとき（図１８のＶ＿ｒｅｆ３に該当）のように、比較的大きい電荷排出指定電位Ｖ＿ｒｅｆが制御電位発生部２１２ｅに入力されるときの電荷の動きについて、図２０を参照しながら説明する。
【０１５６】
図２０の（ａ）に示す、第１ノードＮ１から第５ノードＮ５に電荷が排出される前において、制御電位Ｖｇは、前述したように、電荷排出指定電位Ｖ＿ｒｅｆと等価であるため、電荷排出指定電位Ｖ＿ｒｅｆと同様に比較的大きく、基板電位（つまり０Ｖ）との差が比較的大きくなっている。そのため、電荷排出ゲート２１２ａの初期のポテンシャル障壁の高さは、図１９の（ａ）と比較して低く設定されている。
【０１５７】
図２０の（ａ）の状態からフォトダイオード領域Ｗ３に電荷が蓄積されると、同図の（ｂ）に示すように、初期のポテンシャル障壁の高さが低い分、フォトダイオード２１１ａの受光光量が比較的小さいときであっても、電荷が電荷排出ゲート領域Ｗ２のポテンシャル障壁を越えて、フォトダイオード領域Ｗ３からオーバーフロードレイン領域Ｗ１に溢れ出す。
【０１５８】
そうして、前記フォトダイオード領域Ｗ３からオーバーフロードレイン領域Ｗ１に溢れ出た電荷がオーバーフロードレイン領域Ｗ１に蓄積されて、電荷排出ゲート領域Ｗ２のポテンシャル障壁の高さがさらに低下する（図２０の（ｃ）参照）。その結果、フォトダイオード領域Ｗ３からオーバーフロードレイン領域Ｗ１に電荷がさらに溢れ出す。
【０１５９】
このことから、電荷排出が開始された以降は、初期のポテンシャル障壁の高さが高い場合と同様に、フォトダイオード領域Ｗ３からオーバーフロードレイン領域Ｗ１に電荷が排出されているときにフォトダイオード領域Ｗ３に蓄積される電荷の量は、フォトダイオード２１１ａで発生する電荷の量に対して線形的に増加せずに、対数的に増加する。従って、図２３に示すように、撮像データの値は、線形特性と対数特性とが繋がったハイブリッドな特性を示す一方、前記初期のポテンシャル障壁の高さが高い場合と比較して、フォトダイオード２１１ａの受光光量が比較的小さいときから電荷排出が開始されるため、対数特性を示す範囲が相対的に広くなる。そのため、初期のポテンシャル障壁の高さが低いとき（図２３）は、その初期のポテンシャル障壁の高さが高いとき（図２２）よりもダイナミックレンジが拡大する。
【０１６０】
このように、制御電位発生部２１２ｅに入力する電荷排出指定電位Ｖ＿ｒｅｆを変えることによって、電荷排出ゲート２１２ａの初期のポテンシャル障壁の高さが変わり、撮像素子２のダイナミックレンジを変えることができる。
【０１６１】
次に参考として、撮像モードがＮＤＲモードのときの電荷の動きについて、図２１を参照しながら説明する。ＮＤＲモードにおいては、電位指定信号を例えば「８」にして、小さい電荷排出指定電位Ｖ＿ｒｅｆを制御電位発生部２１２ｅに入力することにより初期のポテンシャル障壁の高さを高くすることが好ましい。尚、電位指定信号は、０よりも大きくかつ、比較的小さい値で適宜設定すればよい。
【０１６２】
図２１の（ａ）に示す、第１ノードＮ１から第５ノードＮ５に電荷が排出される前において、制御電位Ｖｇは、前述したように、電荷排出指定電位Ｖ＿ｒｅｆと等価であるため、電位指定信号ひいては電荷排出指定電位Ｖ＿ｒｅｆと同様に比較的小さく、基板電位（つまり０Ｖ）と略同じになっている。そのため、電荷排出ゲート２１２ａのポテンシャル障壁は比較的高くなっている。
【０１６３】
図２１の（ａ）の状態からフォトダイオード領域Ｗ３に電荷が蓄積され、同図の（ｂ）に示すように、フォトダイオード２１１ａの電荷が電荷排出ゲート領域Ｗ２のポテンシャル障壁を越えると、フォトダイオード領域Ｗ３からオーバーフロードレイン領域Ｗ１に溢れ出す。このとき、クリアスイッチ２１２ｃがオンである（つまり、第５ノードＮ５と電源電位ノードＮ３とが接続されている）ので、前記フォトダイオード領域Ｗ３からオーバーフロードレイン領域Ｗ１に溢れ出た電荷は、直ちに電源電位ノードＮ３に吸引され、オーバーフロードレイン領域Ｗ１に蓄積されることなく消滅する。そのため、制御電位Ｖｇは変化せず、電荷排出ゲート領域Ｗ２のポテンシャル障壁の高さは低下することなく、一定のままとなる。
【０１６４】
そうして、蓄積電荷の転送タイミングにおいて転送制御信号ＴＧをＨｉにすることによって、第１ノードＮ１と第２ノードＮ２とを接続し、それによって、図２１の（ｃ）に示すように、フォトダイオード領域Ｗ３に蓄積された電荷をフローティングデフュージョン領域Ｗ５に転送する。このフローティングデフュージョン領域Ｗ５に転送された電荷は、アンプ２１１ｄ及び出力信号処理部２２を通じて撮像素子２から撮像データとして出力される。
【０１６５】
このことから、ＮＤＲモードでは、電荷排出ゲート２１２ａのポテンシャル障壁の高さを下げる電荷排出動作を行わないため、フォトダイオード領域Ｗ３に蓄積される電荷の量は、フォトダイオード２１１ａで発生する電荷の量の増加に伴い線形的に増加する。このため、図２４に示すように、出力は、フォトダイオード２１１ａの受光光量の増加に伴い線形的に増加すると共に、所定の受光光量でフォトダイオード２１１ａの電荷蓄積容量に対応する値に達して飽和する。
【０１６６】
以上説明したように、実施形態２においてはＷＤＲモードにおいて、ダイナミックレンジを変更することにより、ダイナミックレンジを被写体に応じて最適化する制御を行う。
【０１６７】
次に、ＷＤＲモードにおいて実行されるダイナミックレンジの最適化に関係する、制御部６による電位指定信号の決定処理について説明する。
【０１６８】
制御部６は、撮像モードがＮＤＲモードのときには、前述したように、電位指定信号を例えば「８」の一定値とする。
【０１６９】
一方、撮像モードがＷＤＲモードのときには、制御部６は、フレームに含まれる撮像データの最大値（以下、単に撮像データの最大値ともいう）が所定の値となるように、電位指定信号を設定する。前述したように、電位指定信号の変更に伴い、制御電位発生部２１２ｅに入力する電荷排出指定電位Ｖ＿ｒｅｆを変えることによって、フォトダイオード２１１ａの受光光量に対する出力特性において、線形特性領域と対数特性領域との割合が変更されることで、同一の受光光量に対する出力値が変わるようになる。そこで、制御部６は、フレームに含まれる撮像データの最大値が、所定の値、図２２に示すように、ここでは最大出力値になるように電位指定信号に決定する。こうすることによって、撮像素子２の出力は、最大出力値まで上がることなり、不必要に出力を圧縮することが無くなり、１フレーム内では、その全体として階調数を最も確保することができる。
【０１７０】
図２５は、撮像データが８ビットで出力されているときに、制御部６において、撮像データの最大値が、所定の値としての最大出力値となるような電位指定信号に決定する処理について説明する図である。尚、図２５においては、前記最大出力値を、ＮＤＲモードとは異なるように、２５０に設定しているが、最大出力値は適宜変更してもよい。
【０１７１】
まず、実施形態１において説明したように、撮像モードがＮＤＲモードからＷＤＲモードに切り替わった直後は、それまではＮＤＲモードでの撮像が可能であったため、フォトダイオード２１１ａの受光光量は、ＮＤＲモードにおいて飽和に相当する受光光量付近である場合が多く、電荷排出量はそれほど多くないと推定することができる。一方で、撮像素子２の出力特性としては、なるべく線形特性の範囲を広くして、出力が圧縮される対数特性の範囲は狭いことが望ましい。そのため、初期のポテンシャル障壁を比較的高くすべく、電位指定信号は比較的小さい値に設定する。本実施形態では、撮像モードがＮＤＲモードからＷＤＲモードに切り替わった直後には、制御部６は、８ビットの電位指定信号を「３２」に設定することとする。この「３２」は、以降の電位指定信号を、３２刻みで設定するべく、２５６を８等分しているという意味もある。
【０１７２】
電位指定信号を「３２」とした状態で撮像を行い、制御部６は、それによって出力されるフレームに含まれる撮像データの最大値を抽出する。図２５に示すように、その撮像データの最大値が、例えば飽和（２５５）に達していて最大出力値を超えているときには、制御部６は、第１ノードＮ１から第５ノードＮ５への電荷排出量が不足していると判断し、より電荷排出量が増えるように、電位指定信号に「３２」を加算し、電位指定信号を「６４」に決定する。そうして、電荷排出ゲート２１２ａの初期のポテンシャル障壁をさらに下げた状態で、撮像を行う。尚、撮像データの最大値が最大出力値を超えていないときには、後述する２分探索法を実行することになる。
【０１７３】
電位指定信号を「６４」とした状態での撮像によって出力されるフレームの撮像データの最大値が、図２５に示すように例えば１５０であって、最大出力値を超えていないとする。制御部６は、第１ノードＮ１から第５ノードＮ５への電荷排出量が過多であったと判断し、電荷排出量を減らすようにする。以降の電位指定信号は、いわゆる２分探索法によって決定される。具体的には、制御部６は、電位指定信号を「３２」と「６４」の中間の値である「４８」に決定する。
【０１７４】
そうして、電位指定信号を「４８」とした状態で撮像し、それによって出力されるフレームの撮像データの最大値と最大出力値との大小を比較する。例えば図２５の例では、電位指定信号を「４８」にすることによって、撮像データの最大値が２５０になっている。従って、この例では、探索を終了し、以降は電位指定信号を「４８」とした状態で撮像を継続する。
【０１７５】
つまり、制御部６は、撮像データの最大値が最大出力値よりも小さくなるまで、電位指定信号を３２ずつ加算し、撮像データの最大値が最大出力値よりも小さくなった以降は、電位指定信号を２分探索法によって決定する。この場合では、２５６を３２刻みにした数である８回と、刻み幅３２を２分探索法により探索するときの最大探索回数の５回と、を加えた１３回が最大探索回数となる。例えば、撮像データの最大値が最大出力値になる場合の電位指定信号（以下、最適な電位指定信号ともいう）が２２９のときには、電位指定信号は、３２，６４，９６，１２８，１６０，１９２，２２４，２５５，２４０，２３２，２２８，２３０，２２９の順に遷移するので、１３回で探索することができる。このように、電位指定信号の決定に２分探索法を用いることによって、フォトダイオード２１１ａの受光光量が急激に変化したとしても、最適な電位指定信号を順番に探す追随型の制御（いわゆる線形探索）に比べて、極めて高速に探索することができる。しかしながら、電位指定信号の決定に２分探索法を用いることによって、撮像データの値が増加と減少とを繰り返す場合がある。例えば、前記最適な電位指定信号が２２９のときに、電位指定信号が２３２，２２８，２３０，２２９のように変化する場合のように、撮像データの値が高くなったり、低くなったりしながら収束する場合がある。この状態で撮像された出力画像を人が見たときには、不快に感じることがある。そのため、本実施形態では、一旦、最適な電位指定信号になった後は、フレームを出力する毎に、撮像データの最大値の変化量を調べ、その変化量が所定の値（例えば、５）よりも小さいときには、電位指定信号の値を±１ずつ変化させる追随型の制御をする一方、変化量が所定の値以上のときには、２分探索法を用いることにしている。
【０１７６】
ここで、実施形態１に係る撮像装置１では、１ラスタ期間における電荷蓄積期間、つまり、蓄積電荷転送期間よりも前の期間中の少なくとも一部の期間において、クリアスイッチ２１２ｃをオフにする電荷排出期間を設けるようにしているが（例えば、図２６における一点鎖線参照）、実施形態２に係る撮像装置１０１では、前述したように、電位指定信号の最適化により、例えば図２２に示すように、撮像データの最大値を、出力最大値にすることができるため、電荷排出期間を電荷蓄積期間の全期間（蓄積電荷転送期間よりも前の全期間（拡張電荷排出期間））に設定すればよい（図２６参照）。こうすることで、電荷蓄積期間において、第１ノードＮ１の蓄積電荷が電荷排出ゲート２１２ａのポテンシャル障壁を越えたときには、電荷排出動作が開始されることになる。尚、電荷排出期間を電荷蓄積期間の全期間とせずに、一部の期間としてもよく、その場合には、電荷排出期間の終期を蓄積電荷転送期間の始期と対応させるようにしてもよい。
【０１７７】
このように実施形態２の撮像装置１０１では、撮像データの値は、前述した図２２等のように、線形特性と対数特性とが繋がったハイブリッドな特性を示す。そうして、撮像データの値は、線形特性と対数特性とが切り替わる受光光量を変えながら（つまり、電荷排出を開始する受光光量を変えながら）、撮像データの最大値が所定の値（２５０）に近づく特性を示す。そのため、前記実施形態１の撮像装置１では、ＷＤＲモードで撮像すると、ＮＤＲモードよりもダイナミックレンジが拡大するものの、そのダイナミックレンジが所定のレンジ幅に固定されるため、被写体の状況によっては、具体的には飽和に至らないような所定の受光光量以下においては、出力を不必要に圧縮していることになり、コントラストの低下や階調数の低下を招くことも起こり得るのに対し、本実施形態２の撮像装置１０１では、ダイナミックレンジが最適化されるため、コントラストの低下や階調数の低下を招かないという利点がある。
【０１７８】
従って、本発明の実施形態２に係る撮像装置１０１では、白飛び等を回避しつつ、高画質な画像を出力することができる。
【０１７９】
尚、実施形態２に係る撮像装置１０１においては、ＷＤＲモードのときに、ＮＤＲモードのときと同程度の比較的小さい電位指定信号で撮像して飽和が生じないのであれば、電荷排出動作が実行されないため、出力特性は、ＮＤＲモードと略同じ、線形特性を示すことになる。このため、実施形態１において説明した、判定フレームを利用して撮像モードをＮＤＲモードとＷＤＲモードとの間で切り替えるような動作を行わずに、常にＷＤＲモードとしてもよい。但し、ＷＤＲモードにおいては、前述したように、ダイナミックレンジを最適化するために、最適な電位指定信号を探索する処理が必要であるのに対し、ＮＤＲモードとＷＤＲモードとの間で切り替え動作を行っている場合において、ＮＤＲモードでの撮像中はそうした処理が必要ないため、処理負担の観点において、ＮＤＲモードとＷＤＲモードとの間での切り替え動作は利点がある。
【産業上の利用可能性】
【０１８０】
以上説明したように、本発明の撮像装置は、白飛び等を回避しつつ、コントラストが高く且つ、階調が高い画像を出力することができるため、例えばテレビドアフォンやネットワークカメラを含む各種装置に利用したときに、常に高画質な画像が得られる点で有用である。
【図面の簡単な説明】
【０１８１】
【図１】本発明に係る撮像装置の概略構成図である。
【図２】画素回路と蓄積電荷排出回路との配置関係の一例を説明する図である。
【図３】本発明の実施形態１に係る撮像装置の回路図である。
【図４】撮像装置の変形例に係る回路図である。
【図５】ベイヤ配列のカラーフィルタの構成図である。
【図６】撮像モード判定フレームを挿入するタイミングを説明する図である。
【図７】制御部による撮像モードを決定するためのフローチャートである。
【図８】画像処理部に出力するフレームを決定する方法を説明する図である。
【図９】制御部による飽和判定の他のフローチャートである。
【図１０】制御部による飽和判定のさらに他のフローチャートである。
【図１１】撮像モード判定フレームの他の構成を示す図である。
【図１２】フレームの他の構成を示す図である。
【図１３】図１２に示すフレームを用いて画像処理部に出力するフレームを合成する方法についての説明図である。
【図１４】画素回路と蓄積電荷排出回路との配置関係の一例を説明する図である。
【図１５】画素回路と蓄積電荷排出回路との配置関係の一例を説明する図である。
【図１６】画素回路と蓄積電荷排出回路との配置関係の一例を説明する図である。
【図１７】本発明の実施形態２に係る撮像装置の回路図である。
【図１８】制御電位の特性を示すグラフである。
【図１９】比較的小さい電荷排出指定電位を制御電位発生部に入力したときのポテンシャル障壁及び電荷の状態を模式的に表した図である。
【図２０】比較的大きい電荷排出指定電位を制御電位発生部に入力したときのポテンシャル障壁及び電荷の状態を模式的に表した図である。
【図２１】ＮＤＲモードで撮像したときのポテンシャル障壁及び電荷の状態を模式的に表した図である。
【図２２】比較的小さい電荷排出指定電位を制御電位発生部に入力したときの撮像データの特性を示す図である。
【図２３】比較的大きい電荷排出指定電位を制御電位発生部に入力したときの撮像データの特性を示す図である。
【図２４】ＮＤＲモードで撮像したときの撮像データの特性を示す図である。
【図２５】制御部による電位指定信号の決定処理を説明する図である。
【図２６】撮像装置における１ラスタの動作を示すタイミングチャートである。
【符号の説明】
【０１８２】
１，１０１            撮像装置
２                    撮像素子
２１                  センサエリア
２１１                画素回路
２１１ａ              フォトダイオード（受光素子）
２１２                蓄積電荷排出回路
２１２ａ              電荷排出ゲート
２１２ｂ              オーバーフロードレイン
２１２ｃ              クリアスイッチ
２１２ｅ              制御電位発生部
２２                  出力信号処理部
３                    バッファメモリ
４                    画像処理部
５                    撮像モード切替部
６                    制御部
Ｖｇ                  制御電位
Ｖ＿ｎ５              第５ノード電位
Ｖ＿ｒｅｆ            電荷排出指定電位
【図１】
2010192659.tif 000003
【図２】
2010192659.tif 000004
【図３】
2010192659.tif 000005
【図４】
2010192659.tif 000006
【図５】
2010192659.tif 000007
【図６】
2010192659.tif 000008
【図７】
2010192659.tif 000009
【図８】
2010192659.tif 000010
【図９】
2010192659.tif 000011
【図１０】
2010192659.tif 000012
【図１１】
2010192659.tif 000013
【図１２】
2010192659.tif 000014
【図１３】
2010192659.tif 000015
【図１４】
2010192659.tif 000016
【図１５】
2010192659.tif 000017
【図１６】
2010192659.tif 000018
【図１７】
2010192659.tif 000019
【図１８】
2010192659.tif 000020
【図１９】
2010192659.tif 000021
【図２０】
2010192659.tif 000022
【図２１】
2010192659.tif 000023
【図２２】
2010192659.tif 000024
【図２３】
2010192659.tif 000025
【図２４】
2010192659.tif 000026
【図２５】
2010192659.tif 000027
【図２６】
2010192659.tif 000028