(57)【要約】【課題】動画像の撮像中、表示中におけるスミアの低減効果を、間引き率を変更するだけで、ユーザーに違和感を与えることなく、安価な回路構成で、かつ消費電力を抑えて実現することのできる撮像装置を提供する。【解決手段】垂直方向の間引き率を変更して読み出すことが可能な撮像素子１と、この撮像素子１の駆動手段に接続されかつコントローラからの設定に応じて任意のクロック周波数を出力することのできるクロックジェネレータ５と、撮像素子１の出力信号を処理し、かつ撮像素子１の出力信号に含まれるスミア成分を検出するスミア成分検出手段及びコントローラを含む信号処理手段４とを備える撮像装置において、スミア成分検出の有無に変化が生じた場合に、間引き率の変更と前記クロックジェネレータ５の出力クロック周波数の変更とを併せて制御する制御機能を備える。【選択図】図１
2007295082.tif 000002
【特許請求の範囲】
【請求項１】
垂直方向の間引き率を変更して読み出すことが可能な撮像素子と、該撮像素子の駆動手段に接続され、且つ、コントローラからの設定に応じて任意のクロック周波数を出力することのできるクロックジェネレータと、前記撮像素子の出力信号を処理し、且つ、前記撮像素子の出力信号に含まれるスミア成分を検出するスミア成分検出手段と、前記コントローラを含む信号処理手段とを備える撮像装置において、前記スミア成分検出の有無に変化が生じた場合に前記間引き率の変更と前記クロックジェネレータの出力クロック周波数の変更とを併せて制御する制御手段を備えることを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記スミア成分が検出されない状態から前記スミア成分が検出された場合は前記間引き率の変更を先行して行い、前記スミア成分が検出されている状態から前記スミア成分が検出されない状態になった場合は、前記クロックジェネレータの出力クロック周波数の変更を先行して行うことを特徴とする請求項１記載の撮像装置。
【請求項３】
撮像画像を表示するための表示装置を備えている場合に、前記クロックジェネレータの出力クロック周波数の切り換えタイミングは、前記表示装置に表示される画像の更新周期が一定になるように制御されることを特徴とする請求項１記載の撮像装置。
【請求項４】
撮像画像を外部の表示装置に表示するためのインターフェースを備えている場合に、前記クロックジェネレータの出力クロック周波数の切り換えタイミングは、前記表示装置に表示される画像の更新周期が一定になるように制御されることを特徴とする請求項１記載の撮像装置。
【請求項５】
動画撮影モードを有している場合に、前記クロックジェネレータの出力クロック周波数の切り換えタイミングは、動画記録を行う際にも、画像の更新周期が一定になるように制御されることを特徴とする請求項１記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の撮像中に生成するスミアを低減するディジタルカメラ、デジタルスチルカメラ等のＣＣＤを用いた撮像装置に関するものである。
【背景技術】
【０００２】
近年、デジタルスチルカメラなどの固体撮像素子を備えるカメラでは、撮像素子としてＩＴ型（インターライン転送方式）のＣＣＤが多く使用されている。しかし、ＣＣＤの中でもＩＴ型のＣＣＤは、ＦＩＴ型（フレームインターライン転送方式）ＣＣＤ等に比べて、太陽などの高輝度被写体を撮影する場合、その高輝度被写体の上下方向に帯状の輝線が発生するスミア成分のレベルが悪く、問題となることがある。
スミアは、固体撮像素子の受光部を構成するフォトダイオードへの光が多重反射して垂直転送路に到達したり、フォトダイオードにて生成された電荷が垂直転送路に拡散したり、入射光が垂直転送路上の遮光膜を透過して垂直転送路に到達するなどして、生成されたスミア成分の電荷が、垂直転送路を電荷転送中の他画素の信号電荷に混入することによって、発生する偽信号である。
【０００３】
静止画撮影時は、露光期間の終了時にメカニカルシャッタを閉じて固体撮像素子への入射光を遮断後、露光期間に垂直転送路に溜まったスミア成分を掃き出すべく、垂直転送路の高速掃き出しを行い、その後フォトダイオードから垂直転送路へ信号電荷を読み出す。このようにすることでスミアの影響を受けないようにすることができる。
しかし、動画像を撮像し、撮像画像をモニタ表示し、また、撮像画像を記録媒体に記録する動画撮影時には、固体撮像素子の撮像面に被写体像を継続して結像させて撮像するために、メカニカルシャッタを閉成することができない。従って、固体撮像素子の撮像面には常時光が入射されてスミアが発生し、動画像の撮像中にスミアを低減することが困難であった。
【０００４】
このように、常時、固体撮像素子の撮像面に光が入射されてスミアが発生する動画像の撮像中のスミアを低減するために、従来から、種々の技術が提案されている（例えば、特許文献１乃至５参照）。
特許文献１は、動画像を表示する動画モニタや動画像を記録媒体に記録する動画像記録を行う際の動画撮影モード時に、固体撮像素子から出力される撮像信号に含まれるスミア成分を検出し、スミア成分のレベルに応じて動画撮影モード時の画素の間引き量を変更するとともに、この画素間引き量の変更に応じて、固体撮像素子を高速駆動して垂直転送路の信号電荷を高速転送するという技術を開示している。
【０００５】
特許文献２乃至４は、発生したスミア成分や暗電流成分を後段の信号処理回路や撮像素子中で、減算処理や排出するなどして抑制する技術を開示しているが、また、特殊なＣＣＤを使用しなければならず、特別な信号処理回路が必要になるなど、機器のコストアップを招く恐れがある。
特許文献５は、動画撮影時に撮像素子の駆動を、スミア成分の発生有無によって間引き読み出しか加算読み出しかを切り換える技術を開示している。また、この特許文献５の段落００５５では、電子シャッタが所定の本数以上になった時（シャッタースピードが一定以上拘束になると）、加算読み出しモードから間引き読み出しモードへと切り換える技術が開示されている。
【特許文献１】特開２００３−２３４９６４公報
【特許文献２】特開２００５−３９７２７公報
【特許文献３】特開２０００−２９９８１７公報
【特許文献４】特開２００２−２７１６９９公報
【特許文献５】特開２００３−１８９１８３公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術について言えば、まず、間引き量の変更を頻繁に行うと、出力画像の更新レートが頻繁に変わってしまうために、ユーザーが違和感を受けてしまうことになる。
また、間引き量を細かくスムーズに変更できるようにし、スミアの減少効果を徐々に出すようにするには、撮像素子の読み出し線を独立に何本も用意する必要があり、撮像素子の製造上困難である他、撮像素子を駆動する回路も複雑になってしまう。
逆に、あまり離散的な間引き量の変化だと、間引き量が少ない時はスミアが発生、間引き量が多いときはスミアが測定限界以下となった場合に、ハンチングを起こしてしまう可能性がある。
【０００７】
また、特許文献５に関連して、同じ被写体輝度の条件下で、加算読み出しモードから間引き読み出しモードへモードを切り換えても、スミア成分の発生量は変化しないことと、適正信号量は加算するか否かに関係なく同じレベルにすることが一般的であるため、結果として信号対スミアの比率は変化しないので、意味が無いと考えられる。
そこで、本発明の目的は、上述した実情を考慮して、動画像の撮像中、表示中におけるスミアの低減効果を、間引き率を変更するだけで、ユーザーに違和感を与えることなく、安価な回路構成で、かつ消費電力を抑えて実現することのできる撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、請求項１に記載の発明は、垂直方向の間引き率を変更して読み出すことが可能な撮像素子と、該撮像素子の駆動手段に接続され、且つ、コントローラからの設定に応じて任意のクロック周波数を出力することのできるクロックジェネレータと、前記撮像素子の出力信号を処理し、且つ、前記撮像素子の出力信号に含まれるスミア成分を検出するスミア成分検出手段と、前記コントローラを含む信号処理手段とを備える撮像装置において、前記スミア成分検出の有無に変化が生じた場合に前記間引き率の変更と前記クロックジェネレータの出力クロック周波数の変更とを併せて制御する制御手段を備えることを特徴とする。
【０００９】
また請求項２に記載の発明は、前記制御手段は、前記スミア成分が検出されない状態から前記スミア成分が検出された場合は前記間引き率の変更を先行して行い、前記スミア成分が検出されている状態から前記スミア成分が検出されない状態になった場合は、前記クロックジェネレータの出力クロック周波数の変更を先行して行うことを特徴とする。
また請求項３に記載の発明は、撮像画像を表示するための表示装置を備えている場合に、前記クロックジェネレータの出力クロック周波数の切り換えタイミングは、前記表示装置に表示される画像の更新周期が一定になるように制御されることを特徴とする。
【００１０】
また請求項４に記載の発明は、撮像画像を外部の表示装置に表示するためのインターフェースを備えている場合に、前記クロックジェネレータの出力クロック周波数の切り換えタイミングは、前記表示装置に表示される画像の更新周期が一定になるように制御されることを特徴とする。
また請求項５に記載の発明は、動画撮影モードを有している場合に、前記クロックジェネレータの出力クロック周波数の切り換えタイミングは、動画記録を行う際にも、画像の更新周期が一定になるように制御されることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、スミアの発生の有無によって撮像素子の間引き率と駆動周波数を同時に切り換えることで、スムーズにスミアを抑えていくことができ、かつ撮像装置で消費される電力も抑えることができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。図１は本発明による撮像装置の制御を実現するために一般的な回路を例として示すブロック回路図である。
被写体は、撮像レンズ（図示せず）を通してＣＣＤ１面に結像される。ＣＣＤ１では受光した光が光電変換され、画像ノイズ除去用相関二重サンプリング（ＣＤＳ）・自動利得制御（ＡＧＣ）・アナログ／デジタル（Ａ／Ｄ）変換等を含んでいる変換部２に送られる。
タイミングジェネレータ（ＴＧ）３は、ＣＣＤ１の駆動のために必要なＩＣである。ＣＤＳ・ＡＧＣ・Ａ／Ｄ変換部２に送られた撮像信号は、ＣＤＳ部で相関二重サンプリングをし、必要な利得をＡＧＣ回路で掛けられ、Ａ／Ｄ変換部で逐次デジタルデータに変換され、ＤＳＰ（データ信号処理）部４に送られる。
【００１３】
また、撮影画像中のスミア成分発生有無の判定もＤＳＰ部４で行う。実際にどのようにスミアの発生有無を判定するかについては、後で説明する。クロックジェネレータ（ＣＬＫ＿ＧＥＮ）５は、第１発振回路（ＯＳＣ）６を原振として、任意の周波数を出力することができるＩＣである。出力周波数の設定は、ＤＳＰ部４からの設定によって行われるものとする。
ＤＳＰ部４に送られたデジタルデータは、ＤＳＰ部４で補間処理、エッジ強調処理、ＡＷＢ（オートホワイトバランス）処理、ＲＧＢ−ＹＵＶ変換などをされた後、ＳＤＲＡＭ７及びＲＯＭ１４に送られる。
【００１４】
モニタリングは、ＳＤＲＡＭ７のデータが再度ＤＳＰ部４に送られ、ビデオエンコーダで所定のフォーマットに変換後、Ｄ／Ａ変換出力部から、カメラ内蔵の表示装置（一般的にはＬＣＤ）８又は外部表示Ｉ／Ｆ（一般的にはテレビ出力）９に送られる。なお、ビデオエンコーダ部（図示せず）は、撮像系と異なる第２発振回路（ＯＳＣ）１０を原振としており、撮像系とは非同期で動作しているものとする。
動画記録の際は、圧縮するために、スケールファクタを計算し、ＤＳＰ部４内のＪＰＥＧ部（図示せず）で圧縮され、メモリーカードインターフェイス（メモリーカードＩ／Ｆ）１１へ送られ、メモリーカードに記録される。以上が、一般的なデジタルスチルカメラの構成、及び信号の流れである。
【００１５】
図２は被写体を撮影した場合にスミアがどのように画像に現れるかを表した概略図である。次に、実際の動作について説明する。まず、どのようにしてスミア成分が生まれ、どのようにしてスミアが発生しているか否かを判断するかについて説明する。
図２には、一番左に示すような被写体を撮影した場合にどのようにスミアが画像に現れるかを表している。図２の画像は、ＣＣＤ１（図１）上のイメージで表現しているため、天地が逆の絵になっている。
【００１６】
撮像画像１５内の丸１６は、スポットライトのような高輝度被写体とし、斜線部１７はＣＣＤ（撮像素子）１上に配置されたＯＢ（オプティカルブラック、Optical Black）領域を表している。
ＯＢ領域１７の画素は、図示してないフォトダイオードの上部をアルミ遮光膜で覆い、光が入らないようにされているので、通常はＯＢ領域１７の画素から信号電荷が出力されることはなく、ほぼ「０」になる。
撮像画像１５の右側に示したその他すべての画像は垂直転送路の様子を時間の経過とともに表したものである。１画面は１つ右側の状態になるまでに１／９０秒経った状態を表し、この例では１／３０秒（３／９０秒）で一画面の転送が完了するものとする。
【００１７】
今、スミアのない状態から撮像した画像に対応した信号電荷を垂直転送路へ読み出した瞬間をｔ＝０とおく。次に、垂直転送路へ電荷が読み出されると１水平ライン分の垂直転送を行い、垂直転送によりＯＢ部を含む撮像部の最下段は図示しない水平転送路へ送られる。
水平転送路へ送られた電荷は、逐次、図示してない出力アンプに送られ、ＣＣＤ１の出力として次段のＣＤＳ部２（図１）に送られる。この動作を垂直段数分繰り返すことで、一画面分の電荷を読み出す。
このように１水平ライン分の電荷が出力されるまでには、水平画素数×１画素分を水平転送する時間が掛かる。その間、前述の高輝度被写体１６により、垂直転送路にスミア成分が生成されることになる。その結果、１／９０秒後として記載した図のように高輝度被写体１６の垂直転送の方向とは逆側に尾を引いたような、所謂、スミアが画像に現れることになる。
【００１８】
１／３０秒（３／９０秒）後、一画面分読み出しが終わると、次のフレームの読み出しが行われる。その際、図２から明らかなように前フレームの転送中に生成されたスミア成分が垂直転送路に残っているため、今度は高輝度被写体１６から垂直転送する方向にスミア成分が信号電荷に加えられることになる。
このようにして高輝度被写体１６を中心に上下に尾を引いたように現れるスミアが形成される。また、そのスミア成分は、通常出力が「０」であるはずの有効画素の上下に備えられた垂直ＯＢ領域においても、有効領域と同じ量のスミア成分を元とする信号を出力する。従って、スミアが発生しているか否かは、垂直ＯＢ領域の出力信号量が「０」であるか否かを判断するようにすれば検出することができる。
【００１９】
また、ここでは、ＯＢ領域１７の出力はほぼ「０」としたが、実際は暗電流などのスミアとは異なる要因によって「０」とならない場合もあるので、他の垂直ＯＢ領域に対し、或る値以上大きな信号量になっているか判断するようにすれば、より正確にスミア発生の有無を検出することができる。また、周辺と比較することでどれほどのスミアレベルかも容易に知ることもできる。以上のようにスミア検出機能は達成される。
【００２０】
図３は本発明の制御タイミングを示すタイミングチャートである。次にこのスミア検出機能を使ってどのように制御してスミアの発生を抑えるかについて説明する。
図３のＣＣＤ出力の行は、ＣＣＤ１（図１）の一画面を読み出す期間を表し、表示出力は、例えば、ＬＣＤ（液晶ディスプレイ）の画面更新レートを表している。それぞれに付加された数字が同じところは同じ画面内容であることを意味している。
図３から明らかなように、ＣＣＤ出力と表示出力間にはディレーがある。これはＣＣＤ１の信号を読み出しながら所定の処理を施し、ＳＤＲＡＭ７（図１）に逐次格納して行き、一画面分溜まったところでその画像データをビデオエンコーダに送るようにしているためである。
【００２１】
図４はＳＤＲＡＭの格納領域の例を示す概略図である。ＳＤＲＡＭ７は、実際には、上述の画像データを格納する領域を少なくとも２つＡ、Ｂ用意し、その領域を切り換えながら画面が途切れることのないように制御される。その様子を表したものが図４であり、図４の（１）では、Ａに溜まった画像データをＢから、図４の（２）では、Ｂに溜まった画像データをＡから送る。
図３に戻り、３段目はクロックジェネレータ５（図１）の出力周波数の変化を表し、４段目はＣＣＤ１の間引き率を表している。ＣＣＤ１の出力１の画像を読み出したところ、スミアが検出されたとする。
すると、そのフレームを読み出し終わったＶＤ（垂直同期信号）の休止期間において、間引き率を高くするようにＴＧ３（図１）の駆動モードが変更され、それと同時にクロックジェネレータ５の出力周波数を半分にするように制御される。
このようにすることで、ＣＣＤ１の読み出し周期は変わらないため、スミアのレベルに変化はない（間引き率、クロックジェネレータ５の切り換え前後で画像は“１”のまま）。その後、徐々にクロックジェネレータ５の出力周波数を上げていくことで、スミアの影響が次第に少なくなった画像を得ることができるようになる。
【００２２】
図５はクロックジェネレータの出力周波数を制御した際の、表示装置に表示される画像のイメージを示す図である。図５には、上述のような制御をした際、表示装置に表示される画像のイメージを示している。
図５の（Ａ）〜（Ｉ）において、白抜きの部分１２が高輝度被写体で、この領域内は均一な輝度とする。また、網掛けの部分１３がスミアを意味する。スミアは画面高さ当たりに占める大きさに影響する。
このため、例えば、スミアは、図３の（１）である画像が図５の（Ａ）とすると、図３の（２）が図５の（Ｂ）、図３の（３）が図５の（Ｃ）・・図３の（６）が図５の（Ｆ）というように、画面高さ当たりに占める大きさが大きい方から徐々に問題のないレベルになって行く。引き続き同じ制御をしていけば、（Ｇ）→（Ｈ）→（Ｉ）とすることができることは言うまでも無い。
また、上述した例では、間引き率を切り換えた瞬間にクロックジェネレータ５の出力周波数をそれまでの半分の１２ＭＨｚとしたが、１５ＭＨｚとしてもよい。
【００２３】
図６は図３に対する第１の比較例を示すタイミングチャートである。図７は図３に対する第２の比較例を示すタイミングチャートである。図６は間引き率の変更だけでスミアを低減しようとしており、図７はクロックジェネレータ５の出力周波数を変更するだけでスミアを低減しようとするものである。
図６の比較例の場合、ＣＣＤ１（図１）からの１の画像とＣＣＤ１からの２の画像は、図５の（Ａ）と（Ｆ）のようなイメージになる。このようにスミアの変化が大きいため、ユーザーが画面を見ていて違和感を受けることとなる。
また、このように変化が大きいシステムの場合、ハンチングを起こしてしまう可能性がある。具体的には、ＣＣＤ１の２の画像でスミアがなくなってしまうか、スミア成分がスミア検出手段の検出限界以下になってしまった場合、間引き率を戻すとＣＣＤ１の１の画像となり、今度はスミア成分が検出され、間引き率を上げる。この制御を繰り返すとスミアが出たり消えたりを繰り返すことになり、非常に違和感のあるものになってしまう。
【００２４】
また、消費電力の観点では、図６はスミア低減制御前後で大きな消費電力の変化は生じない。しかし、図７の場合は、スミア低減のためにクロックジェネレータ５（図１）の出力周波数を高くする必要があるために、スミア低減制御を行うと消費電力が上昇してしまうことになってしまう。
これに対し図３ではスミアを軽減して行く段階で、クロックジェネレータ５の出力周波数を通常使用する周波数よりも下げているため低消費電力の効果も得ることができる。
【００２５】
図８は表示装置に同じ画像を表示する回数を示すタイミングチャートである。図８では、さらに表示品質を向上させるために、表示装置（図１）に同じ画像を表示する回数（表示の更新レート）は、ＣＣＤ１（図１）側のＶＤ周期がスミア低減制御のために変化するとしても、変化しないようにした場合の例を表している。
このように、表示装置（図１）、又は外部の表示装置に同じ画像を表示する場合、又は動画撮影モードを有している場合に、回数（表示の更新レート）は、表示の更新レートや、動画記録の際のフレームレートを一定に保つように制御されるので、表示品質の向上となる。
【００２６】
図９はスミア低減制御から通常駆動に戻す場合を示すタイミングチャートである。この場合は、図３の場合とは逆に、まず、クロックジェネレータ５（図１）の出力周波数を下げてから間引き率を下げるようにした方がよい。
なぜならば、間引き率を下げてからクロックジェネレータ５でスミアレベルの変化が少ないようにするには、クロックジェネレータ５の出力周波数を高くする必要があるので、消費電力の観点で不利になるからである。
このように、スミア低減制御から通常制御に戻す際に、クロックジェネレータ５の周波数切り換えを間引き率の変更の前に先行して行うことで、撮像装置で消費される電力を抑えることが可能となる。
【図面の簡単な説明】
【００２７】
【図１】本発明による撮像装置の制御を実現するために一般的な回路を例として示すブロック回路図である。
【図２】被写体を撮影した場合にスミアがどのように画像に現れるかを表した概略図である。
【図３】本発明の制御タイミングを示すタイミングチャートである。
【図４】ＳＤＲＡＭの格納領域の例を示す概略図である。
【図５】クロックジェネレータの出力周波数を制御した際の、表示装置に表示される画像のイメージを示す図である。
【図６】図３に対する第１の比較例を示すタイミングチャートである。
【図７】図３に対する第２の比較例を示すタイミングチャートである。
【図８】表示装置に同じ画像を表示する回数を示すタイミングチャートである。
【図９】スミア低減制御から通常駆動に戻す場合を示すタイミングチャートである。
【符号の説明】
【００２８】
１  撮像素子（ＣＣＤ）、２  変換部、３  タイミングジェネレータ（ＴＧ）、４  信号処理手段（ＤＳＰ部、コントローラ）、５  クロックジェネレータ（ＣＬＫ−ＧＥＮ）、７  ＳＤＲＡＭ、８  表示装置（ＬＣＤ）、９  外部表示Ｉ／Ｆ（一般的にはテレビ出力）、１１  メモリーカードインターフェイス（メモリーカードＩ／Ｆ）、１２  白抜きの部分（高輝度被写体）、１３  網掛けの部分（スミア）、１５  撮像画像、１６  撮像画像内の丸、１７  斜線部（ＯＢ領域）
【図１】
2007295082.tif 000003
【図２】
2007295082.tif 000004
【図３】
2007295082.tif 000005
【図４】
2007295082.tif 000006
【図５】
2007295082.tif 000007
【図６】
2007295082.tif 000008
【図７】
2007295082.tif 000009
【図８】
2007295082.tif 000010
【図９】
2007295082.tif 000011