(57)【要約】【課題】  撮像信号処理装置を汎用的に利用できるようにし、設計・製造の効率化を図る。【解決手段】  分周手段の分周比が選択的に設定可能とする。撮像信号処理手段（３）では分周手段（３８）からのクロックに基づいて信号処理を行うことでフレームレートを変化させる。記憶手段に記憶された分周比情報に基づいて分周手段の分周比が指示されるものであるため、採用する後段のエンコード手段（４）に応じたフレームレート処理を行うようにする分周比情報を、記憶手段に記憶させておくことで、接続されるエンコード手段（４）の処理能力に応じたフレームレート処理を行う撮像信号処理装置（３）とすることができる。【選択図】      図１
2005278060.tif 000002
【特許請求の範囲】
【請求項１】
分周比が選択可能とされ、指示された分周比で入力されたクロックを分周する分周手段と、
上記分周手段において選択可能な複数の分周比のうちの一部を示す分周比情報が固定的に記憶される記憶手段と、
上記記憶手段に記憶された分周比情報に基づいて上記分周手段の分周比を指示する制御を行う制御手段と、
撮像センサ部から供給される撮像画像信号に対して、上記分周手段から出力されるクロックに基づいて信号処理を行い、所定のフォーマットの撮像画像信号として出力する撮像信号処理手段と、
を備えたことを特徴とする撮像信号処理装置。
【請求項２】
上記記憶手段には、上記分周手段において選択可能なｎ個の分周比のうちのｍ個の分周比を示す分周比情報（但しｎ≧ｍで、ｍは複数）が固定的に記憶されており、
上記制御手段は、上記記憶手段に記憶されたｍ個の分周比情報で示される各分周比が、上記分周手段において動作モードに応じて切り換えられるように、上記分周手段の分周比を制御することを特徴とする請求項１に記載の撮像信号処理装置。
【請求項３】
上記制御手段は、動作モードに応じて上記分周手段の分周比を切り換える制御を行う際に、上記撮像センサ部に対して撮像画像信号の解像度を切り換えさせる制御を行うことを特徴とする請求項２に記載の撮像信号処理装置。
【請求項４】
上記制御手段は、動作モードに応じて上記分周手段の分周比を切り換える制御を行う際に、切換前後の分周比に基づいて、上記撮像センサ部で得られる撮像画像信号に関する露光レベルの補正制御を行うことを特徴とする請求項２に記載の撮像信号処理装置。
【請求項５】
撮像センサに入射された入射光に基づいて得られる信号に対して所定の処理を施して撮像画像信号を生成し、出力する撮像センサ手段と、
分周比が選択可能とされ、指示された分周比で入力されたクロックを分周する分周手段と、
上記分周手段において選択可能な複数の分周比のうちの一部を示す分周比情報が固定的に記憶される記憶手段と、
上記記憶手段に記憶された分周比情報に基づいて上記分周手段の分周比を指示する制御を行う制御手段と、
上記撮像センサ手段から供給される撮像画像信号に対して、上記分周手段から出力されるクロックに基づいて信号処理を行い、所定のフォーマットの撮像画像信号として出力する撮像信号処理手段と、
上記撮像信号処理手段により所定のフォーマットとされた撮像画像信号に対して所定のエンコード処理を行うエンコード手段と、
を備えたことを特徴とする固体撮像装置。
【請求項６】
上記記憶手段には、上記分周手段において選択可能なｎ個の分周比のうちで、上記エンコード手段の処理能力に応じてｍ個の分周比を示す分周比情報（但しｎ≧ｍで、ｍは複数）が固定的に記憶されており、
上記制御手段は、上記記憶手段に記憶されたｍ個の分周比情報で示される各分周比が、上記分周手段において動作モードに応じて切り換えられるように、上記分周手段の分周比を制御することを特徴とする請求項５に記載の固体撮像装置。
【請求項７】
上記制御手段は、動作モードに応じて上記分周手段の分周比を切り換える制御を行う際に、上記撮像センサ手段に対して撮像画像信号の解像度を切り換えさせる制御を行うことを特徴とする請求項６に記載の固体撮像装置。
【請求項８】
上記制御手段は、動作モードに応じて上記分周手段の分周比を切り換える制御を行う際に、切換前後の分周比に基づいて、上記撮像センサ手段で得られる撮像画像信号に関する露光レベルの補正制御を行うことを特徴とする請求項６に記載の固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は固体撮像素子を用いた固体撮像装置と、固体撮像装置に内蔵される撮像信号処理装置に関するものである。
【背景技術】
【０００２】
【特許文献１】特開２００３−２５９１９９号公報
【０００３】
ＣＣＤセンサ、或いはＣＭＯＳセンサを撮像素子として用いた固体撮像装置が、いわゆるビデオカメラやスチルカメラなどとして普及している。
固体撮像装置は、その信号処理系を大別すると、図５に示すように撮像センサ部１０１，撮像信号処理部１０２，画像処理部１０３に分けられる。
撮像センサ部１０１は、固体撮像素子としてのＣＣＤセンサアレイ或いはＣＭＯＳセンサアレイを有し、図示しないレンズ系を介して入射された被写体からの入射光に基づいて撮像画像信号を得る。また撮像画像信号に対するＡＧＣ（Auto Gain Control）処理なども行う。
撮像信号処理部１０２は、Ａ／Ｄ変換、補正処理、クランプ処理、ホワイトバランス処理、輝度信号処理、色差信号処理などを行うとともに、撮像画像信号としての所定のフォーマット（例えばＲＥＣ６５６フォーマットなど）へのエンコード処理を行う。
画像処理部１０３は、撮像画像信号に対して所定のエンコードを行う。例えばＪＰＥＧエンコード、ＭＰＥＧエンコードなどを行う。そして画像処理部１０３でエンコードされた画像データは、図示しない記録系回路に供給されて記録媒体に記録されたり、或いは表示系回路に供給されて表示デバイスで表示される。或いは送信系回路に供給されて送信出力されることもある。
【０００４】
このような固体撮像素子を用いた撮像装置の撮像信号処理部１０２においては、たとえばＣＣＤイメージセンサ等の撮像センサ部１０１から入力される撮像画像信号に対して、所定の周波数の動作クロックを用いて回路を駆動することによって信号処理を行い、出力するが、単位時間あたり何フレームの出力信号が撮像信号処理部１０２から出力されるかは、フレームレート（単位：フレーム／秒）で表される。
そして、固体撮像装置の性能向上手法として、撮像センサ部１における撮像素子の高画素化や、撮像信号処理部１０２からの出力信号の高フレームレート化がある。フレームレートを高めることにより、出力信号を動画として扱って記録したり表示したりする場合は、その動画の滑らかさが増し、またスチルカメラのように出力信号の１フレームを静止画として扱って記録する場合は、静止画記録の時間短縮を図ることができる。
このような目的でフレームレートの向上を図る場合には、撮像信号処理部１０２に供給される動作クロック周波数を高め、信号処理自体の処理速度を高速に行うことが考えられる。
なお、上記特許文献１には、上記図４の撮像信号処理部１０２に相当するカメラ信号処理回路３００においてマスタークロック周波数を分周処理で可変することでフレームレートを変更することが記載されている。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記したように、フレームレートを高めることは固体撮像装置の性能向上の点で有効であるが、注意すべき点として、例えば撮像センサ部１０１と撮像信号処理部１０２で高フレームレート処理を実行できるようにしても、後段の画像処理部１０３が、その処理速度として高フレームレートに対応できなければならないことがある。
画像処理部１０３では、撮像信号処理部１０２からの出力信号に対して、例えばＪＰＥＧエンコード、ＭＰＥＧエンコード等の処理を行う。つまり画像処理部１０３は、撮像信号処理部１０２の出力信号を入力として受け、所定の画像信号に変換して出力する。
この場合において、先に述べたようにフレームレートを高め、固体撮像素子の高画素化を図った場合、撮像信号処理部１０２から出力される単位時間当たりの信号量も増大するため、後段でその信号を受ける画像処理部１０３は、それまでより高い信号処理能力が要求されることになる。
【０００６】
ここで固体撮像装置（或いは固体撮像装置を内蔵した電子機器）の設計事情を考える。例えば電子スチルカメラや撮像機能付きの携帯電話等の機器である。
通常、撮像信号処理部１０２や画像処理部１０３は、それぞれ１チップ化されており、撮像信号処理部１０２の設計・製造と画像処理部１０３の設計・製造は別々に行われる。
そして撮像信号処理部１０２の開発設計サイドから見れば、後段の画像処理部１０３としてのチップとの整合性を考慮しなければならない。
例えば撮像信号処理部１０２の開発・製造をＡ社で行い、画像処理部１０３の設計・製造をＢ社で行うといった場合、Ａ社において、高フレームレート処理を行うようにした撮像信号処理部１０２としてのチップを開発しても、Ｂ社から納品された画像処理部１０３としてのチップに高フレームレートに対応する処理能力が無ければ、その画像処理部１０３のチップは機器に組み込むチップとして採用できない。
このため、より画像処理部１０３としてより高性能なチップを選択せざるを得ない。つまりは、Ａ社からみれば、固体撮像装置を構成する信号処理システムにおいて、画像処理部１０３の選択範囲が狭められる。そしてこれは製造コストの上昇につながる。
またＡ社としては、当然ながら所定の動作スペックを指定して画像処理部１０３の設計・製造をＢ社に依頼するわけであるが、実際の動作検証は納品後に行われ、その場合に、Ａ社で製造した撮像信号処理部１０２における高フレームレート処理に、画像処理部１０３の処理が追いつけないということもあり得る。
その場合、撮像信号処理部１０２の設計変更や、或いは画像処理部１０３の変更といったことが必要になるなど、莫大な手間が生じ、設計・製造の非効率化やコスト上昇といった事態が引き起こされる。
また、カメラシステムの要求仕様として高画素化がまず求められ、フレームレートに関する要求がそれほど高く設定されていない場合にも、フレームレートとの兼ね合いで後段の画像処理部１０３に対する負荷が高くなってしまい、これを処理可能な画像処理部１０３を選択した場合、コスト増につながることが考えられる。
また、先に画像処理部１０３としてのチップが開発済である場合は、撮像信号処理部１０２としては、その画像処理部１０３の性能に合わせた設計を行わなければならない。
【０００７】
そしてこれらのような設計事情によっては、撮像信号処理装置の開発段階では、その出力信号が、開発完了後にどのような機能仕様を有する画像処理部により処理されるかを全て想定することが難しいことになり、撮像信号処理部１０２として、汎用的に使用できるチップが製造できないことを意味する。つまり、撮像信号処理部１０２として効率的な開発ができないという問題がある。
【課題を解決するための手段】
【０００８】
そこで本発明では、後段の画像処理部（エンコード手段）に関わらず汎用的に使用できる撮像信号処理装置を提供し、固体撮像装置の設計・製造の効率化を図ると共に、固体撮像装置の性能向上にも好適なものとすることを目的とする。
【０００９】
このため本発明の撮像信号処理装置は、分周比が選択可能とされ、指示された分周比で入力されたクロックを分周する分周手段と、上記分周手段において選択可能な複数の分周比のうちの一部を示す分周比情報が固定的に記憶される記憶手段と、上記記憶手段に記憶された分周比情報に基づいて上記分周手段の分周比を指示する制御を行う制御手段と、撮像センサ部から供給される撮像画像信号に対して、上記分周手段から出力されるクロックに基づいて信号処理を行い、所定のフォーマットの撮像画像信号として出力する撮像信号処理手段とを備える。
【００１０】
また本発明の固体撮像装置は、撮像センサに入射された入射光に基づいて得られる信号に対して所定の処理を施して撮像画像信号を生成し、出力する撮像センサ手段と、分周比が選択可能とされ、指示された分周比で入力されたクロックを分周する分周手段と、上記分周手段において選択可能な複数の分周比のうちの一部を示す分周比情報が固定的に記憶される記憶手段と、上記記憶手段に記憶された分周比情報に基づいて上記分周手段の分周比を指示する制御を行う制御手段と、上記撮像センサ手段から供給される撮像画像信号に対して、上記分周手段から出力されるクロックに基づいて信号処理を行い、所定のフォーマットの撮像画像信号として出力する撮像信号処理手段と、上記撮像信号処理手段により所定のフォーマットとされた撮像画像信号に対して所定のエンコード処理を行うエンコード手段とを備える。
【００１１】
また、これら撮像信号処理装置或いは固体撮像装置の構成において、上記記憶手段には、上記分周手段において選択可能なｎ個の分周比のうちのｍ個の分周比を示す分周比情報（但しｎ≧ｍで、ｍは複数）が固定的に記憶されており、上記制御手段は、上記記憶手段に記憶されたｍ個の分周比情報で示される各分周比が、上記分周手段において動作モードに応じて切り換えられるように、上記分周手段の分周比を制御する。
また、上記制御手段は、動作モードに応じて上記分周手段の分周比を切り換える制御を行う際に、上記撮像センサ部（撮像センサ手段）に対して撮像画像信号の解像度を切り換えさせる制御を行う。さらに、切換前後の分周比に基づいて、上記撮像センサ部（撮像センサ手段）で得られる撮像画像信号に関する露光レベルの補正制御を行う。
【００１２】
このような本発明によれば、分周手段の分周比が選択的に設定可能であり、撮像信号処理手段では分周手段からのクロックに基づいて信号処理を行うことで、フレームレートを変化させることができる。つまり分周比を変化させることで、フレームレートを設定できる。
フレームレートを任意に設定できるということは、第１に、後段のエンコード手段の処理能力に応じた信号処理が可能となることを意味する。そして記憶手段に記憶された分周比情報に基づいて、分周手段の分周比が指示されるものであるため、採用するエンコード手段に応じたフレームレート処理を行うために分周比情報を、記憶手段に記憶させておけばよい。つまり、分周比情報の記憶によって、接続されるエンコード手段の処理能力に応じたフレームレート処理を行う撮像信号処理装置とすることができる。
またフレームレートを任意に設定できるということの第２の意味として、動作モードに応じてフレームレートを切り換えることで、固体撮像装置の高性能化を実現できる。
【発明の効果】
【００１３】
本発明によれば、記憶手段に記憶された分周比情報に基づいて、分周手段の分周比が指示され、これによって所定のフレームレートでの撮像信号処理が実行される。このため、後段のエンコード手段の処理能力や仕様に応じたフレームレート処理（エンコード手段が対応できる出力速度の処理）を行うために分周比情報を、記憶手段に記憶させておくことで、エンコード手段に応じた動作を行うことのできる撮像信号処理装置とすることができる。言い換えれば、本発明の撮像信号処理装置は、記憶手段へ記憶する分周比情報によって多様なエンコード手段に対応できることになるため、後段のエンコード手段として採用するチップの種別や能力等に関わらず汎用的に使用することができ、このため撮像信号処理装置を効率的に設計・製造できる。もちろんコストダウン効果や設計の迅速化等の効果も得られる。
特に言えば、撮像信号処理装置の開発段階では、その出力信号が、開発完了後にどのような機能仕様を有する画像処理回路（エンコード手段）により処理されるかを全て想定することが難しいが、本発明の撮像信号処理装置は、様々な処理能力を有するエンコード手段を容易に組み合わせることが可能となる。
また、カメラシステムに要求される機能仕様において、コスト的にエンコード手段（画像処理部）にそれほどの信号処理能力が要求されず、低コストのエンコード手段（画像処理部）が採用される場合、本発明の撮像信号処理装置であれば、個別に対応することでエンコード手段が処理可能な速度に調整して撮像画像信号を出力することが可能であり、システム構成の検討段階で前段である撮像信号処理装置と、後段であるエンコード手段（画像処理部）との組み合わせに選択の自由度を持たせることが可能となる。
【００１４】
また本発明によれば、動作モードに応じてフレームレートを切り換えることで、固体撮像装置の高性能化を実現できる。つまり動画表示などで高フレームレートが要求される場合は高フレームレート化するなどの動作が可能となる。もちろんその場合、記憶手段には、後段のエンコード手段に応じた２種類以上の分周比情報を記憶させておき、動作モードに応じて、その記憶された複数の分周比情報で示されるなかで分周比を切り換えればよい。
また、例えば動作モードとしては、高解像度が要求されるが低フレームレートでよい場合や、解像度は低くてもフレームレートが高い方が良い場合などがある。これらの各動作モードに応じて分周比を切り換えることで、固体撮像装置としての性能を向上させる動作を実現できる。特にこの場合、動作モードに応じて上記分周手段の分周比を切り換える制御を行う際に、撮像画像信号の解像度を切り換える制御を行うことが適切となる。
また、動作モードに応じてフレームレートを切り換える場合は、撮像センサ手段における露光時間が変化し、輝度レベルが大きく変動しまうため、そのような変動を生じさせないために、露光レベル（露光時間或いは撮像画像信号に与えるゲイン）の補正制御を行うことで、適切なレベルの撮像画像信号を得ることができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態を説明する。図１は、例えばデジタルスチルカメラとされる本実施の形態の固体撮像装置の要部のブロック図である。
撮像センサ部１は、センサ部１１とＡＧＣ回路１２により構成される。センサ部１１は、ＣＣＤセンサアレイ又はＣＭＯＳセンサアレイとして多数の画素を構成する固体撮像素子部や、固体撮像素子部を駆動する垂直走査回路、水平走査回路、読み出しアンプ等を有する。そして固体撮像素子部は図示しないレンズ系を介して入射される被写体からの光を光電変換し、各画素の信号として出力する。各画素から出力される信号は垂直転送及び水平転送されて１フレームの画像を構成する撮像画像信号ストリームとされる。
センサ部１１で読み出された撮像画像信号は、ＡＧＣ回路１２において可変利得アンプによりゲイン調整される。
なお、被写体の輝度レベル（入射光量）に応じた自動露光調整が行われるが、公知の通り、この露光調整は、固体撮像素子部における露光時間の調整やＡＧＣ回路１２におけるゲイン調整（ＡＧＣゲイン値の可変制御）によって実現される。
【００１６】
撮像センサ部１から出力される撮像画像信号は撮像信号処理部３に供給される。撮像信号処理部３においては、まずプリ処理部３１でＡ／Ｄ変換、クランプ処理、欠陥補正処理ホワイトバランス処理などが行われる。プリ処理部３１で処理された信号は輝度信号と色差信号に分離され、輝度信号は輝度処理部３２で処理される。また色差信号は色差処理部３３で処理される。
輝度処理部３２で処理された輝度信号と色差処理部３３で処理された色差信号は合成回路３４で合成される。そしてエンコーダ３５で例えばＲＥＣ６５６フォーマットなどの所定のフォーマットの撮像画像信号ＤＴとされて、撮像信号処理部３から出力される。
この撮像信号処理部３から出力された撮像画像信号ＤＴは、後段の画像処理部４において所定のエンコード処理が施される。例えばＪＰＥＧエンコード、ＭＰＥＧエンコードなどの処理が施される。
その後、図示しないビューファインダ等の表示部に供給されて表示されたり、或いは記録部に供給されて固体メモリ、メモリカード、磁気ディスク、光ディスクなどの記録媒体に記録される。或いは送信出力されるようにしてもよい。
【００１７】
撮像信号処理部３は、例えばＤＳＰ（Digital Signal Processer）などによる１チップで形成されるが、その動作はカメラ信号処理コントローラ３０によって制御される。
またカメラ信号処理コントローラ３０は、マスターコントローラ２からのコマンドＣＭに応じた制御を行う。マスターコントローラ２は、固体撮像装置（又は固体撮像装置が搭載される携帯電話や情報処理装置などの電子機器）において装置全体の制御を行う。マスターコントローラ２はユーザーの操作部６からの操作や、動作モード状態に応じて撮像信号処理部３を含めた、機器内の各部の制御を行う。
【００１８】
撮像信号処理部３におけるカメラ信号処理コントローラ３０は、その動作プログラムであるファームウエアにより、マスターコントローラ２からのコマンドＣＭや、各種動作状態に応じて、プリ処理部３１，シグナル／タイミングジェネレータ３７，分周器３８に対する動作設定制御や、撮像センサ部１に対する制御を露光調整制御、解像度制御等を行う。
シグナル／タイミングジェネレータ３７は、カメラ信号処理コントローラ３０による設定制御に基づいて、センサ部１１の動作のための水平同期信号Ｈsync、垂直同期信号Ｖsyncを生成し、センサ部１１の垂直走査回路、水平走査回路に供給する。またセンサ部１１の固体撮像素子における露光時間を制御する信号ＳAE1を生成し、出力する。
またカメラ信号処理コントローラ３０は制御信号Ｓｓにより、センサ部１１の解像度制御を行う。例えば１フレームにおける有効画素数の可変制御、或いは画素間引き等の指示を行うことで、撮像センサ部１１から出力される撮像画像信号の解像度を可変制御する。
【００１９】
露光調整に関しては、輝度処理部３２からの輝度信号と色差処理部３３からの色差信号について処理を行うオプティカルディテクタ(ＯＰＤ)３６が設けられる。ＯＰＤ３６は輝度信号や色差信号をフィールド毎に積分する積分回路を持ち、ここで得られた輝度信号の積分値データＳOPDをカメラ信号処理コントローラ３０に供給する。なお、色差信号の積分値はホワイトバランス処理のために用いられる。
カメラ信号処理コントローラ３０において機能するファームウェアは、露光制御のために輝度信号の積分値データＳOPDを監視しており、フレーム毎の積分結果が一定レベルを保つように露光調整制御を行うものである。例えば積分値データＳOPDが一定レベルを下回った場合はセンサ部１１における固体撮像素子が出力する信号量を増加させるよう、また例えば積分値データＳOPDが一定レベルを上回った場合は固体撮像素子が出力する信号量を減少するように制御する。具体的にはカメラ信号処理コントローラ３０は、シグナル／タイミングジェネレータ３７から出力させる露光時間制御信号ＳAE1を制御し、その露光時間制御信号ＳAE1によってセンサ部１１での露光時間が可変調整されるようにする。また露光調整はＡＧＣ回路１２でのゲイン調整でも行うことができ、カメラ信号処理コントローラ３０は、露光調整のためのゲイン制御信号ＳAE２をＡＧＣ回路１２に対して出力する。以上のように露光時間（蓄積電荷量）やＡＧＣ回路１２におけるアナログアンプのゲイン調整により、撮像センサ部１から出力される撮像画像信号に関する自動露光調整（オートエクスポージャー）を行う。
【００２０】
撮像信号処理部３に対しては動作クロックＭＣＫが供給される。クロックＭＣＫは分周器３８を経由して撮像信号処理部３内の各部に供給される。
分周器３８は、入力信号である動作クロックＭＣＫに対して、指定された倍率、例えば入力信号の１／１倍、１／２倍、１／４倍、１／８倍、１／１６倍等に分周する機能を有する。この分周倍率はカメラ信号処理コントローラ３０により動作するファームウエアによる制御信号Ｓｄｖにより指定される。
なお分周器３８の回路構成は特に限定されるものではなく、各種分周比が可変的に設定されるものであればよい。選択可能な分周比の数や倍率は上記のものに限らない。
撮像信号処理部３内の各部は、分周器３８を介して供給された動作クロックを元に動作し、上述したように撮像センサ部１から供給される撮像画像信号の処理を行って、例えばＲＥＣ６５６フォーマット等の映像信号として出力するものである。そして分周器３８の分周比が可変ということは、撮像信号処理部３から出力される映像信号のフレームレートを各種変更できることを意味する。つまり後段の画像処理部４に対する単位時間あたりの信号量を可変設定できるものである。
【００２１】
上記のように分周器３８は、分周比を選択的に設定できるが、カメラ信号処理コントローラ３０は、ＥＥＰ−ＲＯＭ５に記憶された分周比情報に応じて、分周器３８の分周比を指定する。
ＥＥＰ−ＲＯＭ５は、カメラ信号処理コントローラ３０のファームウエアプログラムや、各種処理係数、設定値その他の必要な情報が製造時に記憶されるが、その際に、分周器３８において選択されるべき分周比を示す１又は複数の分周比情報も書き込まれる。
ここで分周器３８で選択されるべき分周比とは、撮像信号処理部３とともに固体撮像装置に搭載される画像処理部４の種別や能力に応じて決められる。つまり、画像処理部４の処理能力によって、処理可能なフレームレートの範囲があり、またその中で、固体撮像装置に要求される性能に応じて必要とされるフレームレートがあるが、設計上、これらが勘案されて撮像信号処理部３でのフレームレートが決められ、そのフレームレートの処理を実現するための分周比を示す分周比情報がＥＥＰ−ＲＯＭ５に書き込まれるものである。
装置設計上、固体撮像装置における動作中にフレームレートを変化させることがないのであれば、画像処理部４の能力や設計上の各種スペックに応じて、１つの分周比が選定され、その分周比を示す分周比情報がＥＥＰ−ＲＯＭ５に書き込まれればよい。
また、固体撮像装置における動作中にフレームレートを変化させることがあるのであれば、画像処理部４の能力と変化させるフレームレート設定や各種設計スペックに応じて、２つ又はそれ以上の分周比が選定され、それら複数の分周比を示す分周比情報がＥＥＰ−ＲＯＭに書き込まれればよい。
いずれにしても、分周器３８は、ｎ個の分周比が切り換え可能に構成されているが、ＥＥＰ−ＲＯＭ５には、そのｎ個の分周比のうちのｍ個の分周比が選定され、その分周比情報が記憶される。この場合ｎ≧ｍである。そして、選定されたｍ個の分周比は、いずれも、画像処理部４の処理能力の範囲内のフレームレート処理を行う分周比であり、かつ固体撮像装置としての性能設計に応じたフレームレート処理を行う分周比である。
【００２２】
カメラ信号処理コントローラ３０は、ＥＥＰ−ＲＯＭ５に記憶された分周比情報の範囲内で、分周器３８の分周比を指定する。従って、或る固体撮像装置において、例えば分周器３８が上記のように例えば１／１〜１／１６まで５段階で分周比を可変と構成されているところ、ＥＥＰ−ＲＯＭ５には分周比１／１と１／２の２つの分周比情報が記憶されていれば、その固体撮像装置における分周比３８は、１／１と１／２の分周比しか選択されない。
また、他の処理能力の画像処理部４を採用した固体撮像装置において、分周器３８が同じく１／１〜１／１６まで５段階で分周比を可変と構成されているところ、ＥＥＰ−ＲＯＭ５に分周比１／８の分周比情報が記憶されていれば、その固体撮像装置における分周比３８は、１／８の分周比で固定となる。
【００２３】
分周比設定を含めたカメラ信号処理コントローラ３０の起動時の処理を図２に示す。
例えば機器の電源がオンとされ、マスターコントローラ２によって起動が指示されると、カメラ信号処理コントローラ３０は図２のステップＦ１として起動処理を行う。即ちファームウエアの起動処理や各種係数初期化などの必要な処理を行う。続いてステップＦ２でＥＥＰ−ＲＯＭ５において分周比情報が記憶されたアドレスの読出を行い、ステップＦ３で記憶されている分周比情報を確認する。そしてステップＦ４で、記憶されている分周比情報の範囲内で、初期の動作モードに応じて分周器３８における分周比を設定する。例えば１つの分周比を示す分周比情報が記憶されていれば、その分周比を分周比３８に指示する。また、具体例は後述するが、動作モードに応じてフレームレートを切り換えるため、複数の分周比を示す分周比情報が記憶されていれば、その複数の分周比のうちで初期の動作モードに応じた分周比を、分周器３８に指示することになる。
【００２４】
以上のことから理解されるように、撮像信号処理部３における動作クロック周波数は、ＥＥＰ−ＲＯＭ５に記憶された分周比情報に基づく分周器３８の分周比によって設定され、それにより出力される撮像画像信号ＤＴのフレームレートが設定される。つまり撮像信号処理部３と共に機器に搭載される画像処理部４の処理能力や、機器に要求される性能に応じて分周比が選定されてＥＥＰ−ＲＯＭ５に分周比情報が書き込まれることで、撮像信号処理部３としてのチップ（例えばＤＳＰチップ）は、多様な機種に汎用的に使用できることになる。従って、撮像信号処理部３を効率的に設計・製造でき、コストダウン効果や設計の迅速化等の効果も得られる。
例えば撮像信号処理部の開発段階では、その出力信号が、開発完了後にどのような機能仕様を有する画像処理部により処理されるかを全て想定することが難しいが、本例の撮像信号処理部３を用いる場合、開発済みの撮像信号処理部３に対して、様々な処理能力を有する画像処理部４を容易に組み合わせることが可能となる。
また、カメラシステムに要求される機能仕様において、コスト的に画像処理部４にそれほどの信号処理能力が要求されず、低コストの画像処理部４が採用される場合、本例の撮像信号処理部３であれば、個別に対応することで画像処理部４が処理可能な速度（フレームレート）に調整して撮像画像信号ＤＴを出力することが可能であり、システム構成の検討段階で前段である撮像信号処理部３と、後段である画像処理部４との組み合わせに選択の自由度を持たせることができる。
【００２５】
なお、本例ではＥＥＰ−ＲＯＭ５に分周比情報を記憶するようにしたが、ＥＥＰ−ＲＯＭに代えて各種のメモリを用いても良いことは言うまでもない。あくまでカメラ信号処理コントローラ３０に分周比情報を与えることのできる記憶手段であれば、その具体的な構成は問われない。
【００２６】
ところで、本例の固体撮像装置において撮像動作中に、その動作モードに応じて撮像信号処理部３における動作クロックを変化させ、フレームレートを変化させることで、より高性能な動作が可能となる。即ち、ＥＥＰ−ＲＯＭ５には例えば２種類の分周比を示す分周比情報を記憶させておき、分周器３８では動作モード状態で２つの分周比が切り換えられるようにする。
【００２７】
フレームレートを変化させるのは、次のような点で好適なためである。本例の固体撮像装置を電子スチルカメラと考えた場合を例に挙げる。電子スチルカメラでは、ユーザーが被写体を確認するビューファインダには、被写体の動画映像が表示される。ユーザーはビューファインダ上の動画映像表示によって被写体を確認し、任意のタイミングでシャッタ操作を行うことになる。そしてシャッタ操作タイミングで取り込まれた撮像画像信号の１フレームが、記録される静止画像となる。
このような動作を考えると、ビューファインダに動画を表示している期間（ユーザーがシャッタチャンスを探している期間）は、ビューファインダになめらかな動画映像が表示されることが好ましい。その一方で、さほど精細な高画質映像は必要ない。つまり、低解像度の映像であるが高フレームレートの処理が好ましいものとなる。
また、シャッタ操作を行った際の撮像画像信号としては、静止画として１フレームを取り込む（例えば記録する）ための映像信号であるため、高画質であることが求められる。つまり撮像画像信号が高解像度の信号であることが好ましい。一方でフレームレートを高くする必要はない。また回路事情によれば、高解像度化で１フレームの情報量が増えることに応じて低フレームレートの処理を行うことで回路（特に画像処理部４）への負担をかけないものともなる。
【００２８】
つまり、ビューファインダで被写体を確認している期間は、動作モードをビューファインダモード（以下、ＶＦモード）として、低解像度で高フレームレートの処理とし、またユーザーがシャッタ操作を行った際、つまり撮像画像信号を記録する場合は、動作モードをキャプチャモードとして高解像度で低フレームレートの処理とすることで、固体撮像装置としての動作性能を向上させることができる。
以下、このようにＶＦモードとキャプチャモードにおいて分周比切り換え動作について説明する。
【００２９】
図３は、ＶＦモードからキャプチャモードに切り替わる前後において、両モードの動作状態を示すタイミングチャートである。
なお、一例として、ＥＥＰ−ＲＯＭ５には１／１，１／２という２種類の分周比を示す分周比情報が記憶されており、カメラ信号処理コントローラ３０はＶＦモードにおいては分周器３８に分周比１／１を指示し、キャプチャモードでは分周比１／２を指示するものとする。
またカメラ信号処理コントローラ３０は制御信号Ｓｓにより、ＶＦモードでが低解像度、キャプチャモードでは高解像度の撮像画像信号が得られるようにセンサ部１１を制御する。
例えばＶＦモードでは、低解像度として例えば解像度ＱＶＧＡ（Quarter Video Graphics Array）の画像として、これは８００×６００ドットのＶＧＡ（Video Graphics Array）の１／４サイズ（３２０×２４０ドット）の画像である。またフレームレートは１５ＦＰＳ（Frame／Sec）とする。
またキャプチャモードでは、高解像度として例えば解像度ＳＸＧＡ（Super Extended Graphics Array）の画像として、これは１２８０×１０２４ドットの画像である。フレームレートは５ＦＰＳとする。
なお、各解像度に於ける実現可能なフレームレートの範囲は画像信号処理システムの構成により異なるが、実際上は、そのシステムにおいて各解像度の場合に実現可能な高フレームレートをとるようにすればよい。
つまり、低解像度状態、高解像度状態のそれぞれに於いて、なるべく高いフレームレートを得るクロック分周倍率を用意するが、それが例えば上記の１／１，１／２という分周比である。
撮像信号処理部３の処理速度は動作クロックに比例して変化するため、各動作状態での最速フレームレートは、分周器３８の分周倍率が基準となる１／１の状態で実現され、例えば分周比が１／２に低下するとフレームレートも１／２に低下する。
実際上は、このような各動作モードでの分周比は、撮像信号処理部３の出力する信号の速さと、それを入力として受け取る後段の画像処理部４の処理能力とによって決定される。
【００３０】
また、カメラ信号処理コントローラ３０において動作するファームウェアは、レジスタ上に割り当てられた該当アドレスに設定された情報（マスターコントローラ２からのコマンドＣＭ）を参照し、高フレームレート優先の動作状態（即ちＶＦモード）と、高解像度優先の動作状態（即ちキャプチャモード）とのどちらかを選択する。
高フレームレート優先の動作状態では、ファームウェアはフレームレートを高めるため、例えば固体撮像素子の全画素情報を読み出さず、解像度を低下させる動作状態の設定を行う。また、高解像度優先の動作状態では、ファームウェアは解像度を高めるため、例えば固体撮像素子の全画素情報を読み出すための設定を行う。
【００３１】
図３で具体例を説明する。
ＶＦモード時には、カメラ信号処理コントローラ３０は、図３（ｄ）に示すように分周器３８の分周比を１／１としており、従って撮像画像信号部３の各部は、入力されるクロックＭＣＫのままの高い周波数のクロックで動作する。従って、高いフレームレートの処理となる。またカメラ信号処理コントローラ３０は制御信号Ｓｓにより、センサ部１１に対して低解像度の読出を行うように制御している。
このＶＦモードの期間は、分周比が１／１であるため、センサ部１１に供給される垂直同期信号Ｖsyncは、図３（ａ）に示すように比較的高い周波数となる。そしてセンサ部１１は、垂直同期信号Ｖsyncの周期で１フレームの撮像画像信号を読み出すことになる。図３（ｂ）にセンサ部１１の動作を模式的に示しているが、概略的には、垂直ブランキング期間に露光を行い、その後の垂直期間に撮像画像信号を出力することになる。例えば露光Ｒ１の後に１フレームの撮像画像信号ＳＴ１を転送出力する。そしてこの場合の撮像画像信号ＳＴ１は、例えば画素間引き等が施された低解像度の画像信号である。
この撮像画像信号ＳＴ１、つまりフレームレート優先で低解像度とされた撮像画像信号は、撮像信号処理部３に供給されて処理される。そして撮像信号処理部３から後段の画像処理部４に供給されてエンコード処理された後、例えば図示しないビューファインダ等において動画映像として表示される。
【００３２】
即ちこのＶＦモードの場合、低解像度の画像信号が高フレームレートで処理されてビューファインダ等に表示されるものとなる。低解像度であって１フレームのデータ量が少ないため後段の画像処理部４以降の処理負担は過大にはならない。そしてフレームレートが高いことで、ビューファインダ等での動画映像は、なめらかな表示となり、ユーザーに違和感を与えることはない。
【００３３】
ユーザーが操作部６からシャッタ操作を行うと、マスターコントローラ２はカメラ信号処理コントローラ３０に対するコマンドＣＭとしてキャプチャコマンドを送信する。例えばｔ０時点でキャプチャコマンドが与えられたとする。
カメラ信号処理コントローラ３０は、与えられたコマンドを例えば垂直同期信号Ｖsyncの立ち下がりタイミングで認識し、立ち上がりタイミングで動作モードを切り換える。つまりキャプチャコマンドが与えられた後の垂直同期信号Ｖsyncの立ち上がりタイミングで、ＶＦモードからキャプチャモードに遷移する。
この場合、分周器３８の分周比が１／２に切り換えられ、従って撮像画像信号部３の各部は、入力されるクロックＭＣＫの１／２の周波数のクロックで動作する。従って、低いフレームレートの処理となる。またカメラ信号処理コントローラ３０は制御信号Ｓｓにより、センサ部１１に対して高解像度の読出を行うように制御する。
キャプチャモードとなると、分周比が１／２であるため、センサ部１１に供給される垂直同期信号Ｖsyncは、図３（ａ）に示すように低い周波数となる。そしてセンサ部１１は、垂直同期信号Ｖsyncの周期で１フレームの撮像画像信号を読み出すことになる。
但し、キャプチャモードに切り換えられた直後のフレームの撮像画像信号ＳＴ２は、ＶＦモード時点の露光Ｒ２によって得られ、また低解像度から高解像度に切替が指示された遷移期間の動作による撮像画像信号であるため、適正な高解像度画像であることが保障できない画像信号である。
そのため、キャプチャモードにおいて最初に供給される撮像画像信号ＳＴ２については、撮像画像信号部３において、その画像データを無効なものとして破棄する。
そして撮像信号処理部３は次のフレームとして読み出される撮像画像信号ＳＴ３を、キャプチャモードで処理すべき画像信号として処理することになる。
この撮像画像信号ＳＴ３、つまり解像度優先で低フレームレートとされた撮像画像信号は、撮像信号処理部３で処理された後、画像処理部４に供給されてエンコード処理され、例えば図示しない記録部において記録媒体に静止画像として記録され、またビューファインダに表示される。
【００３４】
即ちこのＶＦモードの場合、記録に適する品質として、高解像度の静止画像が記録されるものとなる。また高解像度であって１フレームのデータ量が増大しているが、フレームレートを低下させることで、画像処理部４以降の処理負担が過大にならないようにしているものである。
上述したように、各動作モードでの分周比は、撮像信号処理部３の出力する信号の速さと、それを入力として受け取る後段の画像処理部４の処理能力とによって決定される。例えば後段の画像処理部４が、画像処理用のバッファメモリ等を持たず、映像信号のブランキング期間に信号処理を実施する場合、高解像度状態で映像信号に占める映像情報の割合が高くなると、ブランキング期間ではフレーム毎の画像処理が間に合わなくなる場合がある。本例では、高解像度状態であるキャプチャモード時は、分周比が低下され、撮像画像信号ＤＴのフレームレート（出力速度）を低下させるため、ブランキング期間としての実時間長が延長され、画像処理部４以降の信号処理に充分な処理時間を確保することが容易に実現できるものである。
【００３５】
以上のように、ＶＦモードとキャプチャモードで分周器３８の分周比を変更してフレームレートを切り換え、また解像度を切り換えることで、固体撮像装置として高性能な動作が実現される。
【００３６】
ところで、上記高解像度画像としての撮像画像信号ＳＴ３は、露光Ｒ３においてセンサ部１１で露光されたものである。この露光Ｒ３の露光時間ｔＲは、ＶＦモード期間の露光Ｒ１，Ｒ２等の露光時間ｔＲと同等となるようにしている。これについて説明する。
【００３７】
分周器３８の分周比を変更した場合、変更の前後では撮像信号処理部３の動作周期と実時間との関係にズレが生じる。例えば低解像度状態に１／１であったクロック分周倍率を、高解像度状態において１／２にした場合、撮像信号処理部３の動作周期は実時間で２倍になり、センサ部１１の電子シャッターによる蓄積時間（露光時間）も同一タイミングで制御したままでは低解像度状態に比べて高解像度状態では２倍の時間になってしまう。
そこで、上述した自動露光調整（オートエクスポージャ）によって、電子シャッターによる蓄積時間が輝度レベルを一定に保つよう調整されている場合は、撮像画像信号の輝度レベルを一定に保つため、クロックの分周比を変更することに応じて、次の関係式で電子シャッターによる蓄積時間（露光時間）を補正する。
分周倍率変更後の蓄積時間＝
分周倍率変更前の電子シャッタ設定値×（変更前の分周倍率／変更後の分周倍率）
・・・（式１）
例えば、低解像度状態で分周比１／１（分周倍率＝１）の状態から、高解像度状態での分周比１／２（分周倍率＝２）の状態に変更する際には、動作クロックの周波数が１／２になる分周比の変更タイミングに同期して、露光時間を１÷２＝１／２倍に調整し、実際の露光時間が変化しないようにする。
もちろん高解像度状態での分周比１／２（分周倍率＝２）の状態から、低解像度状態で分周比１／１（分周倍率＝１）の状態に切り換えられる際も、同様にクロック分周倍率と電子シャッター設定の制御を実施する。つまり露光時間を２÷１＝２倍に調整する。
このように、低解像度状態、高解像度状態の切り替え時期に同期してクロック分周倍率を変更する際に、同期して電子シャッターによる蓄積時間を調整することで、簡単な制御で適正な輝度レベルの撮像画像信号を得ることができる。
なおモード切換による輝度レベルの変動を防止するために、蓄積時間の調整とともにＡＧＣ回路１２のゲイン調整を行っても良いし、或いは蓄積時間は調整せず、ＡＧＣ回路１２のゲイン設定変更のみで対応しても良い。
【００３８】
以上のようにＶＦモードとキャプチャモードでの切り換えに関するカメラ信号処理コントローラ３０の処理のフローチャートを図４に示す。
ステップＦ１０１は、動作状態、つまりＶＦモードとキャプチャモードという動作モードが変化したか否かを確認する処理である。これはマスターコントローラ２からのコマンドＣＭによってモード遷移が指示されたか否かの確認となる。
モード遷移の指示がなければ、そのまま処理を終える。
【００３９】
ステップＦ１０１でモード遷移の指示が確認された場合は、ステップＦ１０２でどのモードへの遷移の指示かを確認する。高解像度状態、即ちキャプチャモードへの遷移の指示であった場合は、ステップＦ１０３に進む。
そしてステップＦ１０３では、高解像度状態にあわせたセンサ部１１の処理設定の変更制御を行う。つまり制御信号Ｓｓによりセンサ部１１の撮像画像信号の読出動作を高解像度読出動作とする。
ステップＦ１０４では、分周器３８の分周比をキャプチャモードの値に設定する。上記例に合わせて言えば、分周比を１／２とする。
ステップＦ１０５では、変更前の分周比（分周倍率）と変更後の分周比（分周倍率）を用いて上記式（１）の演算を行う。
そしてステップＦ１０６で、分周倍率を用いた上記式（１）の演算で求められた結果に応じて、センサ部１１における露光時間を高解像度・低フレームレートの状態に合わせた時間長に制御する。この場合、カメラ信号処理コントローラ３０は、シグナル／タイミングジェネレータ３７により出力される露光制御信号ＳAE1により露光時間を制御する。
【００４０】
上記ステップＦ１０２で低解像度状態、即ちＶＦモードへの遷移の指示が確認された場合は、ステップＦ１０７に進む。
そしてステップＦ１０７では、低解像度状態にあわせたセンサ部１１の処理設定の変更制御を行う。つまり制御信号Ｓｓによりセンサ部１１の撮像画像信号の読出動作を低解像度読出動作とする。
ステップＦ１０８では、分周器３８の分周比をＶＦモードの値、例えば１／１に設定する。
ステップＦ１０９では、変更前の分周比（分周倍率）と変更後の分周比（分周倍率）を用いて上記式（１）の演算を行う。
そしてステップＦ１１０で、分周倍率を用いた上記式（１）の演算で求められた結果に応じて、センサ部１１における露光時間を低解像度・高フレームレートの状態に合わせた時間長に制御する。即ち露光制御信号ＳAE1により露光時間を制御する。
【００４１】
カメラ信号処理コントローラ３０は以上の処理を行うことで、図３で説明したようなモード遷移動作が実現される。
そして、高フレームレート優先の動作状態と高解像度優先の動作状態を切り換えることで、固体撮像装置として高性能な動作が実現できるものとなる。
なお、上記例では電子スチルカメラを想定してＶＦモードとキャプチャモードという動作モードの例を挙げたが、もちろんこれに限らず、各種の固体撮像装置における各種の動作モードにおいて、分周器３８の分周比や解像度を変化させることも、当然に考えられる。
例えば電子スチルカメラや動画記録を目的としたビデオカメラなどにおいては、記録される静止画又は動画の解像度（画像品質）の異なる動作モードを複数用意し、ユーザー任意に選択できるようにすることが考えられる。その場合、その動作モードに応じて分周器３８の分周比の切り換えが行われるようにしてもよい。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施の形態の固体撮像装置の要部のブロック図である。
【図２】実施の形態の起動時の処理のフローチャートである。
【図３】実施の形態の動作モード遷移時の動作の説明図である。
【図４】実施の形態の動作モード遷移時の処理のフローチャートである。
【図５】固体撮像装置の概略構成の説明図である。
【符号の説明】
【００４３】
１  撮像センサ部、２  マスターコントローラ、３  撮像信号処理部、４  画像処理部、５  ＥＥＰ−ＲＯＭ、１１  センサ部、１２  ＡＧＣ回路、３０  カメラ信号処理コントローラ、３７  シグナル／タイミングジェネレータ、３８  分周器
【図１】
2005278060.tif 000003
【図２】
2005278060.tif 000004
【図３】
2005278060.tif 000005
【図４】
2005278060.tif 000006
【図５】
2005278060.tif 000007