(57)【要約】【課題】内蔵されたスケーリング機能を有するイメージセンサと、そのイメージセンサのイメージスケーリング方法を提供すること。【解決手段】画素が配置され、光（映像情報）を感知する画素配列部（２０）と、全体の動作を制御するタイミング制御部（２１）と、画素配列部から提供されたアナログ信号をデジタル信号に変換するアナログ信号処理部（２２）と、デジタル信号をライン単位に格納するラインメモリ部（２３）と、ラインメモリ部に格納されたデジタル信号を用いて映像処理を実施する画像信号処理部（２４）と、タイミング制御部から所望のイメージサイズに対応するスケーリングファクターを入力されてスケーリング割合を求め、カラム／ローアドレス及びデータを生成し、ラインメモリ部に格納されたイメージデータをスケーリングして、所望のサイズのイメージデータを出力するスケーラ部（２５）とを備える。【選択図】図２
2006238420.tif 000002
【特許請求の範囲】
【請求項１】
光に反応する性質を極大化させるように形成された複数の画素が配置され、外部から入力される映像情報である光を感知する画素配列部と、
イメージセンサの全体的な動作を制御するタイミング制御部と、
該タイミング制御部による制御を受けて、前記画素配列部から提供されたアナログ信号を処理して、デジタル信号に変換して出力するアナログ信号処理部と、
前記デジタル信号をライン単位にデジタルデータとして格納するラインメモリ部と、
該ラインメモリ部に格納されたデジタルデータを用いて、イメージ向上のための映像処理を実施する画像信号処理部と、
イメージサイズの調節のために、前記タイミング制御部から所望のイメージサイズに対応するスケーリングファクターを入力されてスケーリング割合を求め、該スケーリング割合に応じたカラム／ローアドレス及びデータを生成し、前記ラインメモリ部に格納された前記デジタルデータをスケーリングして、所望の前記イメージサイズのイメージデータとして出力するスケーラ部と
を備えることを特徴とするイメージセンサ。
【請求項２】
前記スケーラ部が、
前記スケーリング割合によってプレスケーリングするか否かを判断し、該判断の結果に応じて選択的にプレスケーリングを行って、予めイメージのサイズを調節してから、ポストスケーリングするか否かを判断し、該判断の結果に応じて選択的にポストスケーリングを行うことを特徴とする請求項１に記載のイメージセンサ。
【請求項３】
前記スケーリングによって得られる所望のイメージサイズがＭ×Ｎ（Ｍ、Ｎは、それぞれカラム数、ロー数を表す自然数）である場合、前記スケーリングファクターが、ＳＣＡＬＥＭ及びＳＣＡＬＥＮであり、前記スケーリング割合が、ＳＣＡＬＥＭをＳＣＡＬＥＮで除して得られる値であることを特徴とする請求項１または請求項２に記載のイメージセンサ。
【請求項４】
前記スケーラ部が、
前記スケーリングファクターＳＣＡＬＥＭ及びＳＣＡＬＥＮにより、前記スケーリング割合を決定するスケーリング割合生成部と、
該スケーリング割合生成部及び前記タイミング制御部により制御され、選択的にプレスケーリングを実施するプレスケーラ部と、
前記プレスケーリングされたイメージ及びプレスケーリングされなれなかったイメージに対して、それぞれ選択的にポストスケーリングを実施するポストスケーラ部と、
前記ポストスケーラ部から出力されるスケーリングされたイメージデータをイメージセンサの出力クロックに同期させる出力データ同期部と
を備えることを特徴とする請求項３に記載のイメージセンサ。
【請求項５】
前記スケーリング割合生成部が、前記スケーリング割合の大きさによってプレスケーラ有効信号及び前記プレスケーリング割合を決定し、
前記プレスケーラ有効信号が、前記プレスケーラ部のオン／オフを決定することを特徴とする請求項４に記載のイメージセンサ。
【請求項６】
前記プレスケーラ部が、前記プレスケーラ有効信号が生成された場合にのみ、前記プレスケーリング割合によってプレスケーラカラム／ローアドレスを生成し、
該プレスケーラカラム／ローアドレスに一致する前記ラインメモリ部の位置に該当するデータだけをサンプリングして、プレスケーリングされた大きさのイメージを生成することを特徴とする請求項５に記載のイメージセンサ。
【請求項７】
前記ポストスケーラ部が、
前記プレスケーラ部を経なかった場合には、前記スケーリング割合生成部により生成されたスケーリング割合をポストスケーリング割合として使用し、
前記プレスケーラ部を経た場合には、前記ポストスケーリング割合を（ＳＣＡＬＥＭ／ＳＣＡＬＥＮ）／スケーリング割合によって決定することを特徴とする請求項６に記載のイメージセンサ。
【請求項８】
前記ポストスケーラ部が、
前記プレスケーラ部がオフである場合には、前記タイミング制御部から提供されたカラム／ローアドレスを受け取って、スケーリング割合に合った新たなカラム／ローアドレスを生成し、
前記プレスケーラ部がオンである場合には、前記プレスケーラカラム／ローアドレスを受け取って、ポストスケーリング割合に合った新たなカラム／ローアドレスを生成することを特徴とする請求項７に記載のイメージセンサ。
【請求項９】
前記スケーリング割合生成部が、
前記スケーリングファクターを用いて、ＳＣＡＬＥＭをＳＣＡＬＥＮで除して得られる値をスケーリング割合として出力する割算器と、
前記スケーリング割合を予め設定されたスケーリング割合と比較する、それぞれ異なる基準値を有する複数の比較器と、
複数の前記比較器の出力のうち、該当するプレスケーリング割合を出力する選択器と、
１／２のスケーリング割合基準値を有する比較器の出力（プレスケーラ有効信号）及び選択されたプレスケーリング割合によって、ポストスケーリング割合を決定するポストスケーリング割合決定部と
を備えることを特徴とする請求項５に記載のイメージセンサ。
【請求項１０】
前記プレスケーラ部が、
前記スケーラ有効信号が「ロジックハイ」である場合にのみ動作し、前記スケーラ割合生成部により決定された前記プレスケーリング割合によって、前記タイミング制御部から提供されるカラム／ローアドレスを該当ビット数だけシフトさせることを特徴とする請求項６に記載のイメージセンサ。
【請求項１１】
前記プレスケーラ部が、
同じシフト係数を有しても、フルカラーデータレベルとベイヤーデータレベルとでそれぞれ異なるプレスケーラカラム／ローアドレスを有することを特徴とする請求項１０に記載のイメージセンサ。
【請求項１２】
前記プレスケーラ部が、
それぞれ異なる基準値を一方の入力とし、前記プレスケーリング割合を他方の入力とする複数のＡＮＤゲートと、
複数の前記ＡＮＤゲートの出力によって、該当するアドレスのシフト係数を選択するアドレスシフト係数選択部と、
前記アドレスシフト係数選択部によって選択されたシフト係数により、前記タイミング制御部から提供されたアドレスを該当するビット数だけシフトさせたプレスケーラカラム／ローアドレスを生成するプレスケーラアドレス生成部と、
前記プレスケーラカラム／ローアドレスによって、オリジナルイメージデータ及び前記ラインメモリ部に格納されたデータをサンプリングし、プレスケーライメージデータを出力するプレスケーラデータサンプリング部と
を備えることを特徴とする請求項１１に記載のイメージセンサ。
【請求項１３】
前記ポストスケーラ部が、
同じシフト係数を有しても、フルカラーデータレベルとベイヤーデータレベルとでそれぞれ異なるポストスケーラカラム／ローアドレスを有することを特徴とする請求項８に記載のイメージセンサ。
【請求項１４】
前記ポストスケーラ部が、
前記タイミング制御部から提供されるカラム／ローアドレス、前記プレスケーラカラム／ローアドレス、前記プレスケーラ有効信号、及び前記ポストスケーリング割合を入力として、ポストスケーラカラム／ローアドレスを生成するポストスケーラアドレス生成部と、
前記プレスケーラ有効信号及び前記プレスケーラ有効信号の反転信号をそれぞれＮＭＯＳ及びＰＭＯＳゲート端の入力とし、プレスケーライメージデータ及びオリジナルイメージデータをそれぞれ出力する第１及び第２のトランスミッションゲートと、
前記ポストスケーラカラム／ローアドレスによって、オリジナルイメージデータまたはプレスケーライメージデータをサンプリングし、ポストスケーライメージデータを出力するポストスケーラデータサンプリング部と
を備えることを特徴とする請求項１３に記載のイメージセンサ。
【請求項１５】
所望サイズのイメージを出力するためのスケーリングファクターＳＣＡＬＥＭ、ＳＣＡＬＥＮに相応するスケーリング割合を、ＳＣＡＬＥＭをＳＣＡＬＥＮで除した値として計算するステップと、
前記スケーリング割合の大きさによってプレスケーリングの要否を判断するステップと、
プレスケーリングが必要であると判断された場合、プレスケーリングを実施してイメージのサイズを調節するステップと、
ポストスケーリングの要否を判断するステップと、
ポストスケーリングが必要であると判断された場合、ポストスケーリングを実施してイメージのサイズを調節するステップと、
プレスケーリング及びポストスケーリング処理によってスケーリングされたイメージデータをイメージセンサの出力クロックに同期化させるステップと
を含むことを特徴とするイメージセンサのイメージスケーリング方法。
【請求項１６】
前記プレスケーリングが必要でないと判断された場合、前記プレスケーリングを行わず、ポストスケーリングによってイメージサイズを最終イメージサイズである前記所望サイズにすることを特徴とする請求項１５に記載のイメージセンサのイメージスケーリング方法。
【請求項１７】
前記ポストスケーリングが必要でないと判断された場合、前記プレスケーリングによってイメージサイズを最終イメージサイズである前記所望サイズにすることを特徴とする請求項１５に記載のイメージセンサのイメージスケーリング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージセンサに関し、特に、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサに関し、さらに詳細には、イメージスケーラ（Scaler）を備えたＣＭＯＳイメージセンサ及びそのイメージスケーリング方法に関する。
【背景技術】
【０００２】
イメージセンサとは、半導体が光に反応する性質を用いて光学的イメージを電気信号として出力する装置をいう。すなわち、各々の被写体から発せられる、若しくは反射される光の明るさ及び波長を各画素が感知して、電気信号として出力する装置である。この電気信号を信号処理が可能なレベルにするのが、イメージセンサの役割である。
【０００３】
図１は、イメージセンサを概略的に示すブロック図である。
【０００４】
図１に示すように、イメージセンサは、大別すると、Ｎ×Ｍ個の（Ｎ、Ｍは、自然数）単位画素で構成された画素配列部１０と、タイミング制御部１１と、アナログ信号処理部１２と、画像信号処理部１４と、ラインメモリ部１３とを備えて構成される。
【０００５】
アナログ信号処理部１２は、ＣＤＳ（Correlated Double Sampling）及びアナログ増幅器部１２１と、アナログ／デジタル変換部（Analog to Digital Converter；以下、ＡＤＣとする）１２２とを備えて構成される。
【０００６】
タイミング制御部１１は、制御及び外部システムインターフェース部とも称され、ＦＳＭ（Finite State Machine）の概念を用いてイメージセンサの全体的な動作を制御し、外部システムに対するインターフェースの役割を担う。また、配置レジスタを有しており、様々な内部動作に関連する事項のプログラムが可能であり、このプログラム情報に応じて、チップ全体の動作を制御する。
【０００７】
画素配列部１０は、光に反応する性質を極大化させるように形成された、Ｍ×Ｎ個の単位画素を配置し、外部から入力されるイメージの情報を感知する部分であり、センサ全体の核となる部分である。
【０００８】
ＣＤＳ及びアナログ増幅器部１２１において、ＣＤＳは、相互に関連した２重サンプリング法により画素の固定パターン雑音（Fixed Pattern Noise）をなくし、アナログ増幅器は、画素信号を適切な大きさの電気信号に変換する。
【０００９】
ＡＤＣ１２２は、画素配列部１０の各画素で感知したアナログ電圧を、デジタルシステムで処理が可能なようにデジタルの電圧に変換する役割を果たす。
【００１０】
ラインメモリ部１３は、ＡＤＣ１２２によって変換された画素のデジタル電圧を格納する役割を果たし、画像信号処理部１４の様々な機能を実現するために、種々のラインから構成される。
【００１１】
画像信号処理部１４は、イメージセンサの機能によって色補間（Color interpolation）、色補正（Color correction）、ガンマ補正（Gamma correction）、自動ホワイトバランス（Auto white balance）、自動露出（Auto exposure）など、ラインメモリ部１３に格納された画素の出力値に基づいて、イメージセンサの性能向上のための様々な処理を行う。
【００１２】
通常、イメージセンサを用いたカメラシステムは、イメージセンサとバックエンド（Back-end）チップとから構成される。イメージセンサは、光を受けて光を電気信号に変換し、その情報（電気信号）を伝える機能を果たし、バックエンドチップは、イメージセンサからの画像情報を受けて、画質を高め、情報を圧縮し、画像の大きさを調節する役割を果たす。
【００１３】
イメージセンサの画素数は、百万画素以上に増大し、依然として速い速度で増大しているが、携帯電話やデジタルカメラのプレビュー用のサイズは、ディスプレイの制約により、依然として小さなサイズが要求されるため、イメージスケーリングはバックエンドチップの重要な役割であるといえる。
【００１４】
しかし、バックエンドチップは、イメージセンサからの１画面の画像情報をすべて格納した後、画像の大きさを調節しなければならないため、イメージスケーリングに多くの時間を必要とし、バックエンドチップが処理するイメージスケーリングの速度により、イメージセンサの動作速度が制約を受ける。
【００１５】
その結果、イメージセンサのフレームレートが低下するようになり、携帯電話やデジタルカメラのプレビューの際に、画面が途切れる現象を誘発するようになる。
【発明の開示】
【発明が解決しようとする課題】
【００１６】
本発明は、上記した従来の技術の問題を解決するためになされたものであって、その目的は、スケーリングのために、別途の追加チップを必要とせず、スケーリング機能を内蔵したイメージセンサと、このようなイメージセンサのイメージスケーリング方法を提供することにある。
【課題を解決するための手段】
【００１７】
そこで、上記の目的を達成するために、本発明のイメージセンサは、光に反応する性質を極大化させるように形成された複数の画素が配置され、外部から入力される映像情報である光を感知する画素配列部と、イメージセンサの全体的な動作を制御するタイミング制御部と、該タイミング制御部による制御を受けて、前記画素配列部から提供されたアナログ信号を処理して、デジタル信号に変換して出力するアナログ信号処理部と、前記デジタル信号をライン単位のデジタルデータとして格納するラインメモリ部と、該ラインメモリ部に格納されたデジタルデータを用いて、イメージ向上のための映像処理を実施する画像信号処理部と、イメージサイズの調節のために、前記タイミング制御部から所望のイメージサイズに対応するスケーリングファクターを入力されてスケーリング割合を求め、該スケーリング割合に応じたカラム／ローアドレス及びデータを生成し、前記ラインメモリ部に格納された前記デジタルデータをスケーリングして、所望の前記イメージサイズのイメージデータとして出力するスケーラ部とを備えることを特徴としている。
【００１８】
また、上記の目的を達成するために、本発明のイメージセンサのイメージスケーリング方法は、所望サイズのイメージを出力するためのスケーリングファクターＳＣＡＬＥＭ、ＳＣＡＬＥＮに相応するスケーリング割合を、ＳＣＡＬＥＭをＳＣＡＬＥＮで除した値として計算するステップと、前記スケーリング割合の大きさによってプレスケーリングの要否を判断するステップと、プレスケーリングが必要であると判断された場合、プレスケーリングを実施してイメージのサイズを調節するステップと、ポストスケーリングの要否を判断するステップと、ポストスケーリングが必要であると判断された場合、ポストスケーリングを実施してイメージのサイズを調節するステップと、プレスケーリング及びポストスケーリング処理によってスケーリングされたイメージデータをイメージセンサの出力クロックに同期化させるステップとを含むことを特徴としている。
【発明の効果】
【００１９】
本発明によれば、システムの要求に応じて、出力する映像のサイズを調節でき、イメージセンサの性能を大きく向上させることができ、スケーラのハードウェア複雑度も低減させて、集積度を向上させることができる。
【発明を実施するための最良の形態】
【００２０】
以下、添付された図面を参照して本発明の好ましい実施の形態をさらに詳細に説明する。
【００２１】
図２は、本発明の実施の形態に係るＣＭＯＳイメージセンサを示すブロック図である。
【００２２】
図２に示すように、本発明の実施の形態に係るＣＭＯＳイメージセンサは、Ｎ×Ｍ個（Ｎ、Ｍは、自然数）の単位画素で構成された画素配列部２０と、タイミング制御部２１と、アナログ信号処理部２２と、画像信号処理部２４と、スケーラ部２５と、ラインメモリ部２３とを備えて構成される。
【００２３】
アナログ信号処理部２２は、ＣＤＳ及びアナログ増幅器部２２１とアナログ/デジタル変換部２２２（以下、ＡＤＣとする）とを備えている。
【００２４】
タイミング制御部２１は、制御及び外部システムインターフェース部とも称され、ＦＳＭの概念を用いてイメージセンサの全体的な動作を制御し、外部システムに対するインターフェースの役割を担う。また、タイミング制御部２１は、配置レジスタを有しており、様々な内部動作に関連する事項のプログラムが可能であり、このプログラム情報に応じてチップ全体の動作を制御する。
【００２５】
画素配列部２０は、光に反応する性質を極大化させるように形成された、Ｍ×Ｎ個の単位画素を配置し、外部から入力されるイメージの情報を感知する部分であって、センサ全体の核となる部分である。
【００２６】
ＣＤＳ及びアナログ増幅器部２２１において、ＣＤＳは、相互に関連した２重サンプリング法により画素の固定パターン雑音をなくし、アナログ増幅器は、画素信号を適切な大きさの電気信号に変換する。
【００２７】
ＡＤＣ２２２は、画素配列部２０の各画素で感知したアナログ電圧を、デジタルシステムで処理が可能なようにデジタルの電圧に変換する役割を果たす。
【００２８】
ラインメモリ部２３は、ＡＤＣ２２２によって変換された画素のデジタル電圧を格納する役割を担い、画像信号処理部２４の様々な機能を実現するために、種々のラインから構成される。
【００２９】
画像信号処理部２４は、イメージセンサの機能によって色補間、色補正、ガンマ補正、自動ホワイトバランス、自動露出など、ラインメモリ部２３に格納された画素の出力値に基づいて、イメージセンサの性能向上のための様々な処理を行う。
【００３０】
スケーラ部２５は、イメージサイズの調節のために、スケーリングファクターが入力され、スケーリング割合を求め、それに相応するカラム／ローアドレス及びデータを生成して、所望のサイズのイメージデータを出力する。
【００３１】
図３は、図２のスケーラ部２５の内部構成をさらに具体的に示すブロック図である。
【００３２】
図３に示すように、スケーラ部２５は、スケーリングファクターＳＣＡＬＥＭ及びＳＣＡＬＥＮによりスケーリング割合を決めるスケーリング割合生成部２５０と、スケーリング割合生成部２５０及びタイミング制御部２１により制御されて、選択的にプレスケーリングを実施するプレスケーラ部２５１と、プレスケーリングされたイメージ及びプレスケーリングされなかったイメージに対してそれぞれ選択的にポストスケーリングを実施するポストスケーラ部２５２と、ポストスケーラ部２５２から出力されるスケーリングされたイメージデータを、イメージセンサの出力クロックに同期させる出力データ同期部２５３とを備えて構成される。
【００３３】
前述した構成を有するスケーラ部２５の詳細動作を、以下に説明する。
【００３４】
スケーリング割合生成部２５０は、スケーリングファクターＳＣＡＬＥＭ及びＳＣＡＬＥＮを用いてスケーリング割合を計算する。この時、スケーリング割合は、次の式１で決定される。
スケーリング割合＝（ＳＣＡＬＥＭ／ＳＣＡＬＥＮ）・・・（式１）
また、スケーリング割合生成部２５０は、スケーリング割合の大きさによってプレスケーラ有効（Pre-scaler valid）信号及びプレスケーリング割合を決める。プレスケーラ有効信号は、プレスケーラ部２５１のオン／オフ（Ｏｎ／Ｏｆｆ）を制御する信号である。
【００３５】
プレスケーラ部２５１は、プレスケーラ有効信号を受信した場合にのみ、スケーリング割合生成部２５０で計算されたプレスケーリング割合によってプレスケーラカラム／ローアドレスを生成し、生成されたアドレスのデータだけをサンプリングすることにより、適切な大きさのイメージを生成する。
【００３６】
ポストスケーラ部２５２は、イメージスケーラ部２５から最終的に出力されるイメージサイズを調節する役割を果たし、プレスケーラ部２５１を経なかった場合、スケーリング割合生成部２５０により生成されたスケーリング割合が即ち、ポストスケーリング割合となって、イメージセンサの出力イメージのサイズを調節する。一方、プレスケーラ部２５１を経た場合のポストスケーラ部２５２のポストスケーリング割合は、次の式２で決定される。
ポストスケーリング割合＝[（ＳＣＡＬＥＭ／ＳＣＡＬＥＮ）／スケーリング割合]・・・（式２）
ポストスケーリング割合の変化に合せて、ポストスケーラ部２５２は、プレスケーラ部２５１がオフである場合には、タイミング制御部２１により生成されたカラム／ローアドレスから新たなカラム／ローアドレスを生成し、プレスケーラ部２５１がオンである場合には、プレスケーラ部２５１で生成されたプレスケーラカラム／ローアドレスが入力されて、ポストスケーリング割合に合った新たなカラム／ローアドレスを生成する。
【００３７】
ポストスケーラ部２５２によるイメージセンサの出力タイミングは一定していないので、出力データ同期部２５３は、ポストスケーラ部２５２のイメージデータを入力されて、イメージセンサの出力クロックとスケーリングされたイメージデータとを同期させる役割を果たす。
【００３８】
図４は、図２に示されたスケーラ部のイメージスケーリングアルゴリズムを示すフローチャートであって、これを参照してイメージスケーリング処理を説明する。
【００３９】
所望のサイズのイメージを出力するためのスケーリングファクターＳＣＡＬＥＭ、ＳＣＡＬＥＮがタイミング制御部を介して伝えられると、スケーリング割合を生成した（ステップＳ９０１）後、生成されたスケーリング割合の大きさによってプレスケーリングを行うか否かを判断する（ステップＳ９０２）。
【００４０】
プレスケーリングを行わなければならないと判断されれば、プレスケーラを用いたプレスケーリングを実施して、イメージサイズを調節する（ステップＳ９０３）。その後、ポストスケーリングの要否を判断し（ステップＳ９０４）、必要であれば、ポストスケーラによってポストスケーリング処理を実施し（ステップＳ９０５）、イメージサイズを調節し、必要でなければ、プレスケーリング処理によるイメージサイズが最終出力となるようにする。
【００４１】
これに対して、ステップＳ９０２においてプレスケーリング処理が必要でないと判断されれば、ステップＳ９０３のプレスケーリング処理はバイパスされ、ポストスケーリング処理（ステップＳ９０５）によるイメージサイズが最終出力されるイメージのサイズとなる。
【００４２】
最後に、プレスケーリング及びポストスケーリング処理によってスケーリングされたイメージデータは、イメージセンサの出力クロックと同期を合せる処理、すなわち、データタイミング同期化処理（ステップＳ９０６）を受ける。
【００４３】
図５は、図３のスケーリング割合生成部２５０の内部構成をさらに具体的に示すブロック図である。
【００４４】
図５に示すように、スケーリング割合生成部２５０は、スケーリングファクターＳＣＡＬＥＭ、ＳＣＡＬＥＮを用いて、ＳＣＡＬＥＭをＳＣＡＬＥＮで除した値、すなわち、スケーリング割合を出力する割算器２５０−１と、この割算器２５０−１から出力されたスケーリング割合を、予め設定されたスケーリング割合と比較するために、それぞれ異なる基準値（１／２〜１／８）を有する複数の比較器２５０−２Ａ〜２５０−２Ｃと、複数の比較器２５０−２Ａ〜２５０−２Ｃの出力のうち、該当するプレスケーリング割合を出力する選択器２５０−３と、１／２のスケーリング割合基準値を有する比較器２５０−２Ｃの出力（すなわち、プレスケーラ有効信号）と選択されたプレスケーリング割合とを用いてポストスケーリング割合を決めるポストスケーリング割合決定部２５０−４とを備えて構成される。
【００４５】
前述した構成を有するポストスケーラ部２５０は、スケーリング割合を１〜１／８に限定した場合であるが、スケーリング割合の範囲がこれよりもさらに大きい、若しくは小さい場合にも同様の方式で具現できる。
【００４６】
以下では、前述した構成を有するポストスケーラ部２５０の詳細動作を説明する。
【００４７】
割算器２５０−１は、スケーリングファクターＳＣＡＬＥＭ、ＳＣＡＬＥＮを入力されて、割算（ＳＣＡＬＥＭ／ＳＣＡＬＥＮ）を実施し、スケーリング割合を計算して出力する。割算器２５０−１から出力されたスケーリング割合は、１／２、１／４及び１／８の基準値を有する比較器２５０−２Ａ〜２５０−２Ｃの副入力端（−端）に入力される。
【００４８】
スケーリング割合が「１／２」よりも大きければ（スケーリング割合＞１／２）、すべての比較器２５０−２Ａ〜２５０−２Ｃの出力が「ロジックロー」となり、プレスケーラ有効信号もまた「ロジックロー」となって、プレスケーラ部２５１はオフとなる。この時、ポストスケーリング割合は、式１で計算された値と同じ値になる。
【００４９】
スケーリング割合が「１／２」以下であり、「１／４」よりも大きい場合（１／２≧スケーリング割合＞１／４）、１／２比較器２５０−２Ｃの出力だけが「ロジックハイ」となり、プレスケーリング割合は「１／２」となる。この時、ポストスケーリング割合は、式２により（ＳＣＡＬＥＭ／ＳＣＡＬＥＮ）／（１／２）となる。
【００５０】
スケーリング割合が「１／４」より以下であり、「１／８」よりも大きい場合（１／４≧スケーリング割合＞１／８）、１／２比較器２５０−２Ｃと１／４比較器２５０−２Ｂとの出力だけが「ロジックハイ」となり、プレスケーリング割合は「１／４」となる。この時、ポストスケーリング割合は、式２により（ＳＣＡＬＥＭ／ＳＣＡＬＥＮ）／（１／４）となる。
【００５１】
プレスケーラ有効信号は、スケーリング割合が「１／２」より大きい場合には、「ロジックロー」となり、スケーリング割合が「１／２」以下である場合には、例外なく「ロジックハイ」となる。
【００５２】
図６は、図３のプレスケーラ部２５１の内部構成をさらに具体的に示すブロック図である。
【００５３】
図６に示すように、プレスケーラ部２５１は、それぞれ異なる基準値「１／８」〜「１／２」を一方の入力とし、プレスケーリング割合を他方の入力とする複数のＡＮＤゲート２５１−１Ａ〜２５１−１Ｃと、複数のＡＮＤゲート２５１−１Ａ〜２５１−１Ｃの出力が入力されて、該当するアドレスシフト係数を選択するアドレスシフト係数選択部２５１−２と、アドレスシフト係数選択部２５１−２によって選択されたシフト係数を用いてタイミング制御部２１から提供されたアドレスをシフト係数だけシフトさせたプレスケーラカラム／ローアドレスを生成するプレスケーラアドレス生成部２５１−３と、プレスケーラカラム／ローアドレスを用いてオリジナルイメージデータ及び／又はラインメモリ部２４に格納されたデータをサンプリングし、プレスケーライメージデータを出力するプレスケーラデータサンプリング部２５１−４とを備えて構成される。
【００５４】
プレスケーラ部２５１は、プレスケーラ有効信号が「ロジックハイ」である場合にのみ動作し、スケーラ割合生成部２５０により決定されたプレスケーリング割合に応じて、タイミング制御部２１から提供されたカラム／ローアドレスを該当するビット数だけシフトさせる。すなわち、プレスケーリング割合が「１／２」である場合には、１ビットのシフト、「１／４」である場合には、２ビットのシフト、「１／８」である場合には、３ビットのシフトを実施することにより、プレスケーラカラム／ローアドレスを生成する。
【００５５】
一方、同じプレスケーリング割合であるとしても、プレスケーラカラム／ローアドレスは、イメージスケーリングをフルカラーデータレベルで行う時とベイヤー（bayer）データレベルで行う時とで、それぞれ異なる様に生成されなければならない。
【００５６】
プレスケーラデータサンプリング部２５１−４を通してオリジナルイメージデータの中で新たに構成されたプレスケーラアドレス位置に一致する位置のデータだけを出力することによって、プレスケーリング割合に合うイメージセンサの出力データを具現する。
【００５７】
プレスケーラ部２５１の出力データに関しては、アドレスが一致する位置で、ラインメモリ部２３からの過去のラインデータと現在入力されているデータとを用いて、様々な方法で出力データを決定することができる。
【００５８】
したがって、どのような方法により出力データを決定するかがプレスケーラの出力イメージの画質を決める。
【００５９】
図７は、図３のポストスケーラ部２５２の内部構成をさらに具体的に示すブロック図である。
【００６０】
図７に示すように、ポストスケーラ部２５２は、タイミング制御部２１から提供されるカラム／ローアドレス、プレスケーラカラム／ローアドレス、プレスケーラ有効信号及びポストスケーリング割合を入力としてポストスケーラカラム／ローアドレスを生成するポストスケーラアドレス生成部２５２−１と、プレスケーラ有効信号及びその反転信号（反転プレスケーラ有効信号）をそれぞれＰＭＯＳ及びＮＭＯＳゲート端の入力とし、プレスケーライメージデータを出力するトランスミッションゲート２５２−３Ａと、プレスケーラ有効信号及びその反転信号をそれぞれＮＭＯＳ及びＰＭＯＳゲート端の入力とし、オリジナルイメージデータを出力するトランスミッションゲート２５２−３Ｂと、ポストスケーラカラム／ローアドレスを入力されてオリジナルイメージデータまたはプレスケーライメージデータをサンプリングし、ポストスケーライメージデータを出力するポストスケーラデータサンプリング部２５２−２とを備えて構成される。
【００６１】
ポストスケーラアドレス生成部２５２−１は、式１または式２によるポストスケーリング割合と、プレスケーラ有効信号と、タイミング制御部２１で生成されたイメージセンサのサイズ全体におけるカラム／ローアドレスと、プレスケーラカラム／ローアドレスとのうち、１つを選択してポストアドレスカラム／ローアドレスを出力する。この時、プレスケーラ部２５１と同様に、ポストスケーラカラム／ローアドレスは、イメージスケーリングを、フルカラーデータレベルで行う場合と、ベイヤーデータレベルで行う場合とによって、それぞれ異なるように構成される。
【００６２】
ポストスケーラデータサンプリング部２５２−２もまた、プレスケーラデータサンプリング部２５１−４のように、プレスケーラ有効信号に応じて、オリジナルイメージデータ及びプレスケーライメージデータのうちの１つを選択し、新たに生成されたポストスケーラアドレスに一致する位置のデータを出力する。従って、データの出力方式によりポストスケーラからの出力イメージの画質が決められる。
【００６３】
図８Ａは、プレスケーリング割合が「１／４」である場合、フルカラーデータレベルでのプレスケーラ部２５１の出力を示す図であり、図８Ｂは、プレスケーリング割合が「１／４」である場合、ベイヤーデータレベルでのプレスケーラ部の出力を示す図である。
【００６４】
図８Ａと図８Ｂとにおいては、１６×１６の画素からなる画素配列部に対してプレスケーリング割合が「１／４」である場合を一例として示した。ここで、プレスケーラカラム／ローアドレスは、同じ「１／４」のプレスケーリング割合でっても、フルカラーデータレベルではカラム／ローアドレスが（１、５、９、１３）となり、ベイヤーレベルでは（１、２、９、１０）となる。
【００６５】
したがって、プレスケーラ部２５１の出力データとしては、カラム／ローアドレスに一致する位置のデータが出力される。
【００６６】
図９Ａは、ポスト１４×１４の画素からなる画素配列部に対してポストスケーラ割合が「５／７」である場合、フルカラーデータレベルでのポストスケーラ部の出力を示す図であり、図９Ｂは、ポスト１４×１４の画素からなる画素配列部に対してポストスケーラ割合が「５／７」である場合、ベイヤーデータレベルでのポストスケーラ部の出力を示す図である。
【００６７】
プレスケーラ部と同様に、ポストスケーリング割合が「５／７」と同じであるが、フルカラーデータレベルでは、カラム／ローアドレスが（１、２、３、５、６、８、９、１０、１２、１３）となり、ベイヤーデータレベルでは、（１、２、３、４、５、６、９、１０、１１、１２）となって、ポストスケーラアドレスは異なる。
【００６８】
ポストスケーリング割合は、スケーリング割合が「１／２」より大きい場合には、プレスケーラ部を経ないで、スケーリング割合が「１／２」より小さい場合には、プレスケーラ部を経て、式２により新たに決定されるため、ポストスケーリング割合は、常に１と１／２との間となる。
【００６９】
例えば、スケーリング割合が「３／７」である場合、プレスケーリング割合が「１／２」となり、ポストスケーリング割合は、式２により「６／７」となる。スケーリング割合が「６／７」である場合、式１によりポストスケーリング割合もまた「６／７」となる。
【００７０】
したがって、スケーリング割合が「３／７」である場合と「６／７」である場合とで、ポストスケーリング割合は、同じ「６／７」となる。
【００７１】
このように、本発明によるスケーリング方式は、異なるスケーリング割合に対してポストスケーリング割合を同じ値にできるので、ポストスケーラ部を同じ方式で具現でき、ハードウェアの複雑度を減少させることができる。
【００７２】
出力データ同期部２５３は、ポストスケーラ部２５２から出力されるランダムな周期のイメージスケーラ出力データを、イメージセンサの出力クロックに同期させて、一定の周期でデータを出力するＦＩＦＯ（First Input First Output）の役割をし、複数のラインメモリから構成されている。出力データ同期部２５３は、イメージセンサの出力データを一定の周期で出力するだけでなく、各ライン間の間隔を一定にする機能もある。
【００７３】
図１０は、本発明の実施の形態に係るイメージスケーリングのためのロー／カラムアドレスの生成に関するアルゴリズムを示すフローチャートであって、これを参照して、ロー／カラムアドレスの生成方法を説明する。
【００７４】
まず、イメージスケーリングの要否を判断する（ステップＳ１０１）。判断の結果、イメージスケーリングが必要でない場合には、ロー／カラムアドレスの生成が不要であるため、タイミング制御部２１から出力されるロー／カラムアドレスがそのまま出力される。
【００７５】
この場合には、イメージセンサの画素配列部２０のサイズとイメージセンサの出力イメージのサイズとは同じである。
【００７６】
スケーリングすると判断された場合、ＲＧＢ（Red、Green、Blue）のフルカラーデータレベルでスケーリングを行うＦＣＳ（Full Color Scaling）を行うか否かを判断する（ステップＳ１０２）。ＦＣＳでない場合には、ベイヤー（Bayer Mosaic Pattern）データレベルでのスケーリングであるＢＭＳ（Bayer Mosaic Scaling）を行う。
【００７７】
フルカラーデータとは異なり、ベイヤーデータでは、Ｂ／ＧｂまたはＲ／Ｇｒラインで各画素当りカラー情報が１つだけであるため、Ｂ／ＧｂまたはＲ／Ｇｒ画素のアドレスが常時、共に生成されなければならない。その後、スケーリング割合に応じてプレスケーリングを行う場合、プレスケーリングによるロー／カラムアドレスを生成して、プレスケーラ部２５１で使用され、ポストスケーリングを行う場合には、ポストスケーリングのためのロー／カラムアドレスを生成して、ポストスケーラ部２５２で使用する。
【００７８】
ステップＳ１０２でＦＣＳ、ＢＭＳの何れが実行されるかが選択されれば、ステップＳ１０３〜Ｓ１０９によって、各々に対するプレスケーリング及びポストスケーリングのためのロー／カラムアドレスを生成する。
【００７９】
本発明は、任意のスケーリングファクターであるＳＣＡＬＥＭとＳＣＡＬＥＮとが入力され、スケーリング割合生成部２５０によってスケーリング割合ＳＣＡＬＥＭ／ＳＣＡＬＥＮを決定し、タイミング制御部２１で作られたイメージセンサ全体のサイズでのカラム／ローアドレスをスケーリング割合に相応するカラム／ローアドレスとして再度決定して、新たに生成されたロー／カラムアドレスと一致する位置のデータのみを出力する。
【００８０】
スケーリング割合により、プレスケーラ部２５１とポストスケーラ部２５２とによって任意のイメージサイズに調節が可能であり、スケーリング割合の値が１／２よりも大きい場合には、プレスケーラ部２５１はオフされ、ポストスケーラ部２５２のみでイメージサイズが調節される。
【００８１】
通常、スケーリング割合が小さい場合、全体のイメージサイズを非常に小さいサイズに変換しなければならないため、画像の損失が発生することに対して、プレスケーラ部２５１は、スケーリング割合が小さい場合、画像の損失を低減するために、スケーリング割合の中間程度の大きさにイメージを調節する役割を果たす。
【００８２】
上記したように、本発明によれば、スケーリング割合によりイメージセンサの出力イメージサイズを、所望の任意の大きさに変えることによって、デジタルカメラや携帯電話などのように、イメージ映像を表示するシステムにおいて、システムの要求に合せて映像のサイズを調節可能となる。
【００８３】
このため、本発明によれば、キャプチャーイメージは、高画質、高解像度であることが要望され、映像ディスプレイ用には小さなサイズのイメージが要求されるという技術的要求を充足させることができるので、イメージセンサがキャプチャするオリジナル映像のサイズの大きさに関係なしに、出力イメージのサイズを調節するのが容易である。
【００８４】
また、本発明は、スケーリング割合の大きさによってプレスケーラとポストスケーラを別に設けているので、スケーラのハードウェアの複雑度を減少させることができることが、上記した実施の形態の説明から理解できるであろう。
【００８５】
本発明は、上記の実施の形態に限定されるものではなく、本発明に係る技術的思想から逸脱しない範囲内で様々な変更が可能であり、それらも本発明の技術的範囲に属する。
【００８６】
例えば、前述した実施の形態では、ＣＭＯＳイメージセンサをその一例としたが、それ以外にも、様々なイメージセンサに適用が可能である。
【図面の簡単な説明】
【００８７】
【図１】イメージセンサを概略的に示すブロック図である。
【図２】本発明の実施の形態に係るＣＭＯＳイメージセンサを示すブロック図である。
【図３】図２のスケーラ部の内部構成をさらに具体的に示すブロック図である。
【図４】図２に示されたスケーラ部のイメージスケーリングアルゴリズムを示すフローチャートである。
【図５】図３のスケーリング割合生成部の内部構成をさらに具体的に示すブロック図である。
【図６】図３のプレスケーラ部の内部構成をさらに具体的に示すブロック図である。
【図７】図３のポストスケーラ部の内部構成をさらに具体的に示すブロック図である。
【図８Ａ】プレスケーリング割合が「１／４」である場合、フルカラーデータレベルでのプレスケーラ部の出力とフルカラーデータ配列との関係を示す図である。
【図８Ｂ】プレスケーリング割合が「１／４」である場合、ベイヤーデータレベルでのプレスケーラ部の出力とベイヤーデータ配列との関係をを示す図である。
【図９Ａ】ポスト１４×１４画素配列部に対してポストスケーリング割合が「５／７」である場合、フルカラーデータレベルでのポストスケーラ部の出力を示す図である。
【図９Ｂ】ポスト１４×１４画素配列部に対してポストスケーリング割合が「５／７」である場合、ベイヤーデータレベルでのポストスケーラ部の出力を示す図である。
【図１０】本発明のイメージスケーリングのためのロー／カラムアドレス生成に関するアルゴリズムを示すフローチャートである。
【符号の説明】
【００８８】
２０      画素配列部
２１      タイミング制御部
２２      アナログ信号処理部
２３      ラインメモリ部
２４      画像信号処理部
２５      スケーラ部
２２１    ＣＤＳ及びアナログ増幅器部
２２２    アナログ/デジタル変換部（ＡＤＣ）
【図１】
2006238420.tif 000003
【図２】
2006238420.tif 000004
【図３】
2006238420.tif 000005
【図４】
2006238420.tif 000006
【図５】
2006238420.tif 000007
【図６】
2006238420.tif 000008
【図７】
2006238420.tif 000009
【図８Ａ】
2006238420.tif 000010
【図８Ｂ】
2006238420.tif 000011
【図９Ａ】
2006238420.tif 000012
【図９Ｂ】
2006238420.tif 000013
【図１０】
2006238420.tif 000014