(57)【要約】【課題】画像データを取得し、かつ処理する一体型イメージセンサに関する技術を提供する。【解決手段】本発明で提供する一体型イメージセンサは、光を電気信号に変換するように構成されたフォトサイトアレイと、電気信号をデジタルデータに変換するように構成されたＡ／Ｄ変換器と、イメージセンサと一体であり、デジタル画像データの空間解像度を整数または非整数スケーリング係数でスケーリングするように構成されたロジックと、を備える。本発明はさらに、画像データを取得しかつ処理する方法として概念化してもよい。本方法は、イメージセンサを介して画像を表す画像データを取得するステップと、イメージセンサを介して画像データを整数または非整数値によって空間画像解像度スケーリングするステップと、一体型イメージセンサからリサイズされた画像データを送出するステップと、を含む。【選択図】図１
2004260821.tif 000002
【特許請求の範囲】
【請求項１】
画像データを取得しかつ処理するイメージセンサであって、
光を電気信号に変換するように構成されたフォトサイトアレイと、
前記電気信号をデジタルデータに変換するように構成された変換器と、
当該イメージセンサと一体であり、前記デジタル画像データに対し空間画像解像度スケーリングを適用するように構成されたロジックと、
を有するイメージセンサ。
【請求項２】
前記ロジックはさらに、ユーザが指定した所望の解像度に従って前記デジタル画像データをスケーリングし、スケーリング済み画像データを送出するように構成される、請求項１に記載のセンサ。
【請求項３】
前記デジタル画像データを受取るように構成されたビニングロジックをさらに有し、該ビニングロジックはさらに、前記デジタル画像データの解像度を変更し、前記電気信号を表す変更済みデジタル画像データを当該イメージセンサと一体の前記ロジックに送出するように構成される、請求項２に記載のセンサ。
【請求項４】
当該イメージセンサと一体の前記ロジックはさらに、前記変更されたデジタルデータをスケーリングし、空間的にスケーリングされたデータをプロセッサに送出するように構成される、請求項３に記載のセンサ。
【請求項５】
画像データを取得しかつ処理する方法であって、
一体型イメージセンサを介して画像を表すデータを取込むステップと、
前記一体型イメージセンサを介して前記画像データをスケーリングするステップと、
前記一体型イメージセンサから空間的にスケーリングされた画像データを送出するステップと、
を有する方法。
【請求項６】
前記画像を表す前記データの解像度を変更するように前記画像データをビニングするステップをさらに有する、請求項５に記載の方法。
【請求項７】
所望の解像度を表す入力をユーザから受取るステップをさらに有する、請求項６に記載の方法。
【請求項８】
画像データを処理するシステムであって、
プロセッサと、
被写体を示す前記画像データを収集するように構成され、さらにスケーリング係数により前記画像データを空間画像解像度スケーリングし、スケーリング済み画像データを前記プロセッサに出力するように構成されたイメージセンサと、
を有するシステム。
【請求項９】
前記スケーリング済み画像データを受取り、かつ格納するように構成されたメモリ装置をさらに有する、請求項８に記載のシステム。
【請求項１０】
前記イメージセンサは、前記被写体から反射した光を電気信号に変換し、該電気信号を少なくとも１つのアナログ信号として出力するように構成されたフォトサイトアレイを有する、請求項９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、画像取得および処理に関し、特に、イメージセンサにおいて一般に画像リサイジングと呼ばれる空間画像解像度スケーリングを一体化するシステムおよび方法に関する。
【背景技術】
【０００２】
デジタルカメラは、通常は、光学レンズを通して被写体によって反射された光を電気信号に変換するイメージセンサを使用する。デジタルカメラで利用されるセンサ技術は、電荷結合素子（ＣＣＤ）かまたは相補型金属酸化膜半導体（ＣＭＯＳ）イメージセンサを使用して、光（光子）を電気信号（電子）に変換する場合がある。
【０００３】
デジタルカメラにおけるセンサ技術は、通常は、当技術分野では「フォトサイト（photosite）」と呼ぶフォトダイオードのアレイを含む。フォトサイトのアレイは、概念的には２次元アレイであり、アレイの各フォトサイトは、レンズの視野内の被写体から反射される、検出された光全体のわずかな部分を電気信号に変換する。
【０００４】
通常は、電気信号はアナログ信号であり、アナログ・デジタル（Ａ／Ｄ）変換器によってデジタルフォーマットに変換される。Ａ／Ｄ変換器をセンサに（たとえば、ＣＭＯＳイメージセンサを構成する半導体チップの一部に）配置してもよく、あるいはＡ／Ｄ変換器はセンサの出力を受取ってもよい。いずれの実施形態においても、Ａ／Ｄ変換器は、通常は、アナログ信号をデジタル信号に変換した後、そのデジタル信号をデジタルカメラ内の汎用プロセッサまたは特定用途向け集積回路（application specific integrated circuit、ＡＳＩＣ）に送出する。
【０００５】
デジタルカメラのプロセッサは、多種多様の画像処理機能を実行する。これらの動作には、一般に、自動露出、自動焦点、自動ホワイトバランス調整、輪郭強調、画像空間解像度スケーリング、圧縮と、当技術分野において既知の他の独自の画像処理操作と、がある。デジタル画像データは、完全に処理された後、通常、デジタルカメラ内に位置するメモリにデジタルフォーマットで格納される。
【０００６】
最近の技術的進歩により、デジタルカメラのためのセンサが数メガピクセルの出力を生成することができるようになった。たとえば、通常のＣＭＯＳイメージセンサまたはＣＣＤセンサは、フォトサイトの２０００×１５００アレイを使用することができ、それらは３００万のアナログ信号を出力する。フォトサイトによって検出される光を表す３００万のアナログ信号がデジタル化されると、１つの単一静止画像またはフレームの通常の表現は、およそ３００万の画像データ値を含むことになる。さらに、デジタルカメラが動きを取込むビデオモードであった場合、完全なフォトサイトアレイの集まりは、最大３０フレーム／秒で３００万ピクセルである可能性がある。フルモーションデジタルビデオの場合の一般的なフレームレートは、２４フレーム／秒と３０フレーム／秒との間の範囲である。
【０００７】
センサを、ビデオフレームレートでメガピクセルのデータを収集するように装備する場合であっても、通常、デジタルカメラのバス帯域幅とデータ処理能力とは、かかる大量のデータを操作することができない。言換えれば、かかる大量のデータ（たとえば、３０Ｈｚのレートで３００万ピクセル／フレーム）によって必要とされる計算要件は、システムの処理能力を容易に超過する。
【０００８】
イメージセンサによって生成され、したがってカメラのプロセッサによって消費される画像データの量を低減するために、センサは、当技術分野では「ピクセルビニング（pixel binning）」として知られるプロセスを実行するロジックを有する場合がある。概して、ピクセルビニングは、垂直および／または水平方向の複数の画素信号を収集して単一のより大きい電荷にすることを言い、そのより大きい電荷は、その電荷に寄与している個々のピクセルの領域を表す。これに関して、イメージセンサ、たとえばＣＣＤに光が当たると、各ピクセルに電子が蓄積する。ピクセルが蓄積することができる電子の数は、使用されるイメージセンサのタイプによって異なる、ということに留意されたい。しかしながら、例示の目的で、イメージセンサの各ピクセルが各ピクセルにおいて１００，０００個の電子を蓄積することができるものとし、これを当技術分野では一般に「井戸深さ（well depth）」と呼ぶ。その後、ピクセルのグループを、そのグループの各々のピクセルにおける蓄積された電子を合計して単一電荷、すなわち「スーパーピクセル」にすることにより、「ビニング」する。
【０００９】
たとえば、３×３のビニングは、ある範囲の９個の隣接するピクセルが１つの大きいピクセルに結合されたことを意味する。上に提示した例を使用して、各ピクセルが１００，０００個の電子を蓄積することができ、９個の隣接するピクセルの各ピクセルが８０，０００個の電子を蓄積する場合、３×３マトリクスを有する９個のピクセルのビニングからもたらされるスーパーピクセルは、７２０，０００個の電子から構成される単一「スーパーピクセル」である。
【００１０】
さらに、２０００×１５００のフォトサイトアレイを有するセンサに適用される３×３ビニングにより、６６７×５００の２次元アレイを構成するデータが収集される。したがって、各フレームに対して収集されたデータの量が、３メガピクセルからおよそ３００，０００ピクセルまで低減する。このセンサ出力データレートの低減は、センサの出力データレートをカメラのプロセッサの処理能力にもたらすように意図されている。
【００１１】
イメージセンサからの電子をビニングする「スーパーピクセル」方法は、当技術分野において既知のビニング方法の例である、ということに留意されたい。当技術分野において既知の他のビニング方法を、イメージセンサによって生成される画像データの量を低減するように実施してもよい。
【００１２】
通常、電気信号がビニングされた後、そのデータは、センサから汎用プロセッサまたはビデオ処理動作用のＡＳＩＣに送出される。
【００１３】
画像リサイジングは、概して、出力画像サイズが所望の解像度に対応するように、プロセッサまたはＡＳＩＣによって行われる。たとえば、デジタルカメラを、センサが生成することができるものより大幅に少ないピクセルであり得る、６４０×４８０ピクセルの画像を取込むように設定してもよい。ビデオ画像を取込むために一般に使用される別の解像度は、３２０×２４０ピクセルの解像度であるＱＶＧＡ（Quarter VGA）と呼ばれるものである。
【００１４】
さらに、イメージセンサによって生成されるデジタルデータを受取るプロセッサまたはＡＳＩＣは、デジタルデータによって画定される画像をよりコンパクトに格納するために所望の解像度まで低減する場合があり、もしくは格納する前にデジタルデータのいかなるリサイジングも行わない場合もある。
【発明の開示】
【発明が解決しようとする課題】
【００１５】
本発明は、被写体を表す電気信号を取得し、かつ処理する一体型イメージセンサに関する技術を提供することを目的とする。
【課題を解決するための手段】
【００１６】
概して、本発明は、被写体を表す電気信号を取得し、かつ処理する一体型イメージセンサであって、光を電気信号に変換するように構成されたフォトサイトアレイと、電気信号をデジタルデータに変換するように構成されたＡ／Ｄ変換器と、イメージセンサと一体であり、デジタル画像データの空間解像度を整数または非整数スケーリング係数（scaling factor）でスケーリングするように構成されたロジックと、を備える一体型イメージセンサ（integrated image sensor）に関する。
【００１７】
本発明はさらに、画像データを取得しかつ処理する方法として概念化してもよい。本方法は、イメージセンサを介して画像を表す画像データを取得するステップと、イメージセンサを介して画像データを整数または非整数値によって空間画像解像度スケーリングするステップと、一体型イメージセンサからリサイズされた画像データを送出するステップと、を含む。
【００１８】
以下の図面を参照して、本発明をより理解することができる。
【発明を実施するための最良の形態】
【００１９】
本発明は、概して、画像データの取得および処理のシステムおよび方法に関する。より詳細には、本発明の例示的な実施形態によるシステムは、フォトサイトアレイから収集されたデータを処理し、たとえばデジタルカメラ等の画像処理装置に存在するプロセッサまたはＡＳＩＣに送出する前に、イメージセンサにおいて整数または非整数スケーリング係数（scaling factor）によって画像データのリサイジングを行う。
【００２０】
図１は、本発明の例示的な実施形態によるイメージセンサ１０２を備えたデジタルカメラ１００を示すブロック図である。カメラ１００は、好ましくは、イメージセンサ１０２と、プロセッサ１０４と、ユーザ入力装置１１６と、表示装置１１８と、光学レンズ１２４と、を備える。デジタルカメラ１００はさらに、メモリ１２２と通信インタフェース１２６とを有してもよい。
【００２１】
図１に示すように、イメージセンサ１０２は、フォトサイトアレイ１１０と、制御ロジック１０７と、Ａ／Ｄ変換器１０８と、イメージセンサ１０２内に一体化されたロジック１１４と、を備える。さらに、イメージセンサ１０２はまた、ビニングロジック１１２を有してもよい。イメージセンサ１０２は、ＣＣＤ、ＣＭＯＳイメージセンサ、または光を受取りその受取った光をその後ロジック１１４（以下、一体型ロジック（integrated logic）１１４と呼ぶ）に送出してもよい画像データに変換することができる、他のタイプのイメージセンサであってもよい。フォトサイトアレイ１１０は、検出した光を電子に変換する素子１０９のアレイを含む。たとえば、フォトサイトアレイ１１０の素子１０９は、当技術分野ではフォトダイオードとも呼ぶ、半導体材料から作製された光電池（photovoltaic cell）であってもよい。
【００２２】
Ａ／Ｄ変換器１０８は、イメージセンサ１０２上に存在してもよい。しかしながら、図１に示すこのＡ／Ｄ変換器１０８の固有の特性は、説明するような本発明の実施形態にはそれほど重要ではない。Ａ／Ｄ変換器１０８は、代替的に、カメラ１００内に配置され、イメージセンサ１０２とは別個の独立型集積回路であってもよい。
【００２３】
例として示すように、一体型ロジック１１４を、関連する方法とともに、ＣＭＯＳイメージセンサ等のイメージセンサ１０２上のハードウェアに実装してもよい。一体型ロジック１１４を、ソフトウェアまたはハードウェアとソフトウェアとの組合せで実装してもよい、ということに留意されたい。
【００２４】
ソフトウェアに実装する場合、一体型ロジック１１４を、コンピュータベースシステム、プロセッサ内蔵システムまたは命令をフェッチし実行することができる他のシステム等、命令実行システムによるかまたはそれに関連して使用されるいかなるコンピュータ読取可能媒体に格納しそれによって移送することも可能である。本明細書の文脈では、「コンピュータ読取可能媒体」は、命令実行システムによるかまたはそれと関連して使用されるプログラムを、内蔵し、格納し、通信し、伝播し、または移送することができるいかなる手段であってもよい。コンピュータ読取可能媒体は、限定されないがたとえば、電子、磁気、光、電磁気、赤外線または半導体のシステムまたは伝播媒体であってもよい。コンピュータ読取可能媒体は、プログラムが印刷される用紙または別の適当な媒体であってもよい、ということに留意されたい。それは、プログラムを、たとえば用紙や他の媒体の光学走査によって電子的に取込み、その後コンパイルし、解釈し（interpreted）、または必要な場合に他の適当な方法で処理し、その後メモリに格納することができるためである。例として、一体型ロジック１１４を、従来のポータブルコンピュータディスケットまたは書込み可能ＣＤ−ＲＯＭに磁気的に格納しそれによって移送してもよい。
【００２５】
図１に示すデジタルカメラ１００の例示的な実施形態はさらに、１つまたは複数のバスを含むことができるローカルインタフェース１０６を介してデジタルカメラ１００の他の要素と通信しそれらを駆動する、たとえばデジタル信号プロセッサ（ＤＳＰ）または中央処理装置（ＣＰＵ）等の少なくとも１つのプロセッサ１０４を備える。
【００２６】
図１のカメラ１００の実施形態は、レンズ１２４の視野内にある被写体（図示せず）からレンズ１２４を通して入射光を受取る。レンズ１２４を、好ましくは、センサ１０２上に反射光を集束するように構成する。これに関して、レンズ１２４によりセンサ１０２上に集束される光は、フォトサイトアレイ１１０を構成する個々のフォトサイト素子１０９を活性化する。
【００２７】
そして、イメージセンサ１０２の制御ロジック１０７は、活性化されたフォトサイト素子１０９に関連する出力からもたらされる、フォトサイトアレイ１１０からの画像データを構成する信号を収集してもよい。フォトサイトアレイ１１０から収集することができる画像データの量は、フォトサイトアレイ１１０内に含まれるフォトサイト素子１０９の数に関連する。たとえば、３メガピクセルセンサは、フォトサイトアレイ１１０内に少なくとも３００万のフォトサイト素子１０９を含む。このため、３メガピクセルセンサは、反射光が検出された被写体を表すおよそ３００万の電気信号を出力する。
【００２８】
制御ロジック１０７によりフォトサイトアレイ１１０の個々のフォトサイト素子１０９から電気信号を収集する方法は、カメラ１００に実装されるイメージセンサ１０２のタイプによって決まる。たとえば、ＣＣＤが使用される場合、各フォトサイトにおける電荷を、フォトサイトアレイ１１０の一角で収集してもよい。一方、ＣＭＯＳイメージセンサは、各フォトサイト素子１０９においてトランジスタを使用して電荷を増幅し、その後その電荷を従来の金属導体を介して伝達する。
【００２９】
制御ロジック１０７を、フォトサイトアレイ１１０全体を構成するフォトサイト素子１０９の出力の各々から電荷出力を示すデータを収集するように構成してもよい。電気信号を示すデータを、以下、「画像データ」と呼ぶ。しかしながら、制御ロジック１０７を、画像データを取得する場合に収集される出力の数を変化させるように構成してもよい。たとえば、デジタルカメラを、ユーザがカメラの視野内の被写体に対してズームインすることができるように構成してもよい。本明細書で論考するように、カメラは、より少ない数のフォトサイト素子値を収集し、その後、所望の解像度、たとえば６４０×４８０を有する画像データを達成するために空間画像解像度スケーリングを実行することにより、デジタルズームを実行してもよい。したがって、センサの制御ロジックを、カメラ１００のプロセッサ１０４から、画像をリサイズするために使用されるデジタルズーム係数（digital zoom factor）を表す値を示す信号を受取るように構成してもよい。
【００３０】
レンズ１２４が光を受取り、フォトサイトアレイ１１０が光を電気信号に変換し、制御ロジック１０７が画像データを収集した後に、Ａ／Ｄ変換器１０８を使用して制御ロジック１０７によって収集された画像データをデジタル画像データに変換してもよい。
【００３１】
そして、イメージセンサ１０２のビニングロジック１１２は、Ａ／Ｄ変換器１０８から出力されるデジタル画像データに対してピクセルビニングを実行してもよい。図１は、フォトサイトアレイ１１０のフォトサイト素子１０９を使用して逐次光を検出し、Ａ／Ｄ変換器１０８を使用して出力をデジタル化し、その後ビニングロジック１１２によりデータをビニングする、カメラ１００を示すことに留意されたい。当業者は、必ずしもピクセルビニングの前にアナログデータをデジタル形式に変換する必要はないことを認めるであろう。しかしながら、図１の実施形態を説明する際に、例示の目的で、Ａ／Ｄ変換がビニングロジック１１２によるビニングの前に行われるものとする。
【００３２】
フォトサイトアレイ１１０が、ｘ個のフォトサイト１０９（「ｘ」は正の整数を表す）から構成される場合、ビニングロジック１１２は、Ａ／Ｄ変換器１０８から、被写体を表すｘ個のピクセル値を含むデジタル画像データを受取る。そして、ビニングロジック１１２を、受取ったピクセル値に対して適当なビニングマトリクスを適用することにより、より効率的な処理のためにデジタル画像データの量を低減するように構成してもよい。たとえば、３００万ピクセル値の場合、ビニングロジック１１２は、整数スケーリングを実行することができ、それにより６６７×５００の出力ピクセルマトリクスがもたらされる。この点については、３×３ビニングマトリクスが、９個のピクセル値を「スーパーピクセル」値に変換する。スーパーピクセル値は、３×３重み付きマトリクスが適用される表現する単一の値である。ビニングロジック１１２は、整数リサイジングを使用して、処理するデータ量と、カメラプロセッサ１０４に送出するピクセルデータの量を低減するように作用する、ということに留意されたい。
【００３３】
非整数値により空間的にスケーリングされる画像データを取得するビニングロジック１１２を使用することは、本発明の一実施形態を表すことに留意されたい。本発明の他の実施形態において、一体型ロジック１１４にデータを提供する他の装置および方法を実現してもよい。例として、別の実施形態からビニングロジック１１２を除去してもよく、一体型ロジック１１４が、Ａ／Ｄ変換器１０８から直接受取った画像データに対して空間画像解像度スケーリングを実行してもよい。かかる実施形態を、表２を参照してより詳細に説明する。
【００３４】
デジタル画像データは、一体型ロジック１１４に送出される。このデジタル画像データは、制御ロジック１０７によりフォトサイトアレイ１１０から収集される数に関連する、低減された数の値から構成されてもよい。一体型ロジック１１４を、その後指定された解像度にしたがってプロセッサ１０４に対しリサイズ済み画像を出力するために、デジタル画像データに対して非整数スケーリングを実行するように構成する。
【００３５】
解像度はアプリケーション固有であってもよく、あるいはカメラ１００のユーザがユーザ入力装置１１６を介して所望の解像度を選択してもよい。たとえば、ユーザは、６４０×４８０の解像度であり、ビデオまたは映画画像を取得する場合に使用される場合がある、ＶＧＡ解像度を選択してもよい。さらに、ユーザ入力装置１１６を、たとえば３２０×２４０であるＱＶＧＡかまたは８００×６００の解像度であるＳＶＧＡ（Super VGA）等、他のあらゆるオプションをユーザに提供するように構成してもよい。
【００３６】
ここで、ビニングロジック１１２から受取ったビニング済みデジタル画像データの空間解像度スケーリングにおいて一体型ロジック１１４が使用するプロセスを、図２乃至図６と下の表１を参照して論考する。
【００３７】
【表１】
2004260821.tif 000003
【００３８】
表１は、本発明のカメラ１００によるズームを実行している場合のカメラ１００による画像データの例示的なデータ収集およびデータ処理を示す作表データである。たとえば、カメラ１００のユーザは、ユーザ入力装置１１６のズーム入力１１９を選択することにより、画像（図示せず）に対してズームを起動するように選択する場合がある。カメラ１００を、光学ズーム、デジタルズームまたは両方を実行するように構成してもよい。これに関して、プロセッサ１０４を、プロセッサ１０４がズームユーザ入力１１９から確定する所望のデジタルズーム係数を示す信号を、イメージセンサ１０２上の制御ロジック１０７に対し、ローカルバス１０６を介して送出するように構成してもよい。代替的に、プロセッサ１０４は、レンズ１２４の視野内の画像を拡大するために、光学系の焦点距離を増大または低減する信号を光学系コントローラ１０５に送出してもよい。光学ズームの場合、光学系コントローラ１０５がレンズ１２４の焦点距離を増大させる際にレンズ１２４が受取る光を、フォトサイトアレイ１１０全体に亙って拡散させ、画像データを収集する際にアレイ１１０におけるピクセルのすべてを使用する、ということに留意されたい。
【００３９】
しかしながら、デジタルズームを実行する場合、制御ロジック１０７は、フォトサイトアレイ１１０のフォトサイト素子１０９のすべてから画像データを収集しなくてもよい。制御ロジック１０７が画像データを収集するフォトサイト素子１０９の数は、デジタルズーム係数に関連し、それは、ユーザがズームを始動した場合に、制御ロジック１０７がプロセッサ１０４から受取ってもよい。そして、カメラ１００は、フォトサイトアレイ１１０のフォトサイト素子１０９から制御ロジック１０７によって収集される画像データを操作することにより、ベースアレイサイズ、たとえば２０００×１５００のベースアレイサイズまで画像データの解像度を増大させてもよい。このため、ユーザがレンズ１２４の視野内の被写体に対するズームを実行する際、プロセッサ１０４は、ユーザ入力に関連するデジタルズーム係数を計算し、デジタルズーム係数を示す信号をイメージセンサ１０２に送出してもよい。そして、制御ロジック１０７は、デジタルズーム係数を使用して、画像データを取得するフォトサイト素子１０９の数を計算してもよい。
【００４０】
表１は、フォトサイトアレイ１１０に２０００×１５００のフォトサイト素子１０９を備えるイメージセンサ１０２に対するデータを示す、ということに留意されたい。プロセッサ１０４がデジタルズーム係数の変化を示すと、制御ロジック１０７は、デジタルズーム係数に対応するフォトサイト素子１０９の数を収集する。その数は、デジタルズーム係数が増大するにしたがい低減する、使用されるセンサ幅およびセンサ高さによって示される。さらに、表１の例示的なデータは、「デジタルズーム係数」列の最終行に示すように、５０倍ズームデジタルカメラ１００に対して収集されたデータを示す、ということも留意されたい。
【００４１】
表１に示すように、デジタルカメラ１００は、デジタルズームを実行する際、フォトサイトアレイ１１０のより小さい部分を収集し、その後同じベースアレイサイズを有する画像を取得するようにデータをリサイズする。簡潔にするために、本明細書で論考する例は、デジタルズーム機能のみを論考する。
【００４２】
ユーザまたは他のものによってズームが開始されなかった場合、制御ロジック１０７は、フォトサイトアレイ１１０内の各フォトサイト素子１０９からデータを収集する。表１に提供する例では、制御ロジック１０７により、「幅方向に収集された電荷」列の行１に示すように、画像の幅を示す２０００の画像データ値と、「高さ方向に収集された電荷」列の行１に示すように、画像の高さを示す１５００の画像データ値と、が収集される。そして、ビニングロジック１１２が、「ビニングモード」列の行１に示すように、３×３マトリクスを使用して収集されたピクセルデータに対するビニングを実行する。したがって、ビニングロジック１１２は、各「ビニング後の画像データの幅」列と「ビニング後の画像データの高さ」列とに示すように、６６７×５００ピクセルデータからなるビニング済み画像を計算する。
【００４３】
ユーザがデジタルズームを始動した場合、制御ロジック１０７は、プロセッサ１０４から受取ったデジタルズーム係数を使用して確定する、データを収集するフォトサイト素子１０９の数を低減する。使用されるフォトサイトの低減する数を、「幅方向に収集された電荷」列と「高さ方向に収集された電荷」列とを下って読むことによって示す、ということに留意されたい。これに関して、制御ロジック１０７は、プロセッサ１０４からデジタルズーム係数Ｄｆを受取る。そして、制御ロジック１０７は、以下の式を使用して素子の数を計算することにより、フォトサイトアレイ１１０の幅からデータを収集するフォトサイト素子１０９の数を確定する。すなわち、
Ｅｗ＝Ｔｗ／Ｄｆ
であり、ここで、Ｅｗはデータを収集する幅方向の素子の総数であり、Ｄｆはプロセッサ１０４から受取ったデジタルズーム係数であり、Ｔｗはフォトサイトアレイ１１０のフォトサイト１０９の総数である。
【００４４】
そして、制御ロジック１０７は、以下の式を使用して素子の数を計算することにより、フォトサイトアレイ１１０の高さからデータを収集するフォトサイト素子１０９の数を確定する。すなわち、
Ｅｈ＝Ｔｈ／Ｄｆ
であり、ここで、Ｅｈはデータを収集する高さ方向の素子の総数であり、Ｄｆはプロセッサ１０４から受取ったデジタルズーム係数であり、Ｔｈはフォトサイトアレイ１１０のフォトサイト１０９の総数である。
【００４５】
したがって、たとえば、表１の行２を参照すると、ユーザが１．０４１７のデジタルズーム係数を有するズームを始動する場合、プロセッサ１０４は制御ロジック１０７に対し、１．０４１７のデジタルズーム係数を示す信号を送出する。そして、制御ロジック１０７は、フォトサイトアレイ幅から電荷を収集するフォトサイト素子１０９の数を計算する。すなわち、
Ｅｗ＝２０００／１．０４１７＝１９２０フォトサイト素子である。
さらに、制御ロジック１０７は、フォトサイトアレイ高さから電荷を収集するフォトサイト素子１０９の数を計算する。すなわち、
Ｅｈ＝１５００／１．０４１７＝１４４０フォトサイト素子である。
【００４６】
制御ロジック１０７がフォトサイト素子１０９における電荷を示す画像データを収集すると、Ａ／Ｄ変換器が画像データをデジタル画像に変換する。そして、ビニングロジック１１２が、ロジック１１４が処理するためにそれより少ない量のデータを取得するために、デジタル画像データに対して整数リサイジングを実行してもよい。ビニングロジック１１２は、ビニングを実行する場合、デジタル化データに対してビニングマトリクスを適用する。デジタル化データに対して適用されるビニングマトリクスは、指定された解像度に近似する値までデジタル化データの量を低減するマトリクスサイズである。たとえば、６４０×４８０の解像度が指定された場合、ビニングロジック１１２は、提供する例では１９２０×１４４０であるデジタル化データに３×３マトリクスを適用する。したがって、ビニングロジック１１２は、６４０×４８０の解像度を有する画像を計算する。
【００４７】
ビニングロジック１１２が整数リサイジングを実行した後、一体型ロジック１１４は、プロセッサ１０４に送出される画像が所望の解像度を有するように、非整数リサイジングを実行する。表１は、一般的なビデオ解像度である６４０×４８０の所望の解像度を示すデータを表す。
【００４８】
一体型ロジック１１４は、ビニング済みデジタル画像データに適用される場合に、ビニング済みデジタル画像データを指定された解像度を有する画像に変換する値を示すスケーリング係数を計算する。たとえば、表１の行３を参照すると、１．０８７０のデジタルズーム係数を示す信号を、制御ロジック１０７がプロセッサ１０４から受取る。したがって、制御ロジック１０７は、フォトサイトアレイ１１０の幅からの１８４０のフォトサイト素子１０９とフォトサイトアレイ１１０の高さからの１３８０のフォトサイト素子１０９とから、画像データを収集する。
【００４９】
ビニングロジック１１２は、収集された電気信号を示す１８４０×１３８０の値をビニングし、９２０の幅と６９０の高さとを有する画像データを計算する。そして、一体型ロジック１１４は、ビニング済みデータに適用される場合に６４０×４８０の解像度をもたらす値を確定することにより、スケーリング係数を計算する。したがって、一体型ロジック１１４は、スケーリング係数
Ｓｆ＝Ｒｄ／Ｎｐ
を計算する。ここで、Ｓｆはスケーリング係数であり、Ｒｄは所望の解像度であり、Ｎｐは高さまたは幅方向のピクセル値の数である。したがって、デジタルズーム係数が１．０８７０である例では、一体型ロジック１１４はスケーリング係数
Ｓｆ＝６４０／９２０＝．６９５７または
Ｓｆ＝４８０／６９０＝．６９５７
を計算する。そして、一体型ロジック１１４は、画像リサイジング方法と結合される所望のスケーリング係数を使用してリサイズ済み画像を計算する。当技術分野では多種多様の画像リサイジング技術が既知であり、多数の刊行物において説明されている、ということに留意されたい。
【００５０】
例として、一体型ロジック１１４は、参照により本明細書に援用されるGeorge Wolbertによる「Digital Image Warping」（July 1990）において説明されている最近傍（nearest neighbor）、双一次（bilinear）または双三次（bicubic）に基づくリサイジング技術を使用して画像をリサイズしてもよい。さらに、一体型ロジック１１４は、参照により本明細書に援用される、J. G. ProakisおよびD. G. Manolakisによる「Digital Signal Processing」（1996）において説明されている非整数画像リサイジングのための効率的な多相フィルタリング技術を使用してもよい。ここでまた、カメラのプロセッサにおいてセンサ画像をリサイズする必要なしに所望の解像度のセンサ出力画像を生成するために、一体型ロジック１１４によるリサイジングを実行する。概して、一体型ロジック１１４は、何らかの整数または非整数ファクタにより画像データをリサイズすることにより、画像の所望の解像度の６４０×４８０データポイントにおいて画像データを形成する。
【００５１】
図２は、本発明の一体型ロジック１１４を用いて実施されるセンサ１０２の表現を示す。レンズ１２４は、たとえば木２００等の被写体から反射される入射光を受取る。レンズ１２４は、反射光を、フォトサイトアレイ１１０を有するセンサ１０２に向ける。一体型ロジック１１４を用いて実施されるセンサ１０２は、図２の例において６４０×４８０の解像度を有する画像である、所望の解像度を有する画像２０１を送出する。
【００５２】
図３は、本発明の例示的なセンサ１０２によって実行される画像取込と画像処理とを示す。本実施例では、フォトサイトアレイ１１０は、格子状の正方形で表される３００万のフォトサイト素子１０９を有する。フォトサイト素子１０９は、木２００から反射された光を受取り、その光を木２００を示す画像データに変換する。簡略化のために、図３に示すフォトサイトアレイ１１０には、３００万のフォトサイトは示していないが、アレイ内の１つのブロックは、フォトサイトアレイ１１０のおよそ１０００のフォトサイト素子１０９を表す。ズームが始動されなかった場合、制御ロジック１０７（図１）は、提供する実施例では幅方向に２０００の素子と高さ方向に１５００の素子とを含むフォトサイトアレイ１１０の各素子１０９から、データを収集する。データが収集される素子の数を、太線ブロック２０８によって示す。そして、フォトサイト素子１０９から制御ロジック１０７によって収集された信号をビニングロジック１１２に送出し、ビニングロジック１１２は、アレイ１１０の各素子１０９に対して収集された電気信号を示す３００万の値に対し３×３ビニングを適用する。このため、ビニングロジック１１２は、６６７×５００の解像度を有する画像２１０を示す画像データを出力する。そして、ビニングロジック１１２は、画像データを一体型ロジック１１４に送出する。一体型ロジック１１４は、６４０×４８０画像２１２を取得するために、イメージセンサ１０２に存在するロジックにより．９６のスケーリング係数を使用してデータを補間する。そして、センサ１０２は、カメラ１００のプロセッサ１０４に画像データを送出する。
【００５３】
図４は、ユーザが１．０４１７のデジタルズーム係数を有するズームを始動した場合に、本発明の例示的なセンサ１０２によって実行される画像取込と画像処理とを示す。制御ロジック１０７は、プロセッサ１０４からデジタルズーム係数を受取り、受取ったデジタルズーム係数に従って幅方向および高さ方向に収集される信号の数を計算する。したがって、制御ロジック１０７は、太線ボックス２０８によって示すように、幅方向に１９２０のフォトサイト素子、および高さ方向に１４４０のフォトサイト素子から電気信号を収集する。図示するように、ここで、センサ１０２のフォトサイトアレイ１１０のより小さい部分をカバーするように、電気信号が収集される素子１０９の数を表す太線ブロック２０８のサイズを低減する。ここでまた、このピクセルデータをビニングロジック１１２に送出し、ビニングロジック１１２は、６４０×４８０の解像度を有する出力画像２１４を取得するためにピクセルデータに３×３ビニングを適用する。提示する実施例では、所望の解像度は６４０×４８０である。したがって、一体型ロジック１１４は、データに対して１．００００のスケーリング係数を適用するが、それは画像に対していかなる影響も与えない。図示するように、一体型ロジック１１４は、６４０×４８０の解像度を有する画像２１４をプロセッサ１０４に出力する。
【００５４】
図５は、制御ロジック１０７が１．０８７０のデジタルズーム係数を受取る場合の画像取込と画像処理とを表す。太線ブロック２０８は、ここでは１８４０×１３８０まで低減されている。ビニングロジック１１２が、木２００の画像を表すピクセルデータに対し２×２ビニングを実行する。
【００５５】
デジタル化データをビニングすることが、望ましくない場合があるということに留意されたい。その場合とは、ビニングによって画像が所望の解像度未満の解像度を有する結果となる場合である。たとえば、１８４０×１３８０の値に対して３×３ビニングマトリクスを適用した場合、６１３×４６０の解像度を有する画像がもたらされる。このとき、一体型ロジック１１４が指定された解像度、例えば６４０×４８０を達成するように、一体型ロジックは、ビニングロジック１１２が先に除去したデータを生成するように構成されてもよい。したがって、ビニングロジック１１２によって使用されるビニングマトリクスのサイズは、ビニングするために受取った画像データのサイズによって確定される。
【００５６】
図６は、１．１３６４のデジタルズーム係数により本発明のセンサ１０２を使用する画像取込と画像処理とを示す。制御ロジック１０７は、太線ブロック２０８によって示す、フォトサイトアレイ１１０の幅の１７６０の素子１０９から１７６０の電気信号を収集し、フォトサイトアレイ１１０の高さの１３２０の素子１０９から１３２０の電気信号を収集する。そして、ビニングロジック１１２は、１７６０×１３２０画像データ値に対して２×２ビニングを適用することにより、８８０×６６０の解像度を有する出力画像２２２を取得する。そして、一体型ロジック１１４は、プロセッサ１０４に６４０×４８０の画像２２４を出力するために、選択されたタイプの補間を使用して、．７２７３のスケーリング係数を適用する。
【００５７】
本明細書に示すように、本発明の別の例示的な実施形態を、ビニングロジック１１２を使用せずに実施してもよい。かかる実施形態において、Ａ／Ｄ変換器１０８から受取られた画像データの空間解像度スケーリングにおいて一体型ロジック１１４によって使用されるプロセスを、図７〜図１０と下の表２とを参照して考察する。
【００５８】
【表２】
2004260821.tif 000004
【００５９】
表２は、本発明のカメラ１００による、イメージセンサ１０２から収集された画像データに対してズームを実行しており、制御ロジック１０７が一体型ロジック１１４にデータを送出する前にビニングが実行されない場合の、画像データの例示的なデータ収集とデータ処理とを示す作表データである。
【００６０】
本明細書において表１に関して説明したように、表２は、フォトサイトアレイ１１０に２０００×１５００のフォトサイト素子１０９を備える、イメージセンサ１０２に対するデータを示す。プロセッサ１０４がデジタルズーム係数の変化を示すと、制御ロジック１０７は、デジタルズーム係数に対応するフォトサイト素子１０９の数を収集する。この数は、デジタルズーム係数が増大するにしたがって低減する、使用されるセンサ幅とセンサ高さとによって示される。さらに、表２の例示的なデータは、「デジタルズーム係数」列の最終行に示すように、５０倍ズームデジタルカメラ１００に対して収集されたデータを示す、ということに留意されたい。
【００６１】
ユーザまたは他のものがズームを始動しなかった場合、制御ロジック１０７は、フォトサイトアレイ１１０内の各フォトサイト素子１０９からデータを収集する。表２に提示する実施例では、制御ロジック１０７によって、「幅方向に収集された信号」列の行１に示すように、画像の幅を示す２０００の画像データ値と、「高さ方向に収集された信号」列の行１に示すように、画像の高さを示す１５００の画像データ値と、が収集される。
【００６２】
そして、一体型ロジック１１４は、イメージセンサ１０２から取得された画像データに適用された場合に、データを所望の解像度を有する画像に変換する値を示すスケーリング係数を計算する。したがって、一体型ロジックは、スケーリング係数
Ｓｆ＝Ｒｄ／Ｎｐ
を計算する。ここで、Ｓｆはスケーリング係数であり、Ｒｄは所望の解像度であり、Ｎｐは幅方向または高さ方向のピクセル値の数である。したがって、表２の行１を参照すると、制御ロジック１０７は、フォトサイトアレイ１１０から２０００×１５００のピクセル値を取得する。そして、一体型ロジックは、２０００×１５００のピクセル値に適用された場合に、６４０×４８０の画像をもたらすスケーリング係数を計算する。したがって、一体型ロジック１１４は、
Ｓｆ＝６４０／２０００＝．３２または
Ｓｆ＝４８０／１５００＝．３２
を計算する。そして、一体型ロジック１１４は、本明細書で説明する画像リサイジング方法に結合された所望のスケーリング係数を使用してリサイズ済み画像を計算する。
【００６３】
図７は、イメージセンサ１０２から取得されるデータに対し空間画像解像度スケーリングを実行する本発明の例示的なセンサ１０２によって実行される、画像取込と画像処理とを示す。本実施例では、フォトサイトアレイ１１０は、格子状の正方形で表す３００万のフォトサイト素子１０９を含む。フォトサイト素子１０９は、木２００から反射した光を受取り、その光を、木２００を示す画像データに変換する。簡略化のために、図３に示すフォトサイトアレイ１１０には３００万のフォトサイトを示していないが、アレイ内の１つのブロックがフォトサイトアレイ１１０のおよそ１０００のフォトサイト素子１０９を表す。ズームが始動されなかった場合、制御ロジック１０７（図１）は、提示する実施例では、幅方向に２０００の素子と高さ方向に１５００の素子とを含む、フォトサイトアレイ１１０の各素子１０９からデータを収集する。データが収集される素子の数を、太線ブロック２０８によって示す。そして、フォトサイト素子１０９から制御ロジック１０７によって収集される信号を、一体型ロジック１１４に送出する。一体型ロジック１１４は、６４０×４８０の画像７１２を取得するために．３２のスケーリング係数を使用して、イメージセンサ１０２に存在するロジックによりデータを補間する。そして、センサ１０２は、カメラ１００のプロセッサ１０４に画像データを送出する。
【００６４】
図８は、ユーザが１．０４１７のデジタルズーム係数を有するズームを始動した場合に、本発明の例示的なセンサ１０２によって実行される画像取込と画像処理とを示す。制御ロジック１０７は、プロセッサ１０４からデジタルズーム係数を受取り、受取ったデジタルズーム係数に従って幅方向および高さ方向に収集される信号の数を計算する。したがって、制御ロジック１０７は、太線ボックス２０８によって示すように、幅方向に１９２０のフォトサイト素子および高さ方向に１４４０のフォトサイト素子から電気信号を収集する。図示するように、ここでは、電気信号が収集される素子１０９の数を表す太線ブロック２０８のサイズを、センサ１０２のフォトサイトアレイ１１０のより小さい部分をカバーするように低減する。ここでまた、このピクセルデータを一体型ロジック１１４に送出し、ロジック１１４は、６４０×４８０の解像度を有する画像７１６を出力するためにデータに対し．３３３４のスケーリング係数を適用する。
【００６５】
図９は、制御ロジック１０７が１．０８７０のデジタルズーム係数を受取る場合の画像取込と画像処理とを表す。ここでは、太線ブロック２０８を１８４０×１３８０まで低減している。制御ロジック１０７は、太線ブロック２０８に示す、フォトサイトアレイ１１０の幅の１８４０の素子１０９およびフォトサイトアレイ１１０の高さの１３８０の素子１０９から、１８４０の電気信号を収集する。そして、一体型ロジック１１４は、プロセッサ１０４に対し６４０×４８０の画像７２０を出力するために、選択されたタイプの補間を使用して．３４７８のスケーリング係数を適用する。
【００６６】
図１０は、１．１３６４のデジタルズーム係数を有する本発明のセンサ１０２を使用する画像取込と画像処理とを示す。制御ロジック１０７は、太線ブロック２０８に示す、フォトサイトアレイ１１０の幅の１７６０の素子１０９およびフォトサイトアレイ１１０の高さの１３２０の素子１０９から、１７６０の電気信号を収集する。そして、一体型ロジック１１４は、プロセッサ１０４に対し６４０×４８０の画像７２４を出力するために、選択されたタイプの補間を使用して．３６３６のスケーリング係数を適用する。
【００６７】
ここで、図１１を参照して、一体型ロジック１１４の動作および機能の例示的なアーキテクチャを説明する。一体型ロジック１１４は、ステップ３０２に示すようにデジタル画像データを受取る。この画像データは、レンズ１２４によって受取られた入射光を反射した被写体のグラフィカル表現である。画像を、Ａ／Ｄ変換器１０８から受取ってもビニングロジック１１２から受取ってもよく、後者は、ピクセルデータに対する整数リサイジングをその一体型ロジック１１４への送出前に最初に適用してもよい。
【００６８】
一体型ロジック１１４は、上述した画像データを受取ると、ステップ３０４に示すように、受取った画像データの現解像度を確定する。画像データの解像度は、制御ロジック１０７がデータを収集したフォトサイト素子１０９の数を示してもよい。たとえば、ズームが始動されなかった場合、制御ロジック１０７は、フォトサイトアレイ１１０の幅方向から２０００の画像データ値を収集し、フォトサイトアレイ１１０の高さ方向から１５００の画像データ値を収集してもよい。さらに、ビニングロジック１１２がデジタル画像データに対しビニングを実行する場合、現解像度が影響を受けてもよい。たとえば、制御ロジック１０７によって収集された２０００×１５００画像データに対しビニングが適用される場合、現解像度は６６７×５００であってもよい。
【００６９】
そして、一体型ロジック１１４は、ステップ３０６に示すように、プロセッサ１０４に送出される出力画像の所望の解像度を確定する。これは、自動化された値であってもよく、たとえば、ユーザが解像度入力１２３を介して６４０×４８０の解像度を入力するように選択してもよい。そして、プロセッサ１０４は、ユーザが選択した解像度を示す信号をロジック１１４に送出してもよい。
【００７０】
そして、ステップ３０７において、一体型ロジック１１４は、ステップ３０６で確定した所望の解像度を取得するために使用されるスケーリング係数を確定する。一体型ロジック１１４は、センサ１０２のフォトサイトアレイ１１０から収集された画像データの解像度を、所望の解像度を有する画像に変換するために使用してもよい値を計算することにより、スケーリング係数を確定する。たとえば、フォトサイトアレイ１１０から収集されビニングロジック１１２によってビニングされた画像データが６６７×５００である場合、所望の解像度６４０×４８０を収集された画像データ値の数、すなわち６６７×５００によって除算することにより、スケーリング係数を確定する。これにより、たとえば、スケーリング係数は．９６となる。本発明の他の実施形態は、スケーリング係数を確定する前にビニング技術を使用しなくてもよい。たとえば、一体型ロジックは、フォトサイトアレイ１１０から取得された２０００×１５００のピクセルデータから、６４０×４８０の画像解像度をもたらすスケーリング係数を計算してもよく、それによりスケーリング係数は．３２となる。
【００７１】
そして、一体型ロジック１１４は、ステップ３０８に示すように、本実施例では６６７×５００のデータ値からなるビニングデータである収集された画像データに対して、補間を適用することにより、所望の解像度、たとえば６４０×４８０の解像度を有する画像を計算する。データに適用される補間は、本明細書で説明したように、最近傍補間（nearest neighbor interpolation）、双一次（bilinear）補間、双三次（bicubic）補間、多相フィルタリング技術または当技術分野において既知の他の任意のタイプの画像データリサイジング技術を含むことができる。
【００７２】
最後に、一体型ロジック１１４は、ステップ３１０に示すように、６４０×４８０の解像度を有する画像を表す補間済み画像データを、カメラ１００のプロセッサ１０４に送出する。
【００７３】
そして、プロセッサ１０４は、メモリ１２２にピクセルデータを格納する前に、データに対して他の画像処理操作、たとえばデータ圧縮を実行する。プロセッサ１０４はまた、表示装置１１８にピクセルデータを表示してもよい。カメラ１００のユーザはさらに、カメラ１００によって取込まれた被写体のピクセルデータ表現を、通信インタフェース１２６を介してメモリ１２２から別の装置、たとえばパーソナルコンピュータ（図示せず）にダウンロードしてもよい。
【図面の簡単な説明】
【００７４】
【図１】本発明によるデジタルカメラの例示的な実施形態を示すブロック図である。
【図２】図１に示すデジタルカメラの例示的なセンサの機能を示す絵画図である。
【図３】図１に示すデジタルカメラの例示的なセンサの２０００×１５００のフォトサイト素子の電気信号の例示的な収集およびビニングを示す絵画図である。
【図４】図１に示すデジタルカメラの例示的なセンサの１９２０×１４４０のフォトサイト素子の電気信号の例示的な収集およびビニングを示す絵画図である。
【図５】図１に示すデジタルカメラの例示的なセンサの１８４０×１３８０のフォトサイト素子の電気信号の例示的な収集およびビニングを示す絵画図である。
【図６】図１に示すデジタルカメラの例示的なセンサの１７６０×１３２０のフォトサイト素子の電気信号の例示的な収集およびビニングを示す絵画図である。
【図７】図１に示すデジタルカメラの例示的なセンサの２０００×１５００のフォトサイト素子の電気信号の例示的な収集を示す絵画図である。
【図８】図１に示すデジタルカメラの例示的なセンサの１９２０×１４４０のフォトサイト素子の電気信号の例示的な収集を示す絵画図である。
【図９】図１に示すデジタルカメラの例示的なセンサの１８４０×１３８０のフォトサイト素子の電気信号の例示的な収集を示す絵画図である。
【図１０】図１に示すデジタルカメラの例示的なセンサの１７６０×１３２０のフォトサイト素子の電気信号の例示的な収集を示す絵画図である。
【図１１】図１に示す一体型ロジックの例示的なアーキテクチャおよび機能の実施形態を示すフローチャートである。
【符号の説明】
【００７５】
１００  画像データ処理システム
１０２  一体型イメージセンサ
１０４  プロセッサ
１０８  変換器
１１０  フォトサイトアレイ
１１２  ビニングロジック
１１４  ロジック
１２２  メモリ
【図１】
2004260821.tif 000005
【図２】
2004260821.tif 000006
【図３】
2004260821.tif 000007
【図４】
2004260821.tif 000008
【図５】
2004260821.tif 000009
【図６】
2004260821.tif 000010
【図７】
2004260821.tif 000011
【図８】
2004260821.tif 000012
【図９】
2004260821.tif 000013
【図１０】
2004260821.tif 000014
【図１１】
2004260821.tif 000015