(57)【特許請求の範囲】
【請求項１】
画像取り込みデバイス用のズームモジュールであって、
（ａ）固定焦点距離光学レンズと、
（ｂ）情景からの光を光学レンズへ反射し、視野が部分的に重複している複数の位置へ移動する鏡と、
（ｃ）前記光学レンズを通過した後に前記光を受け取り、前記鏡により供給され、それぞれが異なる視野であり部分的に重複している複数の画像を取り込む、複数のビニング可能な画素を有する画像センサを備え、ズーム範囲のズーム率に対応してビニング係数が決定され、該ビニング係数と部分的に重複した複数の取り込んだ画像の数とが同一であって、前記部分的に重複した画像の画素数は、前記ビニング係数に逆対応するように低減され、取り込んだ画像の少なくとも一部分をともにスティッチングして所望のズーム率で合成画像を形成する
ことを特徴とするズームモジュール。
【請求項２】
請求項１に記載のズームモジュールであって、
前記取り込んだ画像のうちの前記合成画像内で使用される部分のみが読み出されることを特徴とするズームモジュール。
【請求項３】
請求項１に記載のズームモジュールであって、
前記鏡が２つの軸の周りを回転することを特徴とするズームモジュール。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に、デジタルカメラ向けの小型のズームシステムに関する。より詳細には、本発明は、異なる視野をもつ複数の画像を使用してズーム範囲内で異なる画像を生成するズームシステム向けの装置および方法に属する。
【背景技術】
【０００２】
現在、大部分のデジタルカメラは、ズームレンズおよび単色画像センサを使用して、静止画像およびビデオ画像を取り込む。次いで、取り込んだ画像をデジタル処理してデジタル画像ファイルを作製し、カメラ内のデジタルメモリ内に記憶する。次いで、これらのデジタル画像ファイルをコンピュータへ転送し、表示し、またインターネットを介して共有することができる。デジタルカメラを移動電話の一部として含み、いわゆる「カメラ付き電話」を形成することもできる。カメラ付き電話は、移動電話ネットワークを介して、デジタル画像ファイルを別のカメラ付き電話へ、またはサービスプロバイダへ伝送することができる。
【０００３】
小さいカメラ寸法および大きいズーム範囲は、デジタルカメラの２つの非常に重要な特徴である。ユーザは、より柔軟な写真の能力を提供するために、ズーム機能を有することを好む。ズーム範囲は通常、可変焦点距離レンズによって提供される光学ズームと、取込み後にデジタル画像の拡大によって提供されるデジタルズームの両方から構成される。大きいズーム範囲のための可変焦点距離レンズは高価であり、通常、デジタルカメラの全体的な寸法を増大させる。したがって、小さいカメラ寸法、大きいズーム範囲、および低いカメラコストの間には、デジタルカメラを設計するときに妥協しなければならないトレードオフが存在する。一眼レフカメラなどのよりコストの高いカメラでは、これらの問題は、２つの３倍ズームレンズ、たとえば２８〜７０ｍｍズームおよび７０〜２１０ズームなど、複数の交換可能なズームレンズを使用することによって対処されることがある。この構成にはユーザにとって不便な欠点があり、コストがより高く、ならびに設計の複雑さの問題のため、低コストのデジタルカメラには適していない。
【０００４】
画像の拡大の増大に基づき、それに対応する解像度の低減を伴うデジタルズームは、当技術分野では周知である。デジタルズームは非常に速くかつ簡単であるが、解像度の低減により、画像品質の低減が知覚される可能性がある。
【０００５】
米国特許第５，６５７，４０２号では、複数のデジタル画像を組み合わせて１つの画像を形成する方法が記載されている。米国特許第５，６５７，４０２号は、異なる焦点距離でまたは異なる時間に取り込んだ複数の画像の使用に対処しており、「ズームビデオシーケンスなどの様々な焦点距離の複数の画像」（１段２１〜２２行）が同じレンズから取り込まれる。しかし、米国特許第５，６５７，４０２号は、異なる視野の取込みを可能にする方法を含まない。さらに、米国特許第５，６５７，４０２号では、取り込んだ画像はすべて同じ数の画素を含み、したがって合計の露出時間、ならびに記憶および読出し時間は、複数の画像とともに増大される。
【０００６】
米国特許出願第２００２／００７５２５８号では、可動式の望遠カメラをさらに使用して情景の解像度の高い部分を取り込み、次いでパノラマ画像上に重ね合わせるパノラマカメラシステムが記載されている。米国特許出願第２００２／００７５２５８号は、可動式の望遠カメラを使用して画像の一部分の解像度をより高くできることについて記載しており、可動式の望遠カメラを、パノラマ画像のうちのより高い解像度が望ましい領域へ移動させることができる。しかし、米国特許出願第２００２／００７５２５８号では、異なる焦点距離の画像を使用しており、作製した画像は、異なる解像度の領域を有する。
【０００７】
米国特許第５，７１７，５１２号では、異なる視野をもつ画像を取り込むシステムが記載されている。このシステムは、現金自動預払機で人物の画像を取り込むようにモータによって駆動される回転可能かつ傾斜可能なレンズシステムに基づく。このシステムは、図１に示すように大きくかつ複雑であり、したがって小型のカメラシステムで使用するのに適していない。米国特許第５，７１７，５１２号に記載のシステムは、３つの鏡、すなわちパンチルト鏡３４ならびに２つの折畳み鏡５８および５９を含み、情景から収集した光をパンチルト鏡によってカメラ６０へ再誘導する。このシステムはまた、３つの駆動モータを含む。パンチルト鏡はフレーム３１内に保持されており、フレーム３１は、パン駆動モータ５２によって撮像レンズ３６の光軸の周りを回転することができる。パン駆動モータ５２は、取付け板４３に回転可能に取り付けられた旋回板５３内に取り付けられる。パンチルト鏡３４はまた、連結部３３によってパンチルト鏡３４に取り付けられたチルト駆動モータ４４によって傾斜させることができる。チルト駆動モータ４４は旋回板５３に取り付けられ、したがってパン運動とともに回転する。フォーカスモータ３８によって撮像レンズを光軸に沿って、またガイドロッド３９に沿って移動させることによって、画像はカメラ上へ集束される。
【０００８】
米国特許出願第２００７／００８１０８１号では、１つのパノラマ画像に対して重複する画像を取り込むためのカメラシステムが、回転する旋回軸上に取り付けられる。良好な重複のために複数の画像をそれぞれいつ取り込むべきかを示すセンサが含まれる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許第５，６５７，４０２号
【特許文献２】米国特許第５，７１７，５１２号
【発明の概要】
【発明が解決しようとする課題】
【００１０】
先行技術のシステムでは、小さく軽量で、かつ比較的安価な民生用デジタルカメラのための大きいズーム範囲をもつ十分に小型で低コストの光学システムが提供されない。複数画像の取込みに基づく処理に関連するファイル寸法の実質的な増大を回避しながら良好な画像品質を保持し、それでもなお大きいズーム範囲を可能にすることがさらに望ましい。
【課題を解決するための手段】
【００１１】
本発明の目的は、可動部分をもたない固定焦点距離レンズを利用することによって、簡単な小型のズームシステムを提供することである。本発明では、可動鏡を使用して、連続する画像取込みに対して視野を再誘導し、したがってそれぞれ部分的に重複する視野を有する連続する画像から広角の画像が構築される。さらに、ズーム範囲全体にわたって画素の数および読出し時間を比較的一定に保つために、取り込んだ画像の数が増大するにつれて、これらの画像は累進的にビニングされる。さらに、ズーム範囲全体にわたって合計の露出時間を比較的一定に保つために、画像が累進的にビニングされるにつれて、各画像に対する露出時間は低減される。
【００１２】
本発明のこれらおよびその他の態様、目的、特徴、および利点は、好ましい実施形態の以下の詳細な説明および添付の特許請求の範囲を検討し、添付の図面を参照することによって、より明らかに理解および評価されるであろう。
【発明の効果】
【００１３】
本発明には、固定焦点距離レンズをもつズームモジュールを提供して、全体的な寸法を小型にしながらレンズのコストを低減させるという利点がある。本発明によって提供される別の利点は、ウェーハレベルの製造によって作製されたレンズとセンサのアセンブリに適合しているズームモジュールが提供されることである。本発明によって提供されるさらなる利点は、複数の画像が取り込まれるにもかかわらず、形成された合成画像内の画素の数、合計の読出しおよび記憶時間、ならびに合計の露出時間がすべてズーム範囲全体にわたって比較的一定に保たれるような柔軟なズームシステムが、複数の画像取込みから提供されることである。
【図面の簡単な説明】
【００１４】
【図１】モータで駆動されるパンチルト動作をもつ先行技術のカメラシステムの斜視図である。
【図２】本発明に記載の固定焦点レンズおよび可動鏡の断面の側面図である。
【図３】本発明の可動鏡の図である。
【図４】本発明の３倍ズームに対するズーム範囲全体にわたって使用される複数の画像のレイアウトおよび重複の図である。
【図５】図２の撮像アセンブリを使用する本発明の撮像システムのブロック図である。
【発明を実施するための形態】
【００１５】
パノラマ撮像の出現で、米国特許第７，３１７，４７３号および第７，０６４，７８３号に記載のように、複数の画像を効率的に使用して複数の画像から単一の画像の作製を可能にするスティッチングアルゴリズムが利用可能になってきた。さらに、デジタルカメラの全体的な寸法がより小さくなるにつれて、レンズの寸法も同様により小さくなっている。デジタルカメラ技術におけるこれらの２つの変化の組合せにより、本発明では、小型の可動鏡を使用して取込み中に撮像レンズの視野を再誘導し、部分的に重複する視野をもつ複数の画像を取り込み、したがってこれらの複数の画像をともに電子的にスティッチングしてより広い視野をもつ合成画像を作製することが可能になる。実質上望遠の固定焦点距離レンズを使用し、ズーム率が低減するにつれて累進的により多くの画像を取り込むことによって、所望のズーム率に合致する異なる合成画像を作製することができる。
【００１６】
図２は、本発明の一実施形態を示しており、異なる視野をもつ連続する画像を取り込むことが可能なズームモジュール２０５を示す。図２の実施形態に示すように、固定焦点距離レンズ２１０が、可動鏡２２０と組み合わされる。可動鏡２２０は、固定焦点距離レンズ２１０の光軸に対して実質上４５度の位置に位置決めされ、したがってズームモジュールは比較的薄くなる。撮像している情景からの光線２４０は、保護用カバーガラス２５０を通過し、可動鏡２２０によって反射され、固定焦点距離レンズ２１０を通過して、画像センサアレイ２３０上に集束され、画像センサアレイ２３０で電子画像が形成される。この画像は、画像センサアレイ２３０を構成する画素によって記録される。ズームモジュール２０５内で固定焦点距離レンズ２１０を使用する利点は、非常に小型でかつ低コストの固定焦点距離レンズが得られることであり、これは特に、ウェーハレベルの製造によって作られるレンズアセンブリに当てはまる。ウェーハレベルの製造では、レンズ要素はアレイ内で一度に多数作られ、米国特許第６，２３５，１４１号および第６，６１０，１６６号に記載のように、これらはともに接合されており、次いでダイスカットされて、個別のレンズアセンブリを形成する。ウェーハレベルの製造のためにアレイ内で作られるレンズ要素は通常、非常に簡単な形状で、非常に小さい寸法のものである。ズームレンズは現在、ウェーハレベルの製造によって作られていない。
【００１７】
図３は、可動鏡に関するより詳細な情報を示す。鏡２２０の反射部分は、２つの直角軸３１５および３１７の周りを独立して回転することができ、したがって複数の位置が可能である。図３に示す鏡の２つの側面図は、軸３１５および３１７の周りを回転する鏡２２０の角回転を示す。鏡２２０は、軸３１５および３１７の周りで±３度から±１２度以上の回転範囲内の位置が可能である。当業者には周知のように、軸の周りで鏡が回転することで、鏡によって反射された光の角度が２倍偏向され、その結果、記載のように、視野が±６度から±２４度変化する。
【００１８】
本発明の一実施形態では、複数の画像を取り込んでともにスティッチングし、固定焦点距離レンズだけで普通なら可能であるはずのものより広角の眺望をもつ合成画像を形成する。可動鏡を使用して、画像取込み間で視野を変化させる。より広角の合成画像を実現するために、取り込む画像の数が増大される。良好な画像品質をもち、画像間に間隙または知覚される不連続性のない合成画像を作製するには、スティッチングアルゴリズムを使用して画像をともにスティッチングできるように、複数の画像の視野を少なくとも部分的に重複させなければならない。
【００１９】
図４は、１倍から３倍の異なるズーム設定に対して可能な複数の画像のレイアウトのいくつかを示す。この例では３倍である最も高いズーム設定の場合、可動鏡が両方の軸に対するその回転範囲の中間に設定された状態で、単一の画像４１０が取り込まれる。２．５倍のズーム設定の場合、相対的な寸法４２５の４つの画像が取り込まれて、単一の２．５倍の画像レイアウト４２０にマージされる。画像レイアウト４２０は、一部が重複する異なるタイプの線で示した４つの画像４２５を含むことに留意されたい。画像レイアウト４３０、４４０、および４５０はまた、一部が重複する異なるタイプの線で示した複数の画像を含むことにさらに留意されたい。
【００２０】
４つの画像は順次取り込まれ、画像取込み間で可動鏡が順次移動することによって、４つの異なる視野が提供される。２．５倍の画像レイアウト４２０に示すように、それぞれの視野からの画像情報は互いに部分的に重複し、したがって４つの画像のうちの２．５倍の画像レイアウト４２０の中心を構成する部分は、４つの画像すべてに対して同じである。対照的に、２．５倍の画像レイアウトの隅部に含まれる画像情報は、各隅部に対する４つの画像のうちの１つのみから構成される。同様に、２倍ズームのレイアウト４３０は、図示のように、相対的な寸法４３５の取り込んだ４つの画像から生じ、４つの画像間の重複の量は、２．５倍ズームのレイアウト４２０の場合より小さくすることができる。４つの画像をともにマージする技法は、画像を互いに整合させること、重複する領域内の画素値を合計して平均すること、そして電子的にスティッチングすることの組合せとすることができる。
【００２１】
本発明は、複数の画像間の重複の量が一定であり、異なるズーム設定またはズーム率に対して合成画像が様々な程度にトリミングされる場合など、画像レイアウトに対する他の方法を含むことに留意されたい。
【００２２】
１．５倍ズームのレイアウト４４０の場合、より多くの画像が必要とされ、図４にはこの場合、９つの画像を示す。相対的な寸法４４５の９つの画像は、取り込まれて単一の１．５倍の画像レイアウト４４０にマージされる。ズーム設定が低減するにつれて、取り込む必要のある画像の数は増大し、また合成画像の寸法と比較すると、取り込まれる個別画像の相対的な寸法は低減する。言い換えれば、取り込まれる複数の画像は、ズーム率に反比例する。図示のように、情景の内容に基づいて１．５倍ズーム設定に対して取り込まれる個別画像の相対的な寸法は、個別画像をマージしたときに形成される合成画像の寸法の約１／９である。
【００２３】
図４の例に示す最後の場合、ズーム設定は１倍であり、相対的な寸法４５５の９つの個別画像が取り込まれて、１倍ズームのレイアウト４５０にマージされる。この場合、個別画像およびそれぞれの視野間の重複はわずかな量だけであり、したがって個別画像をともにスティッチングして、合成画像内にいかなる間隙もないより広角の画像を形成することができる。
【００２４】
ズーム範囲の増大する部分にデジタルズームを使用して、複数の取込み間でより平滑な遷移を提供できることにさらに留意されたい。さらに、スティッチングをより容易にするために、レンズからの個別画像内の歪み（たる形もしくは糸巻き形の歪みなど）、または傾斜した鏡からの軸外の取込みからの歪みは、スティッチングの前に補正することができる。さらに、画像の合成を選択するためにカメラのディスプレイ上に連続して表示されるものなど、低い解像度のプレビュー画像の場合、複雑なスティッチングアルゴリズムを使用しなくても、鏡の位置に基づいて、複数の画像をトリミングしてともにスティッチングし、低い解像度の合成画像を形成することができる。
【００２５】
図４に示す例示的なレイアウトは１倍から３倍のズーム範囲に対するものであるが、本発明は、１倍から４倍のズーム範囲に対して４×４の画像レイアウト内で１６個の画像を用いるなど、取り込んで使用する個別画像の数を増大させてより広い視野の眺望をもつ合成画像を形成することによって、より広いズーム範囲にも同様に使用することができる。本発明によって記載するズームシステムでは、複数画像の手法により、可動鏡の利用可能な移動によってのみ制限されるより広角の眺望の画像を作る方法が提供されるので、固定焦点距離レンズを変化させなくても、ズーム範囲を変化できることに留意されることが重要である。
【００２６】
別法として、固定焦点距離レンズを変化させて、ズーム範囲に関連する有効な焦点距離範囲を変化させ、画像を実質上より望遠またはより広角にすることができる。たとえば、固定焦点距離レンズが１５ｍｍの焦点距離を有する場合、本発明の複数画像の手法を使用して、１倍から３倍のズーム範囲に対して図４に示すように画像をレイアウトすることによって、５〜１５ｍｍ（実質上広角）の焦点距離範囲をもつズームレンズによって取り込まれたように見える画像を作製することができる。しかし、固定焦点距離レンズが４５ｍｍの焦点距離を有する場合、本発明の複数画像の手法を使用して、異なる１倍から３倍のズーム範囲に対して図４に示すように画像をレイアウトすることによって、１５〜４５ｍｍ（実質上望遠）の焦点距離範囲をもつズームレンズによって取り込まれたように見える画像を作製することができる。異なる焦点距離範囲に関連する鏡の位置は、複数の画像間で所望の程度の重複を提供するように調整しなければならないはずである。
【００２７】
本発明は、可動鏡によって提供される部分的に重複する視野をもつ複数の画像をマージしてより広角の眺望をもつ合成画像を形成する方法を記載する。図４に示す複数の画像の例示的なレイアウトはすべて、同じアスペクト比のものであるが、合成画像内の複数の画像のレイアウトを（３×４の画像レイアウトなどに）変化させて、いかなるアスペクト比または画像形状でも望ましいものを作製することによって、異なるアスペクト比の合成画像を生成することができる。
【００２８】
本発明の別の実施形態では、取り込んだ画像の１つ以上で、合成画像内の画素の合計の数がズーム範囲全体にわたって比較的一定に保たれるように、画像センサの画素は、ズーム率に逆対応してビニングされる。それぞれの個別画像は異なる鏡の位置で取り込まれ、またビニング係数は鏡の位置の数に比例することに留意されたい。ビニングするには、隣接する画素の電気的接続により、これらの画素上で光によって生じた電荷を共有する必要があり、したがってビニングされた画素は、面積が実際上より大きく（したがって、より感光性が高い）、個別画像内の画素の数は低減する。一例として、４つの個別画像が取り込まれる２倍ズーム設定の場合、これらの画素は画像取込み中に４倍ビニングされ、それによってそれぞれの個別画像内の画素の数を１／４に低減させるはずであり、したがって４つの個別画像内に含まれる画素の合計の数は、３倍ズーム設定の場合に取り込まれる１つの画像のものと同じである。個別画像の取込み中にセンサをビニングする利点は、センサからの画像の読出し時間が低減されることである。１組の複数画像取込みからの画素の合計の数を比較的一定に保つことによって、複数の画像を取り込むにもかかわらず、複数の個別画像を読み出す時間が比較的一定に保たれる。
【００２９】
本発明のさらなる実施形態では、個別画像の重複していない部分のみを読み出して、読出し時間をさらに低減させる。この場合、個別画像間の重複面積が大きいもの（図４に２．５倍ズームのレイアウトに対して示すものなど）が選択され、したがって、合成画像の各部分に対する画像情報は、１つの個別画像のみから読み出される。もちろん、マージ処理中に個別画像間の良好なスティッチングを確保して合成画像を形成するために、画像間である程度小さい量の重複を維持しなければならないことが、当業者には認識されるであろう。
【００３０】
本発明のさらなる実施形態では、それぞれの個別画像に対する露出時間を低減させて、画像取込みに対するビニングの程度を合致させる。ビニングは、各画素の面積を実際上増大させるため、それに比例して、画素の集光能力または感度が増大する。したがって、露出時間を低減させてビニングの程度を合致させる結果、その画素によって記録される信号レベルおよび相対的なノイズレベルは、所与の光レベルに対して一定のままになる。露出時間は、画素がビニングされるのと同じ速度で低減され、またビニングは、１組の複数画像取込みにおける個別画像の取込みの数に合致するため、複数の画像に対する合計の露出時間は、ズーム範囲全体にわたって比較的一定のままである。一例として、４つの個別画像が取り込まれる２倍ズーム設定の場合、４つの個別画像に対する合計の露出時間が、３倍ズーム設定の場合に取り込まれる１つの個別画像に対する露出時間と同じになるように、それぞれの個別画像に対する露出時間は１／４に低減されるはずである。
【実施例１】
【００３１】
Ｍｉｒｒｏｒｃｌｅからの可動式のＭＥＭｓ鏡（モデルＳＯ２５８ＤＢ、３．２ｍｍの鏡、±６．６度の移動、５ミリ秒の移動時間、オーバーシュートなし）が、１２度の視野を有する望遠レンズおよび５メガ画素を有する画像センサとともに使用される。３倍ズーム設定の画像の場合、単一の画像が画像センサのフル解像度で取り込まれ、露出時間は１００ミリ秒であり、鏡は中心の位置で保持される。２倍ズームの画像の場合、４つの画像が取り込まれ、４つの画素がともにビニングされ、露出時間はそれぞれ２５ミリ秒である。鏡は、複数の画像の取込み中に、＋３／＋２、＋３／−２、−３／−２、−３／＋２というパン／チルト順序で移動する（度単位）。合計の露出時間は、４×２５＋４×５＝１２０ミリ秒である。取り込んだ４つの個別画像から作製した合成画像の合計の解像度（メガ画素単位）は、４×５／４＝５メガ画素である。比較すると、４つのフル解像度の画像を取り込んでともにスティッチングした場合、合計の露出時間は４×１００＝４００ミリ秒となり、スティッチングした画像の合計の解像度は４×５＝２０メガ画素となるはずである。１倍ズームの画像の場合、９つの画像が取り込まれ、９つの画素がともにビニングされ、露出時間はそれぞれ１１ミリ秒である。鏡は、複数の画像の取込み中に、＋６／＋４、＋６／０、＋６／−４、０／−４、０／０、０／＋４、−６／＋４、−６／０、−６／−４というパン／チルト順序で移動する（度単位）。合計の露出時間は、９×１１＋９×５＝１４４ミリ秒である。取り込んだ９つの個別画像から作製した合成画像の合計の解像度（メガ画素単位）は、９×５／９＝５メガ画素である。比較すると、９つのフル解像度の画像を取り込んでともにスティッチングした場合、合計の露出時間は９×１００＝９００ミリ秒となり、スティッチングした画像の合計の解像度は９×５＝４５メガ画素となるはずである。
【００３２】
図５は、本発明の画像センサアセンブリとともに使用できる撮像システムのブロック図である。撮像システム１２００は、デジタルカメラ付き電話１２０２および演算デバイス１２０４を含む。デジタルカメラ付き電話１２０２は、本発明を組み込む画像センサを使用できる画像取込みデバイスの一例である。たとえばデジタルスチルカメラやデジタルビデオカムコーダなど、他のタイプの画像取込みデバイスを本発明とともに使用することもできる。
【００３３】
本発明による一実施形態では、デジタルカメラ付き電話１２０２は、携帯型で手持ち式の電池駆動デバイスである。デジタルカメラ付き電話１２０２はデジタル画像を作製し、これらのデジタル画像は、メモリ１２０６内に記憶される。メモリ１２０６は、たとえば内蔵フラッシュＥＰＲＯＭメモリまたは取り外し可能なメモリカードとすることができる。別法として、磁気ハードドライブ、磁気テープ、または光ディスクなどの他のタイプのデジタル画像記憶媒体を使用して、メモリ１２０６を実施することもできる。
【００３４】
デジタルカメラ付き電話１２０２は、鏡２２０およびレンズ２１０を使用して、情景（図示せず）からの光をセンサ１２１２の画像センサアレイ２３０上に集束させる。この場合、鏡２２０、レンズ２１０、および画像センサ２３０は、先に図２に示したように構成される。本発明による一実施形態では、画像センサアレイ２３０は、バイエルカラーフィルタパターンを使用してカラー画像情報を提供する。画像センサアレイ２３０は、タイミング生成器１２１４によって制御される。タイミング生成器１２１４はまた、周囲の照明が暗いときに情景を照らすために、フラッシュ１２１６を制御する。
【００３５】
画像センサアレイ２３０から出力されるアナログ出力信号は、アナログ−デジタル（Ａ／Ｄ）変換器回路１２１８によって増幅されてデジタルデータに変換される。デジタルデータは、バッファメモリ１２２０内に記憶され、その後、デジタル処理装置１２２２によって処理される。デジタル処理装置１２２２は、ファームウェアメモリ１２２４内に記憶されるファームウェアによって制御される。ファームウェアメモリ１２２４は、フラッシュＥＰＲＯＭメモリとすることができる。デジタル処理装置１２２２は、デジタルカメラ付き電話１２０２およびデジタル処理装置１２２２が低電力状態であるときでも日時を維持するリアルタイムクロック１２２６を含む。処理されたデジタル画像ファイルは、メモリ１２０６内に記憶される。メモリ１２０６はまた、たとえば音楽ファイル（たとえば、ＭＰ３ファイル）、呼出し音、電話番号、カレンダ、および予定事項リストなどの他のタイプのデータを記憶することができる。
【００３６】
本発明による一実施形態では、デジタルカメラ付き電話１２０２は、静止画像を取り込む。デジタル処理装置１２２２は、描写されたｓＲＧＢ画像データを作製するために、歪み補正、色補間と、その後に続く色および階調補正を実行する。次いで、描写されたｓＲＧＢ画像データは、メモリ１２０６内で画像ファイルとして圧縮および記憶される。例示のみを目的として、画像データは、知られている「Ｅｘｉｆ」画像形式を使用するＪＰＥＧ形式に従って圧縮することができる。この形式は、様々なＴＩＦＦタグを使用して特定の画像メタデータを記憶するＥｘｉｆアプリケーションセグメントを含む。たとえば、別々のＴＩＦＦタグを使用して、画像が取り込まれた日時、レンズのｆ値、および他のカメラ設定を記憶し、そして画像キャプションを記憶することができる。
【００３７】
本発明による一実施形態では、デジタル処理装置１２２２は、ユーザによって選択される異なる画像寸法を作製する。１つのそのような寸法は、低解像度の「サムネイル」寸法の画像である。サムネイル寸法の画像の生成は、クフタらの「Ｅｌｅｃｔｒｏｎｉｃ  Ｓｔｉｌｌ  Ｃａｍｅｒａ  Ｐｒｏｖｉｄｉｎｇ  Ｍｕｌｔｉ−Ｆｏｒｍａｔ  Ｓｔｏｒａｇｅ  ｏｆ  Ｆｕｌｌ  ａｎｄ  Ｒｅｄｕｃｅｄ  Ｒｅｓｏｌｕｔｉｏｎ  Ｉｍａｇｅｓ」という名称の同一出願人による米国特許第５，１６４，８３１号に記載されている。サムネイル画像は、ＲＡＭメモリ１２２８内に記憶され、カラーディスプレイ１２３０に供給される。カラーディスプレイ１２３０は、たとえば、能動マトリックスＬＣＤまたは有機発光ダイオード（ＯＬＥＤ）とすることができる。サムネイル寸法の画像を生成すると、取り込んだ画像をカラーディスプレイ１２３０上で迅速に見ることができる。
【００３８】
本発明による別の実施形態では、デジタルカメラ付き電話１２０２はまた、ビデオクリップを作製および記憶する。ビデオクリップは、画像センサアレイ１２１０の複数の画素をまとめ合わせて（たとえば、画像センサアレイ１２１０のそれぞれ４行×４列の領域内の同じ色の画素をまとめる）、より低い解像度のビデオ画像フレームを生成することによって作製される。ビデオ画像フレームは、たとえば１秒当たり１５フレームの読出し速度を使用して、規則的な間隔で画像センサアレイ１２１０から読み取られる。
【００３９】
デジタル処理装置１２２２に音声コーデック１２３２が接続され、マイクロフォン（Ｍｉｃ）１２３４からの音声信号を受け取る。音声コーデック１２３２はまた、スピーカ１２３６に音声信号を提供する。これらの構成要素は、電話で会話するためにも、ビデオシーケンスまたは静止画像とともに音声トラックを記録および再生するためにも使用される。
【００４０】
本発明による一実施形態では、スピーカ１２３６はまた、ユーザに電話の着信を知らせるために使用される。これは、ファームウェアメモリ１２２４内に記憶された標準的な呼出し音を使用して、または移動電話ネットワーク１２３８からダウンロードされてメモリ１２０６内に記憶された専用の呼出し音を使用して行うことができる。さらに、振動デバイス（図示せず）を使用して、電話の着信を静かに（たとえば、無音で）通知することができる。
【００４１】
デジタル処理装置１２２２は無線モデム１２４０に接続され、無線モデム１２４０により、デジタルカメラ付き電話１２０２は、無線周波数（ＲＦ）チャネル１２４２を介して情報を送受信することができる。無線モデム１２４０は、３ＧＳＭネットワークなどの別のＲＦリンク（図示せず）を使用して、移動電話ネットワーク１２３８と通信する。移動電話ネットワーク１２３８は、デジタルカメラ付き電話１２０２からアップロードされたデジタル画像を記憶する写真サービスプロバイダ１２４４と通信する。演算デバイス１２０４を含む他のデバイスは、インターネット１２４６を介してこれらの画像にアクセスする。本発明による一実施形態では、移動電話ネットワーク１２３８はまた、通常の電話サービスを提供するために、標準的な電話ネットワーク（図示せず）に接続する。
【００４２】
カラーディスプレイ１２３０上にグラフィカルユーザインターフェース（図示せず）が表示され、ユーザ制御部１２４８によって制御される。本発明による実施形態では、ユーザ制御部１２４８は、電話番号をダイヤルするための専用のプッシュボタン（たとえば、電話のキーパッド）と、モード（たとえば、「電話」モード、「カレンダ」モード、「カメラ」モード）を設定するための制御部と、４方向の制御（上下左右）を含むジョイスティック制御装置と、プッシュボタン式の中央の「ＯＫ」または「選択」スイッチとを含む。
【００４３】
ドック１２５０は、デジタルカメラ付き電話１２０２内の電池（図示せず）を充電する。ドック１２５０は、ドックインターフェース１２５２を介して、デジタルカメラ付き電話１２０２を演算デバイス１２０４に接続する。本発明による一実施形態では、ドックインターフェース１２５２は、ＵＳＢインターフェースなどの有線インターフェースとして実施される。別法として、本発明による他の実施形態では、ドックインターフェース１２５２は、ブルートゥースまたはＩＥＥＥ  ８０２．１１ｂ無線インターフェースなどの無線インターフェースとして実施される。ドックインターフェース１２５２は、メモリ１２０６から演算デバイス１２０４へ画像をダウンロードするために使用される。ドックインターフェース１２５２はまた、演算デバイス１２０４からデジタルカメラ付き電話１２０２内のメモリ１２０６へカレンダ情報を転送するために使用される。
【００４４】
本発明の範囲内では、合成画像を形成するための複数の画像のスティッチングは、処理装置１２２２によってデジタルカメラ付き電話１２０２内で行うことができ、あるいは、コンピュータ１２０４によって、または無線モデム１２４０もしくはインターフェース１２５２を通って複数の画像を送信できる別の処理デバイスによって、遠隔で行うことができる。
【００４５】
本発明について、その特定の好ましい実施形態を具体的に参照して詳細に説明したが、本発明の精神および範囲内で変更および変形を行うことができることが理解されるであろう。
【符号の説明】
【００４６】
３１  フレーム、３３  連結部、３４  パンチルト鏡、３６  撮像レンズ、３８  フォーカスモータ、３９  ガイドロッド、４３  取付け板、４４  チルト駆動モータ、５２  パン駆動モータ、５３  旋回板、５８  折畳み鏡、５９  折畳み鏡、６０  カメラ、２０５  ズームモジュール、２１０  固定焦点距離レンズアセンブリ、２２０  可動鏡、２３０  画像センサアレイ、２４０  情景からの光線、２５０  カバーガラス、３１５  鏡の回転軸、３１７  鏡の回転軸、４１０  ３倍ズームのレイアウト、４２０  ２．５倍ズームのレイアウト、４２５  ２．５倍ズームに対する個別画像の相対的な寸法、４３０  ２倍ズームのレイアウト、４３５  ２倍ズームに対する個別画像の相対的な寸法、４４０  １．５倍ズームのレイアウト、４４５  １．５倍ズームに対する個別画像の相対的な寸法、４５０  １倍ズームのレイアウト、４５５  １倍ズームに対する個別画像の相対的な寸法、１２００  撮像システム、１２０２  デジタルカメラ付き電話、１２０４  演算デバイス、１２０６  メモリ、１２１２  画素センサ、１２１４  タイミング生成器、１２１６  フラッシュ、１２１８  Ａ／Ｄ変換器回路、１２２０  バッファメモリ、１２２２  デジタル処理装置、１２２４  ファームウェアメモリ、１２２６  クロック、１２２８  ＲＡＭメモリ、１２３０  カラーディスプレイ、１２３２  音声コーデック、１２３４  マイクロフォン、１２３６  スピーカ、１２３８  移動電話ネットワーク、１２４０  無線モデム、１２４２  無線周波数（ＲＦ）チャネル、１２４４  写真サービスプロバイダ、１２４６  インターネット、１２４８  ユーザ制御部、１２５０  ドック、１２５２  ドックインターフェース。
【図１】
0005499027.tif 000002
【図２】
0005499027.tif 000003
【図３】
0005499027.tif 000004
【図４】
0005499027.tif 000005
【図５】
0005499027.tif 000006