(57)【要約】  高解像度写真を生成するためのカメラ装置は、異なる有効解像度からなる２つの領域を有するセンサアセンブリを含む。センサアセンブリを用いて撮像された複数の画像から得られる画像データを合成して、高解像度ピクチャの形で出力画像データが生成される。合成される画像用の画像データを取り込む際には、センサの第１の領域が使用される。合成に先行して複数の画像から得られた画像データをアライメントする際に用いられる画像データを取り込む際には、第１の領域よりも高い有効解像度を有する第２の領域が使用される。
2011523485.tif 000002
【特許請求の範囲】
【請求項１】
カメラ装置であって、
撮像素子及び該撮像素子よりも高い有効解像度を有する画像アライメント素子を含むセンサアセンブリと、
出力写真の生成を制御するコントローラと、
とを備え、
前記コントローラは、
前記センサアセンブリを制御して少なくとも２つの画像を撮像し、
前記少なくとも２つの画像のうちの第１の画像に対応する画像データにおける１以上のアライメントマークを特定し、
前記画像アライメント素子から得られた、前記少なくとも２つの画像のうちの第２の画像に対応する画像データにおける前記１以上のアライメントマークを特定し、前記第１の画像における前記アライメントマークの対応する位置と前記第２の画像における前記アライメントマークの対応する位置とから、前記第１の画像と前記第２の画像との間のオフセットを求め、
所定の画素ピッチの整数倍に対応するオフセットをなくし、前記画素ピッチの残りの端数分に対応するオフセット量はそのまま残すよう、前記第１の画像と前記第２の画像とのアライメントを行い、
前記第１の画像用の前記撮像素子から得られた前記画像データと、前記第２の画像用の前記撮像素子から得られた前記画像データとを合成する
ことを特徴とするカメラ装置。
【請求項２】
前記出力写真の解像度は前記撮像素子の固有解像度よりも大きいことを特徴とする請求項１に記載のカメラ装置。
【請求項３】
前記画像データは補間を用いて合成されることを特徴とする請求項１又は２に記載のカメラ装置。
【請求項４】
前記画像アライメント素子は、前記画像アライメント素子の複数のフォトセンサよりも単位面積当たりの密度が高い複数のフォトセンサを有することを特徴とする請求項１乃至３のいずれか１項に記載のカメラ装置。
【請求項５】
前記画像アライメント素子は前記撮像素子の周辺部に配置されることを特徴とする請求項４に記載のカメラ装置。
【請求項６】
前記撮像素子の複数のフォトセンサ間のピッチは、前記画像アライメント素子の複数のフォトセンサ間のピッチの倍数であることを特徴とする請求項４又は５に記載のカメラ装置。
【請求項７】
前記所定の画素ピッチは前記画像アライメント素子の複数のフォトセンサ間のピッチであることを特徴とする請求項４乃至６のいずれか１項に記載のカメラ装置。
【請求項８】
前記第１の画像用の前記画像アライメント素子から得られた前記画像データは前記出力写真の対応する部分を配置することを特徴とする請求項４乃至７のいずれか１項に記載のカメラ装置。
【請求項９】
前記画像アライメント素子の解像度の関数である前記出力写真用の画像解像度を有するメモリを更に有し、前記コントローラは、前記撮像した少なくとも２つの画像から得られた前記画像データの合成結果を前記メモリに配置することを特徴とする請求項４乃至８のいずれか１項に記載のカメラ装置。
【請求項１０】
前記第１の画像から特定されたアライメントマークは、前記画像アライメント素子により出力された前記画像データから得られたものであることを特徴とする請求項４乃至９のいずれか１項に記載のカメラ装置。
【請求項１１】
前記画像アライメント素子は前記撮像素子に隣接して配置されるVernierセンサ素子であることを特徴とする請求項１又は２に記載のカメラ装置。
【請求項１２】
前記所定の画素ピッチは前記撮像素子の複数のフォトセンサ間のピッチであることを特徴とする請求項１１に記載のカメラ装置。
【請求項１３】
前記第１の画像から特定されたアライメントマークは、前記撮像素子により出力された前記画像データから得られたものであることを特徴とする請求項１１又は１２に記載のカメラ装置。
【請求項１４】
前記画像アライメント素子及び前記撮像素子はそれぞれ、シーンから前記画像アライメント素子及び前記撮像素子へ光をフォーカスするための異なる光学経路を有することを特徴とする請求項１又は２に記載のカメラ装置。
【請求項１５】
前記画像アライメント素子の前記光学経路は前記撮像素子の前記光学経路よりも高い倍率を有することを特徴とする請求項１４に記載のカメラ装置。
【請求項１６】
前記所定の画素ピッチは前記画像アライメント素子の複数のフォトセンサ間のピッチであることを特徴とする請求項１４乃至１５のいずれか１項に記載のカメラ装置。
【請求項１７】
写真を生成する方法であって、
撮像素子及び該撮像素子よりも高い有効解像度を有する画像アライメント素子を含むセンサアセンブリを制御して少なくとも２つの画像を撮像するステップと、
前記少なくとも２つの画像のうちの第１の画像に対応する画像データにおける１以上のアライメントマークを特定するステップと、
前記画像アライメント素子から得られた、前記少なくとも２つの画像のうちの第２の画像に対応する画像データにおける前記１以上のアライメントマークを特定し、前記第１の画像における前記アライメントマークの対応する位置と前記第２の画像における前記アライメントマークの対応する位置とから、前記第１の画像と前記第２の画像との間のオフセットを求めるステップと、
所定の画素ピッチの整数倍に対応するオフセットをなくし、前記画素ピッチの残りの端数分に対応するオフセット量はそのまま残すよう、前記第１の画像と前記第２の画像とのアライメントを行うステップと、
前記第１の画像用の前記撮像素子から得られた前記画像データと、前記第２の画像用の前記撮像素子から得られた前記画像データとを合成するステップと、
を有することを特徴とする方法。
【請求項１８】
前記画像アライメント素子は、前記画像アライメント素子の複数のフォトセンサよりも単位面積当たりの密度が高い複数のフォトセンサを有することを特徴とする請求項１７に記載の方法。
【請求項１９】
前記画像アライメント素子は前記撮像素子に隣接して配置されるVernierセンサ素子であることを特徴とする請求項１７に記載の方法。
【請求項２０】
前記画像アライメント素子及び前記撮像素子はそれぞれ、シーンから前記画像アライメント素子及び前記撮像素子へ光をフォーカスするための異なる光学経路を有することを特徴とする請求項１７に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は写真技術に関し、特に、１シーンの複数のデジタル画像を合成して高解像度の出力写真を生成するシステム及び方法に関する。
【背景技術】
【０００２】
移動電子装置あるいは無線電子装置の普及がますます進んでいる。例えば、移動電話機、携帯メディアプレイヤ及び携帯ゲーム装置が現在、広範に使用されている。また、ある特定の種類の電子装置に関連する機能については多様化が進んでいる。例えば、多くの移動電話機には現在、静止画及び動画の取り込みが可能なカメラが含まれている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
多くの携帯電子装置に関連付けられた撮像装置はより使い易くなっており、適度に高画質の写真撮影が可能になっている。それでも依然として、携帯装置内のカメラの解像度を上げたいという要望が絶えない。しかし、カメラセンサ及び結像光学系のサイズは、移動電話機のような多くの携帯装置のスペースによって制約される。したがって、これらの撮像装置の総合性能は上記に対応して制限を受けることになる。
【課題を解決するための手段】
【０００４】
本開示は、異なる有効解像度からなる２つの領域を有するセンサアセンブリを用いて高解像度の写真を生成するシステム及び方法について記載するものである。センサアセンブリを用いて撮像された複数の画像から得られる画像データを合成して、高解像度ピクチャの形で出力画像データが生成される。合成される画像用の画像データを取り込む際には、センサの第１の領域が使用される。合成に先立って複数の画像から得られた画像データのアライメントを行う際に用いる画像データを取り込む際には、第１の領域よりも高い有効解像度を有する第２の領域が使用される。いくつかの実施形態では、第２の領域から得られる画像データは出力写真用の画像データの中に含まれてもよい。
【０００５】
本開示の１つの側面によれば、カメラ装置は、撮像素子及びこの撮像素子よりも高い有効解像度を有する画像アライメント素子を含むセンサアセンブリと、出力写真の生成を制御するコントローラとを有する。コントローラは、少なくとも２つの画像を撮像するよう前記センサアセンブリを制御し、前記少なくとも２つの画像のうちの第１の画像に対応する画像データにおける１以上のアライメントマークを特定し、前記画像アライメント素子から得られた、前記少なくとも２つの画像のうちの第２の画像に対応する画像データにおける前記１以上のアライメントマークを特定し、前記第１の画像における前記アライメントマークの対応する位置と前記第２の画像における前記アライメントマークの対応する位置とから、前記第１の画像と前記第２の画像との間のオフセットを求め、所定の画素ピッチの整数倍に対応するオフセットをなくし、前記画素ピッチの残りの端数分に対応するオフセット量はそのまま残すよう、前記第１の画像と前記第２の画像とのアライメントを行い、前記第１の画像用の前記撮像素子から得られた前記画像データと、前記第２の画像用の前記撮像素子から得られた前記画像データとを合成するように構成される。
【０００６】
カメラ装置の１つの実施形態によれば、前記出力写真の解像度は前記撮像素子の固有解像度よりも大きくなる。
【０００７】
カメラ装置の１つの実施形態によれば、前記画像データは補間を用いて合成される。
【０００８】
カメラ装置の１つの実施形態によれば、前記画像アライメント素子は、前記画像アライメント素子の複数のフォトセンサよりも単位面積当たりの密度が高い複数のフォトセンサを有する。
【０００９】
カメラ装置の１つの実施形態によれば、前記画像アライメント素子は前記撮像素子の周辺部に配置される。
【００１０】
カメラ装置の１つの実施形態によれば、前記撮像素子の複数のフォトセンサ間のピッチは前記画像アライメント素子の複数のフォトセンサ間のピッチの倍数である。
【００１１】
カメラ装置の１つの実施形態によれば、前記所定の画素ピッチは前記画像アライメント素子の複数のフォトセンサ間のピッチである。
【００１２】
カメラ装置の１つの実施形態によれば、前記第１の画像用の前記画像アライメント素子から得られた前記画像データは前記出力写真の対応する部分を配置する。
【００１３】
１つの実施形態によれば、カメラ装置は、前記画像アライメント素子の解像度の関数である前記出力写真用の画像解像度を有するメモリを更に有し、前記コントローラは、前記撮像した少なくとも２つの画像から得られた前記画像データの合成結果を前記メモリに配置する。
【００１４】
カメラ装置の１つの実施形態によれば、前記第１の画像から特定されたアライメントマークは、前記画像アライメント素子により出力された前記画像データから得られたものである。
【００１５】
カメラ装置の１つの実施形態によれば、前記画像アライメント素子は前記撮像素子に隣接して配置されるVernierセンサ素子である。
【００１６】
カメラ装置の１つの実施形態によれば、前記所定の画素ピッチは前記撮像素子の複数のフォトセンサ間のピッチである。
【００１７】
カメラ装置の１つの実施形態によれば、前記第１の画像から特定されたアライメントマークは、前記撮像素子により出力された前記画像データから得られたものである。
【００１８】
カメラ装置の１つの実施形態によれば、前記画像アライメント素子及び前記撮像素子はそれぞれ、シーンから前記画像アライメント素子及び前記撮像素子へ光をフォーカスするための異なる光学経路を有する。
【００１９】
カメラ装置の１つの実施形態によれば、前記画像アライメント素子の前記光学経路は前記撮像素子の前記光学経路よりも高い倍率を有する。
【００２０】
１つの実施形態によれば、前記所定の画素ピッチは前記画像アライメント素子の複数のフォトセンサ間のピッチである。
【００２１】
本開示の別の側面によれば、写真を生成する方法は、撮像素子及び該撮像素子よりも高い有効解像度を有する画像アライメント素子を含むセンサアセンブリを制御して少なくとも２つの画像を撮像するステップと、前記少なくとも２つの画像のうちの第１の画像に対応する画像データにおける１以上のアライメントマークを特定するステップと、前記画像アライメント素子から得られた、前記少なくとも２つの画像のうちの第２の画像に対応する画像データにおける前記１以上のアライメントマークを特定し、前記第１の画像における前記アライメントマークの対応する位置と前記第２の画像における前記アライメントマークの対応する位置とから、前記第１の画像と前記第２の画像との間のオフセットを求めるステップと、所定の画素ピッチの整数倍に対応するオフセットをなくし、前記画素ピッチの残りの端数分に対応するオフセット量はそのまま残すよう、前記第１の画像と前記第２の画像とのアライメントを行うステップと、前記第１の画像用の前記撮像素子から得られた前記画像データと、前記第２の画像用の前記撮像素子から得られた前記画像データとを合成するステップとを有する。
【００２２】
本方法の１つの実施形態によれば、前記画像アライメント素子は、前記画像アライメント素子の複数のフォトセンサよりも単位面積当たりの密度が高い複数のフォトセンサを有する。
【００２３】
本方法の１つの実施形態によれば、前記画像アライメント素子は前記撮像素子に隣接して配置されるVernierセンサ素子である。
【００２４】
本方法の１つの実施形態によれば、前記画像アライメント素子及び前記撮像素子はそれぞれ、シーンから前記画像アライメント素子及び前記撮像素子へ光をフォーカスするための異なる光学経路を有する。
【００２５】
上記の特徴及び更なる特徴は、以下の説明及び添付の図面を参照することにより明らかになるであろう。これらの説明及び図面において、本発明の原理が採用され得るいくつかの方法のうちのいくつかを示すものとして本発明の特定の実施形態が詳細に開示されている。しかし、本発明の範囲はそれらの実施形態に限定されるものではないことは理解されよう。本発明は、本明細書に添付の請求の範囲に包含されるあらゆる変更、修正、均等物を含む。
【００２６】
１つの実施形態に関して記載され又は例示されている特徴は、１以上の別の実施形態において同じ方法で又は同様の方法で、あるいは、その他の実施形態の特徴と組み合わされた態様か、又はその他の実施形態の特徴の代わりの態様かの少なくともいずれかの態様で用いることができる。
【図面の簡単な説明】
【００２７】
【図１】典型的なカメラ装置を含む電子装置の正面図である。
【図２】図１の電子装置の背面図である。
【図３】図１及び図２の電子装置の概略ブロック図である。
【図４】図１及び図２の電子装置が動作することができる通信システムの概略図である。
【図５】カメラ装置のセンサアセンブリの第１の例を示す概略図である。
【図６Ａ】、
【図６Ｂ】、
【図６Ｃ】、
【図６Ｄ】図６Ａ〜６Ｄは、図５のセンサアセンブリを用いて撮像された複数の画像から得られる画像データの合成処理の経過を表す図であり、図６Ａは、拡大されたフォトセンサ配列の要部及び対応する第１の画像の画像データを表す図、図６Ｂは、フォトセンサ配列の要部及び対応する第２の画像の画像データを表す図、図６Ｃは、アライメントされた第１及び第２の画像から得られる画像データの要部を表す図、図６Ｄは、第１及び第２の画像からの画像データの合成により得られた出力写真の画像データの要部を表す図である。
【図７】カメラ装置のセンサアセンブリの第２の例を示す概略図である。
【図８】図７のセンサアセンブリの要部拡大図である。
【図９】カメラ装置のセンサアセンブリ第３の例を示す概略図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しながら実施形態を説明するが、以下を通して、同一の参照番号は同じ要素を指示するものとする。なお、これらの図は必ずしも縮尺どおりではない。
【００２９】
以下では、写真を生成するシステム及び方法を示す種々の実施形態について、添付の図面を参照して説明する。本実施形態では、写真生成は、静止画像の形の画像データの取り込みに用いられるデジタルカメラを含む装置により実行される。この画像データは１つの装置によって取り込まれ、次いで、写真生成を実行する別の装置へ転送できるものであることは理解されよう。上記カメラ装置は、静止画の他、動画の撮影も可能であることは理解されよう。
【００３０】
主として移動電話機の一部を構成するデジタルカメラにより取り込まれる画像データの処理に関連して上記写真生成を説明する。専用のカメラ、又は、（パーソナル・デジタル・アシスタント（ＰＤＡ）、メディアプレイヤ、ゲーム用装置、「ウェブ」カメラ、コンピュータなどの）カメラを装備した別の種類の電子装置（但しこれらのみに限定されるわけではない）等のような他の動作環境においてもこの写真生成の実行が可能であることは理解されよう。また、上記写真生成は、データ記憶媒体から得られる記憶済み画像データにアクセスしたり、通信リンクを介して画像データを受信したりするコンピュータによって行われるような、既存の画像データを処理する装置によっても実行可能である。
【００３１】
まず、図１及び図２を参照すると、電子装置１０が示されている。例示の電子装置１０は移動電話機である。電子装置１０はデジタル静止画像とデジタルビデオクリップの少なくともいずれかを撮影するためのカメラ装置１２を含む。電子装置１０は移動電話機である必要はなく、専用のカメラ又は上記のような何らかの別の装置であってもよいことを強調しておく。
【００３２】
図１〜図３を参照すると、カメラ装置１２は一般的なカメラ装置で構成することが可能であり、このカメラ装置には、カメラ装置１２の視野内にあるシーンからの光をセンサアセンブリ１６上へフォーカスする結像光学系１４が含まれる。センサアセンブリ１６は入射光を画像データに変換し、本開示に記載の技法を用いてこの画像データの処理を行うことができる。結像光学系１４には、レンズアセンブリ及びレンズアセンブリを補助する部品が含まれる。そのような部品には、保護ウィンドウ、フィルタ、プリズム、ミラー、フォーカス及び／又はズームを行うための機構部、フォーカス及び／又はズーミングの制御用電子回路などがある。
【００３３】
カメラ装置１２はその他に、フラッシュ１８、露出計２０、電子ファインダ及びインタラクティブ・ユーザインタフェースの一部として機能するディスプレイ２２、ユーザ入力を受け付けるキーパッド２４及び／又はボタン２６、光学式ファインダ（図示せず）をはじめ、カメラに関連する任意の部品を含みうる。
【００３４】
また、カメラ装置１２は、カメラ装置１２の動作を制御するコントローラ２８を有する。コントローラ２８又は（専用の画像データプロセッサなどの）別の回路によって写真生成が実行される。写真生成を実行する電気的アセンブリは、例えば、関連するメモリによって記憶された論理演算命令を実行するプロセッサとして、ファームウェアとして、専用の回路部品からなるハードウェアとして、あるいは、これらが組み合わされたものとして、実装される。したがって、写真生成技法は、コンピュータが読み取り可能な記憶媒体に記憶された（ソフトウェアなどの）実行可能コードとして物理的に具現化されてもよいし、あるいは、上記写真生成技法は電気回路の一部として物理的に具現化されてもよい。別の実施形態では、コントローラ２８の機能は、電子装置１０の動作全体を司る制御回路３０によって実行されてもよい。その場合、コントローラ２８は省いてもよい。別の実施形態では、カメラ装置１２の制御機能をコントローラ２８と制御回路３０とで分散してもよい。
【００３５】
デジタル写真を生成する以下の実施形態では、比較的高速に連続撮影された２つの画像を用いて写真が構成される。３以上の画像を用いてもよいことは理解できよう。例えば、写真は、１つの実施形態では約１２５ミリ秒未満の間に、あるいは、別の実施形態では約２５０ミリ秒未満の間に撮影された約１０枚の画像から生成される。したがって、写真生成のために合成される画像について言及するとき、画像という用語は２以上の画像を明示的に意味するものとなる。
【００３６】
図５〜図９にさらに示すように、写真を生成するための複数の技術例について説明する。これらの技術例の説明を通じて、ソフトウェアの実行により行うことができる処理ステップについて記載されていることは理解できよう。これら記載の処理ステップは、当業者であるプログラマが記載の機能を実現するためにコードを書くことができる基礎をなすステップである。したがって、簡潔さを旨として、コンピュータプログラムのリストは省かれている。しかし、これらの記載ステップは、コントローラ２８と３０の少なくともいずれかのコントローラ又は何らかの別のプロセッサにより実行されるように構成されたアルゴリズムと考えることができる。
【００３７】
図５は、写真の生成時に使用できるセンサアセンブリ１６の第１の実施形態を示す図である。図６Ａは図５のセンサアセンブリ１６の拡大部分を示す図である。センサアセンブリ１６は撮像素子３２として構成された第１の部品を含む。撮像素子３２は複数のフォトセンサ３４の配列を含み、これらのフォトセンサは、撮像する際の、カメラ装置１２の視野の対応する部分に関連する画像データを個々に出力する個別の感光領域である。１つの実施形態では、画素とも呼ばれるフォトセンサ３４は通常、行列状に配列される。以下でさらに明らかになるように、撮像素子３２における、個々のフォトセンサ３４のサイズ及び／又は形状、並びに、複数のフォトセンサ３４間のピッチについては、複数の取り込み済みの画像からの写真の生成が可能になるよう選択される。
【００３８】
センサアセンブリ１６は、画像アライメント素子３６として構成される第２の部品をさらに含む。撮像素子３２の場合と同様に、画像アライメント素子３６は複数のフォトセンサ３８の配列を含む。１つの実施形態では、画像アライメント素子３６の、画素と呼ばれる場合もあるフォトセンサ３８は、通常、行列状に配列される。以下でさらに明らかになるように、画像アライメント素子３６における、個々のフォトセンサ３８のサイズ及び／又は形状、並びに、複数のフォトセンサ３８間のピッチについては、複数の取り込み済みの画像からの写真の生成が可能になるよう選択される。画像アライメント素子３６における複数のフォトセンサ３８は隣接して配設される必要はない。例えば、図示の例に示されているように、フォトセンサ３８の複数のグループをセンサアセンブリ１６の各隅に配置し、これらの集合が画像アライメント素子３６を形成するようにしてもよい。別の構成例では、センサアセンブリ１６の端縁に沿って、又は、撮像素子３２におけるフォトセンサ３４の領域内の別の指定領域内にフォトセンサ３８を配置してもよい。
【００３９】
単位面積当たりのフォトセンサ３８の数に関するフォトセンサ３８の密度は、単位面積当たりのフォトセンサ３４の数に関するフォトセンサ３４の密度よりも高くする。したがって、画像アライメント素子３６の有効解像度は、撮像素子３２の有効解像度よりも高い。１つの実施形態では、例えば、１平方ミリメートル当たり約１００個のフォトセンサ３８を設け、１平方ミリメートル当たり約１０個のフォトセンサ３４を設ける。画像アライメント素子３６のサイズは、撮像素子３２のサイズに対して相対的な小さなものであるとよい。例えば、１つの実施形態では、画像アライメント素子３６は、撮像素子３２に比べて約１パーセント未満のサイズのものとすることができる。１つの実施形態では、複数のフォトセンサ３４の画素ピッチは、複数のフォトセンサ３８の画素ピッチの倍数のピッチにするとよい。センサアセンブリ１６は、図５に示すように、水平「ｘ」方向と垂直「ｙ」方向とによって指定される２次元の構成と考えることができる。
【００４０】
好適な実施形態では、フォトセンサ３４及び３８は赤、緑、青（ＲＧＢ）の画像データのようなカラー画像データを生成するように構成される。１つの実施形態では、フォトセンサ３８は、グレースケールで画像データを出力する単色のものであってもよい。
【００４１】
フォトセンサ３８の比較的高い密度に起因して、画像アライメント素子３６を構成するセンサアセンブリ１６の部分は、センサアセンブリ１６の隅又は端縁の少なくともいずれかに配設されることが望ましい。この構成により、フォトセンサ３８及び（トランジスタの配置などの）サポートロジックとの電気接続が容易になる。１つの実施形態では、撮像素子３２の複数のフォトセンサ３４間のスペースは、配線又はフォトセンサ３８の論理素子の少なくともいずれかのために利用することができる。別の実施形態では、撮像素子３２の複数のフォトセンサ３４間のスペースを用いて、低光度状況における画像データの取り込みに利用できる赤外線フォトセンサを収納するようにしてもよい。低光度状況におけるフォトセンサ３４又はフォトセンサ３８の少なくともいずれかから得られる画像データに代えて、あるいは、該画像データへの補助として、赤外線センサから得られる画像データを利用することができる。
【００４２】
シャッターレリーズボタンの押下などによってユーザが写真撮影コマンドを出すと、写真生成処理が開始される。これに応答して、カメラ装置１２は、写真生成のために合成される複数の画像のうちの第１の画像を撮像する。図示のように、説明の便宜上、２つの画像から得られる画像データの合成による写真について説明する。しかし、任意の数の画像合成のために本技法を拡張できることは理解できよう。
【００４３】
図６Ａは、センサアセンブリ１６の例示のフォトセンサ３４、３８配列を示しており、これは、第１の画像のためにフォトセンサ３４及び３８の各々により生成される画像データの論理表現と考えることができる。すなわち、フォトセンサ３４、３８の各々に対応する画像データが存在する。この画像データは、カメラ装置１２に関連付けられたメモリ４０（図３）に少なくとも一時的に記憶される。
【００４４】
図６Ｂにさらに示すように、第１の画像の撮像に続いて、第２の画像を撮像する。第１の画像と第２の画像の撮像順序は逆でもよいことは理解できよう。図６Ｂは、センサアセンブリ１６の例示のフォトセンサ３４、３８の配列を示しており、これは、第２の画像のためにフォトセンサ３４及び３８の各々によって生成される画像データの論理表現であると考えることができる。すなわち、フォトセンサ３４、３８の各々に対応する画像データが存在する。この画像データは、カメラ装置１２に関連付けられたメモリ４０に少なくとも一時的に記憶される。撮像処理及び対応する画像データの記憶処理は、所望する画像の数に応じて繰り返される。この撮像処理は所定の撮像速度で行われる。個々の画像は所定の露光時間で撮像され、撮像された画像のすべてに対する所定の総露光時間が存在し得る。第２の画像の画像データと第１の画像の画像データとを区別できるように、第２の画像のために撮像素子３２から得られた画像データはハッチングで示される。
【００４５】
複数の画像の撮像処理中に、カメラ装置１２がわずかに動くことが予想される。この動きはユーザの手振れ又は他の振動を伴う入力に起因して生じるものと考えられる。とはいえ、このような動きはあまり大きなものではないと考えられる。この動きは大きなものではないが、カメラ装置１２の視野はわずかにシフトする。このシフトによって、視野内のマーク（feature）に対応する画像データが第１及び第２の画像の双方の中に存在し、画像間で異なるフォトセンサ３４、３８を用いて、マークに対応する画像データの取り込みを行うことが可能である。例えば、第１の画像内のマークを撮像するフォトセンサ３４と、第２の画像内の同じマークを撮像するフォトセンサ３４とにおいて、ｙ方向又はｘ方向の少なくともいずれかの方向にオフセットが存在する可能性がある。センサアセンブリ１６の回転又は傾きの少なくともいずれかも存在する可能性もある。
【００４６】
以下に説明するように、画像アライメント素子３６内に存在しているオフセットは、互いに関連する画像から得られる画像データのアライメントに使用することができる。その後、２つの画像の撮像素子３２からの画像データに存在する残留オフセットを用いて、これら画像のうちの任意の１つの画像のネイティブ画像データ（例えば、rawデータ）よりも高い解像度を有する写真の生成を結果として得ることができる。
【００４７】
第１の画像の画像データを用いて、画像アライメント素子３６から得られる画像データに存在している１以上のマークが特定される。特定されたマークはアライメントマーク（alignment feature）４２と呼ばれ、図６Ａの例では、網掛けされた３個の画像データ画素で示されている。個々の特定されたアライメントマーク４２は画像アライメント素子３６のフォトセンサ３８のうちの１以上のフォトセンサに対応する。
【００４８】
次に、パターン認識を用いて、第１の画像からの特定されたアライメントマーク４２のうちの少なくとも１つのマークを求めて、第２の画像（及び任意の後続する画像）の画像アライメント素子３６により生成された画像データの中をサーチすることができる。図６Ｂの例では、アライメントマーク４２が存在するが、アライメントマーク４２は、第１の画像（図６Ａ）の画像データ内にあるアライメントマーク４２の位置に対して相対的にシフトしている。本例では、アライメントマーク４２は、画像アライメント素子３６からｙ方向に比較的高密度のフォトセンサ３８のうちの６センサ分だけ上方へ移動し、画像アライメント素子３６から比較的高密度のフォトセンサ３８のうちの１センサ分だけｘ方向に左へシフトしている。画像アライメント素子３６の１つの部分から得られる１つのアライメントマーク４２が例示されているが、理解されるように、画像間のオフセットを特定するステップは、画像アライメント素子３６の２以上の部分におけるアライメントマーク４２の相対運動をサーチするステップと、該オフセットが特定されたとき上記相対運動を分析するステップとを含むことができる。このようにして、第１の画像が撮像されたとき、水平方向の動きと、垂直方向の動きと、センサアセンブリ１２の位置に対する相対的な回転運動とのうちの少なくともいずれかの動きが特定され、かつ、定量化され得ることになる。回転運動は、ｘ−ｙ回転運動と、横方向の「ｚ」方向のｘ−ｙ平面の軸回転運動の少なくともいずれかの回転運動を含んでもよい。上記図示の例では、オフセットは、複数のフォトセンサ３８間のピッチに基づいて整数ステップで表されるものとして示されている。上記動きは端数分のオフセットを含んでもよいことを認識されたい。画像間の画像データの補間を用いてこのような端数分のオフセットを特定することができる。
【００４９】
第１の画像において特定されたアライメントマークすなわちマーク４２が第２の画像において特定できなければ、カメラ装置１２のシフトが非常に大きかったため画像間の対応関係がほとんど存在しなくなると結論することができる。この場合、第２の画像はその後の出力写真の生成時に利用されなくなることも考えられる。
【００５０】
図６Ｃにさらに示すように、第１の画像と第２の画像との間のオフセットが算出されると、第１の画像の画像データに対して、第２の画像の画像データをアライメントすることができる（例えば、第２の画像を第１の画像の位置に合わせることができる。）。第１の画像の画像データに対して相対的に第２の画像の画像データを回転させる場合、デスキュー処理（de-skewing）を行ってもよい。１つの実施形態では、デスキュー処理を実行し、次いで、画像のアライメントを実行することができる。
【００５１】
上記図示の例では、アライメントは、画像アライメント素子３６の１画素ピッチ分だけ右方向へ、かつ、画像アライメント素子３６の６画素ピッチ分だけ下方へ撮像素子３２用の画像データをシフトする必要がある。これによって、両方の画像用のアライメントマーク４２のアライメントが行われるが、画像アライメント素子３６と撮像素子３２と間で異なる画素密度に起因して、撮像素子３２から得られるそれぞれの画像データセット内に残留オフセットが生じることになる。ここでもまた、第１の画像の画像データと第２の画像の画像データとが区別できるように、撮像素子３２により生成された第２の画像の画像データは、右上から左下に向かう斜線のハッチングで示されている。
【００５２】
アライメント処理の結果は中間画像としてメモリ４０に記憶される。この中間画像は第１の画像の撮影時点におけるカメラ装置１２の視野の表現であり、画像センサアセンブリ１６の画素よりも多い画素を有している。上記中間画像において、第２の画像から得られる端数分のオフセット画像は第１の画像の画像データから別々に記憶される。例えば、センサアセンブリ１６が１メガの画像センサで、かつ、最終写真の生成のために撮影された画像の数が１０であれば、メモリ４０は１００メガ画素を記憶するように構成することが可能であり、それによって撮像素子３２の０．１画素分だけオフセットされた画像が中間画像として記憶できるようになる。
【００５３】
図６Ｄにさらに示すように、撮像され、アライメントされると、次のステップでは画像データを合成して出力写真を生成することができる。この目的のために、メモリ４０は、センサアセンブリ１６の画像アライメント素子３６のフォトセンサ３８の密度と同じ（又はフォトセンサ３８と別の対応関係を有する）画素４４の密度を有するように構成することができる。写真を構成するために、第１の画像から得られる画像データであって、高密度画像アライメント素子３６のフォトセンサ３８によって生成された画像データを写真の中で直接利用して、対応する画素を配置することが可能である。これは図６Ｄのハッチングされていない画素４４によって示されている。フィルタリング処理を利用して、撮像素子３２から得られる画像データセットから残りの画素を配置することができる。例えば、第１の画像と第２の画像（及び任意の後続する画像）の撮像素子３２によって生成された画像データ間に重複部分が存在しない場合、第１の画像から得られた画像データを補間するか、アップサンプルするかの少なくともいずれかを行って、写真の対応する画素４４を配置してもよい。これは、図６Ｄでは、左上から右下へ向かう斜線のハッチングが施された画素４４により示されている。また、第１画像と第２の画像（及び任意の後続する画像）の撮像素子３２によって生成された画像データ間にオーバラップ部分が存在する場合は、第１の画像及び第２の画像から得られた画像データを補間して、写真の対応する画素４４を配置することが可能となる。これは図６Ｄでは、格子模様のハッチングが施された画素により示されている。別の実施形態では、出力写真の画素のすべては、撮像素子３２から得られた画像データを配置することができる（例えば、出力写真内の対応する画素データを配置するために画像アライメント素子３６から得られた画像データが用いられることはない）。
【００５４】
１つの実施形態では、比較的高速の露光時間を用いて、個々の画像を取り込み、さらに、対応する出力画像データ内に高い信号対雑音比を生成できるようにフォトセンサ３４のサイズが選択される。個々のフォトセンサ３４のサイズが大きくなるほど、フォトセンサ３４に入射できる光エネルギの量は多くなる。この結果、フォトセンサ３４から出される出力信号のアナログ振幅はこれに対応して大きくなり得る。複数の画像から写真を生成するための補間に利用できるのはまさにこの振幅情報である。通常、フォトセンサのサイズは解像度を上げるために小さなサイズにされる。しかし、記載のこのアプローチでは、フォトセンサのサイズを大きくして、比較的多くの光を取り込み、かつ、第１の画像から得られる画像データの画素の間に入る画像データの利用に起因して高解像度の画像データを提供することが可能となる。
【００５５】
上記実施形態では、画像アライメント素子３６から得られる画像データはアライメントと写真の一部の双方に寄与するものである。別の実施形態では、画像アライメント素子３６が写真用の画像データを提供することはあり得ない。さらに、撮像素子から離間して画像アライメント素子３６を配置することが可能である。
【００５６】
例えば、図７にさらに示すように、センサアセンブリ１６の別の実施形態が示されている。この実施形態では、画像アライメント素子３６は撮像素子３２の各側部に隣接して１以上の画素の集合を形成する。１つの実施形態では、画像アライメント素子３６は、撮像素子３２の頂部に沿って単一の画像の画素行と、画素の撮像素子３２の底部に沿って単一の画像の画素行と、撮像素子３２の左端縁に沿って単一の画素列と、撮像素子３２の右端縁に沿って単一の画素列とを形成する。別の実施形態では、画像アライメント素子３６は、撮像素子３２の頂部に沿って複数の画像の画素行と、画素の撮像素子３２の底部に沿って複数の画像の画素行と、撮像素子３２の左端縁に沿って複数の画素列と、撮像素子３２の右端縁に沿って複数の画素列とを形成する。複数の列と行とは、画像から画像へのシフトが、アライメントマークを画像アライメント素子３６の領域外へ動かす可能性を小さくするように支援することができる。いずれの場合も、撮像素子３６の画素よりも単位面積当たりの高い密度で画像アライメント素子３６を構成することができる。したがって、画像アライメント素子３６の有効解像度の方が撮像素子３２の有効解像度よりも高くなる。
【００５７】
図８にさらに示すように、図７のセンサアセンブリ１６の１つの実装構成例の拡大部分が示されている。この実施形態では、撮像素子３２に隣接する画像アライメント素子３６から得られる画素行が、撮像素子３６内のフォトセンサ４８の最上の行に隣接して配置される単一の線形アレイのフォトセンサ４６となる。撮像素子３８から、１１個のフォトセンサ４６が１０個のフォトセンサ４８からなる直線距離で離間して配置されるようしてもよい。この構成では、画像アライメント素子３６はVernierセンサ素子を形成する。また、フォトセンサ４６の密度の方がフォトセンサ４８の密度よりも大きくなるが、個々のフォトセンサ４６、４８はほぼ同じサイズを有する。所望の場合、Vernierセンサ素子は複数列のフォトセンサ４６を有してもよい。この複数列のフォトセンサ４６は、列が撮像素子３２から離れた方向に動くにつれて、（図示のような）１１から１０の番号で交番し、次いで１１、それから１０などのように交番する。撮像素子３２のフォトセンサ４８を備えたVernierセンサ素子として配設されるフォトセンサ４６を並置することにより、画像から画像へのセンサアセンブリ１６の移動時に行うべき決定がサポートされることになる。
【００５８】
図５及び図６Ａ〜６Ｄに関連して説明した実施形態の場合と同様に、第１の画像の撮像に続いて、第２の画像の撮像がすぐに後続することができる。第１の画像から得られる（図８の遮光画素５０などの）撮像素子の端部にある画素間の特定された固有マークの位置を、第２の画像において（図８の共有画素５２などの）画像アライメント素子３２に現れるのと同じ固有マークの位置と比較することができる。センサアセンブリ１６が第１の画像を撮像してから第２の画像を撮像するまでの間に移動した量及び方向に関する判定をマークの相対的位置から行ってもよい。本実施形態では、このマークは、撮像素子３２の約１画素ピッチ分だけ垂直方向上方へ、次いで、撮像素子３２の約１／２画素ピッチ分だけ右方向へ移動している。小数画素ピッチシフトの決定に先行して、整数画素ピッチシフトが第１に決定され、次いで解除され得ることに留意されたい。画素４８のフィールド内に見られるマークを比較することによって双方の画像に対応する整数画素ピッチシフトの決定を行うことができる。撮像素子３２の対応する整数画素ピッチ数だけ第２の画像を第１の画像内のマークの位置の方へシフトすることにより整数画素ピッチシフトの解除ステップを達成することができる。
【００５９】
理解されるように、撮像素子３２の１０個の画素４８に隣接する画像アライメント素子３２の１１個のフォトセンサ４６は０．１画素の精度で行われる水平シフトの決定を可能にする。撮像素子３２の端面の側稜において同様の構成を用いて同様の精度で垂直方向のシフトを決定してもよい。撮像素子３２の周囲部分の複数の位置における複数の固有マークの水平及び垂直方向のシフトの関数として回転を決定してもよい。
【００６０】
画像間の相対運動を決定するステップから、オフセット情報を利用し、撮像素子３２を用いて撮像されたそれぞれの画像から得られる画像データのアライメントを行うことが可能であるが、このアライメントは上述のように残留オフセットを伴うものとなる。次いで、このアライメント済みの画像データは写真の生成のために補間される。
【００６１】
図９にさらに示されているように、センサアセンブリ１６の画像アライメント素子３６を撮像素子３２から分離した別の実施形態が示される。図９の実施形態では、一次光路５４がシーンからの光撮像素子３２へフォーカスし、次いで、２次光路５６がシーンからの光を画像アライメント素子３６へフォーカスする。２次光路５６は一次光路５４よりも高い倍率と狭い視野とを有するものであってもよい。１つの実施形態では、画像アライメント素子３６は撮像素子３２と同じ物理的解像度を有するものであってもよい。上記とは別に、撮像素子３２は、単位面積当たりの密度が撮像素子３２よりも高いフォトセンサ密度を有してもよい。上記双方のケースにおいて、及び、上述の実施形態の場合と同様に、画像アライメント素子３６から得られる画像データは、撮像素子から得られる画像データよりも高い有効解像度を有している。
【００６２】
個々の画像の撮像中に、撮像素子３２と画像アライメント素子３６の双方を用いて画像データの撮像が行われる。個々の画像用の画像アライメント素子３６から得られる画像データ内の相対的マーク位置が比較され、画像から画像への相対運動が決定される。このオフセット情報を用いて、撮像素子３２を用いて撮像されるそれぞれの画像から得られる画像データのアライメントを行うことが可能であるが、このアライメントは上述のように残留オフセットを伴うものとなる。次いで、上記アライメントされた画像データの補間が行われて、写真が作成される。
【００６３】
上述の実施形態の各々では、より高い解像度を有する画像アライメント素子３６は、撮像素子３２を用いて撮影済みの連続画像から得られる画像データに関連するオフセット情報を提供する。この情報を利用して、連続画像を相互に関連させ、かつ、画像データのアライメントを行うことが可能となる。しかし、センサアセンブリ部品における解像度の違いに起因して、１つの画像から次の画像への撮像素子３２から得られる画像データに対するアライメントは（最初のオフセットが撮像素子の画素ピッチの整数倍でなければ）残留オフセットを有することになる。複数の画像からの、撮像素子３２から得られるオーバーレイした画像データを用いて、このオーバーレイ済みの画像データの補間により写真を生成することができる。実際に、１つの画像から次の画像への通常発生するブレを利用して、撮像素子３２の固有の解像度に対応する相対的出力写真の解像度が上げられる。
【００６４】
図示のように、図１と図２に示されている例示の電子装置１０は移動電話機である。移動電話機として実現される場合の電子装置１０の機能について図３を参照しながらさらに説明する。
【００６５】
図示のように、電子装置１０はディスプレイ２２を含んでもよい。ディスプレイ２２によって、動作状態、時刻、電話番号、連絡先情報、種々のメニューなどの情報が表示され、このメニューによってユーザは電子装置１０の種々の機能を利用することが可能となる。また、キーパッド２６とボタン２８の少なくともいずれかによって、呼出動作、メッセージ交換処理、インターネット閲覧、メニューナビゲーション、ゲーム・プレイ、マルチメディアコンテンツの再生などを含む多様なユーザ入力操作が提供されてもよい。
【００６６】
電子装置１０には、呼を確立するか、被呼／発呼装置と信号を交換するかの少なくともいずれかを電子装置１０が実行できるようにする通話回路が含まれてもよい。但し、上記被呼／発呼装置は一般に別の移動電話機又は地上回線電話機であってもよい。しかし、被呼／発呼装置は、別の電話機である必要はなく、インターネットウェブサーバ、コンテンツ提供サーバなどの別の何らかの装置であってもよい。呼は任意の好適な形をとることが可能である。例えば、呼は、セルラ回線交換ネットワークを介して確立される従来方式の呼であってもよいし、あるいは、セルラネットワークのパケット交換機能を介して、又は、（ＩＥＥＥ８０２．１１規格をベースとするネットワークなどの）ＷｉＦｉ、（ＩＥＥＥ８０２．１６規格をベースとするネットワークなどの）ＷｉＭＡＸなどの別のパケット交換ネットワークを介して確立されるボイス・オーバ・インターネットプロトコル（ＶｏＩＰ）電話であってもよい。別例として、セルラネットワーク又は代替ネットワークを介して確立されるビデオイネーブルドコール（video enabled call）が含まれる。
【００６７】
電子装置１０は、テキストメッセージ、インスタントメッセージ、電子メールメッセージ、マルチメディアメッセージ、画像ファイル、ビデオファイル、オーディオファイル、着信音、ストリーミング、ストリーミングビデオ、（ポッドキャスト及び、（独立系放送番組（ＲＳＳ）データフィードを含む）データフィードなどのデータの送信と、受信と、処理とのうちの少なくともいずれかを行うように構成されてもよい。データ処理は、データをメモリ５８に記憶する処理と、このデータとのユーザインタラクションを可能にするアプリケーションの実行処理と、データに関連付けられたビデオと画像の少なくともいずれかのコンテンツの表示処理と、データに関連付けられたオーディオサウンドの出力処理などを含んでもよい。
【００６８】
電子装置１０は、電子装置１０の機能及び動作の制御全体を実行するように構成された主制御回路３０を含んでもよい。図示のように、制御回路３０はカメラ装置１２の制御を司るようにしてもよい。
【００６９】
制御回路３０は中央演算処理装置（ＣＰＵ）、マイクロコントローラ又はマイクロプロセッサのような処理装置６０を含んでもよい。処理装置６０は電子装置１０の種々の機能を実現するコードを実行することができる。電子装置１０の動作を実行するために、制御回路３０の内部にあるメモリ（図示せず）と、メモリ５８のような独立のメモリとの少なくともいずれかのメモリに上記コードを記憶してもよい。電子装置１０をプログラムして、種々の論理機能を動作させ、かつ、これらの機能を実行する方法は、コンピュータプログラミングの当業者、及び、特に移動電話機や別の電子装置用のアプリケーションプログラミングの当業者に自明のものである。
【００７０】
他のデータ記憶装置の役割の中で、メモリ５８はカメラ装置１２によって生成された写真を記憶するために用いることができる。写真の生成に用いられる画像は、メモリ４０ではなくメモリ５８によって一時的に記憶されてもよい。
【００７１】
引き続き図３を参照すると、電子装置１０には無線回路６４に結合されたアンテナ６２が含まれている。無線回路６４は、アンテナ６２を介して信号を送受信するための無線周波数送受信機を含む。無線回路６４は、移動通信システムにおいて動作するように構成することができると共に、発呼の実行及びデータと視聴覚コンテンツの少なくともいずれかの送受信を行うために利用することができる。移動無線ネットワークと放送ネットワークの少なくともいずれかのネットワークとインタラクションを行うための受信機の種類には、例えば、ＧＳＭ、符号分割多元接続（ＣＤＭＡ）、広帯域ＣＤＭＡ（ＷＣＤＭＡ）、汎用パケット無線サービス（ＧＰＲＳ）、ＷｉＦｉ、ＷｉＭＡＸ、携帯機器向けデジタルビデオ放送（ＤＶＢ−Ｈ）、地上デジタルテレビジョン放送（ＩＳＤＢ）などのみならず、これらの規格の上位バージョンなども含まれる。但しこれらのみに限定されるわけではない。アンテナ６２及び無線回路６４が１又はそれ以上の無線トランシーバを表すものであってもよいことは理解できよう。
【００７２】
電子装置１０には、無線回路６４により送信され／無線回路６４から受信されるオーディオ信号の処理を行うサウンド信号処理回路６６もさらに含まれる。一般に行われているように、電子装置１０を介してユーザが聴いたり、話したりすることができるようにするスピーカ６８とマイク７０とがサウンド処理回路６６に結合されている。無線回路６４及びサウンド処理回路６６は処理全体を実行できるように制御回路３０と個別に結合されている。また、ディスプレイ２２は、ビデオ処理回路７２による制御回路３０との結合が可能であり、ビデオ処理回路７２は、ディスプレイ２２の駆動用として用いられるビデオ信号にビデオデータを変換する回路である。
【００７３】
電子装置１０は１以上のＩ／Ｏインタフェース７４をさらに含むものであってもよい。Ｉ／Ｏインタフェース７４は一般的な移動電話機用Ｉ／Ｏインタフェースの形のものであってもよく、１以上の電気コネクタを含むインタフェースであってもよい。一般に行われているように、Ｉ／Ｏインタフェース７４を用いて、電子装置１０をバッテリ充電器に結合して、電子装置１０の内部にある電力供給装置（ＰＳＵ）７６のバッテリを充電するようにしてもよい。さらに、あるいは代替例において、Ｉ／Ｏインタフェース７４は、電子装置１０との有線インタフェースを備えた（個人用ハンズフリー（ＰＨＦ）デバイスなどの）ヘッドセットアセンブリと電子装置１０とを接続する役割を果たすようにしてもよい。さらに、Ｉ／Ｏインタフェース７４は、データ交換を行うためのデータケーブルを介して、電子装置１０をパーソナルコンピュータや他のデバイスと接続する役割を果たすようにしてもよい。電子装置１０は、車両用電源アダプタや電気コンセントの電源アダプタに接続されているとき、Ｉ／Ｏインタフェース７４を介して動作電力を受け取ることができる。外部電源が存在しない場合、ＰＳＵ７６は電子装置１０を動作させるための電力を供給することができる。
【００７４】
システムクロック、（グローバル・ポジショニング・システム（ＧＰＳ）受信機などの）位置データ受信装置、（赤外線トランシーバと、ブルートゥーストランシーバのようなＲＦトランシーバの少なくともいずれかなどの）ローカル無線インタフェースなどのような、移動電話機１０において普通に見られる他の部品が存在してもよい。
【００７５】
さらに図４を参照すると、電子装置１０は、通信システム７８の一部として動作するように構成することができる。システム７８は、電子装置１０による送信呼並びに電子装置１０へ向けられた着信呼の管理と、データの送信と、他の任意のサポート機能の実行とを行うためのサーバ８２を備えた通信ネットワーク８０を含んでもよい。サーバ８２は送信媒体を介して電子装置１０と通信を行う。この送信媒体は、例えば、（セルタワーなどの）基地局、他の移動電話機、無線アクセスポイント、衛星などを含む任意の適切な装置又はアセンブリであってもよい。ネットワーク８０は複数の電子装置１０と、別の種類のエンドユーザ装置との通信活動をサポートすることができる。理解されるように、サーバ８２はサーバ機能を実行するために用いられる一般的なコンピュータシステムとして構成することが可能であり、さらに、サーバ８２の機能を具現化する論理演算命令を含むソフトウェアを実行するように構成されたプロセッサと、このようなソフトウェアを記憶するメモリとを含むことが可能である。
【００７６】
好適な実施形態を図示し、説明したが、本明細書を読み、理解すれば、当業者には添付の請求の範囲に属する均等物及び修正が思い浮かぶことは理解されよう。
【図１】
2011523485.tif 000003
【図２】
2011523485.tif 000004
【図３】
2011523485.tif 000005
【図４】
2011523485.tif 000006
【図５】
2011523485.tif 000007
【図６Ａ】
2011523485.tif 000008
【図６Ｂ】
2011523485.tif 000009
【図６Ｃ】
2011523485.tif 000010
【図６Ｄ】
2011523485.tif 000011
【図７】
2011523485.tif 000012
【図８】
2011523485.tif 000013
【図９】
2011523485.tif 000014
【手続補正書】
【提出日】平成22年11月30日(2010.11.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラ装置であって、
撮像素子及び該撮像素子よりも高い有効解像度を有する画像アライメント素子を含むセンサアセンブリと、
出力写真の生成を制御するコントローラと、
とを備え、
前記コントローラは、
前記センサアセンブリを制御して少なくとも２つの画像を撮像し、
前記少なくとも２つの画像のうちの第１の画像に対応する画像データにおける１以上のアライメントマークを特定し、
前記画像アライメント素子から得られた、前記少なくとも２つの画像のうちの第２の画像に対応する画像データにおける前記１以上のアライメントマークを特定し、前記第１の画像における前記アライメントマークの対応する位置と前記第２の画像における前記アライメントマークの対応する位置とから、前記第１の画像と前記第２の画像との間のオフセットを求め、
前記画像アライメント素子又は前記撮像素子のいずれか一方の複数のフォトセンサ間の所定の画素ピッチの整数倍に対応するオフセットをなくし、前記画素ピッチの残りの端数分に対応するオフセット量はそのまま残すよう、前記第１の画像と前記第２の画像とのアライメントを行い、
前記第１の画像用の前記撮像素子から得られた前記画像データと、前記第２の画像用の前記撮像素子から得られた前記画像データとを合成する
ことを特徴とするカメラ装置。
【請求項２】
前記出力写真の解像度は前記撮像素子の固有解像度よりも大きいことを特徴とする請求項１に記載のカメラ装置。
【請求項３】
前記画像データは補間を用いて合成されることを特徴とする請求項１又は２に記載のカメラ装置。
【請求項４】
前記画像アライメント素子は、前記撮像素子の複数のフォトセンサよりも単位面積当たりの密度が高い複数のフォトセンサを有することを特徴とする請求項１乃至３のいずれか１項に記載のカメラ装置。
【請求項５】
前記画像アライメント素子は前記撮像素子の周辺部に配置されることを特徴とする請求項４に記載のカメラ装置。
【請求項６】
前記撮像素子の複数のフォトセンサ間のピッチは、前記画像アライメント素子の複数のフォトセンサ間のピッチの倍数であることを特徴とする請求項４又は５に記載のカメラ装置。
【請求項７】
前記第１の画像用の前記画像アライメント素子から得られた前記画像データは前記出力写真の対応する部分を配置することを特徴とする請求項４乃至６のいずれか１項に記載のカメラ装置。
【請求項８】
前記画像アライメント素子の解像度の関数である前記出力写真用の画像解像度を有するメモリを更に有し、前記コントローラは、前記撮像した少なくとも２つの画像から得られた前記画像データの合成結果を前記メモリに配置することを特徴とする請求項４乃至７のいずれか１項に記載のカメラ装置。
【請求項９】
前記第１の画像から特定されたアライメントマークは、前記画像アライメント素子により出力された前記画像データから得られたものであることを特徴とする請求項４乃至８のいずれか１項に記載のカメラ装置。
【請求項１０】
前記画像アライメント素子は前記撮像素子に隣接して配置されるVernierセンサ素子であることを特徴とする請求項１又は２に記載のカメラ装置。
【請求項１１】
前記第１の画像から特定されたアライメントマークは、前記撮像素子により出力された前記画像データから得られたものであることを特徴とする請求項１０に記載のカメラ装置。
【請求項１２】
前記画像アライメント素子及び前記撮像素子はそれぞれ、シーンから前記画像アライメント素子及び前記撮像素子へ光をフォーカスするための異なる光学経路を有することを特徴とする請求項１又は２に記載のカメラ装置。
【請求項１３】
前記画像アライメント素子の前記光学経路は前記撮像素子の前記光学経路よりも高い倍率を有することを特徴とする請求項１２に記載のカメラ装置。
【請求項１４】
写真を生成する方法であって、
撮像素子及び該撮像素子よりも高い有効解像度を有する画像アライメント素子を含むセンサアセンブリを制御して少なくとも２つの画像を撮像するステップと、
前記少なくとも２つの画像のうちの第１の画像に対応する画像データにおける１以上のアライメントマークを特定するステップと、
前記画像アライメント素子から得られた、前記少なくとも２つの画像のうちの第２の画像に対応する画像データにおける前記１以上のアライメントマークを特定し、前記第１の画像における前記アライメントマークの対応する位置と前記第２の画像における前記アライメントマークの対応する位置とから、前記第１の画像と前記第２の画像との間のオフセットを求めるステップと、
前記画像アライメント素子又は前記撮像素子のいずれか一方の複数のフォトセンサ間の所定の画素ピッチの整数倍に対応するオフセットをなくし、前記画素ピッチの残りの端数分に対応するオフセット量はそのまま残すよう、前記第１の画像と前記第２の画像とのアライメントを行うステップと、
前記第１の画像用の前記撮像素子から得られた前記画像データと、前記第２の画像用の前記撮像素子から得られた前記画像データとを合成するステップと、
を有することを特徴とする方法。
【請求項１５】
前記画像アライメント素子は、前記撮像素子の複数のフォトセンサよりも単位面積当たりの密度が高い複数のフォトセンサを有することを特徴とする請求項１４に記載の方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
カメラ装置の１つの実施形態によれば、前記画像アライメント素子は、前記撮像素子の複数のフォトセンサよりも単位面積当たりの密度が高い複数のフォトセンサを有する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
本方法の１つの実施形態によれば、前記画像アライメント素子は、前記画像撮像素子の複数のフォトセンサよりも単位面積当たりの密度が高い複数のフォトセンサを有する。
【国際調査報告】
2011523485.tif 000015
2011523485.tif 000016
2011523485.tif 000017