(57)【要約】  少なくとも２つの画像を、異なる有効レンズ焦点距離において取り込み、少なくとも２つの画像をハイパスフィルタリングし、少なくとも２つの画像のそれぞれのスペクトル密度を推定し、１つ以上の光学効果を生成させるために、少なくとも２つの画像を合成して単一の画像にする前に、少なくとも２つの画像のそれぞれの推定をローパスフィルタリングするための方法および装置である。【選択図】    図５
2013513318.tif 000002
【特許請求の範囲】
【請求項１】
デジタルカメラを具備する装置において、
前記カメラは、少なくとも２つの画像を、異なる有効レンズ焦点距離において撮影することが可能であり、
前記カメラは、前記少なくとも２つの画像をハイパスフィルタリング（ＨＰ）し、前記少なくとも２つの画像のそれぞれのスペクトル密度（ＳＤ）を推定し、その後、１つ以上のオプティカル効果を生成させるために、前記少なくとも２つの画像を合成して単一の画像にする前に、前記少なくとも２つの画像の前記それぞれの推定をローパスフィルタリング（ＬＰ）することがさらに可能である装置。
【請求項２】
前記カメラは、前記少なくとも２つの画像内の対応する画素ロケーションにある画素値を比較することにより、前記少なくとも２つの画像を合成することが可能である請求項１記載の装置。
【請求項３】
前記２つの画像のうちの少なくとも１つのもののデフォルト焦点距離は、無限の焦点距離に対する実際的な近似を含む請求項１記載の装置。
【請求項４】
前記カメラは、前記少なくとも２つの画像を合成して単一の画像にして、強化被写界深度効果を生成させることが可能である請求項１記載の装置。
【請求項５】
前記少なくとも２つの画像は、２つよりも多い画像を含む請求項１記載の装置。
【請求項６】
前記カメラは、前記比較の後かつ前記画像合成の前に、クローズマスクを適用することが可能である請求項１記載の装置。
【請求項７】
前記カメラは、前記比較の前にダウンサンプリングすることがさらに可能である請求項１記載の装置。
【請求項８】
前記カメラは、前記合成の際に使用するための合成マスクを結果として生じる画素ごとに、前記少なくとも２つの画像を評価することがさらに可能である請求項１記載の装置。
【請求項９】
前記カメラは、所定の画素ロケーションに対して、前記少なくとも２つの画像のそれぞれの画像から、より高い周波数の画素を識別して、前記合成マスクを生成させるために、画素ごとの比較がさらに可能である請求項８記載の装置。
【請求項１０】
前記第１の画像の画素は、前記マスク内の第１の値として表され、前記第２の画像の画素は、前記マスク内の第２の値として表される請求項９記載の装置。
【請求項１１】
前記画像マスクは、画像合成の前にアップサンプリングされる請求項１０記載の装置。
【請求項１２】
前記デジタルカメラは、デジタルビデオカメラまたはデジタル静止カメラのうちの少なくとも１つを含む請求項１記載の装置。
【請求項１３】
前記カメラは、前記少なくとも２つの画像のさらなる処理の間に基準画素として使用するために、異なる画像に共通する１つ以上の画素を識別することがさらに可能である請求項１記載の装置。
【請求項１４】
フレーム登録のために前記基準画素が利用される請求項１３記載の装置。
【請求項１５】
１つ以上のデジタル画像に対するデジタル信号値を取り込むための装置において、
対象のシーンの複数の画像を取り込むことが可能である画像取り込みデバイスを具備し、
前記複数の画像のうちの交互の画像は、可変の焦点距離で生成させることが可能であり、
前記画像取り込みデバイスは、前記複数の画像の、ハイパスフィルタリング（ＨＰ）、スペクトル密度推定（ＳＤ）、および、ローパスフィルタリング（ＬＰ）がさらに可能である装置。
【請求項１６】
前記１つ以上の複数の画像の、１つ以上の可変の焦点距離は、前記対象のシーン内のさまざまなオブジェクトの相対的な距離により少なくとも部分的に決定される請求項１５記載の装置。
【請求項１７】
前記複数の画像に対する前記可変の焦点距離は、前記対象のシーン内の主なオブジェクトに少なくとも部分的に基づいて、前記画像取り込みデバイスにより選択することが可能である請求項１５記載の装置。
【請求項１８】
前記画像取り込みデバイスは、前記対象のシーン内のオブジェクトを選択して、前記１つ以上の複数の画像に対して１つ以上の焦点距離を設定することが可能である請求項１５記載の装置。
【請求項１９】
第１の焦点距離は、前記対象のシーン中の第１のオブジェクトにより、少なくとも部分的に決定することが可能である請求項１５記載の装置。
【請求項２０】
装置において、
選択された焦点オブジェクトを用いて、１つ以上の続いて取り込まれた画像に対する１つ以上の焦点距離を少なくとも部分的に決定することが可能であるデジタルカメラを具備する装置。
【請求項２１】
方法において、
少なくとも２つの画像を、異なる有効レンズ焦点距離において撮影することと、
前記少なくとも２つの画像をハイパスフィルタリング（ＨＰ）することと、
前記少なくとも２つの画像のそれぞれのスペクトル密度（ＳＤ）を推定することと、
１つ以上のオプティカル効果を生成させるために、前記少なくとも２つの画像を合成して単一の画像にする前に、前記少なくとも２つの画像の前記それぞれの推定をローパスフィルタリング（ＬＰ）することとを含む方法。
【請求項２２】
前記合成することは、前記少なくとも２つの画像内の対応する画素ロケーションにおける画素値を比較することにより、前記少なくとも２つの画像を合成することを含む請求項２１記載の方法。
【請求項２３】
前記合成することは、前記少なくとも２つの画像を合成して単一の画像にして、拡張被写界深度効果を生成させることを含む請求項２１記載の方法。
【請求項２４】
前記比較の後かつ前記画像合成の前に、クローズマスクを適用することをさらに含む請求項２１記載の方法。
【請求項２５】
前記比較の前にダウンサンプリングすることをさらに含む請求項２１記載の方法。
【請求項２６】
前記合成の際に使用するための合成マスクを結果として生じる画素ごとに、前記少なくとも２つの画像を評価することをさらに含む請求項２１記載の方法。
【請求項２７】
前記評価することは、所定の画素ロケーションに対して、前記少なくとも２つの画像のそれぞれの画像から、より高い周波数の画素を識別して、前記合成マスクを生成させるために、画素ごとの比較を含む請求項２６記載の方法。
【請求項２８】
前記画像マスクは、画像合成の前にアップサンプリングされる請求項２５記載の方法。
【請求項２９】
装置において、
少なくとも２つの画像を、異なる有効レンズ焦点距離において撮影する手段と、
前記少なくとも２つの画像をハイパスフィルタリング（ＨＰ）する手段と、
前記少なくとも２つの画像のそれぞれのスペクトル密度（ＳＤ）を推定する手段と、
１つ以上のオプティカル効果を生成させるために、前記少なくとも２つの画像を合成して単一の画像にする前に、前記少なくとも２つの画像の前記それぞれの推定をローパスフィルタリング（ＬＰ）する手段とを具備する装置。
【請求項３０】
さまざまなオプティカル効果を生成させるために、前記少なくとも２つの画像を合成して単一の画像にする前に、前記少なくとも２つの画像の前記それぞれの推定を前記ローパスフィルタリング（ＬＰ）する手段は、前記少なくとも２つの画像内の対応する画素ロケーションにある画素値を比較することにより、前記少なくとも２つの画像を合成する手段を備える請求項２９記載の装置。
【請求項３１】
さまざまなオプティカル効果を生成させるために、前記少なくとも２つの画像を合成して単一の画像にする前に、前記少なくとも２つの画像の前記それぞれの推定を前記ローパスフィルタリング（ＬＰ）する手段は、前記少なくとも２つの画像を合成して単一の画像にして、強化被写界深度効果を生成させる手段を備える請求項２９記載の装置。
【請求項３２】
前記比較の後かつ前記画像合成の前に、クローズマスクを適用する手段をさらに具備する請求項２９記載の装置。
【請求項３３】
前記比較の前にダウンサンプリングする手段をさらに具備する請求項２９記載の装置。
【請求項３４】
前記合成の際に使用するための合成マスクを結果として生じる画素ごとに、前記少なくとも２つの画像を評価する手段をさらに具備する請求項２９記載の装置。
【請求項３５】
前記評価する手段は、所定の画素ロケーションに対して、前記少なくとも２つの画像のそれぞれの画像から、より高い周波数の画素を識別して、前記合成マスクを生成させるために、画素ごとに比較する手段を備える請求項３４記載の装置。
【請求項３６】
画像合成の前にアップサンプリングする手段をさらに具備する請求項３３記載の装置。
【請求項３７】
物品において、
専用目的コンピューティングプラットフォームにより実行することが可能である命令をその上に記憶させている記憶媒体を具備し、
前記命令は、
少なくとも２つの画像を、異なる有効レンズ焦点距離において撮影するためと、
前記少なくとも２つの画像をハイパスフィルタリング（ＨＰ）するためと、
前記少なくとも２つの画像のそれぞれのスペクトル密度（ＳＤ）を推定するためと、
１つ以上のオプティカル効果を生成させるために、前記少なくとも２つの画像を合成して単一の画像にする前に、前記少なくとも２つの画像の前記それぞれの推定をローパスフィルタリング（ＬＰ）するためのものである物品。
【請求項３８】
前記命令は、前記少なくとも２つの画像内の対応する画素ロケーションにある画素値を比較することにより、前記少なくとも２つの画像を合成するようにさらに実行可能である請求項３７記載の物品。
【請求項３９】
前記命令は、前記少なくとも２つの画像を合成して単一の画像にして、強化被写界深度効果を生成させるようにさらに実行可能である請求項３７記載の物品。
【請求項４０】
前記命令は、前記比較の後かつ前記画像合成の前に、クローズマスクを適用するようにさらに実行可能である請求項３７記載の物品。
【請求項４１】
前記命令は、前記比較の前にダウンサンプリングするようにさらに実行可能である請求項３７記載の物品。
【請求項４２】
前記命令は、前記合成の際に使用するための合成マスクを結果として生じる画素ごとに、前記少なくとも２つの画像を評価するようにさらに実行可能である請求項３７記載の物品。
【請求項４３】
前記命令は、画像合成の前にアップサンプリングするようにさらに実行可能である請求項４１記載の物品。
【発明の詳細な説明】
【背景】
【０００１】
例えば、スマートフォンまたはパーソナルデジタルアシスタント（ＰＤＡ）のような、ハンドヘルドデバイスの製造業者は、典型的に、提供するデバイスが消費者に吟味される、競争が激しく要求の厳しい消費者市場に参加している。消費者は、数ある中で、使いやすさ、利便性、比較的小さいサイズまたは比較的軽い重量を望んでいるように思われる。
【０００２】
消費者は、統合された機能性を有するデジタルカメラを望んでいることもある。統合された個別の特徴の例は、数ある中で、ＧＰＳ能力、コンパス能力、または、インターネットにワイヤレスに接続する能力を含む。これらの動作または機能は、例えば、移動局または移動コンピューティングプラットフォームから、利用可能であってもよい。それゆえ、統合されたデジタルカメラに対するものであっても、または、デジタルカメラ能力を提供する移動コンピューティングプラットフォームに対するものであっても、特徴の品質が、消費者購入の要因であると結論付けるのはもっともである。ここでは、統合されたデジタルカメラという用語は、前に説明したタイプの追加の機能性のような、デジタル写真能力を超えた他の統合された機能性を有するデジタルカメラのことを指すが、これらは、単に、統合してもよい可能性のある特徴の例に過ぎないことに留意されたい。例えば、統合されたデジタルカメラは、これらの個別の特徴のうちのいくつかを持つ、これらの個別の特徴のうちの１つを持つ、または、これらの個別の特徴のうちのいずれでもない、他の追加の特徴を統合してもよい。同様に、例えば、パーソナルデジタルアシスタント、スマートセルフォン、移動局、または、移動コンピューティングプラットフォームは、統合されたデジタルカメラを含んでいてもよい。このような製品を提供する製造業者は、このようなデバイスに関係する可能性がある何らかの限定要因を克服する、例えば、比較的制限された物理サイズ、処理電力またはバッテリー寿命を維持しながら、高品質の画像を届ける、という課題に直面することがある。
【概要】
【０００３】
ここでは、さまざまな実施形態が開示されている。簡潔に、例として、１つの実施形態にしたがって、デジタルカメラを備える装置を説明する。カメラは、少なくとも２つの画像を、異なる有効レンズ焦点距離において撮影することが可能である。カメラはさらに、少なくとも２つの画像をハイパスフィルタリング（ＨＰ）し、少なくとも２つの画像のそれぞれのスペクトル密度（ＳＤ）を推定し、１つ以上のオプティカル効果を生成させるために、少なくとも２つの画像を合成して単一の画像にする前に、少なくとも２つの画像のそれぞれの推定をローパスフィルタリング（ＬＰ）することが可能である。
【図面の簡単な説明】
【０００４】
以下の図面を参照して、限定的でなく、網羅的でない実施形態を説明するだろう。ここで、そうではないと特に述べられていない限り、同一の参照番号は、さまざまな図面全体を通して同一の部分を指す。
【図１】図１は、統合されたデジタルカメラの実施形態に対するもののような、画像を合成するためのプロセスの１つの実施形態を示す概略図である。
【図２】図２は、統合されたデジタルカメラの実施形態に対するもののような、レンズぼけカーネルよりもはるかに大きいサイズを有するデジタルフィルタの１つの実施形態を示す概略図である。
【図３】図３は、統合されたデジタルカメラの実施形態に対するもののような、画像をフィルタリングするためのプロセスの１つの実施形態を示す概略図である。
【図４】図４は、統合されたデジタルカメラの実施形態に対するもののような、画像をフィルタリングするためのプロセスの別の実施形態を示す概略図である。
【図５】図５は、統合されたデジタルカメラの実施形態に対するもののような、画像を合成するためのプロセスの別の実施形態を示す概略図である。
【図６】図６は、統合されたデジタルカメラの実施形態を含んでもよいもののような、移動コンピューティングプラットフォームまたは移動コンピューティングデバイスの１つの実施形態を示す概略図である。
【図７】図７は、統合されたデジタルカメラの実施形態に対するもののような、モルフォロジープロセスの１つの実施形態を示す概略図である。
【図８】図８は、図１の実施形態の一部の実施形態をさらに詳細に示す概略図である。
【図９】図９は、図５の実施形態の一部の実施形態をさらに詳細に示す概略図である。
【詳細な説明】
【０００５】
以下の実施形態の説明では、その一部を形成する添付図面について言及され、ここでは、例示として、請求されている主題事項の特定の実施形態が示されている。他の実施形態は、例えば、構造的な変更のような、なされることがある変更または変化を含んでもよいことを理解すべきである。ここで説明するものを含むすべての実施形態、変更または変化は、請求されている主題事項に関する範囲から逸脱することを意図していない。
【０００６】
特有の装置上の、あるいは、専用目的コンピューティングデバイス上または専用目的コンピューティングプラットフォーム上のメモリ内に記憶されている２値デジタル信号における、もしくは、こうした信号に適用される、動作のアルゴリズムまたは動作のシンボル表現の観点から、ここに含まれる詳細な説明のうちのいくつかの部分が提示されてもよい。この特定の明細書の文脈では、特有の装置という用語またはこれに類するものは、いったん、プログラムソフトウェアからの命令にしたがった特定の動作を実行するようにプログラムされると、汎用コンピュータを含んでもよい。アルゴリズム記述またはシンボル表現は、信号処理において、または、それらの働きの内容を当業者に伝えるための関連技術において、当業者により使用される技術の例である。アルゴリズムは、ここでは、ならびに、一般的には、自己矛盾のない動作のシーケンスであると、または、所望の結果につながる類似する信号処理であると考えられる。この文脈では、動作または処理は、物理的量の物理的操作を伴う。必ずしもそうではないが、典型的に、このような量は、記憶され、転送され、合成され、比較され、または、そうでなければ、操作されることが可能な電気信号または磁気信号の形をとってもよい。主に一般的な用法として、ビット、データ、値、エレメント、シンボル、キャラクタ、項、数字、数値、または、これらに類するものとして、このような信号のことを指すことが、時には便利であることがわかっている。しかしながら、これらの用語または類似する用語のすべては、適切な物理的量に関係付けられるべきであり、単に便利なラベルに過ぎないことを理解すべきである。そうではないと特に述べられていない限り、以下の議論から明らかなように、この明細書全体を通して、“処理する”、“計算する”、“算出する”、“決定する”、または、これらに類するもののような用語を利用する議論は、専用目的コンピュータあるいは類似する専用目的電子コンピューティングデバイスのような、特有の装置のアクションまたはプロセスのことを指すことが正しく認識される。それゆえ、この明細書の文脈では、メモリ内、レジスタ内、または他の情報記憶デバイス内や、送信デバイス内や、あるいは、専用目的コンピュータまたは類似する専用目的電子コンピューティングデバイスのディスプレイデバイス内の、物理的な電子量または磁気量として典型的に表されている信号を、専用目的コンピュータまたは類似する専用目的電子コンピューティングデバイスが、操作または変換することが可能である。
【０００７】
ここで使用されるような用語“および”と、“および／または”と、“または”は、典型的に、用語が使用される文脈に少なくとも部分的に依存して、さまざまな意味を含んでもよい。典型的に、Ａ、Ｂ、またはＣのようなリストを関係付けるために使用される場合の、“および／または”ならびに“または”は、ここでは包含的な意味で使用されるＡ、Ｂ、およびＣを意味することを意図しているとともに、ここでは排他的な意味で使用されるＡ、Ｂ、またはＣを意味することを意図している。この明細書全体を通しての“１つの実施形態”または“ある実施形態”への参照は、請求されている主題事項の少なくとも１つの実施形態中に含まれている実施形態に関連して説明する、特定の特徴、構造、または特性のことを指すことを意図している。しかしながら、この明細書全体を通してさまざまな場所に“１つの実施形態”または“ある実施形態”というフレーズが登場することは、必ずしもすべてが同じ実施形態のことを指しているわけではない。さらに、特定の特徴、構造、または特性を、１つ以上の実施形態において組み合わせてもよい。ここで説明する実施形態は、デジタル信号を使用して動作する、システム、機械、デバイス、エンジン、または装置を含んでもよい。このような信号は、電子信号、光信号、電磁信号、または、２つ以上の別々のロケーション間で情報を提供するのに使用してもよい何らかの形のエネルギーを含んでもよい。
【０００８】
移動コンピューティングプラットフォームは、これらに限定されないが、ハンドヘルドセルフォン、パーソナルデジタルアシスタント（ＰＤＡ）、移動局、または、移動局デバイスを含む、さまざまなハンドヘルドデバイスを含んでいる。典型的に、これらのデバイスの製造業者は、消費者からの興味を捕らえるように典型的に意図されている多様な機能的有用性を組み込むことにより、競争上の優位性を追求する。これらのデバイスに対する向上は、グローバルポジショニング（ＧＰＳ）、音楽プレーヤー、インターネットブラウジング、デジタル静止カメラ能力またはデジタルビデオカメラ能力等を含んでもよい。
【０００９】
しかしながら、デジタル静止カメラまたはデジタルビデオカメラに対する高度な能力または改善された能力を消費者に提供することは、時には、このようなデバイスの製造に対する課題であるとわかることがある。例えば、典型的な消費者は、一般的に、主に写真技術が成熟したおかげで、写真画像を評価する幅広い経験を有していることがある。また、一般的に、写真の視覚的な性質は、消費者による直接的な比較に向いていることがある。対照的に、このようなデバイスに関連して提供されている他の形の機能性または他の能力は、属性により容易に比較することができない。例えば、製品が提供するものとして、比較的最近導入されたことに少なくとも部分的に起因して、ＧＰＳ機能は、消費者にとって評価するのがより難しいことがある。また、典型的な消費者は、このような提供に対して完全な技術的な理解を有していないことがある。
【００１０】
製品が提供するものとして、比較的成熟したものであることに少なくとも部分的に起因して、画像品質に対するデファクトスタンダードまたはデジタルカメラに対する使いやすさが、消費者の心の中に存在することがあるだろう。こうした消費者期待のデファクトスタンダードを満たすかまたは超えることが、技術的な発展を刺激し続ける。しかしながら、先に言及したように、製造業者は、統合されたデジタルカメラ製品提供に関係する可能性があるいくつかの限定要因を克服する、例えば、比較的制限された物理サイズ、処理電力またはバッテリー寿命をものともせず高品質な画像を届ける、という課題に直面することがある。要約すると、例えば、サイズ、性能、または、バッテリー寿命を含むデバイスの他の特徴を妥協することなく、統合されたデジタルカメラのようなハンドヘルドデバイスによりレンダリングされる高品質な画像に対する消費者の要望を満足させるために、製造業者間で進行中の競争がある。例として、移動コンピューティングデバイスまたはデスクトップコンピューティングデバイスのような、ハンドヘルドデバイスとして適格でないデバイスに対してさえ、類似する問題が存在することにも留意されたい。それゆえ、これらのデバイスはまた、請求されている主題事項の範囲内に含められるように意図されている。
【００１１】
写真技術および関連技術の発展におけるいくつかのハイライトを簡単にレビューすることが、有益であることがある。ブラウニーカメラは、１９００年に売り出され、ポイントアンドシュートカメラの１つの実施形態を表している。このデバイスは、ポータブルで、使用が簡単で、当時の消費者にとって便利だったメディア処理の方法を備えていた。１９３５年には、コダクローム（登録商標）フィルムおよび処理が、カラー写真技術に革命を起こした。フィルム処理の改善に少なくとも部分的に起因して、鮮明で、実物通りのカラーが実現された。１９６０年代には、インスタントカメラ（および、関係するフィルム）が、即座の結果というエレメントを写真技術に導入した。後のデジタル写真技術の導入は、歴史的にアマチュアとプロの双方の写真家に訴求してきたこうした発展に類似する利益：利便性、使いやすさ、インスタントの満足感、満足の行く画像品質等を具現化するものとしてここでは見なされる。しかしながら、デジタル写真産業は、要望の観点から、まだ完全に成熟しておらず、完全に飽和しておらず、完全に成長しきっていない。それゆえ、技術的なイノベーションが、望まれ続けている。
【００１２】
今日、スマートセルフォンまたはパーソナルデジタルアシスタント（ＰＤＡ）のような、ハンドヘルドデバイスには、必ずしもそうではないが、典型的に、以前に示唆したように、数ある中で、デジタルカメラ、ＧＰＳ能力、コンパス、インターネットにワイヤレスに接続する能力を含んでもよいさまざまな特徴が付いている。統合されたデジタルカメラのような、デジタルカメラに関して、製造業者に立ちはだかる課題は、使いやすさや、利便性や、あるいは、サイズまたは重量の増加を犠牲にすることなく、高品質な画像を提供することである。以下でさらに詳細に説明するように、ある実施形態の１つの態様は、統合デバイスの能力を用いて、デジタルカメラの使用に影響を与え、できれば、向上させるためのものである。
【００１３】
例えば、１つの実施形態では、画像を取り込むことが可能なデジタルカメラは、少なくとも２つの画像を、異なる有効レンズ焦点距離において取り込む能力も有していてもよい。同様に、デジタルカメラは、異なる有効焦点距離において取り込んだ画像を合成して単一の画像にし、このような合成プロセスとともに、さまざまなオプティカル効果を生成させる能力も有していてもよい。１つ以上の物理レンズにより生成されることがあるもののような、この方法で生成されることがある効果の例は、例えば、強化被写界深度（ＥＤＯＦ）効果の提供、広角レンズ効果の提供、または、回転された焦点面効果の提供を含んでもよいが、これらは、単に例に過ぎず、他の効果もまた、生成させることが可能である。以下に続く議論では、ＥＤＯＦ効果を生成させるための処理が、単に例として提供されている。たったいま述べたもののような、他の多くのタイプの効果を、処理を通して作り出すまたは生成させることができる。同様に、１つ以上の物理レンズに対する光学と類似しない効果とともに、減少された焦点深度（ＲＤＯＦ）効果も生成させることができる。
【００１４】
先に記したように、１組の課題が、統合されたデジタルカメラの製造業者に立ちはだかっている。典型的に、または、歴史的に、フィルムからデジタル写真への移行は、時には、画像品質対利便性または即座の結果のトレードオフを生成させてきた。それゆえ、これらの特徴または利点のうちのいくつかを提供するデバイスが、求められ続ける。
【００１５】
これらの課題のうちの１つの態様は、例えば、所定のデバイスのサイズに関する。さまざまな部品の固定されたサイジングは、例えば、いくつかのシチュエーションでは、シーンを取り込むあるものの能力を低下させる傾向があるかもしれない。１つの特有の限定は、例えば、アパーチャサイズに関する。例えば、固定されたアパーチャに対して、これは、生成されることになる画像に対する被写界深度に影響を及ぼすことがある。レンズ系の焦点範囲または被写界深度は、オブジェクトの“焦点が合って”いるように見える範囲または距離のことを指す。例えば、サイズに少なくとも部分的に依存して、固定されたアパーチャを持つカメラは、多数のオブジェクトの焦点が合っている単一のフレーム内でそれぞれ可変の距離にあるこれらのオブジェクトを含む単一の画像をレンダリングするのに難しさを有していることがある。しかしながら、被写界深度は、典型的に、大きなアパーチャに対してはより浅く、小さなアパーチャに対してはより深い。ここでは、‘焦点が合っている’という用語が、技術用語として意図されていることにも留意されたい。‘焦点が合っている’、画像またはフレーム中のオブジェクトに対して、オブジェクトが完璧に‘焦点が合っている’ことは要求されない。‘焦点が合っている’と考えられるオブジェクトに対して、どのくらいの焦点許容差が最先端の技術により利用可能であるかを当業者は理解する。
【００１６】
物理的な制限を克服するための１つの可能性ある代替実施形態は、移動コンピューティングプラットフォーム上または類似するデバイス上で実行できる可能性がある画像処理の態様を利用することを含んでもよい。例えば、さまざまなフィルタの適用、または、画像を表すデジタル信号を変化させる他のアプローチの適用が、例えば、さまざまなオプティカル効果を実現するために用いられてもよい。繰り返しになるが、当然、先に示唆したように、利用可能なメモリ、利用可能な処理電力、または、利用可能なバッテリー寿命が、追加の考慮事項である。それでもなお、このような画像処理の１つの例は、異なる焦点深度を持つ２つ以上の画像を合成して単一の画像にし、単一の画像に対する強化被写体深度（ＥＤＯＦ）効果を生成させるプロセスの適用を含む。図１を参照しながら、画像を合成するプロセスを以下で説明する。以下では、当然、少なくとも２つの画像を処理して合成するための１つの特定の実施形態を説明する。しかしながら、他の実施形態では、例えば、２つより多い画像を合成して、類似の結果を生じさせてもよい。同様に、他の実施形態は、図１の特定の実施形態と他の点で異なってもよい。
【００１７】
ここで図１を参照すると、例えば、デジタルカメラ能力を持つ、統合されたデジタルカメラまたは移動コンピューティングプラットフォームのような、デジタルカメラ能力を含むデジタルデバイスを使用して、対象のシーンを取り込むことに関連して、対象のシーンの１つより多いデジタル画像を生成させるために、デバイスを用いてもよい。特定の実施形態では、たったいま言及したように、少なくとも２つのデジタル画像を伴ってもよい。しかしながら、繰り返しになるが、他の実施形態は、２つより多いデジタル画像を含んでもよい。これらの目的のために、特定の実施形態は、それぞれ異なる焦点距離における、別々のデジタル画像または異なるデジタル画像を生成させることが可能であると仮定する。さらに詳細に論じるように、例えば、この能力は、一般に、最先端のデジタルカメラにより存在する。
【００１８】
それゆえ、再び図１を参照すると、２つのデジタル画像を生成させて、処理のためにメモリ中に維持してもよく、２つのデジタル画像は、図１において、それぞれ、参照番号１０１ａおよび１０１ｂのことを指してもよい。画像が生成された後に、図１においてボックス１０３によりさらに示されている、画像位置合わせまたはフレーム登録の方法が適用されてもよい。２つの画像の異なる部分の後の合成を可能にしながら、結果の合成画像における対象シーンの位置合わせ不良に対する可能性を減少させるために、フレーム登録が適用されてもよい。フレーム登録または画像位置合わせのさまざまな技術が可能であり、請求されている主題事項は、特定のアプローチに範囲を限定されない。しかしながら、以下では、例示の目的のために、１つの特定の例がさらに詳細に提供されている。１つの特定の実施形態では、画像位置合わせが達成された後に、例えば、図１中の処理パス１２５および１３５によりそれぞれ示されている別々の処理を、別々の画像が受ける。
【００１９】
特定の実施形態に対して、図１により示されているように、例えば、それぞれ１０５および１０６において、重み付けされた電力スペクトル推定として図１中で集合的に説明されている、電力スペクトル密度の推定を含むプロセスを、画像１０１ａおよび１０１ｂは、それぞれ、パス１２５および１３５に沿って受ける。電力スペクトル推定は、よく理解されているプロセスであり、ここでさらに詳細に説明しない。しかしながら、１つの特定の実施形態に対して、重み付けされた電力スペクトル推定プロセスは、従来の電力スペクトル密度推定を超える処理を伴ってもよい。この文脈では、重み付けされた電力スペクトル推定プロセスという用語は、電力スペクトルの推定を決定するために、２つ以上の別々に取得された電力スペクトル推定を合成することを指す。重み付けという用語は、最終の推定を形成するために、別々に取得された推定が、等しい重みで合成されてもよく、または、合成されなくてもよいことを示唆する。１つの実施形態に対して、ここより後で、例えば、図８に関連して、さらに詳細に例を説明するだろう。しかしながら、例は、特定の実施形態のものである。それゆえ、請求されている主題事項は、図８の例のような、特定の重み付けされた電力スペクトル推定プロセスに限定されることを意図していない。重み付けされた電力スペクトル推定プロセスの多くのバリエーションが可能であり、すべてが、請求されている主題事項の範囲内に含まれることを意図している。例えば、デジタル画像処理に対するもののような、１つの特定の実施形態では、２つの次元に沿って、電力スペクトル推定が実行されてもよい。しかしながら、他の実施形態は、例えば、２つより多い次元を用いてもよい。
【００２０】
図８は、例えば、１０５または１０６により表されている、図１の実施形態の態様を、さらに詳細に示す概略図である。８０１、８０２、および８０３のような、さまざまなパラレルな信号処理パスが示されている。このもののような実施形態は、Ｎ個の信号処理パスを有していてもよい。特定の信号処理パスは、対象の電力スペクトルの別々の推定を発生させる。推定は、ｗｉにより重み付けされ、ここで、この例では、ｉは、１からＮまでの範囲の正の整数を含む。これらの値は、例えば、対象の帯域中の電力の推定として見なされることがある。したがって、この例では、パスに沿って、重み付けのために使用されることになる推定を取得するために、典型的に、より低い周波数コンテンツをこのフィルタリングされるデジタル画像から除去するまたは減少させるように、デジタル画像がフィルタリングされ、電力スペクトル密度の推定が取得され、より高い周波数コンテンツを除去するまたは減少させるように、推定が再びフィルタリングされる。さまざまな実施形態に対して、別々の信号パスは、所望の場合には、異なるフィルタを、または、できれば、デジタル画像の異なる部分を、含んでもよいことに留意されたい。この特定のフィルタリング構造もまた、以下で、図５の実施形態の議論に関連して、いくらか詳細に説明する。
【００２１】
特定の実施形態では、たったいま説明したような、重み付けされた電力スペクトル推定プロセスは、図１において１０７および１０８によりそれぞれ示されているような、モルフォロジー処理のための状態に、画像をレンダリングしてもよい。重み付けされた電力スペクトル推定に対して論じたように、請求されている主題事項が、以下で説明する例のような、特定のモルフォロジープロセスに限定されることを意図していない。繰り返しになるが、多くのバリエーションが可能であり、すべてのバリエーションが、請求されている主題事項の範囲内に含まれることを意図している。モルフォロジー処理の適用の後で、画像間の比較は、図１において１０９により表されているような、合成マスクの発生を結果として生じさせる。特定の実施形態に対して、画像１０１ａと１０１ｂとの比較から合成マスクが発生された後で、図１において１１１により示されているように、オリジナルの画像または最初の画像を合成するために、発生された合成マスクが適用されてもよい。
【００２２】
特定の実施形態に対する画像合成は、図１において１１３により表されているような、合成された画像のレンダリングを結果として生じさせることがある。当然、先のものは、このような処理に対する１つの潜在的なワークフローを示すように、画像合成プロセスの１つの例示的な実施形態を提供するよう意図されている。以下では、例示の目的のために、別の可能性ある実施形態の詳細な説明も提供される。当然、これらの実施形態は、限定ではなく例示であるように意図されている。それゆえ、請求されている主題事項が、ここで説明する特定の実施形態のうちのいずれかに限定されることは意図されていない。これらの例からの多くのバリエーションが可能であり、このようなバリエーションは、請求されている主題事項の範囲内に含められるように意図されている。
【００２３】
図３は、ハイパスデジタルフィルタ２０１のデジタル信号１０１への適用を示している。この実施形態では、信号１０１は、デジタル画像を表す、画素信号値のような、さまざまな信号値を含んでいる。示されているように、デジタルフィルタ２０１に続いて、２０３として示されているスペクトル密度推定プロセスが示されている。しかしながら、以下の説明から明らかになるように、図３により示されているアプローチは、不利点を持っている。特に、図１を参照して説明したアプローチとは異なり、例えば、別々のスペクトル密度推定は、合成されない。図３のこの態様を、以下でさらに詳細に説明する。
【００２４】
しかしながら、画像処理に対する別の潜在的な技術的事項は、デジタルフィルタ長に関する。この態様は、図２により示されている。図２は、例えば、デジタル画像を処理するためにデジタルフィルタが用いられる場合に、デジタル画像を生成させるために用いられるレンズに対するレンズぼけカーネルよりも、フィルタサイズが大きいべきであることを示している。例えば、非常に短いデジタルフィルタサイズが用いられる場合には、最終的な画像を生成させるためのデジタルフィルタ処理は、実際には、誤ったエッジまたはハローのような、アーティファクトを生成させるかもしれない。例えば、図２は、図中で、垂直方向に十分でない長さのデジタルフィルタを示しており、これは、最初の信号またはオリジナルの信号を不必要にぼけさせるかもしれない。しかしながら、レンズぼけカーネルよりも大きいフィルタサイズが用いられる場合には、解像度またはシャープネスの著しい低下が、特定のデジタル画像のデジタルフィルタ処理に起因するはずはない。この文脈では、レンズぼけカーネルという用語は、特定のレンズと同等の画像のぼけを生成させるカーネルフィルタの長さのことを指す。
【００２５】
図４は、図２および図３により示されている技術的事項に少なくとも部分的に取り組むために適用されてもよい実施形態を示している。さらに詳細には、図４の実施形態は、図４において３０５により表されているスペクトル密度推定の実行に加えて、ハイパスフィルタ３０３とローパスまたは平均化フィルタ３０７とを用いる。この特定の実施形態におけるフィルタ３０３および３０７の組み合わせは、図４により示されているように、２次元フィルタに対して、双方の次元において、Ｎ＋Ｋの有効フィルタ長を生成させる。先に示したように、デジタル画像を生成させるために使用される特定のレンズに対するレンズぼけカーネルよりも、Ｎ＋Ｋが大きい場合に、フィルタ長は十分であるはずである。当然、例えば、特定のレンズを含むさまざまな要因に依存して、ぼけカーネルは、およそ数十画素であってもよい。それゆえ、メモリサイズ、処理電力、または、バッテリー寿命に関連する技術的事項は、例えば、以下でさらに詳細に説明するように、移動コンピューティングプラットフォームのような、統合されたデジタルカメラまたは他のハンドヘルドデバイスに対する追加の複雑性を提示するかもしれない。
【００２６】
しかしながら、図３の実施形態とともに先に言及した別の課題事項は、生成された出力信号におけるノイズロバスト性に関する。特定の出力信号に対するノイズロバスト性の改善に取り組むためのアプローチは、より大きなサイズのデジタルフィルタを用いることであってもよいと、ある人は、直感的に予測することができる。しかしながら、残念ながら、このようなアプローチは、典型的に、結果として生じる信号のノイズロバスト性を改善しないだろうことが証明されていることがある。しかしながら、その代わりに、このような事項は、ある実施形態では、例えば、図１および図８の実施形態に関連して論じたような、重み付けされた電力スペクトル密度推定を伴うプロセスを用いることにより、扱われてもよい。例えば、所望の場合には、このようなアプローチを実現するために図４の実施形態が適用されてもよいが、当然、このアプローチは、単に例示の目的のために提供されているに過ぎない。請求されている主題事項は、図４により表されているアプローチに限定されることを意図していない。
【００２７】
電力スペクトル密度（ＰＳＤ）推定論理からの結果は、フィルタサイズの増加が、解像度を改善させることがあるが、一般的に、ノイズロバスト性を改善しないということである。例えば、先に論じた実施形態により処理されることがあるようなデジタル画像に対して、典型的に２次元フィルタが用いられる。それでもなお、１次元ピリオドグラムスペクトル密度推定器を使用して、基礎原理となる推定原理が示されてもよい。以下では、例えば、オメガ（ω）におけるフェーザーまたはピリオドグラムを適用した、長さＮ（Ｎは正の整数である）のデジタルフィルタのためのＺ変換を用いてもよい。同様に、以下の関係を使用して、ゼロのオメガ（ω）におけるピリオドグラムを計算することが可能であり、ゼロのオメガ（ω）におけるピリオドグラムは、ＤＣまたは本質的に変化しない信号値レベルを含む典型的な入力信号を表す。
【００２８】
ここでｎ（ｉ）として示されているノイズに対する項をプラスした、Ａの一定振幅を、デジタルフィルタに対する入力信号が含んでいると仮定する。ｎ（ｉ）に対する統計量は、ゼロ平均を有するガウスであると仮定する。例えば、以下の関係は、デジタルフィルタ長にかかわらず、係数ｓ（ｉ）を有する何らかのデジタルフィルタからの出力信号のノイズロバスト性が、例えば、特定のフィルタの増加する長さにより改善せず、ｎ（ｉ）の分散に関連することを明示する。
【数１】
2013513318.tif 000003
【数２】
2013513318.tif 000004
【数３】
2013513318.tif 000005
【数４】
2013513318.tif 000006
【００２９】
しかしながら、図４の実施形態に戻ると、図４は、すぐ上で示されている解析結果にかかわらず、出力信号のノイズロバスト性を改善するために適用されてもよいアプローチを提供する。２０に等しいＮの長さを持つデジタルフィルタを考える。フィルタ長を２倍して４０にした場合に、長さ４０のデジタルフィルタは、長さ２０のデジタルフィルタよりも良好な解像度を提供するはずである。しかしながら、先に論じたように、それぞれのフィルタからの出力信号のノイズロバスト性は、おおよそ同じか、または、実質的に同じであるはずである。しかしながら、Ｎを４０に増加させる代わりに、長さ２０の２つのピリオドグラムを計算し、推定を平均する場合を考える。メモリ利用の観点から、これらのアプローチは、本質的に、デジタル信号処理に対して同じ数のロケーション、つまり、４０個のロケーションを用いる。しかしながら、後者のアプローチは、この例では、等しい重みが実際に推定に適用される以外は、先に説明したような、重み付けされた電力スペクトル推定プロセスの適用に類似している。このような提案されている構造において、ノイズロバスト性が改善される。しかしながら、長さ２０のデジタルフィルタと比較して解像度は改善されない。それゆえ、実際には、解像度とノイズロバスト性の間で完全なトレードオフがなされる。しかしながら、間近の特定のアプリケーションに関連するような、さまざまなパラメータに依存して、異なるトレードオフが望ましいことがある。例えば、等しい重み以外の重み付けを用いることにより、これを実現することができる。例えば、図８において示されている実施形態により、これが示されている。
【００３０】
それゆえ、所望のように、改善されたノイズロバスト性を持つデジタル画像を発生させるための画像処理に対して、図４の実施形態が用いられてもよい。画像を合成するために、例えば以下で論じる図５の実施形態により、このアプローチが実現されてもよい。いくつかの例を提供するために、ＤＳＰ、マイクロ制御装置、または、マイクロプロセッサのような、さまざまな専用プログラム化コンピューティングプラットフォームを使用して、先の方法の実施形態が適用されてもよいことに、ここでは留意されたい。さらに、我々の例では、オーバーラップしないデジタル信号サンプル値を使用する構成により、スペクトル密度推定が実行されたが、他の実施形態では、デジタル信号サンプルの何らかのオーバーラップがあると仮定すると、さらに改善されたノイズロバスト性が結果として生じるはずである。それゆえ、請求されている主題事項は、完全にオーバーラップしない電力スペクトル密度推定に範囲を限定されない。
【００３１】
図５を参照すると、統合されたデジタルカメラに対するもののような、画像を合成するプロセスの別の実施形態が示されている。しかしながら、繰り返しになるが、この実施形態は、単に、例示的な目的のために提供されている。請求されている主題事項がこの特定の実施形態に限定されることは意図されていない。図１の実施形態同様に、少なくとも２つの画像が用いられている。しかしながら、他の実施形態では、類似する方法で複数の画像が用いられてもよい。当然、図１の実施形態と同様に、図５では５１０により示されている画像登録またはフレーム登録が実行されることに留意されたい。
【００３２】
フレーム登録に対する多数のアプローチのうちの何らかの１つが用いられてもよい。請求されている主題事項は、フレーム登録に対する特定のタイプまたは特定のアプローチに限定されない。一般的に、フレーム登録は、写真技術においてよく知られており、別々に取り込まれた画像が、画像間で参照されることがある共通のエレメントに少なくとも基づいて、位置合わせされるプロセスを伴っている。多数のデジタル画像が取り込まれ、処理され、単一の画像を作り出すように合成される現在のケースでは、典型的に、画像間のフレーム登録または位置合わせが望ましいことがある。画像間の適切なフレーム登録がなければ、後続する画像の処理または合成が、結果として、画像品質の低下につながるかもしれない。デジタル写真技術において用いられるフレーム登録または画像位置合わせの１つの方法は、２００７年１１月１２日に出願され、“ブロックベースの画像安定化”と題され、現在請求されている主題事項の譲受人に譲渡され、参照によりその全体がここに組み込まれている、米国特許出願シリアル番号第１１／９３８，７１１号であるＡｔａｎａｓｓｏｖ氏ら（ここから後では、Ａｔａｎａｓｓｏｖ）において説明されている。当然、フレーム登録の他の方法を用いることが可能であり、請求されている主題事項の範囲を何らかの特定のアプローチに限定することはここでは意図されていない。Ａｔａｎａｓｓｏｖは、単に、例示的な例として、フレーム登録またはデジタル画像位置合わせの１つの方法を説明しているに過ぎない。
【００３３】
先述の特許出願において説明されているアプローチは、少なくとも２つの画像のような、多数の画像に共通する画素または画素のブロックを用いてもよい。これらの画素または画素のブロックは、画像を合成するための基準ポイントとして識別されてもよい。さらに、フレーム登録またはブロック適応登録のプロセスは、共通の画素または画素のブロックを画像間で識別することができる場合に、多数の他の効果を生成させるのに有用であることがわかっていることに留意すべきである。例えば、庭にいる地の精がかぶっている帽子というポイントのような、基準オブジェクトとともに、クローズアップ画像が取り込まれてもよい。第１の画像は、背景の庭とともに、地の精の帽子のクローズアップを含んでもよい。地の精の帽子という基準ポイントを含むことがある、類似する視点または異なる視点からの多数の後続する画像が取り込まれてもよく、ここで、これらの画像は、異なる焦点目標を有している。この方法により、多数のオプティカル効果を生成させることが可能であってもよく、そのうちのいくつかは、まだ写真技術に知られていないか、または、そうでなければ、従来とは異なる。例示の目的のために提供され、請求されている主題事項の適用を限定するように意図されていない可能性ある効果の例は、魚眼レンズ、パノラマ、または、歪められた現実を含んでもよい。
【００３４】
別の実施形態では、対話機能または対話動作を含むことが望ましいことがあり、ここで、何らかの方法で合成されるように意図されていてもよいいくつかの画像内で、１つ以上の特定の基準ポイントを識別する能力を、ユーザが有することがある。さらに別の実施形態では、合成のために識別または選択された画像のグループに適用されてもよい効果のメニューを含むことが望ましいことがある。さらに別の実施形態では、特定のオプティカル効果を実現するために、遠近法または視点、距離、焦点距離等を含む多数の画像を効果的に取り込む方法をユーザに説明する対話チュートリアルを有することが望ましいことがある。移動コンピューティングプラットフォーム、デスクトップコンピューティングプラットフォーム等のような、画像処理のために利用することができる、任意の数のまたはさまざまな専用コンピューティングプラットフォーム上で、これらのさまざまな画像効果が実現されてもよい。このようなコンピューティングプラットフォームは、デジタルカメラ能力を含んでいてもよく、または、含んでいなくてもよい。コンピューティングプラットフォームは、例えば、他のところで作り出された、受け取ったデジタル画像を処理してもよい。
【００３５】
再び図５を参照すると、画像登録の後で、後の処理の前の調整の一形態として、処理されることになる画像が、ダウンサンプリングされてもよく、または、サブサンプリングされてもよい。図２に関連して先に論じたように、レンズぼけカーネルを超えるフィルタ長を持つデジタルフィルタリングを適用することが望ましいことがある。しかしながら、先に論じたように、これは、数十画素以上を含むことがある。典型的に、およそ数十画素のような、より大きなフィルタサイズは、いくつかのシチュエーションでは、必ずしもそうではないが、典型的には、例として、ハンドヘルドコンピューティングデバイスまたはプラットフォーム、あるいは、移動コンピューティングデバイスまたはプラットフォームの能力を超える量のような、かなり大きな量の、メモリ、処理電力、および、エネルギーの使用を暗示することがある。それでもなお、それぞれパス５２５および５３５に対する５２０により図において示されているような、処理の前のダウンサンプリングまたはサブサンプリングによって、結果として生じる画像の観点から、著しい品質の損失がなく、これらの問題に対処できる。
【００３６】
図４の実施形態に類似する１つのアプローチは、例えば、ダウンサンプリングの後に、ハイパスフィルタリングや、スペクトル密度推定の適用を伴ってもよく、その後にローパスフィルタが続き、別々のスペクトル密度推定を効果的に重み付けする。以前に、平均化を論じた。しかしながら、図８の実施形態により示されているように、平均化よりも、特定の適用に適したより複雑な重み付けを適用するため、ローパスフィルタを用いてもよい。しかしながら、当然、平均化の実施形態が除外されることも意図していない。図５の実施形態に対して、例えば、パス５２５および５３５によりそれぞれ示されているように、２つの画像が類似する方法で処理されてもよい。ここで図５を参照すると、５２０において、画像をサブサンプリングまたはダウンサンプリングして、サブサンプリングされた画像またはダウンサンプリングされた画像を生成させてもよい。その後、５３０において、サブサンプリングされた画像またはダウンサンプリングされた画像を、ハイパスフィルタリングしてもよい。ハイパスフィルタリング後に、例えば、５４０におけるように、それぞれの電力スペクトル密度を推定してもよい。電力スペクトル密度推定は、よく知られており、ここで詳細に説明しない。それぞれの電力スペクトル密度が推定された後で、５５０において、結果をローパスフィルタリングしてもよい。重み付けされた電力スペクトルの推定のような、電力スペクトルの推定を伴う実施形態では、典型的に、二乗演算が実現される。例として、さまざまな図で、例えば、図４において３０５により、図５において５４０により、または、図８において、これが示されている。請求されている主題事項は、この演算の特定の構成に範囲を限定されない。さまざまな実施形態は、さまざまなアプローチを用いてもよい。例えば、１つの実施形態では、レジスタ値が別のレジスタにコピーされてもよく、双方とも、オペランドとして、演算装置に提供されてもよい。同様に、図９は、別の可能性ある実施形態を示している。図９の実施形態は、テーブルルックアップ構成を示している。請求されている主題事項が、何らかの特定の構成に範囲を限定されることを意図していない。むしろ、ありとあらゆる、可能性ある構成が、請求されている主題事項に含まれることを意図している。
【００３７】
先のプロセスは、所定の画素ロケーションに対して２つの値があるように、デジタル画像内の画素に適用されてもよい：図５において示されているように、１つは、画像１、例えば、パス５２５に対して生成されたものであり、１つは、画像２、例えば、パス５３５に対して生成されたものである。この時点で、５６０におけるように、所定の画素ロケーションに対して、これらの値が比較されてもよい。１つの特定の実施形態では、例えば、特定の画素ロケーションに対して、より高い画素値が示しているのは、より高い値を生成させた画像が、合成された画像中のそのロケーションに対して画素値を供給しているはずであるということである。より高い値は、それを生成させた画像が、特定の画素ロケーションにおいて、より多くの高周波数コンテンツを有していることを示唆している。それゆえ、そのロケーションにおいてより高い周波数コンテンツを有する画像が、そのロケーションに対する画素値を提供するために使用されてもよい。特定の実施形態では、別々の画像中の対応するロケーションにおけるそれぞれの画素値を使用して、画像の画素ロケーションにわたって、この比較が行われてもよい。しかしながら、代替的に、別の実施形態として、例えば、ブロック５６０および５６５により示されているように、０と１との間の値（０と１を含む）が用いられてもよい、グレースケール値が用いられてもよい。同様に、合成された画像の特定の画素ロケーションに対して、特定のロケーションにおける値は、例えば、２つの別々の画像に対する対応するロケーションにおいて、これらの画像から取得した重み付けされた値を含んでいてもよい。
【００３８】
しかしながら、２値マスクを用いる実施形態では、２進値‘１’および‘０’を使用する１つの実施形態において、特定の画素ロケーションに対する特定の画像画素値の選択が達成されてもよい。したがって、‘１’は、その画素ロケーションにおける、２つの画像のうちの１つからの画素値の選択を示してもよい一方で、‘０’は、そのロケーションにおける、２つの画像のうちの他のものからの画素値の選択を示してもよい。しかしながら、代替的に、図５においてブロック５６０および５６５により示されているように、０〜１の範囲内（０と１を含む）に値が限定されているロケーションに対して、グレースケール値が生成されてもよい。
【００３９】
合成された画像に対する画素ロケーションにわたって値が割り当てられた後に、５７０により示されているように、モルフォロジープロセスまたはクローズマスクが適用されてもよい。これは単に例示的な例に過ぎないが、ここでは３ｘ３のブロックが適用される。例として、３ｘ３のブロックサイズで、値の画像アレイがスキャンされてもよい。最初のパスでは、天井プロセスが適用されてもよい。これが行われた後に、類似する方法で床プロセスが適用されてもよい。例えば、天井プロセスに対して、３ｘ３のブロック内の画素の大半が‘１’である場合に、すべての画素に‘１’が割り当てられてもよい。同様に、床プロセスに対して、３ｘ３のブロック内の画素の大半が‘０’である場合に、すべての画素に‘０’が割り当てられてもよい。さまざまな天井または床のモルフォロジープロセスが可能であり、請求されている主題事項が何らかの特定のモルフォロジープロセスに限定されることは意図されていない。しかしながら、以下では、例示的なプロセスの詳細は、例示の目的のために提供されている。繰り返しになるが、この特定の例以外の他のモルフォロジープロセスもまた、請求されている主題事項の範囲内にあることが意図されている。
【００４０】
モルフォロジー処理は、多数の代替的なパラメータを含んでもよい一方で、特定の演算は、任意の数の条件または変数により影響を受けることがある。モルフォロジー処理の方法の以下の例は、単に、特定の構成への適用に限定することなく、単に、方法を示すために、提供されている。しかしながら、限定することなく単に２つの例として、モルフォロジー処理が、２値画像またはグレースケール画像に適用されてもよいことに留意されたい。例えば、以前に説明した実施形態では、ｗ１およびｗ２は、グレースケールマスクを含んでいたが、請求されている主題事項は、当然、この点に範囲を限定されない。
【００４１】
特定の実施形態では、画素を除去する決定は、４つのルールに基づいてもよい。画素は、これらのルールが満たされている場合に、１から０に変更されてもよい。図７において７０１により示されているように、ロケーション［Ｒ，Ｃ］における画素は、８個の近傍を有している。（２、４、６、８とラベル表示されている）水平方向および垂直方向における４個の近傍は、近い近傍とも呼ばれることがある。（１、３、５、７とラベル表示されている）斜めの画素は、遠い近傍とも呼ばれることがある。１つの特定の実施形態に対して、以下のような４個のルールが適用されてもよい。
【００４２】
ルール１：考慮中の画素は、現在１である。画素が１でない場合には、ルールが満たされないので、何もせず、別の画素に移動する。
【００４３】
ルール２：画素の近い近傍のうちの少なくとも１つは、０である。言い換えると、画素が１であり、かつ、０でない画素によって完全に囲まれている場合には、この繰り返しにおいてそのままであることになる。ルールが満たされないので、別の画素に移動する。
【００４４】
ルール３：画素は、１つより多い、１である近傍を有している。画素が、１つだけを有している場合には、ルールが満たされないので、別の画素に移動する。
【００４５】
ルール４：画素が、その連結されていない近傍に結果としてなる場合に、画素を変更することはできない。図７において例７０３により示されているように、この文脈では、連結されていることは、すべての、１である画素の近傍が、互いに接していることを指す。同様に、連結されていないことは、１である画素の近傍が、２つ以上のグループを形成していることを指すことを、例７０５は示している。
【００４６】
上述のルールにおいて、値１ではなく値０の画素を考える場合に、類似するアプローチが適用されてもよい。これは、天井プロセスではなく、床プロセスと呼ぶことがある。繰り返しになるが、当然、先のものは、１つの特定の実施形態を説明しており、請求されている主題事項は、この特定の実施形態に範囲を限定されない。
【００４７】
１つの実施形態では、床プロセスが後に続く天井プロセスを適用することにより、合成マスクにおいて、背景よりも前景を好むように、クロージングのプロセスが使用されてもよい。しかしながら、特定の実施形態では、例えば、以前に示したのと同様に、２つのモルフォロジープロセスが、例えば、異なる順序で連続して適用されてもよい。特定の実施形態では、モルフォロジー処理の後で、最初の画像またはオリジナルの画像を合成して、２つの画像間で選択することにより、合成された画像中の特定の画素ロケーションに対して画素値が選択される単一の画像にする際に使用するために、クローズされている合成マスクをアップサンプリングしてもよい。これは、例えば、図５において５８０により示されている。
【００４８】
別の実施形態では、デジタルカメラは、例えば、視野内の特定のオブジェクトが、特定のフレーム中または画像中で‘焦点が合う’ように、１つ以上のレンズの焦点距離を調節する能力を備えていてもよい。これは、多数のアプローチのうちの何らかの１つを使用して達成することができ、請求されている主題事項は、特定のアプローチに範囲を限定されない。多数の自動焦点プロセスが知られているので、詳細に説明しない。しかしながら、１つの例として、特定の画像またはプレビューに対して、例えば、‘焦点が合っている’近くのオブジェクトを有することから、‘焦点が合っている’遠くのオブジェクトを有することへと、デジタルカメラ用のレンズ焦点距離をスムーズに調節するプロセスを使用して、コントラスト信号値のヒストグラムを生成させてもよい。請求されている主題事項は、この点に範囲を限定されないが、このアプローチは、効果的に‘自動焦点する’ための、デジタルカメラに対する１つの一般的な技術である。コントラスト信号値のヒストグラム上のより高いピークは、例えば、‘焦点が合っている’オブジェクトのシャープなエッジを示してもよい。さらに、最先端のＭＥＭＳアクチュエータ技術を使用することにより、レンズを有するカメラ、または、レンズ系を有するカメラは、焦点距離を無理なくすばやく調節することができる。例として、自動焦点カメラモジュールである、Ｓｉｉｍｐｅｌ Ｆｏｃｕｓ ２０Ｘモジュールが、Ｅａｓｔ Ｌｉｖｅ Ｏａｋ Ａｖｅｎｕｅ． Ａｒｃａｄｉａ，ＣＡ ９１００６に位置するＳｉｉｍｐｅｌ社から現在入手可能である。同様に、統合されたデジタルカメラは、カメラの視野中の異なるオブジェクトが、異なるフレームに対して‘焦点が合う’ように、１つ以上のレンズを調節する能力を備えていてもよい。当然、ＭＥＭＳ技術以外の、この焦点調節能力を提供する他の技術も利用可能である。それゆえ、請求されている主題事項は、ＭＥＭＳ技術に範囲を限定されることを意図していない。
【００４９】
ある実施形態では、例えば、視野内のシーンが、デジタルカメラ用のレンズまたはレンズ系から異なる距離にある２つのオブジェクトを含んでいるシチュエーションにおいて、比較的すばやく焦点距離を調節する能力が有用であることがある。例えば、‘焦点が合っている’最も近いオブジェクトに対応する第１の焦点距離において、第１の画像が取り込まれてもよい。同様に、類似するシーンの第２の画像が取り込まれてもよいが、このケースでは、代わりに、最も遠いオブジェクトに‘焦点が合う’ように、焦点距離が修正または調節されてもよい。その後、これらの２つの画像は、例えば、以前に説明した実施形態のうちの１つを使用することにより、処理され、合成されてもよい。当然、最も近いオブジェクトおよび最も遠いオブジェクトが用いられる必要はない。他の実施形態では、最も近いオブジェクトおよび最も遠いオブジェクト以外の焦点オブジェクトが、視野内で選択されてもよい。
【００５０】
単に例示の目的のために、２つのオブジェクトを先で論じた。別の実施形態では、デジタルカメラは、類似する動作を、２つだけではなく複数のオブジェクトに対して実行してもよい。これは、さまざまな方法で達成することができ、請求されている主題事項は、特定のアプローチに範囲を限定されない。例えば、その能力が利用可能であると仮定すると、以前に説明した実施形態のうちのいくつかのもののバリエーションを使用して単一の画像を作り出すために、１つのアプローチでは、１度に２つ、オブジェクトが合成されてもよいのに対し、別の実施形態では、すべてのオブジェクトが１度に合成されてもよい。
【００５１】
代替的に、２つの連続したフレームまたは画像を使用して、その視野中の異なる距離にある２つのオブジェクトに焦点を合わせるための能力を、統合されたデジタルカメラが有している実施形態を考える。しかしながら、特定の実施形態が２つの連続したフレームに限定されるとすると、このことにより、視野内に複数のオブジェクトがある場合に、合成されたフレーム中また画像中で、必ずしもすべてのオブジェクトの‘焦点が合って’いないことがある。このようなシチュエーションでは、多数の異なるプロセスが可能であり、請求されている主題事項を何らかの特定のアプローチに限定することは、意図されていない。
【００５２】
使用されることがあるすべての可能性あるプロセスをここで説明することは、実行可能ではない。それゆえ、例示のためだけに、例示的なプロセスを説明する。例えば、２つよりも多い対象のオブジェクトがある場合に、第１のフレームに対しては最も近いオブジェクトに焦点合わせが行われ、第２のフレームに対しては、最も遠いオブジェクトに焦点合わせが行われるように、焦点距離を調節するために、ある実施形態が用いられてもよい。例えば、以前に説明したもののうちの１つのような、ある実施形態を使用すると、デジタルフレームまたはデジタル画像を合成するために、これらの最も遠いものと最も近いものとの間のオブジェクトは、例えば、このような最も近いオブジェクトと最も遠いオブジェクトとに対する近さに依存して、強化被写界深度効果の結果として、‘焦点が合っている’ように見えるか、または、比較的ほとんど“焦点が合っている”ように見えることがある。当然、特定のシーンもまた、何らかの影響を有するはずである。それゆえ、最も近いものおよび最も遠いものを除く他のオブジェクトは、いくつかのシチュエーションでは、焦点が合っていないかもしれない。たったいま論じたプロセスの修正である代替的なプロセスでは、例えば、視野中の最も近いオブジェクトまたは最も遠いオブジェクトは、コントラスト信号値のヒストグラムにおいて、必ずしもトップピークを発生させないと仮定する。最も近いオブジェクトと最も遠いオブジェクトが、他のオブジェクトよりも低いピークを生成させる場合には、ＥＤＯＦ効果を生成させるように合成されることになる連続したデジタルフレームまたはデジタル画像を取り込む目的のために、その代わりに最も高いピークと最もシャープなエッジを提供するこれらのオブジェクトが、焦点合わせが生じるオブジェクトであるように、以前のプロセスを修正してもよい。しかしながら、別の実施形態では、その代わりに、または、それに加えて、１つ以上の複数の画像に対するユーザ選択の選択に少なくとも部分的に基づいて、デジタルカメラが、対象のシーン内でオブジェクトを選択することが可能な、対話コンポーネントを提供することが望ましいことがある。この対話コンポーネントは、例えば、特にユーザ対話のために、一時的に記憶されている画像を用いることがある。
【００５３】
さらに別の実施形態では、強化被写界深度効果（ＥＤＯＦ）を有するビデオフレームを生成させることが可能なデジタルビデオカメラが望ましいことがある。例えば、ある実施形態では、デジタルビデオの１つ以上のフレームは、デジタルビデオカメラの１つ以上のレンズから異なる距離にある少なくとも２つの対象オブジェクトを含んでいてもよい。このような実施形態から、デジタルビデオに対して‘焦点が合っている’ように見えるように、双方のオブジェクトが作られてもよい。当然、いくつかの実施形態では、異なる距離にある２つより多いオブジェクトの‘焦点が合っている’ように見えてもよい。
【００５４】
以下でさらに詳細に説明するように、デジタルビデオカメラの実施形態は、異なる有効レンズ焦点距離において連続したフレームが撮影されているビデオを取り込むことが可能であってもよく、同様に、取り込んだ連続ビデオフレームを合成して、合成されたビデオフレームにおいて強化被写界深度効果を生成させることが可能であってもよい。先に論じたように、デジタルビデオカメラの実施形態は、微小電気機械（ＭＥＭＳ）アクチュエータを使用することにより、異なる有効レンズ焦点距離において、連続したフレームを十分にすばやく撮影することが可能であってもよい。したがって、レンズまたはレンズ系に対する焦点距離を、６０分の１秒よりもすばやく変更することができる。例えば、ある実施形態では、デジタルビデオ中の１つ以上の連続したフレームにおいて、異なる距離にある２つの対象オブジェクトの‘焦点が合って’いてもよい。しかしながら、特定の実施形態に対して、デジタルビデオのフレームは、例えば、以前に説明したような、合成されたデジタル画像を含んでいる。
【００５５】
単に例示の目的のために、２つのオブジェクトが用いられている。他の実施形態では、例えば、単に２つのオブジェクトに対してではなく、複数のオブジェクトに対して、類似する動作が用いられてもよい。それでもなお、この例を続けると、２つのオブジェクトを伴うシチュエーションでは、その視野内の２つのオブジェクトの画像をカメラが取り込むときに、交互に連続して取り込まれたフレームが、‘焦点が合っている’２つのそれぞれのオブジェクトを交互に有するように、連続したフレームまたは画像に対して、カメラがそのレンズ焦点距離を調節する能力を含んでいてもよいデジタルビデオカメラを考える。言い換えると、例えば、第１のフレームまたは画像では、第１のオブジェクトの‘焦点が合って’いてもよく、第２のオブジェクトは焦点が合っていなくてもよい。しかしながら、次の連続したフレームまたは画像では、レンズ焦点距離を調節することにより、第１のオブジェクトの焦点が合っていなくてもよく、第２のオブジェクトの‘焦点が合って’いてもよい。第３の連続したフレームに対して、例えば、第１のオブジェクトは、それが動いているオブジェクトである場合には、移動しているかもしれず、再び‘焦点が合って’いることがある一方で、第２のオブジェクトは、焦点が合っていないことがある。同様に、第４の連続したフレームに対して、第２のオブジェクトも、動いている場合には移動しているかもしれず、‘焦点が合って’いることがあり、第１のオブジェクトは焦点が合っていないことがある。
【００５６】
たったいま説明した方法で、連続して取り込んだフレームまたは画像のシーケンスを生成させることにより、デジタルビデオカメラが、取り込んだ連続フレームを取り入れることが可能になることがある。さらに、移動コンピューティングプラットフォームまたはハンドヘルドコンピューティングプラットフォームは、交互に取り込んだフレームを、そのすぐ後に続くフレームと合成して、例えば、上述したような、合成されたフレームを生成させるために、以前に説明した例のような実施形態を用いてもよい。上述したような、合成されたフレームでは、カメラのレンズまたはレンズ系から異なる距離にあるにもかかわらず、視野内の双方のオブジェクトとも‘焦点が合って’いる。例えば、第１のオブジェクトと第２のオブジェクトの双方が、最初のすなわち第１の合成されたフレーム中で‘焦点が合う’ように、第１のフレームと第２のフレームが合成されてもよい。同様に、第１のオブジェクトと第２のオブジェクトが、次のすなわち第２の合成されたフレーム中で‘焦点が合う’ように、第３のフレームと第４のフレームが合成されてもよい。このプロセスを繰り返すことにより、シーケンス中のフレームがＥＤＯＦ効果を明示する、連続したフレームのシーケンスが、生成されてもよい。それゆえ、たったいま論じたような連続フレームは、ある実施形態では、ＥＤＯＦ効果を持つデジタルビデオを含んでいる。
【００５７】
図６は、図１〜５、図７〜９に関連してここで説明した例示的な技術のうちのいずれかを実行するように適合されていてもよい、移動コンピューティングプラットフォームまたは移動局６００の例のブロックダイヤグラムである。１つ以上の無線トランシーバ６７０は、音声またはデータのようなベースバンド情報を持つＲＦ搬送波信号をＲＦ搬送波上に変調するように、および、変調されたＲＦ搬送波を復調して、このようなベースバンド情報を取得するように、適合されていてもよい。アンテナ６７２は、ワイヤレス通信リンクを通して、変調されたＲＦ搬送波を送信するように、および、ワイヤレス通信リンクを通して、変調されたＲＦ搬送波を受信するように、適合されていてもよい。
【００５８】
ベースバンドプロセッサ６６０は、ワイヤレス通信リンクを通しての送信のために、中央処理ユニット（ＣＰＵ）６２０からトランシーバ６７０にベースバンド情報を提供するように適合されていてもよい。ここで、ＣＰＵ６２０は、ユーザインターフェース６１０内の入力デバイスから、このようなベースバンド情報を取得してもよい。ベースバンドプロセッサ６６０は、ユーザインターフェース６１０内の出力デバイスを通しての送信のために、トランシーバ６７０からＣＰＵ６２０にベースバンド情報を提供するようにも適合されていてもよい。
【００５９】
ユーザインターフェース６１０は、音声またはデータのようなユーザ情報を入力あるいは出力するための複数のデバイスを含んでいてもよい。このようなデバイスは、限定的でない例により、キーボード、ディスプレイスクリーン、マイクロフォン、および、スピーカーを含んでいてもよい。
【００６０】
受信機６８０は、ＳＰＳから送信を受信して復調するようにと、復調した情報を相関器６４０に提供するように、適合されていてもよい。相関器６４０は、受信機６８０により提供された情報から相関関数を導出するように適合されていてもよい。相関器６４０は、トランシーバ６７０により提供されたパイロット信号に関連する情報から、パイロット関連の相関関数を導出するようにも適合されていてもよい。ワイヤレス通信サービスを獲得するために、移動局によりこの情報が使用されてもよい。チャネルデコーダ６５０は、ベースバンドプロセッサ６６０から受け取ったチャネルシンボルを、基礎となるソースビットにデコードするように適合されていてもよい。チャネルシンボルが、畳み込みエンコードされたシンボルを含んでいる１つの例では、このようなチャネルデコーダは、ビタビデコーダを含んでもよい。チャネルシンボルが、畳み込みコードのシリアルなまたはパラレルな連結を含んでいる第２の例では、チャネルデコーダ６５０は、ターボデコーダを含んでもよい。
【００６１】
メモリ６３０は、プロセス、構成、または、ここで説明または示唆したそれらの例のうちの１つ以上を実行するように実行可能である機械読取可能命令を記憶するように適合されていてもよい。ＣＰＵ６２０は、このような機械読取可能命令にアクセスして実行するように適合されていてもよい。
【００６２】
特定の実施形態をたったいま説明してきたが、請求されている主題事項は、特定の実施形態または特定の構成に範囲を限定されないことも、当然、理解されるだろう。例えば、１つの実施形態は、例えば、以前に説明したデバイスまたはデバイスの組み合わせにおいて実現されるような、ハードウェア中にあってもよい。同様に、請求されている主題事項は、この点に範囲を限定されないが、１つの実施形態は、例えば、その上に命令を記憶させてもよい、上述したような記憶媒体等の、１つ以上の物品を含んでもよく、命令は、例えば、特定のシステムまたは装置により、あるいは、専用目的のシステムまたは装置により実行される場合に、例えば、上述した実施形態のうちの１つのような、請求されている主題事項の実行にしたがった方法の実施形態に、結果としてなることがある。１つの潜在的な例として、特定のコンピューティングプラットフォームまたは専用目的コンピューティングプラットフォームは、１つ以上の処理ユニットまたはプロセッサや、１つ以上の入力／出力デバイスや、あるいは、静的ランダムアクセスメモリ、動的ランダムアクセスメモリ、フラッシュメモリ、もしくは、ハードドライブのような、１つ以上のメモリを含んでいてもよいが、繰り返しになるが、請求されている主題事項は、この例に範囲を限定されない。入力／出力デバイスは、例えば、人間または機械の入力情報を許容するか、または、そうでなければ、用いる、１つ以上のデバイスあるいは特徴のことを指すか、もしくは、人間または機械の出力情報を届けるか、そうでなければ、提供する、１つ以上のデバイスあるいは特徴のことを指す。例として、これらに限定されないが、入力／出力デバイスは、スピーカー、キーボード、マウス、トラックボール、データポート、タッチスクリーン、ディスプレイ等を含んでもよい。ディスプレイは、数例を挙げてみただけでも、液晶ディスプレイ（ＬＣＤ）、タッチスクリーンディスプレイを含んでもよい。
【００６３】
先行の説明では、請求されている主題事項のさまざまな態様を説明してきた。説明の目的上、請求されている主題事項の完全な理解を提供するために、特有の数字、システム、または、コンフィギュレーションを述べたことがあった。しかしながら、これらの特定の詳細がなくとも、請求されている主題事項を実施できることは、本開示の利益を有する当業者にとって明らかなはずである。他の例では、請求されている主題事項を曖昧にしないように、当業者により理解されている特徴は、省略または簡略化した。ここでは、ある特徴を示し、説明してきたが、多くの改良、代替、変更、または、均等物が、当業者の心に浮かぶことがある。それゆえ、添付の特許請求の範囲は、請求されている主題事項の真の精神内にあるような、このようなすべての改良または変更をカバーするように意図されていることを理解すべきである。
【図１】
2013513318.tif 000007
【図２】
2013513318.tif 000008
【図３】
2013513318.tif 000009
【図４】
2013513318.tif 000010
【図５】
2013513318.tif 000011
【図６】
2013513318.tif 000012
【図７】
2013513318.tif 000013
【図８】
2013513318.tif 000014
【図９】
2013513318.tif 000015
【手続補正書】
【提出日】平成24年8月2日(2012.8.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
デジタルカメラを具備する装置において、
前記カメラは、少なくとも２つの画像を、異なる有効レンズ焦点距離において撮影することが可能であり、
前記カメラは、前記少なくとも２つの画像をハイパスフィルタリング（ＨＰ）し、前記少なくとも２つのフィルタリングされた画像のそれぞれのスペクトル密度（ＳＤ）を推定し、その後、１つ以上のオプティカル効果を生成させるために、前記少なくとも２つの画像を合成して単一の画像にする前に、前記少なくとも２つのフィルタリングされた画像の前記それぞれの推定をローパスフィルタリング（ＬＰ）することがさらに可能である装置。
【請求項２】
前記カメラは、前記少なくとも２つの画像内の対応する画素ロケーションにある画素値の比較に基づいて、前記少なくとも２つの画像を合成することが可能である請求項１記載の装置。
【請求項３】
前記２つの画像のうちの少なくとも１つのもののデフォルト焦点距離は、無限の焦点距離に対する実際的な近似を含む請求項１記載の装置。
【請求項４】
前記カメラは、前記少なくとも２つの画像を合成して単一の画像にして、強化被写界深度効果を生成させることが可能である請求項１記載の装置。
【請求項５】
前記少なくとも２つの画像は、２つよりも多い画像を含む請求項１記載の装置。
【請求項６】
前記カメラは、前記比較の後かつ前記画像合成の前に、クローズマスクを適用することが可能である請求項１記載の装置。
【請求項７】
前記カメラは、前記比較の前にダウンサンプリングすることがさらに可能である請求項１記載の装置。
【請求項８】
前記カメラは、前記合成の際に使用するための合成マスクを結果として生じる画素ごとに、前記少なくとも２つの画像を評価することがさらに可能である請求項１記載の装置。
【請求項９】
前記カメラは、所定の画素ロケーションに対して、前記少なくとも２つの画像のそれぞれの画像から、より高い周波数の画素を識別して、前記合成マスクを生成させるために、画素ごとの比較がさらに可能である請求項８記載の装置。
【請求項１０】
前記第１の画像の画素は、前記マスク内の第１の値として表され、前記第２の画像の画素は、前記マスク内の第２の値として表される請求項９記載の装置。
【請求項１１】
前記画像マスクは、画像合成の前にアップサンプリングされる請求項１０記載の装置。
【請求項１２】
前記デジタルカメラは、デジタルビデオカメラまたはデジタル静止カメラのうちの少なくとも１つを含む請求項１記載の装置。
【請求項１３】
前記カメラは、前記少なくとも２つの画像のさらなる処理の間に基準画素として使用するために、異なる画像に共通する１つ以上の画素を識別することがさらに可能である請求項１記載の装置。
【請求項１４】
フレーム登録のために前記基準画素が利用される請求項１３記載の装置。
【請求項１５】
１つ以上のデジタル画像に対するデジタル信号値を取り込むための装置において、
対象のシーンの複数の画像を取り込むことが可能である画像取り込みデバイスを具備し、
前記複数の画像のうちの交互の画像は、可変の焦点距離で生成させることが可能であり、
前記画像取り込みデバイスは、前記複数の画像のハイパスフィルタリング（ＨＰ）処理と、前記複数のフィルタリングされた画像のスペクトル密度推定（ＳＤ）処理と、前記複数のフィルタリングされた画像のローパスフィルタリング（ＬＰ）処理とがさらに可能である装置。
【請求項１６】
前記１つ以上の複数の画像の、１つ以上の可変の焦点距離は、前記対象のシーン内のさまざまなオブジェクトの相対的な距離により少なくとも部分的に決定される請求項１５記載の装置。
【請求項１７】
前記複数の画像に対する前記可変の焦点距離は、前記対象のシーン内の主なオブジェクトに少なくとも部分的に基づいて、前記画像取り込みデバイスにより選択することが可能である請求項１５記載の装置。
【請求項１８】
前記画像取り込みデバイスは、前記対象のシーン内のオブジェクトを選択して、前記１つ以上の複数の画像に対して１つ以上の焦点距離を設定することが可能である請求項１５記載の装置。
【請求項１９】
第１の焦点距離は、前記対象のシーン中の第１のオブジェクトにより、少なくとも部分的に決定することが可能である請求項１５記載の装置。
【請求項２０】
前記画像取り込みデバイスは、選択された焦点オブジェクトを用いて、前記複数の画像に対する１つ以上の焦点距離を少なくとも部分的に決定することがさらに可能である請求項１５記載の装置。
【請求項２１】
方法において、
少なくとも２つの画像を、異なる有効レンズ焦点距離において撮影することと、
前記少なくとも２つの画像をハイパスフィルタリング（ＨＰ）することと、
前記少なくとも２つのフィルタリングされた画像のそれぞれのスペクトル密度（ＳＤ）を推定することと、
１つ以上のオプティカル効果を生成させるために、前記少なくとも２つの画像を合成して単一の画像にする前に、前記少なくとも２つのフィルタリングされた画像の前記それぞれの推定をローパスフィルタリング（ＬＰ）することとを含む方法。
【請求項２２】
前記合成することは、前記少なくとも２つの画像内の対応する画素ロケーションにおける画素値の比較に基づいて、前記少なくとも２つの画像を合成することを含む請求項２１記載の方法。
【請求項２３】
前記合成することは、前記少なくとも２つの画像を合成して単一の画像にして、拡張被写界深度効果を生成させることを含む請求項２１記載の方法。
【請求項２４】
前記比較の後かつ前記画像合成の前に、クローズマスクを適用することをさらに含む請求項２１記載の方法。
【請求項２５】
前記比較の前にダウンサンプリングすることをさらに含む請求項２１記載の方法。
【請求項２６】
前記合成の際に使用するための合成マスクを結果として生じる画素ごとに、前記少なくとも２つの画像を評価することをさらに含む請求項２１記載の方法。
【請求項２７】
前記評価することは、所定の画素ロケーションに対して、前記少なくとも２つの画像のそれぞれの画像から、より高い周波数の画素を識別して、前記合成マスクを生成させるために、画素ごとの比較を含む請求項２６記載の方法。
【請求項２８】
前記画像マスクは、画像合成の前にアップサンプリングされる請求項２５記載の方法。
【請求項２９】
装置において、
少なくとも２つの画像を、異なる有効レンズ焦点距離において撮影する手段と、
前記少なくとも２つの画像をハイパスフィルタリング（ＨＰ）する手段と、
前記少なくとも２つのフィルタリングされた画像のそれぞれのスペクトル密度（ＳＤ）を推定する手段と、
１つ以上のオプティカル効果を生成させるために、前記少なくとも２つの画像を合成して単一の画像にする前に、前記少なくとも２つのフィルタリングされた画像の前記それぞれの推定をローパスフィルタリング（ＬＰ）する手段とを具備する装置。
【請求項３０】
さまざまなオプティカル効果を生成させるために、前記少なくとも２つの画像を合成して単一の画像にする前に、前記少なくとも２つの画像の前記それぞれの推定を前記ローパスフィルタリング（ＬＰ）する手段は、前記少なくとも２つの画像内の対応する画素ロケーションにある画素値の比較に基づいて、前記少なくとも２つの画像を合成する手段を備える請求項２９記載の装置。
【請求項３１】
さまざまなオプティカル効果を生成させるために、前記少なくとも２つの画像を合成して単一の画像にする前に、前記少なくとも２つの画像の前記それぞれの推定を前記ローパスフィルタリング（ＬＰ）する手段は、前記少なくとも２つの画像を合成して単一の画像にして、強化被写界深度効果を生成させる手段を備える請求項２９記載の装置。
【請求項３２】
前記比較の後かつ前記画像合成の前に、クローズマスクを適用する手段をさらに具備する請求項２９記載の装置。
【請求項３３】
前記比較の前にダウンサンプリングする手段をさらに具備する請求項２９記載の装置。
【請求項３４】
前記合成の際に使用するための合成マスクを結果として生じる画素ごとに、前記少なくとも２つの画像を評価する手段をさらに具備する請求項２９記載の装置。
【請求項３５】
前記評価する手段は、所定の画素ロケーションに対して、前記少なくとも２つの画像のそれぞれの画像から、より高い周波数の画素を識別して、前記合成マスクを生成させるために、画素ごとに比較する手段を備える請求項３４記載の装置。
【請求項３６】
画像合成の前にアップサンプリングする手段をさらに具備する請求項３３記載の装置。
【請求項３７】
専用目的コンピューティングプラットフォームにより実行することが可能である命令をその上に記憶させているプロセッサ読取可能媒体において、
前記命令は、
少なくとも２つの画像を、異なる有効レンズ焦点距離において撮影するためと、
前記少なくとも２つの画像をハイパスフィルタリング（ＨＰ）するためと、
前記少なくとも２つのフィルタリングされた画像のそれぞれのスペクトル密度（ＳＤ）を推定するためと、
１つ以上のオプティカル効果を生成させるために、前記少なくとも２つの画像を合成して単一の画像にする前に、前記少なくとも２つのフィルタリングされた画像の前記それぞれの推定をローパスフィルタリング（ＬＰ）するためのものであるプロセッサ読取可能媒体。
【請求項３８】
前記命令は、前記少なくとも２つの画像内の対応する画素ロケーションにある画素値の比較に基づいて、前記少なくとも２つの画像を合成するようにさらに実行可能である請求項３７記載のプロセッサ読取可能媒体。
【請求項３９】
前記命令は、前記少なくとも２つの画像を合成して単一の画像にして、強化被写界深度効果を生成させるようにさらに実行可能である請求項３７記載のプロセッサ読取可能媒体。
【請求項４０】
前記命令は、前記比較の後かつ前記画像合成の前に、クローズマスクを適用するようにさらに実行可能である請求項３７記載のプロセッサ読取可能媒体。
【請求項４１】
前記命令は、前記比較の前にダウンサンプリングするようにさらに実行可能である請求項３７記載のプロセッサ読取可能媒体。
【請求項４２】
前記命令は、前記合成の際に使用するための合成マスクを結果として生じる画素ごとに、前記少なくとも２つの画像を評価するようにさらに実行可能である請求項３７記載のプロセッサ読取可能媒体。
【請求項４３】
前記命令は、画像合成の前にアップサンプリングするようにさらに実行可能である請求項４１記載のプロセッサ読取可能媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
再び図５を参照すると、画像登録の後で、後の処理の前の調整の一形態として、処理されることになる画像が、ダウンサンプリングされてもよく、または、サブサンプリングされてもよい。図２に関連して先に論じたように、レンズぼけカーネルを超えるフィルタ長を持つデジタルフィルタリングを適用することが望ましいことがある。しかしながら、先に論じたように、これは、数十画素以上を含むことがある。典型的に、およそ数十画素のような、より大きなフィルタサイズは、いくつかのシチュエーションでは、必ずしもそうではないが、典型的には、例として、ハンドヘルドコンピューティングデバイスまたはプラットフォーム、あるいは、移動コンピューティングデバイスまたはプラットフォームの能力を超える量のような、かなり大きな量の、メモリ、処理電力、および、エネルギーの使用を暗示することがある。それでもなお、それぞれパス５２５および５３５に対する５２０により図５において示されているような、処理の前のダウンサンプリングまたはサブサンプリングによって、結果として生じる画像の観点から、著しい品質の損失がなく、これらの問題に対処できる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
先行の説明では、請求されている主題事項のさまざまな態様を説明してきた。説明の目的上、請求されている主題事項の完全な理解を提供するために、特有の数字、システム、または、コンフィギュレーションを述べたことがあった。しかしながら、これらの特定の詳細がなくとも、請求されている主題事項を実施できることは、本開示の利益を有する当業者にとって明らかなはずである。他の例では、請求されている主題事項を曖昧にしないように、当業者により理解されている特徴は、省略または簡略化した。ここでは、ある特徴を示し、説明してきたが、多くの改良、代替、変更、または、均等物が、当業者の心に浮かぶことがある。それゆえ、添付の特許請求の範囲は、請求されている主題事項の真の精神内にあるような、このようなすべての改良または変更をカバーするように意図されていることを理解すべきである。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］デジタルカメラを具備する装置において、
前記カメラは、少なくとも２つの画像を、異なる有効レンズ焦点距離において撮影することが可能であり、
前記カメラは、前記少なくとも２つの画像をハイパスフィルタリング（ＨＰ）し、前記少なくとも２つの画像のそれぞれのスペクトル密度（ＳＤ）を推定し、その後、１つ以上のオプティカル効果を生成させるために、前記少なくとも２つの画像を合成して単一の画像にする前に、前記少なくとも２つの画像の前記それぞれの推定をローパスフィルタリング（ＬＰ）することがさらに可能である装置。
［２］前記カメラは、前記少なくとも２つの画像内の対応する画素ロケーションにある画素値を比較することにより、前記少なくとも２つの画像を合成することが可能である［１］に記載の装置。
［３］前記２つの画像のうちの少なくとも１つのもののデフォルト焦点距離は、無限の焦点距離に対する実際的な近似を含む［１］に記載の装置。
［４］前記カメラは、前記少なくとも２つの画像を合成して単一の画像にして、強化被写界深度効果を生成させることが可能である［１］に記載の装置。
［５］前記少なくとも２つの画像は、２つよりも多い画像を含む［１］に記載の装置。
［６］前記カメラは、前記比較の後かつ前記画像合成の前に、クローズマスクを適用することが可能である［１］に記載の装置。
［７］前記カメラは、前記比較の前にダウンサンプリングすることがさらに可能である［１］に記載の装置。
［８］前記カメラは、前記合成の際に使用するための合成マスクを結果として生じる画素ごとに、前記少なくとも２つの画像を評価することがさらに可能である［１］に記載の装置。
［９］前記カメラは、所定の画素ロケーションに対して、前記少なくとも２つの画像のそれぞれの画像から、より高い周波数の画素を識別して、前記合成マスクを生成させるために、画素ごとの比較がさらに可能である［８］に記載の装置。
［１０］前記第１の画像の画素は、前記マスク内の第１の値として表され、前記第２の画像の画素は、前記マスク内の第２の値として表される［９］に記載の装置。
［１１］前記画像マスクは、画像合成の前にアップサンプリングされる［１０］に記載の装置。
［１２］前記デジタルカメラは、デジタルビデオカメラまたはデジタル静止カメラのうちの少なくとも１つを含む［１］に記載の装置。
［１３］前記カメラは、前記少なくとも２つの画像のさらなる処理の間に基準画素として使用するために、異なる画像に共通する１つ以上の画素を識別することがさらに可能である［１］に記載の装置。
［１４］フレーム登録のために前記基準画素が利用される［１３］に記載の装置。
［１５］１つ以上のデジタル画像に対するデジタル信号値を取り込むための装置において、
対象のシーンの複数の画像を取り込むことが可能である画像取り込みデバイスを具備し、
前記複数の画像のうちの交互の画像は、可変の焦点距離で生成させることが可能であり、
前記画像取り込みデバイスは、前記複数の画像の、ハイパスフィルタリング（ＨＰ）、スペクトル密度推定（ＳＤ）、および、ローパスフィルタリング（ＬＰ）がさらに可能である装置。
［１６］前記１つ以上の複数の画像の、１つ以上の可変の焦点距離は、前記対象のシーン内のさまざまなオブジェクトの相対的な距離により少なくとも部分的に決定される［１５］に記載の装置。
［１７］前記複数の画像に対する前記可変の焦点距離は、前記対象のシーン内の主なオブジェクトに少なくとも部分的に基づいて、前記画像取り込みデバイスにより選択することが可能である［１５］に記載の装置。
［１８］前記画像取り込みデバイスは、前記対象のシーン内のオブジェクトを選択して、前記１つ以上の複数の画像に対して１つ以上の焦点距離を設定することが可能である［１５］に記載の装置。
［１９］第１の焦点距離は、前記対象のシーン中の第１のオブジェクトにより、少なくとも部分的に決定することが可能である［１５］に記載の装置。
［２０］装置において、
選択された焦点オブジェクトを用いて、１つ以上の続いて取り込まれた画像に対する１つ以上の焦点距離を少なくとも部分的に決定することが可能であるデジタルカメラを具備する装置。
［２１］方法において、
少なくとも２つの画像を、異なる有効レンズ焦点距離において撮影することと、
前記少なくとも２つの画像をハイパスフィルタリング（ＨＰ）することと、
前記少なくとも２つの画像のそれぞれのスペクトル密度（ＳＤ）を推定することと、
１つ以上のオプティカル効果を生成させるために、前記少なくとも２つの画像を合成して単一の画像にする前に、前記少なくとも２つの画像の前記それぞれの推定をローパスフィルタリング（ＬＰ）することとを含む方法。
［２２］前記合成することは、前記少なくとも２つの画像内の対応する画素ロケーションにおける画素値を比較することにより、前記少なくとも２つの画像を合成することを含む［２１］に記載の方法。
［２３］前記合成することは、前記少なくとも２つの画像を合成して単一の画像にして、拡張被写界深度効果を生成させることを含む［２１］に記載の方法。
［２４］前記比較の後かつ前記画像合成の前に、クローズマスクを適用することをさらに含む［２１］に記載の方法。
［２５］前記比較の前にダウンサンプリングすることをさらに含む［２１］に記載の方法。
［２６］前記合成の際に使用するための合成マスクを結果として生じる画素ごとに、前記少なくとも２つの画像を評価することをさらに含む［２１］に記載の方法。
［２７］前記評価することは、所定の画素ロケーションに対して、前記少なくとも２つの画像のそれぞれの画像から、より高い周波数の画素を識別して、前記合成マスクを生成させるために、画素ごとの比較を含む［２６］に記載の方法。
［２８］前記画像マスクは、画像合成の前にアップサンプリングされる［２５］に記載の方法。
［２９］装置において、
少なくとも２つの画像を、異なる有効レンズ焦点距離において撮影する手段と、
前記少なくとも２つの画像をハイパスフィルタリング（ＨＰ）する手段と、
前記少なくとも２つの画像のそれぞれのスペクトル密度（ＳＤ）を推定する手段と、
１つ以上のオプティカル効果を生成させるために、前記少なくとも２つの画像を合成して単一の画像にする前に、前記少なくとも２つの画像の前記それぞれの推定をローパスフィルタリング（ＬＰ）する手段とを具備する装置。
［３０］さまざまなオプティカル効果を生成させるために、前記少なくとも２つの画像を合成して単一の画像にする前に、前記少なくとも２つの画像の前記それぞれの推定を前記ローパスフィルタリング（ＬＰ）する手段は、前記少なくとも２つの画像内の対応する画素ロケーションにある画素値を比較することにより、前記少なくとも２つの画像を合成する手段を備える［２９］に記載の装置。
［３１］さまざまなオプティカル効果を生成させるために、前記少なくとも２つの画像を合成して単一の画像にする前に、前記少なくとも２つの画像の前記それぞれの推定を前記ローパスフィルタリング（ＬＰ）する手段は、前記少なくとも２つの画像を合成して単一の画像にして、強化被写界深度効果を生成させる手段を備える［２９］に記載の装置。
［３２］前記比較の後かつ前記画像合成の前に、クローズマスクを適用する手段をさらに具備する［２９］に記載の装置。
［３３］前記比較の前にダウンサンプリングする手段をさらに具備する［２９］に記載の装置。
［３４］前記合成の際に使用するための合成マスクを結果として生じる画素ごとに、前記少なくとも２つの画像を評価する手段をさらに具備する［２９］に記載の装置。
［３５］前記評価する手段は、所定の画素ロケーションに対して、前記少なくとも２つの画像のそれぞれの画像から、より高い周波数の画素を識別して、前記合成マスクを生成させるために、画素ごとに比較する手段を備える［３４］に記載の装置。
［３６］画像合成の前にアップサンプリングする手段をさらに具備する［３３］に記載の装置。
［３７］物品において、
専用目的コンピューティングプラットフォームにより実行することが可能である命令をその上に記憶させている記憶媒体を具備し、
前記命令は、
少なくとも２つの画像を、異なる有効レンズ焦点距離において撮影するためと、
前記少なくとも２つの画像をハイパスフィルタリング（ＨＰ）するためと、
前記少なくとも２つの画像のそれぞれのスペクトル密度（ＳＤ）を推定するためと、
１つ以上のオプティカル効果を生成させるために、前記少なくとも２つの画像を合成して単一の画像にする前に、前記少なくとも２つの画像の前記それぞれの推定をローパスフィルタリング（ＬＰ）するためのものである物品。
［３８］前記命令は、前記少なくとも２つの画像内の対応する画素ロケーションにある画素値を比較することにより、前記少なくとも２つの画像を合成するようにさらに実行可能である［３７］に記載の物品。
［３９］前記命令は、前記少なくとも２つの画像を合成して単一の画像にして、強化被写界深度効果を生成させるようにさらに実行可能である［３７］に記載の物品。
［４０］前記命令は、前記比較の後かつ前記画像合成の前に、クローズマスクを適用するようにさらに実行可能である［３７］に記載の物品。
［４１］前記命令は、前記比較の前にダウンサンプリングするようにさらに実行可能である［３７］に記載の物品。
［４２］前記命令は、前記合成の際に使用するための合成マスクを結果として生じる画素ごとに、前記少なくとも２つの画像を評価するようにさらに実行可能である［３７］に記載の物品。
［４３］前記命令は、画像合成の前にアップサンプリングするようにさらに実行可能である［４１］に記載の物品。
【国際調査報告】
2013513318.tif 000016
2013513318.tif 000017