(57)【要約】  異なる焦点深さにある複数の被写体の全ての焦点が合っているように見える画像を生成する方法及びシステムを開示する。一実施形態において、同一風景に存在する全ての被写体の焦点が合っているように見える。非固定式カメラを使用し、カメラの手ぶれ又はその他のカメラの動きによって背景に生じた変化は許容される。画像アライメントプロセスを使用してもよく、アライメントされた画像を、相対的に限定された性能を有するロジックを使用して実装される処理を使用して融合してもよい。融合処理は、アライメントされた複数の入力画像をそれぞれ、単純化したラプラシアンピラミッド（ＬＰ）へと変換する。ＬＰは、画像の複数の処理バージョンを含み、各バージョンは異なるサイズを有する。このように、一連のアライメントされた画像は、一連の対応するＬＰへと変換される。ＬＰは、合成ＬＰと組み合わされて、ラプラシアンピラミッド再構築（ＬＲＰ）が行われてもよい。ＬＰＲ処理の出力が、最終的な融合画像となる。【選択図】図１
2013542495.tif 000002
【特許請求の範囲】
【請求項１】
同一景色の複数の画像であって、焦点の合った複数の被写体が前記複数の画像のそれぞれにおいて互いに異なる前記複数の画像をアライメントする段階と、
アライメントされた前記複数の画像を融合する段階とを備え、
前記融合する段階は、
前記複数の画像のそれぞれについて、画像の色成分の各々について、適切な色成分表現で前記画像を表すラプラシアンピラミッドを構築する段階と、
前記複数の画像のそれぞれに対応する複数の前記ラプラシアンピラミッドに基づいて、合成ラプラシアンピラミッドを構築する段階と、
前記複数の画像のそれぞれにおいて、焦点の合った互いに異なる前記複数の被写体が、融合画像において焦点が合っているように見えるような前記融合画像を生成するべく、前記合成ラプラシアンピラミッドに対してラプラシアンピラミッド再構築を実行する段階とを有する方法。
【請求項２】
前記画像を表す前記ラプラシアンピラミッドを構築する段階は、
一連の縮小画像を生成するべく、前記画像を縮小する段階と、縮小した画像を保存する段階とを繰り返し実行する段階と、
一連の拡大画像を生成するべく、前記縮小した画像をそれぞれ拡大する段階と、
前記拡大画像を生成するのに使用された前記縮小画像を生成する前記縮小する段階において入力として使用された画像から、前記一連の拡大画像のそれぞれを引き算して、一連の差分画像を生成する段階と、
前記一連の差分画像を使用して、前記画像を表す前記ラプラシアンピラミッドを生成する段階とを含む請求項１に記載の方法。
【請求項３】
前記画像を縮小する段階は、
前記画像に線形フィルタを適用する段階と、
前記線形フィルタを適用した画像から、画素の行を一つおきに破棄する段階と、
前記線形フィルタを適用した画像の残りの行について、画素を１つおきに破棄する段階とを含む請求項２に記載の方法。
【請求項４】
前記画像を拡大する段階は、
各行において、行に存在する画素間に全ゼロ画素表現をインターリーブして、前記行における画素に交互に全ゼロ画素表現が存在するようにする段階と、
前記画像の行間に全ゼロ画素表現の行を追加して、前記画像の一つおきの行が全ゼロ画素表現の行となるようにする段階と、
前記線形フィルタを、得られた画像に適用する段階とを含む請求項３に記載の方法。
【請求項５】
前記線形フィルタは、
【数６】
2013542495.tif 000010
で規定されるマスクを使用する請求項３又は４に記載の方法。
【請求項６】
前記ラプラシアンピラミッド再構築は、
最小の差分画像を拡大する段階と、
前記最小の差分画像を拡大した結果と、次に大きな差分画像とを加算して、加算結果を得る段階と、
前記加算結果を拡大する段階、及び、拡大された加算結果を次に大きな差分画像に加算して次の加算結果を生成する段階を繰り返して、最終的な加算結果を生成する段階と、
前記最終的な加算結果を前記融合画像として使用する段階とを含む請求項２から５の何れか一項に記載の方法。
【請求項７】
前記合成ラプラシアンピラミッドを構築する段階は、
前記合成ラプラシアンピラミッドに規定される画素のそれぞれについて、
画像を表すラプラシアンピラミッドそれぞれにおける対応する画素を調べる段階と、
一連の前記対応する画素のうち、最大の絶対値を有する画素を選択する段階と、
選択した前記画素を、前記合成ラプラシアンピラミッドに規定される画素として使用する段階とを含む請求項１から６の何れか一項に記載の方法。
【請求項８】
プロセッサと、
前記プロセッサと接続され、複数の処理命令を格納するメモリとを備えるシステムであって、
前記複数の処理命令は、前記プロセッサに、
同一景色の複数の画像であって、焦点の合った複数の被写体が前記複数の画像のそれぞれにおいて互いに異なる前記複数の画像をアライメントする段階と、
アライメントされた前記複数の画像を融合する段階とを実行するよう指示し、
前記融合する段階は、
前記複数の画像のそれぞれについて、
画像の色成分の各々について、適切な色成分表現で前記画像を表すラプラシアンピラミッドを構築する段階と、
前記複数の画像のそれぞれに対応する複数の前記ラプラシアンピラミッドに基づいて、合成ラプラシアンピラミッドを構築する段階と、
前記複数の画像のそれぞれにおいて、焦点の合った互いに異なる前記複数の被写体が、融合画像において焦点が合っているように見えるような前記融合画像を生成するべく、前記合成ラプラシアンピラミッドに対してラプラシアンピラミッド再構築を実行する段階とを有するシステム。
【請求項９】
前記画像を表す前記ラプラシアンピラミッドを構築する段階は、
一連の縮小画像を生成するべく、前記画像を縮小する段階と、縮小した画像を保存する段階とを繰り返し実行する段階と、
一連の拡大画像を生成するべく、前記縮小した画像をそれぞれ拡大する段階と、
前記拡大画像を生成するのに使用された前記縮小画像を生成する前記縮小する段階において入力として使用された画像から、前記一連の拡大画像のそれぞれを引き算して、一連の差分画像を生成する段階と、
前記一連の差分画像を使用して、前記画像を表す前記ラプラシアンピラミッドを生成する段階とを含む請求項８に記載のシステム。
【請求項１０】
前記画像を縮小する段階は、
前記画像に線形フィルタを適用する段階と、
前記線形フィルタを適用した画像から、画素の一つおきの行を破棄する段階と、
前記線形フィルタを適用した画像の残りの行について、１つおきの画素を破棄する段階とを含み、
前記画像を拡大する段階は、
各行において、行に存在する画素間で全ゼロ画素表現をインターリーブして、前記行における画素に交互に全ゼロ画素表現が存在するようにする段階と、
前記画像の行間に全ゼロ画素表現の行を加算して、前記画像の一つおきの行が全ゼロ画素表現の行となるようにする段階と、
前記線形フィルタを、得られた画像に適用する段階とを含む請求項９に記載のシステム。
【請求項１１】
前記線形フィルタは、
【数６】
2013542495.tif 000011
で規定されるマスクを使用する請求項１０に記載のシステム。
【請求項１２】
前記ラプラシアンピラミッド再構築は、
最小の差分画像を拡大する段階と、
前記最小の差分画像を拡大した結果と、次に大きな差分画像とを加算して、加算結果を得る段階と、
前記加算結果を拡大する段階、及び、拡大された加算結果を次に大きな差分画像に加算して次の加算結果を生成する段階を繰り返して、最終的な加算結果を生成する段階と、
前記最終的な加算結果を前記融合画像として使用する段階とを含む請求項９から１１の何れか一項に記載のシステム。
【請求項１３】
前記合成ラプラシアンピラミッドを構築する段階は、
前記合成ラプラシアンピラミッドに規定される画素のそれぞれについて、
画像を表すラプラシアンピラミッドそれぞれにおける対応する画素を調べる段階と、
一連の前記対応する画素のうち、最大の絶対値を有する画素を選択する段階と、
選択した前記画素を、前記合成ラプラシアンピラミッドに規定される画素として使用する段階とを含む請求項８から１２の何れか一項に記載のシステム。
【請求項１４】
コンピュータプログラムロジックを格納する非一時的コンピュータ可読媒体を備えるコンピュータプログラム物品であって、
前記コンピュータプログラムロジックは、
プロセッサに、同一景色の複数の画像であって、焦点の合った複数の被写体が前記複数の画像のそれぞれにおいて互いに異なる前記複数の画像をアライメントする段階を実行させるロジックと、
プロセッサに、アライメントされた前記複数の画像を融合する段階を実行させるロジックとを有し、
前記融合する段階は、
前記複数の画像のそれぞれについて、
画像の色成分の各々について、適切な色成分表現で前記画像を表すラプラシアンピラミッドを構築する段階と、
前記複数の画像のそれぞれに対応する複数の前記ラプラシアンピラミッドに基づいて、合成ラプラシアンピラミッドを構築する段階と、
前記複数の画像のそれぞれにおいて、焦点の合った互いに異なる前記複数の被写体が、融合画像において焦点が合っているように見えるような前記融合画像を生成するべく、前記合成ラプラシアンピラミッドに対してラプラシアンピラミッド再構築を実行する段階とを含むコンピュータプログラム物品。
【請求項１５】
前記画像を表すラプラシアンピラミッドを構築する段階は、
一連の縮小画像を生成するべく、前記画像を縮小する段階と、縮小した画像を保存する段階とを繰り返し実行する段階と、
一連の拡大画像を生成するべく、前記縮小した画像をそれぞれ拡大する段階と、
前記拡大画像を生成するのに使用された前記縮小画像を生成する前記縮小する段階において入力として使用された画像から、前記拡大画像を引き算して、一連の差分画像を生成する段階と、
前記一連の差分画像を使用して、前記画像を表す前記ラプラシアンピラミッドを生成する段階とを含む請求項１４に記載のコンピュータプログラム物品。
【請求項１６】
前記画像を縮小する段階は、
前記画像に線形フィルタを適用する段階と、
前記線形フィルタを適用した画像から、画素の行を一つおきに破棄する段階と、
前記線形フィルタを適用した画像の残りの行について、画素を一つおきに破棄する段階とを含む請求項１５に記載のコンピュータプログラム物品。
【請求項１７】
前記画像を拡大する段階は、
各行において、行に存在する画素間で全ゼロ画素表現をインターリーブして、前記行における画素に交互に全ゼロ画素表現が存在するようにする段階と、
前記画像の行間に全ゼロ画素表現の行を追加して、前記画像の一つおきの行が全ゼロ画素表現の行となるようにする段階と、
前記線形フィルタを、得られた画像に適用する段階とを含む請求項１６に記載のコンピュータプログラム物品。
【請求項１８】
前記線形フィルタは、
【数６】
2013542495.tif 000012
で規定されるマスクを使用する請求項１６又は１７に記載のコンピュータプログラム物品。
【請求項１９】
前記ラプラシアンピラミッド再構築は、
最小の差分画像を拡大する段階と、
前記最小の差分画像を拡大した結果と、次に大きな差分画像とを加算して、加算結果を得る段階と、
前記加算結果を拡大する段階、及び、拡大された加算結果を次に大きな差分画像に加算して次の加算結果を生成する段階を繰り返して、最終的な加算結果を生成する段階と、
前記最終的な加算結果を前記融合画像として使用する段階とを含む請求項１５から１８の何れか一項に記載のコンピュータプログラム物品。
【請求項２０】
前記合成ラプラシアンピラミッドを構築する段階は、
前記合成ラプラシアンピラミッドに規定される画素のそれぞれについて、
画像を表すラプラシアンピラミッドそれぞれにおける対応する画素を調べる段階と、
一連の前記対応する画素のうち、最大の絶対値を有する画素を選択する段階と、
選択した前記画素を、前記合成ラプラシアンピラミッドに規定される画素として使用する段階とを含む請求項１４から１９の何れか一項に記載のコンピュータプログラム物品。
【発明の詳細な説明】
【背景技術】
【０００１】
カメラで画像を撮像する場合、典型的には、焦点は１つの深度で達成される。例えば、背景の前に位置する１つの被写体が存在する景色を仮定すると、カメラは、手前に存在する被写体に焦点を合わせる（背景はぼやけたままになる）、又は、背景に焦点を合わせる（手前の被写体はぼやけたままになる）。
【０００２】
しかしながら、ある状況では、１つ以上の被写体に焦点が合った画像を取得したい場合がある。また、同じ画像内の全ての被写体に焦点が合っているような画像を取得したい場合もある。従来では、このような場合には、それぞれ異なる焦点深度で、同じ景色の複数の画像を撮像する必要があった。そして、この撮像には、固定カメラを使用する必要があった。このようにして、景色内の複数の異なる被写体が、各画像中で同じ位置に存在するような複数の画像を取得する。そして、このような複数の画像を融合（blend）させて、景色内に存在する全ての要素に焦点が合っている１つの画像を取得する。
【０００３】
このような方法には、幾つかの理由から、問題が存在する。第１に、いつでも固定カメラを使用できるわけではない。例えば、三脚を使用することが望ましいが、三脚がいつも利用可能とは限らない。通常、カメラは手で持って使用するが、この場合、カメラがその時々に動いたりぶれたりすることが多い。第２に、複数の画像を融合するプロセスは、多大な処理能力を必要とする複雑なアルゴリズムによって行われている。
【図面の簡単な説明】
【０００４】
【図１】一実施形態の処理全体を例示したフローチャートである。
【図２】一実施形態に係るアライメントプロセスを例示したフローチャートである。
【図３】一実施形態に係るオイラー角の見積もりを例示したフローチャートである。
【図４】一実施形態に係る融合プロセスを例示したフローチャートである。
【図５】一実施形態に係るラプラシアンピラミッドの構築の例を示したフローチャートである。
【図６】一実施形態に係る縮小プロセスを例示したフローチャートである。
【図７】一実施形態に係る拡大プロセスを例示したフローチャートである。
【図８】一実施形態に係るラプラシアンピラミッドの再構築の例を示したフローチャートである。
【図９】一実施形態のソフトウェア又はファームウェア実装を例示したブロック図である。
【発明を実施するための形態】
【０００５】
図面において、最も左側に示された参照番号の数字は、その参照番号が最初に示される図面の番号を表している。
【０００６】
実施形態が図面を参照して説明されるが、同様な参照番号は、同一の又は機能的に同様な要素を示す。また、図面において、最も左側に示された参照番号の数字は、その参照番号が最初に示される図面の番号を表している。以下では、特定の構成及び配置について説明されるが、これは、本発明を例示する目的で説明される。当業者であれば、本発明の精神及び範囲内において、その他の構成及び配置を利用可能であることは理解できる。また、当業者であれば、本明細書で説明した以外の様々なシステム及びアプリケーションに適用可能であることが明らかである。
【０００７】
本明細書では、それぞれ異なる焦点深度に位置する複数の被写体の全てに焦点が合っているように見える１つの画像を生成する方法及びシステムを開示する。一実施形態において、景色内の全ての被写体に焦点が合っているように見える。非固定式カメラの調整を行うことができ、カメラの手ぶれ又はその他の動きによって生じた景色内の変動は、許容される。画像アライメントプロセスによりアライメントされた複数の画像を、相対的に限定された性能を有するロジックを使用して融合してもよい。融合プロセスは、アライメントされた複数の入力画像のセットを取得し、セット内の各画像をラプラシアンピラミッド（ＬＰ）へと変換する。１つの画像に対するＬＰとは、その画像を処理した複数のバージョンを含むデータ構造であり、複数のバージョンのそれぞれが異なるサイズを有する。このように、アライメントされた複数の画像からなるセットが、複数のＬＰからなるセットに変換される。複数のＬＰを、合成ＬＰへと組み合わせて、ラプラシアンピラミッド再構築（ＬＰＲ）を行ってもよい。ＬＰＲ処理の出力が、最終的に融合された画像となる。
【０００８】
一実施形態に係る処理の全体が、図１に例示されている。段階１１０では、２つ以上の画像がアライメントされる。段階１２０では、アライメントされた複数の画像が融合される。段階１１０及び１２０の実施形態については、以下に詳細に説明する。
【０００９】
図２には、一実施形態に係る、カメラの回転の推定及びその結果生じる画像のアライメントのプロセスが例示されている。ここに示した以外に、例えば、アフィン変換モデルのようなその他のモデルを使用してもよい。段階２１０において、入力画像の階調レベル表現のガウシアン多重解像度表現（ＭＲＲ）を計算してもよい。概念的には、この表現は、ピラミッド構造として見ることができ、第１表現又はピラミッド層は、相対的に粗い画像表現となり、連続した表現はそれぞれ、１つ前の表現に比べて精細な表現になる。画像の多重解像度表現は、粗い画像から精細な画像へと推定していく方法を可能にしてもよい。一実施形態において、計算効率を上げるために、入力画像の多重解像度表現を、二項Ｂ２フィルタ（１／４，１／２，１／４）を使用して計算してもよい。
【００１０】
図２の実施形態では、段階２２０から２４０は、最も粗いレベルの画像から開始して、ピラミッドの各層について実行されてもよい。一般的に、アライメントされた（又は登録された）２つの画像間の強度はピクセル毎に変位するが強度値は保存されるという勾配の制約に、このプロセスが基づいていてもよい。勾配制約は、以下のように表すことができる。
【数１】
2013542495.tif 000003
ここで、Ｉは画像強度であり、ｄは変位、ΔＩ（ｐ）＝Ｉ２（ｐ）−Ｉ１（ｐ）であり、Ｉ２（ｐ）及びＩ１（ｐ）は、画素ｐにおける画像強度である。
【００１１】
画像内の画素はそれぞれ、１つの制約、及び、一般的に２つの未知数に寄与している。しかしながら、画像の動きは、カメラの並進移動よりもカメラの回転によるぶれが主原因となっていると仮定することができ、２つの画像間の変位は、次のように表すことができる。
【数２】
2013542495.tif 000004
ここで、ｘ１は、同次画像座標における画素ｐの位置であり、ｘ２＝Ｐｘ１である。太字のＰは、３次元のカメラの回転及び画像の２つの焦点距離（単純な対角線型のカメラの較正行列を仮定する）を表す３つのパラメータに依存する特定の射影変換を表す。
【数３】
2013542495.tif 000005
ここで、ｆ１及びｆ２は、それぞれ焦点距離であり、Ｒは、カメラの回転に対応する３次元回転行列である。回転行列は、（ｘ，ｙ，ｚ）座標系に対応するオイラー角ω＝（ωｘ，ωｙ，ωｚ）を使用してパラメータ化することができる。小角近似を使用して以下のように表せる。
【数４】
2013542495.tif 000006
【００１２】
上記の式（１）、（２）及び（３）を組み合わせると、以下の制約を各画素について得ることができる。
【数５】
2013542495.tif 000007
両方の画像の焦点距離がカメラによって提供されると仮定すると、この制約は、オイラー角ベクトルωにおいて線形となる。
【００１３】
第１入力画像の画素のサンプルから制約を収集する段階２２０から、反復プロセスが開始されてもよい。一実施形態において、制約が形成されるロケーションを、第１入力画像のフレームのリファレンス内に、矩形のサンプリンググリッドを使用して選択してもよい。これらの画素及びその制約を使用して、ベクトルωを各画素について計算する。一実施形態に係る、この角度を推定するプロセスについては、以下に詳細に説明する。
【００１４】
オイラー角の推定結果を使用して、段階２３０において、回転行列Ｒを上記の式（３）に従って求める。この行列が決定された後、段階２４０において、射影変換Ｐを上記の式（２）に従って計算する。反復プロセスのそれぞれにおいて、１つ前の反復又は１つ前の解像度レベルで求められた変換Ｐの結果と、今回求められたＰとを組み合わせてもよい。
【００１５】
段階２５０において、変位ｄ（ｐ）を、推定されるフレーム間カメラ回転として計算してもよい。段階２６０において、入力フレーム及びそれに続くフレームを、推定されたカメラ回転に従ってアライメントしてもよい。一実施形態では、共一次内挿法（bilinear interpolation）を使用して、特定された画素ロケーションにおける次の画像の変位した強度値を取得してもよい。
【００１６】
一実施形態において、露出の突然の変化によって起きる問題を避けることが望ましい。このような問題は、カメラの自動露出機能によって時折引き起こされる。この問題を回避するべく、画像をアライメントする前に、平均及び標準偏差を均一にする前処理を画像に施してもよい。
【００１７】
図３には、オイラー角の推定（上記の段階２２０）について詳細に示されている。段階３１０において、上記の式（４）の形式の制約を、所与の解像度レベルにおける、サンプルとされた画素のそれぞれについて生成する。そして、サンプルとされた画素のそれぞれについて、式が生成される。生成された複数の式のセットは、それぞれがωにおいて一次の式の優決定系となる。段階３２０において、この式の系を解いてもよい。例示の実施形態では、この系は、テューキー（Tukey）関数のＭ推定量（M-estimator）を利用することによって解いてもよい。
【００１８】
図４には、一実施形態に係る、融合プロセス（図１の１２０）が詳細に示されている。段階４１０において、アライメントされた画像の各々について、及び、色チャネルの各々について又は適切な色成分表現の２つの色チャネル及び強度について、ラプラシアンピラミッドを構築してもよい。この構築については、以下で詳細に説明する。一般的に、入力画像のラプラシアンピラミッドは、入力画像から導出される複数の画像からなるセットになる。このような複数の画像の導出は、入力画像の線形フィルタリング、及び、それに続くフィルタされた入力画像の縮小及び拡大の繰り返しを伴う。得られた複数の画像のセットには、異なるサイズの複数の画像が含まれ、概念として、集合的にピラミッド型にモデル化されてもよい。
【００１９】
段階４２０及び段階４３０において、入力画像のラプラシアンピラミッドを使用して、合成ラプラシアンピラミッドを構築してもよい。段階４２０において、ＬＰ（ラプラシアンピラミッド）の各画素について、その画素の画素係数と、別のＬＰにおける対応する画素の画素係数との比較がなされてもよい。対応する画素のセットのうち、係数の絶対値が最も大きい画素を保存し、合成ピラミッドの対応する位置で使用してもよい。段階４３０において、合成ピラミッドが、これら保存された画素から構築されてもよい。合成ピラミッド内の画素はそれぞれ、ＬＰのセット内のそれぞれ対応するロケーションにおける対応する全ての画素のうち、（絶対値で）最も大きな係数を有する画素を表している。
【００２０】
段階４４０において、合成ピラミッドにラプラシアンピラミッド再構築を適用して、最終的な融合画像を生成する。これについては、図８を参照して以下で詳細に説明する。
【００２１】
図５には、ラプラシアンピラミッドの構築（図４の４１０）が例示されている。入力画像５１０は、縮小プロセス５２０によって繰り返し縮小されてもよい。図示されている例では、入力画像５１０は、画像５１１を形成するべく縮小されてもよく、画像５１１は更に、画像５１２に縮小されてもよい。画像５１２は、画像５１３に縮小されてもよい。以下に詳細に説明するように、縮小には、フィルタリング処理及び特定の画素の消去が含まれる。更に、図５の例では、３回の縮小が示されているが、別の実施形態では、縮小の回数が異なってもよい。縮小の回数は、少なくとも一部、最終的な縮小画像（本例では画像５１３）の所望のサイズによって決定される。
【００２２】
最終的な縮小画像に、拡大処理５３０が施される。拡大処理を以下に詳細に説明するが、拡大処理は、拡大処理を行う画像に画素の全ゼロ表現をインターリーブすること、及び、その後にフィルタリング処理を行うことを伴う。一実施形態において、画素の全ゼロ表現は、データが全てゼロである２値画素であってもよい。画像５１３を拡大した出力を、拡大処理を行う前の画像から引き算してもよい。この時点で、画像５１３を拡大した出力を、画像５１３の前の画像である画像５１２から引き算してもよい。引き算の結果を、最終的なラプラシアンピラミッドの一部を表す差分画像５４２として保存してもよい。
【００２３】
一つ前の画像５１２に、拡大処理５３０を施してもよい。この拡大処理の出力を、画像５１２の前の画像、すなわち、画像５１１から引き算してもよい。この引き算の結果を、差分画像５４１として保存してもよい。画像５１１に同様に拡大処理５３０を行って、その結果を、画像５１０から引き算して差分画像５４０を生成して同様に保存してもよい。保存された差分画像５４０、５４１及び５４２は集合的に、ラプラシアンピラミッドを表す。
【００２４】
拡大の回数は、縮小の回数と必ず等しい。図示の例では、３回の拡大が示されているが、別の実施形態では、異なる回数の拡大が行われてもよい。
【００２５】
一実施形態に係る縮小処理（図５の５２０）が図６に例示されている。段階６１０において、線形フィルタを適用してもよい。一実施形態において、フィルタは、次のようなマスクを使用してもよい。
【数６】
2013542495.tif 000008
【００２６】
このマスクはガウシアンの粗い近似であることから、ラプラシアンピラミッドを構築するのには使われないことが多いが、本例のような特定のアプリケーションでは、一般的に使用されている他のフィルタよりも低いコストで高い品質の結果を得られると考えられる。このような理由から、ラプラシアンピラミッドのこの特定のバージョンを、単純化されたラプラシアンピラミッドと見なすことができる。
【００２７】
段階６２０及び段階６３０において、フィルタリングされた画像から画素を取り除いてもよい。段階６２０において、一つおきの行を破棄してもよい。段階６３０において、１つおきの画素を、残りの行の各々から取り除いてもよい。この結果、縮小した画像を得ることができる。
【００２８】
図７には、一実施形態に係る拡大処理（図５の５３０）が例示されている。段階７１０において、画素の行を、画像の存在する行の間にインターリーブしてもよい。これらの挿入された画素は、全ゼロ画素表現であってもよい。段階７２０において、元の行において、全ゼロ画素表現を元の画素にインターリーブしてもよい。インターリーブ後は、元の行では、一つおきの画素が全ゼロ画素表現となる。したがって、段階７１０及び段階７２０が完了すると、一つおきの行が、全ゼロ画素表現となる。その他の行では、一つおきの画素が、全ゼロ画素表現となる。
【００２９】
段階７３０では、線形フィルタを適用してもよい。一実施形態において、同様な理由から、上記で説明した縮小処理と同じマスクを使用してもよい。
【数６】
2013542495.tif 000009
【００３０】
一実施形態に係るラプラシアンピラミッド再構築（ＬＰＲ、図４の参照番号４４０）が図８に例示されている。合成ラプラシアンピラミッドの構成要素である画像８１１−８１４が入力として示されている。最も小さな画像８１４を、拡大処理８３０に入力してもよい。拡大処理８３０は、上記の拡大処理５２０と同じ処理であってもよい。この拡大処理の出力は、次に大きな入力の画像８１３に加算されてもよい。加算結果を拡大して、次に大きな画像８１２に加算してもよい。得られた加算後の結果を拡大して、次に大きな画像８１１に加算してもよい。そして、その結果が最終的な融合画像８４０となる。
【００３１】
３つの拡大処理及び４つの入力画像が示されているが、別の実施形態では、入力ラプラシアンピラミッド内の画像の数に応じて、異なる回数の拡大処理が行われてもよい。
【００３２】
ピラミッド（図４の４２０）の画像各々における各画素の係数を比較する前に、更なる演算を行ってもよい。これは、絶対値のピラミッド画像それぞれに線形フィルタを適用することであってもよい。ある場合には、このような演算処理を行うことにより、線形フィルタを適用する更なる計算コストが生じるものの、融合画像の品質を向上させることができる。一実施形態において、このフィルタは、５×５のボックスフィルタである。
【００３３】
本明細書に開示された１以上の特徴が、ハードウェア、ソフトウェア、ファームウェア及びこれらに組み合わせに実装されてもよく、例えば、ディスクリート回路ロジック及び集積回路ロジック、特定用途向け集積回路（ＡＳＩＣ）ロジック及び、マイクロコントローラに実装されてもよい、また、ドメイン固有ＩＣパッケージ又はＩＣパッケージの組み合わせの一部として実装されてもよい。また、本明細書で使用されているソフトウェアという言葉は、コンピュータシステムに、本開示の１以上の特徴及び／又は特徴の組み合わせを実行させるコンピュータプログラムロジックを格納する非一時的コンピュータ可読媒体を含む、コンピュータプログラム物品を指す。
【００３４】
図９には、本明細書で説明した処理のソフトウェア又はファームウェアの実施形態が示されている。図に示すように、システム９００は、プロセッサ９２０を備え、更に、メモリ９１０本体を備えてもよい。メモリ９１０は、コンピュータプログラムロジック９４０を格納してもよい１以上のコンピュータ可読媒体を含んでもよい。メモリ９１０は、ハードディスク及びドライブとして実装されてもよく、コンパクトディスク、リードオンリーメモリ（ＲＯＭ）又はランダムアクセスメモリ（ＲＡＭ）デバイス、例えば、これらの組み合わせのような取り外し可能媒体として実装されてもよい。バスのような、当業者に周知の技術を使用して、プロセッサ９２０及びメモリ９１０は互いに通信可能であってもよい。メモリ９１０に収容されたコンピュータプログラムロジック９４０は、プロセッサ９２０によって読み出し及び実行されてもよい。１以上のＩ／Ｏポート及びＩ／ＯデバイスがＩ／Ｏ９３０と総称して示されており、プロセッサ９２０及びメモリ９１０に接続されていてもよい。
【００３５】
コンピュータプログラムロジック９４０は、アライメントロジック９５０を含んでもよい。アライメントロジック９５０は、次の融合処理のために、景色の複数の画像をアライメントする役割を担ってもよい。アライメントロジック９５０は、図２及び図３を参照して上記で説明した処理を実装してもよい。
【００３６】
コンピュータプログラムロジック９４０は、ＬＰ構築ロジック９６０を含んでもよい。このモジュールは、上記の図５から図７を参照して説明したように、入力画像に基づいてラプラシアンピラミッドの再構築を行うロジックを含んでもよい。
【００３７】
コンピュータプログラムロジック９４０は、図４の４３０を参照して上記で説明したように、合成ラプラシアンピラミッドの構築を行うロジック９７０を含んでもよい。
【００３８】
コンピュータプログラムロジック９４０は、ラプラシアンピラミッド再構築ロジック９８０を含んでもよい。このモジュールは、図４の４４０及び図８を参照して上記で説明したように、融合画像の生成を行うロジックを含んでもよい。
【００３９】
機能、特徴及びこれらの関係を例示した機能ブロックを用いて、方法及びシステムが開示された。これらの機能ブロックの境界の少なくとも一部は、説明を簡便にするために任意に規定されたものである。特定の機能及びその関係が適切に実行される限り、別の境界を規定してもよい。
【００４０】
様々な実施形態が開示されたが、これらは例示を目的として示されており、限定することを意図していない。当業者であれば、本開示の方法及びシステムの精神及び範囲内において、形式及び詳細の様々な変更を行うことが可能であることは明らかである。したがって、特許請求の範囲は、本明細書に開示した実施形態によって限定されない。
【図１】
2013542495.tif 000013
【図２】
2013542495.tif 000014
【図３】
2013542495.tif 000015
【図４】
2013542495.tif 000016
【図６】
2013542495.tif 000017
【図７】
2013542495.tif 000018
【図９】
2013542495.tif 000019
【図５】
2013542495.tif 000020
【図８】
2013542495.tif 000021
【国際調査報告】
2013542495.tif 000022
2013542495.tif 000023