(57)【要約】【課題】撮影する際に手ブレに起因してデジタル画像取得装置によって生成されるゴースト像を除去するように構成されているデジタル画像合成方法を提供すること。【解決手段】この方法は、複数のステップを含む。撮影前のプロセスにおいて、ベース画像および比較画像それぞれが取得される。ベース画素がベース画像から選択され、コアウィンドウが、中心にそのベース画素を含んで設定される。比較画素が比較画像から選択され、サーチウィンドウが、中心にその比較画素を含んで設定される。サーチウィンドウの各エリアがコアウィンドウ全体にわたって比較され、ベース画像と比較画像の間の絶対誤差合計値が計算される。正規化された領域差分値により、ベース画素の輝度をどのように変更すべきか判定される。上述のステップは、ベース画像内の各画素を調整するために繰り返される。【選択図】図２
2010009586.tif 000002
【特許請求の範囲】
【請求項１】
撮影する際に手ブレに起因してデジタル画像取得装置によって生成されるゴースト像を除去するように構成されているデジタル画像合成方法であって、
ベース画像および比較画像を取得するステップと、
前記ベース画像からベース画素を選択し、中心に前記ベース画素を含むコアウィンドウを設定するステップと、
前記ベース画素の画像位置により、前記比較画像から対応する位置における比較画素を求め、中心に前記比較画素を含むサーチウィンドウを設定するステップと、
前記コアウィンドウ全体にわたって前記サーチウィンドウの各エリア内の画素を１つずつ比較し、各エリアに対応する絶対誤差合計値を作成するステップと、
一次領域差分値ルックアップテーブルを前記ベース画素の輝度値により読み取って、一次領域差分値を求めるステップと、
最小絶対誤差合計値を前記一次領域差分値から引いて、正規化された領域差分値を得るステップと、
前記正規化された領域差分値により、前記ベース画素の前記輝度値を調整するステップと、
前記ベース画像内のすべての前記画素を完了し、その位置により、前記修正画素を合成画像に組み合わせるステップと
を含む方法。
【請求項２】
前記ベース画像および前記比較画像が、ベイヤーパターン、ＲＧＢＷパターン、コダックＲＧＢＷパターン、またはＣＹＧＭパターンである、請求項１に記載のデジタル画像合成方法。
【請求項３】
前記コアウィンドウの範囲が、前記サーチウィンドウの範囲より小さく、またはその範囲と等しい、請求項１に記載のデジタル画像合成方法。
【請求項４】
前記サーチウィンドウの各エリア内の前記画素が、前記コアウィンドウ全体にわたって１つずつ比較され、前記対応する絶対誤差合計値が、
【数１】
2010009586.tif 000004
により作成され、ただし、Ａは、前記ベース画像であり、Ｃは、前記比較画像であり、（ｉ，ｊ）は、前記ベース画像内の前記ベース画素の座標位置であり、（ｉ’，ｊ’）は、前記比較画像内の前記比較画素の座標位置であり、ｗは、前記コアウィンドウの幅から１を引き、次いで、２で割られることによって得られる値である、請求項１に記載のデジタル画像合成方法。
【請求項５】
前記正規化された領域差分値が閾値より大きい場合、前記ベース画素の前記輝度は上昇する、請求項１に記載のデジタル画像合成方法。
【請求項６】
前記正規化された領域差分値が閾値より小さい場合、最小絶対誤差合計値に対応する前記比較画素の輝度値は、前記ベース画素の前記輝度値に加えられる、請求項１に記載のデジタル画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像合成方法に関し、より詳細には、撮影中にデジタル画像取得装置によって生成されるゴースト像を除去するように構成されているデジタル画像合成方法に関する。
【背景技術】
【０００２】
最近、デジタルカメラの急速な発展により、多くの人は、写真を撮ることによって、忘れられない瞬間を記録するようにしている。しかし、フィルムカメラの場合であっても、またはデジタルカメラの場合であっても、撮影中、ユーザによるカメラの支持が不安定であるために、ぼやけた画像がしばしば生成される。手でカメラを支持する限り、多かれ少なかれ、ブレ問題は存在する。違いは、手による支持の安定度が人によって異なることであり、不本意なカメラの位置ずれは、シャッタが押される瞬間に生じる。そのため、手ブレによるぼやけた画像が生成されないようにするために、デジタルカメラの製造業者は、手ブレを防ぐハードウェア、または既にぼやけたデジタル画像を修正するためのソフトウェアを使用している。
【０００３】
それによって、各デジタルカメラ製造業者の製品には、他とは異なるアンチ手ブレ機構が備わっている。アンチ手ブレ機構は、撮影中に手ブレによって生じる画像ぼやけ現象を検出し、抑制することができる。アンチ手ブレ技術は、主に、ハードウェアまたはソフトウェアによって達成される。
【０００４】
ハードウェアに関しては、一般に、感光素子アンチ手ブレモードおよび機械的アンチ手ブレモードが採用される。感光素子アンチ手ブレモードは、向上したＩＳＯ（簡潔に、ＩＳＯと呼ばれる国際標準化機構）に使用される。基本的に、向上したＩＳＯは、単に、あらゆるブレが感知される前に、シャッタが動作を終えることを可能にするに過ぎない。しかし、また、向上したＩＳＯは、より大きなノイズも引き起こす。機械的アンチ手ブレモードは、動作検出素子をデジタルカメラ内に構成することである。手ブレを検出すると、デジタルカメラは、位置ずれによって生じるぼやけた画像を補正するために、手ブレの方向とは反対の方向にそのレンズを移動させる。別のアンチ手ブレ方法は、シャッタ時間を短縮するために、絞りを大きくして、入射光の量を増やすことである。しかし、絞りの大きさは、レンズセットの組み合わせられたアーキテクチャによって決まる。一般的に言えば、大きな絞りのカメラレンズは、費用が高く、容積が大きく、したがって、消費者のデジタルカメラにおいて構成されることは困難である。
【０００５】
別のモードは、複数のデジタル画像を合成することである。より優れた視覚効果が達成可能であっても、ゴースト像は画像合成中に生成されやすい。その理由は、２つのデジタル画像が取得されるとき、撮影されるべき被写体は固定位置になく、したがって、２つのデジタル画像が、直接、合成されるとき、同じ被写体は、別の位置に見えているからである。図１を参照すると、従来の合成方法の概略図が示されている。図１において、左上の絵は、第１のときに取得されたデジタル画像１１０であり、左下の絵は、第２のときに取得されたデジタル画像１２０である。２つのデジタル画像が、直接、合成される場合、別の位置に見えている同じ被写体によるゴースト像が、図１の右の絵（デジタル画像１３０）に示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
したがって、本発明は、撮影の際に手ブレに起因してデジタル画像取得装置によって生成されるゴースト像を除去するように構成されているデジタル画像合成方法を対象にする。
【課題を解決するための手段】
【０００７】
上述の目的を達成するために、デジタル画像合成方法が提供される。この方法は、次のステップを含む。ベース画像および比較画像が取得される。ベース画素がベース画像から選択され、コアウィンドウが、複数の画素の周りを取り囲むように、中心にそのベース画素を含んで設定される。対応する比較画素は、ベース画素の画像位置により、比較画像から求められ、サーチウィンドウが、複数の画素の周りを取り囲むように、中心にその比較画素を含んで設定される。複数の画素が、サーチウィンドウから選択され、差分値計算が、選択された画素およびコアウィンドウ内の各画素に関してそれぞれ行われ、すべての差分値は、絶対誤差合計値を出力するために累積される。複数の一次領域差分ルックアップテーブルがロードされる。正規化された領域差分値が、一次差分領域ルックアップテーブルおよび絶対誤差合計値により得られる。正規化された領域差分値が閾値より大きい場合、ベース画素の輝度は上昇する。正規化された領域差分値が閾値より小さい場合、比較画素の輝度は、修正画素を作成するために、ベース画素の輝度に加えられる。上述のステップは、ベース画像内のすべての画素が完了されるまで繰り返される。次いで、修正画素は、その位置により、合成画素に組み合わせられる。
【０００８】
本発明は、撮影中にデジタル画像取得装置によって生成されるゴースト像を除去するように構成されている画像合成方法を提供する。この方法においては、撮影前のプロセスにおいて取得される複数の画像から２つの画像が合成される。輝度調整は、本発明における上述の２つのデジタル画像内の同一画素により行われる。すべての画素が上述の処理を受けた後、処理された画素は、逐次、合成画像に組み合わせられる。
【０００９】
本発明は、本発明を例示するためだけでなく、したがって、限定的ではない以下の本明細書に示される詳細な説明により、より完全に理解されることになる。
【図面の簡単な説明】
【００１０】
【図１】従来の合成方法の概略図である。
【図２】本発明の概略的な流れ図である。
【図３ａ】ベース画像の概略図である。
【図３ｂ】比較画像の概略図である。
【図３ｃ】サーチウィンドウ内のコアウィンドウの配列の概略図である。
【図３ｄ】サーチウィンドウ内のコアウィンドウの配列の概略図である。
【図３ｅ】サーチウィンドウ内のコアウィンドウの配列の概略図である。
【図３ｆ】サーチウィンドウ内のコアウィンドウの配列の概略図である。
【図３ｇ】サーチウィンドウ内のコアウィンドウの配列の概略図である。
【図４】一次領域差分ルックアップテーブルの概略的な線グラフである。
【発明を実施するための形態】
【００１１】
本発明は、ソフトウェアによるコンピュータ装置だけに実装可能ではなく、ファームウェアによる様々なハンドヘルドのコンピュータ装置にも実装可能である。図２は、本発明の概略的な流れ図である。
【００１２】
まず、ベース画像および比較画像が取得される（ステップＳ２１０）。ベース画像３１０および比較画像３２０はそれぞれ、ベイヤーパターンである。図３ａおよび３ｂはそれぞれ、ベース画像の概略図および比較画像の概略図である。本発明におけるベイヤーパターンの画素配列は、図３ａに示されているように、コアウィンドウ３１２の左上隅部から下部まで、Ｇｒ、Ｒ、Ｇｒ、Ｒ、Ｇｒ、Ｂ、Ｇｂ、Ｂ、Ｇｂ、・・・、Ｇｒ、およびＲの形態である。加えて、また、本発明は、ＲＧＢＷパターン、コダックＲＧＢＷパターン、またはＣＹＧＭパターンのような他の画素構成のパターンにも適用可能であり、したがって、本発明は、本明細書に限定されない。
【００１３】
次に、ベース画素がベース画像から選択され、コアウィンドウが、中心にそのベース画素を含んで設定される（ステップＳ２２０）。本発明においては、コアウィンドウ３１２の範囲は、３＊３、５＊５、または他の大きさの画素アレイであってもよい。図３ａの太い黒の点線は、コアウィンドウ３１２をマークしており、コアウィンドウ３１２内の円形の点線は、ベース画素３１１をマークしている。対応する位置における比較画素が、ベース画素の画像位置により比較画像から求められ、サーチウィンドウが、中心にその比較画素を含んで設定される（ステップＳ２３０）。比較画素の位置は、ベース画像３１０内のベース画素３１１の位置によって決まる。サーチウィンドウ３２２の範囲は、３＊３、５＊５、または他の大きさの画素アレイであってもよい。コアウィンドウ３１２の範囲は、サーチウィンドウ３２２の範囲より小さく、またはその範囲と等しい。
【００１４】
サーチウィンドウの各エリアが、コアウィンドウ全体にわたって１つずつ比較され、各エリアに対応する絶対誤差合計値が作成される（ステップＳ２４０）。コアウィンドウ３１２およびサーチウィンドウ３２２の位置は、図３ｂに示されている。絶対誤差合計（ＳＡＤ、Ｓｕｍ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）値は、次の式１によって得られる。
【００１５】
【数１】
2010009586.tif 000003
【００１６】
Ａは、ベース画像３１０であり、Ｃは、比較画像３２０であり、ｗは、コアウィンドウ３１２の幅から１を引き、次いで、２で割られることによって得られる値であり、（ｉ，ｊ）は、ベース画像３１０内のベース画素３１１の座標位置であり、（ｉ’，ｊ’）は、比較画像内の比較画素の座標位置である。（ｉ’，ｊ’）は、コアウィンドウ３１２と同一のパターン配列により成るサーチウィンドウ内の各サブエリアの中心画素の座標である。具体的には、本発明によれば、（ｉ’，ｊ’）は、サーチウィンドウ３２２をコアウィンドウ３１２と比較することによって得られる。つまり、サーチウィンドウ３２２内の同一の画素カラー配列のエリアは、コアウィンドウ３１２内の画素カラー配列により比較される。より明確に説明するために、５＊５のコアウィンドウ３１２および９＊９のサーチウィンドウ３２２が、図３ａのコアウィンドウ３１２の上述の画素配列を参照することによって、一例として取り挙げられる。コアウィンドウ３１２において、Ｇｒ、Ｒ、Ｇｒ、Ｒ、Ｇｒ、Ｂ、Ｇｂ、Ｂ、Ｇｂ、・・・、Ｇｒ、およびＲは、左上隅部から右上隅部に、次いで上部から下部に配列されている。同じ配列の２５個のエリアは、上述の画素カラー配列によりサーチウィンドウ３２２から求めることが可能である。サーチウィンドウ３２２内に複数の（ｉ’，ｊ’）があるので、例えば、図３ｂを取り挙げると、（ｉ’，ｊ’）の数は、２５である。２５個の点のうちの中心点の座標が（ｉ*，ｊ*）（コアウィンドウ３１２の中心における点だけ）である場合、（ｉ’，ｊ’）および（ｉ*，ｊ*）の関係は、次の通りである。
ｉ’＝ｉ*＋ｋ      ｋ∈｛０，±２，±４・・・｝,
ｊ’＝ｊ*＋ｌ      ｌ∈｛０，±２，±４・・・｝．
【００１７】
様々な異なる配列を明確に示すために、一例として図３ｂを取り挙げ、また、図３ｃ、３ｄ、３ｅ、３ｆ、および３ｇも参照すると、サーチウィンドウ３２２内のコアウィンドウ３１２の様々な配列が示されている。次いで、同一配列の各エリアに対応する絶対誤差合計値が計算される。
【００１８】
領域差分値は、サーチウィンドウ３２２内に同一に配列された点を１つずつ比較することによって得られるそれらのＳＡＤ値の中での最小値として定義される。ＲｅｇＤｉｆｆ＝ｍｉｎ（ＳＡＤ1，ＳＡＤ2，・・・，ＳＡＤn）、ただし、ｎは、コアウィンドウによって比較可能であるサーチウィンドウ内に同一に配列された画素の総数である。一次領域差分ルックアップテーブルが、ベース画素の輝度値により読み取られて、一次領域差分値を求める（ステップＳ２５０）。図４は、一次領域差分ルックアップテーブルの概略的な線グラフである。図４を参照すると、横軸はベース画素の輝度値であり、縦軸は一次領域差分値である。異なるＩＳＯに対して異なる一次領域差分曲線がある。
【００１９】
領域差分値が一次領域差分値から引かれて、正規化された領域差分値を得る（ステップＳ２６０）。正規化された領域差分値が閾値より大きいか判定され（ステップＳ２７０）、イエスの場合、ベース画素の輝度は上昇し（ステップＳ２７１）、そうでない場合は、最小絶対誤差合計値に対応する比較画素の輝度値は、ベース画素の輝度値に加えられる（ステップＳ２７２）。その後、ベース画素内のすべての画素が完了されたか判定され（ステップＳ２８０）、未完了の場合、ステップＳ２２０は、すべてのベース画素の比較処理が完了されるまで繰り返される。最後に、修正画素は、その位置により、合成画像に組み合わせられる（ステップＳ２９０）。
【００２０】
本発明は、撮影中にデジタル画像取得装置よって生成されるゴースト像を除去するように構成されている画像合成方法を提供する。この方法においては、撮影前のプロセスにおいて取得される複数の画像から２つの画像が合成される。輝度調整は、本発明における上述の２つのデジタル画像内の同一のカラー画素により行われる。すべての画素が上述の処理を受けた後、処理された画素は、逐次、合成画像に組み合わせられる。
【符号の説明】
【００２１】
１１０  デジタル画像
１２０  デジタル画像
１３０  デジタル画像
３１０  ベース画像
３１１  ベース画素
３１２  コアウィンドウ
３２０  比較画像
３２２  サーチウィンドウ
【図１】
2010009586.tif 000005
【図２】
2010009586.tif 000006
【図３ａ】
2010009586.tif 000007
【図３ｂ】
2010009586.tif 000008
【図３ｃ】
2010009586.tif 000009
【図３ｄ】
2010009586.tif 000010
【図３ｅ】
2010009586.tif 000011
【図３ｆ】
2010009586.tif 000012
【図３ｇ】
2010009586.tif 000013
【図４】
2010009586.tif 000014