(57)【要約】【課題】撮像システムにおける移動ぶれ及びゴースト防止のための方法及び装置。【解決手段】複数の入力画像のうちの対になる各画像ペアの絶対画像差分のセットに対して、空間−時間フィルタを実行することによって、残余画像を算出する。イメージ・センサーのノイズ統計に基づいて、画素ごとにノイズ適応画素しきい値を算出する。残余画像とノイズ適応画素しきい値は、モーション・マスキング・マップを作成するために使用される。モーション・マスキング・マップは、画素を融合する際に移動画素と非移動画素を示すために使用される。移動画素が別途に実行されるように移動画素に配慮することによって出力画像を生成するように、画素融合ステップが実行される。【選択図】図４
2011525058.tif 000002
【特許請求の範囲】
【請求項１】
複数のBayer原画像からなる一組の入力画像セットを入力するためのステップと、
前記一組の入力画像セットは異なる露光量で撮像したものであり、
残余画像を算出するためのステップと、
一組のノイズ適応画素しきい値セットを算出するためのステップと、
前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、モーション・マスキング・マップを作成するためのステップと、 
移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記モーション・マスキング・マップに基づいて、前記一組の入力画像セットからの画素を融合するためのステップと、
を有する撮像システムにおける移動ぶれ及びゴースト防止のための方法。
【請求項２】
ラジアンス領域における画像ペアの絶対差を算出し、一組の画像差分のセットを生成するためのステップと、
前記一組の画像差分のセットに対して空間−時間フィルタを使用して、初期残余画像を算出するためのステップと、
前記初期残余画像に対して最大値フィルタを適用して前記残余画像を得るためのステップと、
をさらに有する、請求項１に記載の、残余画像を算出するための方法。
【請求項３】
前記一組の入力画像セットの各輝度レベルでのノイズ分散を算出するためのステップと、
前記一組の入力画像セットの各輝度レベルの前記ノイズ分散に基づいて、各輝度レベルでのノイズ適応画素しきい値を算出するためのステップと、
をさらに有する、請求項１に記載の、一組のノイズ適応画素しきい値セットを算出するための方法。
【請求項４】
参照モーション・マスキング・マップを作成するためのステップと、
前記残余画像中の画素を対応するノイズ適応画素しきい値と比較するためのステップと、
前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きい場合、前記参照モーション・マスキング・マップ上の同画素位置を「移動」画素として指定するためのステップと、
前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きくない場合、前記参照モーション・マスキング・マップ上の同画素位置を「非移動」画素として指定するためのステップと、
をさらに有する、請求項１に記載の、前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、モーション・マスキング・マップを作成するための方法。
【請求項５】
前記一組の入力画像セットの画素飽和レベルを決定するためのステップと、
すべての画素位置について、前記一組の入力画像セットからの各画素値を前記画素飽和レベルと比較するためのステップと、
各画素位置における前記一組の入力画像セットからの各画素値がどれも前記画素飽和レベル未満ではない場合、前記一組の入力画像セットのうちの最短露光レベルをもつ画像から前記出力画像の同画素位置のラジアンス値を算出するためのステップと、
各画素位置における前記一組の入力画像セットからの各画素値がすべて前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある画素をチェックするためのステップと、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットからの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するためのステップと、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれのない画像から前記出力画像の同画素位置のラジアンス値を算出するためのステップと、
各画素位置における前記一組の入力画像セットからの各画素値の１つ以上が前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある前記画素をチェックするためのステップと、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットのうちの１つ以上の画像からの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するためのステップと、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれがなく、前記画素飽和レベル未満である画像から前記出力画像の同画素位置のラジアンス値を算出するためのステップと、
をさらに有する、請求項１に記載の、移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記一組の入力画像セットからの画素を融合するための方法。
【請求項６】
複数のＲＧＢ（デモザイク処理を経た赤、緑、及び青）画像からなる一組の入力画像セットを入力するためのステップと、
前記一組の入力画像セットは異なる露光量で撮像されたものであり、
残余画像を算出するためのステップと、
一組のノイズ適応画素しきい値セットを算出するためのステップと、
前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、モーション・マスキング・マップを作成するためのステップと、 
移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記モーション・マスキング・マップに基づいて、前記一組の入力画像セットからの画素を融合するためのステップと、
を有する撮像システムにおける移動ぶれ及びゴースト防止のための方法。
【請求項７】
ラジアンス領域における画像ペアの絶対差を算出し、一組の画像差分のセットを生成するためのステップと、
前記一組の画像差分のセットに対して空間−時間フィルタを使用して、初期残余画像を算出するためのステップと、
前記初期残余画像に対して最大値フィルタを適用して前記残余画像を得るステップと、
をさらに有する、請求項６に記載の、残余画像を算出するための方法。
【請求項８】
前記一組の入力画像セットの各輝度レベルでのノイズ分散を算出するためのステップと、
前記一組の入力画像セットの各輝度レベルの前記ノイズ分散に基づいて、各輝度レベルでのノイズ適応画素しきい値を算出するためのステップと、
をさらに有する、請求項６に記載の、一組のノイズ適応画素しきい値セットを算出するための方法。
【請求項９】
参照モーション・マスキング・マップを作成するためのステップと、
前記残余画像中の画素を対応するノイズ適応画素しきい値と比較するためのステップと、
前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きい場合、前記参照モーション・マスキング・マップ上の同画素位置を「移動」画素として指定するためのステップと、
前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きくない場合、前記参照モーション・マスキング・マップ上の同画素位置を「非移動」画素として指定するためのステップと、
をさらに有する、請求項６に記載の、前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、モーション・マスキング・マップを作成するための方法。
【請求項１０】
前記一組の入力画像セットの画素飽和レベルを決定するためのステップと、
すべての画素位置について、前記一組の入力画像セットからの各画素値を前記画素飽和レベルと比較するためのステップと、
各画素位置における前記一組の入力画像セットからの各画素値がどれも前記画素飽和レベル未満ではない場合、前記一組の入力画像セットのうちの最短露光レベルをもつ画像から前記出力画像の同画素位置のラジアンス値を算出するためのステップと、
各画素位置における前記一組の入力画像セットからの各画素値がすべて前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある画素をチェックするためのステップと、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットからの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するためのステップと、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれのない画像から前記出力画像の同画素位置のラジアンス値を算出するためのステップと、
各画素位置における前記一組の入力画像セットからの各画素値の１つ以上が前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある前記画素をチェックするためのステップと、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットのうちの１つ以上の画像からの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するためのステップと、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれがなく、前記画素飽和レベル未満である画像から前記出力画像の同画素位置のラジアンス値を算出するためのステップと、
をさらに有する、請求項６に記載の、移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記一組の入力画像セットからの画素を融合するための方法。
【請求項１１】
前記複数の入力Bayer原画像は同じ露光量で撮像したものであり得る、請求項１、２、３、４、及び５に記載の、撮像システムにおける移動ぶれ及びゴースト防止のための方法。
【請求項１２】
前記複数の入力ＲＧＢ画像は同じ露光量で撮像したものであり得る、請求項６、７、８、９、及び１０に記載の、撮像システムにおける移動ぶれ及びゴースト防止のための方法。
【請求項１３】
複数のBayer原画像からなる一組の入力画像セットを入力するための手段と、
前記一組の入力画像セットは異なる露光量で撮像したものであり、
残余画像を算出するための手段と、
一組のノイズ適応画素しきい値セットを算出するための手段と、
前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、モーション・マスキング・マップを作成するための手段と、 
移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記モーション・マスキング・マップに基づいて、前記一組の入力画像セットからの画素を融合するための手段と、
を具備する撮像システムにおける移動ぶれ及びゴースト防止のための装置。
【請求項１４】
ラジアンス領域における画像ペアの絶対差を算出し、一組の画像差分のセットを生成するための手段と、
前記一組の画像差分のセットに対して空間−時間フィルタを使用して、初期残余画像を算出するための手段と、
前記初期残余画像に対して最大値フィルタを適用して前記残余画像を得るための手段と、
をさらに具備する、請求項１３に記載の、残余画像を算出するための装置。
【請求項１５】
前記一組の入力画像セットの各輝度レベルでのノイズ分散を算出するための手段と、
前記一組の入力画像セットの各輝度レベルの前記ノイズ分散に基づいて、各輝度レベルでのノイズ適応画素しきい値を算出するための手段と、
をさらに具備する、請求項１３に記載の、一組のノイズ適応画素しきい値セットを算出するための装置。
【請求項１６】
参照モーション・マスキング・マップを作成するための手段と、
前記残余画像中の画素を対応するノイズ適応画素しきい値と比較するための手段と、
前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きい場合、前記参照モーション・マスキング・マップ上の同画素位置を「移動」画素として指定するための手段と、
前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きくない場合、前記参照モーション・マスキング・マップ上の同画素位置を「非移動」画素として指定するための手段と、
をさらに具備する、請求項１３に記載の、前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、モーション・マスキング・マップを作成するための装置。
【請求項１７】
前記一組の入力画像セットの画素飽和レベルを決定するための手段と、
すべての画素位置について、前記一組の入力画像セットからの各画素値を前記画素飽和レベルと比較するための手段と、
各画素位置における前記一組の入力画像セットからの各画素値がどれも前記画素飽和レベル未満ではない場合、前記一組の入力画像セットのうちの最短露光レベルをもつ画像から前記出力画像の同画素位置のラジアンス値を算出するための手段と、
各画素位置における前記一組の入力画像セットからの各画素値がすべて前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある画素をチェックするための手段と、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットからの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するための手段と、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれのない画像から前記出力画像の同画素位置のラジアンス値を算出するための手段と、
各画素位置における前記一組の入力画像セットからの各画素値の１つ以上が前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある前記画素をチェックするための手段と、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットのうちの１つ以上の画像からの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するための手段と、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれがなく、前記画素飽和レベル未満である画像から前記出力画像の同画素位置のラジアンス値を算出するための手段と、
をさらに具備する、請求項１３に記載の、移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記一組の入力画像セットからの画素を融合するための装置。
【請求項１８】
複数のＲＧＢ画像からなる一組の入力画像セットを入力するための手段と、
前記一組の入力画像セットは異なる露光量で撮像したものであり、
残余画像を算出するための手段と、
一組のノイズ適応画素しきい値セットを算出するための手段と、
前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、モーション・マスキング・マップを作成するための手段と、 
移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記モーション・マスキング・マップに基づいて、前記一組の入力画像セットからの画素を融合するための手段と、
を具備する撮像システムにおける移動ぶれ及びゴースト防止のための装置。
【請求項１９】
ラジアンス領域における画像ペアの絶対差を算出し、一組の画像差分のセットを生成するための手段と、
前記一組の画像差分のセットに対して空間−時間フィルタを使用して、初期残余画像を算出するための手段と、
前記初期残余画像に対して最大値フィルタを適用して前記残余画像を得るための手段と、
をさらに具備する、請求項１８に記載の、残余画像を算出するための装置。
【請求項２０】
前記一組の入力画像セットの各輝度レベルでのノイズ分散を算出するための手段と、
前記一組の入力画像セットの各輝度レベルの前記ノイズ分散に基づいて、各輝度レベルでのノイズ適応画素しきい値を算出するための手段と、
をさらに具備する、請求項１８に記載の、一組のノイズ適応画素しきい値セットを算出するための装置。
【請求項２１】
参照モーション・マスキング・マップを作成するための手段と、
前記残余画像中の画素を対応するノイズ適応画素しきい値と比較するための手段と、
前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きい場合、前記参照モーション・マスキング・マップ上の同画素位置を「移動」画素として指定するための手段と、
前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きくない場合、前記参照モーション・マスキング・マップ上の同画素位置を「非移動」画素として指定するための手段と、
をさらに具備する、請求項１８に記載の、前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、モーション・マスキング・マップを作成するための装置。
【請求項２２】
前記一組の入力画像セットの画素飽和レベルを決定するための手段と、
すべての画素位置について、前記一組の入力画像セットからの各画素値を前記画素飽和レベルと比較するための手段と、
各画素位置における前記一組の入力画像セットからの各画素値がどれも前記画素飽和レベル未満ではない場合、前記一組の入力画像セットのうちの最短露光レベルをもつ画像から前記出力画像の同画素位置のラジアンス値を算出するための手段と、
各画素位置における前記一組の入力画像セットからの各画素値がすべて前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある画素をチェックするための手段と、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットからの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するための手段と、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれのない画像から前記出力画像の同画素位置のラジアンス値を算出するための手段と、
各画素位置における前記一組の入力画像セットからの各画素値の１つ以上が前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある前記画素をチェックするための手段と、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットのうちの１つ以上の画像からの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するための手段と、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれがなく、前記画素飽和レベル未満である画像から前記出力画像の同画素位置のラジアンス値を算出するための手段と、
をさらに具備する、請求項１８に記載の、移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記一組の入力画像セットからの画素を融合するための装置。
【請求項２３】
前記複数の入力Bayer原画像は同じ露光量で撮像したものであり得る、請求項１３、１４、１５、１６、及び１７に記載の、撮像システムにおける移動ぶれ及びゴースト防止のための装置。
【請求項２４】
前記複数の入力ＲＧＢ画像は同じ露光量で撮像したものであり得る、請求項１８、１９、２０、２１、及び２２に記載の、撮像システムにおける移動ぶれ及びゴースト防止のための装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像データの処理に関係し、より詳しくは、撮像システムにおける移動ぶれ及びゴースト防止のための方法及び装置に関係する。
【背景技術】
【０００２】
イメージ・センサーには、ダイナミック・レンジと感度の限界がある。イメージ・センサーの感度は、検出可能な光のレベルによって決定される。薄暗い場所では、イメージ・センサーによって捕らえられた画像が暗くノイズのように見えてしまう場合がある。これは、感度限界として知られている。イメージ・センサーのダイナミック・レンジは、そのノイズ・フロアとフルウェル・キャパシティ（飽和容量）によって制限される。多くの場合、イメージ・センサーのダイナミック・レンジは、撮像対象のシーンに存在するダイナミック・レンジよりも低い。その結果、撮像された画像のうちの光度が低い領域は暗くノイズのように見え、一方、光度の高い領域は飽和したように見える。これらの問題を克服するために使用される一つの技術は、同じシーンで複数の画像を撮像した後、撮像された複数の画像を一つの画像に融合することである。ノイズを低減するために、複数の画像を同じ露光量で撮像し、融合できる。これは、イメージ・センサーの感度を増加することに等しい。ダイナミック・レンジを増加するために、複数の画像を異なる露光量で撮像し、融合することもできる。これは、高ダイナミック・レンジ（ＨＤＲ）撮像として知られている。
【０００３】
この技術は複数の入力画像を必要とするので、そのシーンで動いている要素に伴うモーション問題が発生する可能性がある。それが、出力画像においてぶれやゴーストといったアーチファクト（画像の乱れ）を引き起こす可能性がある。これは周知の問題である。
【０００４】
ＨＤＲ撮像においては、モーション問題を解決するためのいくつかの技術が提案されてきた。
【０００５】
図１Ａと図１Ｂを参照しつつ、特許文献１による、ＨＤＲ画像を生成するためのシステム及びプロセスの一例を説明する。ＨＤＲ画像を生成するためのシステム及びプロセスが、最初に参照画像を指定することを含むようにした手法が提案されている。次に、非参照画像各々を参照画像と一緒に記録する。この記録手順は、画素ごとにオプティカル・フロー・フィールドを算出することを含んだ、非参照画像各々のフロー・フィールドを生成する。生成されたフロー・フィールドは、次に、各々の非参照画像をワープさせるために使用される。ワープされた画像は、次に、参照画像と合成されることにより、ＨＤＲ画像となるラジアンス・マップを作成する。この手法では、モーション問題に対処するために、入力された非参照画像が、合成／融合の前にワープされる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第７１４２７２３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記の特許文献１に記載された発明によると、そのシーンで動いている要素を推定するために、融合前に非参照画像をワープさせるために、オプティカル・フロー・フィールドを算出することによって出力画像が生成される。そのため、閉塞した領域や画像間で移動ぶれ度が大きく異なる領域は、フロー・フィールドを正しく生成できず、モーションによる移動ぶれやゴーストのアーチファクトが出力画像になおも残るという問題が生じる。別の問題は、フロー・フィールドを算出するのは一般に非常に複雑であるという点にある。
【課題を解決するための手段】
【０００８】
本発明は、上述した問題を考慮してなされたものであり、各画像間で移動ぶれ度が異なるような入力画像でも、複雑性を低くしつつ、シーン移動による出力画像中の移動ぶれやゴーストのアーチファクトを効果的に防止することを目的とする。
【０００９】
上記の目的を達成するために、撮像システムにおける移動ぶれ及びゴースト防止のための方法及び装置は、一組の画像差分のセットから残余画像を算出するためのステップと、ここで上記画像差分は一組の入力画像セットのうちの対になる画像ペアの絶対差を算出することであり、一組のノイズ適応画素しきい値セットを算出するためのステップと、前記残余画像と前記ノイズ適応画素しきい値セットを用いてモーション・マスキング・マップを作成するステップと、出力画像を生成するために画素を融合するためのステップを有する。
【発明の効果】
【００１０】
本発明は、複数の入力画像中の移動画素に配慮しながら、複数の入力画像を融合することによって出力画像を生成する。
【００１１】
本発明について新規なことは、残余画像とノイズ適応画素しきい値セットからモーション・マスキング・マップを作成することである。残余画像は、画像差分のセットに対して空間−時間フィルタを適用することによって算出される。空間−時間フィルタを使用することの利点は、残余画像がノイズに対して頑健になることである。ノイズ適応画素しきい値は、センサー・ノイズ統計に基づいて画素レベルで適応的に算出される。ノイズ適応画素しきい値の一つの利点は、画像内容に依存しない、静止領域と移動領域のよりよい区別化をもたらすことである。別の利点は、本発明が広い照度範囲においてよい効果をもたらすことである。
【００１２】
モーション・マスキング・マップは、複数の入力画像中の移動画素と非移動画素を示すために使用される。このマップは画素を融合する際に使用される。したがって、結果的に、出力画像に移動（ぶれ）画素が現れない。本発明の利点は、出力画像に移動ぶれやゴーストのアーチファクトがなくなる、または少なくなることである。本発明の複雑性は低く、ノイズに対しても頑健である。本発明はまた、複数の画像が各画像でぶれ度合いが異なる場合に有効である。
【００１３】
さらに、本発明は、Bayer原領域において適用されることが好ましい。トーン・マッピングも、ホワイト・バランスを適用後、デモザイク処理を適用する前に、Bayer原領域において好適に実行される。その利点は、画素当り１つの色成分のみが処理されるので、演算量とメモリー量を少なくすることである。別の利点は、Bayer原領域における処理は、特にエッジ沿いのデモザイク処理アーチファクトによる影響を受けないので、信号忠実度がより高いことである。
【図面の簡単な説明】
【００１４】
【図１Ａ】先行技術におけるＨＤＲ画像を生成するための全体プロセスを説明するフロー図
【図１Ｂ】先行技術におけるＨＤＲ画像を生成するための全体プロセスを説明するフロー図
【図２Ａ】撮像装置を示す図
【図２Ｂ】撮像装置を示す図
【図３Ａ−３Ｂ】本発明による移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサの詳細ブロック図
【図４】本発明による移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサの動作を説明するフロー図
【図５】残余画像演算モジュールの動作を説明するフロー図
【図６】ノイズ適応画素演算モジュールの動作を説明するフロー図
【図７】モーション・マスキング・マップ作成モジュールの動作を説明するフロー図
【図８Ａ】画素融合モジュールの動作を説明するフロー図
【図８Ｂ】画素融合モジュールの動作を説明するフロー図
【図９】複数の露光量で複数の画像を撮像するための装置の一例を示す図
【図１０】複数の露光量で複数の画像を撮像するための装置の別の例を示す図
【図１１】パルス発生器からのパルス出力信号の一例を示す図
【図１２Ａ】撮像装置を示す別の図
【図１２Ｂ】撮像装置を示す別の図
【図１３Ａ−１３Ｂ】本発明による移動ぶれ及びゴースト防止を備えた画像融合プロセッサの詳細ブロック図
【図１４】本発明による移動ぶれ及びゴースト防止を備えた画像融合プロセッサの動作を説明するフロー図
【図１５】画像融合プロセッサ内の残余画像演算モジュールの動作を説明するフロー図
【図１６】画像融合プロセッサ内のノイズ適応画素演算モジュールの動作を説明するフロー図
【図１７】画像融合プロセッサ内のモーション・マスキング・マップ作成モジュールの動作を説明するフロー図
【図１８】画像融合プロセッサ内の画素融合モジュールの動作を説明するフロー図
【発明を実施するための形態】
【００１５】
本発明の好適な実施形態を添付の図を参照して詳細に説明する。
【００１６】
（実施形態１）
図２Ａを参照すると、本発明の第１の実施形態による撮像装置（２００）のブロック図が示される。撮像装置（２００）は、光学システム（２０２）、イメージ・センサー（２０４）、アナログ−デジタル変換器（２０６）、画像プロセッサ（２２０）、記憶／送信装置（２０８）、及び表示装置（２１０）から構成される。画像プロセッサ（２２０）は、メモリー装置（２１２）、移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２３０）、ホワイト・バランス・モジュール（２１４）、トーン・マップ・モジュール（２１６）、及びデモザイク・モジュール（２１８）から構成される。ユーザ・インタフェース、マイクロフォン、スピーカなどのその他の構成要素は示されていないが、そのことが本発明の範囲と精神を限定しない。
【００１７】
光学システム（２０２）は、イメージ・センサー（２０４）へ到達する光信号を制御するためのレンズ、シャッター、アパーチャ、ズーム／フォーカス機構、及びプリズムなどの構成要素から構成され得る。イメージ・センサー（２０４）は光信号を電気信号に変換し、電気信号はアナログ−デジタル変換器（２０６）によってデジタル・データに変換され、メモリー装置（２１２）に記憶される。移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２３０）は、複数の露光量で撮像した複数の原画像をメモリー装置（２１２）から取り込み、原ＨＤＲ画像である出力画像を生成する。原ＨＤＲ画像は、記憶／送信装置（２０８）によって記憶または送信され得る。原ＨＤＲ画像はまた、ホワイト・バランス・モジュール（２１４）、トーン・マップ・モジュール（２１６）、及びデモザイク・モジュール（２１８）によってさらに処理可能である。これにより、低ダイナミック・レンジの表示装置（２１０）上での表示または記憶／送信装置（２０８）による記憶／送信に適したレンジ圧縮画像が得られる。記憶装置の例は、これらに限定されないが、フラッシュ系メモリー・カード、ハード・ドライブ及び光学式ドライブを含む。送信装置の例は、これらに限定されないが、ＨＤＭＩインタフェース、ＵＳＢインタフェース、無線インタフェース及びプリンタ直結インタフェースを含む。記憶または送信装置は、選択的に、可逆圧縮または不可逆圧縮を有し得る。複数の原画像は、記憶／送信装置（２０８）によってそのまま記憶または送信することもできる。その後、ＨＤＲ画像が、本発明の別途のＨＤＲ画像生成装置によって、または本発明のＨＤＲ画像生成方法を実現するモジュールを備えた、コンピュータにより実行可能な命令を実行するコンピュータによって生成可能である。
【００１８】
画像プロセッサ（２２０）と移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２３０）並びに内部のモジュールは、通常、ＩＣ（集積回路）、ＡＳＩＣ（特定用途向け集積回路）、またはＬＳＩ（大規模集積）回路によって実現される。これらのモジュールの各々は、多数の単一機能のＬＳＩｓとして実装することも、または一つの総合的ＬＳＩとして実装することも可能である。ここで使用した名称はＬＳＩであるが、集積化の程度に応じて、ＩＣ、システムＬＳＩ、超ＬＳＩ、またはウルトラＬＳＩであってもよい。さらに、集積化を実現する方法は、ＬＳＩだけではなく、特殊な回路または汎用プロセッサなども集積化をなし得る。ＬＳＩを製造後にプログラムすることが可能であるＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）またはＬＳＩの接続または構成を再構成できる再構成可能なプロセッサを、同様の用途に使用可能である。将来は、製造技術の進歩により、最新の技術がＬＳＩに取って代わる可能性もある。そのような技術によって集積化を行なえる。バイオテクノロジーの応用は、そのような可能性の一つである。
【００１９】
図３Ａを参照すると、本発明の第１の実施形態による撮像装置（２００）の移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２３０）の詳細ブロック図が示される。移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２３０）は、残余画像演算モジュール（３００）、ノイズ適応画素しきい値演算モジュール（３０２）、モーション・マスキング・マップ作成モジュール（３０４）、及び画素融合モジュール（３０８）から構成される。移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２３０）は、異なる露出で撮像した複数の原画像を取り込む。残余画像演算モジュール（３００）は、一組の画像差分のセットから残余画像を算出する。ノイズ適応画素しきい値演算モジュール（３０２）は、各画素輝度からのノイズ・モデルを用いたイメージ・センサー・ノイズ統計に基づいて、一組のノイズ適応画素しきい値のセットを算出する。モーション・マスキング・マップ作成モジュール（３０４）は、上記残余画像及び上記ノイズ適応画素しきい値セットからモーション・マスキング・マップを作成する。画素融合モジュール（３０８）は、上記モーション・マスキング・マップに基づいて、複数の原画像の画素を融合することにより、出力画像である原ＨＤＲ画像を生成する。
【００２０】
図４を参照すると、本発明による移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２３０）の出力画像を生成するための動作を説明するフロー図が示される。ステップ４００で、異なる露光量で撮像した複数の原画像からなる一組の入力画像セットを入力することにより本方法は開始する。次に、本方法は、ステップ４０２で残余画像を算出する。残余画像は、一組の画像差分のセットから算出される。この画像差分のセットは、各画像ペアの絶対差を算出する画像の差分を含む。残余画像を得るために、画像の差分に対して空間−時間フィルタが適用される。次に、本方法は、ステップ４０４で、センサー・ノイズ統計と入力画像の輝度に基づいて、一組のノイズ適応画素しきい値のセットを算出する。このノイズ適応画素しきい値セットは、入力画像の各画素輝度のノイズ分散に基づいて得られる。その後、本方法は、ステップ４０６で、上記残余画像と上記ノイズ適応画素しきい値セットを使用して、モーション・マスキング・マップを作成する。このモーション・マスキング・マップは、複数の入力画像中の移動画素と非移動画素を示すために使用される。ステップ４０８で、本方法は、モーション・マスキング・マップと画素飽和レベルに基づいて、複数の入力画像の移動画素に配慮しながら、複数の入力画像からの画素を融合し、ＨＤＲ画像を生成する。画素を融合する際に移動画素に配慮する利点は、最終的なＨＤＲ画像に、これらの移動画素に起因するアーチファクト（例えば、移動ぶれやゴーストのアーチファクト）が発生しないことである。最後に、本方法は、ステップ４１０で、最終的な原ＨＤＲ画像を出力する。最終的な原ＨＤＲ画像には、移動ぶれやゴーストのアーチファクトがないまたは少ない。
【００２１】
残余画像演算モジュール（３００）
【００２２】
図５は、本撮像装置（図３Ａに示した移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２３０））の残余画像演算モジュール（３００）の動作並びに図４に示した方法を説明するフロー図である。残余画像は、移動ぶれやゴーストのアーチファクトがないまたは少ない出力画像を生成するために、画素を融合する際に使用されるモーション・マスキング・マップを作成するために重要な役割を果たす。残余画像は、ノイズ適応画素しきい値により、複数の入力画像の画像間での移動画素と非移動画素を特定するために使用される。複数の入力画像は、異なる時間に順次に撮像されたものであり得る。シーン移動に伴い、そのシーン中の同じ被写体が画像間で異なる位置に現れる可能性がある。これが、出力画像においてぶれやゴーストのアーチファクトを引き起こす。さらに、複数の入力画像は、異なる露光量で撮像される。これにより、移動被写体のエッジ周辺のぶれ度合いが異なってくる。例えば、より短い露光量（シャッター速度）ではぶれはより少なく、より長い露光量（シャッター速度）では移動被写体のぶれアーチファクトがより大きくなる。これは、画像の平均と分散を使用したり、または画像間の差分のみを使用するような従来の方法を採用したりした場合、移動画素を正確に特定（または検出）することは難しい。
【００２３】
図５を参照して詳しく説明すると、残余画像演算方法は、複数の原画像からなる一組の画像セットを入力することにより開始する（ステップ５００）。次に、ステップ５０２で、一組の画像差分のセットを生成するために、画像ペアの絶対差が算出される。本発明の文脈では、画像の絶対差はラジアンス領域で算出される。最初に、入力画像をペアにする。画像ペアの数は、Σｎp=1（ｎ−ｐ）（ここで、ｎは複数の入力画像の画像数である）として算出できる。各画像ペアの絶対差が、次に算出される。例えば、入力画像がフレーム０、フレーム１、及びフレーム２の３個の画像を含むとすれば、３個の画像ペア（０，１）、（１，２）、及び（０，２）がそれぞれ存在する。Ｉ０、Ｉ１，Ｉ２を各入力画像とし、ｅ０、ｅ１、ｅ２を入力画像であるフレーム０、フレーム１、及びフレーム２に対応する相対的露光量としよう。各画素位置（ｉ，ｊ）につき、各画像ペアでの絶対差は、次のように算出できる。
【数１】
2011525058.tif 000003
ここで、Ｄ０、Ｄ１、及びＤ２は、それぞれ、画像ペア（０，１）、画像ペア（１，２）、及び画像ペア（０，２）の画像差分であり、これらを「画像差分のセット」と呼ぶ。│・│は絶対作用素である。
【００２４】
理想的には、同じシーンを撮った画像間の差分はゼロであるはずである。実際には、イメージ・センサーからのノイズ、撮られた画像間での照度の変化、シーン移動などのいくつかの要因により、画像間の差分はおそらくゼロではない。ノイズがなく、照度変化がないとすれば、画像差分がゼロではない画素は、そのシーンの中の移動被写体に起因する。この場合、画像差分方法だけを使用して、移動画素を容易に特定または検出可能である。あいにく、撮影された画像は、ノイズまたは照度変化またはこれらの両方を含む可能性がある。画像差分がゼロではない画素が、必ずしも移動画素ではない可能性がある。
【００２５】
本発明の方法では、ステップ５０４で、画像差分のセットに対して適用される空間−時間フィルタを使用して、初期残余画像が生成される。空間フィルタが各画像差分に対して適用される。次に、時間フィルタが適用される。空間フィルタは、例えば、ガウス・フィルタ（Gaussian filter）、ハニング・フィルタ（Hanning filter）などの、どんな種類の空間フィルタ・カーネルでもよく、円形または矩形フィルタがあり得る。空間−時間平均化フィルタを使用して、３個の画像差分から初期残余画像を生成する例を以下に示す。Ｒｅｓ（ｉ，ｊ）を各画素位置（ｉ，ｊ）での初期残余画像としよう。Ｒｅｓ（ｉ，ｊ）は、例えば、このように算出できる。
【数２】
2011525058.tif 000004
【００２６】
式（１）と（２）は、入力画像セットの画像数の増加に応じて修正及び拡張可能である。入力画像セットは、３個の画像のみに限定されない。空間フィルタは、本方法をイメージ・センサーからの空間ノイズに対して頑健にする。時間フィルタは、本方法を時間的な一貫性のないノイズに対して頑健にする。加えて、本方法は、ぶれ度合いが異なる画像である場合にも頑健である。空間−時間フィルタを実行するために、さらに進歩した複雑な技術を利用可能である。それも本発明の同じ範囲内にある。
【００２７】
複数の入力画像が２個の画像である場合には、１つの画像ペアから絶対差を算出できる。初期残余画像を生成するために、空間フィルタを適用できる。時間フィルタは除外可能である。
【００２８】
ステップ５０６において、初期残余画像に最大値フィルタを適用する。次いで、最終的な残余画像が得られる。このステップの目的は、移動領域のエッジ周辺のノイズと不連結性を防止することである。これは本方法の頑健性を高める。最大値フィルタは、どのような形状とサイズであってもよい。例えば、最大値フィルタが７ｘ７画素のサイズの矩形ウィンドウであるとすれば、このウィンドウ内に位置する画素の出力は、ウィンドウ内の画素値の最大値である。ウィンドウは、１画素ずつ次の画素にスライドしながら初期残余画像中のすべての画素上を通過する。最後に、ステップ５０８が最終的な残余画像を出力する。この最終的な残余画像は、次に、モーション・マスキング・マップ作成において、ノイズ適応画素しきい値セットを用いて移動画素を特定するために使用される。
【００２９】
ノイズ適応画素しきい値演算モジュール（３０２）
【００３０】
図６は、本撮像装置（図３Ａに示した移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２３０））のノイズ適応画素しきい値演算モジュール（３０２）の動作並びに図４に示した方法を説明するフロー図である。本方法は、ステップ６００で、複数の原画像からなる一組の画像セットを入力することにより開始する。ステップ６０２において、入力原画像のノイズ分散が各輝度レベルで算出される。ノイズ分散は、いろいろなやり方で算出可能である。ノイズ・モデルを用いたセンサー・ノイズ統計に基づいて、ノイズ分散を算出することが好ましい。したがって、入力原画像のノイズ分散は画像内容に依存しない。センサー・ノイズ統計は、このようにモデル化できる。
【数３】
2011525058.tif 000005
ここで、αとβは、それぞれ、光子ノイズと暗ノイズを表わすパラメータであり、センサー較正から得ることができる。Ｉは画素輝度である。各輝度レベルでの入力原画像のノイズ分散がわかると、ステップ６０４で、ノイズ適応画素しきい値を算出できる。これは、画素位置ごとに算出される。ｎ＋１個の画像を含む複数の入力画像について、画素位置（ｉ，ｊ）でのノイズ適応画素しきい値（ＮＡＴｈｒ）を算出する例を以下に示す。
【数４】
2011525058.tif 000006
ここで、σn(i,j) はｎ番目の入力画像フレームの位置（ｉ，ｊ）に位置する画素のノイズ標準偏差である。ｅｎはｎ番目の画像フレームの相対的露光量である。ｗｎはｎ番目の画像フレームのノイズの寄与を制御するために使用された重みであり、ｗｎは０〜１の間で可変である。ｋはノイズ分散の累積領域に基づくしきい値レベルを制御するために使用されたパラメータである。例えば、６８％累積領域にはｋを1.0に設定でき、正規分布の９５％累積領域にはｋを2.0に設定できる。
【００３１】
各画素のノイズ適応画素しきい値が算出されると、方法は、ステップ６０６で、ノイズ適応画素しきい値のセットを出力する。ノイズ適応画素しきい値のセットは、モーション・マスキング・マップの作成において使用される。画素レベルでノイズ適応画素しきい値を算出することの利点は、ノイズに対して頑健であることと、静止領域と移動領域のよりよい区別化をもたらすことである。これは画像内容に依存しない。
【００３２】
モーション・マスキング・マップ作成モジュール（３０４）
【００３３】
図７は、本撮像装置（図３Ａに示した移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２３０））のモーション・マスキング・マップ作成モジュール（３０４）の動作並びに図４に示した方法を説明するフロー図である。本方法は、ステップ７００で、ノイズ適応画素しきい値セットと残余画像を入力することにより開始する。次に、本方法は、ステップ７０２で参照モーション・マスキング・マップを作成する。ステップ７０４において、各画素位置での残余画像と適応画素しきい値セットが比較される。各画素位置で、残余画像中のその画素値が同じ位置のノイズ適応画素しきい値よりも大きい場合、本方法は、ステップ７０６で、参照モーション・マスキング・マップ上の同じ位置の画素を「移動」画素として指定する。残余画像中のその画素値が同じ位置のノイズ適応画素しきい値よりも大きい場合、本方法は、ステップ７０８で、参照モーション・マスキング・マップ上の同じ位置の画素を「非移動」画素として指定する。残余画像中のすべての画素位置が比較され、参照モーション・マスキング・マップ上のすべての画素位置が指定された後、方法は、ステップ７１０で、最終的なモーション・マスキング・マップを出力する。
【００３４】
このモーション・マスキング・マップは、画素融合において使用される。このマップは、入力画像間での移動画素と非移動画素を示す。正確なモーション・マスキング・マップは、移動ぶれやゴーストのアーチファクトがないまたは少ない出力画像を画素融合から生み出す。
【００３５】
画素融合モジュール（３０８）
【００３６】
図８は、本撮像装置（図３Ａに示した移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２３０））の画素融合モジュール（３０８）の動作並びに図４に示した方法を説明するフロー図である。出力ＨＤＲ画像を得るために、複数の入力原画像が一つに融合される。移動が発生している場合、移動画素は別途に実行される。移動画素は、モーション・マスキング・マップによって示される。したがって、その結果、移動ぶれやゴーストのアーチファクトがないまたは少ない出力ＨＤＲ画像を得ることができる。
【００３７】
複数の入力原画像に、画像ノイズを減少させるために、ローパス・フィルタによってフィルタをかけてもよい。すべての画像に対してフィルタをかけてもよいし、またはいくつかの画像に対してフィルタをかけてもよい。短い露光量の画像は、おそらく画像ノイズはより高い。長い露光量の画像は、おそらく画像ノイズはより低い。画像ごとに異なるパラメータを用いて、ローパス・フィルタをかけてもよい。
【００３８】
図８を参照すると、ステップ８００で、本方法は、異なる露光量をもつ複数の原画像とモーション・マスキング・マップ作成モジュール（３０４）から作成されたモーション・マスキング・マップを入力する。ステップ８０２において、複数の原画像の画素飽和レベルが決定される。画素飽和レベルは、画像の最大画素値、例えば、８ビットの画像では２５５、１０ビットの画像では１０２３、１２ビットの画像では４０９５であり得る。画素飽和レベルは、最大画素値の百分率として算出することもできる。ステップ８０４では、画素位置ごとに、複数の入力画像からの同じ画素位置にあるすべての画素値が、画素飽和レベルと比較される。複数の入力画像からの同じ画素位置にあるすべての画素値が画素飽和レベル未満である場合、ステップ８０６で、モーション・マスキング・マップ上の同位置の画素について、この位置が「移動」画素として指定されたかどうかをチェックする。複数の入力画像からの同じ画素位置にある画素値がどれも画素飽和レベル未満ではない場合、ステップ８０８で、出力ＨＤＲ画像の同位置にある画素のラジアンス値が最短の露光量をもつ入力画像から算出される。複数の入力画像からの同じ画素位置にある１つ以上の画素値が画素飽和レベル未満である場合、ステップ８１４で、モーション・マスキング・マップ上の同位置の画素について、この位置が「移動」画素として指定されたかどうかをチェックする。
【００３９】
ステップ８０６において、モーション・マスキング・マップ上の同位置の画素が「移動」画素として指定されている場合、ステップ８１２で、出力ＨＤＲ画像の同位置にある画素のラジアンス値をその露光量に基づいた最良の入力画像から算出することができる。最良の画像は、移動ぶれがなく、画素飽和レベル未満である入力画像として定義される。例えば、Ｉ１が最良の入力画像であるとすれば、出力ＨＤＲ画像中の位置（ｉ，ｊ）の画素のラジアンス値は、次のように算出できる。 
【数５】
2011525058.tif 000007
ここで、ｅ１は入力画像Ｉ１の相対的露光量である。モーション・マスキング・マップ上の同位置の画素が「移動」画素として指定されていない場合、ステップ８１０で、出力ＨＤＲ画像の同位置にある画素のラジアンス値を、次のとおり、加重平均を用いて入力画像からのすべての画素を融合することにより算出することができる。
【数６】
2011525058.tif 000008
ここで、ｇｎは画像Ｉｎに与える重みである。重みはいろいろなやり方で算出可能である。相対的露光量に基づいて重みを算出する例を以下に示す。
【数７】
2011525058.tif 000009
【００４０】
しかし、重みを算出するために、その他の技法が使用可能である。それも本発明の同じ範囲内である。
【００４１】
ステップ８１４において、モーション・マスキング・マップ上の同位置の画素が「移動」画素として指定されている場合、ステップ８１８で、出力ＨＤＲ画像の同位置にある画素のラジアンス値をその露光量に基づいた最良の入力画像から、例えば、式（５）と同様に算出することができる。モーション・マスキング・マップ上の同位置の画素が「移動」画素として指定されていない場合、ステップ８１６で、出力ＨＤＲ画像の同位置にある画素のラジアンス値を、加重平均を用いて入力画像からの一つ以上の画素を融合することにより、例えば、式（６）と同様に算出することができる。各画素位置について出力ＨＤＲ画像のラジアンスが算出されると、ステップ８２０で出力ＨＤＲ画像が出力される。出力ＨＤＲは、Bayer原フォーマットである。
【００４２】
前述した方法と装置は、Bayer原領域において実行される。画素当り１つの色成分だけが処理される。したがって、これは、処理に画素当り３つの色成分を必要とするＲＧＢ（デモザイク処理を経た赤、緑、及び青）領域における処理に比べて複雑性が低く、メモリー必要量は少ない。さらに、Bayer原領域における処理は、デモザイク処理アルゴリズムによる影響を受けないので、信号忠実度がより高い。
【００４３】
けれども、前述した方法と装置は、ＲＧＢ領域においても適用可能である。図２Ｂを参照すると、本発明の第１の実施形態による撮像装置（２５０）のブロック図が示される。撮像装置（２５０）は、光学システム（２５２）、イメージ・センサー（２５４）、アナログ−デジタル変換器（２５６）、画像プロセッサ（２７０）、記憶／送信装置（２５８）、及び表示装置（２６０）から構成される。画像プロセッサ（２７０）は、メモリー装置（２６２）、移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２８０）、ホワイト・バランス・モジュール（２６４）、トーン・マップ・モジュール（２６６）、及びデモザイク・モジュール（２６８）から構成される。光学システム（２５２）は、イメージ・センサー（２５４）へ到達する光信号を制御するためのレンズ、シャッター、アパーチャ、ズーム／フォーカス機構、及びプリズムなどの構成要素から構成され得る。イメージ・センサー（２５４）は光信号を電気信号に変換し、電気信号はアナログ−デジタル変換器（２５６）によってデジタル・データに変換され、メモリー装置（２６２）に記憶される。メモリー装置（２６２）からの原画像は、ホワイト・バランス・モジュール（２６４）とデモザイク・モジュール（２６８）によって処理され、画素当り３つの色成分（赤、緑、青）を有するＲＧＢ画像になる。ＲＧＢ画像は、出力ＨＤＲ画像を生成するために、移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２８０）へ送られる。Ｒ、Ｇ、及びＢの色成分は、別々に処理され得る。出力ＨＤＲ画像は、記憶／送信装置（２５８）によって記憶または送信され得る。出力ＨＤＲ画像はさらに、トーン・マップ・モジュール（２６６）によって処理可能であり、これにより、表示装置（２６０）上での表示または記憶／送信装置（２５８）による記憶／送信に適したレンジ圧縮画像が得られる。
【００４４】
図３Ｂを参照すると、本発明の第１の実施形態による撮像装置（２５０）の移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２８０）の詳細ブロック図が示される。移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２８０）は、残余画像演算モジュール（３５０）、ノイズ適応画素しきい値演算モジュール（３５２）、モーション・マスキング・マップ作成モジュール（３５４）、及び画素融合モジュール（３５８）から構成される。移動ぶれ及びゴースト防止を備えたＨＤＲプロセッサ（２８０）は、異なる露光量で撮像した複数のＲＧＢ画像を取り込む。残余画像演算モジュール（３５０）は、一組の画像差分のセットから残余画像を算出する。ＲＧＢ画像は画素当り３つの色成分を含むので、前述の方法と装置を使用して、画像差分のセットを色成分ごとに別々に算出することが可能である。複雑性を減少させるためには、Ｇ（緑）色成分だけについて画像差分のセットを算出することが好ましい。前述した残余画像を算出するための方法と装置を使用して、Ｇ色成分の画像差分のセットから残余画像を算出できる。ノイズ適応画素しきい値演算モジュール（３５２）は、各画素輝度からのノイズ・モデルを用いたイメージ・センサー・ノイズ統計に基づいて、一組のノイズ適応画素しきい値のセットを算出する。Ｇ色成分のみの輝度が使用される。モーション・マスキング・マップ作成モジュール（３５４）は、前述の方法と装置を使用して、上記残余画像及び上記ノイズ適応画素しきい値のセットを用いてモーション・マスキング・マップを作成する。画素融合モジュール（３５８）は、上記モーション・マスキング・マップに基づいて、複数のＲＧＢ画像の画素を融合することにより、出力ＨＤＲ画像を生成する。Ｒ、Ｇ、及びＢが別々に実行される。前述した画素を融合するための方法と装置を使用できる。
【００４５】
撮像システムにおける方法と装置を詳しく上述したが、複数の露光量で複数の画像を撮像する手段の例をここで説明しよう。
【００４６】
複数の露光量で撮像した複数の入力画像は、様々な手段により実現可能である。図９を参照すると、一例が示される。この手段は、レンズ・システム（９０２）、プリズム（９０４）、及び３個のBayerセンサー（９０６、９０８、及び９１０）から構成される。白色光がレンズ・システム（９０２）に入ると、プリズム（９０４）によって３つの光路に分岐される。各光路は、次に、対応するBayerセンサー（９０６、９０８、及び９１０）によって捕らえられる。複数の露光量は、各光路で光度が異なるようにプリズムの分岐特性を変えることによって得られる。代替的に、複数の露光量は、シャッター速度や感度などのセンサーの設定を変えることによって得られる。プリズム分岐とセンサー設定の組合せも使用可能である。３光路分岐プリズムの使用は、一例にすぎない。２光路、４光路、５光路等の分岐プリズムとセンサーも使用可能である。
【００４７】
図１０を参照すると、複数の露光量で複数の入力画像を撮像するための別の例が示される。これは、レンズ・システム（１００２）と高速撮像モジュール（１００４）からなり、高速撮像モジュール（１００４）は、高速イメージ・センサー（１００６）、シャッター制御器（１００８）及び図示されないその他のモジュールから構成され得る。レンズ・システムに入った白色光は、シャッター制御器（１００８）からのシャッター信号（１００７）に対応して毎秒１８０フレームのフレーム速度で、高速イメージ・センサー（１００６）によって順次に捕らえられ、複数のBayer原画像（１０１２）が得られる。複数の露光量は、パルス発生器（１０１０）を用いてシャッター信号（１００７）を制御することによって得られる。図１１Ａと図１１Ｂを参照すると、パルス発生器からのパルス出力信号の２つの例が示される。露光時間の長さは、パルスの幅によって制御される。短い幅は短い露光量（Ｓ）を発生させ、中程度の幅は中程度の露光量（Ｍ）を発生させ、長い幅は長い露光量（Ｌ）を発生させる。この例では、Ｓ、Ｍ、及びＬのパルス幅のパターンが繰り返される。複数の画像の各セットは、３つの露光量を含むことになる。シャッター信号を生成するためのパルス発生器の使用は、一例にすぎない。しかし、シャッター信号は、例えば、トリガ信号などの他の信号を発生できる他の手段によって発生することもできる。ここで述べた高速撮像モジュールは、毎秒１８０フレームにのみ限定されない、高フレーム速度で撮像することが可能などのような手段であってもよい。これよりも低いまたは高いフレーム速度も可能である。
【００４８】
（実施形態２）
第１の実施形態により、異なる露光量で撮像した複数の入力画像を必要とする撮像システムにおける方法と装置を詳細に説明した。本実施形態では、同じ露光量で撮像した複数の入力画像を必要する撮像システムにおける方法と装置を説明する。
【００４９】
図１２Ａを参照すると、本発明の第２の実施形態による撮像装置（１２００）のブロック図が示される。撮像装置（１２００）は、光学システム（１２０２）、イメージ・センサー（１２０４）、アナログ−デジタル変換器（１２０６）、画像プロセッサ（１２２０）、記憶／送信装置（１２０８）、及び表示装置（１２１０）から構成される。画像プロセッサ（１２２０）は、メモリー装置（１２１２）、移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２３０）、ホワイト・バランス・モジュール（１２１４）、トーン・マップ・モジュール（１２１６）、及びデモザイク・モジュール（１２１８）から構成される。ユーザ・インタフェース、マイクロフォン、スピーカなどのその他の構成要素は示されていないが、そのことが本発明の範囲と精神を限定しない。
【００５０】
光学システム（１２０２）は、イメージ・センサー（１２０４）へ到達する光信号を制御するためのレンズ、シャッター、アパーチャ、ズーム／フォーカス機構、及びプリズムなどの構成要素から構成され得る。イメージ・センサー（１２０４）は光信号を電気信号に変換し、電気信号はアナログ−デジタル変換器（１２０６）によってデジタル・データに変換され、メモリー装置（２１２）に記憶される。移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２３０）は、メモリー装置（１２１２）から同じ露光量で撮像した複数の原画像を取り込み、出力画像を生成する。出力画像は、記憶／送信装置（１２０８）によって記憶または送信され得る。出力画像は、ホワイト・バランス・モジュール（１２１４）、トーン・マップ・モジュール（１２１６）、及びデモザイク・モジュール（１２１８）によってさらに処理可能である。これにより、表示装置（１２１０）上での表示または記憶／送信装置（１２０８）による記憶／送信に適する好適なレンジが得られる。複数の原画像は、記憶／送信装置（１２０８）によってそのまま記憶または送信することもできる。
【００５１】
図１３Ａを参照すると、本発明の第２の実施形態による撮像装置（１２００）の移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２３０）の詳細ブロック図が示される。画像融合プロセッサ（１２３０）は、残余画像演算モジュール（１３００）、ノイズ適応画素しきい値演算モジュール（１３０２）、モーション・マスキング・マップ作成モジュール（１３０４）、及び画素融合モジュール（１３０８）から構成される。移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２３０）は、同じ露光量で撮像した複数の原画像を取り込む。残余画像演算モジュール（１３００）は、一組の画像差分のセットから残余画像を算出する。ノイズ適応画素しきい値演算モジュール（１３０２）は、各画素輝度からのノイズ・モデルを用いたイメージ・センサー・ノイズ統計に基づいて、一組のノイズ適応画素しきい値のセットを算出する。モーション・マスキング・マップ作成モジュール（１３０４）は、上記残余画像及び上記ノイズ適応画素しきい値セットからモーション・マスキング・マップを作成する。画素融合モジュール（１３０８）は、上記モーション・マスキング・マップに基づいて、複数の原画像の画素を融合することにより、出力画像を生成する。
【００５２】
図１４を参照すると、本発明による、移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２３０）の出力画像を生成するための動作を説明するフロー図が示される。ステップ１４００で、同じ露光量で撮像した複数の原画像からなる一組の入力画像セットを入力することにより本方法は開始する。次に、本方法は、ステップ１４０２で残余画像を算出する。残余画像は、一組の画像差分のセットから算出される。この画像差分のセットは、各画像ペアの絶対差を算出する画像の差分を含む。残余画像を得るための画像の差分には、空間−時間フィルタが適用される。次に、本方法は、ステップ１４０４で、センサー・ノイズ統計と入力画像の輝度に基づいて、一組のノイズ適応画素しきい値のセットを算出する。このノイズ適応画素しきい値のセットは、入力画像の各画素輝度のノイズ分散に基づいて得られる。その後、本方法は、ステップ１４０６で、上記残余画像と上記ノイズ適応画素しきい値のセットを使用して、モーション・マスキング・マップを作成する。このモーション・マスキング・マップは、複数の入力画像中の移動画素と非移動画素を示すために使用される。ステップ１４０８で、本方法は、モーション・マスキング・マップと画素飽和レベルに基づいて、複数の入力画像の移動画素に配慮しながら、複数の入力画像からの画素を融合し、出力画像を生成する。画素を融合する際に移動画素に配慮する利点は、出力画像に、これらの移動画素に起因するアーチファクト（例えば、移動ぶれやゴーストのアーチファクト）が発生しないことである。最後に、本方法は、ステップ１４１０で出力画像を出力する。出力画像には、移動ぶれやゴーストのアーチファクトがないまたは少ない。
【００５３】
残余画像演算モジュール（１３００）
【００５４】
図１５は、本撮像装置（図１３Ａに示した移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２３０））の残余画像演算モジュール（１３００）の動作並びに図１４に示した方法を説明するフロー図である。残余画像は、移動ぶれやゴーストのアーチファクトがないまたは少ない出力画像を生成するために、画素を融合する際に使用されるモーション・マスキング・マップを作成するために重要な役割を果たす。残余画像は、ノイズ適応画素しきい値により、複数の入力画像の画像間での移動画素と非移動画素を特定するために使用される。複数の入力画像は、異なる時間に順次に撮像されたものであり得る。同じ露光量で画像が撮像される場合にも、シーン移動に伴い、そのシーン中の同じ被写体が画像間で異なる位置に現れる可能性がある。これが、出力画像においてぶれやゴーストのアーチファクトを引き起こす。
【００５５】
図１５を参照して詳しく説明すると、残余画像演算方法は、複数の原画像からなる一組の画像セットを入力することにより開始する（ステップ１５００）。次に、ステップ１５０２で、一組の画像差分のセットを生成するために、画像ペアの絶対差が算出される。最初に、入力画像をペアにする。画像ペアの数は、Σｎp=1（ｎ−ｐ）（ここで、ｎは複数の入力画像の画像数である）として算出できる。各画像ペアの絶対差が、次に算出される。例えば、入力画像がフレーム０、フレーム１、及びフレーム２の３個の画像を含むとすれば、３個の画像ペア（０，１）、（１，２）、及び（０，２）がそれぞれ存在する。Ｉ０、Ｉ１，Ｉ２を各入力画像としよう。各画素位置（ｉ，ｊ）につき、各画像ペアでの絶対差は、次のように算出できる。
【数８】
2011525058.tif 000010
ここで、Ｄ０、Ｄ１、及びＤ２は、それぞれ、画像ペア（０，１）、画像ペア（１，２）、及び画像ペア（０，２）の画像差分であり、これらを「画像差分のセット」と呼ぶ。│・│は絶対作用素である。
【００５６】
本発明の方法では、ステップ１５０４で、画像差分のセットに対して適用される空間−時間フィルタを使用して、初期残余画像が生成される。空間フィルタが各画像差分に対して適用される。次に、時間フィルタが適用される。空間フィルタは、例えば、ガウス・フィルタ（Gaussian filter）、ハニング・フィルタ（Hanning filter）などの、どんな種類の空間フィルタ・カーネルでもよく、円形または矩形フィルタがあり得る。空間−時間平均化フィルタを使用して、３個の画像差分から初期残余画像を生成する例を以下に示す。Ｒｅｓ（ｉ，ｊ）を各画素位置（ｉ，ｊ）での初期残余画像としよう。Ｒｅｓ（ｉ，ｊ）は、例えば、このように算出できる。
【数９】
2011525058.tif 000011
【００５７】
式（８）と（９）は、入力画像セットの画像数の増加に応じて修正及び拡張可能である。入力画像セットは、３個の画像のみに限定されない。
【００５８】
一般に、移動ぶれを回避するには、短い露光と高いカメラ・ゲインで入力画像を撮像することが多い。その場合、入力画像はノイズが多くなる可能性がある。本発明は、画像差分のセットに対して空間−時間フィルタを適用する。空間フィルタは、本方法をイメージ・センサーからの空間ノイズに対して頑健にする。時間フィルタは、本方法を時間的な一貫性のないノイズに対して頑健にする。
【００５９】
複数の入力画像が２個の画像である場合には、１つの画像ペアから絶対差を算出できる。初期残余画像を生成するために、空間フィルタを適用できる。時間フィルタは除外可能である。
【００６０】
ステップ１５０６において、初期残余画像に最大値フィルタを適用する。次いで、最終的な残余画像が得られる。このステップの目的は、移動領域のエッジ周辺のノイズと不連結性を防止することである。これは本方法の頑健性を高める。最大値フィルタは、どのような形状とサイズであってもよい。例えば、最大値フィルタが７ｘ７画素のサイズの矩形ウィンドウであるとすれば、このウィンドウ内に位置する画素の出力は、ウィンドウ内の画素値の最大値である。ウィンドウは、１画素ずつ次の画素にスライドしながら初期残余画像中のすべての画素上を通過する。最後に、ステップ１５０８が最終的な残余画像を出力する。この最終的な残余画像は、次に、モーション・マスキング・マップ作成において、ノイズ適応画素しきい値のセットを用いて移動画素を特定するために使用される。
【００６１】
ノイズ適応画素しきい値演算モジュール（１３０２）
【００６２】
図１６は、本撮像装置（図１３Ａに示した移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２３０））のノイズ適応画素しきい値演算モジュール（１３０２）の動作並びに図１４に示した方法を説明するフロー図である。本方法は、ステップ１６００で、複数の原画像からなる一組の画像セットを入力することにより開始する。ステップ１６０２において、入力原画像のノイズ分散が各輝度レベルで算出される。ノイズ分散は、いろいろなやり方で算出可能である。ノイズ・モデルを用いたセンサー・ノイズ統計に基づいて、ノイズ分散を算出することが好ましい。したがって、入力原画像のノイズ分散は画像内容に依存しない。センサー・ノイズ統計は、このようにモデル化できる。
【数１０】
2011525058.tif 000012
ここで、αとβは、それぞれ、光子ノイズと暗ノイズを表わすパラメータであり、センサー較正から得ることができる。Ｉは画素輝度である。各輝度レベルでの入力原画像のノイズ分散がわかると、ステップ１６０４で、ノイズ適応画素しきい値を算出できる。これは、画素位置ごとに算出される。ｎ＋１個の画像を含む複数の入力画像について、画素位置（ｉ，ｊ）でのノイズ適応画素しきい値（ＮＡＴｈｒ）を算出する例を以下に示す。
【数１１】
2011525058.tif 000013
ここで、σn(i,j) はｎ番目の入力画像フレームの位置（ｉ，ｊ）に位置する画素のノイズ標準偏差である。ｗｎはｎ番目の画像フレームのノイズの寄与を制御するために使用された重みであり、ｗｎは０〜１の間で可変である。ｋはノイズ分散の累積領域に基づくしきい値レベルを制御するために使用されたパラメータである。
【００６３】
各画素のノイズ適応画素しきい値が算出されると、方法は、ステップ１６０６で、ノイズ適応画素しきい値のセットを出力する。ノイズ適応画素しきい値のセットは、モーション・マスキング・マップの作成において使用される。
【００６４】
モーション・マスキング・マップ作成モジュール（１３０４）
【００６５】
図１７は、本撮像装置（図１３Ａに示した移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２３０））のモーション・マスキング・マップ作成モジュール（１３０４）の動作並びに図１４に示した方法を説明するフロー図である。本方法は、ステップ１７００で、ノイズ適応画素しきい値セットと残余画像を入力することにより開始する。次に、本方法は、ステップ１７０２で参照モーション・マスキング・マップを作成する。ステップ１７０４において、各画素位置での残余画像と適応画素しきい値セットが比較される。各画素位置で、残余画像中のその画素値が同じ位置のノイズ適応画素しきい値よりも大きい場合、本方法は、ステップ１７０６で、参照モーション・マスキング・マップ上の同じ位置の画素を「移動」画素として指定する。残余画像中のその画素値が同じ位置のノイズ適応画素しきい値よりも大きい場合、本方法は、ステップ１７０８で、参照モーション・マスキング・マップ上の同じ位置の画素を「非移動」画素として指定する。残余画像中のすべての画素位置が比較され、参照モーション・マスキング・マップ上のすべての画素位置が指定された後、方法は、ステップ１７１０で、最終的なモーション・マスキング・マップを出力する。
【００６６】
このモーション・マスキング・マップは、画素融合において使用される。このマップは、入力画像間での移動画素と非移動画素を示す。
【００６７】
画素融合モジュール（１３０８）
【００６８】
図１８は、本撮像装置（図１３Ａに示した移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２３０））の画素融合モジュール（１３０８）の動作並びに図１４に示した方法を説明するフロー図である。出力画像を得るために、複数の入力原画像が一つに融合される。移動が発生している場合、移動画素は別途に実行される。移動画素は、モーション・マスキング・マップによって示される。したがって、その結果、移動ぶれやゴーストのアーチファクトがないまたは少ない出力画像を得ることができる。
【００６９】
複数の入力原画像に、画像ノイズを減少させるために、ローパス・フィルタによってフィルタをかけてもよい。
【００７０】
図１８を参照すると、ステップ１８００で、本方法は、同じ露光量をもつ複数の原画像とモーション・マスキング・マップ作成モジュール（１３０４）から作成されたモーション・マスキング・マップを入力する。ステップ１８０２において、各画素位置ごとに、同位置にあるモーション・マスキング・マップ上の画素について、この位置が「移動」画素として指定されたかどうかをチェックする。モーション・マスキング・マップ上の同位置の画素が「移動」画素として指定されている場合、ステップ１８０６において、同位置にある出力画像の画素値は、ノイズが少なく、閉塞領域が少ない入力画像からの画素値として指定される。
【００７１】
モーション・マスキング・マップ上の同位置の画素が「移動」画素として指定されていない場合、ステップ１８０４において、同位置にある出力画像の画素値は、入力画像からのすべての画素を次のように加重平均を用いて融合することによって算出できる。
【数１２】
2011525058.tif 000014
ここで、ｇｎは画像Ｉｎに与える重みである。重みはいろいろなやり方で算出可能である。平均化技法に基づいて重みを算出する例を以下に示す。
【数１３】
2011525058.tif 000015
【００７２】
しかし、重みを算出するために、その他の技法が使用可能である。それも本発明の同じ範囲内である。
【００７３】
各画素位置について出力画像の画素値が算出されると、ステップ１８０８で出力画像が出力される。出力画像は、Bayer原フォーマットである。
【００７４】
前述した方法と装置は、Bayer原領域において実行されるが、ＲＧＢ領域においても適用可能である。図１２Ｂを参照すると、本発明の第２の実施形態による撮像装置（１２５０）のブロック図が示される。撮像装置（１２５０）は、光学システム（１２５２）、イメージ・センサー（１２５４）、アナログ−デジタル変換器（１２５６）、画像プロセッサ（１２７０）、記憶／送信装置（１２５８）、及び表示装置（１２６０）から構成される。画像プロセッサ（１２７０）は、メモリー装置（１２６２）、移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２８０）、ホワイト・バランス・モジュール（１２６４）、トーン・マップ・モジュール（１２６６）、及びデモザイク・モジュール（１２６８）から構成される。光学システム（１２５２）は、イメージ・センサー（１２５４）へ到達する光信号を制御するためのレンズ、シャッター、アパーチャ、ズーム／フォーカス機構、及びプリズムなどの構成要素から構成され得る。イメージ・センサー（１２５４）は光信号を電気信号に変換し、電気信号はアナログ−デジタル変換器（１２５６）によってデジタル・データに変換され、メモリー装置（１２６２）に記憶される。メモリー装置（１２６２）からの原画像は、ホワイト・バランス・モジュール（１２６４）とデモザイク・モジュール（１２６８）によって処理され、画素当り３つの色成分を有するＲＧＢ画像になる。ＲＧＢ画像は、出力画像を生成するために、移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２８０）へ送られる。Ｒ、Ｇ、及びＢの色成分は、別々に処理され得る。出力画像は、記憶／送信装置（１２５８）によって記憶または送信され得る。出力画像はさらに、トーン・マップ・モジュール（１２６６）によって処理可能であり、これにより、表示装置（１２６０）上での表示または記憶／送信装置（１２５８）による記憶／送信に適した好適なレンジが得られる。
【００７５】
図１３Ｂを参照すると、本発明の第２の実施形態による撮像装置（１２５０）の移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２８０）の詳細ブロック図が示される。移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２８０）は、残余画像演算モジュール（１３５０）、ノイズ適応画素しきい値演算モジュール（１３５２）、モーション・マスキング・マップ作成モジュール（１３５４）、及び画素融合モジュール（１３５８）から構成される。移動ぶれ及びゴースト防止を備えた画像融合プロセッサ（１２８０）は、同じ露光量で撮像した複数のＲＧＢ画像を取り込む。残余画像演算モジュール（１３５０）は、一組の画像差分のセットから残余画像を算出する。ＲＧＢ画像は画素当り３つの色成分を含むので、本発明の第２の実施形態による前述の方法と装置を使用して、画像差分のセットを色成分ごとに別々に算出することが可能である。複雑性を減少させるためには、Ｇ（緑）色成分だけについて画像差分のセットを算出することが好ましい。Ｇ色成分の画像差分のセットから残余画像を算出できる。ノイズ適応画素しきい値演算モジュール（１３５２）は、各画素輝度からのノイズ・モデルを用いたイメージ・センサー・ノイズ統計に基づいて、一組のノイズ適応画素しきい値のセットを算出する。Ｇ色成分のみの輝度が使用される。モーション・マスキング・マップ作成モジュール（１３５４）は、前述の方法と装置を使用して、上記残余画像及び上記ノイズ適応画素しきい値セットを用いてモーション・マスキング・マップを作成する。画素融合モジュール（１３５８）は、上記モーション・マスキング・マップに基づいて、複数のＲＧＢ画像の画素を融合することにより、出力画像を生成する。Ｒ、Ｇ、及びＢが別々に実行される。本発明の第２の実施形態による前述した画素を融合するための方法と装置を使用できる。
【図１Ａ】
2011525058.tif 000016
【図１Ｂ】
2011525058.tif 000017
【図２Ａ】
2011525058.tif 000018
【図２Ｂ】
2011525058.tif 000019
【図３Ａ−３Ｂ】
2011525058.tif 000020
【図４】
2011525058.tif 000021
【図５】
2011525058.tif 000022
【図６】
2011525058.tif 000023
【図７】
2011525058.tif 000024
【図８Ａ】
2011525058.tif 000025
【図８Ｂ】
2011525058.tif 000026
【図９】
2011525058.tif 000027
【図１０】
2011525058.tif 000028
【図１１】
2011525058.tif 000029
【図１２Ａ】
2011525058.tif 000030
【図１２Ｂ】
2011525058.tif 000031
【図１３Ａ−１３Ｂ】
2011525058.tif 000032
【図１４】
2011525058.tif 000033
【図１５】
2011525058.tif 000034
【図１６】
2011525058.tif 000035
【図１７】
2011525058.tif 000036
【図１８】
2011525058.tif 000037
【手続補正書】
【提出日】平成21年10月26日(2009.10.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のBayer原画像からなる一組の入力画像セットを入力するステップと、
前記一組の入力画像セットは異なる露光量で撮像したものであり、
残余画像を算出するステップと、
一組のノイズ適応画素しきい値セットを算出するステップと、
前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、各画素について「移動」あるいは「非移動」を指定するためのモーション・マスキング・マップを作成するステップと、
前記モーション・マスキング・マップが画素位置で「非移動」を指定した場合、前記一組の入力画像セットからの画素を融合するステップと、
前記モーション・マスキング・マップが前記画素位置で「移動」を指定した場合、前記入力画像の画素値を指定するステップと、
移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記画素位置で各画素について「移動」あるいは「非移動」を指定した前記モーション・マスキング・マップに基づいて、前記融合するステップまたは前記指定するステップを選択するステップと、
を有する撮像システムにおける移動ぶれ及びゴースト防止のための方法。
【請求項２】
ラジアンス領域における画像ペアの絶対差を算出し、一組の画像差分のセットを生成するステップと、
前記一組の画像差分のセットに対して空間−時間フィルタを使用して、初期残余画像を算出するステップと、
前記初期残余画像に対して最大値フィルタを適用して前記残余画像を得るステップと、
をさらに有する、請求項１に記載の残余画像を算出するための方法。
【請求項３】
前記一組の入力画像セットの各輝度レベルでのノイズ分散を算出するステップと、
前記一組の入力画像セットの各輝度レベルの前記ノイズ分散に基づいて、各輝度レベルでのノイズ適応画素しきい値を算出するステップと、
をさらに有する、請求項１に記載の一組のノイズ適応画素しきい値セットを算出するための方法。
【請求項４】
参照モーション・マスキング・マップを作成するステップと、
前記残余画像中の画素を対応するノイズ適応画素しきい値と比較するステップと、
前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きい場合、前記参照モーション・マスキング・マップ上の同画素位置を「移動」画素として指定するステップと、
前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きくない場合、前記参照モーション・マスキング・マップ上の同画素位置を「非移動」画素として指定するステップと、
をさらに有する、請求項１に記載の、前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、モーション・マスキング・マップを作成するための方法。
【請求項５】
前記一組の入力画像セットの画素飽和レベルを決定するステップと、
すべての画素位置について、前記一組の入力画像セットからの各画素値を前記画素飽和レベルと比較するステップと、
各画素位置における前記一組の入力画像セットからの各画素値がどれも前記画素飽和レベル未満ではない場合、前記一組の入力画像セットのうちの最短露光レベルをもつ画像から前記出力画像の同画素位置のラジアンス値を算出するステップと、
各画素位置における前記一組の入力画像セットからの各画素値がすべて前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある画素をチェックするステップと、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットからの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するステップと、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれのない画像から前記出力画像の同画素位置のラジアンス値を算出するステップと、
各画素位置における前記一組の入力画像セットからの各画素値の１つ以上が前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある前記画素をチェックするステップと、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットのうちの１つ以上の画像からの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するステップと、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれがなく、前記画素飽和レベル未満である画像から前記出力画像の同画素位置のラジアンス値を算出するステップと、
をさらに有する、請求項１に記載の、移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記一組の入力画像セットからの画素を融合するための方法。
【請求項６】
複数のＲＧＢ（デモザイク処理を経た赤、緑、及び青）画像からなる一組の入力画像セットを入力するステップと、
前記一組の入力画像セットは異なる露光量で撮像されたものであり、
残余画像を算出するステップと、
一組のノイズ適応画素しきい値セットを算出するステップと、
前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、各画素について「移動」あるいは「非移動」を指定するためのモーション・マスキング・マップを作成するステップと、
前記モーション・マスキング・マップが画素位置で「非移動」を指定した場合、前記一組の入力画像セットからの画素を融合するステップと、
前記モーション・マスキング・マップが前記画素位置で「移動」を指定した場合、前記入力画像の画素値を指定するステップと、
移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記画素位置で各画素について「移動」あるいは「非移動」を指定した前記モーション・マスキング・マップに基づいて、前記融合するステップまたは前記指定するステップを選択するステップと、
を有する撮像システムにおける移動ぶれ及びゴースト防止のための方法。
【請求項７】
ラジアンス領域における画像ペアの絶対差を算出し、一組の画像差分のセットを生成するステップと、
前記一組の画像差分のセットに対して空間−時間フィルタを使用して、初期残余画像を算出するステップと、
前記初期残余画像に対して最大値フィルタを適用して前記残余画像を得るステップと、
をさらに有する、請求項６に記載の残余画像を算出するための方法。
【請求項８】
前記一組の入力画像セットの各輝度レベルでのノイズ分散を算出するステップと、
前記一組の入力画像セットの各輝度レベルの前記ノイズ分散に基づいて、各輝度レベルでのノイズ適応画素しきい値を算出するステップと、
をさらに有する、請求項６に記載の一組のノイズ適応画素しきい値セットを算出するための方法。
【請求項９】
参照モーション・マスキング・マップを作成するステップと、
前記残余画像中の画素を対応するノイズ適応画素しきい値と比較するステップと、
前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きい場合、前記参照モーション・マスキング・マップ上の同画素位置を「移動」画素として指定するステップと、
前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きくない場合、前記参照モーション・マスキング・マップ上の同画素位置を「非移動」画素として指定するステップと、
をさらに有する、請求項６に記載の、前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、モーション・マスキング・マップを作成するための方法。
【請求項１０】
前記一組の入力画像セットの画素飽和レベルを決定するステップと、
すべての画素位置について、前記一組の入力画像セットからの各画素値を前記画素飽和レベルと比較するステップと、
各画素位置における前記一組の入力画像セットからの各画素値がどれも前記画素飽和レベル未満ではない場合、前記一組の入力画像セットのうちの最短露光レベルをもつ画像から前記出力画像の同画素位置のラジアンス値を算出するステップと、
各画素位置における前記一組の入力画像セットからの各画素値がすべて前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある画素をチェックするステップと、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットからの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するステップと、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれのない画像から前記出力画像の同画素位置のラジアンス値を算出するステップと、
各画素位置における前記一組の入力画像セットからの各画素値の１つ以上が前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある前記画素をチェックするステップと、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットのうちの１つ以上の画像からの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するステップと、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれがなく、前記画素飽和レベル未満である画像から前記出力画像の同画素位置のラジアンス値を算出するステップと、
をさらに有する、請求項６に記載の、移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記一組の入力画像セットからの画素を融合するための方法。
【請求項１１】
前記複数の入力Bayer原画像は同じ露光量で撮像したものであり得る、請求項１、２、３、４、及び５に記載の、撮像システムにおける移動ぶれ及びゴースト防止のための方法。
【請求項１２】
前記複数の入力ＲＧＢ画像は同じ露光量で撮像したものであり得る、請求項６、７、８、９、及び１０に記載の、撮像システムにおける移動ぶれ及びゴースト防止のための方法。
【請求項１３】
複数のBayer原画像からなる一組の入力画像セットを入力するための手段と、
前記一組の入力画像セットは異なる露光量で撮像したものであり、残余画像を算出するための手段と、
一組のノイズ適応画素しきい値セットを算出するための手段と、
前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、各画素について「移動」あるいは「非移動」を指定するためのモーション・マスキング・マップを作成するための手段と、
前記モーション・マスキング・マップが画素位置で「非移動」を指定した場合、前記一組の入力画像セットからの画素を融合するための手段と、
前記モーション・マスキング・マップが前記画素位置で「移動」を指定した場合、前記入力画像の画素値を指定するステップと、
移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記画素位置で各画素について「移動」あるいは「非移動」を指定した前記モーション・マスキング・マップに基づいて、前記融合するための手段または前記指定するための手段を選択するための手段と、
を具備する撮像システムにおける移動ぶれ及びゴースト防止のための装置。
【請求項１４】
ラジアンス領域における画像ペアの絶対差を算出し、一組の画像差分のセットを生成するための手段と、
前記一組の画像差分のセットに対して空間−時間フィルタを使用して、初期残余画像を算出するための手段と、
前記初期残余画像に対して最大値フィルタを適用して前記残余画像を得るための手段と、
をさらに具備する、請求項１３に記載の残余画像を算出するための装置。
【請求項１５】
前記一組の入力画像セットの各輝度レベルでのノイズ分散を算出するための手段と、
前記一組の入力画像セットの各輝度レベルの前記ノイズ分散に基づいて、各輝度レベルでのノイズ適応画素しきい値を算出するための手段と、
をさらに具備する、請求項１３に記載の、一組のノイズ適応画素しきい値セットを算出するための装置。
【請求項１６】
参照モーション・マスキング・マップを作成するための手段と、
前記残余画像中の画素を対応するノイズ適応画素しきい値と比較するための手段と、
前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きい場合、前記参照モーション・マスキング・マップ上の同画素位置を「移動」画素として指定するための手段と、
前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きくない場合、前記参照モーション・マスキング・マップ上の同画素位置を「非移動」画素として指定するための手段と、
をさらに具備する、請求項１３に記載の、前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、モーション・マスキング・マップを作成するための装置。
【請求項１７】
前記一組の入力画像セットの画素飽和レベルを決定するための手段と、
すべての画素位置について、前記一組の入力画像セットからの各画素値を前記画素飽和レベルと比較するための手段と、
各画素位置における前記一組の入力画像セットからの各画素値がどれも前記画素飽和レベル未満ではない場合、前記一組の入力画像セットのうちの最短露光レベルをもつ画像から前記出力画像の同画素位置のラジアンス値を算出するための手段と、
各画素位置における前記一組の入力画像セットからの各画素値がすべて前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある画素をチェックするための手段と、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットからの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するための手段と、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれのない画像から前記出力画像の同画素位置のラジアンス値を算出するための手段と、
各画素位置における前記一組の入力画像セットからの各画素値の１つ以上が前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある前記画素をチェックするための手段と、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットのうちの１つ以上の画像からの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するための手段と、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれがなく、前記画素飽和レベル未満である画像から前記出力画像の同画素位置のラジアンス値を算出するための手段と、
をさらに具備する、請求項１３に記載の、移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記一組の入力画像セットからの画素を融合するための装置。
【請求項１８】
複数のＲＧＢ画像からなる一組の入力画像セットを入力するための手段と、
前記一組の入力画像セットは異なる露光量で撮像したものであり、残余画像を算出するための手段と、
一組のノイズ適応画素しきい値セットを算出するための手段と、
前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、各画素について「移動」あるいは「非移動」を指定するためのモーション・マスキング・マップを作成するための手段と、
前記モーション・マスキング・マップが画素位置で「非移動」を指定した場合、前記一組の入力画像セットからの画素を融合するための手段と、
前記モーション・マスキング・マップが前記画素位置で「移動」を指定した場合、前記入力画像の画素値を指定するステップと、
移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記画素位置で各画素について「移動」あるいは「非移動」を指定した前記モーション・マスキング・マップに基づいて、前記融合するための手段または前記指定するための手段を選択するための手段と、
を具備する撮像システムにおける移動ぶれ及びゴースト防止のための装置。
【請求項１９】
ラジアンス領域における画像ペアの絶対差を算出し、一組の画像差分のセットを生成するための手段と、
前記一組の画像差分のセットに対して空間−時間フィルタを使用して、初期残余画像を算出するための手段と、
前記初期残余画像に対して最大値フィルタを適用して前記残余画像を得るための手段と、
をさらに具備する請求項１８に記載の、残余画像を算出するための装置。
【請求項２０】
前記一組の入力画像セットの各輝度レベルでのノイズ分散を算出するための手段と、
前記一組の入力画像セットの各輝度レベルの前記ノイズ分散に基づいて、各輝度レベルでのノイズ適応画素しきい値を算出するための手段と、
をさらに具備する、請求項１８に記載の、一組のノイズ適応画素しきい値セットを算出するための装置。
【請求項２１】
参照モーション・マスキング・マップを作成するための手段と、
前記残余画像中の画素を対応するノイズ適応画素しきい値と比較するための手段と、
前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きい場合、前記参照モーション・マスキング・マップ上の同画素位置を「移動」画素として指定するための手段と、
前記残余画像中の画素が前記対応するノイズ適応画素しきい値よりも大きくない場合、前記参照モーション・マスキング・マップ上の同画素位置を「非移動」画素として指定するための手段と、
をさらに具備する、請求項１８に記載の、前記残余画像と前記一組のノイズ適応画素しきい値セットを用いて、モーション・マスキング・マップを作成するための装置。
【請求項２２】
前記一組の入力画像セットの画素飽和レベルを決定するための手段と、
すべての画素位置について、前記一組の入力画像セットからの各画素値を前記画素飽和レベルと比較するための手段と、
各画素位置における前記一組の入力画像セットからの各画素値がどれも前記画素飽和レベル未満ではない場合、前記一組の入力画像セットのうちの最短露光レベルをもつ画像から前記出力画像の同画素位置のラジアンス値を算出するための手段と、
各画素位置における前記一組の入力画像セットからの各画素値がすべて前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある画素をチェックするための手段と、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットからの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するための手段と、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれのない画像から前記出力画像の同画素位置のラジアンス値を算出するための手段と、
各画素位置における前記一組の入力画像セットからの各画素値の１つ以上が前記画素飽和レベル未満である場合、前記モーション・マスキング・マップ上の同位置にある前記画素をチェックするための手段と、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素ではない場合、前記一組の入力画像セットのうちの１つ以上の画像からの各画素をそれらの露光量に基づいた加重平均を用いて融合することにより、前記出力画像の同画素位置のラジアンス値を算出するための手段と、
前記モーション・マスキング・マップ上の同位置にある前記画素が「移動」画素である場合、前記一組の入力画像セットのうちの移動ぶれがなく、前記画素飽和レベル未満である画像から前記出力画像の同画素位置のラジアンス値を算出するための手段と、
をさらに具備する、請求項１８に記載の、移動ぶれやゴーストのアーチファクトのないまたは少ない出力画像を生成するように、前記一組の入力画像セットからの画素を融合するための装置。
【請求項２３】
前記複数の入力Bayer原画像は同じ露光量で撮像したものであり得る、請求項１３、１４、１５、１６、及び１７に記載の、撮像システムにおける移動ぶれ及びゴースト防止のための装置。
【請求項２４】
前記複数の入力ＲＧＢ画像は同じ露光量で撮像したものであり得る、請求項１８、１９、２０、２１、及び２２に記載の、撮像システムにおける移動ぶれ及びゴースト防止のための装置。
【国際調査報告】
2011525058.tif 000038
2011525058.tif 000039
2011525058.tif 000040