(57)【特許請求の範囲】
【請求項１】
コンピュータを使用して実行されると、各フレームの露光を変更しながらキャプチャされたイメージシーケンスからハイダイナミックレンジ（ｈｉｇｈ  ｄｙｎａｍｉｃ  ｒａｎｇｅ；ＨＤＲ）ビデオを生成する、コンピュータに実行される方法であって、
前記ビデオイメージシーケンスの各フレームに対してキャプチャされる前にピクセルの明るさの分布関数として露光を設定するステップと、
指定された個数の開始フレームに続く前記ビデオの各フレームに対して、
検討中のフレームと、対応するピクセルセットを表す前後の両方の隣接フレームとの間で対応するピクセルを識別するステップと、
対応するピクセルの各セットに対して、信頼に値するピクセルを表す前記セットにおける少なくとも１つのピクセルを識別し、および前記１つまたは複数の識別された信頼に値するピクセルに関連付けられたピクセルカラー情報を使用して、ピクセルのセットに対する放射輝度値を計算することにより、前記ＨＤＲビデオのフレームを表す放射輝度マップを形成するステップと
を備え、
前記ビデオイメージシーケンスのフレームは、短露光によりキャプチャされたフレームと長露光によりキャプチャされたフレームとの間で交番し、
前記ビデオイメージシーケンスの各フレームに対して露光を設定するステップは、
少なくとも２である前記指定された個数の開始フレームをキャプチャするステップと、
前記ビデオイメージシーケンスの最後の２つの前にキャプチャされたフレームに対するそれぞれの強度ヒストグラムを計算するステップと、
前記キャプチャされた最後の２つのフレームに関連付けられた露光セッティングが等しいかどうかを判定し、前記キャプチャされた少なくとも２つのフレームに関連付けられた露光セッティングが等しいと判定されると、前にキャプチャされたフレームの最後の対に属する各フレームに対して、露光過多ピクセルカウントおよび露光過少ピクセルカウントがそれぞれ指定された露光過多ピクセルターゲットカウントおよび露光過少ピクセルターゲットカウント未満であるかどうかを判定し、前記前にキャプチャされたフレームの最後の対に属する各フレームがそれぞれ前記指定された露光過多ピクセルターゲットカウントおよび露光過少ピクセルターゲットカウント未満の露光過多ピクセルカウントおよび露光過少ピクセルカウントを有すると判定されると、キャプチャされる次の２つのフレームの第１フレームの新しい露光に、前にキャプチャされたフレームの最後の対に属する第１フレームに関連付けられた強度ヒストグラムに帰着する値を設定することにより、ピクセル値の範囲内にセンタリングされ、ならびにキャプチャされる次の２つのフレームの第２フレームの新しい露光に、前にキャプチャされたフレームの最後の対に属する第２フレームに関連付けられた強度ヒストグラムに帰着する値を設定することにより、ピクセル値の範囲内にセンタリングされるステップと、
前記キャプチャされた最後の２つフレームに関連付けられた露光セッティングが等しくない、または前にキャプチャされたフレームの最後の対に属する一方もしくは両方のフレームがそれぞれ前記指定された露光過多ピクセルターゲットカウントおよび露光過少ピクセルターゲットカウント以上の露光過多ピクセルカウントもしくは露光過少ピクセルカウントを有すると判定されると、
前記露光過多ピクセルカウントが、前記短露光セッティングを有する、前にキャプチャされたフレームの最後の対に属するフレームにおける前記露光過多ピクセルターゲットカウントの指定された割合未満であるかどうかを判定し、
前記露光過多ピクセルカウントが前記短露光フレームにおける前記露光過多ピクセルターゲットカウントの指定された割合未満であることを検出すると、キャプチャされる次の短露光フレームに対する露光に、検討中の短露光フレームに使用された前記露光値を超える増加を表す露光値を設定するステップと、
前記露光過少ピクセルカウントが、前記長露光セッティングを有する、前にキャプチャされたフレームの最後の対に属するフレームにおける前記露光過少ピクセルターゲットカウントの指定された割合未満であるかどうかを判定し、
前記露光過少ピクセルカウントが前記長露光フレームにおける前記露光過少ピクセルターゲットカウントの指定された割合未満であることを検出すると、キャプチャされる次の長露光フレームに対する露光に、検討中の長露光フレームに使用された前記露光値を超える減少を表す露光値を設定するステップと、
キャプチャされる前記長露光フレームおよび前記短露光フレームについて設定された前記露光値の比が指定された最大に許容される露光比以上であるかどうかを判定し、
前記露光値の比が前記指定された最大に許容される露光比以上であることを検出すると、前記検討中の短露光フレームに関連付けられた露光過多ピクセルカウントと前記検討中の長露光フレームに関連付けられた露光過少ピクセルカウントとのバランスをとることにより、前記キャプチャされる次の長露光フレームに対する露光値および前記キャプチャされる次の短露光フレームに対する露光値を再設定して、次の長露光フレームおよび短露光フレームに対する修正された露光値の比が前記指定された最大に許容される露光比を超えないようにする前記次の長露光フレームおよび短露光フレームに対する修正された露光値を確立するステップと、
前記検討中の長露光フレームおよび前記短露光フレームに関連付けられた露光値の比が前記指定された最大に許容される露光比以上でないことを検出すると、
前記露光過多ピクセルカウントが前記露光過多ピクセルターゲットカウントを超えるかどうかを判定し、前記露光過多ピクセルカウントが前記露光過多ピクセルターゲットカウントを超えると、前記キャプチャされる次の短露光フレームに対する露光に、検討中の短露光フレームに使用された前記露光値を超える減少を表す露光値を設定するステップと、
前記露光過少ピクセルカウントが前記露光過少ピクセルターゲットカウントを超えるかどうかを判定し、前記露光過少ピクセルカウントが前記露光過少ピクセルターゲットカウントを超えると、前記キャプチャされる次の長露光フレームに対する露光に、検討中の長露光フレームに使用された前記露光値を超える増加を表す露光値を設定するステップと、
前記キャプチャされる次の長露光フレームおよび短露光フレームの最後に設定された露光値の比が指定された最大に許容される露光比以上であるかどうかを判定し、前記露光値の比が前記指定された最大に許容される露光比以上であることを検出すると、前記検討中の短露光フレームに関連付けられた露光過多ピクセルカウントと前記検討中の長露光フレームに関連付けられた露光過少ピクセルカウントとのバランスをとることにより、前記キャプチャされる次の長露光フレームに対する露光値および前記キャプチャされる次の短露光フレームに対する露光値を再設定して、次の長露光フレームおよび短露光フレームに対する修正された露光値の比が前記指定された最大に許容される露光比を超えないようにする前記次の長露光フレームおよび短露光フレームに対する修正された露光値を確立するステップと
を含むことを特徴とする方法。
【請求項２】
前記放射輝度マップをトーンマッピングすることにより、前記放射輝度マップをレンダリングに適する８ビット表現に変換するステップをさらに備えたことを特徴とする請求項１に記載の方法。
【請求項３】
前記ビデオイメージシーケンスの各フレームに対して露光を設定するステップは、長露光フレームおよび短露光フレームの各シーケンシャル対の間の露光比を最小にし、前記フレームに示されたシーンに対する放射輝度の実質的に完全な範囲を作るように、各フレームの露光を設定するステップを含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記指定された個数の開始フレームをキャプチャするステップは、露光セッティングの指定されたセットにおいて前記開始フレームをキャプチャするステップを含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記指定された個数の開始フレームをキャプチャするステップは、前記ビデオイメージシーケンスをキャプチャするのに使用されるビデオカメラの自動利得を使用して前記開始フレームをキャプチャするステップを含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記キャプチャされる次の２つのフレームの第１フレームの新しい露光に、前にキャプチャされたフレームの最後の対に属する第１フレームに関連付けられた強度ヒストグラムに帰着する値を設定することにより、ピクセル値の範囲内にセンタリングされるステップは、前記前にキャプチャされたフレームの最後の対に属する第１フレームの露光値に、前記第１フレームの強度ヒストグラムの平均値を表す強度値におけるカメラ応答関数の逆数に対する前記シーンの予想される強度値の範囲の中央強度値におけるカメラ応答関数の逆数の比をかけるステップを含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記キャプチャされる次の２つのフレームの第２フレームの新しい露光に、前にキャプチャされたフレームの最後の対に属する第２フレームに関連付けられた強度ヒストグラムに帰着する値を設定することにより、ピクセル値の範囲内にセンタリングされるステップは、前記前にキャプチャされたフレームの最後の対に属する第２フレームの露光値に、前記第２フレームの強度ヒストグラムの平均値を表す強度値におけるカメラ応答関数の逆数に対する前記シーンの予想される強度値の範囲の中央強度値におけるカメラ応答関数の逆数の比をかけるステップを含むことを特徴とする請求項１に記載の方法。
【請求項８】
前記露光過多ピクセルカウントは、飽和ピクセルの数を表し、前記露光過少ピクセルカウントは、黒いピクセルの数を表し、前記露光過多ピクセルターゲットカウントは、検討中のフレームにおけるピクセルの総数の約１から５％の範囲内であり、および前記露光過少ピクセルターゲットカウントは、検討中のフレームにおけるピクセルの総数の約１から５％の範囲内であることを特徴とする請求項１に記載の方法。
【請求項９】
前記キャプチャされる次の短露光フレームに対する露光に、検討中の短露光フレームに使用された前記露光値を超える増加を表す露光値を設定するステップは、前記検討中の短露光フレームの露光値に、最小値から始めて強度値により順序付けられた場合に検討中の短露光フレームのピクセルの最初の９９％の間で得られる最高の強度値を表す強度値におけるカメラ応答関数の逆数に対する飽和ピクセルを表す強度値におけるカメラ応答関数の逆数の比をかけるステップを含むことを特徴とする請求項１に記載の方法。
【請求項１０】
前記キャプチャされる次の長露光フレームの前記露光に検討中の長露光フレームに使用された前記露光値を超える減少を表す露光値を設定するステップは、検討中の長露光フレームの前記露光値に、最小値から始めて強度値により順序付けられた場合に検討中の長露光フレームのピクセルの最初の１％の間で得られる最高の強度値を表す強度値におけるカメラ応答関数の逆数に対する黒ピクセルを表す強度値におけるカメラ応答関数の逆数の比をかけることを含むことを特徴とする請求項１に記載の方法。
【請求項１１】
前記検討中の長露光フレームおよび短露光フレームに関連付けられた露光値の比が前記指定された最大に許容される露光比を超えないようにし、前記検討中の短露光フレームに関連付けられた露光過多ピクセルカウントが検討中の長露光フレームに関連付けられた露光過少ピクセルカウントとバランスされるように、前記キャプチャされる次の長露光フレームの露光値およびキャプチャされる次の短露光フレームの露光値を設定するステップは、
検討中の短露光フレームの前記露光過多ピクセルカウントの半分に検討中の長露光フレームの露光過少ピクセルカウントの半分を加算することにより、検討中の短露光フレームの修正された露光過多ピクセルカウントを計算するステップと、
前記修正された露光過多ピクセルカウントに関連付けられた強度値を見つけるために、前記短露光フレームについて生成された前記強度ヒストグラムを使用するステップと、
前記キャプチャされる次の短露光フレームの前記露光値を作るために、前記修正された露光過多ピクセルカウントに関連付けられた強度値におけるカメラ応答関数の逆数に対する飽和ピクセルを表す強度値におけるカメラ応答関数の逆数の比を検討中の短露光フレームの前記露光値にかけるステップと、
前記キャプチャされる次の短露光フレームについて計算された前記露光に前記指定された最大に許容される露光比をかけることにより、前記キャプチャされる次の長露光フレームの前記露光を計算するステップと
を含むことを特徴とする請求項１に記載の方法。
【請求項１２】
前記キャプチャされる次の短露光フレームの露光に検討中の短露光フレームに使用された露光値を超える減少を表す露光値を設定するステップは、
前記次の短露光フレームをキャプチャする際に使用される前記露光値を作るために検討中の短露光フレームに関連付けられた前記露光比が減らされる割合を指定するのにバンプ処理を使用するステップ
を含み、前記バンプ処理が、
検討中の短露光フレームの前記露光値が検討中のフレームの前にキャプチャされた最後の短露光フレームをキャプチャするのに使用された露光値を超える減少を表すかどうかを判定するステップと、
検討中の短露光フレームの前記露光値が減少を表さないと判定されると、指定されたベース比率になるように減少比率を指定するステップと、
検討中の短露光フレームの前記露光値が減少を表すと判定されると、検討中の短露光フレームに関連付けられた前記露光過多ピクセルカウントが検討中のフレームの前にキャプチャされた最後の短露光フレームに関連付けられた前記露光過多ピクセルカウント以上であるかどうかを判定するステップと、
検討中の短露光フレームに関連付けられた前記露光過多ピクセルカウントが検討中のフレームの前にキャプチャされた最後の短露光フレームに関連付けられた前記露光過多ピクセルカウント以上であると、最大１００％までで、検討中の短露光フレームに関連付けられた前記露光値を確立するために適用されたものの２倍になるように前記減少比率を指定するステップと、
検討中の短露光フレームに関連付けられた前記露光過多ピクセルカウントが検討中のフレームの前にキャプチャされた最後の短露光フレームに関連付けられた前記露光過多ピクセルカウント以上でないと、検討中の短露光フレームに関連付けられた前記露光値を確立するために適用されたものと同一になるように前記減少比率を指定するステップと、
前記キャプチャされる次の短露光フレームの前記露光セッティングを確立するために、検討中の短露光フレームに関連付けられた前記露光セッティングを前記指定された減少比率だけ減らすステップと
を含むことを特徴とする請求項１に記載の方法。
【請求項１３】
前記キャプチャされる次の長露光フレームの露光値に検討中の長露光フレームに使用された露光値を超える増加を表す露光値を設定するステップは、
前記次の長露光フレームをキャプチャする際に使用される前記露光値を作るために検討中の長露光フレームに関連付けられた前記露光値が増やされる比率を指定するのにバンプ処理を使用するステップ
を含み、前記バンプ処理が、
検討中の長露光フレームの前記露光値が検討中のフレームの前にキャプチャされた最後の長露光フレームをキャプチャするのに使用された前記露光値を超える増加を表すかどうかを判定するステップと、
検討中の長露光フレームの前記露光値が増加を表さないと判定されると、指定されたベース比率になるように前記増加比率を指定するステップと、
検討中の長露光フレームの前記露光値が増加を表すと判定されると、検討中の長露光フレームに関連付けられた前記露光過少ピクセルカウントが検討中のフレームの前にキャプチャされた最後の長露光フレームに関連付けられた前記露光過少ピクセルカウント以上であるかどうかを判定するステップと、
検討中の長露光フレームに関連付けられた前記露光過少ピクセルカウントが検討中のフレームの前にキャプチャされた最後の長露光フレームに関連付けられた前記露光過少ピクセルカウント以上であると、１００％までで、検討中の長露光フレームに関連付けられた前記露光値を確立するために適用されたものの２倍になるように前記増加比率を指定するステップと、
検討中の長露光フレームに関連付けられた前記露光過少ピクセルカウントが検討中のフレームの前にキャプチャされた最後の長露光フレームに関連付けられた前記露光過少ピクセルカウント以上でないと、検討中の長露光フレームに関連付けられた前記露光値を確立するために適用されたものと同一になるように前記増加比率を指定するステップと、
前記キャプチャされる次の長露光フレームの前記露光セッティングを確立するために、検討中の長露光フレームに関連付けられた前記露光セッティングを前記指定された増加比率だけ増やすステップと
を含むことを特徴とする請求項１に記載の方法。
【請求項１４】
前記検討中の長露光フレームおよび短露光フレームに関連付けられた露光値の前記比は、前記短露光フレームに関連付けられた露光値により割られた長露光フレームに関連付けられた露光値を含み、前記指定された最大に許容される露光比は、約１から約３２までの範囲内であることを特徴とする請求項１に記載の方法。
【請求項１５】
前記検討中のフレームと、対応するピクセルセットを表す前後の両方の隣接フレームとの間で対応するピクセルを識別するステップは、
検討中のフレームとの直前の隣接フレームの近似見当合わせを作るために、前記前フレームを単一方向にワープするステップと、
検討中のフレームとの直後の隣接フレームの近似見当合わせを作るために、前記後フレームを単一方向にワープするステップと、
検討中のフレームとの前記隣接フレームの近似見当合わせを表すリファインされた順方向ワープされたフレームおよびリファインされた逆方向ワープされたフレームを作るために、前記前後のフレームを両方向にワープするステップと
を含むことを特徴とする請求項１に記載の方法。
【請求項１６】
前記検討中のフレームとの直前の隣接フレームの近似見当合わせを作るために、前フレームを単一方向にワープするステップは、
検討中のフレームが長露光フレームであり、および前後のフレームが短露光フレームであると、
前記長露光フレームの強度範囲と実質的に一致するように前記前フレームの強度をブーストするステップと、
順方向ワープ処理を使用して検討中のフレームに前記前フレームを見当合わせするステップと、
検討中のフレームが短露光フレームであり、および前後のフレームが長露光フレームであると、
前記前フレームの強度範囲と実質的に一致するように検討中の短露光フレームの強度をブーストするステップと、
順方向ワープ処理を使用して検討中のフレームに前記前フレームを見当合わせするステップと
を含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記検討中のフレームとの直後の隣接フレームの近似見当合わせを作るために、前記後フレームを単一方向にワープするステップは、
検討中のフレームが長露光フレームであり、および前後のフレームが短露光フレームであると、
前記長露光フレームの強度範囲と実質的に一致するように前記後フレームの強度をブーストするステップと、
逆方向ワープ処理を使用して検討中のフレームに前記後フレームを見当合わせするステップと、
検討中のフレームが短露光フレームであり、および前後のフレームが長露光フレームであると、
前記後フレームの強度範囲と実質的に一致するように検討中の短露光フレームの強度をブーストするステップと、
逆方向ワープ処理を使用して検討中のフレームに前記後フレームを見当合わせするステップと
を含むことを特徴とする請求項１５に記載の方法。
【請求項１８】
前記検討中のフレームとの前記隣接フレームの近似見当合わせを表すリファインされた順方向ワープされたフレームおよびリファインされた逆方向ワープされたフレームを作るために、前記前後のフレームを両方向にワープするステップは、検討中のフレームが長露光フレームであり、および前後のフレームが実質的に同一の露光を有する短露光フレームであると、
それぞれ前記前後のフレームの両方向フローフィールドを計算するステップと、
順方向ワープされたフレームを作るために前記前フレームについて計算された前記両方向フローフィールドを使用して前記前フレームをワープするステップと、
逆方向ワープされたフレームを作るために前記後フレームについて計算された前記両方向フローフィールドを使用して前記後フレームをワープするステップと、
補間されたフレームを作るために前記順方向ワープされたフレームと前記逆方向ワープされたフレームとを組み合わせるステップと、
前記長露光フレームの強度範囲に実質的に一致するように前記補間されたフレームの強度をブーストするステップと、
前記強度ブーストされた補間されたフレームを検討中の長露光フレームに最もよく写像するリファイニングフローフィールドを計算するステップと、
前記前フレームのリファインされた順方向フローフィールドを作るために、リファイニングフローフィールドに前記前フレームについて計算された前記両方向フローフィールドを連結し、リファインされた順方向ワープされたフレームを作るために、前記リファインされた順方向フローフィールドを使用して前記前フレームをワープするステップと、
前記後フレームのリファインされた逆方向フローフィールドを作るために、リファイニングフローフィールドに前記後フレームについて計算された前記両方向フローフィールドを連結し、リファインされた逆方向ワープされたフレームを作るために、前記リファインされた逆方向フローフィールドを使用して前記後フレームをワープするステップと
を含むことを特徴とする請求項１５に記載の方法。
【請求項１９】
前記検討中のフレームとの前記隣接フレームの近似見当合わせを表すリファインされた順方向ワープされたフレームおよびリファインされた逆方向ワープされたフレームを作るために、前記前後のフレームを両方向にワープするステップは、検討中のフレームが長露光フレームであり、および前後のフレームが実質的に異なる露光を有する短露光フレームであると、
前記前フレームに関連付けられた露光が前記後フレームに関連付けられた露光より短いかまたは長いかのどちらかであるかを判定するステップと、
前記前フレームに関連付けられた露光が前記後フレームに関連付けられた露光より短いと判定されると、前記後フレームの強度範囲に実質的に一致するように前記前フレームの強度をブーストし、前記前フレームに関連付けられた露光が前記後フレームに関連付けられた露光より長いと判定されると、前記前フレームの強度範囲に実質的に一致するように前記後フレームの強度をブーストするステップと、
それぞれ前記前後のフレームの両方向フローフィールドを計算するステップと、
順方向ワープされたフレームを作るために前記前フレームについて計算された前記両方向フローフィールドを使用して前記前フレームをワープし、前記前フレームが強度においてブーストされた場合に、前記フレームのブーストされたバージョンをワープするステップと、
逆方向ワープされたフレームを作るために前記後フレームについて計算された前記両方向フローフィールドを使用して前記後フレームをワープし、前記後フレームが強度においてブーストされた場合に、前記フレームのブーストされたバージョンをワープするステップと、
補間されたフレームを作るために前記順方向ワープされたフレームと前記逆方向ワープされたフレームとを組み合わせるステップと、
前記長露光フレームの強度範囲に実質的に一致するように前記補間されたフレームの強度をブーストするステップと、
前記強度ブーストされた補間されたフレームを検討中の長露光フレームに最もよく写像するリファイニングフローフィールドを計算するステップと、
前記前フレームのリファインされた順方向フローフィールドを作るために、リファイニングフローフィールドに前記前フレームについて計算された前記両方向フローフィールドを連結し、リファインされた順方向ワープされたフレームを作るために、前記リファインされた順方向フローフィールドを使用して前記前フレームをワープするステップと、
前記後フレームのリファインされた逆方向フローフィールドを作るために、リファイニングフローフィールドに前記後フレームについて計算された前記両方向フローフィールドを連結し、リファインされた逆方向ワープされたフレームを作るために、前記リファインされた逆方向フローフィールドを使用して前記後フレームをワープするステップと
を含むことを特徴とする請求項１５に記載の方法。
【請求項２０】
前記検討中のフレームとの前記隣接フレームの近似見当合わせを表すリファインされた順方向ワープされたフレームおよびリファインされた逆方向ワープされたフレームを作るために、前記前後のフレームを両方向にワープするステップは、検討中のフレームが短露光フレームであり、および前後のフレームが実質的に同一の露光を有する長露光フレームであると、
それぞれ前記前後のフレームの両方向フローフィールドを計算するステップと、
順方向ワープされたフレームを作るために前記前フレームについて計算された前記両方向フローフィールドを使用して前記前フレームをワープするステップと、
逆方向ワープされたフレームを作るために前記後フレームについて計算された前記両方向フローフィールドを使用して前記後フレームをワープするステップと、
補間されたフレームを作るために前記順方向ワープされたフレームと前記逆方向ワープされたフレームとを組み合わせるステップと、
前記前後のフレームの強度範囲に実質的に一致するように検討中のフレームの強度をブーストするステップと、
前記補間されたフレームを強度ブーストされた検討中のフレームに最もよく写像するリファイニングフローフィールドを計算するステップと、
前記前フレームのリファインされた順方向フローフィールドを作るために、リファイニングフローフィールドに前記前フレームについて計算された前記両方向フローフィールドを連結し、リファインされた順方向ワープされたフレームを作るために、前記リファインされた順方向フローフィールドを使用して前記前フレームをワープするステップと、
前記後フレームのリファインされた逆方向フローフィールドを作るために、リファイニングフローフィールドに前記後フレームについて計算された前記両方向フローフィールドを連結し、リファインされた逆方向ワープされたフレームを作るために、前記リファインされた逆方向フローフィールドを使用して前記後フレームをワープするステップと
を含むことを特徴とする請求項１５に記載の方法。
【請求項２１】
前記検討中のフレームとの前記隣接フレームの近似見当合わせを表すリファインされた順方向ワープされたフレームおよびリファインされた逆方向ワープされたフレームを作るために、前記前後のフレームを両方向にワープするステップは、検討中のフレームが短露光フレームであり、および前後のフレームが実質的に異なる露光を有する長露光フレームであると、
前記前フレームに関連付けられた露光が前記後フレームに関連付けられた露光より短いかまたは長いかのどちらかであるかを判定するステップと、
前記前フレームに関連付けられた露光が前記後フレームに関連付けられた露光より短いと判定されると、前記後フレームの強度範囲に実質的に一致するように前記前フレームの強度をブーストし、前記前フレームに関連付けられた露光が前記後フレームに関連付けられた露光より長いと判定されると、前記前フレームの強度範囲に実質的に一致するように前記後フレームの強度をブーストするステップと、
それぞれ前記前後のフレームの両方向フローフィールドを計算するステップと、
順方向ワープされたフレームを作るために前記前フレームについて計算された前記両方向フローフィールドを使用して前記前フレームをワープし、前記前フレームが強度においてブーストされた場合に、前記フレームのブーストされたバージョンをワープするステップと、
逆方向ワープされたフレームを作るために前記後フレームについて計算された前記両方向フローフィールドを使用して前記後フレームをワープし、前記後フレームが強度においてブーストされた場合に、前記フレームのブーストされたバージョンをワープするステップと、
補間されたフレームを作るために前記順方向ワープされたフレームと前記逆方向ワープされたフレームとを組み合わせるステップと、
前記前後のフレームの平均強度範囲に実質的に一致するように検討中のフレームの強度をブーストするステップと、
前記補間されたフレームを強度ブーストされた検討中のフレームに最もよく写像するリファイニングフローフィールドを計算するステップと、
前記前フレームのリファインされた順方向フローフィールドを作るために、リファイニングフローフィールドに前記前フレームについて計算された前記両方向フローフィールドを連結し、リファインされた順方向ワープされたフレームを作るために、前記リファインされた順方向フローフィールドを使用して前記前フレームをワープするステップと、
前記後フレームのリファインされた逆方向フローフィールドを作るために、リファイニングフローフィールドに前記後フレームについて計算された前記両方向フローフィールドを連結し、リファインされた逆方向ワープされたフレームを作るために、前記リファインされた逆方向フローフィールドを使用して前記後フレームをワープするステップと
を含むことを特徴とする請求項１５に記載の方法。
【請求項２２】
前記対応するピクセルのセットごとに、信頼に値するピクセルを表す前記セット内の少なくとも１つのピクセルを識別し、前記ＨＤＲビデオのフレームを表す放射輝度マップを形成するために、ピクセルのセットの放射輝度値を計算するのに前記１つまたは複数の識別された信頼に値するピクセルに関連付けられたピクセルカラー情報を使用するステップは、
検討中のフレーム、単一方向ワープされた前フレーム、単一方向ワープされた後フレーム、リファインされた順方向ワープされたフレーム、およびリファインされた逆方向ワープされたフレームのそれぞれを放射輝度イメージに変換するステップと、
検討中のフレーム内のピクセル位置のピクセルの強度に基づいてどの値が信頼に値すると考えられるかに応じて、検討中のフレームに関連付けられた前記放射輝度イメージ内の同一ピクセル位置に割り当てられた放射輝度値、または検討中のフレーム、単一方向ワープされた前フレーム、単一方向ワープされた後フレーム、リファインされた順方向ワープされたフレーム、およびリファインされた逆方向ワープされたフレームに関連付けられた前記放射輝度イメージ内の同一ピクセル位置からとられた複数の放射輝度値の重み付け組合せである放射輝度値を、前記放射輝度マップの各ピクセル位置に割り当てるステップと
を含むことを特徴とする請求項１５に記載の方法。
【請求項２３】
前記対応するピクセルのセットごとに、信頼に値するピクセルを表す前記セット内の少なくとも１つのピクセルを識別し、前記ＨＤＲビデオのフレームを表す放射輝度マップを形成するために、ピクセルのセットの放射輝度値を計算するのに前記１つまたは複数の識別された信頼に値するピクセルに関連付けられたピクセルカラー情報を使用するステップは、検討中のフレームが長露光フレームであり、および前後のフレームが短露光フレームであると、
検討中のフレーム、単一方向ワープされた前フレーム、単一方向ワープされた後フレーム、両方向ワープされた前フレーム、および両方向ワープされた後フレームのそれぞれを放射輝度イメージに変換するステップと、
検討中のフレーム内で、指定された最大強度閾値を超える強度値を有する各ピクセルを識別し、前記放射輝度マップ内の対応するピクセル位置について、放射輝度値として、前記両方向ワープされた前フレームおよび前記両方向ワープされた後フレーム内の同一位置に関連付けられた放射輝度値の平均値を割り当てるステップと、
検討中のフレーム内で、前記指定された最大強度閾値未満の強度値を有する各ピクセルを識別し、ピクセル位置のそれぞれについて、
前記単一方向ワープされた前フレームおよび前記単一方向ワープされた後フレーム内の対応する位置に割り当てられた放射輝度値が検討中のフレーム内の同一位置に割り当てられた放射輝度値の最大許容可能なノイズ分散の外にあるかどうかを判定するステップと、
前記単一方向ワープされた前フレームおよび前記単一方向ワープされた後フレーム内のピクセル位置に割り当てられた放射輝度値が検討中のフレーム内の同一位置に割り当てられた放射輝度値の最大許容可能なノイズ分散の外にないことを検出すると、３つのすべての放射輝度値の加重平均を計算し、前記放射輝度マップ内のピクセル位置の放射輝度値として前記加重平均を割り当てるステップと、
前記単一方向ワープされた前フレームおよび前記単一方向ワープされた後フレーム内のピクセル位置に割り当てられた放射輝度値の一方が、検討中のフレーム内の同一位置に割り当てられた放射輝度値の最大許容可能なノイズ分散の外にないが、他方が外にあることを検出すると、検討中のフレームと、放射輝度値が最大許容可能なノイズ分散の外に含まれた単一方向ワープされたフレームとのピクセル位置に割り当てられた放射輝度値の加重平均を計算し、前記放射輝度マップ内のピクセル位置の放射輝度値として前記加重平均を割り当てるステップと、
前記単一方向ワープされた前フレームおよび前記単一方向ワープされた後フレーム内のピクセル位置に割り当てられた放射輝度値の両方が検討中のフレーム内の同一位置に割り当てられた放射輝度値の最大許容可能なノイズ分散の外にあることを検出すると、検討中のフレーム内の前記ピクセル位置に割り当てられた放射輝度値を前記放射輝度マップ内のピクセル位置の放射輝度値として割り当てるステップと
を含むことを特徴とする請求項１５に記載の方法。
【請求項２４】
前記３つすべての放射輝度値の加重平均を計算するステップは、
【数１】
0004397048.tif 000181
として前記加重平均放射輝度を計算するステップを含み、添字ｃ、Ｆ、およびＢが、それぞれ、検討中のフレーム、前記単一方向ワープされた前フレーム、および前記単一方向ワープされた後フレームに関連付けられた前記放射輝度イメージ内のピクセルを指し、ｆＷＭ（ｐｗ，ｐｃ）＝ｆＭ（｜ｐｗ−ｐｃ｜）ｆＷ（ｐｗ）が、ｆＭにより変調された重み付け関数ｆＷであり、ｆＭ（）が、
【数２】
0004397048.tif 000182
により定義され、δｍａｘが、指定されたパラメータであることを特徴とする請求項２３に記載の方法。
【請求項２５】
前記検討中のフレームと、放射輝度値が最大許容可能なノイズ分散に含まれた単一方向ワープされたフレームとのピクセル位置に割り当てられた放射輝度値の加重平均を計算するステップは、
【数３】
0004397048.tif 000183
として前記加重平均放射輝度を計算するステップを含み、添字ｃ、Ｆ、およびＢが、それぞれ、検討中のフレーム、前記単一方向ワープされた前フレーム、および前記単一方向ワープされた後フレームに関連付けられた前記放射輝度イメージ内のピクセルを指し、ｆＷＭ（ｐｗ，ｐｃ）＝ｆＭ（｜ｐｗ−ｐｃ｜）ｆＷ（ｐｗ）が、ｆＭにより変調された重み付け関数ｆＷであり、ｆＭ（）が、
【数４】
0004397048.tif 000184
により定義され、δｍａｘが、指定されたパラメータであり、前記加重平均放射輝度を計算すると、前記最大許容可能なノイズ分散の外の単一方向ワープされたフレームの変調された重みに零が設定されることを特徴とする請求項２３に記載の方法。
【請求項２６】
前記対応するピクセルのセットごとに、信頼に値するピクセルを表す前記セット内の少なくとも１つのピクセルを識別し、前記ＨＤＲビデオのフレームを表す放射輝度マップを形成するために、ピクセルのセットの放射輝度値を計算するのに前記１つまたは複数の識別された信頼に値するピクセルに関連付けられたピクセルカラー情報を使用するステップは、検討中のフレームが短露光フレームであり、および前後のフレームが長露光フレームであると、
検討中のフレーム、単一方向ワープされた前フレーム、単一方向ワープされた後フレーム、両方向ワープされた前フレーム、および両方向ワープされた後フレームのそれぞれを放射輝度イメージに変換するステップと、
検討中のフレーム内で、指定された最小強度閾値を超える強度値を有する各ピクセルを識別し、ピクセル位置のそれぞれについて、
前記単一方向ワープされた前フレームおよび前記単一方向ワープされた後フレーム内の対応する位置に割り当てられた放射輝度値が検討中のフレーム内の同一位置に割り当てられた放射輝度値の最大許容可能なノイズ分散の外にあるかどうかを判定するステップと、
前記単一方向ワープされた前フレームおよび前記単一方向ワープされた後フレーム内のピクセル位置に割り当てられた放射輝度値が検討中のフレーム内の同一位置に割り当てられた放射輝度値の最大許容可能なノイズ分散の外にないことを検出すると、３つのすべての放射輝度値の加重平均を計算し、前記放射輝度マップ内のピクセル位置の放射輝度値として前記加重平均を割り当てるステップと、
前記単一方向ワープされた前フレームおよび前記単一方向ワープされた後フレーム内のピクセル位置に割り当てられた放射輝度値の一方が、検討中のフレーム内の同一位置に割り当てられた放射輝度値の最大許容可能なノイズ分散の外にないが、他方が外にあることを検出すると、検討中のフレームと、放射輝度値が最大許容可能なノイズ分散の外に含まれなかった単一方向ワープされたフレームとのピクセル位置に割り当てられた放射輝度値の加重平均を計算し、前記放射輝度マップ内のピクセル位置の放射輝度値として前記加重平均を割り当てるステップと、
前記単一方向ワープされた前フレームおよび前記単一方向ワープされた後フレーム内のピクセル位置に割り当てられた放射輝度値の両方が検討中のフレーム内の同一位置に割り当てられた放射輝度値の最大許容可能なノイズ分散の外にあることを検出すると、検討中のフレーム内の前記ピクセル位置に割り当てられた放射輝度値を前記放射輝度マップ内のピクセル位置の放射輝度値として割り当てるステップと、
検討中のフレーム内で、前記指定された最小強度閾値未満の強度値を有する各ピクセルを識別し、前記放射輝度マップ内の対応するピクセル位置について、放射輝度値として、前記両方向ワープされた前フレームおよび前記両方向ワープされた後フレーム内の同一位置に関連付けられた放射輝度値の平均値を割り当てるステップと
を含むことを特徴とする請求項２５に記載の方法。
【請求項２７】
前記３つすべての放射輝度値の加重平均を計算するステップは、
【数５】
0004397048.tif 000185
として前記加重平均放射輝度を計算するステップを含み、添字ｃ、Ｆ、およびＢが、それぞれ、検討中のフレーム、前記単一方向ワープされた前フレーム、および前記単一方向ワープされた後フレームに関連付けられた前記放射輝度イメージ内のピクセルを指し、ｆＷＭ（ｐｗ，ｐｃ）＝ｆＭ（｜ｐｗ−ｐｃ｜）ｆＷ（ｐｗ）が、ｆＭにより変調された重み付け関数ｆＷであり、ｆＭ（）が、
【数６】
0004397048.tif 000186
により定義され、δｍａｘが、指定されたパラメータであることを特徴とする請求項２６に記載の方法。
【請求項２８】
前記検討中のフレームと、放射輝度値が最大許容可能なノイズ分散に含まれた単一方向ワープされたフレームとのピクセル位置に割り当てられた放射輝度値の加重平均を計算するステップは、
【数７】
0004397048.tif 000187
として前記加重平均放射輝度を計算するステップを含み、添字ｃ、Ｆ、およびＢが、それぞれ、検討中のフレーム、前記単一方向ワープされた前フレーム、および前記単一方向ワープされた後フレームに関連付けられた前記放射輝度イメージ内のピクセルを指し、ｆＷＭ（ｐｗ，ｐｃ）＝ｆＭ（｜ｐｗ−ｐｃ｜）ｆＷ（ｐｗ）が、ｆＭにより変調された重み付け関数ｆＷであり、ｆＭ（）が、
【数８】
0004397048.tif 000188
により定義され、δｍａｘが、指定されたパラメータであり、前記加重平均放射輝度を計算すると、前記最大許容可能なノイズ分散の外の単一方向ワープされたフレームの変調された重みに零が設定されることを特徴とする請求項２６に記載の方法。
【請求項２９】
各フレームの露光を変更しながらキャプチャされたビデオイメージシーケンスからハイダイナミックレンジ（ＨＤＲ）ビデオを生成するシステムであって、
前記ビデオイメージシーケンスをキャプチャするのに使用されるビデオカメラと、
汎用コンピューティング装置と、
前記コンピューティング装置により実行可能なプログラムモジュールを含むコンピュータプログラムであって、前記コンピュータプログラムの前記プログラムモジュールにより、
前記ビデオイメージシーケンスのフレームごとに、キャプチャされる前に、前記ビデオカメラにより前にキャプチャされたフレーム内のピクセル明るさ分布の関数として露光を計算し、前記ビデオカメラに、各フレームについて計算された前記露光で各フレームをキャプチャさせ、前記計算された露光が、短露光と長露光との間で交番するようにされ、
指定された個数の開始フレームの後の、前記ビデオカメラから得られた前記ビデオのフレームごとに、
検討中のフレームと、対応するピクセルセットを表す前後の両方の隣接フレームとの間で対応するピクセルを識別し、
対応するピクセルのセットごとに、信頼に値するピクセルを表す前記セット内の少なくとも１つのピクセルを識別し、前記ＨＤＲビデオのフレームを表す放射輝度マップを形成するために、ピクセルのセットの放射輝度値を計算するのに前記１つまたは複数の識別された信頼に値するピクセルに関連付けられたピクセルカラー情報を使用する
ように前記コンピューティング装置に指示するコンピュータプログラムと
を備え、
前記検討中のフレームと、対応するピクセルセットを表す前後の両方の隣接フレームとの間で対応するピクセルを識別するプログラムモジュールは、
検討中のフレームとの直前の隣接フレームの近似見当合わせを作るために、前記前フレームを単一方向にワープするサブモジュールと、
検討中のフレームとの直後の隣接フレームの近似見当合わせを作るために、前記後フレームを単一方向にワープするサブモジュールと、
検討中のフレームとの前記隣接フレームの近似見当合わせを表す補間されたフレームを作るために、前記前後のフレームを両方向にワープするサブモジュールと
を含み、
前記検討中のフレームとの前記隣接フレームの近似見当合わせを表す補間されたフレームを作るために、前記前後のフレームを両方向にワープするサブモジュールは、検討中のフレームが長露光フレームであり、および前後のフレームが実質的に異なる露光を有する短露光フレームであると、
前記前フレームに関連付けられた露光が前記後フレームに関連付けられた露光より短いかまたは長いかのどちらかであるかを判定するサブモジュールと、
前記前フレームに関連付けられた露光が前記後フレームに関連付けられた露光より短いと判定されると、前記後フレームの強度範囲に実質的に一致するように前記前フレームの強度をブーストし、前記前フレームに関連付けられた露光が前記後フレームに関連付けられた露光より長いと判定されると、前記前フレームの強度範囲に実質的に一致するように前記後フレームの強度をブーストするサブモジュールと、
それぞれ前記前後のフレームの両方向フローフィールドを計算するサブモジュールと、
順方向ワープされたフレームを作るために前記前フレームについて計算された前記両方向フローフィールドを使用して前記前フレームをワープし、前記前フレームが強度においてブーストされた場合に、前記フレームのブーストされたバージョンをワープするサブモジュールと、
逆方向ワープされたフレームを作るために前記後フレームについて計算された前記両方向フローフィールドを使用して前記後フレームをワープし、前記後フレームが強度においてブーストされた場合に、前記フレームのブーストされたバージョンをワープするサブモジュールと、
組み合わされた補間されたフレームを作るために前記順方向ワープされたフレームと前記逆方向ワープされたフレームとを組み合わせるサブモジュールと、
前記長露光フレームの強度範囲に実質的に一致するように前記組み合わされた補間されたフレームの強度をブーストするサブモジュールと、
前記強度ブーストされた組み合わされた補間されたフレームを検討中の長露光フレームに最もよく写像するリファイニングフローフィールドを計算するサブモジュールと、
前記前フレームが強度においてブーストされると、順方向ワープされたフレームを作るために、前記前フレームについて計算された前記両方向フローフィールドを使用して、前記前フレームの強度ブーストされないバージョンをワープし、前記後フレームが強度においてブーストされると、逆方向ワープされたフレームを作るために、前記後フレームについて計算された前記両方向フローフィールドを使用して、前記後フレームの強度ブーストされないバージョンをワープするサブモジュールと、
リファインされた順方向ワープされたフレームを作るために、リファイニングフローフィールドを使用して最後に計算された順方向ワープされたフレームをワープするサブモジュールと、
リファインされた逆方向ワープされたフレームを作るために、リファイニングフローフィールドを使用して最後に計算された逆方向ワープされたフレームをワープするサブモジュールと
を含むことを特徴とするシステム。
【請求項３０】
前記両方向フローフィールドを計算するサブモジュールは、
一方を他方に写像するアフィン変換を推定することにより、前記前後のフレームをグローバルに見当合わせするサブモジュールと、
傾きベースオプティカルフローを使用してグローバル変換に対するローカル訂正を形成する密動きフィールドを計算するサブモジュールと、
（ｉ）前記前フレームのフローフィールドの場合に前記前フレームから前記順方向ワープされたフレームへ、前記後フレームのフローフィールドの場合に前記後フレームから前記逆方向ワープされたフレームへのいずれかにワープするために再スケーリングされた前記アフィン変換から導出されたアフィン成分と（ｉｉ）前記アフィン成分に関するローカル訂正を形成する前記密動きフィールドからとられたローカル成分との合計である前記両方向フローフィールド内の各ピクセル位置のコンポジットベクトルを確立するサブモジュールと
を含むことを特徴とする請求項２９に記載のシステム。
【請求項３１】
前記傾きベースオプティカルフローを使用してグローバル変換に対するローカル訂正を形成する密動きフィールドを計算するサブモジュールは、
前記前後の両方のフレームが、検討中のフレームの時間インデックスに対応する時刻ｋに向かってワープされ、および残余フローベクトルが、前記ピラミッドの各レベルにおける２つのワープされたイメージの各ピクセルの間で推定される、ラプラシアンピラミッドフレームワークにおいて使用されるルーカスおよびカナデの処理（Ｌｕｃａｓ  ａｎｄ  Ｋａｎａｄｅ  ｔｅｃｈｎｉｑｕｅ）の変形を使用するサブモジュールと、
前記密動きフィールドの前記ローカル成分を確立するために前記ピラミッドの各レベルでピクセルごとに計算された残余フローベクトルを累算するサブモジュールと
を含むことを特徴とする請求項３０に記載のシステム。
【請求項３２】
前記順方向ワープされたフレームを作るために、前記前フレームについて計算された両方向フローフィールドを使用して、前記前フレームをワープするサブモジュールは、前記順方向ワープされたフレームを形成するために適当なコンポジットベクトルに沿って各ピクセルを転送するのに双三次ワープ処理を使用することを含むことを特徴とする請求項３０に記載のシステム。
【請求項３３】
前記逆方向ワープされたフレームを作るために、前記後フレームについて計算された両方向フローフィールドを使用して、前記後フレームをワープするサブモジュールは、前記逆方向ワープされたフレームを形成するために適当なコンポジットベクトルに沿って各ピクセルを転送するのに双三次ワープ処理を使用することを含むことを特徴とする請求項３０に記載のシステム。
【請求項３４】
前記組み合わされた補間されたフレームを作るために前記順方向ワープされたフレームと前記逆方向ワープされたフレームとを組み合わせるサブモジュールは、
前記組み合わされ補間されたフレームのピクセル位置について前記順方向ワープされたフレームと前記逆方向ワープされたフレームとの両方からピクセル値が使用可能であると、ピクセル位置の前記組み合わされた補間されたフレームのピクセル値を確立するために値の平均をとるサブモジュールと、
前記組み合わされた補間されたフレームのピクセル位置について前記順方向ワープされたフレームおよび前記逆方向ワープされたフレームから１つのピクセル値だけが使用可能であると、ピクセル位置の前記組み合わされた補間されたフレームのピクセル値を確立するためにピクセル値を使用するサブモジュールと、
前記組み合わされた補間されたフレームのピクセル位置について前記順方向ワープされたフレームおよび前記逆方向ワープからピクセル値が使用可能でないと、零動きベクトルを使用して得られる２つのピクセル値の平均をとることにより、前記ピクセル位置の組み合わされた補間されたフレームのピクセル値を確立するサブモジュールと
を含むことを特徴とする請求項３０に記載のシステム。
【請求項３５】
前記リファイニングフローフィールドを計算するサブモジュールは、
検討中のフレームと前記強度ブーストされた補間されたフレームとの間のグローバルホモグラフィを計算するサブモジュールと、
検討中のフレームをオーバーラップする象限にセグメント化するサブモジュールと、
象限ごとに、
検討中の前記象限内のピクセルの間の強度変動が指定された変動閾値を超えるかどうかを判定するサブモジュールと、
検討中の前記象限内のピクセルの間の強度変動が前記指定された変動閾値を超えると判定されると、前記グローバルホモグラフィを使用して前記補間されたフレーム内の検討中の前記象限の対応する領域を識別するサブモジュールと、
検討中の前記象限と前記補間されたフレーム内の前記識別された対応する領域との間でローカルホモグラフィを計算するサブモジュールと、
検討中の前記象限に関して前記ローカルホモグラフィを使用するピクセルごとの見当合わせ誤差が前記グローバルホモグラフィを使用するピクセルごとの見当合わせ誤差未満であるかどうかを判定するサブモジュールと、
前記ローカルホモグラフィを使用する前記ピクセルごとの見当合わせ誤差が前記グローバルホモグラフィを使用する前記ピクセルごとの見当合わせ誤差未満であると判定されると、前記ローカルホモグラフィを検討中の前記象限に割り当て、前記ローカルホモグラフィを使用する前記ピクセルごとの見当合わせ誤差が前記グローバルホモグラフィを使用する前記ピクセルごとの見当合わせ誤差未満でないと判定されると、前記グローバルホモグラフィを検討中の前記象限に割り当てるサブモジュールと、
ローカルホモグラフィが前記象限に割り当てられると、リファイニングフローフィールドのうちで検討中の前記象限に関する部分を、前記ローカルホモグラフィを使用して計算するサブモジュールと、
検討中の前記象限内のピクセルの間の強度変動が前記指定された変動閾値を超えないと判定されるか前記グローバルホモグラフィが前記象限に割り当てられると、リファイニングフローフィールドのうちで検討中の前記象限に関する部分を、前記グローバルホモグラフィを使用して計算するサブモジュールと、
結果のリファイニングフローフィールドにまたがるフロー不連続性を最小にするために、前記象限のオーバーラップする領域内にあるフロー成分にフェザリング処理を適用するサブモジュールと
を含むことを特徴とする請求項２９に記載のシステム。
【請求項３６】
検討中のフレームをオーバーラップする象限にセグメント化する前記サブモジュールは、前記象限が約５から約２０％の間だけオーバーラップするように前記フレームをセグメント化するサブモジュールを含むことを特徴とする請求項３５に記載のシステム。
【請求項３７】
前記象限のオーバーラップする領域内にあるフロー成分にフェザリング処理を適用するサブモジュールは、２つの象限だけがオーバーラップする場合に、各ピクセル位置に、位置に関するフロー成分のうちでオーバーラップする象限の各々に関連付けられたホモグラフィから導出された部分がそれぞれのオーバーラップする象限に関するオーバーラップする領域の境界からの距離に比例するように１次元線形重み付けを適用するサブモジュールを含み、ピクセル位置が前記境界の１つに近いほど、フロー成分のうちで境界に隣接する前記象限に関連付けられたホモグラフィから導出された部分が多くなることを特徴とする請求項３５に記載のシステム。
【請求項３８】
前記象限のオーバーラップする領域内にあるフロー成分にフェザリング処理を適用するサブモジュールは、４つのすべての象限がオーバーラップする場合に、各ピクセル位置に、位置に関するフロー成分のうちでオーバーラップする象限の各々に関連付けられたホモグラフィから導出された部分がそれぞれのオーバーラップする象限に関するオーバーラップする領域の境界からの距離に比例するように２次元線形重み付けを適用するサブモジュールを含み、ピクセル位置が前記境界の１つに近いほど、フロー成分のうちで境界に隣接する前記象限に関連付けられたホモグラフィから導出された部分が多くなることを特徴とする請求項３５に記載のシステム。
【請求項３９】
前記検討中のフレームとの隣接フレームの近似見当合わせを表す補間されたフレームを作るために、前記前後のフレームを両方向にワープするサブモジュールは、検討中のフレームが短露光フレームであり、および前後のフレームが実質的に同一の露光を有する長露光フレームであると、
それぞれ前記前後のフレームの両方向フローフィールドを計算するサブモジュールと、
順方向ワープされたフレームを作るために前記前フレームについて計算された前記両方向フローフィールドを使用して前記前フレームをワープするサブモジュールと、
逆方向ワープされたフレームを作るために前記後フレームについて計算された前記両方向フローフィールドを使用して前記後フレームをワープするサブモジュールと、
補間されたフレームを作るために前記順方向ワープされたフレームと前記逆方向ワープされたフレームとを組み合わせるサブモジュールと、
前記前後のフレームの強度範囲に実質的に一致するように検討中のフレームの強度をブーストするサブモジュールと、
前記補間されたフレームを強度ブーストされた検討中のフレームに最もよく写像するリファイニングフローフィールドを計算するサブモジュールと、
前記前フレームのリファインされた順方向フローフィールドを作るために、リファイニングフローフィールドに前記前フレームについて計算された前記両方向フローフィールドを連結し、リファインされた順方向ワープされたフレームを作るために、前記リファインされた順方向フローフィールドを使用して前記前フレームをワープするサブモジュールと、
前記後フレームのリファインされた逆方向フローフィールドを作るために、リファイニングフローフィールドに前記後フレームについて計算された前記両方向フローフィールドを連結し、リファインされた逆方向ワープされたフレームを作るために、前記リファインされた逆方向フローフィールドを使用して前記後フレームをワープするサブモジュールと
を含むことを特徴とする請求項２９に記載のシステム。
【請求項４０】
前記検討中のフレームとの隣接フレームの近似見当合わせを表す補間されたフレームを作るために、前記前後のフレームを両方向にワープするサブモジュールは、検討中のフレームが短露光フレームであり、および前後のフレームが実質的に異なる露光を有する長露光フレームであると、
前記前フレームに関連付けられた露光が前記後フレームに関連付けられた露光より短いかまたは長いかのどちらかであるかを判定するサブモジュールと、
前記前フレームに関連付けられた露光が前記後フレームに関連付けられた露光より短いと判定されると、前記後フレームの強度範囲に実質的に一致するように前記前フレームの強度をブーストし、前記前フレームに関連付けられた露光が前記後フレームに関連付けられた露光より長いと判定されると、前記前フレームの強度範囲に実質的に一致するように前記後フレームの強度をブーストするサブモジュールと、
それぞれ前記前後のフレームの両方向フローフィールドを計算するサブモジュールと、
順方向ワープされたフレームを作るために前記前フレームについて計算された前記両方向フローフィールドを使用して前記前フレームをワープするサブモジュールと、
逆方向ワープされたフレームを作るために前記後フレームについて計算された前記両方向フローフィールドを使用して前記後フレームをワープするサブモジュールと、
補間されたフレームを作るために前記順方向ワープされたフレームと前記逆方向ワープされたフレームとを組み合わせるサブモジュールと、
前記前後のフレームの平均強度範囲に実質的に一致するように検討中のフレームの強度をブーストするサブモジュールと、
前記補間されたフレームを強度ブーストされた検討中のフレームに最もよく写像するリファイニングフローフィールドを計算するサブモジュールと、
前記前フレームのリファインされた順方向フローフィールドを作るために、リファイニングフローフィールドに前記前フレームについて計算された前記両方向フローフィールドを連結し、リファインされた順方向ワープされたフレームを作るために、前記リファインされた順方向フローフィールドを使用して前記前フレームをワープするサブモジュールと、
前記後フレームのリファインされた逆方向フローフィールドを作るために、リファイニングフローフィールドに前記後フレームについて計算された前記両方向フローフィールドを連結し、リファインされた逆方向ワープされたフレームを作るために、前記リファインされた逆方向フローフィールドを使用して前記後フレームをワープするサブモジュールと
を含むことを特徴とする請求項３９に記載のシステム。
【請求項４１】
前記両方向フローを計算するサブモジュールは、
一方を他方に写像するアフィン変換を推定することにより、前記前後のフレームをグローバルに見当合わせするサブモジュールと、
傾きベースオプティカルフローを使用してグローバル変換に対するローカル訂正を形成する密動きフィールドを計算するサブモジュールと、
（ｉ）前記前フレームのフローフィールドの場合に前記前フレームから前記順方向ワープされたフレームへ、前記後フレームのフローフィールドの場合に前記後フレームから前記逆方向ワープされたフレームへのいずれかにワープするために再スケーリングされた前記アフィン変換から導出されたアフィン成分と（ｉｉ）前記アフィン成分に関するローカル訂正を形成する前記密動きフィールドからとられたローカル成分との合計である前記両方向フローフィールド内の各ピクセル位置のコンポジットベクトルを確立するサブモジュールと
を含むことを特徴とする請求項４０に記載のシステム。
【請求項４２】
前記傾きベースオプティカルフローを使用してグローバル変換に対するローカル訂正を形成する密動きフィールドを計算するサブモジュールは、
前記前後の両方のフレームが、検討中のフレームの時間インデックスに対応する時刻ｋに向かってワープされ、および残余フローベクトルが、前記ピラミッドの各レベルにおける２つのワープされたイメージの各ピクセルの間で推定される、ラプラシアンピラミッドフレームワークで使用されるルーカスおよびカナデの処理の変形を使用するサブモジュールと、
前記密動きフィールドの前記ローカル成分を確立するために前記ピラミッドの各レベルでピクセルごとに計算された残余フローベクトルを累算するサブモジュールと
を含むことを特徴とする請求項４１に記載のシステム。
【請求項４３】
前記順方向ワープされたフレームを作るために、前記前フレームについて計算された前記両方向フローフィールドを使用して、前記前フレームをワープするサブモジュールは、前記順方向ワープされたフレームを形成するために適当なコンポジットベクトルに沿って各ピクセルを転送するのに双三次ワープ処理を使用することを含むことを特徴とする請求項４１に記載のシステム。
【請求項４４】
前記逆方向ワープされたフレームを作るために、前記後フレームについて計算された前記両方向フローフィールドを使用して、前記後フレームをワープするサブモジュールは、前記逆方向ワープされたフレームを形成するために適当なコンポジットベクトルに沿って各ピクセルを転送するのに双三次ワープ処理を使用することを含むことを特徴とする請求項４１に記載のシステム。
【請求項４５】
前記組み合わされた補間されたフレームを作るために前記順方向ワープされたフレームと前記逆方向ワープされたフレームとを組み合わせるサブモジュールは、
前記組み合わされた補間されたフレームのピクセル位置について前記順方向ワープされたフレームと前記逆方向ワープされたフレームとの両方からピクセル値が使用可能であると、ピクセル位置の前記組み合わされた補間されたフレームのピクセル値を確立するために値の平均をとるサブモジュールと、
前記組み合わされた補間されたフレームのピクセル位置について前記順方向ワープされたフレームおよび前記逆方向ワープされたフレームから１つのピクセル値だけが使用可能であると、ピクセル位置の前記組み合わされた補間されたフレームのピクセル値を確立するためにピクセル値を使用するサブモジュールと、
前記組み合わされた補間されたフレームのピクセル位置について前記順方向ワープされたフレームおよび前記逆方向ワープされたフレームからピクセル値が使用可能でないと、零動きベクトルを使用して得られる２つのピクセル値の平均をとることにより、ピクセル位置の前記組み合わされた補間されたフレームのピクセル値を確立するサブモジュールと
を含むことを特徴とする請求項４１に記載のシステム。
【請求項４６】
前記リファイニングフローフィールドを計算するサブモジュールは、
検討中のフレームの強度ブーストされたバージョンと前記補間されたフレームとの間のグローバルホモグラフィを計算するステップと、
検討中のフレームの強度ブーストされたバージョンをオーバーラップする象限にセグメント化するステップと、
象限ごとに、
前記象限内のピクセルの間の強度変動が指定された変動閾値を超えるかどうかを判定するステップと、
検討中の前記象限内のピクセルの間の強度変動が前記指定された変動閾値を超えると判定されると、前記グローバルホモグラフィを使用して前記補間されたフレーム内の検討中の前記象限の対応する領域を識別するステップと、
検討中の前記象限と前記補間されたフレーム内の前記識別された対応する領域との間でローカルホモグラフィを計算するステップと、
検討中の前記象限に関して前記ローカルホモグラフィを使用するピクセルごとの見当合わせ誤差が前記グローバルホモグラフィを使用するピクセルごとの見当合わせ誤差未満であるかどうかを判定するステップと、
前記ローカルホモグラフィを使用する前記ピクセルごとの見当合わせ誤差が前記グローバルホモグラフィを使用する前記ピクセルごとの見当合わせ誤差未満であると判定されると、前記ローカルホモグラフィを検討中の前記象限に割り当て、前記ローカルホモグラフィを使用する前記ピクセルごとの見当合わせ誤差が前記グローバルホモグラフィを使用する前記ピクセルごとの見当合わせ誤差未満でないと判定されると、前記グローバルホモグラフィを検討中の前記象限に割り当てるステップと、
ローカルホモグラフィが前記象限に割り当てられると、リファイニングフローフィールドのうちで検討中の前記象限に関する部分を、前記ローカルホモグラフィを使用して計算するステップと、
検討中の前記象限内のピクセルの間の強度変動が前記指定された変動閾値を超えないと判定されるか前記グローバルホモグラフィが前記象限に割り当てられると、リファイニングフローフィールドのうちで検討中の前記象限に関する部分を、前記グローバルホモグラフィを使用して計算するステップと、
結果のリファイニングフローフィールドにまたがるフロー不連続性を最小にするために、前記象限のオーバーラップする領域内にあるフロー成分にフェザリング処理を適用するステップと
を含むことを特徴とする請求項４０に記載のシステム。
【請求項４７】
前記検討中のフレームの強度ブーストされたバージョンをオーバーラップする象限にセグメント化するサブモジュールは、前記象限が約５から約２０％の間だけオーバーラップするように前記フレームをセグメント化するサブモジュールを含むことを特徴とする請求項４６に記載のシステム。
【請求項４８】
前記象限のオーバーラップする領域内にあるフロー成分にフェザリング処理を適用するサブモジュールは、２つの象限だけがオーバーラップする場合に、各ピクセル位置に、位置に関するフロー成分のうちでオーバーラップする象限のそれぞれに関連付けられたホモグラフィから導出された部分がそれぞれのオーバーラップする象限に関するオーバーラップする領域の境界からの距離に比例するように１次元線形重み付けを適用するサブモジュールを含み、ピクセル位置が前記境界の１つに近いほど、フロー成分のうちで境界に隣接する前記象限に関連付けられたホモグラフィから導出された部分が多くなることを特徴とする請求項４６に記載のシステム。
【請求項４９】
前記象限のオーバーラップする領域内にあるフロー成分にフェザリング処理を適用するサブモジュールは、４つのすべての象限がオーバーラップする場合に、各ピクセル位置に、位置に関するフロー成分のうちでオーバーラップする象限のそれぞれに関連付けられたホモグラフィから導出された部分がそれぞれのオーバーラップする象限に関するオーバーラップする領域の境界からの距離に比例するように２次元線形重み付けを適用するサブモジュールを含み、ピクセル位置が前記境界の１つに近いほど、フロー成分のうちで境界に隣接する前記象限に関連付けられたホモグラフィから導出された部分が多くなることを特徴とする請求項４６に記載のシステム。
【請求項５０】
各フレームの露光を変更しながらキャプチャされたビデオイメージシーケンスからハイダイナミックレンジ（ＨＤＲ）ビデオを生成するコンピュータ実行可能な命令を有するコンピュータ読取可能な媒体であって、
前記ビデオイメージシーケンスのフレームごとに、キャプチャされる前に、ピクセルの明るさの分布関数として露光を設定することと、
指定された個数の開始フレームの後の前記ビデオの各フレームに対して、
検討中のフレームと、対応するピクセルセットを表す前後の両方の隣接フレームとの間で対応するピクセルを識別することと、
対応するピクセルのセットごとに、信頼に値するピクセルを表す前記セット内の少なくとも１つのピクセルを識別し、前記ＨＤＲビデオのフレームを表す放射輝度マップを形成するために、ピクセルのセットの放射輝度値を計算するのに前記１つまたは複数の識別された信頼に値するピクセルに関連付けられたピクセルカラー情報を使用することと、
レンダリングに適する８ビット表現に変換するために前記放射輝度マップをトーンマッピングすることと
を含むコンピュータ実行可能な命令を有し、
前記放射輝度マップをトーンマッピングする命令は、
輝度イメージを作るために、前記放射輝度マップをＣＩＥ空間に変換し、色度座標を回復するサブ命令と、
前記輝度イメージのダイナミックレンジを圧縮し、クロミナンスを再挿入するサブ命令と、
最終的な８ビット範囲ＲＧＢイメージを作るために、ＣＩＥ空間イメージを変換するサブ命令と
を含み、
前記輝度イメージのダイナミックレンジを圧縮する前記サブ命令は、検討中のフレームと少なくとも１つの前のフレームとの両方からの情報を使用することにより平均輝度および最大輝度を計算するサブ命令を含み、
平均輝度を計算する前記サブ命令は、
【数９】
0004397048.tif 000189
として対数平均輝度Ｆｗを計算するサブ命令を含み、εが、小さい値であり、Ｎが、両方のフレームのピクセルの総数であり、Ｆｉが、時刻ｋ−１およびｋのフレームｉからなる原因となる時間的近傍であることを特徴とするコンピュータ読取可能な媒体。
【請求項５１】
コンピュータを使用して実行されると、シーンの１つのイメージをシーンの別のイメージに写像するフローフィールドを確立するコンピュータ実施された階層グローバル見当合わせ方法であって、
前記イメージの間のグローバルホモグラフィを計算するステップと、
前記イメージの１つをオーバーラップする象限にセグメント化するステップと、
象限ごとに、
前記象限内のピクセルの間の強度変動が指定された変動閾値を超えるかどうかを判定するステップと、
検討中の前記象限内のピクセルの間の強度変動が前記指定された変動閾値を超えると判定されると、前記グローバルホモグラフィを使用してセグメント化されていないイメージ内の検討中の前記象限の対応する領域を識別するステップと、
検討中の前記象限とセグメント化されていないイメージ内の前記識別された対応する領域との間でローカルホモグラフィを計算するステップと、
検討中の前記象限に関して前記ローカルホモグラフィを使用するピクセルごとの見当合わせ誤差が前記グローバルホモグラフィを使用するピクセルごとの見当合わせ誤差未満であるかどうかを判定するステップと、
前記ローカルホモグラフィを使用する前記ピクセルごとの見当合わせ誤差が前記グローバルホモグラフィを使用する前記ピクセルごとの見当合わせ誤差未満であると判定されると、前記ローカルホモグラフィを検討中の前記象限に割り当て、前記ローカルホモグラフィを使用する前記ピクセルごとの見当合わせ誤差が前記グローバルホモグラフィを使用する前記ピクセルごとの見当合わせ誤差未満でないと判定されると、前記グローバルホモグラフィを検討中の前記象限に割り当てるステップと、
ローカルホモグラフィが前記象限に割り当てられると、フローフィールドのうちで検討中の前記象限に関する部分を、前記ローカルホモグラフィを使用して計算するステップと、
検討中の前記象限内のピクセルの間の強度変動が前記指定された変動閾値を超えないと判定されるか前記グローバルホモグラフィが前記象限に割り当てられると、フローフィールドのうちで検討中の前記象限に関する部分を、前記グローバルホモグラフィを使用して計算するステップと、
結果のフローフィールドにまたがるフロー不連続性を最小にするために、前記象限のオーバーラップする領域内にあるフロー成分にフェザリング処理を適用するステップと
を備えたことを特徴とする方法。
【請求項５２】
コンピュータを使用して実行されると、シーンの１つのイメージをシーンの別のイメージに写像するフローフィールドを確立するコンピュータ実施された階層グローバル見当合わせ方法であって、
（ａ）前記見当合わせ方法について指定された階層レベルの数を識別するステップと、
（ｂ）前記イメージの間のグローバルホモグラフィを計算するステップと、
（ｃ）前記イメージの１つをオーバーラップする象限にセグメント化するステップと、
（ｄ）象限ごとに、
前記象限内のピクセルの間の強度変動が指定された変動閾値を超えるかどうかを判定するステップと、
検討中の前記象限内のピクセルの間の強度変動が前記指定された変動閾値を超えると判定されると、前記グローバルホモグラフィを使用してセグメント化されていないイメージ内の検討中の前記象限の対応する領域を識別するステップと、
検討中の前記象限とセグメント化されていないイメージ内の前記識別された対応する領域との間でローカルホモグラフィを計算するステップと、
検討中の前記象限に関して前記ローカルホモグラフィを使用するピクセルごとの見当合わせ誤差が前記グローバルホモグラフィを使用するピクセルごとの見当合わせ誤差未満であるかどうかを判定するステップと、
前記ローカルホモグラフィを使用する前記ピクセルごとの見当合わせ誤差が前記グローバルホモグラフィを使用する前記ピクセルごとの見当合わせ誤差未満であると判定されると、前記ローカルホモグラフィを検討中の前記象限に割り当て、前記ローカルホモグラフィを使用する前記ピクセルごとの見当合わせ誤差が前記グローバルホモグラフィを使用する前記ピクセルごとの見当合わせ誤差未満でないと判定されると、前記グローバルホモグラフィを検討中の前記象限に割り当てるステップと、
（ｅ）２つを超える指定された階層レベルごとに、
象限内のピクセルの間の強度変動が指定された変動閾値を超えると判定された前のレベルに関連付けられた象限のそれぞれを、現在の階層レベルの象限を表すオーバーラップする象限にセグメント化するステップと、
現在のレベルの象限ごとに、
前記象限内のピクセルの間の強度変動が前記指定された変動閾値を超えるかどうかを判定するステップと、
検討中の前記象限内のピクセルの間の強度変動が前記指定された変動閾値を超えると判定されると、現在のレベルの検討中の象限がそこからセグメント化された前のレベルの象限に割り当てられたホモグラフィを使用してセグメント化されていないイメージ内の検討中の前記象限の対応する領域を識別するステップと、
検討中の前記象限とセグメント化されていないイメージ内の前記識別された対応する領域との間でローカルホモグラフィを計算するステップと、
検討中の前記象限とセグメント化されていないイメージ内の前記識別された対応する領域との間で計算された前記ローカルホモグラフィを使用するピクセルごとの見当合わせ誤差が現在のレベルの検討中の前記象限がそこからセグメント化された前のレベルの象限に割り当てられたホモグラフィを使用するピクセルごとの見当合わせ誤差未満であるかどうかを判定するステップと、
検討中の前記象限とセグメント化されていないイメージ内の前記識別された対応する領域との間で計算された前記ローカルホモグラフィを使用する前記ピクセルごとの見当合わせ誤差がより小さいと判定されると、前記ローカルホモグラフィを検討中の前記象限に割り当て、検討中の前記象限とセグメント化されていないイメージ内の前記識別された対応する領域との間で計算された前記ローカルホモグラフィを使用する前記ピクセルごとの見当合わせ誤差がより小さくないと判定されると、現在のレベルの検討中の前記象限がそこからセグメント化された前のレベルの象限に割り当てられたホモグラフィを検討中の前記象限に割り当てるステップと、
（ｆ）さらに象限にセグメント化されない各階層レベル内の象限ごとに、ローカルホモグラフィが計算され、前記象限に割り当てられていると、象限について計算された前記ローカルホモグラフィを使用して検討中の象限に関連付けられたフローフィールドの部分を計算し、ローカルホモグラフィが計算されておらず、検討中の象限に割り当てられていないと、現在のレベルの検討中の前記象限がそこからセグメント化された前のレベルの象限に割り当てられた前記ホモグラフィを使用して検討中の前記象限に関連付けられたフローフィールドの部分を計算するステップと、
（ｇ）結果のフローフィールドにまたがるフロー不連続性を最小にするために、前記象限のオーバーラップする領域内にあるフロー成分にフェザリング処理を適用するステップと
を備えたことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般には、ハイダイナミックレンジ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ；ＨＤＲ）ビデオを作ることに関し、より詳細には、各フレームの露光を変更しながらキャプチャされたビデオイメージシーケンスからＨＤＲビデオを生成するシステムおよび方法に関する。
【背景技術】
【０００２】
実世界は、現在ほとんどのカメラで使用可能なセンサによってキャプチャできるものよりはるかに大きい明るさ変動を有する。単一のシーンの放射輝度は、陰影から完全に照らされた領域まで、明るさにおいて４のオーダーの大きさを含むことがある。通常のＣＣＤまたはＣＭＯＳセンサは、約２５６〜１０２４の明るさレベルだけをキャプチャする。
【０００３】
この限られたダイナミックレンジの問題は、最近、多数の解決策を示唆している。静的シーンのすべての放射輝度をキャプチャする方法の１つが、シーンの複数の露光を撮影し、これらを組み合わせてハイダイナミックレンジ（ＨＤＲ）マップを作成することである（例えば、非特許文献３，７および１０参照。）。静的シーン要件は、複数のイメージ検出器、新規のセンサ、または空間可変ピクセル露光を使用することによって除去することができる（例えば、非特許文献８参照。）。Ｍａｎｎ他は、ホモグラフィ（ｈｏｍｏｇｒａｐｈｙ）を使用して異なる露光のフレームを見当合わせし、これによって、カメラ応答関数を推定し、したがってパンするビデオからＨＤＲイメージを作ることを可能にした（例えば、非特許文献６参照。）。Ｂｏｇｏｎｉは、グローバルに（アフィンパラメータを使用して）見当合わせし、その後ローカルに見当合わせすることによって、モノクロームイメージおよびカラーイメージのダイナミックレンジを拡張した（例えば、非特許文献１参照。）。しかし、見当合わせステップの詳細およびその堅牢性は、示されなかった。
【０００４】
ＨＤＲイメージを計算すると、これをディスプレイにレンダリングしなければならない。通常のディスプレイは、明るさ値において約２のオーダーの大きさを生じることができるのみであるので、ＨＤＲイメージに対してコントラスト削減を実行しなければならない。このいわゆるトーンマッピング問題が、最近、多くの研究者によって調査されている（例えば、非特許文献２、４および９参照。）。
【０００５】
【非特許文献１】L. Bogoni, Extending dynamic range of monochrome and color images through fusion, Int'l Conf. on Pattern Recognition, vol.3, pages7-12, September 2000
【非特許文献２】F. Durand and J. Dorsey, Fast bilateral filtering for the display of high dynamic range images, ACM Trans. on Graphics (TOG), 21(3):257-266, 2002
【非特許文献３】P. E. Debevec and J. Malik, Recovering high dynamic range radiance maps from phothgraphs, Proc. of SIGGRAPH 97, pages 369-378, August 1997
【非特許文献４】R. Fattal, D.Lischinski, and M. Werman, Gradient domain high dynamic range compression, ACM Trans. on Graphics, 21(3):249-256, 2002
【非特許文献５】B. D. Lucas and T. Kanade, An iterative image registration technique with an application in stereo vision, In Int'l Joint Conf. on Artificial Intelligence, pages 674-679, 1981
【非特許文献６】S. Mann, C. Manders, and J. Fung, Painting with Looks: Photographic images from video using quantimetric processing, In ACM Multimedia, Dec. 2002
【非特許文献７】T. Mitsunaga and S. K. Nayar, Radiometric self calibration, In IEEE Conf. on Computer Vision and Pattern Recognition, volume 1, pages 374-380, June 1999
【非特許文献８】T. Mitsunaga and S. K. Nayar, High dynamic range imaging: Spatially varying pixel exposures, In IEEE Conf. on Computer Vision and Pattern Recognition, volume 1, pages 472-479, June 2000
【非特許文献９】E. Reinhard, M. Stark, P. Shirley, and J. Ferwerda, Photographic tone reproduction for digital images, ACM Trans. on Graphics, 21(3):267-276, 2002
【非特許文献１０】Y. Tsin, V. Ramesh, and T. Kanade, Statistical calibration of CCD imaging process, In Int'l Conf. on Computer Vision, volume 1, pages 480-487, July 2001
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、これらの以前のイメージベースの方法のどれもが、ＨＤＲビデオを効率的に作製するために設計されたものではない。標準的なキャムコーダを使用してキャプチャされた通常のビデオフッテージは、限られたダイナミックレンジをこうむる。さらに、従来の方法は、普通のビデオカメラを使用してＨＤＲビデオを作製することを可能にしない。本発明のＨＤＲビデオ生成のシステムおよび方法は、この問題を軽減する。
【課題を解決するための手段】
【０００７】
本発明は、自動利得機構の単純な再プログラミングを受けた従来のビデオカメラを使用して露光をすばやく変更しながらキャプチャされた動的シーンのイメージシーケンスからＨＤＲビデオを生成するシステムおよび方法を対象とする。これによって、現在入手可能な安価で高解像度のカメラセンサを使用することが可能になる。一般に、ハイダイナミックレンジ（ＨＤＲ）ビデオは、少しずつ交番する長短の露光でキャプチャされたプリカーサビデオ（ｐｒｅｃｕｒｓｏｒ  ｖｉｄｅｏ）のフレームをとり、これらのフレームからＨＤＲビデオを作ることによって生成される。一般に、これは、まず、競合する２つの制約を同時に満たすことを試みるプリカーサビデオの各フレームをキャプチャするのに使用される露光を計算する手順を使用することによって達成される。まず、中間調のノイズを減らすために交番する露光レベルをできる限り近くすると同時に、できる限り広いダイナミックレンジをキャプチャするためにレベルをできるだけ離して広げることが望ましい。プリカーサビデオのフレームは、通常はあるフレーム間動きを有するが、前述のＨＤＲビデオフレームを作るために合成される。一般に、これには、少しずつピクセル対応を識別するためにプリカーサビデオの一連の交番露光フレームに対して動き推定を行うことと、その後、その露光および動き推定の推定された品質の両方に基づいて、対応するピクセルの各セットの各ピクセルにどのように重みを付けるかを判断することが含まれる。その後、対応するピクセルセットを、割り当てられた重みに基づいて組み合わせて、ＨＤＲビデオの合成されたフレームを形成する。さらに、変更されたトーンマッピング処理を、ビューイングのために使用することができる。
【０００８】
より具体的には、ＨＤＲビデオ生成のシステムおよび方法に、まず、短露光と長露光を示すフレームの間で交番するために各フレームの露光を変更しながらビデオイメージシーケンスをキャプチャすることが含まれる。一般に、ビデオイメージシーケンスの各フレームに対する露光は、ビデオの前のフレームにおいてピクセルの明るさの分布関数としてキャプチャの前に設定される。次に、指定された個数の開始フレームの後のビデオのフレームごとに、検討中のフレームと前後の隣接するフレームとの間で対応するピクセルを識別する。対応するピクセルセットの各々に対して、セットの少なくとも１つのピクセルを、信頼に値するピクセルを表すものとして識別する。次に、信頼に値するピクセルに関連するピクセルカラー情報を使用して、ピクセルのそのセットの放射輝度値を計算する。これを、対応するピクセルのセットごとに繰り返して、ＨＤＲビデオのフレームを表す放射輝度マップを形成する。その後、トーンマッピング手順を実行して、放射輝度マップを、レンダリングおよび表示に適するＨＤＲフレームの８ビット表現に変換することができる。
【０００９】
ビデオイメージシーケンスの各フレームの露光の前述のセッティングは、長短の露光のフレームの各連続する対の間の露光比が最小になると同時に、そのフレームで示されるシーンの放射輝度の実質的にすべての範囲を作るように露光を設定するように設計されている。これは、まず、指定された個数の開始フレーム（少なくとも２つ）をキャプチャし、ビデオイメージシーケンスの最後の２フレームのそれぞれの強度ヒストグラムを計算することによって達成することができる。次に、キャプチャされた最後の２フレームに関連する露光セッティングが等しいかどうかを判定する。そうである場合には、フレームごとに、その露光過多ピクセルカウントと露光過少ピクセルカウントが、それぞれ指定された露光過多ピクセルターゲットカウントおよび露光過少ピクセルターゲットカウント未満であるかどうかを判定する。カウントが、両方ともそれぞれのターゲットカウント未満であるとわかったときには、必ず、次にキャプチャされる２フレームの最初のフレームの露光に、検討中の前にキャプチャされたフレームの対の最初のフレームに関連する強度ヒストグラムがそのピクセル値の範囲内でセンタリングされることをもたらす値を設定する。同様に、次にキャプチャされる２つのフレームの第２フレームの露光に、検討中の前にキャプチャされたフレームの対の第２フレームに関連する強度ヒストグラムがそのピクセル値の範囲内でセンタリングされることをもたらす値を設定する。強度ヒストグラムをセンタリングすることに、検討中の前にキャプチャされた第１または第２のフレーム（適宜）の露光値に、それぞれ第１または第２のフレームの強度ヒストグラムの平均値を表す強度値におけるカメラ応答関数の逆数に対する、シーンの予想される強度値の範囲の中央強度値におけるカメラ応答関数の逆数の比をかけることが含まれる。
【００１０】
しかし、キャプチャされた最後の２つのフレームに関連する露光セッティングが等しくないか、検討中の前にキャプチャされたフレームの対の一方または両方のフレームが、それぞれ指定された露光過多ピクセルターゲットカウントおよび露光過少ピクセルターゲットカウント以上の露光過多ピクセルカウントまたは露光過少ピクセルカウントを有すると判定された場合には、まず、露光過多ピクセルカウントが、フレーム対のうちで短い露光セッティングを有するフレームの露光過多ピクセルターゲットカウントの指定された比率未満であるかどうかを判定する。そうである場合に、次にキャプチャされる短露光フレームの露光に、検討中の短露光フレームに使用された露光値を超える増加を表す露光値を設定する。露光過多ピクセルカウントが、飽和したピクセルの個数を表し、露光過多ピクセルターゲットカウントが、検討中のフレームのピクセルの総数の約１から５％の範囲内であることに留意されたい。次にキャプチャされる短露光フレームの露光に検討中の短露光フレームに使用された露光値を超える増加を表す露光値を設定することに関して、これに、検討中の短露光フレームの露光値に、最小値から始めて露光値によって順序付けられたときに検討中の短露光フレームのピクセルの最初の９９％の間から得られた最高の強度値を表す強度値におけるカメラ応答関数の逆数に対する飽和ピクセルを表す強度値におけるカメラ応答関数の逆数の比をかけることが含まれる。
【００１１】
次に、露光過少ピクセルカウントが、検討中の前にキャプチャされたフレームの対のうちで長露光セッティングを有するフレームの露光過少ピクセルターゲットカウントの指定された比率未満であるかどうかを判定する。そうである場合には、次にキャプチャされる長露光フレームの露光に、検討中の長露光フレームに使用された露光値を超える減少を表す露光値を設定する。この場合に、露光過少ピクセルカウントは、黒ピクセルの個数を表し、過少露光ピクセルターゲットカウントは、検討中のフレームのピクセルの総数の約１から５％の範囲内である。次にキャプチャされる長露光フレームの露光値に検討中の長露光フレームに使用された露光値を超える減少を表す露光値を設定することに関して、これに、検討中の長露光フレームの露光値に、最小値から始めて強度値によって順序付けられたときに検討中の長露光フレームのピクセルの最初の１％の間から得られる最高の強度値を表す強度値におけるカメラ応答関数の逆数に対する黒ピクセルを表す強度値におけるカメラ応答関数の逆数の比をかけることが含まれる。
【００１２】
次の長露光フレームおよび短露光フレームの露光を仮に設定したならば、これらの新しい露光値の間の比が、指定された最大に許容される露光比以上であるかどうかを判定する。比が指定された最大に許容される露光比以上であることがわかったときには、必ず、露光比を再設定する。これは、検討中の短露光フレームに関連する露光過多ピクセルカウントと検討中の長露光フレームに関連する露光過少ピクセルカウントのバランスをとって、次の長露光フレームと短露光フレームの露光値の比が指定された最大に許容される露光比を超えないようにする次の長露光フレームと短露光フレームの修正された露光値を確立することによって達成される。具体的に言うと、検討中の短露光フレームの修正された露光過多ピクセルカウントは、露光過多ピクセルカウントの半分を露光過少ピクセルカウントの半分に加算することによって計算される。次に、短露光フレームについて生成された強度ヒストグラムを使用して、修正された露光過多ピクセルカウントに関連する強度値を見つける。次に、検討中の短露光フレームの露光値に、修正された露光過多ピクセルカウントに関連する強度値におけるカメラ応答関数の逆数に対する飽和ピクセルを表す強度値におけるカメラ応答関数の逆数の比をかけて、次にキャプチャされる短露光フレームの露光値を作る。最後に、次にキャプチャされる長露光フレームの露光を、次にキャプチャされる短露光フレームについて計算された露光に、指定された最大に許容される露光比をかけることによって確立する。
【００１３】
しかし、前に計算された仮の露光値の比が、指定された最大に許容される露光比以上でない場合には、その代わりに、まず、検討中の短露光フレームの露光過多ピクセルカウントが、露光過多ピクセルターゲットカウントを超えるかどうかを判定する。そうである場合には、次にキャプチャされる短露光フレームの露光に、検討中の短露光フレームに使用された露光値を超える減少を表す露光値を設定する。これは、バンプ手順を使用することによって達成され、このバンプ手順では、次の短露光フレームのキャプチャに使用される露光値を作るために、検討中の短露光フレームに関連する露光値を減らす比率を指定する。
【００１４】
次に、検討中の長露光フレームの露光過少ピクセルカウントが、露光過少ピクセルターゲットカウントを超えるかどうかを判定する。そうである場合には、次にキャプチャされる長露光フレームの露光に、検討中の長露光フレームに使用された露光値を超える増加を表す露光値を設定する。これは、バンプ手順を使用することによって達成され、このバンプ手順では、次の長露光フレームのキャプチャに使用される露光値を作るために、検討中の長露光フレームに関連する露光値を増やす比率を指定する。
【００１５】
次に、この最後に確立された露光値を使用して、これらの露光値の比が指定された最大に許容される露光比以上であると判定されない限り、ビデオの次の短露光フレームおよび長露光フレームをキャプチャする。そうであると判定された場合には、次にキャプチャされる長露光フレームの露光値と次にキャプチャされる短露光フレームの露光値が、露光値の比が指定された最大に許容される露光比を超えないようにするキャプチャされるフレームの修正された露光値を確立するために、検討中の短露光フレームに関連する露光過多ピクセルカウントと検討中の長露光フレームに関連する露光過少ピクセルカウントのバランスをとることによってリセットされる。これは、上述したように達成される。
【００１６】
ＨＤＲビデオ生成のシステムおよび方法のうちで、検討中のフレームと、前後の両方の隣接フレームとの間の対応するピクセルの識別に用いられる部分は、次のように達成される。直前の隣接フレームは、単一方向にワープ（ｗａｒｐ）されて、検討中のフレームとの前フレームの近似見当合わせが作られる。同様に、直後の隣接フレームが、単一方向にワープされて、検討中のフレームとの後フレームの近似見当合わせが作られる。さらに、前後の両方のフレームが両方向にワープされて、検討中のフレームとのこれらの隣接フレームの近似見当合わせを表す補間されたフレームが作られる。単一方向および両方向の両方でのワープは、見当合わせの冗長性を作り、この冗長性が、後に、見当合わせ誤差の許容範囲を増やすのに利用される。前述のワープを達成するのに使用される方法は、隣接フレームが両方とも短露光フレームまたは長露光フレームのどちらであるかと、いくつかの場合に３つの連続するフレームがすべて異なる露光を有するか否かに応じて変化する。
【００１７】
直前または直後の隣接フレームの両方が短露光フレームである（その露光が一致するかどうかにかかわらず）場合に、両方の単一方向ワープに、まず、検討中の長露光フレームの強度範囲と実質的に一致するように隣接フレームの強度をブーストすることが含まれる。ワープされる隣接フレームは、前フレームには標準的な順方向ワープ処理、後フレームには標準的な逆方向ワープ処理を使用して、検討中のフレームに見当合わせされる。逆に、前後の隣接するフレームの両方が長露光フレームである（やはり、その露光が一致するかどうかにかかわらず）場合に、前フレームの単一方向ワープに、前フレームの強度範囲と実質的に一致するように検討中の短露光フレームの強度をブーストすることと、その後、標準的な順方向ワープ処理を使用して検討中のフレームに前フレームを見当合わせすることが含まれる。後フレームの単一方向ワープに、まず後フレームの強度範囲に実質的に一致するように検討中の短露光フレームの強度をブーストすることと、その後、標準的な逆方向ワープ処理を使用して検討中のフレームに後フレームを見当合わせすることが含まれる。
【００１８】
検討中のフレームが長露光フレームであり、前後のフレームが実質的に同一の露光を有する短露光フレームである場合の隣接フレームの両方向ワープに関して、次の手順を使用する。まず、それぞれ前フレームおよび後フレームについて、両方向フローフィールド（ｆｌｏｗ  ｆｉｅｌｄ）を計算する。次に、前フレームを、そのフレームについて計算された両方向フローフィールドを使用してワープして、順方向ワープされたフレームを作り、後フレームを、そのフレームについて計算された両方向フローフィールドを使用してワープして、逆方向ワープされたフレームを作る。順方向ワープされたフレームおよび逆方向ワープされたフレームを組み合わせて、補間されたフレームを作る。次に、補間されたフレームの強度を、現在検討中の長露光フレームの強度範囲に実質的に一致するようにブーストする。次に、強度ブーストされた補間されたフレームを検討中の長露光フレームに最もよく写像するリファイニングフローフィールド（ｒｅｆｉｎｉｎｇ  ｆｌｏｗ  ｆｉｅｌｄ）を確立する。リファインされた順方向フローフィールドを、順方向フローフィールドにリファイニングフローフィールドを連結することによって計算し、リファインされた逆方向フローフィールドを、逆方向フローフィールドにリファインされたフローフィールドを連結することによって計算する。次に、リファインされた順方向フローフィールドおよびリファインされた逆方向フローフィールドを、それぞれオリジナルの前フレームおよび後フレームに適用して、それぞれリファインされた順方向ワープされたフレームおよびリファインされた逆方向ワープされたフレームを作る。
【００１９】
検討中のフレームが長露光フレームであり、前後のフレームが実質的に異なる露光を有する短露光フレームである場合の隣接フレームの両方向ワープの場合に、手順は、前フレームに関連する露光が後フレームに関連する露光より短いまたは長いのどちらであるかを判定することによって開始される。前フレームに関連する露光がより短いと判定されたときには、必ず、前フレームの強度を、後フレームの強度範囲と実質的に一致するようにブーストする。前フレームに関連する露光が後フレームに関連する露光より長いと判定されたときには、必ず、後フレームの強度を、前フレームの強度範囲と実質的に一致するようにブーストする。次に、それぞれ前フレームおよび後フレームについて両方向フローフィールドを計算する。前フレームを、そのフレームについて計算された両方向フローフィールドを使用してワープして、順方向ワープされたフレームを作り、後フレームを、そのフレームについて計算された両方向フローフィールドを使用してワープして、逆方向ワープされたフレームを作るが、ワープされるのが、場合に応じて前または後のフレームの強度ブーストされたバージョンであることに留意されたい。順方向ワープされたフレームおよび逆方向ワープされたフレームを組み合わせて、補間されたフレームを作る。次に、補間されたフレームの強度を、現在検討中の長露光フレームの強度範囲と実質的に一致するようにブーストする。次に、強度ブーストされた補間されたフレームを検討中の長露光フレームに最もよく写像するリファイニングフローフィールドを確立する。リファインされた順方向フローフィールドを、順方向フローフィールドにリファイニングフローフィールドを連結することによって計算し、リファインされた逆方向フローフィールドを、逆方向フローフィールドにリファインされたフローフィールドを連結することによって計算する。次に、リファインされた順方向フローフィールドおよびリファインされた逆方向フローフィールドを、それぞれオリジナルの前後のフレームに適用して、それぞれリファインされた順方向ワープされたフレームおよびリファインされた逆方向ワープされたフレームを作る。
【００２０】
検討中のフレームが短露光フレームであり、前後のフレームが実質的に同一の露光を有する長露光フレームである場合の隣接フレームの両方向ワープは、次のように達成される。まず、前後のフレームについて、両方向フローフィールドを計算する。次に、前フレームを、そのフレームについて計算された両方向フローフィールドを使用してワープして、順方向ワープされたフレームを作り、後フレームを、そのフレームについて計算された両方向フローフィールドを使用してワープして、逆方向ワープされたフレームを作る。順方向ワープされたフレームと逆方向ワープされたフレームを組み合わせて、補間されたフレームを作る。次に、検討中のフレームの強度を、前後のフレームの平均強度範囲と実質的に一致するようにブーストする。次に、補間されたフレームを強度ブーストされた検討中のフレームに最もよく写像するリファイニングフローフィールドを確立する。リファインされた順方向フローフィールドを、順方向フローフィールドにリファイニングフローフィールドを連結することによって計算し、リファインされた逆方向フローフィールドを、逆方向フローフィールドにリファイニングフローフィールドを連結することによって計算する。次に、リファインされた順方向フローフィールドおよびリファインされた逆方向フローフィールドを、それぞれオリジナルの前後のフレームに適用して、それぞれリファインされた順方向ワープされたフレームおよびリファインされた逆方向ワープされたフレームを作る。
【００２１】
最後に、検討中のフレームが短露光フレームであり、前後のフレームが実質的に異なる露光を有する長露光フレームである場合の隣接フレームの両方向ワープの場合に、手順は、前フレームに関連する露光が、後フレームに関連する露光より短いまたは長いのどちらであるかを判定することから始まる。前フレームに関連する露光がより短いと判定されたときには、必ず、前フレームの強度を、後フレームの強度範囲と実質的に一致するようにブーストする。前フレームに関連する露光が後フレームに関連する露光より長いと判定されたときには、必ず、後フレームの強度を、前フレームの強度範囲と実質的に一致するようにブーストする。次に、それぞれ前フレームおよび後フレームについて、両方向フローフィールドを計算する。前フレームを、そのフレームについて計算された両方向フローフィールドを使用してワープして、順方向ワープされたフレームを作り、後フレームを、そのフレームについて計算された両方向フローフィールドを使用してワープして、逆方向ワープされたフレームを作る。順方向ワープされたフレームおよび逆方向ワープされたフレームを組み合わせて、補間されたフレームを作る。次に、検討中のフレームの強度を、前後のフレームの平均強度範囲と実質的に一致するようにブーストする。次に、補間されたフレームを強度ブーストされた検討中のフレームに最もよく写像するリファイニングフローフィールドを確立する。リファインされた順方向フローフィールドを、順方向フローフィールドにリファイニングフローフィールドを連結することによって計算し、リファインされた逆方向フローフィールドを、逆方向フローフィールドにリファイニングフローフィールドを連結することによって計算する。次に、リファインされた順方向フローフィールドおよびリファインされた逆方向フローフィールドを、それぞれオリジナルの前後のフレームに適用して、それぞれリファインされた順方向ワープされたフレームおよびリファインされた逆方向ワープされたフレームを作る。
【００２２】
前述の両方向フローフィールドは、検討中のフレームが長露光フレームであり、隣接する前後のフレームが短露光フレームである場合に、隣接するフレームごとに次のように計算される。まず、前後のフレームを、一方を他方に写像するアフィン変換を推定することによってグローバルに見当合わせする。次に、密動きフィールドを計算する。この動きフィールドは、グローバル変換に対するローカル訂正を表し、傾きベースオプティカルフロー（ｇｒａｄｉｅｎｔ  ｂａｓｅｄ  ｏｐｔｉｃａｌ  ｆｌｏｗ）を使用して計算される。具体的に言うと、ルーカスおよびカナデの処理（Ｌｕｃａｓ  ａｎｄ  Ｋａｎａｄｅ  ｔｅｃｈｎｉｑｕｅ）の変形をラプラシアンピラミッド（Ｌａｐｌａｃｉａｎ  ｐｙｒａｍｉｄ）フレームワークで使用し、ここで、前フレームと後フレームの両方を、検討中のフレームの時間インデックスに対応する時刻ｋに向かってワープし、残余フローベクトルを、ピラミッドの各レベルで２つのワープイメージの各ピクセルの間で推定する（例えば、非特許文献４参照。）。ピラミッドの各レベルでピクセルごとに計算された残余フローベクトルを累算して、密動きフィールドのローカル成分を確立する。密動きフィールドのローカル成分を計算したならば、両方向フローフィールドのピクセル位置ごとにコンポジットベクトルを確立する。このコンポジットベクトルは、前フレームのフローフィールドの場合に前フレームから順方向ワープされたフレームへ、後フレームのフローフィールドの場合に後フレームから逆方向ワープされたフレームへワープするために再スケーリングされたアフィン変換から導出されるアフィン成分と、アフィン成分のローカル訂正を形成する密動きフィールドからとられたローカル成分の合計である。次に、双三次ワープ処理を使用して、適当なコンポジットベクトルに沿って各ピクセルを変換して、適宜、前述の順方向ワープされたフレームまたは逆方向ワープされたフレームを形成する。
【００２３】
組み合わされた補間されたフレームを作るために順方向ワープされたフレームと逆方向ワープされたフレームを組み合わせる、前に説明した動作は、両方が使用可能であるときに、組み合わされた補間されたフレームのピクセル位置の、順方向ワープされたフレームと逆方向ワープされたフレームの両方からのピクセル値の平均をとることによって達成することができる。補間されたフレームのピクセル位置の順方向ワープされたフレームおよび逆方向ワープされたフレームから１つのピクセル値だけが使用可能であるときには、必ず、使用可能なピクセル値を使用して、そのピクセル位置の組み合わされた補間されたフレームのピクセル値を確立する。補間されたフレームのピクセル位置の順方向ワープされたフレームおよび逆方向ワープされたフレームからの使用可能なピクセル値がない場合には、組み合わされた補間されたフレームのピクセル値は、０動きベクトルを使用して得られた２つのピクセル値の平均をとることによって、そのピクセル位置で確立される。
【００２４】
リファイニングフローフィールドを計算する、前に説明した動作は、次のように達成される。まず、検討中のフレームと強度ブーストされた補間されたフレームの間で、グローバルホモグラフィを計算する。次に、検討中のフレームを、オーバーラップする象限にセグメント化する。オーバーラップは、約５％から約２０％の間であることが好ましい。これらの象限のそれぞれについて、検討中の象限内のピクセルの間の強度変動が、指定された変動閾値を超えるかどうかを判定する。そうである場合には、検討中の象限の対応する領域を、グローバルホモグラフィを使用して、補間されたフレーム内で識別する。次に、検討中の象限と、補間されたフレーム内の識別された対応する領域との間のローカルホモグラフィを計算する。次に、ローカルホモグラフィを使用したピクセルごとの見当合わせ誤差が、検討中の象限のグローバルホモグラフィを使用したピクセルごとの見当合わせ誤差未満であるかどうかを判定する。ローカルホモグラフィを使用したピクセルごとの見当合わせ誤差が、グローバルホモグラフィを使用したピクセルごとの見当合わせ誤差未満であると判定されたときに、必ず、ローカルホモグラフィを、検討中の象限に割り当てる。そうでない場合には、グローバルホモグラフィを、検討中の象限に割り当てる。リファイニングフローフィールドのうちで検討中の象限に関連する部分は、ローカルホモグラフィがその象限に割り当てられたときには、必ずこのローカルホモグラフィを使用して確立される。強度変動テストに合格しなかったのでローカルホモグラフィが計算されなかった場合、またはグローバルホモグラフィが象限に割り当てられた場合には、リファイニングフローフィールドのうちでその象限に関連する部分は、グローバルホモグラフィを使用して確立される。したがって、この手順は、階層的とすることができる、すなわち、各ローカルホモグラフィに再帰的に適用することができ、次のレベルでは各ローカルホモグラフィがグローバルホモグラフィとして扱われる。最後に、フェザリング（ｆｅａｔｈｅｒｉｎｇ）（すなわち、加重平均）処理を、象限のオーバーラップする領域内にあるフローコンポーネントに適用して、結果のリファイニングフローフィールドにまたがるフロー不連続性を最小にすることができる。
【００２５】
象限のオーバーラップする領域内にあるフローコンポーネントに適用されるフェザリング処理は、任意の所望の処理とすることができる。しかし、ＨＤＲビデオ生成のシステムおよび方法のテストされたバージョンでは、フェザリングに、線形重み付け処理が用いられる。具体的に言うと、２つの象限だけがオーバーラップする場合に、必ず、１次元線形重み付けが各ピクセル位置に適用され、その位置のフロー成分のうちで、オーバーラップする象限のそれぞれに関連するホモグラフィから導出される部分が、それぞれのオーバーラップする象限に関するオーバーラップする領域の境界からの距離に比例するようにされる。ピクセル位置が前記境界の１つに近いほど、フロー成分のうちでその境界に隣接する象限に関連するホモグラフィから導出される部分が多くなる。４つの象限のすべてがオーバーラップする場合に、２次元線形重み付けが、同一の結果を伴って各ピクセル位置に適用される。すなわち、その位置のフロー成分の部分は、オーバーラップする象限のそれぞれに関連するホモグラフィから導出されるは、それぞれのオーバーラップする象限に関するオーバーラップする領域の境界からの距離に比例する。
【００２６】
前述の両方向フローフィールドは、検討中のフレームが短露光フレームであり、隣接する前後のフレームが長露光フレームである場合に、隣接するフレームごとに同一の形で計算される。リファイニングフローフィールドも、この後者の場合に検討中のフレームの強度ブーストされたバージョンと組み合わされた補間されたフレームとの間でグローバルホモグラフィが計算されることを除いて、類似する形で計算される。さらに、オーバーラップした象限にセグメント化されるのは、検討中のフレームの強度ブーストされた版である。
【００２７】
上述したように、ＨＤＲビデオ生成のシステムおよび方法の１つの部分に、信頼に値するピクセルを表す対応するピクセルの各セットの少なくとも１つのピクセルを識別することと、ＨＤＲビデオのフレームを表す放射輝度マップを形成するために、ピクセルのそのセットの放射輝度値を計算するのに１つまたは複数の信頼に値するピクセルに関連するピクセルカラー情報を使用することが含まれた。これは、次のように達成することができる。まず、検討中のフレーム、単一方向にワープされた前フレーム、単一方向にワープされた後フレーム、両方向ワープされた前フレーム、および両方向ワープされた後フレームのそれぞれを、別々の放射輝度イメージに変換する。強度ブーストされたフレームではなくオリジナルフレームが、ワープされ、放射輝度計算から使用されるフレームであることに留意されたい。強度ブーストされたフレームは、フローフィールドの計算だけに使用される。
【００２８】
最終的な放射輝度マップは、すべての放射輝度イメージを使用して計算される。最終的な放射輝度マップ内の所与のピクセル位置の各放射輝度値は、検討中のフレーム内のそのピクセル位置のピクセルの強度に基づいてどの値が信頼に値すると思われるかに応じて、検討中のフレームに関連する放射輝度イメージからとられるか、前述の変換された放射輝度イメージ内の同一のピクセル位置からとられた複数の放射輝度値の加重平均のいずれかである。具体的に言うと、検討中のフレームが長露光フレームであり、前後のフレームが短露光フレームである場合に、放射輝度マップは、次のように作られる。前述のフレームを放射輝度イメージに変換したならば、検討中のフレーム内の、指定された最大強度閾値を超える強度値を有する各ピクセルを識別し、両方向ワープされた前フレームおよび両方向ワープされた後フレームの同一位置に関連する放射輝度値の平均を、放射輝度マップの対応するピクセル位置の放射輝度値として割り当てる。さらに、検討中のフレームの、指定された最大閾値未満の強度を有する各ピクセルを識別し、これらのピクセル位置のそれぞれについて、単一方向ワープされた前フレームおよび単一方向ワープされた後フレームの対応する位置に割り当てられた放射輝度値が、検討中のフレームの同一位置に割り当てられた放射輝度値の許容される最大ノイズ分散の外にあるかどうかを判定する。そうでない場合には、３つすべての放射輝度値の加重平均を計算し、放射輝度マップのそのピクセル位置の放射輝度値として割り当てる。しかし、単一方向ワープされた前フレームまたは単一方向ワープされた後フレームのピクセル位置に割り当てられた放射輝度値の一方が、許容される最大ノイズ分散の外にあるが、他方がそうでないことがわかった場合には、検討中のフレームとその放射輝度値が変動の外でない単一方向ワープされたフレームのピクセル位置に割り当てられた放射輝度値の加重平均を計算する。次に、この加重平均を、放射輝度マップのそのピクセル位置の放射輝度値として割り当てる。最後に、単一方向ワープされた前フレームおよび単一方向ワープされた後フレームのピクセル位置に割り当てられた放射輝度値の両方が変動の外にあることがわかった場合には、検討中のフレームのピクセル位置に割り当てられた放射輝度値を、放射輝度マップのそのピクセル位置の放射輝度値として割り当てる。
【００２９】
検討中のフレームが、短露光フレームであり、前後のフレームが長露光フレームである場合に、放射輝度マップは、次のように作られる。前述のフレームを放射輝度イメージに変換したならば、検討中のフレーム内で指定された最小強度閾値を超える強度値を有する各ピクセルを識別する。これらのピクセル位置のそれぞれについて、単一方向ワープされた前フレームおよび単一方向ワープされた後フレームの対応する位置に割り当てられた放射輝度値が、検討中のフレームの同一位置に割り当てられた放射輝度値の許容される最大ノイズ分散の外にあるかどうかを判定する。そうでない場合には、３つのすべての放射輝度値の加重平均を計算し、放射輝度マップのそのピクセル位置の放射輝度値として割り当てる。しかし、単一方向ワープされた前フレームまたは単一方向ワープされた後フレームのピクセル位置に割り当てられた放射輝度値の一方が、変動の外にあるが、他方がそうでないことがわかった場合には、検討中のフレームと、その放射輝度値が変動の外でない単一方向ワープされたフレームのピクセル位置に割り当てられた放射輝度値の加重平均を計算する。次に、この加重平均を、放射輝度マップの対応するピクセル位置の放射輝度値として割り当てる。最後に、単一方向ワープされた前フレームおよび単一方向ワープされた後フレームのピクセル位置に割り当てられた放射輝度値の両方が変動の外にあることがわかった場合には、検討中のフレームのピクセル位置に割り当てられた放射輝度値を、放射輝度マップのそのピクセル位置の放射輝度値として割り当てる。最後に、検討中のフレーム内で、指定された最小強度閾値未満の強度値を有する各ピクセルを識別し、放射輝度マップ内の対応するピクセル位置について、両方向ワープされた前フレームおよび両方向ワープされた後フレームの同一位置に関連する放射輝度値の平均を、放射輝度値として割り当てる。
【００３０】
ＨＤＲビデオ生成のシステムおよび方法に、放射輝度マップをトーンマッピングして、レンダリングおよび表示に適するＨＤＲフレームの８ビット表現に変換することを含めることもできる。一般に、これには、まず放射輝度マップをＣＩＥ空間に変換し、色度座標を回復して、輝度イメージを作ることが含まれる。次に、輝度イメージのダイナミックレンジを圧縮し、クロミナンスを再挿入する。次に、ＣＩＥ空間イメージを変換して、最終的な８ビット範囲ＲＧＢイメージを作る。しかし、フレームごとの基礎でこの手順を適用せよは、十分でない。なぜならば、これが、マッピングでの可視の時間的不一致につながる可能性があるからである。これを補償するために、本発明のトーンマッピング手順は、時間的に滑らかに変化するトーンマッピングされたイメージを作るために、隣接フレームからの統計を使用する。具体的に言うと、このトーンマッピング手順は、ダイナミックレンジ圧縮に、検討中のフレームと少なくとも１つの前フレームの両方からの情報を使用する平均輝度および最大輝度の計算が含まれるという規範から出発する。
【００３１】
前に説明した階層グローバル見当合わせ処理が、ＨＤＲビデオフレームの生成以外の応用分野を有することに留意されたい。一般に、この手順を使用して、あるシーンの１つのイメージをそのシーンの別のイメージに写像するフローフィールドを確立することができる。この手順は、本質的に、２つの階層レベルだけに制限されたときに、上述したものと同一である。しかし、３つ以上のレベルが指定された場合に、拡張された手順が使用される。すなわち、３つ以上のレベルが指定された場合のあるシーンの１つのイメージをあるシーンの別のイメージに写像するフローフィールドを確立する階層グローバル見当合わせ処理は、次のように達成される。まず、グローバルホモグラフィを、イメージの間で計算する。次に、イメージの１つを、オーバーラップする象限にセグメント化する。これらの象限のそれぞれについて、検討中の象限内のピクセルの間の強度変動が、指定された変動閾値を超えるかどうかを判定する。そうである場合には、検討中の象限の対応する領域を、グローバルホモグラフィを使用して、セグメント化されていないイメージ内で識別する。次に、検討中の象限と、セグメント化されていないイメージ内で識別された対応する領域との間でローカルホモグラフィを計算する。次に、検討中の象限について、ローカルホモグラフィを使用するピクセルごとの見当合わせ誤差が、グローバルホモグラフィを使用するピクセルごとの見当合わせ誤差未満であるかどうかを判定する。ローカルホモグラフィを使用するピクセルごとの見当合わせ誤差がグローバルホモグラフィを使用するピクセルごとの見当合わせ誤差未満であると判定されるときには、必ず、ローカルホモグラフィを、検討中の象限に割り当てる。そうでない場合には、グローバルホモグラフィを、検討中の象限に割り当てる。
【００３２】
次に、２つを超える指定された階層レベルごとに、強度変動テストに合格した前レベルに関連する象限のそれぞれを、現在の階層レベルの象限を表すオーバーラップする象限にセグメント化する。現在のレベルの象限ごとに、検討中の象限内のピクセルの間の強度変動が、指定された変動閾値を超えるかどうかを判定する。そうである場合には、検討中の象限の対応する領域を、現在のレベルの検討中の象限がそこからセグメント化された前レベル内の象限に割り当てられたホモグラフィを使用して、セグメント化されていないイメージ内で識別する。次に、検討中の象限と、セグメント化されていないイメージ内で識別された対応する領域との間で、ローカルホモグラフィを計算する。次に、検討中の象限とセグメント化されていないイメージ内で識別された対応する領域の間で計算されたローカルホモグラフィを使用するピクセルごとの見当合わせ誤差が、現在のレベルの検討中の象限がそこからセグメント化された前レベル内の象限に割り当てられたホモグラフィを使用するピクセルごとの見当合わせ誤差未満であるかどうかを判定する。検討中の象限とセグメント化されていないイメージ内で識別された対応する領域の間で計算されたローカルホモグラフィを使用するピクセルごとの見当合わせ誤差が、より小さいと判定されるときに、必ず、そのローカルホモグラフィを検討中の象限に割り当てる。そうでない場合には、現在のレベルの検討中の象限がそこからセグメント化された前レベル内の象限に割り当てられたホモグラフィを、検討中の象限に割り当てる。
【００３３】
それ自体が象限にさらにセグメント化されない各階層レベルの象限ごとに、フローフィールドのうちで検討中の象限に関連する部分を、その象限について計算され、その象限に割り当てられたホモグラフィを使用して計算する。そうでない場合に、フローフィールドのうちで検討中の象限に関連する部分を、現在のレベルの検討中の象限がそこからセグメント化された前のレベルの象限に割り当てられたホモグラフィを使用して計算する。最後に、象限のオーバーラップする領域にあるフローコンポーネントにフェザリング処理を適用して、結果のフローフィールドにまたがるフロー不連続性を最小にすることができる。
【００３４】
上述した利益に加えて、本発明の他の利益は、添付図面と共に解釈されるときに、次の詳細な説明から明白になる。
【００３５】
本発明の詳細な特徴、態様、および利益は、以下の説明、添付の請求項、および添付の図面に関してよりよく理解される。
【発明を実施するための最良の形態】
【００３６】
本発明の好ましい実施形態の次の説明では、添付図面を参照するが、添付図目は、本明細書の一部を形成し、本発明を実践できる特定の実施形態を実例として示すものである。本発明の範囲から外れずに、他の実施形態を利用することができ、構造的変更を行うことができることを理解されたい。
【００３７】
（１．０  ＨＤＲビデオ生成システムのコンピューティング環境）  
本発明の好ましい実施形態の説明を提供する前に、本発明を実装できる適切なコンピューティング環境の短い全般的な説明を提供する。図１は、適切なコンピューティングシステム環境１００の例を例示する。コンピューティングシステム環境１００は、適切なコンピューティング環境の一例にすぎず、本発明の使用または機能性の範囲に関する制限を暗示することを意図されたものではない。コンピューティング環境１００を、例示的なオペレーティング環境１００に示されたコンポーネントのいずれかまたはその組合せに対する依存性または要件を有するものと解釈してもならない。
【００３８】
本発明は、多数の他の汎用または特殊目的のコンピューティングシステム環境またはコンピューティングシステム構成により処理する。本発明と共に使用するのに適する可能性がある周知のコンピューティングシステム、コンピューティング環境、および／またはコンピューティング構成の例に、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルド装置またはラップトップ装置、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラマブルコンシューマエレクトロニクス、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたは装置のいずれかを含む分散コンピューティング環境、および類似物が含まれるが、これに制限はされない。
【００３９】
本発明を、プログラムモジュールなど、コンピュータによって実行されるコンピュータ実行可能な命令の全般的な文脈で説明することができる。一般に、プログラムモジュールに、特定のタスクを実行するか特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。本発明は、通信ネットワークを介してリンクされたリモート処理装置によってタスクが実行される分散コンピューティング環境で実践することもできる。分散コンピューティング環境では、プログラムモジュールを、メモリストレージデバイスを含む、ローカルとリモートの両方のコンピュータ記憶媒体に置くことができる。
【００４０】
図１を参照すると、本発明を実装する例示的なシステムに、コンピュータ１１０の形の汎用コンピューティング装置が含まれる。コンピュータ１１０のコンポーネントに、処理ユニット１２０、システムメモリ１３０、およびシステムメモリを含む様々なシステムコンポーネントを処理ユニット１２０に結合するシステムバス１２１が含まれる。システムバス１２１は、メモリバス、メモリコントローラ、周辺バス、および様々なバスアーキテクチャのいずれかを使用するローカルバスを含む複数のタイプのバス構造のいずれかとすることができる。制限ではなく例として、そのようなアーキテクチャに、Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、Ｅｎｈａｎｃｅｄ  ＩＳＡ（ＥＩＳＡ）バス、Ｖｉｄｅｏ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｓｔａｎｄａｒｄｓ  Ａｓｓｏｃｉａｔｉｏｎ（ＶＥＳＡ）ローカルバス、およびメザニンバスとも称するＰｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）バスが含まれる。
【００４１】
コンピュータ１１０に、通常は、様々なコンピュータ読取可能な媒体が含まれる。コンピュータ読取可能な媒体は、コンピュータ１１０によってアクセスでき、揮発性媒体および不揮発性媒体、取外し可能な媒体および固定媒体の両方を含む使用可能な媒体のいずれかとすることができる。制限ではなく例として、コンピュータ読取可能な媒体に、コンピュータ記憶媒体および通信媒体を含めることができる。コンピュータ記憶媒体に、コンピュータ読取可能な命令、データ構造、プログラムモジュール、または他のデータなどの情報を保管する任意の方法またはテクノロジで実施された、揮発性および不揮発性、取外し可能なおよび固定の両方の媒体が含まれる。コンピュータ記憶媒体に、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、および他のメモリテクノロジ、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、または他の光学ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、または他の磁気ストレージデバイス、あるいは所望の情報の保管に使用でき、コンピュータ１１０によってアクセスできる他のすべての媒体が含まれるが、これに制限はされない。通信媒体によって、通常は、搬送波または他のトランスポート機構などの変調されたデータ信号内のコンピュータ読取可能な命令、データ構造、プログラムモジュール、または他のデータが実施され、通信媒体には、すべての情報配布媒体が含まれる。用語「変調されたデータ信号」は、信号内で情報をエンコードする形でその特性の１つまたは複数を設定または変更された信号を意味する。制限ではなく例として、通信媒体に、有線ネットワークまたは直接配線接続などの有線媒体と、音響、ＲＦ、赤外線、および他の無線媒体などの無線媒体が含まれる。上記のいずれかの組合せも、コンピュータ読取可能な媒体の範囲に含まれなければならない。
【００４２】
システムメモリ１３０に、読取専用メモリ（ＲＯＭ）１３１およびランダムアクセスメモリ（ＲＡＭ）１３２などの揮発性メモリおよび／または不揮発性メモリの形のコンピュータ記憶媒体が含まれる。起動中などにコンピュータ１１０内の要素の間での情報の転送を助ける基本ルーチンを含む基本入出力システム１３３（ＢＩＯＳ）が、通常はＲＯＭ１３１に保管される。ＲＡＭ１３２には、通常は、処理ユニット１２０から即座にアクセス可能、かつ／または処理ユニット１２０によって現在操作中のデータおよび／またはプログラムモジュールが含まれる。制限ではなく例として、図１に、オペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６、およびプログラムデータ１３７を示す。
【００４３】
コンピュータ１１０に、他の取外し可能／固定の、揮発性／不揮発性のコンピュータ記憶媒体も含めることができる。例のみとして、図１に、固定不揮発性磁気媒体から読み取るかこれに書き込むハードディスクドライブ１４１、取外し可能な不揮発性磁気ディスク１５２から読み取るかこれに書き込む磁気ディスクドライブ１５１、ＣＤ−ＲＯＭまたは他の光媒体などの取外し可能な不揮発性光ディスク１５６から読み取るかこれに書き込む光ディスクドライブ１５５を示す。例示的なオペレーティング環境で使用できる他の取外し可能／固定の、揮発性／不揮発性のコンピュータ記憶媒体に、磁気テープカセット、フラッシュメモリカード、デジタル多用途ディスク、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭ、および類似物が含まれるが、これに制限はされない。ハードディスクドライブ１４１は、通常は、インターフェース１４０などの固定のメモリインターフェースを介してシステムバス１２１に接続され、磁気ディスクドライブ１５１および光ディスクドライブ１５５は、通常、インターフェース１５０などの取外し可能なメモリインターフェースによってシステムバス１２１に接続される。
【００４４】
上述し、図１に示したドライブおよびそれに関連するコンピュータ記憶媒体は、コンピュータ１１０のコンピュータ読取可能な命令、データ構造、プログラムモジュール、および他のデータのストレージを提供する。図１では、例えば、ハードディスクドライブ１４１が、オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６、およびプログラムデータ１４７を保管するものとして図示されている。これらのコンポーネントを、オペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６、およびプログラムデータ１３７と同一のまたは異なるもののいずれかとすることができることに留意されたい。オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６、およびプログラムデータ１４７は、最低限でも異なるコピーであることを示すために、異なる符号を与えられている。ユーザは、キーボード１６２および、一般にマウス、トラックボール、またはタッチパッドと称するポインティングデバイス１６１などの入力装置を介してコンピュータ１１０にコマンドおよび情報を入力することができる。他の入力装置（図示せず）に、マイクロホン、ジョイスティック、ゲームパッド、衛星パラボラアンテナ、スキャナ、または類似物を含めることができる。上記および他の入力装置は、しばしば、システムバス１２１に結合されたユーザ入力インターフェース１６０を介して処理ユニット１２０に接続されるが、パラレルポート、ゲームポート、またはｕｎｉｖｅｒｓａｌ  ｓｅｒｉａｌ  ｂｕｓ（ＵＳＢ）などの他のインターフェースおよびバス構造によって接続することができる。モニタ１９１または他のタイプのディスプレイ装置も、ビデオインターフェース１９０などのインターフェースを介してシステムバス１２１に接続される。モニタのほかに、コンピュータに、スピーカ１９７およびプリンタ１９６など、出力周辺インターフェース１９５を介して接続できる他の周辺出力装置も含めることができる。本発明に特に重要なことに、イメージ１６４のシーケンスをキャプチャすることができるカメラ１６３（デジタル／電子スチルカメラまたはビデオカメラ、あるいはフィルム／写真スキャナ）も、パーソナルコンピュータ１１０への入力装置として含めることができる。さらに、１つのカメラだけが図示されているが、複数のカメラをコンピュータ１１０への入力装置として含めることができる。１つまたは複数のカメラからのイメージ１６４は、適当なカメラインターフェース１６５を介してコンピュータ１１０に入力される。このインターフェース１６５は、システムバス１２１に接続され、これによって、イメージを、ＲＡＭ１３２またはコンピュータ１１０に関連する他のデータ記憶デバイスの１つにルーティングし、そこに保管することができるようになる。しかし、イメージデータを、カメラ１６３の使用を必要とせずに、前述のコンピュータ読取可能な媒体のいずれかからコンピュータ１１０に入力することもできることに留意されたい。
【００４５】
コンピュータ１１０は、リモートコンピュータ１８０などの１つまたは複数のリモートコンピュータへの論理接続を使用して、ネットワーク化された環境で処理することができる。リモートコンピュータ１８０は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、または他の一般的なネットワークノードとすることができ、通常は、上でコンピュータ１１０に関して説明した要素の多くまたはすべてが含まれるが、図１には、メモリストレージデバイス１８１だけを示した。図１に示された論理接続に、ローカルエリアネットワーク（ＬＡＮ）１７１およびワイドネットワーク（ＷＡＮ）１７３が含まれるが、他のネットワークも含めることができる。そのようなネットワーキング環境は、オフィス、会社全体のコンピュータネットワーク、イントラネット、およびインターネットでありふれたものである。
【００４６】
ＬＡＮネットワーキング環境で使用されるときに、コンピュータ１１０は、ネットワークインターフェースまたはネットワークアダプタ１７０を介してＬＡＮ１７１に接続される。ＷＡＮネットワーキング環境で使用されるときに、コンピュータ１１０に、通常は、インターネットなどのＷＡＮ１７３を介する通信を確立する、モデム１７２または他の手段が含まれる。モデム１７２は、内蔵または外付けとすることができるが、ユーザ入力インターフェース１６０または他の適当な機構を介してシステムバス１２１に接続することができる。ネットワーク化された環境では、コンピュータ１１０に関して図示されたプログラムモジュールまたはその一部を、リモートメモリストレージデバイスに保管することができる。制限ではなく例として、図１に、メモリデバイス１８１に常駐するものとしてリモートアプリケーションプログラム１８５を示す。図示のネットワーク接続が例示的であり、コンピュータの間の通信リンクを確立する他の手段を使用できることを諒解されたい。
【００４７】
例示的なオペレーティング環境を説明し終えたので、この説明セクションの残りの部分は、本発明を実施するプログラムモジュールの説明に充てる。一般に、本発明にかかるシステムおよび方法は、各フレームの露光を変更しながらキャプチャされたビデオイメージシーケンスからハイダイナミックレンジ（ＨＤＲ）ビデオを生成することを含む。一般に、これは、図２の高水準なフローチャートに示されているように、次の処理動作を介して達成される。
【００４８】
ａ）ビデオの前のフレームのピクセル明るさ分布の関数として短露光および長露光を示すフレームの間で交番するために各フレームの露光を変更しながらビデオイメージシーケンスをキャプチャすること（処理動作２００）；
ｂ）指定された個数の開始フレームの後のビデオのフレームごとに、検討中のフレームと前後の両方の隣接フレームとの間の対応するピクセルを識別すること（処理動作２０２）；
ｃ）対応するピクセルセットのそれぞれについて、信頼に値するピクセルを表すセット内の少なくとも１つのピクセルを識別し、次に、ピクセルのそのセットの放射輝度を計算するために各セットの信頼に値するピクセルに関連するピクセルカラー情報を使用し、したがって、ＨＤＲビデオのフレームを表す放射輝度マップを形成すること（処理動作２０４）；および
ｄ）放射輝度マップをレンダリングおよび表示に適するＨＤＲフレームの８ビット表現に変換するためにトーンマッピング手順を実行すること（処理動作２０６）。
【００４９】
（２．０  リアルタイム露光制御）  
通常のビデオカメラの自動利得制御（ＡＧＣ）は、シーンの明るさを測定し、適当な露光を計算する。ほとんどのシーンが、カメラの８ビット毎ピクセルセンサによってキャプチャできるものより広いダイナミックレンジを有する。これゆえに、露光セッティングにかかわりなく、一部のピクセルが飽和し、一部のピクセルが露光過少になる。より広いダイナミックレンジをキャプチャするために、本発明のＨＤＲビデオシステムは、フレームごとの基礎で露光セッティングを変更する。全般的なアイデアは、シーンの暗い領域と明るい領域を適当に露光する異なる値の間でセッティングを順番に並べることである。後述する後処理ステップで、これらの異なる露光のフレームを組み合わせる。
【００５０】
多くの静止画カメラが、現在、オートブラケット（ａｕｔｏ  ｂｒａｃｋｅｔ）を可能にしている。シーンをオートブラケットするときに、カメラは、現在の測光モードを介して正しい露光を判定し、次に、短露光および長露光でシーンをさらにキャプチャする。本発明のＨＤＲビデオシステムは、固定された複数の中露光でブラケットするのではなく、シーンにより適する露光のセットが自動的に判定されるという点で、この手法を変更したものである。
【００５１】
例えば、テストされた実施形態で、プログラマブル制御ユニットを有する従来のデジタルビデオカメラが使用された。このカメラのファームウェアを、４つのシャッタ（ＣＣＤ積分時間）レジスタおよび利得（ＡＤＣ利得）レジスタのバンクを有するように更新した。通常処理中に、このカメラは、すべてのフレーム時間に異なるレジスタセットを使用してバンクを通るラウンドロビンを行う。さらに、このカメラは、すべてのフレームに現在のセッティングのタグを付け、その結果、放射マップ計算中にこれらを使用することができるようになっている。このキャプチャフェーズのテストされた環境では、カメラのすべての現在のセッティングが、キャプチャされる各フレームにメタデータとしてタグ付けされた。リアルタイムＡＧＣアルゴリズムが、４つのセッティングの次のグループを決定する。露光セッティングは、２つの異なる値の間で交番する。具体的に言うと、適当な露光が、シーン統計から自動的に決定され、シーン統計は、サブサンプリングされたフレームに対して計算される。フレームのすべての部分が、同等の重みを付けられる。なぜならば、ＨＤＲイメージ生成において、目標が、通常、すべての位置でトーン詳細を提供することであるからである。２つの露光は、シーン変化を反映するために継続的に更新される。このカメラによってキャプチャされた連続するフレームの対の例を、図３に示し、放射輝度空間での対応するヒストグラムを、図４に示す。図４の左側のプロットは、図３の左側に示された長露光フレームに対応し、図４の右側のプロットは、図３の右側に示された短露光フレームに対応する。図３および４から、単一露光が、このシーンの放射輝度範囲をキャプチャするのに不十分であることは明らかである。しかし、この２つのプロットの組合せが、１つの露光がキャプチャできるものより広い放射輝度範囲にまたがることに留意されたい。この観察は、これから説明するように、本発明で有利に使用される。
【００５２】
本発明のＨＤＲビデオシステムは、長露光と短露光の間の露光比が最小化されると同時に、シーン放射輝度のより広い範囲に対処できるように設計されている。これによって、両方のフレームでのマッチングに有用なピクセル数が増える。
【００５３】
図５Ａ〜Ｂを参照すると、後続フレームのキャプチャに使用される露光セッティングの計算の第１ステップは、直前の既にキャプチャされたフレームの対のそれぞれの強度ヒストグラムを計算することである（処理動作５００）。システムは、このヒストグラムを複数のプログラム可能な制約と共に使用して、同一個数のフレームの後続露光セッティングを計算する。この制約は、最大露光比、露光過多（飽和）ターゲットピクセルカウント、および露光過少（黒）ターゲットピクセルカウントである。本発明のＨＤＲ生成処理のテストされた実施形態では、最大露光比に１６が設定され、露光過多ターゲットピクセルカウントにピクセルの総数の１％が設定され、露光過少ターゲットピクセルカウントにもピクセルの総数の１％が設定された。しかし、本発明が、テストされた環境で使用された値に制限されることは意図されていない。例えば、最大露光比は、約１から約３２までの範囲内で設定することができる。同様に、露光過多ターゲットピクセルカウントは、約１から５％の範囲内で設定することができ、このターゲットカウントは、検討中のフレームに示されたシーンが比較的暗いときにより多くすることができる。露光過少ターゲットピクセルカウントも、約１から５％の範囲内で設定することができる。この後者の場合に、このターゲットカウントは、検討中のフレームに示されたシーンが比較的明るいときにより大きく設定することができる。
【００５４】
これからキャプチャされる類似する個数の後続フレームの露光セッティングを計算するために分析される前にキャプチャされたフレームの前述の対が、この処理を開始するために少数（すなわち、少なくとも２つ）のフレームがキャプチャされることを必要とすることに留意されたい。これらの初期フレームは、カメラの通常の露光セッティング特徴（「中間」露光セッティングを選択する）を使用してキャプチャすることができ、あるいは、露光値の指定されたセットがシステムをブートストラップすることができる。
【００５５】
自動利得処理の次の説明では、分析されるフレームの指定された個数が、２であると仮定する。これは、通常の応用例によい選択である。しかし、キャプチャされるシーンが、晴れた日に外を見る暗い屋内のシーンなど、非常に広い明るさの範囲を示すことがわかっている場合には、２つの露光だけを使用することが適当でない可能性がある。連続するフレームの露光ギャップを増やすことによって、このダイナミックレンジがよりよくキャプチャされるが、後述するイメージ見当合わせ手順が、よりもろくなり、中間調でのイメージノイズの増加につながる。３つ以上の露光を使用することが、もう１つの選択肢であるが、類似する露光（見当合わせが成功の最もよい可能性を有する）が、時間的に離れ、やはり、潜在的な見当合わせおよび補間の問題につながる。したがって、非常に広い明るさの範囲が予想されない限り、２つの露光の分析が、前述の問題を避けるために好ましい。
【００５６】
もう一度図５Ａ〜Ｂを参照すると、この処理は、処理動作５０２で、最後にキャプチャされた２つのフレームに関連する露光セッティングが等しい（例えば、長露光セッティング値／短露光セッティング値の比が１である）かどうかを判定することによって継続される。これらが等しい場合には、短露光フレームについて、露光過多ピクセルカウント（例えば、しばしば飽和ピクセルと呼ばれる、強度の通常の８ビット表現で２５５と等しい強度値を有するピクセルの個数）が、前述の露光過多ピクセルカウントターゲット未満であるかどうかと、短露光フレームの露光過少ピクセルカウント（例えば、しばしば黒ピクセルと呼ばれる、強度の通常の８ビット表現で約１６以下の強度値を有するピクセルの個数）が、前述の露光過少ピクセルターゲットカウント未満であるかどうかも判定される（処理動作５０４）。そうである場合に、次にキャプチャされる短露光フレームおよび長露光フレームの対の新しい露光セッティングが選択され、検討中の適当なフレームに関連するヒストグラムが、ピクセル値の範囲内でセンタリングされるようにする（処理動作５０６）。これは、次の式を使用することによって達成される。  
【００５７】
【数１】
0004397048.tif 000002
【００５８】
ここで、Ｆｒｅｓｐｏｎｓｅは、フレームをキャプチャするのに使用されるカメラの応答関数であり、Ｆｒｅｓｐｏｎｓｅ（１２８）は、ピクセル値の範囲の中央でのカメラの応答を表し（０〜２５５の明るさレベルの８ビット表現を仮定する）、Ｆｒｅｓｐｏｎｓｅ（ｘ）は、明るさレベル「ｘ」（この場合には、前述の明るさヒストグラムが現在センタリングされているレベルに対応する）でのカメラの応答を表し、ｅｘｐ０は、検討中のフレームに関連する露光レベルであり、ｅｘｐ１は、新しい露光レベルである。次に、この修正された露光セッティングを適用して、ビデオの次の２フレームをキャプチャする（処理動作５０８）。任意の適当な処理を使用することができるが、本発明のＨＤＲビデオ生成システムのテストされた実施形態では、Ｆｒｅｓｐｏｎｓｅが非特許文献６に記載の処理を使用して計算されたことに留意されたい。
【００５９】
しかし、処理動作５０２または５０４のいずれかの前述の条件が満たされない場合に、処理動作５１０で、短露光セッティングを有するフレームについて、露光過多カウントがそのターゲットカウントよりはるかに少ない（例えば、露光過多ターゲットカウントが約１％に設定されている場合に、フレーム内のピクセルの総数の約０．２５％）かどうかを判定する。そうでない場合には、短露光セッティング値（すなわち、検討中のフレームの対の短露光フレームに割り当てられた露光時間）は変更されない。しかし、露光過多カウントが、そのターゲットカウントよりはるかに少ないことがわかった場合には、短露光セッティング値を増やす（処理動作５１２）。これは、次の式を使用して新しい短露光セッティングを計算することによって達成される。  
【００６０】
【数２】
0004397048.tif 000003
【００６１】
ここで、Ｆｒｅｓｐｏｎｓｅ（２５５）は、明るさ飽和レベルでのカメラの応答を表し（０〜２５５の明るさレベルの８ビット表現を仮定する）、Ｆｒｅｓｐｏｎｓｅ（ｘ９９％）は、明るさレベル「ｘ９９％」（最小値から始めて明るさレベルによって順序付けられたときにピクセルの最初の９９％の間で得られる最高レベル）でのカメラの応答を表し、ｅｘｐ０ｓｈｏｒｔは、短露光値を有するフレームに関連する露光レベルであり、ｅｘｐ１ｓｈｏｒｔは、新しい短露光レベルである。ｘ９９％値を判定する簡単な形の１つが、短露光フレームの累算ヒストグラムを計算することである。
【００６２】
短露光セッティングが変更されるか否かにかかわりなく、次に、処理動作５１４で、長露光フレームの露光過少カウントが、そのターゲットよりはるかに少ない（例えば、過少露光ターゲットカウントが約１％に設定されている場合に、フレームのピクセルの総数の約０．２５％）かどうかを判定する。そうでない場合に、長露光セッティング値（すなわち、検討中のフレームの対の長露光フレームに割り当てられた露光時間）は、変更されない。しかし、露光過少カウントがそのターゲットよりはるかに少ないと判定される場合には、長露光セッティング値を減らす（処理動作５１６）。これは、次の式を使用して新しい長露光セッティングを計算することによって達成される。  
【００６３】
【数３】
0004397048.tif 000004
【００６４】
ここで、Ｆｒｅｓｐｏｎｓｅ（ＢｌｋＶａｌｕｅ）は、黒ピクセルに関連する明るさレベル（通常は明るさレベルの８ビット表現で約１６以下）でのカメラの応答を表し、Ｆｒｅｓｐｏｎｓｅ（ｘ１％）は、明るさレベル「ｘ１％」（最小値から始めて明るさレベルによって順序付けられたときにピクセルの最初の１％の間で得られる最高のレベル）でのカメラの応答を表し、ｅｘｐ０ｌｏｎｇは、長露光値を有するフレームに関連する露光レベルであり、ｅｘｐ１ｌｏｎｇは、新しい長露光レベルである。ｘ１％値を判定する簡単な形が、長露光フレームの累算ヒストグラムを計算することである。
【００６５】
長露光セッティングが変更されるか否かにかかわらず、次に、処理動作５１８で、変更されたものであろうとなかろうと、長短の露光フレームの露光セッティングの比（例えば、長露光セッティング値／短露光セッティング値）が、前述の指定された最大に許容される比（Ｒ）以上であるかどうかを判定する。そうである場合には、次にキャプチャされる２つのフレームにそれぞれ割り当てられた長短の露光セッティングを、検討中の長短の露光フレームの露光過多ピクセルカウントと露光過少ピクセルカウントのバランスをとると同時に最大比を超えないように選択する（処理動作５２０）。このバランスは、次のように達成される。本質的に、新しい露光過多ピクセルカウント（Ｓａｔｎｅｗ）が、まず、次の式を使用して、検討中のフレームの対の短露光セッティングでキャプチャされたフレームに関連するヒストグラムから計算される。  
Satnew=Satold+(Blkold-Satold)/2=Satold/2+Blkold/2      （４）
ここで、Ｓａｔｏｌｄは、短露光フレームの露光過多ピクセルカウントであり、Ｂｌｋｏｌｄは、長露光フレームの露光過少ピクセルカウントである。次に、新しい露光過多カウント（Ｓａｔｎｅｗ）を使用して、短露光フレームに関連する前述の累算ヒストグラムでＳａｔｎｅｗを見つけ、対応する明るさレベルを読み取ることによって、明るさレベル（ｘＳａｔｎｅｗ）を判定する。次に、これからキャプチャされる短露光フレームの新しい露光レベルを、次式を使用して計算する。  
【００６６】
【数４】
0004397048.tif 000005
【００６７】
短露光フレームの新しい露光レベルを計算したならば、これからキャプチャされる長露光フレームの新しい露光値は、
ｅｘｐ１ｌｏｎｇ＝ｅｘｐ１ｓｈｏｒｔ×Ｒ      （６）
として確立される。しかし、処理動作５１８で、長短の露光フレームの露光セッティングの比が指定された最大値（Ｒ）以上でないと判定された場合には、異なる手順を使用する。すなわち、まず、短露光フレームの露光過多カウントが露光過多ターゲットカウントより多いかどうかを判定する（処理動作５２２）。そうである場合には、短露光セッティング値を減らす（処理動作５２４）。この場合に、指定された減少「バンプ」スケジュールを使用する。これには、現在検討中の対の直前の短露光フレームの処理に関連して短露光セッティング値が減らされなかった場合に、短露光セッティングを第１の指定された量（例えば、この手順のテストされた実施形態では１０％）だけ減らすことが含まれる。言い換えると、この短露光値減少手順が、前述の前フレームを処理するときに使用されなかった場合に、第１の指定された減少量が、短露光セッティングに適用される。しかし、減少が、前述の前の短露光フレームに適用された場合には、異なる減少量が適用される。更新された減少量は、次のように計算される。露光過多カウントが、前のフレームに対して変化しなかったか増えた場合には、減少量を、前の量に対して２倍にする（例えば、テストされた実施形態では、１０％、２０％、４０％、．．．１００％の最大値まで）。しかし、露光過多カウントが、実際に減少したが、まだターゲットカウントに達していない場合には、短露光セッティングを、やはり最も最近に使用された減少量だけ減らす。最後に、ターゲットカウントに達した場合には、「バンプ」スケジュールを終了する。前述の減少手順を実装するために、この手順の後続反復で減少量を決定するのに使用するために、各連続する減少イベントを記録し、保管しなければならないことに留意されたい。
【００６８】
短露光セッティングを減らした後、または露光過多カウントがターゲットカウントを超えなかったと判定された場合に、次に、長露光フレームの露光過少カウントが、そのターゲットカウントを超えるかどうかを判定する（処理動作５２６）。そうである場合には、長露光セッティング値を増やす（処理動作５２８）。指定された増加「バンプ」スケジュールが使用されるという点で類似する手順を使用する。これには、長露光セッティング値が現在検討中の対の直前の長露光フレームの処理に関連して増やされなかった場合に、長露光セッティングを第１の指定された量（例えば、この手順のテストされた実施形態では１０％）だけ増やすことが含まれる。しかし、増加が、前述の前の長露光フレームに適用された場合には、異なる増加量を適用する。更新された増加量は、次のように計算される。露光過少カウントが、前のフレームに対して変化しなかったか増えた場合には、増加量を、前の量に対して２倍にする（例えば、テストされた実施形態では、１０％、２０％、４０％、．．．１００％の最大値まで）。しかし、露光過少カウントが、実際に増えたが、まだターゲットカウントに達していない場合には、長露光セッティングを、やはり最も最近に使用された増加量だけ増やす。最後に、ターゲットカウントに達した場合には、「バンプ」スケジュールを終了する。したがって、この場合も、前述の増加手順に関して、この手順の後続反復で増加量を決定するのに使用するために、各連続する増加イベントを記録し、保管しなければならない。
【００６９】
長露光セッティングを増やした後、または露光過少カウントがターゲットカウントを超えなかったと判定された場合に、次に、処理動作５３０で、露光セッティングの前述の比が、指定された最大比（Ｒ）以上であるかどうかを判定する。そうである場合には、上述したバランシング手順を使用して、次にキャプチャされる２つのフレームにそれぞれ割り当てられる長短の露光セッティングを、この２つのカウントのバランスをとると同時に最大比を超えないように選択する（処理動作５３２）。次に、修正された露光セッティングを適用して、ビデオの次の２フレームをキャプチャする（処理動作５０８）。しかし、長短の露光フレームの露光セッティングの比が指定された最大値（Ｒ）以上でないと判定された場合には、露光セッティングはこれ以上変更されず、この未変更のセッティングが、ビデオのフレームの次の対のキャプチャに使用される（処理動作５０８）。
【００７０】
前述の処理は、ビデオのキャプチャされるフレームの対ごとに繰り返される。したがって、上で示したように、ビデオのフレームは、終始、短露光フレームと長露光フレームの間で交番する。最終的なＨＤＲビデオは、次のセクションで説明するように、時間的に変化する露光のフレームを使用して、このプリカーサビデオから生成される。
【００７１】
（３．０  ＨＤＲステッチ（ＨＤＲ  ｓｔｉｔｃｈｉｎｇ））  
上述したプリカーサビデオのフレームは、時間的に変化する露光を用いてキャプチャされるので、所与のときのＨＤＲフレームの生成は、隣接フレームからのピクセルカラー情報の転送を必要とする。これは、異なるフレームにまたがるピクセル対応が非常に正確であることを必要とする。ピクセル対応を計算し、隣接フレームからカラー情報を転送し、ＨＤＲイメージを抽出する処理を、ＨＤＲステッチと称する。
【００７２】
プリカーサビデオに、交番する長露光フレームおよび短露光フレームが含まれる。ＨＤＲステッチの第１ステップは、すべての瞬間の長露光フレームおよび短露光フレームのセットを生成し、その結果、放射輝度マップをこのセットから計算できるようにすることである。これは、ワープ処理を使用して、欠けている露光を合成することによって達成されることが好ましい。
【００７３】
具体的に言うと、ＨＤＲステッチ処理は、４つのワープされたフレームを生成する。検討中のフレームが長露光フレームである場合には、４つのワープされたフレームは、左右の隣接フレームからの両方向ワープ（補間）された短露光フレーム（
【００７４】
【数５】
0004397048.tif 000006
【００７５】
および
【００７６】
【数６】
0004397048.tif 000007
【００７７】
）、単一方向ワープされた短露光左フレーム
【００７８】
【数７】
0004397048.tif 000008
【００７９】
、および単一方向ワープされた短露光右フレーム
【００８０】
【数８】
0004397048.tif 000009
【００８１】
である。検討中の現在のフレームが、短露光フレームである場合には、４つのワープされたフレームは、左右の隣接フレームからの両方向ワープ（補間）された長露光フレーム（
【００８２】
【数９】
0004397048.tif 000010
【００８３】
および
【００８４】
【数１０】
0004397048.tif 000011
【００８５】
）、単一方向ワープされた長露光左フレーム
【００８６】
【数１１】
0004397048.tif 000012
【００８７】
、および単一方向ワープされた長露光右フレーム
【００８８】
【数１２】
0004397048.tif 000013
【００８９】
である。これらのワープされたフレームによって表される冗長性が、後に、見当合わせ誤差に対する許容範囲を増やすのに利用される。前述のフレーム表記では、Ｓが、短露光フレームを指し、Ｌが、長露光フレームを指し、Ｆが、順方向ワープされたフレームを指し、Ｂが、逆方向ワープされたフレームを指し、ｋが、フレームの時間インデックスを指す。
【００９０】
まず、検討中のプリカーサビデオの現在のフレームが、長露光でキャプチャされＬｋ、隣接フレームが短露光でキャプチャされた（Ｓｋ−１およびＳｋ＋１）と仮定する。図６の処理のフローチャートを参照すると、ＨＤＲステッチ処理の最初のフェーズで、これらの前後のフレームが、従来の順方向および逆方向のマッチング方法およびワーピングを使用して現在のフレームに見当合わせされる（処理動作６０２）。しかし、これは、長露光フレームの強度範囲に実質的に一致するように前後のフレームの強度をブースト（処理動作６００）した後に限って行われる。ワープされた前後のフレームが、それぞれ前述の
【００９１】
【数１３】
0004397048.tif 000014
【００９２】
フレームおよび
【００９３】
【数１４】
0004397048.tif 000015
【００９４】
フレームである。短露光フレームが、見当合わせ処理を容易にするために長露光フレームに一致するように強度をブーストされることに留意されたい。イメージをブーストする際に、各ピクセルの強度または色に、１を超える係数をかける。長露光フレームの飽和領域のピクセル強度の不一致を避けるために、長露光フレームをダウンスケールするのではなく、短露光フレームをブーストすることが好ましい。短露光フレームは、長露光フレームの飽和領域の詳細の消失と一致するようにブーストされる。ブーストされたイメージが、これから説明するように、フローフィールドの計算に使用されるだけであることにも留意されたい。これらは、ブースト処理で導入されるノイズに起因して、放射輝度マップの計算には使用されない。
【００９５】
ＨＤＲステッチ処理の第２フェーズでは、図７に図表的に示され、図６に処理単位で示されているように、プリカーサビデオからの３つのすべての入力フレームを使用して、前述の両方向ワープされたフレーム
【００９６】
【数１５】
0004397048.tif 000016
【００９７】
および
【００９８】
【数１６】
0004397048.tif 000017
【００９９】
を計算する。隣接露光（この事例ではＳｋ−１（７００）およびＳｋ＋１（７０２）に関連する）が同一の場合には、ＨＤＲステッチ処理が、次のように開始される。
【０１００】
１．フレームＳｋ−１およびＳｋ＋１を使用し、これから短く説明する傾きベースの処理を使用して、両方向フローフィールド（Ｓｋ−１（７００）の順方向ワープｆｋ，Ｆ（７０４）およびＳｋ＋１（７０２）の逆方向ワープｆｋ，Ｂ（７０６））を計算する（処理動作６０４）。次に、これらのフローフィールドを使用して、処理動作６０６では、それぞれのイメージをワープして、２つのイメージすなわち
【０１０１】
【数１７】
0004397048.tif 000018
【０１０２】
（７０８）および
【０１０３】
【数１８】
0004397048.tif 000019
【０１０４】
（７１０）を作る。処理動作６０８では、これらのイメージを組みわせて、中間イメージ（すなわち、前述の両方向ワープされ補間されたフレーム
【０１０５】
【数１９】
0004397048.tif 000020
【０１０６】
（７１２））を作る。この中間イメージは、外見においてＬｋ（７１４）に近いものでなければならない。
【０１０７】
２．次に、処理動作６１０では、
【０１０８】
【数２０】
0004397048.tif 000021
【０１０９】
（７１２）の個々のピクセル強度を、Ｌｋ（７１４）の対応するピクセルと一致するようにブーストして、イメージ
【０１１０】
【数２１】
0004397048.tif 000022
【０１１１】
（７１６）を作る。
【０１１２】
３．処理動作６１２では、（短く説明する）階層グローバル見当合わせ処理を使用して、
【０１１３】
【数２２】
0004397048.tif 000023
【０１１４】
（７１６）をＬｋ（７１４）に最もよく写像するリファイニングフロー
【０１１５】
【数２３】
0004397048.tif 000024
【０１１６】
（７１８）を計算する。次に、処理動作６１４では、リファイニングフロー
【０１１７】
【数２４】
0004397048.tif 000025
【０１１８】
（７１８）を使用して、それぞれ、ｆｋ，Ｆ（７０４）およびｆｋ，Ｂ（７０６）と組み合わせて、コンポジットフロー
【０１１９】
【数２５】
0004397048.tif 000026
【０１２０】
（７２４）および
【０１２１】
【数２６】
0004397048.tif 000027
【０１２２】
（７２５）を作り、次に、これらを使用して、Ｓｋ−１（７００）をワープして
【０１２３】
【数２７】
0004397048.tif 000028
【０１２４】
（７２２）を作り、Ｓｋ＋１（７０２）をワープして
【０１２５】
【数２８】
0004397048.tif 000029
【０１２６】
（７２０）を作る。
【０１２７】
イメージ
【０１２８】
【数２９】
0004397048.tif 000030
【０１２９】
、および
【０１３０】
【数３０】
0004397048.tif 000031
【０１３１】
を一緒に使用して、下で短く説明するように、時刻ｋのＨＤＲイメージを計算する。
【０１３２】
前後の露光が互いに異なる場合に、変更された手順を使用して、
【０１３３】
【数３１】
0004397048.tif 000032
【０１３４】
および
【０１３５】
【数３２】
0004397048.tif 000033
【０１３６】
を計算する。この変更された手順では、
【０１３７】
【数３３】
0004397048.tif 000034
【０１３８】
を計算する前に、前後のフレームのうちで短露光のフレームの強度が、他方のイメージに一致するようにブーストされる。したがって、
【０１３９】
【数３４】
0004397048.tif 000035
【０１４０】
は、ｅｘｐＳｋ−１＞ｅｘｐＳｋ＋１の場合にはＳｋ−１およびＳｋ＋１Ｂｏｏｓｔ、またはｅｘｐＳｋ−１＜ｅｘｐＳｋ＋１の場合にはＳｋ＋１およびＳｋ−１Ｂｏｏｓｔを使用して計算される。ｆｋＦ、ｆｋＢ、および
【０１４１】
【数３５】
0004397048.tif 000036
【０１４２】
を計算したならば、Ｓｋ−１をワープして、
【０１４３】
【数３６】
0004397048.tif 000037
【０１４４】
を使用して
【０１４５】
【数３７】
0004397048.tif 000038
【０１４６】
を作り、およびＳｋ＋１をワープして、
【０１４７】
【数３８】
0004397048.tif 000039
【０１４８】
を使用して
【０１４９】
【数３９】
0004397048.tif 000040
【０１５０】
を作る。したがって、
【０１５１】
【数４０】
0004397048.tif 000041
【０１５２】
および
【０１５３】
【数４１】
0004397048.tif 000042
【０１５４】
は、異なる露光を関連付けられる。
【０１５５】
したがって、図８の図および図９Ａ〜Ｂのフローチャートを参照すると、検討中のプリカーサビデオの現在のフレームが長露光でキャプチャされＬｋ、隣接フレームが短露光でキャプチャされ（Ｓｋ−１（８００）およびＳｋ＋１（８０２））、前後の露光が互いに異なる場合に、ＨＤＲステッチ処理は、次のようになる。
【０１５６】
１．この処理の最初のフェーズでは、長露光を有する現在のフレームと一致するように前後のフレームの強度をブーストする（処理動作９００）。次に、従来の順方向および逆方向のワーピングを使用して、これらのフレームを現在のフレームと見当合わせする（処理動作９０２）。ワープされた前後のフレームは、それぞれ前述の
【０１５７】
【数４２】
0004397048.tif 000043
【０１５８】
フレームおよび
【０１５９】
【数４３】
0004397048.tif 000044
【０１６０】
フレームである。
【０１６１】
２．次に、ｅｘｐＳｋ−１＞ｅｘｐＳｋ＋１またはｅｘｐＳｋ−１＜ｅｘｐＳｋ＋１のどちらであるかを判定する（処理動作９０４）。ｅｘｐＳｋ−１＜ｅｘｐＳｋ＋１であると判定された場合には、処理動作９０６で、Ｓｋ＋１（８０２）の強度範囲と一致するようにＳｋ−１（８００）をブーストし、これによってＳｋ−１Ｂｏｏｓｔ（８０４）を作る。しかし、ｅｘｐＳｋ−１＞ｅｘｐＳｋ＋１であることがわかった場合には、処理動作９０８で、Ｓｋ−１（８００）の強度範囲と一致するようにＳｋ＋１（８０２）をブーストし、これによってＳｋ＋１Ｂｏｏｓｔ（８０６）を作る。前述のブースト手順の交番する性質が、図８で破線の箱を使用して表されていることに留意されたい。
【０１６２】
３．両方向フローフィールド（Ｓｋ−１（８００）の順方向ワープｆｋ，Ｆ（８０８）およびＳｋ＋１（８０２）の逆方向ワープｆｋ，Ｂ（８１０）を、前述の傾きベース処理を使用して計算する（処理動作９１０）。次に、これらのフローフィールドを使用してそれぞれのイメージをワープして、処理動作９１２で２つのイメージすなわち
【０１６３】
【数４４】
0004397048.tif 000045
【０１６４】
（８１２）および
【０１６５】
【数４５】
0004397048.tif 000046
【０１６６】
（８１４）を作る（添字指定（Ｂｏｏｓｔ）は、イメージが強度ブーストされたフレームに基づく場合とそうでない場合があることを示す）が、このうちの１つは、プリカーサビデオからのオリジナルフレームのブーストされたバージョンに基づく。これらのイメージを処理動作９１４で組み合わせて、中間イメージ（すなわち、前述の両方向ワープされたフレーム
【０１６７】
【数４６】
0004397048.tif 000047
【０１６８】
（８１６））を作る。この中間イメージは、外見においてＬｋ（８１８）に近いものでなければならない。
【０１６９】
４．次に、
【０１７０】
【数４７】
0004397048.tif 000048
【０１７１】
（８１６）の個々のピクセル強度を、処理動作９１６でＬｋ（８１８）の対応するピクセルに一致するようにブーストして、イメージ
【０１７２】
【数４８】
0004397048.tif 000049
【０１７３】
（８２０）を作る。
【０１７４】
５．前述の階層グローバル見当合わせ処理を処理動作９１８で使用して、
【０１７５】
【数４９】
0004397048.tif 000050
【０１７６】
（８２０）をＬｋ（８１８）に最もよく写像するリファイニングフロー
【０１７７】
【数５０】
0004397048.tif 000051
【０１７８】
（８２２）を計算する。
【０１７９】
６．リファイニングフロー
【０１８０】
【数５１】
0004397048.tif 000052
【０１８１】
（８２２）をｆｋ，Ｆ（８０８）およびｆｋ，Ｂ（８１０）と組み合わせて、コンポジットフロー
【０１８２】
【数５２】
0004397048.tif 000053
【０１８３】
（８３４）および
【０１８４】
【数５３】
0004397048.tif 000054
【０１８５】
（８３５）を作り、次に、これらを使用して、Ｓｋ−１（８００）をワープして
【０１８６】
【数５４】
0004397048.tif 000055
【０１８７】
（８３０）を作り、Ｓｋ＋１（８０２）をワープして
【０１８８】
【数５５】
0004397048.tif 000056
【０１８９】
（８２８）を作る（処理動作９２０）。
【０１９０】
前と同様に、イメージＬｋ、
【０１９１】
【数５６】
0004397048.tif 000057
【０１９２】
、および
【０１９３】
【数５７】
0004397048.tif 000058
【０１９４】
を一緒に使用して、時刻ｋのＨＤＲイメージを計算する。
【０１９５】
この手順は、検討中のプリカーサビデオのフレームが、短露光でキャプチャされＳｋ、隣接フレームが長露光でキャプチャされた（Ｌｋ−１およびＬｋ＋１）逆の条件について類似する。図１０の処理のフローチャートを参照すると、ＨＤＴステッチ処理の最初のフェーズで、これらの前後のフレームが、従来の順方向および逆方向のワーピングを使用して、現在のフレームに見当合わせされる。結果のワープされた前後のフレームは、それぞれ前述の
【０１９６】
【数５８】
0004397048.tif 000059
【０１９７】
フレームおよび
【０１９８】
【数５９】
0004397048.tif 000060
【０１９９】
フレームである。具体的に言うと、Ｓｋを、まず、Ｌｋ−１の強度範囲に一致するようにブーストし（処理動作１０００）、その後、順方向ワープして
【０２００】
【数６０】
0004397048.tif 000061
【０２０１】
を作り（処理動作１００２）、Ｓｋを、Ｌｋ＋１の強度範囲に一致するようにブーストし（処理動作１００４）、その後、逆方向ワープして
【０２０２】
【数６１】
0004397048.tif 000062
【０２０３】
を作る（処理動作１００６）。
【０２０４】
この処理の第２フェーズでは、前述の両方向ワープされたフレーム
【０２０５】
【数６２】
0004397048.tif 000063
【０２０６】
を、図１１に図表的に示され、図１２に処理単位で示されているように、隣接露光（この事例ではＬｋ−１（１１００）およびＬｋ＋１（１１０２）に関連する）が同一である場合について、プリカーサビデオからの３つすべての入力フレームを使用して計算する。具体的に言うと、ＨＤＲステッチ処理は、次のように開始される。
【０２０７】
１．前述の傾きベース処理を使用して、両方向フローフィールド（Ｌｋ−１（１１００）の順方向ワープｆｋ，Ｆ（１１０４）およびＬｋ＋１（１１０２）の逆方向ワープｆｋ，Ｂ（１１０６））を計算する（処理動作１２００）。次に、処理動作１２０２で、これらのフィールドを使用してそれぞれのイメージをワープして、２つのイメージすなわち
【０２０８】
【数６３】
0004397048.tif 000064
【０２０９】
（１１０８）および
【０２１０】
【数６４】
0004397048.tif 000065
【０２１１】
（１１１０）を作る。処理動作１２０４でこれらのイメージを組み合わせて、中間イメージ（すなわち、前述の両方向ワープされたフレーム
【０２１２】
【数６５】
0004397048.tif 000066
【０２１３】
（１１１２））を作る。この中間イメージは、外見において、Ｓｋ（１１１４）の前述の強度ブーストされたバージョンに近いものでなければならない。
【０２１４】
２．次に、処理動作１２０６で、Ｌｋ−１（１１００）およびＬｋ＋１（１１０２）のピクセル強度と一致するように、Ｓｋ（１１１４）の個々のピクセル強度をブーストする。この処理によって、イメージ
【０２１５】
【数６６】
0004397048.tif 000067
【０２１６】
（１１１６）が作られる。
【０２１７】
３．処理動作１２０８で、前述の階層グローバル見当合わせ処理を使用して、
【０２１８】
【数６７】
0004397048.tif 000068
【０２１９】
（１１１２）を
【０２２０】
【数６８】
0004397048.tif 000069
【０２２１】
（１１１６）に最もよく写像するリファイニングフロー
【０２２２】
【数６９】
0004397048.tif 000070
【０２２３】
（１１１８）を計算する。リファイニングフロー
【０２２４】
【数７０】
0004397048.tif 000071
【０２２５】
（１１１８）をｆｋ，Ｆ（１１０４）およびｆｋ，Ｂ（１１０６）と組み合わせて、コンポジットフロー
【０２２６】
【数７１】
0004397048.tif 000072
【０２２７】
（１１２４）および
【０２２８】
【数７２】
0004397048.tif 000073
【０２２９】
（１１２５）を作り、次に、これらのコンポジットフローを使用して、それぞれ、Ｌｋ−１（１１００）をワープして
【０２３０】
【数７３】
0004397048.tif 000074
【０２３１】
（１１２２）を作り、Ｌｋ＋１（１１０２）をワープして
【０２３２】
【数７４】
0004397048.tif 000075
【０２３３】
（１１２０）を作る。
【０２３４】
イメージＳｋ、
【０２３５】
【数７５】
0004397048.tif 000076
【０２３６】
、および
【０２３７】
【数７６】
0004397048.tif 000077
【０２３８】
を一緒に使用して、下で短く説明するように時刻ｋのＨＤＲイメージを計算する。
【０２３９】
前後の露光が互いに異なる場合には、変更された手順を使用して
【０２４０】
【数７７】
0004397048.tif 000078
【０２４１】
および
【０２４２】
【数７８】
0004397048.tif 000079
【０２４３】
を計算する。この変更された手順では、
【０２４４】
【数７９】
0004397048.tif 000080
【０２４５】
を計算する前に、短露光を有する前後のいずれかのフレームの強度を、他方のイメージに一致するようにブーストする。したがって、
【０２４６】
【数８０】
0004397048.tif 000081
【０２４７】
は、ｅｘｐＬｋ−１＞ｅｘｐＬｋ＋１の場合にはＬｋ−１およびＬｋ＋１Ｂｏｏｓｔ、ｅｘｐＬｋ−１＜ｅｘｐＬｋ＋１の場合にはＬｋ＋１およびＬｋ−１Ｂｏｏｓｔを使用して計算される。ｆｋＦ、ｆｋＢ、および
【０２４８】
【数８１】
0004397048.tif 000082
【０２４９】
を計算したならば、Ｌｋ−１をワープして、
【０２５０】
【数８２】
0004397048.tif 000083
【０２５１】
を使用して
【０２５２】
【数８３】
0004397048.tif 000084
【０２５３】
を作り、Ｌｋ＋１をワープして、
【０２５４】
【数８４】
0004397048.tif 000085
【０２５５】
を使用して
【０２５６】
【数８５】
0004397048.tif 000086
【０２５７】
を作る。したがって、
【０２５８】
【数８６】
0004397048.tif 000087
【０２５９】
および
【０２６０】
【数８７】
0004397048.tif 000088
【０２６１】
は、異なる露光を関連付けられる。
【０２６２】
したがって、図１３の図および図１４Ａ〜Ｂの処理フローチャートを参照すると、検討中のプリカーサビデオの現在のフレームが短露光でキャプチャされＳｋ、隣接フレームが長露光でキャプチャされ（Ｌｋ−１（１３００）およびＬｋ＋１（１３０２））、前後の露光が互いに異なる場合に、ＨＤＲステッチ処理の第２フェーズは、次のようになる。
【０２６３】
１．まず、ｅｘｐＬｋ−１＞ｅｘｐＬｋ＋１またはｅｘｐＬｋ−１＜ｅｘｐＬｋ＋１のどちらであるかを判定する（処理動作１４００）。ｅｘｐＬｋ−１＜ｅｘｐＬｋ＋１と判定された場合には、処理動作１４０２で、Ｌｋ＋１（１３０２）の強度範囲と一致するようにＬｋ−１（１３００）をブーストし、これによって、Ｌｋ−１（Ｂｏｏｓｔ）（１３０４）を作る。しかし、ｅｘｐＬｋ−１＞ｅｘｐＬｋ＋１であることがわかった場合には、処理動作１４０４で、Ｌｋ−１（１３００）の強度範囲と一致するようにＬｋ＋１（１３０２）をブーストし、これによってＬｋ＋１Ｂｏｏｓｔ（１３０６）を作る。前述のブースト手順の交番する性質が、図１３で破線の箱を使用することによって表されていることに留意されたい。
【０２６４】
２．両方向フローフィールド（Ｌｋ−１（１３００）の順方向ワープｆｋ，Ｆ（１３０８）およびＬｋ＋１（１３０２）の逆方向ワープｆｋ，Ｂ（１３１０））を、前述の傾きベース処理を使用して計算する（処理動作１４０６）。次に、処理動作１４０８で、これらのフローフィールドを使用してそれぞれのイメージをワープして、２つのイメージすなわち
【０２６５】
【数８８】
0004397048.tif 000089
【０２６６】
（１３１２）および
【０２６７】
【数８９】
0004397048.tif 000090
【０２６８】
（１３１４）を作り（ここで、添字指定（Ｂｏｏｓｔ）は、イメージが強度ブーストされたフレームに基づく場合とそうでない場合があることを示す）が、このうちの１つは、プリカーサビデオからのオリジナルフレームのブーストされたバージョンに基づく。処理動作１４１０で、これらのイメージを組み合わせて、中間イメージ（すなわち、前述の両方向ワープされたフレーム
【０２６９】
【数９０】
0004397048.tif 000091
【０２７０】
（１３１６））を作る。この中間イメージは、以下に説明するように、Ｓｋ（１３１８）の強度ブーストされたバージョンに近いものでなければならない。
【０２７１】
３．次に、処理動作１４１２で、Ｌｋ−１（１３００）およびＬｋ＋１（１３０２）の対応するピクセルの平均値と一致するように、Ｓｋ（１３１８）の個々のピクセル強度をブーストする。この処理によって、イメージ
【０２７２】
【数９１】
0004397048.tif 000092
【０２７３】
（１３２０）が作られる。
【０２７４】
４．処理動作１４１４で、前述の階層グローバル見当合わせ処理を使用して、
【０２７５】
【数９２】
0004397048.tif 000093
【０２７６】
（１３１６）を
【０２７７】
【数９３】
0004397048.tif 000094
【０２７８】
（１３２０）に最もよく写像するリファイニングフロー
【０２７９】
【数９４】
0004397048.tif 000095
【０２８０】
（１３３２）を計算する。
【０２８１】
５．処理動作１４１６で、リファイニングフロー
【０２８２】
【数９５】
0004397048.tif 000096
【０２８３】
（１３２２）をｆｋ，Ｆ（１３０８）およびｆｋ，Ｂ（１３１０）と組み合わせて、コンポジットフロー
【０２８４】
【数９６】
0004397048.tif 000097
【０２８５】
（１３３４）および
【０２８６】
【数９７】
0004397048.tif 000098
【０２８７】
（１３３５）を作る。処理動作１４１８で、コンポジットフローフィールドを使用して、Ｌｋ−１（１３００）をワープして
【０２８８】
【数９８】
0004397048.tif 000099
【０２８９】
（１３３０）を作り、Ｌｋ＋１（１３０２）をワープして
【０２９０】
【数９９】
0004397048.tif 000100
【０２９１】
（１３２８）を作る。
【０２９２】
前と同様に、Ｓｋ、
【０２９３】
【数１００】
0004397048.tif 000101
【０２９４】
、および
【０２９５】
【数１０１】
0004397048.tif 000102
【０２９６】
を使用して、時刻ｋのＨＤＲイメージを計算する。
【０２９７】
（３．１  動き推定）  
前に示したように、両方向フローフィールドｆｋ，Ｆおよびｆｋ，Ｂは、傾きベース処理を使用して計算される。この処理をこれから説明する。フレーム補間に、隣接フレームの対からの情報を使用して中間時刻の欠けている露光を合成することが含まれる。これを行うために、密な動きの一致が、等しい露光（例えば、Ｓｋ−１およびＳｋ＋１）の間で計算され、動き軌跡に沿って順方向および逆方向にピクセル情報をワープして中間イメージ（例えば、
【０２９８】
【数１０２】
0004397048.tif 000103
【０２９９】
）を作るのに使用される。この手順は、Ｌ個の近傍から欠けている
【０３００】
【数１０３】
0004397048.tif 000104
【０３０１】
フレームを生成するのにも使用される。
【０３０２】
本発明の動き推定手順は、次の２ステージからなる。まず、一方を他方に写像するアフィン変換を推定することによって、２つのフレームをグローバルに見当合わせする。次に、傾きベースオプティカルフローを使用して、グローバル変換に対するローカル訂正を形成する密動きフィールドを計算する。
【０３０３】
時刻ｋ−１またはｋ＋１の順方向または逆方向のフローフィールドを計算するのではなく、両方向フィールドを、中間の時刻ｋで計算する。これによって、各補間されたフレームを生成するときの順方向ワープの穴埋め問題（ｈｏｌｅ  ｆｉｌｌｉｎｇ  ｐｒｏｂｌｅｍ）が回避される。出力フレームｋの各ピクセルで、後フレームｋ＋１および前フレームｋ−１をポイントするコンポジットベクトルを得る。これらのベクトルのそれぞれは、アフィン成分およびローカル成分の合計である。アフィン成分は、ｋ−１からｋへまたはｋ＋１からｋへのいずれかにワープするために再スケーリングされたグローバルワープパラメータから導出され、ローカル成分は、対称オプティカルフロー手順によって生成される。
【０３０４】
ローカル動き推定について、ルーカスおよびカナデの処理（Ｌｕｃａｓ  ａｎｄ  Ｋａｎａｄｅ  ｔｅｃｈｎｉｑｕｅ）の変形をラプラシアンピラミッドフレームワークで使用する。デジェネレートフロー（ｄｅｇｅｎｅｒａｔｅ  ｆｌｏｗ）の事例を処理する処理も、合計された偏導関数の行列の固有値を計算し、それが不正に条件付けられているかどうかを判定することによって追加することができる（例えば、非特許文献４参照。）。単にあるソースイメージを各反復で他方のソースイメージに向かって徐々にワープするのではなく、両方のソースイメージを、出力時刻ｋに向かってワープし、残余フローベクトルを、この２つのワープされたイメージの間で推定する。残余が、ピラミッドに累算されるときに、時刻ｋを中心とする対称フローフィールドが生じる。この処理は、ワープ中にグローバルアフィンフローを含め、したがって、累算された残余が、必ずこの非対称グローバルフローに対する対称ローカル訂正に関して表現されるようにすることによって増補される。
【０３０５】
最終的な中間イメージ（すなわち、補間されたフレーム）を得るために、双三次ワープを使用して、時刻ｋ−１およびｋ＋１から出力フレーム内の各位置へ適当なベクトルに沿ってピクセルを転送する。順方向および逆方向にワープされたピクセルが使用可能な場合には、その平均をとる。一方だけが使用可能な場合には、そのピクセル値を、補間されたフレームの対応する位置の値として使用する。両方のソースピクセルがフレームの外にある場合には、０動きベクトルを使用して得られた２つのピクセルの平均をとる。
【０３０６】
（３．２  階層ホモグラフィ）
前に示したように、階層グローバル見当合わせ処理は、リファイニングフロー
【０３０７】
【数１０４】
0004397048.tif 000105
【０３０８】
の計算に使用される。この新規の処理を、これから説明する。一般に、この処理は、補間されたフレーム（すなわち、すべての場合に
【０３０９】
【数１０５】
0004397048.tif 000106
【０３１０】
）と実際のフレーム（すなわち、長露光フレームＬｋまたは短露光フレームの強度ブーストされたバージョン
【０３１１】
【数１０６】
0004397048.tif 000107
【０３１２】
のいずれか）との間の見当合わせをリファインするのに使用される。
【０３１３】
【数１０７】
0004397048.tif 000108
【０３１４】
イメージの作成に使用される補間処理の不可避的誤差に起因して、これらのイメージを直接に比較することは困難である。例えば、誤差は、
【０３１５】
【数１０８】
0004397048.tif 000109
【０３１６】
の作成に使用される隣接フレームのそれぞれがキャプチャされた時刻の間に発生する動きが均一でない可能性があるので引き起こされる可能性がある。フローの制約は、この点で望ましい。なぜならば、これによって、飽和ピクセルおよび低コントラストピクセルの信頼できない領域での誤った写像の可能性が減るからである。
【０３１７】
前述のタスクを達成するために、階層ホモグラフィと称するものを使用する。階層ホモグラフィのアイデアを、図１５に示すが、図１５は、２つのレベルと１つの象限だけを示すように単純化されている。最高分解能すなわちレベル０（１５００）で、フルフレーム見当合わせを実行して、従来の方法を使用して２つの入力イメージの間の最良の２Ｄ透視変換（すなわち、ホモグラフィ）を見つけ、したがって、ホモグラフィＨ０（１５０２）を作る。次に、基準イメージ（イメージ１（１５０４））を、破線で示されているオーバーラップする象限１５０６に分解する。５から２０％のオーバーラップが適当である。本発明のテストされたバージョンでは、１０％オーバーラップが成功裡に使用された。基準イメージ１５０４が、ＨＤＲビデオ生成処理でのＬｋまたは
【０３１８】
【数１０９】
0004397048.tif 000110
【０３１９】
のいずれかであることに留意されたい。
【０３２０】
象限１５０６内に不十分な強度変動がある（本発明のテストされたバージョンでは約１０グレイレベルの閾値で設定された）場合には、そのままにする。そうでない場合には、基準イメージ１５０４の象限１５０６と、第２イメージ１５１０（ＨＤＲビデオ生成処理では
【０３２１】
【数１１０】
0004397048.tif 000111
【０３２２】
である）からの適当にサンプリングされた対応する領域１５０８との間でフルイメージ見当合わせを実行して、この２つの領域の間の最良の２Ｄ透視変換（すなわち、ホモグラフィ）を見つけることによって、そのグローバル動きをリファインする。第２イメージ１５１０からのサブイメージ１５０８の境界は、Ｈ０  １５０２に基づいて計算される。図１５に示された例では、サブイメージ対１５０６および１５０８の間のこのリファインされた変換を、Ｈ１，１（１５１２）と呼び、ここで、最初の添字は、レベルを指し、第２の添字は、象限番号（すなわち、１〜４）を指す。このリファインメント手順を、前述の強度変動テストに合格する象限ごとに繰り返す。
【０３２３】
２つのレベルが、ＨＤＲビデオ生成処理のテストされたバージョンで成功裡に使用されたが、前述のリファインメント手順を、さらに、追加のレベルに拡張して、イメージの見当合わせをさらにリファインすることができる。例えば、この処理を第３のレベルに拡張することには、単に、基準イメージの前に処理された象限（強度変動テストに合格した）の１つをとり、それを象限に分割することが含まれる。新しい象限のそれぞれを、強度変動テストにかける。このテストに合格しない象限は、そのままにする。しかし、このテストに合格した場合には、Ｈ１、ｉ（ｉ＝レベル１の検討中の象限インデックス）を使用して、イメージ２の対応する領域の境界を定義する。次に、検討中の基準イメージのレベル１象限と第２イメージからの適当にサンプリングされた対応する領域との間でフルイメージ見当合わせを実行して、Ｈ２，ｉと表される、この２つの領域の間の最良の２Ｄ透視変換（すなわち、ホモグラフィ）を見つける。
【０３２４】
したがって、一般に、リファインメント手順は、すべてのレベルおよび各レベルのすべての象限について繰り返される。完了したならば、結果のフルイメージリファイニングフロー
【０３２５】
【数１１１】
0004397048.tif 000112
【０３２６】
を、イメージの各領域の間で計算されたローカルホモグラフィを使用して計算する。各象限の境界およびその近くで、これらのフローをフェザリング（すなわち、加重平均）して、フロー不連続性を最小にする。例えば、図１６の１６（ａ）〜１６（ｃ）を参照し、２つのリファインメントレベルと、すべての象限が強度変動テストに合格したことを仮定する。図１６の１６（ａ）に示されているように、ローカルホモグラフィ（Ｈ１，１、Ｈ１，２、Ｈ１，３、Ｈ１，４）が、象限ごとに計算されている。象限の１つに完全に含まれる領域（領域１６００など）および他方のイメージのその対応する領域について、ローカルホモグラフィを使用して、従来の形でもたらされるピクセルのフローを計算する。
【０３２７】
しかし、基準イメージ内で２つの象限がオーバーラップする領域（領域１６０２など）について、１Ｄ線形重み付け処理を使用して、オーバーラップ領域に含まれるピクセルのフローマップを「フェザリング」する。本質的に、ピクセルは、非オーバーラップ領域に近いほど、その部分によって重みを付けられる。この重み付け処理を、図１６の１６（ｂ）を参照して説明するが、図１６の１６（ｂ）には、オーバーラップ領域１６０２の拡大図が示されている。オーバーラップ領域内のすべてのピクセルについて、オーバーラップ距離ｍを、オーバーラップ領域の境界の１つから検討中のピクセルｐｉまでの最短距離を定義する距離ｌと共に使用して、
【０３２８】
【数１１２】
0004397048.tif 000113
【０３２９】
を確立し、これを使用して、フルイメージリファイニングフローフィールド
【０３３０】
【数１１３】
0004397048.tif 000114
【０３３１】
でのそのピクセルのフローを計算する。具体的に言うと、図１６の１６（ｂ）に示された例を使用すると、距離ｌは、排他的な「Ｈ１，２領域」に隣接するオーバーラップ領域の境界とｐｉの間の最短距離として測定され、
【０３３２】
【数１１４】
0004397048.tif 000115
【０３３３】
であり、ｐ１，２＝Ｈ１，２ｐｉであり、ｐ１，４＝Ｈ１，４ｐｉである。
【０３３４】
図１６の１６（ｃ）の拡大図に示された領域１６０４など、基準イメージの、４つのすべての象限がオーバーラップする中央領域では、２Ｄ線形重み付け処理を使用して、その領域に含まれるピクセルのフローマップをフェザリングする。この場合に、オーバーラップ距離ｍおよびｍ’を、中央オーバーラップ領域の境界のうちの第１の境界から検討中のピクセルｐｉまでの距離を定義する距離ｌおよび第１境界に隣接する境界の１つからｐｉまでの距離を定義する距離ｌ’と共に使用して、
【０３３５】
【数１１５】
0004397048.tif 000116
【０３３６】
を確立する。より具体的には、
p'i=((m-l)/m)*(l'/m')*H1,1pi+((m-l)/m)*((m'-l'/m')*H1,2pi+(l/m)*(l'/m')*H1,3pi+(l/m)*((m'-l')/m')*H1,4pi                                                      （８）
である。
【０３３７】
図１７Ａ〜Ｂのフローチャートを参照して、前述の階層ホモグラフィ手順を、２階層レベル（すなわち、レベル０および１）の例を使用して要約する。この手順は、基準イメージＬｋまたは
【０３３８】
【数１１６】
0004397048.tif 000117
【０３３９】
（場合に応じて）と
【０３４０】
【数１１７】
0004397048.tif 000118
【０３４１】
の間のホモグラフィＨ０を計算することによって開始される（処理動作１７００）。次に、基準イメージをオーバーラップする象限にセグメント化し（処理動作１７０２）、象限のうちで前に選択されていない１つを選択する（処理動作１７０４）。次に、選択された象限内のピクセルの間の強度変動が、指定された変動閾値を超えるかどうかを判定する（処理動作１７０６）。そうである場合には、処理動作１７０８で、グローバルホモグラフィＨ０を使用して、
【０３４２】
【数１１８】
0004397048.tif 000119
【０３４３】
内の対応する領域を識別する。これに関して、Ｈ０は親ホモグラフィである。ローカルホモグラフィＨ１，ｉ（ｉは選択された象限インデックスを指す）を、基準イメージの選択された象限と
【０３４４】
【数１１９】
0004397048.tif 000120
【０３４５】
内の識別された対応する領域の間で計算する（処理動作１７１０）。これに関して、Ｈ１，ｉは子ホモグラフィである。次に、子ホモグラフィを使用するピクセルごとの見当合わせ誤差が、同一象限の親ホモグラフィを使用するピクセルごとの見当合わせ誤差未満であるかどうかを判定する（処理動作１７１２）。そうである場合には、計算された子ホモグラフィを、選択された象限に割り当てる（処理動作１７１４）。そうではなく、子ホモグラフィを使用するピクセルごとの見当合わせ誤差が、親ホモグラフィを使用するピクセルごとの見当合わせ誤差未満でないと判定される場合、または処理動作１７０６で選択された象限内のピクセルの間の強度変動が指定された変動閾値を超えないと判定された場合に、親ホモグラフィを選択された象限に割り当てる（処理動作１７１６）、すなわち、子はその親から継承する。次に、前に選択されていない残りの象限があるかどうかを判定する（処理動作１７１８）。処理すべき象限がまだある場合には、処理動作１７０４から１７１８を繰り返す。しかし、処理すべき象限がもうないことがわかった場合には、処理動作１７２０で、象限にどちらが割り当てられたかに応じて、イメージの各対応する領域の間で計算されたローカルホモグラフィＨ１，ｉまたはグローバルホモグラフィＨ０を使用して、フルイメージリファイニングフローフィールド
【０３４６】
【数１２０】
0004397048.tif 000121
【０３４７】
を計算する。最後に、処理動作１７２２において、象限のオーバーラップ領域の１つに含まれるピクセルに関連する
【０３４８】
【数１２１】
0004397048.tif 000122
【０３４９】
内のフローをフェザリングして、フロー不連続性を最小にする。
【０３５０】
（３．３  放射輝度マップ回復）  
このセクションでは、入力イメージをワープされた隣接イメージと組み合わせて放射輝度マップを作る処理を説明する。これを行う複数の処理が提案されている（例えば、非特許文献２、６および９参照。）。これらの処理のそれぞれで、入力イメージが、既知の露光値および計算されたカメラ応答関数を使用して放射輝度イメージに変換される。その後、あるピクセルでの最終的な放射輝度値が、これらの放射輝度イメージの対応するピクセルの重み付けされた和として計算される。前に示したように、カメラの応答関数Ｆｒｅｓｐｏｎｓｅは、非特許文献６に記載の処理を使用して計算されることが好ましい。この処理から導出された例の重み付け関数ｆＷを、グローバル重み対ピクセル強度をプロットしたグラフによって、図１８（ａ）に示す。しかし、既存の手法が、完璧に見当合わせされた入力イメージを前提とすることに留意されたい。ＨＤＲステッチ処理の第１部分での誤見当合わせの可能性に起因して、完全な見当合わせは、本発明の処理のこの部分では仮定されない。その代わりに、この手順は、検討中の入力フレームのピクセルだけではなく、単一方向ワープされた左フレーム、単一方向ワープされた右フレーム、および左右の隣接フレームから作成された２つの両方向ワープされたフレームのピクセルからも導出された放射輝度値を使用することによって、ピクセル見当合わせの誤差をより許容するようにされている。最終的な放射輝度マップ内のピクセルが、前述のイメージの対応するピクセルから取られた１つの値または複数の値の組合せの放射輝度値のどちらから導出されるかを決定する論理プロトコルを使用する。一般に、この判断は、入力イメージ内のピクセルの強度に基づいて行われる。
【０３５１】
具体的に言うと、図１９Ａ〜Ｃを参照すると、ＨＤＲステッチで使用される放射輝度マップ回復は、入力イメージが長露光フレームであり、隣接フレームが短露光フレームである場合に、次のように達成される。
【０３５２】
１．まず、Ｌ、
【０３５３】
【数１２２】
0004397048.tif 000123
【０３５４】
、および
【０３５５】
【数１２３】
0004397048.tif 000124
【０３５６】
を、従来の方法を使用し、応答関数Ｆｒｅｓｐｏｎｓｅおよびイメージのそれぞれの露光値を使用して放射輝度イメージに変換し（処理動作１９００）、ここで、一般に、
【０３５７】
【数１２４】
0004397048.tif 000125
【０３５８】
であり、Ｒは、ピクセルの放射輝度、ｐは、ピクセル強度、ｅｘｐは、露光レベルである。これらの放射輝度イメージを、それぞれ
【０３５９】
【数１２５】
0004397048.tif 000126
【０３６０】
、および
【０３６１】
【数１２６】
0004397048.tif 000127
【０３６２】
によって表す。添字ｋが、表記の都合上省略されていることに留意されたい。
【０３６３】
２．次に、処理動作１９０２で、Ｌでキャプチャできる最大強度値を表す最大強度値（例えば、２５５）を超える、入力イメージＬ内のピクセルを、飽和したものとして識別する。これらのピクセルは、隣接フレームとの悪い見当合わせを作るものと仮定される。これらの値を最終的な放射輝度マップで使用するのではなく、双方向ワープされたフレーム
【０３６４】
【数１２７】
0004397048.tif 000128
【０３６５】
および
【０３６６】
【数１２８】
0004397048.tif 000129
【０３６７】
からの値を使用する（処理動作１９０４）。本発明の放射輝度マップ回復手順のテストされたバージョンでは、
【０３６８】
【数１２９】
0004397048.tif 000130
【０３６９】
および
【０３７０】
【数１３０】
0004397048.tif 000131
【０３７１】
からの放射輝度値の平均をとって、最終的な放射輝度マップのピクセルの値を確立した。
【０３７２】
３．次に、入力イメージＬ内で、指定された最大値未満の強度範囲に含まれるピクセルを識別し（処理動作１９０６）、それらのうちで前に選択されていないピクセルを選択する（処理動作１９０８）。これらのピクセルは、シーンのうちで、長露光フレームまたは短露光フレームのいずれかで適度に露光された可能性がある領域を表す。識別されたピクセルのそれぞれについて、
【０３７３】
【数１３１】
0004397048.tif 000132
【０３７４】
および
【０３７５】
【数１３２】
0004397048.tif 000133
【０３７６】
からの放射輝度値を、
【０３７７】
【数１３３】
0004397048.tif 000134
【０３７８】
内の対応するピクセルを用いて計算する（処理動作１９１０）。
【０３７９】
【数１３４】
0004397048.tif 000135
【０３８０】
と
【０３８１】
【数１３５】
0004397048.tif 000136
【０３８２】
の両方からの放射輝度値が、
【０３８３】
【数１３６】
0004397048.tif 000137
【０３８４】
の放射輝度値からの指定された許容される最大ノイズ分散未満であることがわかった場合に（処理動作１９１２）、３つのすべての加重平均を計算し、最終的な放射輝度マップのそのピクセル位置の放射輝度値として使用する（処理動作１９１４）。加重平均放射輝度は、
【０３８５】
【数１３７】
0004397048.tif 000138
【０３８６】
として計算され、ここで、添字ｃ、Ｆ、およびＢは、それぞれ現在の放射輝度イメージ、左のワープされた放射輝度イメージ、および右のワープされた放射輝度イメージを指す。この場合に、現在のイメージは、
【０３８７】
【数１３８】
0004397048.tif 000139
【０３８８】
であり、左のワープされたイメージは、
【０３８９】
【数１３９】
0004397048.tif 000140
【０３９０】
であり、右のワープされたイメージは、
【０３９１】
【数１４０】
0004397048.tif 000141
【０３９２】
である。ｆＷＭ（ｐｗ，ｐｃ）＝ｆＭ（｜ｐｗ−ｐｃ｜）ｆＷ（ｐｗ）は、ｆＭによって変調された重み付け関数ｆＷであり、ｆＭ（）は、
【０３９３】
【数１４１】
0004397048.tif 000142
【０３９４】
によって定義され、これは、対応する入力放射輝度値と過度に異なるワープされた放射輝度値を重要視しない変調関数である。δｍａｘは、前述の許容される最大ノイズ分散を表すユーザ指定パラメータである。本発明の放射輝度マップ回復手順のテストされたバージョンでは、許容される最大ノイズ分散に、１６強度レベルが設定された。変調関数の例を、図１８（ｂ）に示されたグラフにプロットする。
【０３９５】
しかし、
【０３９６】
【数１４２】
0004397048.tif 000143
【０３９７】
および
【０３９８】
【数１４３】
0004397048.tif 000144
【０３９９】
からの放射輝度のうちひとつが、最大ノイズ分散を超えることがわかった場合に（処理動作１９１６）、それを取り除き、そのピクセル位置について最終的な放射輝度マップで使用される放射輝度値は、
【０４００】
【数１４４】
0004397048.tif 000145
【０４０１】
からの値と、
【０４０２】
【数１４５】
0004397048.tif 000146
【０４０３】
または
【０４０４】
【数１４６】
0004397048.tif 000147
【０４０５】
のいずれかからの残りの値の加重平均として計算される（処理動作１９１８）。これは、式（１０）から来る。なぜならば、許容される最大ノイズ分散の外であることがわかった
【０４０６】
【数１４７】
0004397048.tif 000148
【０４０７】
および
【０４０８】
【数１４８】
0004397048.tif 000149
【０４０９】
からの放射輝度値に関する項が、０にされるからである。したがって、加重平均は、残りの放射輝度値を用いて式（９）を使用して計算される。
【０４１０】
最後に、
【０４１１】
【数１４９】
0004397048.tif 000150
【０４１２】
および
【０４１３】
【数１５０】
0004397048.tif 000151
【０４１４】
からの放射輝度値の両方が許容される最大ノイズ分散の外であることがわかった場合に（処理動作１９２０）、式（１０）に従って両方の値が取り除かれ、そのピクセル位置について最終的な放射輝度マップで使用される放射輝度値は、
【０４１５】
【数１５１】
0004397048.tif 000152
【０４１６】
から直接にとられる（処理動作１９２２）。
【０４１７】
次に、処理動作１９２４で、最大強度閾値未満の強度を有するものとして識別され、まだ選択されず、処理されていないピクセルがあるかどうかを判定する。ある場合には、処理動作１９０８から１９２４を繰り返す。そうでない場合には、この処理が終了する。
【０４１８】
次に、図２０Ａ〜Ｃを参照すると、検討中の入力フレームが短露光フレームであり、隣接フレームが長露光フレームである場合に、ＨＤＲステッチで使用される放射輝度マップ回復は、次のように達成される。
【０４１９】
１．まず、Ｓ、
【０４２０】
【数１５２】
0004397048.tif 000153
【０４２１】
、および
【０４２２】
【数１５３】
0004397048.tif 000154
【０４２３】
を放射輝度イメージに変換する（処理動作２０００）。これらの放射輝度イメージを、それぞれ
【０４２４】
【数１５４】
0004397048.tif 000155
【０４２５】
、
【０４２６】
【数１５５】
0004397048.tif 000156
【０４２７】
、および
【０４２８】
【数１５６】
0004397048.tif 000157
【０４２９】
によって表す。
【０４３０】
２．次に、入力イメージＳ内で、指定された最小値（例えば、本発明の放射輝度マップ回復手順のテストされたバージョンでは１６）を超える強度範囲に含まれるピクセルを識別し（処理動作２００２）、そのうちで前に選択されていないピクセルを選択する（処理動作２００４）。これらのピクセルは、シーンのうちで、長露光フレームまたは短露光フレームのいずれかで適度に露光された可能性がある領域を表す。これらのピクセルのそれぞれについて、
【０４３１】
【数１５７】
0004397048.tif 000158
【０４３２】
および
【０４３３】
【数１５８】
0004397048.tif 000159
【０４３４】
からのピクセルの放射輝度値を、
【０４３５】
【数１５９】
0004397048.tif 000160
【０４３６】
の対応するピクセルと比較する（処理動作２００６）。
【０４３７】
【数１６０】
0004397048.tif 000161
【０４３８】
および
【０４３９】
【数１６１】
0004397048.tif 000162
【０４４０】
からの放射輝度値が、
【０４４１】
【数１６２】
0004397048.tif 000163
【０４４２】
の放射輝度値から前述の許容される最大ノイズ分散未満であることがわかった場合に（処理動作２００８）、３つのすべての加重平均を計算し、最終的な放射輝度マップのそのピクセル位置の放射輝度値として使用する（処理動作２０１０）。加重平均放射輝度は、上で式（９）を使用して説明したように計算される。
【０４４３】
しかし、
【０４４４】
【数１６３】
0004397048.tif 000164
【０４４５】
および
【０４４６】
【数１６４】
0004397048.tif 000165
【０４４７】
からの放射輝度値のうちひとつが、許容される最大ノイズ分散の外にあることがわかった場合に（処理動作２０１２）、それを取り除き、そのピクセル位置に関して最終的な放射輝度マップで使用される放射輝度値は、
【０４４８】
【数１６５】
0004397048.tif 000166
【０４４９】
からの値と、
【０４５０】
【数１６６】
0004397048.tif 000167
【０４５１】
または
【０４５２】
【数１６７】
0004397048.tif 000168
【０４５３】
のいずれかからの残りの値との加重平均として計算される（処理動作２０１４）。この加重平均は、式（９）を使用して計算され、ここで、取り除かれた、
【０４５４】
【数１６８】
0004397048.tif 000169
【０４５５】
または
【０４５６】
【数１６９】
0004397048.tif 000170
【０４５７】
からの放射輝度値を含む項は、式（１０）に従って０にされる。
【０４５８】
最後に、
【０４５９】
【数１７０】
0004397048.tif 000171
【０４６０】
および
【０４６１】
【数１７１】
0004397048.tif 000172
【０４６２】
からの放射輝度値の両方が、許容される最大ノイズ分散の外にあると判定される場合に（処理動作２０１６）、両方の値を、式（１０）に従って取り除き、処理動作２０１８で、そのピクセル位置について最終的な放射輝度マップで使用される放射輝度値を、式（９）に従って
【０４６３】
【数１７２】
0004397048.tif 000173
【０４６４】
から直接にとる。
【０４６５】
次に、処理動作２０２０では、最小強度閾値を超える強度を有する、まだ選択されておらず、処理されていないピクセルがあるかどうかを判定する。ある場合には、処理動作２００４から２０２０を繰り返す。ない場合には、処理は次のように継続される。
【０４６６】
３．処理動作２０２２では、入力イメージＳ内の前述の最小強度値未満のピクセルを識別する。これらのピクセルは、隣接フレームとの悪い見当合わせを作ると仮定される。これらの値を最終的な放射輝度マップで使用する代わりに、両方向ワープされたフレーム
【０４６７】
【数１７３】
0004397048.tif 000174
【０４６８】
および
【０４６９】
【数１７４】
0004397048.tif 000175
【０４７０】
からの値を使用する（処理動作２０２４）。本発明の放射輝度マップ回復手順のテストされたバージョンでは、
【０４７１】
【数１７５】
0004397048.tif 000176
【０４７２】
および
【０４７３】
【数１７６】
0004397048.tif 000177
【０４７４】
からの放射輝度値の平均をとって、最終的な放射輝度マップのピクセルの値を確立した。
【０４７５】
前述の放射輝度マップ回復手順論理プロトコルの例として、図２１の２１（ａ）〜２１（ｄ）に、短露光入力フレーム、隣接長露光フレームから導出された両方向（
【０４７６】
【数１７７】
0004397048.tif 000178
【０４７７】
および
【０４７８】
【数１７８】
0004397048.tif 000179
【０４７９】
からの値の平均をとることによって作成）の左右のワープされたフレームについて、最終的な放射輝度マップに寄与するために選択されたピクセルを示す。
【０４８０】
（４．０  一時的なトーンマッピング）  
トーンマッピングは、浮動小数点輝度マップを、通常のシステムでのレンダリングに適する８ビット表現に変換するのに使用される。この処理は、各フレームのダイナミックレンジを減らすと同時に、明るく照らされた領域と暗く照らされた領域の両方のよいコントラストレベルも維持しなければならない。さらに、キャプチャされたビューの間の変換の一貫性があり、その結果、フリッカなどの時間的アーチファクトがあってはならない。
【０４８１】
既存のトーンマッピング手順をこの目的に使用することができるが、本発明のＨＤＲビデオ生成システムは、ドッジング（ｄｏｄｇｉｎｇ）およびバーニング（ｂｕｒｎｉｎｇ）の写真処理に基づくトーンマッパの変更されたバージョンを利用する（例えば、非特許文献８参照。）。一般に、トーンマッピング処理は、通常の方法を介して放射輝度イメージをＣＩＥ空間に変換し、色度座標を回復することによって開始される。次に、輝度イメージを処理して、ダイナミックレンジを圧縮する。最後に、クロミナンスを再挿入し、ＣＩＥ空間イメージを変換して、最終的なバイト範囲のＲＧＢイメージを作る。このトーンマッピング処理の一部として、あるグローバルパラメータを設定して、全体的な明るさのバランスを制御しなければならない。本質的に、トーンマッピングされる入力イメージの統計的分析を実行して、これらのグローバルパラメータをどのように設定するかを判断する。この処理は、イメージのトーンマッピングについて良好に動作するが、本発明のＨＤＲビデオ生成システムへの直接の適用は、各フレームが分離して分析されるという事実からフリッカが生じる可能性があるので、問題がある。
【０４８２】
この問題は、本システムで、本質的に、フレームからフレームへ統計を持ち越すことによって解決される。具体的に言うと、本発明の時間的に適合されたトーンマッパに、検討中のフレームおよび前フレームの両方からの情報を使用して、よい初期輝度マッピングを提供する伝達関数を制御する平均輝度および最大輝度（すなわち、前述のグローバルパラメータ）を計算することが含まれる。したがって、対数平均輝度は、
【０４８３】
【数１７９】
0004397048.tif 000180
【０４８４】
によって与えられ、ここで、εは、小さい値（例えば、１０−６）であり、Ｎは、両方のフレームのピクセルの総数であり、Ｆｉは、時刻ｋ−１およびｋのフレームｉからなる原因となる時間的近傍である。同様に、最大輝度は、両方のフレームのピクセルを検討することによって決定される。上で述べたように、フレームのセットを使用してグローバルマッピングを制御することは、トーンマッピングされたシーケンスのフリッカを防ぐのに役立つ。
【０４８５】
現在のフレームおよび直前のフレームだけからの統計が、本発明のＨＤＲビデオシステムのテストされたバージョンにおいてフリッカ問題を防ぐのに首尾よく使用されたが、望まれる場合には、追加の前フレームを、平均輝度計算および最大輝度計算に含めることもできることに留意されたい。
【０４８６】
（５．０  結果）  
このセクションでは、３つの異なる動的なシーンすなわち、魚市場、港、および混雑した道路での運転に関する結果を示す。図２２および２３に、魚市場および港のシーンからの代表的なスチールを示す。シーンごとに、左上の象限が、短露光フレームであり、右上の象限が、長露光フレームである。左下の象限に、短露光および長露光の幾何平均と等しい露光についてこのフレームがどのように見えるかを示す。これは、放射輝度が対数空間で普通に処理されるならば適度である。右下の象限のイメージは、本方法を使用して生成されたものである。
【０４８７】
魚市場のシーン。魚市場のシーンからのスナップショットを、図２２の左側に見ることができる。単一露光バージョンは、適当であるように見えるが、一部の飽和（特に中央および右上）領域ならびに低コントラスト領域がある。本発明のＨＤＲ手法を使用して生成されたフレームでは、ほとんどすべての場所でよい詳細を見ることができる（長露光フレームでもほとんど詳細が示されていない、カウンタの基部を除く）。
【０４８８】
港のシーン。このビデオは、港を見晴らすオフィスの中でキャプチャされたものである。このビデオでは、フェリーが窓の外を移動するのを見ることができると同時に、人間の活動をオフィスの中で観察することができる。図２３の右側に示されているように、単一露光は、かなり大きい飽和領域と低コントラスト領域の両方を有する。その一方で、本手法を使用して生成されたフレームでは、フェリーと水を明瞭に見ることができる。より多くの詳細を、オフィスの内部で見ることもできる。
【０４８９】
運転中のシーン。運転中のシーンの結果を、図２４で見ることができる。上の行は、交番する長短の露光を有する入力ビデオシーケンスの一部を示し、下の行は、これらのフレームから生成されたＨＤＲビデオフレームを示す。この例では、運転者が、混雑した道路を約４０ｋｍ／ｈ（２５ｍｐｈ）で運転している。これは、運転者の手の速い動きに起因する大きいフレーム間変位が時々あるので、特にむずかしいシーンであった。本発明のオプティカルフローアルゴリズムは、時々、そのような大きい動きに関して失敗するが、この問題は、より高いフレームレートのカメラを使用することによって軽減することができる。
【０４９０】
これらの結果を見ることによって、本処理が、かなり大量の視覚的動きを適度に処理しながら、高いダイナミックレンジを有するビデオを作ることがわかる。しかし、非常に速い動きについて、１５フレーム毎秒という現在の低いサンプリングレートでは、本処理がアーチファクトを作ることがある。しかし、より高いキャプチャレートを有するカメラを使用することによって、この問題は軽減される。
【図面の簡単な説明】
【０４９１】
【図１】本発明を実装する例示的システムを構成する汎用コンピューティング装置を示す図である。
【図２】ＨＤＲビデオを生成する処理全体を示すフローチャートである。
【図３】第１フレームが長露光フレームであり、および第２フレームが短露光フレームである、図２の処理のビデオイメージシーケンスキャプチャ部分に従ってキャプチャされた運転中のビデオの連続するフレームの対を示す図である。
【図４】プロットの左側が長露光フレームに対応し、プロットの右側が短露光フレームに対応する、放射輝度空間での図３に示された２つのイメージの組み合わされた強度ヒストグラムを示す図である。
【図５Ａ】図２の処理のビデオイメージシーケンスキャプチャ部分の一実施形態を示すフローチャートである。
【図５Ｂ】図２の処理のビデオイメージシーケンスキャプチャ部分の一実施形態を示すフローチャートである。
【図６】長露光フレームが検討され、および実質的に同一の露光を有する隣接する前後の短露光フレームが様々な方法において見当合わせされる、図２の処理のＨＤＲステッチの一実施形態を示すフローチャートである。
【図７】図６のＨＤＲステッチ処理の両方向のワーピング部分を例示するブロック図である。
【図８】長露光フレームが検討され、および隣接する前後の短露光フレームが実質的に異なる露光を有する、図２のＨＤＲステッチ処理の両方向のワーピング部分を例示するブロック図である。
【図９Ａ】長露光フレームが検討され、および実質的に異なる露光を有する隣接する前後の短露光フレームが様々な方法において見当合わせされる、図２の処理のＨＤＲステッチ部分の一実施形態を示すフローチャートである。
【図９Ｂ】長露光フレームが検討され、および実質的に異なる露光を有する隣接する前後の短露光フレームが様々な方法において見当合わせされる、図２の処理のＨＤＲステッチ部分の一実施形態を示すフローチャートである。
【図１０】短露光フレームが隣接する前後の長露光フレームと共に検討され、単一方向のワーピングを含む、図２の処理のＨＤＲステッチ部分に属する最初のフェーズの一実施形態を示すフローチャートである。
【図１１】短露光フレームが検討され、および隣接する前後の長露光フレームが実質的に同一の露光を有する、図２のＨＤＲステッチ処理に属する両方向のワーピング部分を例示するブロック図である。
【図１２】短露光フレームが検討され、および実質的に同一の露光を有する隣接する前後の長露光フレームが見当合わせされる、図２のＨＤＲステッチ処理に属する両方向のワーピング部分の一実施形態を示すフローチャートである。
【図１３】短露光フレームが検討され、および隣接する前後の長露光フレームが実質的に異なる露光を有する、図２のＨＤＲステッチ処理に属する両方向のワーピング部分を例示するブロック図である。
【図１４Ａ】短露光フレームが検討され、および実質的に異なる露光を有する隣接する前後の長露光フレームが見当合わせされる、図２のＨＤＲステッチ処理に属する両方向のワーピング部分の一実施形態を示すフローチャートである。
【図１４Ｂ】短露光フレームが検討され、および実質的に異なる露光を有する隣接する前後の長露光フレームが見当合わせされる、図２のＨＤＲステッチ処理に属する両方向のワーピング部分の一実施形態を示すフローチャートである。
【図１５】２つのレベルおよび１つの象限のみ検討される単純化された形式において図８、９、１２および１４Ａ〜Ｂの両方向のワーピング手順に使用される階層ホモグラフィ処理を例示する図である。
【図１６】階層ホモグラフィ処理のフェザリング手順のジオメトリを例示する図である。
【図１７Ａ】２階層レベルの例を使用する階層ホモグラフィ処理の一実施形態を示すフローチャートである。
【図１７Ｂ】２階層レベルの例を使用する階層ホモグラフィ処理の一実施形態を示すフローチャートである。
【図１８】１８（ａ）はグローバル重み対強度をプロットし、１８（ｂ）はマッチングされたピクセルの放射輝度の一貫性に基づく変調関数をプロットする、図２の放射輝度マップ計算手順に関連付けられたグラフを示す図である。
【図１９Ａ】検討中のフレームが長露光フレームであり、および隣接フレームが短露光フレームである場合に対する図２の放射輝度マップ計算手順の一実施形態を示すフローチャートである。
【図１９Ｂ】検討中のフレームが長露光フレームであり、および隣接フレームが短露光フレームである場合に対する図２の放射輝度マップ計算手順の一実施形態を示すフローチャートである。
【図１９Ｃ】検討中のフレームが長露光フレームであり、および隣接フレームが短露光フレームである場合に対する図２の放射輝度マップ計算手順の一実施形態を示すフローチャートである。
【図２０Ａ】検討中のフレームが短露光フレームであり、および隣接フレームが長露光フレームである場合に対する図２の放射輝度マップ計算手順の一実施形態を示すフローチャートである。
【図２０Ｂ】検討中のフレームが短露光フレームであり、および隣接フレームが長露光フレームである場合に対する図２の放射輝度マップ計算手順の一実施形態を示すフローチャートである。
【図２０Ｃ】検討中のフレームが短露光フレームであり、および隣接フレームが長露光フレームである場合に対する図２の放射輝度マップ計算手順の一実施形態を示すフローチャートである。
【図２１】２１（ａ）は最終的な可視の放射輝度マップに寄与するために選択されたピクセルだけによる短露光入力フレームを、２１（ｂ）は最終的な可視の放射輝度マップに寄与するために選択されたピクセルだけによる結果として組み合わされ両方向にワープされたイメージを、２１（ｃ）は最終的な可視の放射輝度マップに寄与するために選択されたピクセルだけによる結果として単一方向にワープされた左のフレームを、２１（ｄ）は最終的な可視の放射輝度マップに寄与するために選択されたピクセルだけによる結果として単一方向にワープされた右のフレームを示す、放射輝度マップ計算手順の論理プロトコルの例を示すイメージを示す図である。
【図２２】各シーンにおいて、左上象限が短露光フレームであり、右上象限が長露光フレームであり、左下象限が、フレームが長短の露光の幾何平均と等しい露光についてどのように見えるかを示し、および右下象限のイメージが、本発明にかかる図２の処理を使用して生成されたものである、魚市場のシーンからの代表的なスチールを示す一連のイメージを示す図である。
【図２３】各シーンにおいて、左上象限が短露光フレームであり、右上象限が長露光フレームであり、左下象限が、フレームが長短の露光の幾何平均と等しい露光についてどのように見えるかを示し、および右下象限のイメージが、本発明にかかる図２の処理を使用して生成されたものである、港のシーンからの代表的なスチールを示す一連のイメージを示す図である。
【図２４】上の行において、交番する長短の露光を有する入力ビデオの一部を表し、下の行において、本発明にかかる入力イメージから生成されたＨＤＲビデオの一部を示す、運転中のシーンの一連のイメージを示す図である。
【図１】
0004397048.tif 000190
【図２】
0004397048.tif 000191
【図３】
0004397048.tif 000192
【図４】
0004397048.tif 000193
【図５Ａ】
0004397048.tif 000194
【図５Ｂ】
0004397048.tif 000195
【図６】
0004397048.tif 000196
【図７】
0004397048.tif 000197
【図８】
0004397048.tif 000198
【図９Ａ】
0004397048.tif 000199
【図９Ｂ】
0004397048.tif 000200
【図１０】
0004397048.tif 000201
【図１１】
0004397048.tif 000202
【図１２】
0004397048.tif 000203
【図１３】
0004397048.tif 000204
【図１４Ａ】
0004397048.tif 000205
【図１４Ｂ】
0004397048.tif 000206
【図１５】
0004397048.tif 000207
【図１６】
0004397048.tif 000208
【図１７Ａ】
0004397048.tif 000209
【図１７Ｂ】
0004397048.tif 000210
【図１８】
0004397048.tif 000211
【図１９Ａ】
0004397048.tif 000212
【図１９Ｂ】
0004397048.tif 000213
【図１９Ｃ】
0004397048.tif 000214
【図２０Ａ】
0004397048.tif 000215
【図２０Ｂ】
0004397048.tif 000216
【図２０Ｃ】
0004397048.tif 000217
【図２１】
0004397048.tif 000218
【図２２】
0004397048.tif 000219
【図２３】
0004397048.tif 000220
【図２４】
0004397048.tif 000221