(57)【要約】  本発明は、奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得するステップと、イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、それぞれＲＧＢチャネルにおけるアンダー露出又はオーバー露出二列ピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、ＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップと、を含む、バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置を開示し、前記方法により、本発明は高速移動ブラーの問題を克服し、高速連続撮影のフレームレートを低減させることができる。
2017502557.tif 000002
【特許請求の範囲】
【請求項１】
バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法であって、
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含むことを特徴とする方法。
【請求項２】
前記それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記アンダー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記オーバー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含むことを特徴とする請求項２又は３に記載の方法。
【請求項５】
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップは、
前記ＲＧＢチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップは、
所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式ステップ
【数２２】
2017502557.tif 000024
（式中、Ｐ１、Ｐ２は、それぞれ前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおけるピクセルの輝度であり、∪（Ｐ１＜Ｔ１）は、Ｐ１におけるＴ１より小さいすべてのアンダー露出画素集を表し、∪（Ｐ２＞Ｔ２）は、Ｐ２におけるＴ２より大きいすべてのオーバー露出画素集を表す）
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出するステップと、
前記自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び前記自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式ステップ
【数２３】
2017502557.tif 000025
（式中、ω１は、前記アンダー露出イメージフレームにおける輝度がＰ１であるピクセルの重みであり、ω２は、前記オーバー露出イメージフレームにおける輝度がＰ２であるピクセルの重みである）
を用いて前記各ピクセルの重みを算出するステップと、
を含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップは、
二次元のガウスフィルタを用いて各ピクセルの前記重みに対してコンボリューションを行うステップと、
以下の関係式ステップ
【数２４】
2017502557.tif 000026
（式中、
【数２５】
2017502557.tif 000027
は、コントラストを強めることに用いられ、ｑ１，ｉ及びｑ２，ｉは、それぞれＲＧＢ図の三色チャネルである）
を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすステップと、
を含むことを特徴とする請求項６に記載の方法。
【請求項８】
バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画装置であって、
奇数二列と偶数二列とに異なる露出時間を配置して露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得するためのセンサーモジュールであって、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるセンサーモジュールと、
前記センサーモジュールと接続され、前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するための分解モジュールと、
前記分解モジュールと接続され、前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのアンダー露出画素回復モジュールと、
前記分解モジュールと接続され、前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのオーバー露出画素回復モジュールと、
前記アンダー露出画素回復モジュール及び前記露出を割り当てる画素回復モジュールと接続され、前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレーム及び前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するための合成モジュールと、
を含むことを特徴とする装置。
【請求項９】
前記アンダー露出画素回復モジュールは、
隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出することと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得することと、
Ｒ、Ｂチャネルにおけるピクセルの画素値及びＧチャネルにおける前記画素回復値の差をそれぞれ算出することと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得することと、
前記Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記アンダー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とすることと、
を行うように構成されていることを特徴とする請求項８に記載の装置。
【請求項１０】
前記オーバー露出画素回復モジュールは、
隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出することと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得することと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出することと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得することと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差の復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記オーバー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とすることと、
を行うように構成されていることを特徴とする請求項８に記載の装置。
【請求項１１】
前記補間は、バイリニア型補間、立方体補間のうちの少なくとも一方を含むことを特徴とする請求項９又は１０に記載の装置。
【請求項１２】
前記合成モジュールは、
前記ＲＧＢチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得することと、 
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得することと、
各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得することと、
を行うように構成されていることを特徴とする請求項８に記載の装置。
【請求項１３】
前記合成モジュールは、
所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式
【数２６】
2017502557.tif 000028
（式中、Ｐ１、Ｐ２は、それぞれ前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおけるピクセルの輝度であり、∪（Ｐ１＜Ｔ１）は、Ｐ１におけるＴ１より小さいすべてのアンダー露出画素集を表し、∪（Ｐ２＞Ｔ２）は、Ｐ２におけるＴより大きいすべてのオーバー露出画素集を表す）
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出することと、
前記自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び前記自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式
【数２７】
2017502557.tif 000029
（式中、ω１は、前記アンダー露出イメージフレームにおける輝度がＰ１であるピクセルの重みであり、ω２は、オーバー露出イメージフレームにおける輝度がＰ２であるピクセルの重みである）
を用いて各ピクセルの重みを算出することと、
を行うように更に構成されていることを特徴とする請求項１２に記載の装置。
【請求項１４】
前記合成モジュールは、
二次元のガウスフィルタを用いて各ピクセルの前記重みに対してコンボリューションを行うことと、
以下の関係式
【数２８】
2017502557.tif 000030
（式中、
【数２９】
2017502557.tif 000031
は、コントラストを強めることに用いられ、ｑ１，ｉ及びｑ２，ｉは、それぞれＲＧＢ図の三色チャネルとなる）
を用いてフレームの合成算出を行い、コントラストを引き伸ばすことと、
をさらに行うように構成されていることを特徴とする請求項１３に記載の装置。
【請求項１５】
バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法であって、
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、を含み、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する前記ステップは、
前記ＲＧＢチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含むことを特徴とする方法。
【請求項１６】
前記それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記アンダー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含むことを特徴とする請求項１５に記載の方法。
【請求項１７】
前記それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記オーバー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含むことを特徴とする請求項１５に記載の方法。
【請求項１８】
前記補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含むことを特徴とする請求項１６又は１７に記載の方法。
【請求項１９】
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップは、
所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式ステップ
【数３０】
2017502557.tif 000032
（式中、Ｐ１、Ｐ２は、それぞれ前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおけるピクセルの輝度であり、∪（Ｐ１＜Ｔ１）は、Ｐ１におけるＴ１より小さいすべてのアンダー露出画素集を表し、∪（Ｐ２＞Ｔ２）は、Ｐ２におけるＴ２より大きいすべてのオーバー露出画素集を表す）
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出するステップと、
前記自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び前記自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式ステップ
【数３１】
2017502557.tif 000033
（式中、ω１は、前記アンダー露出イメージフレームにおける輝度がＰ１であるピクセルの重みであり、ω２は、前記オーバー露出イメージフレームにおける輝度がＰ２であるピクセルの重みである）
を用いて前記各ピクセルの重みを算出するステップと、
を含むことを特徴とする請求項１５に記載の方法。
【請求項２０】
前記各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップは、
二次元のガウスフィルタを用いて各ピクセルの前記重みに対してコンボリューションを行うステップと、
以下の関係式ステップ
【数３２】
2017502557.tif 000034
（式中、
【数３３】
2017502557.tif 000035
は、コントラストを強めることに用いられ、ｑ１，ｉ及びｑ２，ｉは、それぞれＲＧＢ図の三色チャネルとなる）
を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすステップと、
を含むことを特徴とする請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はハイダイナミックレンジ（ｈｉｇｈ  ｄｙｎａｍｉｃ  Ｒａｎｇｅ、以下略称をＨＤＲという）の動画録画の技術分野に関し、特にバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置に関する。
【背景技術】
【０００２】
デジタルカメラにおいて、光が強い環境で撮影するとき、通常のカメラはダイナミックレンジの制限を受けるため、極端に明るい又は暗い細部を記録することができないが、ＨＤＲ動画録画はハイライト及びローライトのエリアで共に正常撮影より更に良い明暗のステップが取得しやすい。実際シーンのダイナミックレンジは常に１００ｄＢ以上であり、センサーはデジタル映像機器イメージングの核心器具である。従来のデジタルカメラが採用するセンサーの部品はＣＣＤ（Ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ、電荷カップリング素子）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ、相補金属酸化物半導体）であり、通常は約６０ｄＢのダイナミックレンジのみあり、ダイナミックレンジが比較的狭いセンサーを用いてダイナミックレンジが比較的広いシーンを記録する場合、何度もイメージングする必要がある。１００ｄＢのシーンを例に挙げると、まずシャッタースピードを高め、１枚０〜６０ｄＢのアンダー露出写真を撮影し、再びシャッタースピードを下げ、１枚４０〜１００ｄＢのオーバー露出写真を撮影し、最後に２枚の写真を１枚に合成させて且つ再びトーンマッピングの関係を算出する。
【０００３】
現在のメーカーはＨＤＲ動画を撮影するとき、ハイフレームレートセンサーを採用し、快速で連続して複数枚の異なる露出値の画像を撮影でき、ＨＤＲ方法によって一枚の写真に合成する。但し移動中のオブジェクトを撮影するとき、写真にブラーが発生する可能性がある。マルチフレームのイメージを収集した後、特殊なＨＤＲ算出方法を用いてマルチフレームのイメージを一個のフレームに合成する必要がある。
【０００４】
現代のＣＭＯＳセンサーは、通常カラーフィルタアレイの構造であり、バイヤーフィルタアレイで撮影するイメージの略称をバイヤーパターンという。各画素は１０〜１４ビットの単色情報を記録し、ＲＧＢの三原色情報は、この画素と周囲画素に対して補間の算出を行うことで取得する必要がある。
【０００５】
ＨＤＲ動画の撮影方法は主に二個の核心技術点を含み、多露出フレームの収集及びＨＤＲフレームの合成アルゴリズムがある。多露出フレームの収集は異なる露出値によって高速に連続撮影をしてマルチフレームのイメージを取得する。二個の弱点が存する。一方では、シーンの中に高速移動の物体が存する場合、二個のフレーム間は点と点の整合が取れず、合成後のイメージは移動ブラーが発生しやすい。その他、高速での連続撮影は極めて高いフレームレートを必要とし、動画を撮影するシャッターの下限を制限する。
【０００６】
既存のＨＤＲのアルゴリズムはまず複数の露出フレームによってカメラの輝度応答関数を予測し、その後トーンマッピング法で新しいーンマッピング表を算出し、最後に新しいＨＤＲイメージを算出する。カメラの輝度応答関数が通常各トーンに対してパラメータの予測をする必要があるため、算出の複雑さは８ビットのイメージ（２５６個のトーン）の場合は受けられるが、バイヤーパターン（１４ビット）に対して算出量が膨大すぎるため、直接ＨＤＲ動画録画に応用できない。その他の常用されるフレームの合成方法として加重平均法がある。二フレームのイメージの合成を例に挙げると、合成画素値ｐｎｅｗは式（１）を用いて算出できる：
ｐｎｅｗ＝ｗ１ｐ１＋（１−ｗ１）ｐ２                    （１）
式中、ｐ１、ｐ２はそれぞれアンダー露出図及びオーバー露出図上にある指定位置の画素値であり、ｗ１は０〜１の間の数字であり、画素１が合成画素の中で占める重みを表す。従来方法は重みを割り当てるとき通常考えられる要素は主に画素のオーバー露出及びアンダー露出であり、そして通常閾値を設定して露出の異常を検出する。オーバー露出又はアンダー露出の画素重みは正常画素値よりはるかに低い。８ビットのイメージを例に挙げると、式（２）を用いて重みを算出する：
【数１】
2017502557.tif 000003
式中、Ｔ１及びＴ２はそれぞれアンダー露出及びオーバー露出の閾値である。このようにオーバー露出及びアンダー露出を簡単に区別するとシーンに対しての適応性が悪く、アーティファクトが発生しやすく、更に画素を合成するとき遷移が不自然な情況が現れる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明が解決する技術的問題は、バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置を提供することであり、本発明によれば高速移動ブラーの問題を克服し、高速で連続撮影のフレームレートを低減させることができる。
【課題を解決するための手段】
【０００８】
上記の技術的問題を解決するため、本発明の実施例はバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法を提供し、この方法は、
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、奇数二列は前記イメージフレームの総列数を４で割って余りが０又は１の列であり、偶数二列は前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含む。
【０００９】
ここで、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値及びＧチャネルにおける画素回復値の差に対して補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、アンダー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む。
【００１０】
ここで、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出のイメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値及びＧチャネルにおける画素回復値の差に対して補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、オーバー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む。
【００１１】
ここで、補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含む。
【００１２】
ここで、アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップは、
ＲＧＢチャネルにおけるピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含む。
【００１３】
ここで、アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップは、
所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式
【数２】
2017502557.tif 000004
（式中、Ｐ１、Ｐ２はそれぞれアンダー露出イメージフレーム及びオーバー露出イメージフレームにおけるピクセルの輝度であり、∪（Ｐ１＜Ｔ１）はＰ１におけるＴ１より小さいアンダー露出画素集を表し、∪（Ｐ２＞Ｔ２）はＰ２におけるＴ２より大きいオーバー露出画素集を表す）
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出するステップと、
自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式
【数３】
2017502557.tif 000005
（式中、ω１はアンダー露出イメージフレームにおける輝度がＰ１ピクセルの重みであり、ω２はオーバー露出イメージフレームにおける輝度がＰ２ピクセルの重みである）
を用いて各ピクセルの重みを算出するステップと、
を含む。
【００１４】
ここで、各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームステップを取得するステップは、
二次元のガウスフィルタ及び各ピクセルの重みを用いてコンボリューションを行うステップと、
以下の関係式
【数４】
2017502557.tif 000006
（式中、
【数５】
2017502557.tif 000007
は、コントラストを強めることに用い、ｑ１，ｉ及びｑ２，ｉはそれぞれＲＧＢ図の三色チャネルとなる）
を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすステップと、
を含む。
【００１５】
上記の技術的問題を解決するため、本発明の実施例は、
奇数二列と偶数二列とに異なる露出時間を配置して露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得するためのセンサーモジュールであって、奇数二列は前記イメージフレームの総列数を４で割って余りが０又は１の列であり、偶数二列は前記イメージフレームの総列数を４で割って余りが２又は３の列であるセンサーモジュールと、
センサーモジュールと接続され、イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するための分解モジュールと、
分解モジュールと接続され、アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのアンダー露出画素回復モジュールと、
分解モジュールと接続され、オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのオーバー露出画素回復モジュールと、
アンダー露出画素回復モジュール及びオーバー露出画素回復モジュールと接続され、アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレーム及びアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するための合成モジュールと、
を含むバイヤーカラーフィルタアレイのハイダイナミックレンジの動画録画装置を更に提供する。
【００１６】
ここで、アンダー露出画素回復モジュールは、
隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出することと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得することと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出することと、
Ｒ、Ｂチャネルにおけるピクセルの画素値及びＧチャネルにおける画素回復値の差に対して補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得することと、
Ｒ、Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を用いて足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、アンダー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とすることと、
を行うように構成されている。
【００１７】
ここで、オーバー露出画素回復モジュールは、
隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出することと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得することと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出することと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差に対して補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得することと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、オーバー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とすることと、
を行うように構成されている。
【００１８】
ここで、補間は、バイリニア型補間、立方体補間のうちの少なくとも一方を含む。
【００１９】
ここで、合成モジュールは、
ＲＧＢチャネルにおけるピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得することと、
アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得することと、
各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得することと、
を行うように構成されている。
【００２０】
ここで、合成モジュールは、
所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式
【数６】
2017502557.tif 000008
（式中、Ｐ１、Ｐ２はそれぞれアンダー露出イメージフレーム及びオーバー露出イメージフレームにおけるピクセルの輝度であり、∪（Ｐ１＜Ｔ１）はＰ１におけるＴ１より小さいすべてのアンダー露出画素集を表し、∪（Ｐ２＞Ｔ２）はＰ２におけるＴ２より大きいすべてのオーバー露出画素集を表す）
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出することと、
自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式
【数７】
2017502557.tif 000009
（式中、ω１はアンダー露出イメージフレームにおいて輝度がＰ１であるピクセルの重みであり、ω２はオーバー露出イメージフレームにおける輝度がＰ２であるピクセルの重みである）
を用いて各ピクセルの重みを算出することと、
を行うように更に構成されている。
【００２１】
ここで、合成モジュールは、
二次元のガウスフィルタ及び各ピクセルの重みを用いてコンボリューションを行うことと、
以下の関係式
【数８】
2017502557.tif 000010
（式中、
【数９】
2017502557.tif 000011
は、コントラストを強めることに用い、ｑ１，ｉ及びｑ２，ｉはそれぞれＲＧＢ図の三色チャネルである）
を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすことと、
を行うように更に構成されている。
【００２２】
上記の技術的問題を解決するため、本発明の実施例はバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法を提供し、この方法は、
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、奇数二列はイメージフレームの総列数を４で割って余りが０又は１の列であり、偶数二列はイメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
ここで、アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップは、
ＲＧＢチャネルにおけるピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含む。
【００２３】
ここで、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値及びＧチャネルにおける画素回復値の差に対して補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、アンダー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む。
【００２４】
ここで、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出のイメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値及びＧチャネルにおける画素回復値の差に対して補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、オーバー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む。
【００２５】
ここで、補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含む。
【００２６】
ここで、アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップは、
所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式
【数１０】
2017502557.tif 000012
（式中、Ｐ１、Ｐ２はそれぞれアンダー露出イメージフレーム及びオーバー露出イメージフレームにおけるピクセルの輝度であり、∪（Ｐ１＜Ｔ１）はＰ１におけるＴ１より小さいアンダー露出画素集を表し、∪（Ｐ２＞Ｔ２）はＰ２におけるＴ２より大きいオーバー露出画素集を表す）
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出するステップと、
自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式
【数１１】
2017502557.tif 000013
（式中、ω１はアンダー露出イメージフレームにおける輝度がＰ１ピクセルの重みであり、ω２はオーバー露出イメージフレームにおける輝度がＰ２ピクセルの重みである）
を用いて各ピクセルの重みを算出するステップと、
を含む。
【００２７】
ここで、各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップは、
二次元のガウスフィルタ及び各ピクセルの重みを用いてコンボリューションを行うステップと、
以下の関係式
【数１２】
2017502557.tif 000014
（式中、
【数１３】
2017502557.tif 000015
は、コントラストを強めることに用い、ｑ１，ｉ及びｑ２，ｉはそれぞれＲＧＢ図の三色チャネルとなる）
を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすステップと、
を含む。
【００２８】
上記の解決手段により、従来技術と比較し、本発明の効果は以下のとおりである：奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得する。イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解する。アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。再びアンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得し、高速移動ブラーの問題を克服し、高速連続撮影のフレームレートを低減させることができる。
【図面の簡単な説明】
【００２９】
【図１】図１は本発明の第一実施例のバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法のフローチャートである。
【図２】図２は本発明の第一実施例の露出のバイヤーパターンである。
【図３】図３は本発明の第一実施例のステップＳ１２を実現する方法のフローチャートである。
【図４】図４は本発明の第一実施例のステップＳ１２における欠失二列ピクセルの画素予測値を取得する方法の概要図である。
【図５】図５は本発明の第一実施例のステップＳ１２におけるＲチャネルにおけるピクセルの画素予測値を取得する方法の概要図である。
【図６】図６は本発明の第一実施例のステップＳ１４の実現方法のフローチャートである。
【図７】図７は本発明の第一実施例のバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法の結果概要図である。
【図８】図８は本発明の第一実施例のバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画装置の構造概要図である。
【発明を実施するための形態】
【００３０】
図１を参照して、図１は本発明の第一実施例のバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法のフローチャートである。図１に示すように、バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法は以下を含む：
【００３１】
ステップＳ１０：奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、奇数二列は前記イメージフレームの総列数を４で割って余りが０又は１の列であり、偶数二列は前記イメージフレームの総列数を４で割って余りが２又は３の列である。
【００３２】
本発明に用いられるバイヤーパターンにおいて、一つのカラーフィルタユニットは一つのＲ及びＢユニットを含み、二個のＧユニット、空間上に２×２配列で現れ、すなわち各カラーフィルタユニットは二行及び二列を占める。具体的に、列の符号をｃと定義し、０≦ｃ≦Ｃであり、ここでＣはイメージフレームの総列数であり、Ｃは一般的に偶数であり、好ましくは、Ｃは４の倍数である。奇数二列を（ｃ１、ｃ２）と定義し、ここでｃ１は４で割り切れられ、ｃ２は４で割って余りが０又は１、ｃ２＝ｃ１＋１となり、偶数二列を（ｃ３、ｃ４）と定義し、ここでｃ３は４で割って余りが２となり、ｃ４は４で割って余りが３、ｃ４＝ｃ３＋１となる。このような配置は奇数二列及び偶数二列が共に完全に一組のバイヤーカラーアレイを含むことを保証できる。
【００３３】
Ｓ１０ステップにおいて、図２に示すように、二列をユニットとし、奇数二列及び偶数二列をそれぞれ露出する方法を用い、奇数二列についてアンダー露出を行い、偶数二列についてオーバー露出を行い、奇数二列と偶数二列との異なる露出値の一個のイメージフレームを得る。例えば、センサーは奇数二列と偶数二列とに異なる露出時間を割り当てることにより、二個の異なる露出値のイメージフレームを取得することにより、この時の各イメージフレームは、オリジナルフレームの半分程度の幅にすぎない。このように、従来方法によって６０フレーム／秒のフレームレートを用いて撮影する動画であれば、本発明では３０フレーム／秒のフレームレートだけを必要として同じ効果を達成できる。当然ながら、本発明のその他の実施例において、偶数二列についてアンダー露出を行い、奇数二列についてオーバー露出を行うこともできる。この単フレームマルチ露出の方法は、一列毎の露出が必ず一組の完全なカラーフィルタユニットを含むことを保証する。
【００３４】
ステップＳ１１：イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解する。
【００３５】
ステップＳ１１において、ステップＳ１０で得たイメージフレームに対して分解を行い、アンダー露出イメージフレーム及びオーバー露出イメージフレームを得る。具体的に、オリジナルイメージフレームにおいて、アンダー露出の奇数二列は変えず、偶数二列を欠失列に変え、アンダー露出イメージフレームを得る。オリジナルイメージフレームにおいて、オーバー露出の偶数二列は変えず、奇数二列を欠失列に変え、オーバー露出イメージフレームを得る。そのため、アンダー露出イメージフレームにおけるアンダー露出二列及び欠失二列が順次間隔分布され、オーバー露出イメージフレームにおけるオーバー露出二列及び欠失二列が順次間隔分布される。
【００３６】
ステップＳ１２：アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。
【００３７】
アンダー露出イメージフレームに対して、図３に示すように、アンダー露出イメージフレームにおけるＲＧＢ情報に対する回復は以下を含む：
【００３８】
ステップＳ１２０：隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出する。
【００３９】
アンダー露出イメージフレームにおいて、偶数二列を欠失列とし、ステップＳ１２０において、隣り合う奇数二列の補間を用いて偶数二列の欠失値を算出する。図４に示すように、例えば平均補間方式を採用し、すなわちＲ３＝（Ｒ１＋Ｒ５）／２、Ｇ４＝（Ｇ２＋Ｇ６）／２、Ｇ９＝（Ｇ７＋Ｇ１１）／２、Ｂ１０＝（Ｂ８＋Ｂ１２）／２となる。
【００４０】
ステップＳ１２１：補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得する。
【００４１】
アンダー露出イメージフレームにおけるＧチャネルの情報がＲ、Ｂチャネルより多いことを考慮して、まず補間の方法を用いてＧチャネルの情報を回復する。この補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含み、当然ながら、本発明のその他の実施例において、その他の補間の方法を応用してＧチャネルの情報を回復できる。
【００４２】
ステップＳ１２２：Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出する。
【００４３】
アンダー露出イメージフレームにおけるＲ、Ｂチャネルの画素数が比較的少ないことを考慮して、直接Ｒ、Ｂチャネルの画素に対して回復を行わず、Ｒ、Ｂチャネルの既知画素とＧチャネルとの差を対象とし、Ｒ、Ｂチャネルの画素を回復するように構成される。具体的に、図５に示すように、Ｒチャネルを例に挙げると、Ｒチャネルの既知画素とＧチャネルとの差値がＲ１であり、Ｒ１＝Ｒ−Ｇと記録し、ここでＲはイメージング位置の赤色の画素値であり、Ｇは対応位置がＧチャネルの画素回復値である。
【００４４】
ステップＳ１２３：前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得する。すなわち、Ｒチャネルの既知画素とＧチャネルとの差値Ｒ１に対して補間を行い、これによってＲチャネルにおける欠失ピクセルの差である回復値を得る。
【００４５】
ステップＳ１２４：Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける前記画素回復値を用いて足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、アンダー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とする。
【００４６】
Ｒチャネルにおける欠失ピクセルの差である回復値Ｒ１を得た後、赤画素の予測値Ｒは、Ｒチャネルにおける欠失ピクセルの差から得た回復値Ｒ１とＧチャネルにおける画素回復値Ｇとの和、すなわちＲ＝Ｒ１＋Ｇとする。図５で記載の回復情報における右側一列が欠失列である。欠失列が左側にあるとき、類似している算出方法で欠失列の画素回復値を取得しやすい。この時の欠失列の画素回復値は、隣り合う奇数二列の補間によって算出して得た偶数二列を入れ替えて得た欠失値である。Ｂチャネルは図５に記載の同様の方法を用いて処理を行い、ここではその説明を省略する。最終的にアンダー露出イメージフレームのＲＧＢ三チャネルにおける欠失列の画素回復値を取得しており、後続するフレームの合成処理に用いられる。
【００４７】
また図１に示すように、ステップＳ１３は下記のとおりである：オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。
【００４８】
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得する。それぞれＲ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差を算出する。Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差を補間として算出し、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得する。Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足し合わせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、オーバー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とする。具体的に図５で記載のオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値の取得方法と同様であり、ここではその説明を省略する。最終的オーバー露出イメージフレームのＲＧＢ三チャネルにおける欠失列の画素回復値を得て、後続するフレームの合成処理に用いられる。
【００４９】
ステップＳ１４：アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する。
【００５０】
従来のＨＤＲ動画が採用するフレームの合成演算では、アーティファクト及び遷移が不自然な問題が発生しやすく、アーティファクトが発生する原因としては、フレームの合成時に、遷移エリアに輝度が反転する現象が存在し、従来方法では高輝度及び低輝度の閾値を選択するときにこの問題を回避できず、輝度が大いに変わるエリアでこの問題が現れる。遷移が不自然なのは孤立点と孤立ブロックの情況を考慮していないためである。自然なシーンの光線は複雑であるため、オーバー露出とアンダー露出エリアが入り混じる状況が発生しやすく、簡単な合成は遷移が不自然となる問題を起こしやすい。図６に示すように、オーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップは、以下を含む。
【００５１】
ステップＳ１４０：ＲＧＢチャネルにおけるピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得する。
【００５２】
ステップＳ１４０において、輝度の取得は従来技術を用い、輝度を（Ｒ＋Ｇ＋Ｂ）／３とし、当然その他の方法を用いてＲＧＢチャネルにおけるピクセルの画素値によって輝度を取得してもよい。
【００５３】
ステップＳ１４１：アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得する。
【００５４】
ステップＳ１４１において，所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式
【数１４】
2017502557.tif 000016
（式中、Ｐ１、Ｐ２はそれぞれアンダー露出イメージフレーム及びオーバー露出イメージフレームにおけるピクセルの輝度であり、∪（Ｐ１＜Ｔ１）は、Ｐ１のＴ１より小さいすべてのアンダー露出画素集を表し、∪（Ｐ２＞Ｔ２）は、Ｐ２のＴ２より大きいすべてのオーバー露出画素集を表す）
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出する。分かるように、Ｔ１，ｎｅｗは、Ｐ２の中のＰ１と対応するアンダー露出位置の画素値の上限を表し、Ｔ２，ｎｅｗは、Ｐ１の中のＰ２と対応するオーバー露出位置の画素値の下限を表す。
【００５５】
その後、自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のアンダー露出閾値Ｔ２，ｎｅｗによって下記関係式
【数１５】
2017502557.tif 000017
（式中、ω１はアンダー露出イメージフレームにおける輝度がＰ１であるピクセルの重みであり、ω２はオーバー露出イメージフレームにおける輝度がＰ２であるピクセルの重みである）
を用いて各ピクセルの重みを算出する。
【００５６】
ステップＳ１４２：各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する。
【００５７】
オーバー露出及びアンダー露出エリアが入り混じって遷移が不自然な問題を回避するために、重みマップω１、ω２に対してガウスブラー化を行う。ステップＳ１４２において、まず二次元ガウスフィルタ及び各ピクセルの重みを用いてコンボリューションを行う。具体的に、窓の幅をＨとし、分散をσとした二次元ガウスフィルタを用いて、ω１、ω２に対してコンボリュートする。Ｈはイメージフレームのサイズと関連し、通常σ＝Ｈ／６を選択し、当然ながら、分散σも必要に応じてその他の値を選択することができる。
【００５８】
その後、以下の関係式
【数１６】
2017502557.tif 000018
（式中、
【数１７】
2017502557.tif 000019
は、コントラストを強めることに用い、ｑ１，ｉ及びｑ２，ｉはそれぞれＲＧＢ図の三色チャネルとなる）
を用いてフレーム合成の算出を行い、そしてコントラストを引き伸ばす。
【００５９】
従来方法と本発明の方法によって撮影する写真を比較すると、図７に示すように、左上の写真はアンダー露出の写真であり、右上の写真はオーバー露出の写真であり、左下は従来方法を応用して合成した写真であり、右下は本発明の方法を応用して得る写真である。分かるように、本発明の方法によって撮影する写真のコントラストは良好であり、アーティファクトが存在せず、遷移エリアが自然であり、従来の方法より優れる。
【００６０】
本発明の実施例において、奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得する。イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解する。アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。再びアンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得し、高速移動ブラーの問題を克服し、高速連続撮影のフレームレートを下げ、同時にアーティファクト及び遷移が不自然な問題を解決する。
【００６１】
図８を参照して、図８は本発明の第一実施例のバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画装置の構造概要図である。図８に示すように、バイヤーカラーフィルタアレイのハイダイナミックレンジの動画録画装置１０は、センサーモジュール１１、分解モジュール１２、アンダー露出画素回復モジュール１３、オーバー露出画素回復モジュール１４及び合成モジュール１５を含む。センサーモジュール１１は奇数二列と偶数二列とによって異なる露出時間を割り当てて露出を行い、奇数二列と偶数二列とが異なる露出値のイメージフレームを取得する。分解モジュール１２は、センサーモジュール１１と接続され、イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解する。アンダー露出画素回復モジュール１３は、分解モジュール１２と接続され、アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするように構成される。オーバー露出画素回復モジュール１４は、分解モジュール１２と接続され、オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするように構成される。合成モジュール１５はアンダー露出画素回復モジュール１３及びオーバー露出画素回復モジュール１４と接続され、アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するように構成される。
【００６２】
本発明の実施例において、本発明において用いるバイヤーパターンにおいて、一個のカラーフィルタユニットは一個のＲとＢユニットを含み、二個のＧユニット、空間上に２×２配列で現れ、すなわち各カラーフィルタユニットは二行及び二列を占める。センサーモジュール１１は奇数二列及び偶数二列をそれぞれ露出する方法を用い、すなわち奇数二列についてアンダー露出を行い、偶数二列についてオーバー露出を行い、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを得る。この露出方法は一列毎の露出が必ず一組の完全なカラーフィルタユニットを含むことを保証する。分解モジュール１２はイメージフレームに対して分解を行い、アンダー露出イメージフレーム及びオーバー露出イメージフレームを得る。具体的には、オリジナルイメージフレームにおいて、アンダー露出の奇数二列は変えず、偶数二列を欠失列に変え、アンダー露出イメージフレームを得る。オリジナルイメージフレームにおいて、オーバー露出の偶数二列は変えず、奇数二列を欠失列に変え、オーバー露出イメージフレームを得る。そのためアンダー露出イメージフレームにおけるアンダー露出二列及び欠失二列が順次間隔分布され、オーバー露出イメージフレームにおけるオーバー露出二列及び欠失二列が順次間隔分布される。
【００６３】
具体的に、アンダー露出画素回復モジュール１３は以下に用いられる：隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出する。例えば平均の補間方式を用いる。アンダー露出イメージフレームにおけるＧチャネルの情報がＲ、Ｂチャネルより多いことを考慮し、まず補間の方法を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得する。この補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含み、当然ながら、本発明のその他の実施例において、その他の補間の方法を応用してＧチャネルの情報を回復してもよい。再びＲ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出する。更にＲ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差を補間として算出し、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得する。ここの補間の方法は、上記と同様であり、バイリニア型補間、立方体補間のうちの少なくとも一方を含む。最後にＲ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足し合わせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、アンダー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とする。Ｂチャネルは上記と同様の方法を用いて処理を行い、ここではその説明を省略する。最終的にアンダー露出イメージフレームそれぞれのＲＧＢ三チャネルにおける欠失列の画素回復値を得て、後続するフレームの合成処理に用いられる。
【００６４】
オーバー露出画素回復モジュール１４は以下に用いられる：隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出する。例えば平均の補間方式を採用する。アンダー露出イメージフレームにおけるＧチャネルの情報がＲ、Ｂチャネルより多いことを考慮し、まず補間を利用してＧチャネルにおける欠失ピクセルの画素回復値を取得する。この補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含み、当然ながら、本発明のその他の実施例において、その他の補間の方法を応用してＧチャネルの情報を回復してもよい。再びＲ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出する。そしてＲ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差を補間として算出し、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得する。ここの補間の方法は、上記と同様であり、バイリニア型補間、立方体補間のうちの少なくとも一方を含む。最後にＲ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足し合わせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、オーバー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とする。Ｂチャネルは上記と同様の方法を用いて処理を行い、ここではその説明を省略する。最終的にオーバー露出イメージフレームのＲＧＢ三チャネルにおける欠失列の回復値を得て、後続するフレームの合成処理に用いられる。
【００６５】
合成モジュール１５は以下に用いられる：ＲＧＢチャネルにおけるピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得する。輝度の取得は従来技術を採用し、例えば輝度を（Ｒ＋Ｇ＋Ｂ）／３とし、当然ながら、その他のＲＧＢチャネルにおけるピクセルの画素値によって輝度を取得する方法も採用できる。その後アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得する。具体的に、所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式
【数１８】
2017502557.tif 000020
（式中、Ｐ１、Ｐ２はそれぞれアンダー露出イメージフレーム及びオーバー露出イメージフレームにおけるピクセルの輝度であり、∪（Ｐ１＜Ｔ１）はＰ１におけるＴ１より小さいすべてのアンダー露出画素集を表し、∪（Ｐ２＞Ｔ２）はＰ２におけるＴ２より大きいすべてのオーバー露出画素集を表す）
を用いて自動適応するアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出する。分かるように、Ｔ１，ｎｅｗはＰ２の中のＰ１と対応するアンダー露出位置の画素値の上限を表し、Ｔ２，ｎｅｗはＰ１の中のＰ２と対応するオーバー露出位置の画素値の下限を表す。その後自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のアンダー露出閾値Ｔ２，ｎｅｗによって下記関係式
【数１９】
2017502557.tif 000021
（式中、ω１はアンダー露出イメージフレームにおける輝度がＰ１であるピクセルの重みであり、ω２はオーバー露出イメージフレームにおける輝度がＰ２であるピクセルの重みである）
を用いて各ピクセルの重みを算出する。最後に各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する。
【００６６】
オーバー露出及びアンダー露出エリアが入り混じって遷移が不自然な問題を回避するために、重みマップω１、ω２に対してガウスブラー化を行う。二次元のガウスフィルタ及び各ピクセルの重みを用いてコンボリュートし、具体的に、窓の幅をＨとし、分散をσとした二次元ガウスフィルタを用いて、ω１、ω２に対してコンボリュートする。Ｈはイメージフレームのサイズと関連し、通常σ＝Ｈ／６を選択し、当然ながら、分散σも必要に応じてその他の値を選択することができる。その後以下の関係式
【数２０】
2017502557.tif 000022
（式中、
【数２１】
2017502557.tif 000023
は、 コントラストを強めることに用い、ｑ１，ｉ及びｑ２，ｉはそれぞれＲＧＢ図の三色チャネルとなる）
を用いてフレーム合成の算出を行い、そしてコントラストを引き伸ばす。本発明の方法によって撮影する写真のコントラストは良好であり、アーティファクトが存在せず、遷移エリアが自然であり、従来の方法より優れる。
【００６７】
要するに、本発明は奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得する。イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解する。アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。再びアンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得し、高速移動ブラーの問題を克服し、高速連続撮影のフレームレートを低減させることができ、イメージフレームを合成するときの重みに対して更に処理を行うとアーティファクト及び遷移が不自然な問題も解決できる。
【００６８】
本発明の提供する複数の実施例の中で、理解されるように、開示したシステム、装置及び方法は、その他の方法により実現できる。例えば、上記で説明する装置の実施例は概略的なものにすぎず、例えば、前記モジュール又はユニットの区別は、論理的な機能上の区別にすぎず、実際に実現するときに別の区別方法であってもよく、例えば複数のユニット又はモジュールは結合するか又は他のシステムに集積でき、又は複数の特徴は省略でき、又は実行しない。その他の点は、表示又は検討する相互間の結合又は直接な結合又は通信の接続は複数のインターフェイス、装置又はユニットにより間接的結合又は通信接続でき、電気的、機械的又はその他の形式でもよい。
【００６９】
前記分離部品として説明されるユニットは物理的に分解しても又はしなくてもよく、ユニットが示す部品は物理的ユニットでも又はそうでなくてもよく、一個の場所に位置することができ、又は複数のネットワークユニット上にも分布できる。実際に必要に応じてここでの一部又は全てのユニットを選択して本実施例の解決手段の目的を実現できる。
【００７０】
また、本発明の各実施例における各機能ユニットを一個の処理ユニットに集積でき、各ユニットが単独で物理的に存在することも可能であり、二個又は二個以上のユニットが一個のユニットの中で集積できる。上記の集積されたユニットはハードウエアの形式の実現を採用して実現でき、又はソフトウェア機能ユニットの形式で実現できる。
【００７１】
前記集積されたユニットをソフトウェア機能ユニットの形式で独立して製品販売又は使用する場合、１台のコンピュータで読取り可能な記憶媒体に保存できる。このような理解により、本発明の技術的解決手段は本質上又は従来技術に対して寄与する部分又はこの技術的解決手段の全部又は一部に対してソフトウェア製品の形式で体現でき、このコンピュータのソフトウェア製品は記憶媒体に保存され、コンピュータ機器（パソコン、サーバー、又はネット機器などが可能）又はプロセッサー（ｐｒｏｃｅｓｓｏｒ）に本発明の各実施例で記述する全部又は一部のステップを実行させるための複数の命令を含む。また前記記憶媒体は、ＵＳＢメモリ、ポータブルハードディスク、読取り専用メモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フロッピー（登録商標）ディスク又は光ディスクなど各種プログラムコードを記憶できる媒体を含む。
【００７２】
以上の記述は本発明の実施例にすぎず、そのため本発明の特許の範囲を限定するものではなく、本発明の明細書及び添付図の内容で作成する等価構造又は等価流れの変換、又は直接的又は間接的にその他の関連する技術分野に応用するものであれば、いずれも同じ理由で本発明の特許の保護範囲内に含まれる。
【図１】
2017502557.tif 000036
【図２】
2017502557.tif 000037
【図３】
2017502557.tif 000038
【図４】
2017502557.tif 000039
【図５】
2017502557.tif 000040
【図６】
2017502557.tif 000041
【図７】
2017502557.tif 000042
【図８】
2017502557.tif 000043
【手続補正書】
【提出日】平成28年11月16日(2016.11.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法であって、
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
前記それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記アンダー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと
を含む、方法。
【請求項２】
バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法であって、
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
前記それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記オーバー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む、方法。
【請求項３】
前記補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含むことを特徴とする請求項１又は２に記載の方法。
【請求項４】
バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法であって、
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップは、
前記ＲＧＢチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップは、
所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式ステップ
【数２２】
2017502557.tif 000044
（式中、Ｐ１、Ｐ２は、それぞれ前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおけるピクセルの輝度であり、∪（Ｐ１＜Ｔ１）は、Ｐ１におけるＴ１より小さいすべてのアンダー露出画素集を表し、∪（Ｐ２＞Ｔ２）は、Ｐ２におけるＴ２より大きいすべてのオーバー露出画素集を表す）
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出するステップと、
前記自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び前記自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式ステップ
【数２３】
2017502557.tif 000045
（式中、ω１は、前記アンダー露出イメージフレームにおける輝度がＰ１であるピクセルの重みであり、ω２は、前記オーバー露出イメージフレームにおける輝度がＰ２であるピクセルの重みである）
を用いて前記各ピクセルの重みを算出するステップと、
を含む、記載の方法。
【請求項５】
前記各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップは、
二次元のガウスフィルタを用いて各ピクセルの前記重みに対してコンボリューションを行うステップと、
以下の関係式ステップ
【数２４】
2017502557.tif 000046
（式中、
【数２５】
2017502557.tif 000047
は、コントラストを強めることに用いられ、ｑ１，ｉ及びｑ２，ｉは、それぞれＲＧＢ図の三色チャネルである）
を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすステップと、
を含む、請求項４に記載の方法。
【請求項６】
バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画装置であって、
奇数二列と偶数二列とに異なる露出時間を配置して露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得するためのセンサーモジュールであって、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるセンサーモジュールと、
前記センサーモジュールと接続され、前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するための分解モジュールと、
前記分解モジュールと接続され、前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのアンダー露出画素回復モジュールと、
前記分解モジュールと接続され、前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのオーバー露出画素回復モジュールと、
前記アンダー露出画素回復モジュール及び前記露出を割り当てる画素回復モジュールと接続され、前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレーム及び前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するための合成モジュールと、
を含み、
前記アンダー露出画素回復モジュールは、
隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出することと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得することと、
Ｒ、Ｂチャネルにおけるピクセルの画素値及びＧチャネルにおける前記画素回復値の差をそれぞれ算出することと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得することと、
前記Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記アンダー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とすることと、
を行うように構成されている、装置。
【請求項７】
バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画装置であって、
奇数二列と偶数二列とに異なる露出時間を配置して露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得するためのセンサーモジュールであって、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるセンサーモジュールと、
前記センサーモジュールと接続され、前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するための分解モジュールと、
前記分解モジュールと接続され、前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのアンダー露出画素回復モジュールと、
前記分解モジュールと接続され、前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのオーバー露出画素回復モジュールと、
前記アンダー露出画素回復モジュール及び前記露出を割り当てる画素回復モジュールと接続され、前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレーム及び前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するための合成モジュールと、
を含み、
前記オーバー露出画素回復モジュールは、
隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出することと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得することと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出することと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得することと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差の復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記オーバー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とすることと、
を行うように構成されている、装置。
【請求項８】
前記補間は、バイリニア型補間、立方体補間のうちの少なくとも一方を含むことを特徴とする請求項６又は７に記載の装置。
【請求項９】
バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画装置であって、
奇数二列と偶数二列とに異なる露出時間を配置して露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得するためのセンサーモジュールであって、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるセンサーモジュールと、
前記センサーモジュールと接続され、前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するための分解モジュールと、
前記分解モジュールと接続され、前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのアンダー露出画素回復モジュールと、
前記分解モジュールと接続され、前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのオーバー露出画素回復モジュールと、
前記アンダー露出画素回復モジュール及び前記露出を割り当てる画素回復モジュールと接続され、前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレーム及び前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するための合成モジュールと、
を含み、
前記合成モジュールは、
前記ＲＧＢチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得することと、 
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得することと、
各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得することと、
を行うように構成され、
前記合成モジュールは、
所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式
【数２６】
2017502557.tif 000048
（式中、Ｐ１、Ｐ２は、それぞれ前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおけるピクセルの輝度であり、∪（Ｐ１＜Ｔ１）は、Ｐ１におけるＴ１より小さいすべてのアンダー露出画素集を表し、∪（Ｐ２＞Ｔ２）は、Ｐ２におけるＴより大きいすべてのオーバー露出画素集を表す）
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出することと、
前記自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び前記自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式
【数２７】
2017502557.tif 000049
（式中、ω１は、前記アンダー露出イメージフレームにおける輝度がＰ１であるピクセルの重みであり、ω２は、オーバー露出イメージフレームにおける輝度がＰ２であるピクセルの重みである）
を用いて各ピクセルの重みを算出することと、
を行うように更に構成されている、装置。
【請求項１０】
前記合成モジュールは、
二次元のガウスフィルタを用いて各ピクセルの前記重みに対してコンボリューションを行うことと、
以下の関係式
【数２８】
2017502557.tif 000050
（式中、
【数２９】
2017502557.tif 000051
は、コントラストを強めることに用いられ、ｑ１，ｉ及びｑ２，ｉは、それぞれＲＧＢ図の三色チャネルとなる）
を用いてフレームの合成算出を行い、コントラストを引き伸ばすことと、
をさらに行うように構成されている、請求項９に記載の装置。
【請求項１１】
バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法であって、
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、を含み、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する前記ステップは、
前記ＲＧＢチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
前記それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記アンダー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む、方法。
【請求項１２】
バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法であって、
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、を含み、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する前記ステップは、
前記ＲＧＢチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
前記それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、
前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記オーバー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む、方法。
【請求項１３】
前記補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含むことを特徴とする請求項１１又は１２に記載の方法。
【請求項１４】
バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法であって、
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、を含み、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する前記ステップは、
前記ＲＧＢチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップは、
所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式ステップ
【数３０】
2017502557.tif 000052
（式中、Ｐ１、Ｐ２は、それぞれ前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおけるピクセルの輝度であり、∪（Ｐ１＜Ｔ１）は、Ｐ１におけるＴ１より小さいすべてのアンダー露出画素集を表し、∪（Ｐ２＞Ｔ２）は、Ｐ２におけるＴ２より大きいすべてのオーバー露出画素集を表す）
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出するステップと、
前記自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び前記自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式ステップ
【数３１】
2017502557.tif 000053
（式中、ω１は、前記アンダー露出イメージフレームにおける輝度がＰ１であるピクセルの重みであり、ω２は、前記オーバー露出イメージフレームにおける輝度がＰ２であるピクセルの重みである）
を用いて前記各ピクセルの重みを算出するステップと、
を含む、方法。
【請求項１５】
前記各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップは、
二次元のガウスフィルタを用いて各ピクセルの前記重みに対してコンボリューションを行うステップと、
以下の関係式ステップ
【数３２】
2017502557.tif 000054
（式中、
【数３３】
2017502557.tif 000055
は、コントラストを強めることに用いられ、ｑ１，ｉ及びｑ２，ｉは、それぞれＲＧＢ図の三色チャネルとなる）
を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすステップと、
を含む、請求項１４に記載の方法。
【国際調査報告】
2017502557.tif 000056
2017502557.tif 000057
2017502557.tif 000058
2017502557.tif 000059